KOSUNI HK
韓國新聞文化,為你呈現
科技

RTX 3090兩張顯卡打造個人AI伺服器!無需ChatGPT直接運行LLM的實戰指南

發佈日期 2026年11月3日 · 瀏覽次數 1
RTX 3090兩張顯卡打造個人AI伺服器!無需ChatGPT直接運行LLM的實戰指南

RTX 3090兩張顯卡打造個人AI伺服器!無需ChatGPT直接運行LLM的實戰指南

近年來,越來越多用戶在使用AI時面臨一個共同困擾。

「每月都要支付ChatGPT或Claude的訂閱費用嗎?」

雖然雲端AI確實方便,但若涉及大量開發工作或處理敏感數據,自行運行AI系統可能更為高效。

近期技術進步讓用戶只需兩張RTX 3090顯卡即可執行相當水準的大語言模型(LLM)。

本文將介紹個人可搭建的AI伺服器環境、所需設備配置,以及能運行哪些型號的模型。


為何要自行建置LLM?

雲端AI雖便利,但存在以下限制:

  • 每月訂閱費用支出

  • 必須保持網路連線

  • 敏感數據上傳的隱憂

  • API使用量限制

  • 回應速度波動

相比之下,本地LLM所有數據均在電腦內部處理。

尤其適合企業專案、公司文件、源代碼及個人資料等場景,安全性能更佳。


兩張RTX 3090為何足夠?

RTX3090雖已推出多時,但至今仍是AI訓練與推理領域中性價比極高的GPU之一。

RTX3090主要規格

單張RTX3090提供24GB VRAM。

兩張組合可達48GB VRAM環境,足夠執行絕大多數開源LLM。


能運行哪些模型?

兩張3090顯卡已能支援多種模型。

7B型模型

運行輕鬆無負擔。


14B ~ 32B型模型

採用量化技術(4bit、5bit)後,可快速執行。

編碼、文件撰寫、翻譯及部落格創作等多數工作皆能處理。


70B型模型

70B模型亦可運行,但通常採用4bit量化,速度稍慢。

不過在個人伺服器層級已具備足夠性能。


推薦硬體配置

CPU

相較於CPU,GPU性能更為關鍵。


記憶體(RAM)

最低配置

64GB

建議配置

128GB

大型模型需搭配更大記憶體。


儲存裝置

LLM模型單一即佔數十GB空間,需充足儲存。


電源供應器

兩張3090耗電量不低。

建議配置

穩定電源供應至關重要。


哪種作業系統較佳?

多數推薦使用Ubuntu Server。

原因如下:

Windows亦可運行,但長時間伺服器操作以Linux更穩定。


推薦軟體

Ollama

安裝最為簡易。

ollama run llama3

單一指令即可下載並執行模型。


Open WebUI

透過網頁瀏覽器實現類似ChatGPT的介面。

優點


vLLM

適合多人同時存取的環境,GPU利用率高且回應迅速。


Docker

AI伺服器運作幾乎不可或缺。

皆可透過Docker輕鬆管理。


MCP連接打造真正AI助理

近年備受關注的技術之一是MCP(Model Context Protocol)。

LLM原本僅能回答問題,但搭配MCP可與外部系統互動。

例如:

即能從單純聊天機器人升級為實際協助工作的AI助理。


個人化AI開發環境

現今許多開發者正搭建以下環境:

RTX3090 x2

↓

Ubuntu Server

↓

Docker

↓

Ollama

↓

Open WebUI

↓

MCP Server

↓

Git

↓

MySQL

↓

Node.js

↓

PHP

↓

Python

如此配置可整合管理多個專案。

不僅能協助程式撰寫,還可進行資料庫查詢、伺服器管理及文件生成等任務。


成本如何?

二手市場中,兩張RTX3090的價格遠低於新型AI GPU。

若已擁有一張3090,只需額外購買新卡即可搭建強大AI伺服器。

初期投資較高,但長期使用比持續支付訂閱費用更具成本效益。


結語

如今只需兩張RTX 3090即可建置強大本地LLM環境。

結合Ollama、Open WebUI、Docker及MCP技術,不僅能實現類似ChatGPT的AI服務,更能支援Git、資料庫及伺服器管理等實務應用。

未來AI將從單純使用邁向自主運營與工作流程最佳化,本地LLM建置正是起點。

常見問題

RTX 3090兩張顯卡能運行哪些型號的模型?

7B型如Llama 3、Mistral;14B~32B型經量化後可快速執行;70B型亦可運行但速度稍慢。

關於韓文原文報道

本文根據 BlogScore 刊登的韓文報道,為香港讀者以繁體中文編寫。 原文標題:3090 그래픽카드 2장으로 나만의 LLM 구축하기! ChatGPT 없이 AI를 직접 운영하는 방법