結論，調高NGL超過某一個上限之後，讀取（不是生成）速度直接從每秒 116 個字，跌到剩下每秒 12 個字！😱
在使用過 local AI 的極慢速度與弱智之後，就覺得網路上賣的大型LLM模型好用：聰明，反應快，省電，省時間，綜合評估應該比Local AI 便宜。
誰說顯卡記憶體像吃到飽？拿 RTX 4050 挑戰 270 億參數 AI 的極限實錄！
最近科技圈最熱門的話題，莫過於在自己電腦上跑各種強大的 AI 大模型（LLM）。但如果你跟我一樣，用的是筆電常見的入門級顯卡 RTX 4050（顯存 VRAM 只有 6GB），要挑戰像 Qwen 27B（270 億參數） 這種重量級 AI，就像是用小 125cc 機車去拉大貨車上一樣吃力。
經過一番試錯調校，我們還真的把它跑起來了。今天帶大家看看這場「榨乾顯卡」的實驗！
先來科普：什麼是 NGL（GPU 卸載層數）？
如果把 AI 模型想像成一大串 64 樓層高的超級工廠：
- GPU 顯存（VRAM）：就像是工廠裡的超高鐵高鐵專用道，運算速度極快！
- 電腦記憶體（RAM）：就像是一般的省道，雖然空間大，但車速慢很多。
我們在設定參數時，會有一個叫做 NGL（GPU 卸載層數）的開關。如果你設定 NGL=24，就代表你把這 64 層工廠裡的 24 層搬到「高鐵專用道（GPU）」上跑，剩下的 40 層留在「省道（CPU/RAM）」慢慢塞。
顯然，搬到高鐵專用道（GPU）上的層數越多，AI 回答你的速度就越快！
實測開始：一場數字與極限的拉鋸戰
為了測試我這張 6GB VRAM 的 RTX 4050 到底能塞多少東西，我們進行了三次實測，結果非常戲劇化：
階段一：保守試探（NGL = 24）
- AI 讀取速度：每秒 100 個字（Prompt Eval）
- AI 打字生成速度：每秒 2.32 個字（Tokens/s）
- 心得：感覺還不錯！雖然不算飛快，但已經可以順暢對話了。不過看著顯存好像還有那麼一點點空間，身為工程師的硬體魂告訴我：還可以再榨！
階段二：黃金黃金點（NGL = 28）
- AI 讀取速度：每秒 116 個字（成長 16%！）
- AI 打字生成速度：每秒 2.54 個字（成長 9%！）
- 心得：太爽了！把 28 層工廠塞進高鐵專用道後，讀取速度和生成速度雙雙破紀錄，到達了這張顯卡的物理極限！
這時候，人的貪婪本性就出來了——「既然 28 層這麼快，那我直接開到 30 層不就飛起來了？」
於是，我手賤把參數改成了 NGL = 30……
階段三：災難現場！(NGL = 30)
按下執行的那一刻，我本來準備見證歷史速度，結果……
- AI 讀取速度：每秒 12 個字（直接暴跌剩不到 1/10 ！）
- 心得：畫面上只看到 AI 像中風一樣，一個字……一個字……卡頓地吐出來。
發生了什麼事？為什麼明明增加了 2 層，速度卻直接見底？
魔法破解：為什麼「多塞兩層」反而卡死？
這就是 Windows 系統一個看似貼心、實則坑人的機制——共享顯存（Shared VRAM）。
RTX 4050 的實體顯存扣掉 Windows 畫面顯示後，大約只有 5GB 左右的空間可用。
當設定 NGL = 28 時，剛好把這 5GB 空間塞得滿滿的，車流暢通。
但當硬塞到 NGL = 30 時，顯存徹底溢出（爆掉）了！
此時，顯示卡驅動程式為了不讓程式直接崩潰閃退，會自動開啟「備用機制」：向電腦的系統記憶體借空間。
這下子尷尬了：
原本應該在「高鐵專用道」上快速運算的数据，因為高鐵站擠不進去，只好被強迫在高鐵和省道之間來回搬運。GPU 花了 90% 的時間在「搬運資料」，只花了 10% 的時間在「計算」。
這就像你硬要把 5 個人塞進 4 人座的小轎車，最後只能讓一個人半身掛在車門外面跑，整台車當然只能用走路的速度開！
結語：找到平衡才是王道！
這次的實測給我們一個非常寶貴的經驗：
- 數字不是越大越好：玩 local AI 時，調校參數就像在走鋼索，「剛好塞滿顯存」才是最快的。
- 28 層是 RTX 4050 的黃金密碼：在 6GB VRAM 的限制下，
NGL=28搭配 KV Cache 的壓縮，成功讓 270 億參數的龐大 AI 可以在入門顯卡上順利運作！
科技的樂趣就在於此——不必花大錢買幾十萬的高階顯卡，只要搞懂原理、精細調校，小顯卡也能發揮出讓人驚豔的超常發揮！
Qwen 3.8 27B 整理的資料, 感覺也很容易懂
