為這次實驗記下用機成本

模型需要多少記憶體?實驗要跑幾天?

先確認設備能否載入模型,再決定是否值得付費。Mac 短租適合短期用機或本機記憶體不足的情況,並不代表所有工作都該搬到雲端。

以下以 7 天 MLX 推論實驗為例:執行 7B、4-bit 模型,每天預計互動測試 2 小時,並固定模型、提示詞與上下文設定;不會同時執行建置工作,也不進行訓練。執行時數是實驗安排,不是效能保證。

入門價格 $21.6/天。依日曆租期預付,不按推論程式實際執行時數計費;租期到期後不續租即關機,不會再產生費用。

按使用期間計算費用

短期費用有明確標價,購機預算則需依你的實際報價估算

OsxNode 目前僅提供一款設備:OsxNode M4-16,規格為 M4 / 16GB 統一記憶體 / 256GB SSD。下表列出不含附加項目的完整租期原價;購機價格會因地區、規格與購買時間而異,因此不填入假設價格。

同一款設備,四種租期;自購與本機成本請依實際情況另行記錄。
實驗使用期間 OsxNode 租用費用 繼續使用本機 專門購買設備
1 天 $21.6/天 不需額外支付購機費;請確認現有記憶體是否足夠。 支付整台設備的費用,實驗結束後設備仍歸你所有。
1 週 $58.2/週 這一週內,本機需同時應付日常工作與實驗。 同樣需一次付清購機費;之後是否閒置,取決於下一次工作安排。
1 個月 $107.8/月 長時間負載可能占用日常開發所需的記憶體與使用時間。 請評估持續使用頻率、所需記憶體及設備管理成本。
1 季 $293.2/季 如果容量一直足夠,繼續使用現有設備也是一種選擇。 若之後仍有連續性的工作,請依實際報價重新評估購機。

別把「只跑兩小時」當成只付兩小時的費用

即使七天實驗每天只測試兩小時,也需要涵蓋完整七天的用機期間。下載權重、安裝相依套件、排查錯誤與匯出結果,都應納入租期規劃。

表中價格是完整租期的標價,不是按日連續租用的累計價格。

購機評估也要考慮閒置時間

記下實際購機報價、預計下次使用時間,以及實驗結束後是否還有日常用途。整台設備的價格不能直接視為單次實驗成本,也不應預設轉售收入。

缺少實際購機報價與使用頻率,因此本頁不計算「回本天數」。

選擇租期時先看日曆:1~2 天可按天租;3~7 天可比較按週租的 $58.2;超過 3 週可比較按月租的 $107.8;整季專案則可參考 $293.2/季。若實驗可能提前結束,也要考慮剩餘租期是否會閒置。

統一記憶體容量表

權重放得進去,不代表推論時還有足夠空間

下表比較本機 8GB 與租用設備 16GB 的容量。權重數值依「參數量 × 位元數 ÷ 8」計算,採十進位 GB,僅代表理論原始權重,不是下載檔案大小或實際執行時的記憶體峰值。

模型檔案可能還包含量化中繼資料;執行時也需要系統記憶體、快取、啟用值與 KV cache。
模型與量化規格 理論原始權重 本機 8GB 租用設備 16GB
3B · 4-bit 約 1.5GB 可優先在本機測試,關閉不相關的應用程式並留意記憶體壓力。 適合作為輕量實驗的起點,不必只為了容量而移轉。
3B · 8-bit 約 3GB 需確認系統與上下文所需空間,不保證能持續穩定執行。 可嘗試,但仍需記錄執行時的記憶體峰值。
7B · 4-bit 約 3.5GB 可用空間有限,不宜只看權重大小就判定能否使用。 建議作為首次推論的候選規格,先從較短的上下文開始。
7B · 8-bit 約 7GB 不建議,原始權重已接近整台設備的記憶體容量。 可在符合條件時嘗試;長上下文與多工會進一步增加記憶體用量。
13B · 4-bit 約 6.5GB 不建議,難以為系統與執行程序保留足夠空間。 請謹慎測試,不作為預設推薦;需確認實際記憶體峰值。
13B · 8-bit 約 13GB 不建議。 不建議,請考慮記憶體容量更大的設備。

本站設備的記憶體容量上限為 16GB 統一記憶體。不建議在本站規格執行 13B 及以上的 8-bit 模型;上下文變長、並行工作增加或進行 LoRA 微調時,推論參考表不能直接視為容量保證。擴充 SSD 增加的是儲存空間,不是統一記憶體。

先用小規模樣本測試

使用相同版本的模型與量化檔案,固定上下文和輸出長度;先執行單一請求,再查看活動監視器中的記憶體壓力與交換空間用量。若壓力指標變黃或持續上升,請縮短上下文、減少並行工作、關閉其他程序,必要時改用較小的模型。不要把交換空間當成免費的記憶體擴充。

依工作需求選擇

有些工作適合租用,有些更適合留在本機

選設備時不能只看記憶體容量。請一併評估容量、使用頻率與移轉工作量;若這三點都無法證明租用有必要,就先維持現有的工作方式。

工作 繼續使用本機的條件 考慮 OsxNode M4-16 的情況 考慮自購的條件與限制
輕量建置與指令碼測試 相依套件已備妥、現有記憶體足夠,且不影響日常工作。 只需短期使用獨立的 macOS 環境,或希望將工作與本機分開。 若每天持續使用或需連接本機設備,請評估購機預算。
日常開發 編輯、除錯與建置都能在本機完成。 專案期間明確,而且能接受網路連線與檔案同步。 若長期頻繁互動、需要離線工作或高度依賴本機周邊設備,則更值得評估自購。
MLX 推論 較小的模型已能穩定執行,記憶體壓力也正常。 本機 8GB 空間不足,而候選模型已確認能在 16GB 記憶體內執行。 若模型或上下文長期超出 16GB 容量,請評估記憶體更大的設備;本站未提供此類規格。
小規模 LoRA 微調 已確認小型模型與小批次訓練的實際記憶體峰值可控。 先確認模型、批次大小、序列長度與訓練狀態的總記憶體用量,再決定是否短租。 若需重複訓練且記憶體持續不足,應依訓練需求選擇設備,不能沿用推論的容量判斷。

若權重與資料集占用空間較大,可加購 +1TB SSD:$2.1/天、$5.6/週、$10.4/月、$28.3/季。加裝的 SSD 不會增加模型可用的統一記憶體;工具、相依套件與模型權重需由使用者自行安裝及準備。

移轉也有成本

省下購機支出,也要安排連線與同步

在遠端設備執行程式,網路不會提升模型的運算能力;網路會影響你如何查看輸出、操作介面及傳輸檔案。請將這三項納入實驗第一天的規劃。

網路延遲:分開看互動與運算

在本機操作不需要傳輸遠端桌面畫面。操作雲端圖形介面需要穩定網路,距離與連線路由會影響操作回饋;長時間推論可透過 SSH 管理,查看記錄時不必一直傳輸桌面畫面。

四個節點位於新加坡、東京、首爾與香港。參考延遲區間不是你實際網路的測試結果,也不代表操作一定流暢。

檔案同步:首次下載也會占用租期

若本機已有權重與資料,就能直接開始。移轉到雲端則需安裝相依套件、傳輸或重新下載檔案;後續只同步變更內容,通常比反覆傳送整個資料夾更合適。

請勿假設 256GB SSD 都能用來存放資料集,系統與執行環境也會占用儲存空間。租期結束前請自行匯出結果,勿將關機後仍可取回資料納入規劃。

環境隔離:使用獨立設備仍需記錄相依套件

雲端實驗可避免變更本機的 Python 環境與開發相依套件。使用獨享實體設備也不代表環境已配置妥當:請記錄相依套件版本、模型版本與啟動參數,才能在下次租用時重現實驗。

環境隔離不等於代為管理;使用者仍需自行管理程序、憑證與備份,並遵守軟體及資料的授權條款。

資源歸屬需另外確認

記憶體容量相同,交付方式可能不同

OsxNode 在租期內提供一台僅供你使用的 M4 Mac mini 實體設備,不會切分成虛擬機。比較其他服務時,請確認實際交付方式,不要把「虛擬機」視為統一的規格或效能標準。

比較項目 自有本機 OsxNode 獨享實體設備 使用虛擬機服務時需確認
記憶體歸屬 由你的系統與本機程序使用。 租期內的 16GB 統一記憶體不與其他租戶共用。 確認分配容量、主機共用方式及超額分配政策。
GPU 核心 是否被本機其他工作占用,由你自行管理。 實體設備的 GPU 核心不與其他租戶共用。 確認是否提供 GPU 存取權,以及資源是否共用。
Metal 與 MLX 需確認硬體、系統與軟體環境是否相容。 可使用實體 M4 的 Metal 功能,MLX 環境由使用者自行設定。 請確認是否支援 Metal、實際相容性與使用限制,不要預設可用。
其他工作負載的影響 瀏覽器、IDE 與實驗工作會競用本機資源。 你啟動的程序仍會共用同一台設備的記憶體與運算資源。 確認主機的資源調度方式,以及其他租戶的工作負載會造成何種影響。

獨享代表租戶彼此隔離,不代表容量無上限或速度固定。本站不提供超過 16GB 記憶體的規格、不提供額外 GPU 加速卡,也不代為下載、安裝或管理模型。

將判斷轉化為實際條件

先用最小規模實驗確認,再決定是否長期投入

不要用延長租期掩蓋容量不足,也不要只為尚未驗證的實驗購買設備。依照以下步驟,為目前的工作做出可調整的決定。

  1. 本機足夠:維持現狀

    若模型能穩定載入、記憶體壓力正常,而且實驗不影響日常開發,就繼續使用本機。先記錄模型、量化位元數與上下文,確認遇到實際瓶頸後再移轉。

  2. 短期缺記憶體:先租一段時間

    若候選模型適合 16GB,而專案只需幾天或幾週,可先按天租用測試,再依實際日曆安排選擇租期。租用至少一天,付款確認後當天開通;控制台顯示節點與憑證即視為完成交付。實際可用狀態以控制台即時顯示為準。

  3. 需求持續超出上限:重新選擇設備

    若需要更大的模型、較長的上下文或長期訓練,且記憶體峰值超過 16GB,應考慮記憶體更大的設備或調整工作方式。若需長期連續使用且依賴本機周邊設備,也請將實際購機報價納入比較。

確定租用前,請再次確認付款與備份安排

僅支援 USDT-TRC20,以及透過 Stripe 付款的 Visa / Mastercard / Amex,全部以美元結算;實際可用的付款管道以後端介面回傳為準。請在租期結束前匯出模型設定、結果與必要檔案;租期到期後不續租即關機。資料處理規則請事先閱讀安全與可用性說明。

為這次實驗選定明確租期

確認 16GB 能容納你的工作後,再選擇按天、週、月或季租用。若還無法判斷記憶體峰值,請先提供模型規模、量化位元數與上下文設定進行諮詢。