给一次实验记一笔用机账

模型要多大内存,实验要占几天?

先判断机器能否装下模型,再决定是否为它买单。Mac短租解决的是短期用机与本机内存不足,不是让所有任务都搬到云端。

下面以 7 天 MLX 推理实验为例:运行 7B、4-bit 模型,每天计划交互测试 2 小时,固定模型、提示词与上下文设置;不同时运行构建任务,也不进行训练。运行时长是实验安排,不是性能承诺。

入口价 $21.6/天。按日历租期预付,不按推理脚本实际运行小时计费;到期不续即停机,不产生后续费用。

费用按占用时间计算

短期支出有标价,购机预算需要你自己的报价

OsxNode 目前只有一档在售机型:OsxNode M4-16,M4 / 16GB 统一内存 / 256GB SSD。下表是不含附加项的整周期原价;购机不填一个与地区、配置和购买时间无关的假定价格。

同一档机器,四种租期;自购与本机成本按实际情况另记。
实验占用 OsxNode 租用支出 继续用本机 专门购机
1 天 $21.6/天 无新增购机支出;核对现有内存是否够用。 支付整机预算,实验后机器仍由你持有。
1 周 $58.2/周 本机在这一周内需要兼顾日常工作与实验。 同样需要一次性购机;后续是否闲置由下一次任务决定。
1 月 $107.8/月 长时间负载可能挤占日常开发的内存与使用时间。 核对持续使用频率、所需内存与设备管理成本。
1 季 $293.2/季 若容量一直够用,继续使用现有设备仍是可选路径。 若之后仍有连续任务,应结合实际报价重新评估购机。

不要把“只运行两小时”当作两小时账单

七天实验即使每天只测试两小时,也需要覆盖七天的用机周期。下载权重、安装依赖、排查报错和导出结果,都应放进租期安排。

表中价格是周期目录价,不是连续重复日付的累计价格。

闲置时间也要写进购机判断

记下实际购机报价、下一次预计使用时间,以及实验结束后是否还有日常用途。不能把整机价格直接等同于一次实验成本,也不能预设转售收入。

本页不计算缺少真实购机报价与使用频率的“回本天数”。

选周期时先看日历:1~2 天可选按天;3~7 天比较按周 $58.2;超过 3 周可比较按月 $107.8;整季项目对应 $293.2/季。若实验随时可能结束,应同时考虑剩余租期是否会闲置。

统一内存账本

权重装得下,不等于推理还有余量

下面把本机 8GB 与租用机 16GB 放在同一张容量表里。权重数字按“参数量 × 位宽 ÷ 8”计算,采用十进制 GB,仅表示理论原始权重,不是下载文件大小或运行峰值实测。

模型文件还可能包含量化元数据;运行时另需系统内存、缓存、激活值与 KV cache。
模型与量化 理论原始权重 本机 8GB 租用机 16GB
3B · 4-bit 约 1.5GB 可优先在本机尝试,关闭无关应用并观察压力。 可作为轻量实验起点,不必仅为容量而迁移。
3B · 8-bit 约 3GB 需要核对系统与上下文开销,不保证持续稳定。 可尝试,仍需记录运行峰值。
7B · 4-bit 约 3.5GB 余量有限,不宜仅凭权重大小判定可用。 建议作为首次推理的候选,先从短上下文开始。
7B · 8-bit 约 7GB 不建议,原始权重已接近整机内存。 有条件尝试;长上下文与并发会继续增加占用。
13B · 4-bit 约 6.5GB 不建议,难以为系统和运行时留下余量。 谨慎试验,不作为默认推荐;需验证实际峰值。
13B · 8-bit 约 13GB 不建议。 不建议,应考虑更大内存的机器。

本站容量上限是 16GB 统一内存。13B 及以上的 8-bit 模型不建议在本档运行;上下文变长、并发增加或进行 LoRA 微调时,推理表不能直接作为容量保证。SSD 扩展增加的是存储,不是统一内存。

先做一次小样本验证

使用相同模型版本与量化文件,固定上下文和输出长度;先运行单请求,再看活动监视器的内存压力与交换使用情况。压力变黄或持续增加时,缩短上下文、减少并发、关闭其他进程,必要时换小模型。不要把交换空间当作免费内存扩容。

让任务决定去向

有些任务值得租,有些应该留在本机

选型不是只比较一列内存。把容量、发生频率、迁移工作量一起核对;若三项都不能说明租用的必要性,就先保留现有工作方式。

任务 继续用本机的前提 考虑 OsxNode M4-16 的条件 考虑自购的条件与边界
轻量构建与脚本验证 依赖已齐,现有内存足够,不妨碍日常工作。 只临时需要独立 macOS 环境,或需要把任务与本机分开。 每天持续使用、需本地设备联动时,核对购机预算。
日常开发 编辑、调试与构建能够在本机完成。 有一段明确项目周期,且能接受网络连接与文件同步。 长期高频交互、离线工作或本地外设依赖明显时更值得评估。
MLX 推理 较小模型已能稳定运行,内存压力正常。 本机 8GB 余量不足,候选模型经验证能在 16GB 内运行。 模型或上下文长期超出 16GB,应评估更大内存设备;本站不提供该档位。
LoRA 小规模微调 小模型、小批次的真实训练峰值已验证可控。 先验证模型、批次、序列长度与训练状态总占用,再决定是否短租。 重复训练且容量持续不足时,按训练需求选机器,不能沿用推理容量结论。

权重与数据集占用较大时,可考虑 +1TB SSD:$2.1/天、$5.6/周、$10.4/月、$28.3/季。附加盘不增加模型可使用的统一内存;工具、依赖与模型权重由用户自行安装和准备。

迁移也有成本

省下购机支出,也要安排连接与同步

远端机器运行脚本时,网络不会替模型增加计算能力;它影响的是你看到输出、操作界面和搬运文件的方式。把这三项纳入第一天的实验计划。

网络延迟:交互与计算分开看

本机操作不需要远程画面传输。云端图形界面需要稳定网络,距离与接入线路会影响操作反馈;长时间推理可通过 SSH 管理,查看日志时不必一直传输桌面。

四个节点为新加坡、东京、首尔、香港。参考区间不是你的接入网络实测值,不以它承诺操作流畅度。

文件同步:第一次下载也占租期

本机已有权重与数据时,可以直接开始。迁到云端则需要安装依赖、传输或重新下载文件;后续只同步改动,通常比反复传整份目录更合适。

不要假设 256GB SSD 都能用于数据集,系统和环境也会占用存储。到期前应自行导出结果,不把停机后的取回机会纳入计划。

环境隔离:独立机器仍需记录依赖

云端实验可以不改动本机的 Python 环境和开发依赖。独享物理机也不是免配置环境:固定依赖版本、模型版本与启动参数,才能在下次租用时复现。

隔离不等于代运维;用户自行管理进程、凭据与备份,也需要遵守软件及数据的授权条件。

资源归属要单独核对

同样写着内存容量,交付方式可能不同

OsxNode 租期内交付一台只分配给你的物理 Mac mini M4,不切分虚拟机。对比其他服务时,应核对实际交付约定,而不是把“虚拟机”当成统一配置或统一性能结论。

核对项目 自有本机 OsxNode 独享物理机 虚拟机服务需核对
内存归属 由你的系统与本机进程使用。 16GB 统一内存在租期内不与其他租户共享。 分配容量、宿主机共享策略及超售约定。
GPU 核心 是否被其他本机任务占用,由你管理。 物理机 GPU 核心不与其他租户共享。 是否提供 GPU 访问,以及资源是否共享。
Metal 与 MLX 需兼容的硬件、系统与软件环境。 可使用物理 M4 的 Metal 能力,MLX 环境由用户配置。 确认 Metal 是否开放、具体兼容性及限制,不能默认可用。
其他负载影响 浏览器、IDE 和实验任务会竞争本机资源。 你启动的进程仍会竞争同一台机器的内存与计算资源。 宿主机资源调度与其他租户负载的影响。

独享说明的是租户隔离,不是无限容量或固定速度。本站不提供 16GB 以上内存档位,不提供额外 GPU 加速卡,也不代为下载、安装或运营模型。

把判断写成可执行条件

先用最小实验确认,再决定长期投入

不要用租期长短掩盖容量不足,也不要只为一次尚未验证的实验购买机器。按下面的顺序,给当前任务一个可回退的决定。

  1. 本机够用:保持现状

    模型能稳定加载,内存压力正常,实验不影响日常开发时,继续用本机。先记录模型、量化位宽与上下文,只有发现真实瓶颈才迁移。

  2. 短期差内存:先租一段

    候选模型适合 16GB,项目只有几天或几周时,可按天验证,再按实际日历安排选择周期。按天起租,支付确认后当天开通,以控制台出现节点与凭据为交付结果;实际可用状态以控制台实时返回为准。

  3. 持续超上限:重新选机器

    需要更大模型、长上下文或长期训练,且运行峰值超出 16GB 时,应考虑更大内存设备或调整任务。若连续使用且依赖本地外设,再把实际购机报价加入比较。

确定租用前,再核对结算与备份

仅支持 USDT-TRC20 与经 Stripe 的 Visa / Mastercard / Amex,全部以美元结算,实际可用网关以后端接口返回为准。租期结束前导出模型配置、结果与必要文件;到期不续即停机,数据处理规则请提前阅读安全与可用性说明。

先给这次实验一个明确租期

确认 16GB 能容纳你的任务,再选择按天、周、月或季租用。若还不能判断内存峰值,先带着模型规模、量化位宽和上下文设置咨询。