为什么用本地模型
本地模型的意义在于:数据不出本地、无需联网调用云端、可控性更强。对于对数据隐私有要求的场景,本地模型是更稳妥的选择。
支持情况
WorkBuddy 是否支持本地模型、支持哪些本地模型,以客户端内提供的模型与能力为准,部分版本支持接入更多模型来源。
基本配置思路
如果支持本地模型,通常的思路是:在本地跑一个兼容的模型服务,再通过 API 方式接入 WorkBuddy,或直接在客户端里选择本地模型选项。具体以客户端内界面为准。
注意事项
- 本地模型对硬件(尤其内存和显卡)有一定要求;
- 本地模型的推理速度受设备性能影响;
- 先确认支持情况,再投入配置。