由于需要本地化部署语言模型的场景,对数据隐私和自定义或扩展语言模型功能有较高要求,我们这里使用Ollama来进行本地部署运行
如果只有集显也想试试玩,可以试试下载LM Studio软件,更适应新手,如果有需要后续更新。
1.安装Ollama
在Ollama官网下载Ollama客户端

选择自己的系统版本进行下载

安装完成


控制台验证是否成功安装

我们再回到Ollama官网选择模型,选择适合你的蒸馏量化模型复制命令进行安装
安装模型:
ollama run deepseek-r1:8b
可以看到安装完成


© 版权声明
文章版权归作者所有,未经允许请勿转载。
相关文章
暂无评论...