选择哪个大模型?
现在国内外各大厂商都加入了开源赛道,动辄几百b的模型体量,我们肯定是没那个条件自己部署的。
既然提到了开源这条赛道,那就绕不开开源卷王阿里通义千问,开源的模型支持全尺寸、全场景,几乎是有求必应,还在持续更新。
如果你的电脑配置不高,推荐选择「Qwen3-0.6B」,这个模型不仅体积小巧不吃配置,而且拥有着强大的推理能力,更懂人类的创作偏好,支持上百种语言,可以处理一些敏感内容的翻译需求。
部署的方法是通用的,为了照顾电脑配置不高的小白朋友们,就以「Qwen3-0.6B」这个小巧精悍的模型为例,手把手教你部署到本地使用。
使用Ollama本地部署模型
能在本地部署模型的工具有很多,下面以Ollama为例。
首先进入Ollama官网,根据提示找到适合自己电脑系统的版本,点击下载,Windows系统最低得是Win10以上的版本。
下载完成后运行会弹出安装页面,点击“Install”,然后一路点击“下一步”等待安装完成即可。
安装成功后会自动打开Ollama的可视化界面,在模型列表里默认添加了一些模型,其中就有Qwen3系列,不过默认最低只有4b的版本可选。
如果你的电脑配置足够高,4b、8b的版本都可以选。
完整的模型列表地址:https://ollama.com/library/qwen3
选择模型后,当你发送第一问题时,就会自动下载模型,Qwen3-0.6b的体积只有不到500MB,要不了一分钟就下载完成了。
现在本地模型部署好了,不需要网络也能用,响应速度极快,几乎感觉不到任何延迟,写一篇2000字的小说只需要短短几秒钟的时间,这种极致的体验是线上模型所给不到的。
因为本地部署模型可以在断网的状态下使用,所以涉及敏感内容的文档、资料啥的都可以放心的交给AI进行处理,无需担心泄密。
