从版本4.0开始,Xcode的Xliff工具已经集成了一个本地大语言模型,这带来了许多新的功能。以下是安装这个本地大语言模型的指南。有关详细的使用说明,请参考”最佳实践“文档。
Xliff工具使用Ollama作为其本地大语言模型平台,能够托管各种大语言模型。可以通过Homebrew进行安装,也可以直接从官方网站下载。
brew install ollama
注意:Homebrew提供了两个版本的Ollama,其中一个版本位于Cask类别下。这两个版本都提供了Ollama的核心功能。不过,Cask版本包含一个额外的独立应用程序,该应用程序在后台运行,并且在系统菜单栏中有一个持久性的图标。非Cask版本因其资源消耗最少而更受推荐。
安装完成后,在继续安装特定模型之前,必须先启动Ollama。操作过程非常简单,只需执行以下命令:
ollama serve
建议使用这种方法,因为它消耗的资源最少,并且可以通过按下ctrl+c命令随时停止。
一旦Ollama运行起来,当前的终端会话将专门用于它。要打开一个新的终端,可以使用cmd+n快捷键。
对于以后对Ollama的操作,记得以这种方式启动它,以便应用程序可以与其交互。
设置好Ollama之后,你需要安装适当的模型。在选择模型时,需要考虑以下几点:
较大的模型会消耗更多的内存,在调用时可能会运行得更慢。但是,它们通常能提供更高的准确性。
参数不超过7亿的模型至少需要8GB的RAM,而参数达到130亿的模型则需要16GB的RAM。
并非每个模型都与Xliff工具的功能兼容。建议从推荐的模型开始使用,并在空闲时间探索其他选项。
安装过程设计支持可恢复下载。如果下载速度不理想,可以按下ctrl+c中断下载,然后使用上箭头键重新发出安装命令,这可能会提高下载速度。
以神经聊天模型为例,安装命令为:
ollama run neural-chat
完成安装后,你将拥有一个命令行界面来进行交互。要退出,只需输入”/bye”。
通过Xliff工具使用Ollama时,无需手动运行模型。相反,可以使用”ollama serve”启动Ollama服务。