本地大语言模型

Xliff Tool for Xcode从4.0起，引入了本地大模型。可以实现一系列新的功能。下面介绍一下本地大语言模型的安装。具体如何使用，请参考“最佳实践”。

本地大模型安装

Xliff Tool使用Ollama作为本地大语言模型的工具。Ollama可以加载多种大语言模型。可以使用brew进行安装，也可以直接从官网进行下载并安装。

brew安装

brew install ollama

注意：brew中存在两个不同的ollama，另一个在cask下。两个都具备ollama的基本功能。不过cask版还包含了一个独立的应用，能够在后台运行并且在系统桌面菜单显示一个常驻图标。我更推荐非cask版。

使用Ollama

安装好之后，必须得先启动Ollama，之后才能安装具体的模型。启动方式简单，运行命令：

ollama serve

建议使用这种方式运行Ollama，因为这样占有的资源最小。可以随时通过ctrl+c来终止Ollama的运行。

此时当前终端被Ollama占用。按cmd+n开启一个新的终端。

今后若想对Ollama进行调用，也必须先像这样启动Ollama，然后应用程序才能调用它。

模型安装

安装好之后，还需要安装对应的模型。选择模型有一下几点需要注意：

1. 模型越大，调用时占用的内存越大。运行的也会越缓慢。但是越大的模型理论上会越准确。
2. 7B及一下的模型，需要你有8GB的内存。13B的则需要16GB的内存。
3. 并不是所有的模型都适合Xliff Tool的功能。用户可以先使用推荐的模型。然后在空闲时，自行尝试其它的模型。
4. 安装支持断点续传，如果发现下载速度过慢。可以使用ctrl+c中断下载，然后按⬆️，再次执行安装命令，这样速度会重新快起来。

以neural-chat为例，安装的方式为：

ollama run neural-chat

安装好之后，会自动进入命令行的对话界面。输入“/bye”可以退出。

当通过Xliff Tool来调用Ollama时，你不需要自己运行模型，只需要通过ollama serve开启Ollama服务即可。