像ChatGPT、Claude.ai和phind這樣的聊天機器人非常有用，但可能并不總是希望的問題或敏感數(shù)據(jù)由外部應用程序處理。在平臺上尤其如此，在這些平臺上，你的互動可能會被人類審查，并以其他方式用于幫助訓練未來的模型。

一種解決方案是下載一個大型語言模型（LLM）并在自己的機器上運行它。這樣一來，外部公司就永遠無法訪問的數(shù)據(jù)。這也是嘗試一些新專業(yè)模型的一個快速選擇，如Meta最近宣布的Code Llama系列模型，這些模型經(jīng)過了編碼調(diào)整，以及Seamless M4T，旨在實現(xiàn)文本到語音和語言翻譯。

運行自己的LLM聽起來可能很復雜，但有了正確的工具，它會出奇地容易。而且許多型號的硬件要求并沒有想象中那么瘋狂。我已經(jīng)在兩個系統(tǒng)上測試了本文中提供的選項：一個是帶有英特爾i9處理器、64GB RAM和英偉達GeForce 12GB GPU（可能沒有參與運行該軟件的大部分工作）的戴爾PC，另一個是只有16GB RAM的M1芯片的Mac。

請注意，可能需要一點研究才能找到一個在的任務(wù)中運行良好并在桌面硬件上運行的模型。而且，很少有人能像你習慣的ChatGPT（尤其是GPT-4）或Claude.ai這樣的工具那樣好。命令行工具LLM的創(chuàng)建者Simon Willison在上個月的一次演示中認為，即使本地模型的響應是錯誤的，運行它也是值得的：

在你的筆記本電腦上運行的[一些]會產(chǎn)生瘋狂的幻覺——我認為這實際上是運行它們的一個很好的理由，因為在你的電腦上運行弱型號是了解這些東西如何工作及其局限性的一種更快的方式。

同樣值得注意的是，開源模型可能會不斷改進，一些行業(yè)觀察人士預計，它們與商業(yè)領(lǐng)袖之間的差距會縮小。

1.使用GPT4All運行本地聊天機器人

如果你想要一個在本地運行、不會在其他地方發(fā)送數(shù)據(jù)的聊天機器人，?GPT4All?提供了一個易于設(shè)置的桌面客戶端供下載。它包括在自己的系統(tǒng)上運行的型號的選項，還有Windows、macOS和Ubuntu的版本。

當?shù)谝淮未蜷_GPT4All桌面應用程序時，將看到下載大約10個（截至本文撰寫之時）可以在本地運行的模型的選項。其中包括Meta AI的模型Llama-2-7B聊天。如果你有API密鑰，你也可以設(shè)置OpenAI的GPT-3.5和GPT-4（如果你有訪問權(quán)限）供非本地使用。

GPT4All接口的模型下載部分一開始有點令人困惑。在我下載了幾個模型后，我仍然可以選擇全部下載。這表明下載不起作用。然而，當我檢查下載路徑時，模型就在那里。

GPT4All中模型下載接口的一部分。一旦我打開應用程序的使用部分，我下載的模型就會自動出現(xiàn)。

一旦建立了模型，聊天機器人界面本身就很干凈，易于使用。方便的選項包括將聊天復制到剪貼板并生成響應。

還有一個新的測試版LocalDocs插件，可以讓你在本地與自己的文檔“聊天”?？梢栽谥袉⒂肧ettings > Plugins 選項卡，將看到“LocalDocs插件（BETA）設(shè)置”標題和在特定文件夾路徑創(chuàng)建集合的選項。

該插件正在進行中，并且?文檔? 警告說，即使LLM可以訪問添加的專家信息，它仍可能“產(chǎn)生幻覺”（編造）。盡管如此，這是一個有趣的功能，隨著開源模型變得更加強大，它可能會得到改進。

除了聊天機器人應用程序，GPT4All還綁定了Python、Node和命令行界面（CLI）。還有一種服務(wù)器模式，可以讓你通過一個結(jié)構(gòu)非常像OpenAI的HTTP API與本地LLM交互。目標是通過更改幾行代碼，讓你用本地LLM交換OpenAI的LLM。

2.命令行啟動LLM

Simon Willison的LLM是我見過的在自己的機器上本地下載和使用開源LLM的更簡單的方法之一。雖然確實需要安裝Python來運行它，但不應該接觸任何Python代碼。如果你在Mac電腦上使用Homebrew，只需使用：

brew install llm

如果在Windows計算機上，請使用最喜歡的安裝Python庫的方式，例如：

pip install llm

LLM默認使用OpenAI模型，但可以使用插件在本地運行其他模型。例如，如果安裝gpt4all插件，將可以從gpt4all訪問其他本地模型。還有用于llama、MLC項目和MPT-30B的插件，以及其他遠程模型。

在命令行上安裝一個插件，名稱為llm Install model：

llm install llm-gpt4all

可以使用命令llm-models-list查看所有可用的型號——遠程和已安裝的型號，包括每種型號的簡要信息。

當要求LLM列出可用型號時顯示。

要將查詢發(fā)送到本地LLM，語法如下：

llm -m the-model-name "Your query"

如何選擇正確的模型？可以前往?GPT4All主頁?并向下滾動到與GPT4All兼容的模型的模型資源管理器。falcon-q4_0選項是一款評級較高的相對較小的型號，具有允許商業(yè)使用的許可證，所以我從那里開始。

然后，我問了它一個類似于ChatGPT的問題，但沒有發(fā)出單獨的命令下載模型：

llm -m ggml-model-gpt4all-falcon-q4_0 "Tell me a joke about computer programming"

這是LLM用戶體驗如此優(yōu)雅的一點：如果本地系統(tǒng)上不存在GPT4All模型，LLM工具會在運行查詢之前自動為下載它。下載模型時，將在終端中看到進度條。

LLM自動下載了我在查詢中使用的模型

這里有一個笑話：“程序員為什么關(guān)掉電腦？因為他想看看它是否還在工作！”——但事實上，這個查詢確實起了作用。如果結(jié)果令人失望，那是因為模型性能或用戶提示不足，而不是LLM工具。

還可以為LLM中的模型設(shè)置別名，以便可以使用較短的名稱來引用它們：

llm aliases set falcon ggml-model-gpt4all-falcon-q4_0

要查看所有可用的別名，請輸入：llm aliases。

這個?Meta的Llama模型的LLM插件?需要比GPT4All多一點的設(shè)置。閱讀上的詳細信息?LLM插件的GitHub回購。請注意，通用llama-2-7b-chat確實設(shè)法在我的工作Mac上運行了M1 Pro芯片，只有16GB的RAM。與為沒有GPU的小型機器優(yōu)化的GPT4All型號相比，它運行得相當慢，在我更健壯的家用電腦上表現(xiàn)更好。

LLM還有其他功能，例如argument標志，使可以從以前的聊天中繼續(xù)，并能夠在Python腳本中使用它。9月初，該應用程序獲得了?用于生成文本嵌入的工具，可用于搜索相關(guān)文檔的文本含義的數(shù)字表示?？梢栽贚LM網(wǎng)站上看到更多信息。Willison是流行的Python Django框架的聯(lián)合創(chuàng)建者，他希望社區(qū)中的其他人能為LLM生態(tài)系統(tǒng)貢獻更多插件。

3.桌面上調(diào)用模型：Ollama

Ollama是一種比LLM更容易下載和運行模型的方法。然而，該項目僅限于macOS和Linux，直到2月中旬，Windows的預覽版終于問世。我測試了Mac版本。

通過點擊安裝是一種優(yōu)雅的體驗。盡管Ollama是一個命令行工具，但只有一個命令具有以下語法ollama run model-name名稱。與LLM一樣，如果模型還沒有在的系統(tǒng)上，它將自動下載。

可以在上查看可用型號的列表?https://ollama.ai/library，截至本文撰寫之時，它包括基于Llama的模型的幾個版本，如通用Llama 2、Code Llama、針對某些編程任務(wù)進行微調(diào)的DeepSE的CodeUp，以及針對回答醫(yī)學問題進行微調(diào)的meddlama2。

這個?Ollama GitHub repo's README 文件包括一些型號規(guī)格的有用列表和建議，“你應該至少有8GB的RAM來運行3B型號，16GB來運行7B型號，32GB來運行13B型號。”在我的16GB RAM Mac上，7B Code Llama的性能出奇地快。它將回答有關(guān)的問題?bash/zsh?shell命令以及Python和JavaScript等編程語言。

盡管它是家族中最小的模型，但如果不完美地回答了一個R編碼問題，這會讓一些更大的模型感到困惑，那它還是很好的：“為ggplot2圖寫R代碼，其中的條形圖是鋼藍色的。”代碼是正確的，只是其中兩行代碼中有兩個額外的右括號，這很容易在我的IDE中找到。我懷疑更大的Code Llama本可以做得更好。

Ollama還有一些附加功能，例如?LangChain?集成和使用PrivateGPT運行的能力，除非檢查?GitHub repo的教程頁面。

如果你在Mac電腦上，想使用Code Llama，你可以在終端窗口中運行它，每次有問題時都會把它拉出來。我期待著在我的家用電腦上使用Ollama Windows版本。

4.與自己的文檔聊天：H2OGPT

H2O.ai?一段時間以來，該公司一直致力于自動化機器學習，因此很自然地進入了聊天LLM領(lǐng)域。它的一些工具最好由熟悉該領(lǐng)域的人使用，但安裝其測試版本的說明?h20GPT?聊天桌面應用程序快速而直接，即使對于機器學習新手來說也是如此。

你可以訪問web上的演示版本（顯然不是使用系統(tǒng)本地的LLM），網(wǎng)址：?gpt.h2o.ai。

本地LLaMa模型基于VS代碼文檔回答問題

無需添加自己的文件，就可以將該應用程序用作通用聊天機器人?；蛘?，可以上傳一些文檔并詢問有關(guān)這些文件的問題。兼容的文件格式包括PDF、Excel、CSV、Word、文本、標記等。測試應用程序在我的16GB Mac上運行良好，盡管較小型號的結(jié)果無法與帶GPT-4的付費ChatGPT相比（一如既往，這是型號的函數(shù)，而不是應用程序的函數(shù)）。H2OGPT UI為知道自己在做什么的用戶提供了一個專家選項卡，其中包含許多配置選項。這為更有經(jīng)驗的用戶提供了嘗試改進其結(jié)果的選項。

如果你想對流程進行更多控制，并為更多型號提供選項，請下載完整的應用程序。對于帶有GPU或僅帶有CPU的系統(tǒng)，有適用于Windows和macOS的一鍵安裝程序。請注意，我的Windows防病毒軟件對Windows版本不滿意，因為它沒有簽名。我熟悉H2O.ai的其他軟件，代碼在GitHub上也有，所以我愿意下載并安裝它。

Rob Mulla，現(xiàn)在在H2O.ai，發(fā)布了一個?YouTube視頻?關(guān)于在Linux上安裝該應用程序。盡管該視頻已經(jīng)發(fā)布了幾個月，應用程序用戶界面似乎也發(fā)生了變化，但該視頻仍然有有用的信息，包括關(guān)于H2O.ai LLM的有用解釋。

5.輕松但緩慢的數(shù)據(jù)聊天：PrivateGPT

PrivateGPT?還設(shè)計用于讓使用自然語言查詢自己的文檔，并獲得生成的人工智能響應。此應用程序中的文檔可以包括幾十種不同的格式。README確保數(shù)據(jù)“100%私有，任何時候都不會有數(shù)據(jù)離開的執(zhí)行環(huán)境。可以在沒有互聯(lián)網(wǎng)連接的情況下獲取文檔并提出問題！”

PrivateGPT的特點是腳本可以攝取數(shù)據(jù)文件，將其分割成塊，創(chuàng)建“embeddings”（文本含義的數(shù)字表示），并將這些嵌入存儲在本地Chroma矢量存儲中。當你提出問題時，該應用程序會搜索相關(guān)文檔，并將其發(fā)送給LLM以生成答案。

如果熟悉Python以及如何設(shè)置Python項目，可以克隆完整的PrivateGPT存儲庫并在本地運行它。