劇本殺是一種廣受歡迎的多角色扮演偵探游戲，要求玩家扮演不同的角色。通過閱讀角色文本、理解各自的故事、搜集線索、以及邏輯推理，玩家們共同努力揭開謎團。游戲角色通常被分為平民和兇手兩大類：平民的目標是找出隱藏在他們中間的兇手，而兇手則盡力隱藏自己的身份，避免被發(fā)現(xiàn)。那么，如果讓 AI 加入游戲，會產(chǎn)生怎樣的新變化呢？

劇本殺游戲流程。

加拿大蒙特利爾大學和 Mila 研究所的研究團隊帶來了一項令人興奮的新研究，將 AI 的潛力引入到劇本殺游戲中。這項研究不僅展現(xiàn)了大型語言模型（LLM）在復(fù)雜敘事環(huán)境中的應(yīng)用潛力，而且為 AI 智能體的推理能力評估設(shè)定了新的試驗場。讓我們一起深入了解這項研究的細節(jié)和其帶來的啟發(fā)。

研究動機：AI 與劇本殺的交匯

AI 的進步已經(jīng)使其被廣泛應(yīng)用于各種游戲中。然而，劇本殺游戲以其獨特的玩法和復(fù)雜的設(shè)置，仍是一塊待開發(fā)的新領(lǐng)域。為了將 AI 引入劇本殺游戲中，蒙特利爾大學的研究團隊面臨三個主要挑戰(zhàn)：

首先，劇本殺游戲中復(fù)雜的角色情節(jié)和人物關(guān)系要求 AI 不僅要理解所扮演的游戲角色的背景和動機，還要能夠適應(yīng)游戲劇情的多層次敘事，通過在游戲中和其他角色互動來收集其他角色的信息、還原案件原貌。

其次，由于缺乏專門為劇本殺設(shè)計的數(shù)據(jù)集，需要開發(fā)一個包含豐富文本的劇本殺數(shù)據(jù)集，這對于啟動和評估 AI 模型至關(guān)重要。

最后，如何準確定量和定性地評估 AI 在劇本殺游戲中的表現(xiàn)也是極具挑戰(zhàn)性的任務(wù)。因為在劇本殺游戲中，目標不僅是贏得比賽，更重要的是理解游戲劇情并揭露案件的真相。為此，AI 需要在參與游戲的過程中展示出卓越的溝通交流、信息收集以及邏輯推理能力。

這項研究的貢獻主要涵蓋四個方面：

首先，團隊構(gòu)建了一個專門針對劇本殺游戲的數(shù)據(jù)集，旨在啟動和評估 AI 模型；

其次，團隊設(shè)計了一個多智能體互動框架，允許劇本殺游戲自動進行，從而無需人為干預(yù)；

再者，團隊開發(fā)了一套量化和質(zhì)化評估方法，以評估 LLM 智能體在游戲中的信息搜集和推理能力；

最后，通過利用最新的上下文學習技術(shù)，團隊設(shè)計了增強 LLM 智能體性能的模塊。

此項研究不僅推動了 AI 在多角色互動的復(fù)雜敘事游戲：劇本殺中的應(yīng)用研究，也為智能體的評估和性能優(yōu)化提供了新的視角和方法。

數(shù)據(jù)集構(gòu)建：劇本殺游戲的數(shù)字化轉(zhuǎn)型

為了在劇本殺的環(huán)境下啟動和評估 AI 模型，研究團隊精心收集了 1115 個劇本殺游戲案例，創(chuàng)建了一個龐大的數(shù)據(jù)庫。這些游戲包含了豐富的關(guān)于劇本殺游戲的游戲規(guī)則、劇情故事、角色背景、案件線索等文本信息，為 AI 的仿真和測試提供了理想的素材，使得研究人員能夠在模擬的環(huán)境中準確觀察和評估 AI 智能體的表現(xiàn)。此外，數(shù)據(jù)集還提供了圖片、視頻、音頻等多模態(tài)的信息，為未來多模態(tài)的 AI 智能體的開發(fā)和測試提供了可能。

表 1. 劇本殺數(shù)據(jù)集中不同模態(tài)的游戲劇本數(shù)量

表 2：劇本殺數(shù)據(jù)集中游戲劇本的玩家數(shù)量和token統(tǒng)計。

ThinkThrice 框架：AI 如何玩轉(zhuǎn)劇本殺

研究團隊開發(fā)了一個名為 ThinkThrice (三思) 的多智能體互動框架，允許基于 LLM 的 AI 智能體自主參與劇本殺游戲。這個框架通過記憶檢索、自我完善和自我驗證三個使用上下文學習技術(shù)的 模塊確保 AI 智能體能夠有效地理解游戲情景，收集信息，并進行邏輯推理。AI 智能體的每一步動作，包括詢問、回應(yīng)、投票等，都是基于其角色劇本和以往的交互記錄由 LLM 自動產(chǎn)生的。

ThinkThrice (三思) 框架。

評估方法：新的評價標準

研究者設(shè)計了事實性問題回答和推理性問題回答兩項任務(wù)來評估 AI 智能體的表現(xiàn)。事實性問題旨在測試 AI 智能體在游戲過程中收集的信息量，而推理性問題則評估 AI 使用這些信息進行推理的能力。其中推理性問題不僅需要考察 AI 智能體對特定問題的答案，還要評估其背后的推理過程是否合理。

表 3：事實性問題示例。

表 4：推理性問題示例。

實驗結(jié)果：AI 智能體的偵探能力評估

實驗結(jié)果表明，與基線模型相比，引入記憶檢索、自我完善和自我驗證模塊的 AI 智能體在回答關(guān)于其他角色的事實性問題時，準確率得到了顯著提升。這證明了信息交流在理解游戲中其他角色的行為和動機方面至關(guān)重要。此外，AI 智能體信息收集能力的增強，也顯著提高了其在推理解案和識別兇手方面的表現(xiàn)。這表明 AI 智能體通過收集充足的信息和進行有效的推理，能夠更準確地確定兇手身份。

表 5：AI 智能體回答關(guān)于自己扮演角色的事實性問題 (Own Q) 和其他角色的事實性問題 (Other’s Q) 的準確率。

AI 智能體使用 GPT-3.5 和 GPT-4 時的推理準確率。

AI 智能體的兇手識別準確率和平民玩家勝率。

結(jié)語

該研究通過將大型語言模型（LLM）智能體引入偵探角色扮演游戲 “劇本殺”，探索了 LLM 智能體在復(fù)雜敘事環(huán)境中的應(yīng)用潛力，為觀察和評估 LLM 智能體的行為及能力提供了新的視角和方法，并為社區(qū)深入理解大型語言模型的能力開辟了新途徑。通過實證研究，該團隊證明了其設(shè)計的多智能體互動框架和上下文學習模塊在信息收集、兇手識別和邏輯推理能力方面，相較于基線模型有了顯著提升。這一發(fā)現(xiàn)預(yù)示著 LLM 在復(fù)雜推理任務(wù)中應(yīng)用的廣闊前景。預(yù)計在不遠的將來，AI 將能夠與人類攜手解決復(fù)雜場景的推理問題。