您可能已經(jīng)使用過(guò)一些AI寫作檢測(cè)器，但是現(xiàn)在您想知道AI檢測(cè)是如何工作的，對(duì)么?我不是AI研究專家。但是，我可以從數(shù)據(jù)科學(xué)的角度來(lái)解釋這個(gè)問(wèn)題。

我將講述：

什么是AI檢測(cè)

在訓(xùn)練這些模型時(shí)，需要用到哪些技術(shù)

誰(shuí)需要使用它們

其他重要的常見(jiàn)問(wèn)題

什么是AI檢測(cè)？

AI檢測(cè)是利用復(fù)雜的機(jī)器學(xué)習(xí)和自然語(yǔ)言處理模型，實(shí)現(xiàn)對(duì)人工文本與機(jī)器文本的區(qū)分。它包括使用人工智能檢測(cè)軟件，該軟件在已建立的文本庫(kù)中進(jìn)行訓(xùn)練，從而開(kāi)發(fā)預(yù)測(cè)算法，這種算法能夠從新的測(cè)試材料中識(shí)別出模式。然后，您會(huì)獲得一個(gè)概率分值，用于判斷該被評(píng)估的材料是通過(guò)人工創(chuàng)建還是自動(dòng)創(chuàng)建的。

為什么AI文本檢測(cè)很重要？

人工智能文本檢測(cè)對(duì)于確保信息的可靠性非常重要，在搜索引擎優(yōu)化(SEO)、學(xué)術(shù)界和法律領(lǐng)域也能發(fā)揮關(guān)鍵作用。

AI內(nèi)容生成器無(wú)疑很有用，而且在競(jìng)爭(zhēng)中必不可少。但它們同樣也是出了名的不可靠。因此，無(wú)論是谷歌，還是學(xué)校，以及客戶，都想要確定內(nèi)容，您不能不加審核就把原創(chuàng)內(nèi)容發(fā)出去。

您能想象如果人們被允許:

不經(jīng)事實(shí)核實(shí)就寫有關(guān)金錢和生活的話題（YMYL）

發(fā)表的期刊文章中“同行評(píng)議”這一術(shù)語(yǔ)不再具有任何價(jià)值

提供通用的AI智能生成的法律建議

信任將不復(fù)存在。

這也是為什么您要用到這些工具的原因，因?yàn)樵诖蟛糠謺r(shí)間里，人們并不知道它們之間的區(qū)別。

AI文本檢測(cè)是如何工作的

我們?cè)偕钊肟聪逻@些工具有那些不同的工作方式。

但這里有兩個(gè)主要概念：

語(yǔ)言分析：檢查句子結(jié)構(gòu)以尋找語(yǔ)義或重復(fù)。

對(duì)比分析：與訓(xùn)練數(shù)據(jù)集進(jìn)行比較，尋找與先前識(shí)別的實(shí)例的相似性。

這些是訓(xùn)練模型以使用上述兩個(gè)概念來(lái)檢測(cè) AI 內(nèi)容時(shí)使用的更常見(jiàn)的一些技術(shù)。

分類器：AI檢測(cè)的分類帽

分類器有點(diǎn)像哈利波特中的分類帽，將數(shù)據(jù)分到預(yù)先確定的類中。

使用機(jī)器或深度學(xué)習(xí)模型，這些分類器檢查各種特征，如用詞、語(yǔ)法、風(fēng)格和語(yǔ)氣，以區(qū)分AI生成的文本和人工書(shū)寫的文本。

想象一個(gè)散點(diǎn)圖，其中每個(gè)數(shù)據(jù)點(diǎn)都是一個(gè)文本條目，這些特征將形成坐標(biāo)軸。

那么，假設(shè)我們有兩個(gè)類：

AI文本

人工文本

您所測(cè)試的任何文本都將屬于這兩個(gè)集群中的一個(gè)。下面是我制作的圖形，方便您看到。

分類器的工作是形成一個(gè)邊界來(lái)分隔這兩個(gè)類。

根據(jù)使用的分類器模型，一些示例包括：

邏輯回歸

決策樹(shù)

隨機(jī)森林

支持向量機(jī)（SVM）

K-最近鄰(KNN)

注意：您不需要知道它們是什么，只需知道它們是以不同方式對(duì)數(shù)據(jù)進(jìn)行排序的算法。

該邊界可能是一條線、曲線或其他一些隨機(jī)形狀。

當(dāng)您測(cè)試一個(gè)新文本（數(shù)據(jù)點(diǎn)）時(shí)，分類器會(huì)簡(jiǎn)單地將它們放在這些類中的任何一個(gè)中。

嵌入：?jiǎn)卧~的DNA

如果每個(gè)單詞都有自己的秘密代碼，就像我們?cè)诳匆恍@心動(dòng)魄的間諜電影一樣，會(huì)怎么樣？

在人工智能（AI）和語(yǔ)言理解方面，這正是發(fā)生的情況。

這些代碼被稱為嵌入式編碼（Embeddings）。本質(zhì)上，它們是單詞唯一的DNA。通過(guò)捕捉每個(gè)術(shù)語(yǔ)背后的核心含義，并理解每個(gè)術(shù)語(yǔ)在上下文中如何與其他術(shù)語(yǔ)相關(guān)，這些嵌入式編碼形成了一個(gè)語(yǔ)義網(wǎng)絡(luò)。

這是通過(guò)將每個(gè)單詞表示為N維空間中的向量并運(yùn)行一些高級(jí)計(jì)算來(lái)實(shí)現(xiàn)的。它可以是2D、3D或302934809D。

注意：向量是一個(gè)同時(shí)具有大小和方向的量。但是對(duì)于這個(gè)解釋，只需把它當(dāng)作是圖表上的坐標(biāo)即可。

但是為什么是向量呢？

因?yàn)橛?jì)算機(jī)無(wú)法理解單詞。令人震驚，但這是現(xiàn)實(shí)。因此，必須通過(guò)向量化將單詞首先轉(zhuǎn)換為數(shù)字。以下是一個(gè)表格示例：

注意：向量化的文本數(shù)值可以具有廣泛的取值范圍，不僅僅是二進(jìn)制的1或0。我只是為了更容易地可視化而做出了這樣的表格。

這是另一個(gè)在二維圖形上繪制向量的例子：

我確信您能夠想象三維物體的外觀，但請(qǐng)不要讓我描繪四維物體，因?yàn)闆](méi)人知道會(huì)是什么樣。然而，通過(guò)數(shù)學(xué)算法，計(jì)算機(jī)可以使用數(shù)學(xué)魔法來(lái)呈現(xiàn)出四維物體。

這正是谷歌運(yùn)作的方式。您在搜索欄中輸入內(nèi)容，卻能獲得與其驚人相關(guān)的結(jié)果，這是如何實(shí)現(xiàn)的呢？

但是，如何區(qū)分人工生成的文本與使用 AI 生成的文本呢？

我們將所有文本轉(zhuǎn)換為它們各自的嵌入式向量，然后將它們輸入機(jī)器學(xué)習(xí)模型進(jìn)行訓(xùn)練。

模型即使不知道任何實(shí)際的措辭，也會(huì)形成所有這些連接，并找出與 AI 生成文本常見(jiàn)的所有“代碼”。

但是，如何區(qū)分人工生成的文本與使用 AI 生成的文本呢？

我們將所有文本轉(zhuǎn)換為它們各自的嵌入式向量，然后將它們輸入機(jī)器學(xué)習(xí)模型進(jìn)行訓(xùn)練。

模型即使不知道任何實(shí)際的措辭，也會(huì)形成所有這些連接，并找出與 AI 生成文本常見(jiàn)的所有“代碼”。

困惑度（Perplexity）：AI 生成文本的試金石

困惑度是一個(gè)衡量概率分布或語(yǔ)言模型能夠預(yù)測(cè)樣本精度的指標(biāo)。

在 AI 生成內(nèi)容檢測(cè)的背景下，困惑度作為衡量 AI 生成文本的試金石。困惑度越低，文本由 AI 生成的概率越大。

這就像偵探使用指紋匹配來(lái)識(shí)別嫌疑人一樣。

以下的表格對(duì)此進(jìn)行了詳解：

爆發(fā)度（Burstiness）：AI 生成文本的標(biāo)志性特征

爆發(fā)度是由 AI 模型生成的句子長(zhǎng)度和復(fù)雜程度的變化。

想象一下您在一家餐廳里，現(xiàn)場(chǎng)充斥著各種對(duì)話，有些大聲喧嘩，有些安靜私密。與這些對(duì)話相似，由人寫出的句子有很多細(xì)微差別，因此常常讓人難以預(yù)料。

但是，AI 模型產(chǎn)生的結(jié)果通常在長(zhǎng)度和復(fù)雜性上更趨于一致，而人類寫作則表現(xiàn)出更多的多樣性或者說(shuō)“爆發(fā)性”。如果 AI檢測(cè)器注意到句子的長(zhǎng)度、結(jié)構(gòu)和節(jié)奏的細(xì)微差異，它們也會(huì)將文本標(biāo)記為潛在的 AI生成文本。

以下表格中的一些例子：

AI 檢測(cè)的準(zhǔn)確性如何？

我會(huì)直截了當(dāng)?shù)馗嬖V您，即使分?jǐn)?shù)為100%，它也永遠(yuǎn)不會(huì)是100%準(zhǔn)確的。

那只是模型的置信度。

當(dāng) AI 檢測(cè)器分析文本時(shí)，它通常會(huì)基于所給材料的顯著特征計(jì)算每種分類的分?jǐn)?shù)或概率，而不僅僅由人類編寫或 AI 生成的內(nèi)容之間的區(qū)別所決定。

例如，假設(shè)我們使用 AI 檢測(cè)器對(duì)某些文本進(jìn)行了分析，它為“AI”和“人類”分別給出了0.7和0.3的分?jǐn)?shù)。

這些數(shù)字表示我們的檢測(cè)器已經(jīng)大致判斷出，我們的材料屬于同種類型和非同種類型的概率之比為7:3（70%對(duì)30%）。

因此，最終決定是否適用某種類型變得非常容易。

與其把事物劃分為“人類”與“AI”，倒不如給它們分配概率度量，這樣才能更深入地了解預(yù)測(cè)的可信度。除了把文字歸類成兩類外，還需要考慮許多因素來(lái)決定文字是由人寫的還是由AI寫的。

如果所使用的評(píng)估方法涉及計(jì)算概率得分，則這些得分之間的差距程度可能會(huì)影響 AI 模型對(duì)預(yù)測(cè)的確定性。

例如，如果分配給 AI 生成的作品和人工完成的作品的分?jǐn)?shù)之間沒(méi)有太大的差異（例如得分分別為0.51和0.49），那么檢測(cè)它們的來(lái)源將比它們的概率差距很大的情況更具挑戰(zhàn)性（例如獲得0.9和0.1的概率差距）。

因此，盡管產(chǎn)生二進(jìn)制結(jié)果，但這個(gè)決定包括詳細(xì)的分析，很大程度上依賴于概率得分之間的差異。

注意：您可能會(huì)看到其他文章討論 AI 檢測(cè)器如何通過(guò)計(jì)算每個(gè)單詞成為下一個(gè)預(yù)測(cè)單詞或溫度參數(shù)（temperature：指一種用于控制生成文本的隨機(jī)性和創(chuàng)造性的參數(shù)，通常使用softmax函數(shù)實(shí)現(xiàn)）的概率值來(lái)工作。這是指 AI 作者的工作方式，而不是 AI 檢測(cè)器。那些文章完全搞錯(cuò)了搜索意圖。

這是一個(gè)相當(dāng)長(zhǎng)的段落，但這是我能夠最好地解釋它的方式。

AI內(nèi)容檢測(cè)的前景如何？

隨著我們見(jiàn)證人工智能的進(jìn)一步發(fā)展，機(jī)器生成內(nèi)容的復(fù)雜程度也在不斷增加，這給有效檢測(cè)此類內(nèi)容帶來(lái)了獨(dú)特的挑戰(zhàn)。因此，所有參與其開(kāi)發(fā)過(guò)程的人都需要努力創(chuàng)建更加先進(jìn)和準(zhǔn)確的工具，以跟上應(yīng)對(duì)這種復(fù)雜性的能力。

準(zhǔn)確檢測(cè)由AI生成的虛假信息對(duì)于維護(hù)在線信息的可信度至關(guān)重要，這將是有效應(yīng)對(duì)這些威脅的唯一途徑。

此外，我們需要特別關(guān)注與隱私侵犯、違背意愿和潛在的濫用這種強(qiáng)大技術(shù)相關(guān)的道德考慮。

誰(shuí)使用AI檢測(cè)？

以下是一些最受益于使用AI檢測(cè)的群體：

學(xué)校：防止學(xué)生濫用AI寫作軟件。

企業(yè)：擺脫垃圾郵件、虛假評(píng)論或虛假新聞。

執(zhí)法機(jī)構(gòu)：消除冒充、身份欺詐和網(wǎng)絡(luò)欺凌等犯罪活動(dòng)。

社交媒體平臺(tái)：清除散布和鼓吹不實(shí)信息的機(jī)器人和虛假賬號(hào)。

媒體和新聞組織：識(shí)別虛假新聞和宣傳，甚至替換過(guò)度依賴AI的作家。

政府組織：根除虛假信息的運(yùn)動(dòng)和宣傳。

常見(jiàn)問(wèn)題

AI內(nèi)容檢測(cè)工具是否存在限制或缺陷？

AI內(nèi)容檢測(cè)工具確實(shí)存在一些限制和缺陷。隨著人工智能產(chǎn)生的內(nèi)容不斷增多，人們?cè)絹?lái)越難分辨出這些文字是否是由人類產(chǎn)生的，因此它們的準(zhǔn)確性并不總是完美的。

此外，AI檢測(cè)器可能難以識(shí)別那些被特意設(shè)計(jì)成不可被檢測(cè)出的AI生成內(nèi)容。未來(lái)AI生成和檢測(cè)技術(shù)的發(fā)展將共同決定AI檢測(cè)的局限性程度。

為什么要在SEO中使用AI檢測(cè)？

盡管谷歌在最近的更新中表示，如果AI生成的內(nèi)容有價(jià)值，就不再會(huì)被視為垃圾內(nèi)容，但關(guān)于谷歌是否能夠檢測(cè)到AI生成的內(nèi)容，仍然有爭(zhēng)議。您永遠(yuǎn)無(wú)法真正知道谷歌何時(shí)或是否會(huì)改變立場(chǎng)而對(duì)您進(jìn)行懲罰。因此，大多數(shù)SEO（搜索引擎優(yōu)化）仍會(huì)使用AI檢測(cè)來(lái)確保安全。

AI檢測(cè)的準(zhǔn)確性如何？

AI檢測(cè)只能準(zhǔn)確判斷所檢測(cè)文本與其訓(xùn)練數(shù)據(jù)的相似程度。它提供的是置信度評(píng)分，而不是簡(jiǎn)單的是或否的結(jié)果。