AI區(qū)別于傳統(tǒng)軟件的一個(gè)基本特征是它的非確定性。即使使用相同的輸入，不同輪的計(jì)算也會(huì)產(chǎn)生不同的結(jié)果。雖然這一特征極大地促進(jìn)了AI令人興奮的技術(shù)潛力，但它也帶來了挑戰(zhàn)，特別是在衡量基于AI的應(yīng)用程序的有效性方面。

下面是這些挑戰(zhàn)的一些錯(cuò)綜復(fù)雜的部分，以及戰(zhàn)略研發(fā)管理可以起到一些作用的方法。

AI應(yīng)用程序的性質(zhì)

與傳統(tǒng)軟件系統(tǒng)不同，在傳統(tǒng)軟件系統(tǒng)中，重復(fù)和可預(yù)測性對(duì)功能既是預(yù)期的，也是至關(guān)重要的，AI應(yīng)用程序的非確定性性質(zhì)意味著它們不會(huì)從相同的輸入產(chǎn)生一致的、可預(yù)測的結(jié)果。他們也不應(yīng)該——如果ChatGPT一遍又一遍地進(jìn)行相同的腳本響應(yīng)，而不是每次都有新的東西，它就不會(huì)引起如此大的轟動(dòng)。

這種不可預(yù)測性源于ML和深度學(xué)習(xí)中使用的算法，這些算法依賴于統(tǒng)計(jì)模型和復(fù)雜的神經(jīng)網(wǎng)絡(luò)。這些AI系統(tǒng)旨在不斷從數(shù)據(jù)中學(xué)習(xí)并做出明智的決策，從而根據(jù)上下文、訓(xùn)練輸入和模型配置產(chǎn)生不同的輸出。

衡量是否成功時(shí)面臨的挑戰(zhàn)

由于其概率結(jié)果、針對(duì)不確定性而編程的算法以及對(duì)統(tǒng)計(jì)模型的依賴，AI應(yīng)用程序使基于預(yù)定預(yù)期定義明確的成功衡量標(biāo)準(zhǔn)變得具有挑戰(zhàn)性。換句話說，從本質(zhì)上講，AI可以以類似于人類思維的方式思考、學(xué)習(xí)和創(chuàng)造。但我們?cè)趺粗浪J(rèn)為什么是正確的呢?

另一個(gè)關(guān)鍵的復(fù)雜因素是數(shù)據(jù)質(zhì)量和多樣性的影響。AI模型在很大程度上依賴于它們所訓(xùn)練的數(shù)據(jù)的質(zhì)量、相關(guān)性和多樣性——它們從這些信息中“學(xué)習(xí)”。為了使這些應(yīng)用程序獲得成功，它們必須接受包含各種場景(包括邊緣案例)的代表性數(shù)據(jù)的培訓(xùn)。評(píng)估訓(xùn)練數(shù)據(jù)的充分性和準(zhǔn)確表示對(duì)于確定AI應(yīng)用程序的整體成功至關(guān)重要。然而，考慮到AI的相對(duì)新穎性，以及它所使用的數(shù)據(jù)的質(zhì)量和多樣性的標(biāo)準(zhǔn)尚未確定，結(jié)果的質(zhì)量在不同的應(yīng)用程序中波動(dòng)很大。

然而，有時(shí)是人類思維的影響——更具體地說，是語境解釋和人類偏見——讓衡量AI的成功變得復(fù)雜。AI工具通常需要這種人工評(píng)估，因?yàn)檫@些應(yīng)用程序需要適應(yīng)不同的情況、用戶偏見和其他主觀因素。

因此，在這種情況下衡量成功成為一項(xiàng)復(fù)雜的任務(wù)，因?yàn)樗婕暗将@取用戶滿意度、主觀評(píng)估和特定于用戶的結(jié)果，而這些結(jié)果可能不容易量化。

如何克服挑戰(zhàn)

了解這些復(fù)雜情況背后的背景是提出改進(jìn)成功評(píng)估和使AI工具更好地工作所需戰(zhàn)略的第一步。以下是三個(gè)可以幫助你的策略：

1、定義概率成功指標(biāo)

鑒于AI應(yīng)用結(jié)果固有的不確定性，那些負(fù)責(zé)評(píng)估其成功的人必須拿出專門為捕捉概率結(jié)果而設(shè)計(jì)的全新指標(biāo)?？赡軐?duì)傳統(tǒng)軟件系統(tǒng)有意義的成功模式與AI工具配置根本不兼容。

與其只關(guān)注確定性的績效指標(biāo)，如準(zhǔn)確度或精確度，不如將可信區(qū)間或概率分布等概率指標(biāo)納入其中——這些統(tǒng)計(jì)指標(biāo)評(píng)估特定參數(shù)內(nèi)不同結(jié)果的概率——可以提供更全面的成功圖景。

2、更強(qiáng)大的驗(yàn)證和評(píng)估

建立嚴(yán)格的驗(yàn)證和評(píng)估框架對(duì)AI應(yīng)用至關(guān)重要。這包括全面測試、對(duì)照相關(guān)樣本數(shù)據(jù)集進(jìn)行基準(zhǔn)測試，以及進(jìn)行敏感性分析以評(píng)估系統(tǒng)在不同條件下的性能。定期更新和再培訓(xùn)模型，以適應(yīng)不斷變化的數(shù)據(jù)模式，有助于保持準(zhǔn)確性和可靠性。

3、以用戶為中心的測評(píng)

AI的成功不僅僅存在于算法的范圍內(nèi)。從接受產(chǎn)出的人的角度來看，產(chǎn)出的有效性同樣重要。

因此，在衡量AI應(yīng)用程序的成功時(shí)，尤其是針對(duì)面向消費(fèi)者的工具，納入用戶反饋和主觀評(píng)估是至關(guān)重要的。通過調(diào)查、用戶研究和定性評(píng)估收集見解，可以提供有關(guān)用戶滿意度、信任度和感知效用的寶貴信息。平衡客觀的績效指標(biāo)和以用戶為中心的產(chǎn)出評(píng)估，將產(chǎn)生更全面的成功視角。

評(píng)估是否成功

衡量任何給定AI工具的成功需要一種微妙的方法，承認(rèn)其輸出的概率性質(zhì)。那些參與創(chuàng)造和微調(diào)任何能力的AI的人，特別是從研發(fā)角度來看，必須認(rèn)識(shí)到這種固有的不確定性帶來的挑戰(zhàn)。

只有定義適當(dāng)?shù)母怕手笜?biāo)，進(jìn)行嚴(yán)格的驗(yàn)證，并納入以用戶為中心的評(píng)估，該行業(yè)才能有效地駕馭AI激動(dòng)人心的潛在能力。