2017年，《經(jīng)濟(jì)學(xué)人》宣布，數(shù)據(jù)已成為世界上最有價(jià)值的資源，而不是石油。從那以后，各個(gè)行業(yè)的企業(yè)一直并將繼續(xù)在數(shù)據(jù)和分析方面投入巨資，但與石油一樣，數(shù)據(jù)和分析也有其陰暗面。

《2023年CIO狀況報(bào)告》的數(shù)據(jù)顯示，34%的IT領(lǐng)導(dǎo)者表示，數(shù)據(jù)和業(yè)務(wù)分析將推動(dòng)其企業(yè)今年的最大IT投資。26%的IT領(lǐng)導(dǎo)者表示，ML/AI將推動(dòng)最大的IT投資。從ML算法驅(qū)動(dòng)的分析和行動(dòng)中獲得的見(jiàn)解可以為企業(yè)帶來(lái)競(jìng)爭(zhēng)優(yōu)勢(shì)，但錯(cuò)誤可能會(huì)給聲譽(yù)、收入甚至生命帶來(lái)代價(jià)。

了解你的數(shù)據(jù)及其告訴你的信息很重要，同時(shí)，了解你的工具、了解你的數(shù)據(jù)并牢記你企業(yè)的價(jià)值觀也很重要。

以下是過(guò)去十年的幾個(gè)備受矚目的數(shù)據(jù)分析和AI領(lǐng)域中發(fā)生的錯(cuò)誤，以說(shuō)明可能會(huì)出什么問(wèn)題。

Gannett利用AI撰寫(xiě)的體育方面的文章出現(xiàn)錯(cuò)誤

2023年8月，報(bào)業(yè)連鎖店Gannett宣布將暫停使用一種名為L(zhǎng)edeAI的AI工具，此前AI撰寫(xiě)的幾篇新聞稿因重復(fù)、糟糕和缺乏關(guān)鍵細(xì)節(jié)而在網(wǎng)上瘋傳。

美國(guó)有線電視新聞網(wǎng)舉了一個(gè)例子，由互聯(lián)網(wǎng)檔案館的Wayback Machine保存，它的開(kāi)頭是：“沃辛頓基督徒在周六的一場(chǎng)俄亥俄州男孩足球比賽中以2：1擊敗了韋斯特維爾北部。”

CNN在其他Gannett當(dāng)?shù)貓?bào)紙上發(fā)現(xiàn)了LedeAI寫(xiě)的類(lèi)似故事，包括路易斯維爾信使日?qǐng)?bào)、今日佛羅里達(dá)州亞利桑那州中心和密爾沃基日?qǐng)?bào)哨兵報(bào)。

在這些故事在社交媒體上遭到嚴(yán)厲嘲諷后，Gannett選擇暫停在所有使用LedeAI服務(wù)的當(dāng)?shù)厥袌?chǎng)使用LedeAI。

在給CNN的一份聲明中，LedeAI的CEO杰伊·奧爾雷德表達(dá)了歉意，并承諾將全天候努力糾正這些問(wèn)題。

ITutorGroup利用AI進(jìn)行招聘時(shí)AI因年齡原因拒絕申請(qǐng)者

2023年8月，輔導(dǎo)公司iTutorGroup同意支付36.5萬(wàn)美元了結(jié)美國(guó)平等就業(yè)機(jī)會(huì)委員會(huì)(EEOC)提起的訴訟。聯(lián)邦機(jī)構(gòu)表示，該公司為中國(guó)的學(xué)生提供遠(yuǎn)程輔導(dǎo)服務(wù)，使用AI招聘軟件，自動(dòng)拒絕55歲及以上的女性申請(qǐng)者和60歲及以上的男性申請(qǐng)者。

平等就業(yè)機(jī)會(huì)委員會(huì)表示，該軟件已自動(dòng)拒絕了200多名符合條件的申請(qǐng)者。

“年齡歧視是不公正和非法的，”平等就業(yè)機(jī)會(huì)委員會(huì)主席夏洛特·A·伯羅斯在一份聲明中說(shuō)。“即使技術(shù)使歧視行為自動(dòng)化，雇主仍負(fù)有責(zé)任。”

ITutorGroup否認(rèn)有任何不當(dāng)行為，但確實(shí)決定了結(jié)這起訴訟。作為和解和同意法令的一部分，它同意采取新的反歧視政策。

ChatGPT讓法庭案件產(chǎn)生幻覺(jué)

大型語(yǔ)言模型在2023年取得的進(jìn)展，引發(fā)了人們對(duì)AIGC在幾乎每個(gè)行業(yè)的變革潛力的廣泛興趣。OpenAI的ChatGPT一直處于這股興趣激增的中心，預(yù)示著富于創(chuàng)造力的AI將如何在幾乎商業(yè)的每一個(gè)角落顛覆工作性質(zhì)。

但這項(xiàng)技術(shù)在能夠可靠地接管大多數(shù)業(yè)務(wù)流程之前還有很長(zhǎng)的路要走，律師史蒂文·A·施瓦茨在2023年發(fā)現(xiàn)自己在使用ChatGPT研究哥倫比亞航空公司Avianca訴訟的先例后，遇到了美國(guó)地區(qū)法官P.Kevin Castel的麻煩。

施瓦茨是Levidow，Levidow&Oberman律師事務(wù)所的律師，他使用OpenAIAIGC聊天機(jī)器人找到了之前的案例，以支持Avianca員工羅伯托·馬塔在2019年因受傷而提起的訴訟。唯一的問(wèn)題是?在案情摘要中提交的案件中，至少有六起不存在。在5月份提交的一份文件中，卡斯特爾法官指出，施瓦茨提交的案件包括假姓名和案卷編號(hào)，以及虛假的內(nèi)部引用和引用。施瓦茨的伴侶彼得·洛杜卡是馬塔的記錄律師，并在案情摘要上簽字，這讓他自己也處于危險(xiǎn)之中。

在一份宣誓書(shū)中，施瓦茨向法庭表示，這是他第一次使用ChatGPT作為法律研究來(lái)源，他“沒(méi)有意識(shí)到其內(nèi)容可能是虛假的。”他承認(rèn)，他沒(méi)有證實(shí)AI聊天機(jī)器人提供的消息來(lái)源。他還表示，他“非常后悔利用產(chǎn)生式AI來(lái)補(bǔ)充本文所進(jìn)行的法律研究，在沒(méi)有對(duì)其真實(shí)性進(jìn)行絕對(duì)核實(shí)的情況下，今后永遠(yuǎn)不會(huì)這樣做。”

2023年6月，卡斯特爾法官對(duì)施瓦茨和洛杜卡處以5000美元的罰款。在6月份的另一項(xiàng)裁決中，卡斯特爾法官駁回了馬塔對(duì)Avianca的訴訟。

AI算法可以識(shí)別除新冠肺炎以外的所有東西

自新冠肺炎疫情爆發(fā)以來(lái)，許多企業(yè)尋求應(yīng)用機(jī)器學(xué)習(xí)(ML)算法來(lái)幫助醫(yī)院更快地診斷或分流患者。但根據(jù)英國(guó)國(guó)家數(shù)據(jù)科學(xué)和AI中心圖靈研究所的說(shuō)法，預(yù)測(cè)工具幾乎沒(méi)有作用。

《麻省理工學(xué)院技術(shù)評(píng)論》記錄了一系列的失敗，其中大部分源于工具訓(xùn)練或測(cè)試方式的錯(cuò)誤。使用錯(cuò)誤標(biāo)簽的數(shù)據(jù)或來(lái)自未知來(lái)源的數(shù)據(jù)是常見(jiàn)的罪魁禍?zhǔn)住?/p>

劍橋大學(xué)的機(jī)器學(xué)習(xí)研究員Derek Driggs和他的同事在《自然機(jī)器智能》雜志上發(fā)表了一篇論文，探索了深度學(xué)習(xí)模型在診斷病毒方面的使用。本文認(rèn)為該技術(shù)不適合臨床應(yīng)用。例如，Driggs的團(tuán)隊(duì)發(fā)現(xiàn)他們自己的模型是有缺陷的，因?yàn)樗窃谝粋€(gè)數(shù)據(jù)集上訓(xùn)練的，該數(shù)據(jù)集包括掃描時(shí)躺著的患者和站著的患者的掃描結(jié)果。躺著的患者更有可能患上重病，所以算法學(xué)會(huì)了根據(jù)掃描中人的位置來(lái)識(shí)別冠狀病毒感染的風(fēng)險(xiǎn)。

一個(gè)類(lèi)似的例子包括一個(gè)用數(shù)據(jù)集訓(xùn)練的算法，該數(shù)據(jù)集包括對(duì)健康兒童的胸部掃描。該算法學(xué)會(huì)了識(shí)別兒童，而不是高危患者。

Zillow減記數(shù)百萬(wàn)美元，因利用算法購(gòu)房造成的災(zāi)難而大幅裁員

2021年11月，在線房地產(chǎn)市場(chǎng)Zillow告訴股東，將在未來(lái)幾個(gè)季度結(jié)束Zillow提供的業(yè)務(wù)，并裁員25%-約2000名員工。房屋翻轉(zhuǎn)單元的困境是它用來(lái)預(yù)測(cè)房?jī)r(jià)的機(jī)器學(xué)習(xí)算法錯(cuò)誤率的結(jié)果。

Zillow Offers是一個(gè)項(xiàng)目，通過(guò)該項(xiàng)目，該公司根據(jù)從機(jī)器學(xué)習(xí)算法得出的房屋價(jià)值的“Z估計(jì)”，對(duì)房產(chǎn)進(jìn)行現(xiàn)金報(bào)價(jià)。他們的想法是對(duì)房產(chǎn)進(jìn)行翻新，并迅速將其轉(zhuǎn)手。但Zillow的一位發(fā)言人告訴CNN，該算法的錯(cuò)誤率中值為1.9%，對(duì)于非市場(chǎng)房屋來(lái)說(shuō)，錯(cuò)誤率可能要高得多，高達(dá)6.9%。

美國(guó)有線電視新聞網(wǎng)報(bào)道，自2018年4月推出以來(lái)，Zillow通過(guò)Zillow優(yōu)惠購(gòu)買(mǎi)了2.7萬(wàn)套住房，但截至2021年9月底僅售出1.7萬(wàn)套。新冠肺炎疫情和房屋翻修勞動(dòng)力短缺等黑天鵝事件導(dǎo)致了該算法的準(zhǔn)確性問(wèn)題。

Zillow表示，該算法導(dǎo)致其無(wú)意中以高于目前對(duì)未來(lái)售價(jià)的估計(jì)的價(jià)格購(gòu)買(mǎi)了房屋，導(dǎo)致2021年第三季度的庫(kù)存減記3.04億美元。

在宣布這一消息后與投資者舉行的電話會(huì)議上，Zillow聯(lián)合創(chuàng)始人兼首席執(zhí)行官里奇·巴頓表示，或許可以調(diào)整算法，但最終風(fēng)險(xiǎn)太大。

醫(yī)療保健算法未能標(biāo)記黑人患者

2019年，發(fā)表在《科學(xué)》雜志上的一項(xiàng)研究顯示，全美醫(yī)院和保險(xiǎn)公司用來(lái)識(shí)別需要高風(fēng)險(xiǎn)護(hù)理管理計(jì)劃的患者的醫(yī)療保健預(yù)測(cè)算法，挑出黑人患者的可能性要小得多。

高風(fēng)險(xiǎn)護(hù)理管理方案為慢性病患者提供訓(xùn)練有素的護(hù)理人員和初級(jí)保健監(jiān)測(cè)，以努力預(yù)防嚴(yán)重并發(fā)癥。但該算法更有可能推薦白人患者參加這些項(xiàng)目，而不是黑人患者。

研究發(fā)現(xiàn)，該算法使用醫(yī)療支出作為確定個(gè)人醫(yī)療需求的指標(biāo)。但根據(jù)科學(xué)美國(guó)人的數(shù)據(jù)，病情較重的黑人患者的醫(yī)療成本與較健康的白人患者的成本持平，這意味著即使他們的需求更大，他們獲得的風(fēng)險(xiǎn)分?jǐn)?shù)也更低。

這項(xiàng)研究的研究人員表示，可能有幾個(gè)因素起到了作用。首先，有色人種更有可能收入較低，即使在有保險(xiǎn)的情況下，這也可能使他們更難獲得醫(yī)療保健。隱含的偏見(jiàn)也可能導(dǎo)致有色人種接受質(zhì)量較低的護(hù)理。

雖然這項(xiàng)研究沒(méi)有透露算法或開(kāi)發(fā)者的名字，但研究人員告訴《科學(xué)美國(guó)人》，他們正在與開(kāi)發(fā)者合作解決這種情況。

DataSet訓(xùn)練微軟聊天機(jī)器人發(fā)出種族主義推文

2016年3月，微軟了解到，使用Twitter互動(dòng)作為機(jī)器學(xué)習(xí)算法的訓(xùn)練數(shù)據(jù)可能會(huì)產(chǎn)生令人沮喪的結(jié)果。

微軟在社交媒體平臺(tái)上發(fā)布了AI聊天機(jī)器人Tay。該公司將其描述為“對(duì)話理解”的一次實(shí)驗(yàn)。當(dāng)時(shí)的想法是，聊天機(jī)器人將扮演少女的角色，并通過(guò)機(jī)器學(xué)習(xí)和自然語(yǔ)言處理相結(jié)合的方式通過(guò)Twitter與個(gè)人互動(dòng)。微軟為它播種了匿名的公共數(shù)據(jù)和一些喜劇演員預(yù)先編寫(xiě)的材料，然后讓它自由發(fā)揮，從它在社交網(wǎng)絡(luò)上的互動(dòng)中學(xué)習(xí)和進(jìn)化。

在16個(gè)小時(shí)內(nèi)，聊天機(jī)器人發(fā)布了超過(guò)9.5萬(wàn)條推文，這些推文迅速變成了公開(kāi)的種族主義、厭女者和反猶太主義者。微軟很快暫停了這項(xiàng)服務(wù)，進(jìn)行了調(diào)整，并最終取消了這項(xiàng)服務(wù)。

事件發(fā)生后，微軟研究與孵化公司副總裁(時(shí)任微軟醫(yī)療保健公司副總裁)彼得·李在微軟官方博客上發(fā)帖稱(chēng)：“我們對(duì)泰的無(wú)意識(shí)冒犯和傷害性推文深表歉意，這些推文并不代表我們是誰(shuí)，我們代表的是什么，也不代表我們是如何設(shè)計(jì)泰伊的。”

Lee指出，Tay的前任小冰，由微軟于2014年在中國(guó)發(fā)布，在Tay發(fā)布之前的兩年里，已經(jīng)成功地與4000多萬(wàn)人進(jìn)行了對(duì)話。微軟沒(méi)有考慮到的是，一群Twitter用戶(hù)會(huì)立即開(kāi)始向Tay發(fā)布種族主義和厭惡女性的言論。機(jī)器人很快就從這些材料中吸取了教訓(xùn)，并將其納入了自己的推文。

盡管我們已經(jīng)為許多類(lèi)型的濫用系統(tǒng)做好了準(zhǔn)備，但我們對(duì)這次特定的攻擊進(jìn)行了嚴(yán)重的疏忽。因此，泰在推特上發(fā)布了極其不恰當(dāng)和應(yīng)受譴責(zé)的文字和圖片。

亞馬遜AI招聘工具僅推薦男性

像許多大公司一樣，亞馬遜渴望能夠幫助其人力資源部門(mén)篩選出最佳應(yīng)聘者的工具。2014年，亞馬遜開(kāi)始研發(fā)AI招聘軟件來(lái)實(shí)現(xiàn)這一目標(biāo)。只有一個(gè)問(wèn)題：這一制度大大偏愛(ài)男性候選人。2018年，路透社爆出亞馬遜放棄該項(xiàng)目的消息。

亞馬遜的系統(tǒng)給應(yīng)聘者打出了從1到5的星級(jí)。但系統(tǒng)核心的機(jī)器學(xué)習(xí)模型是根據(jù)提交給亞馬遜的10年簡(jiǎn)歷進(jìn)行訓(xùn)練的，其中大部分是男性簡(jiǎn)歷。作為培訓(xùn)數(shù)據(jù)的結(jié)果，該系統(tǒng)開(kāi)始懲罰簡(jiǎn)歷中包含“女性”一詞的短語(yǔ)，甚至降低了全女子大學(xué)的候選人的等級(jí)。

當(dāng)時(shí)，亞馬遜表示，亞馬遜招聘人員從未使用過(guò)該工具來(lái)評(píng)估應(yīng)聘者。

該公司試圖對(duì)該工具進(jìn)行編輯，使其保持中立，但最終決定不能保證不會(huì)學(xué)習(xí)其他一些歧視性的排序候選人的方法，并終止了該項(xiàng)目。

Target的分析侵犯了隱私

2012年，零售業(yè)巨頭塔吉特(Target)的一個(gè)分析項(xiàng)目展示了公司可以從數(shù)據(jù)中了解到多少客戶(hù)信息。據(jù)《紐約時(shí)報(bào)》報(bào)道，塔吉特的市場(chǎng)部在2002年開(kāi)始考慮如何確定客戶(hù)是否懷孕。這一系列調(diào)查導(dǎo)致了一個(gè)預(yù)測(cè)性分析項(xiàng)目，眾所周知，該項(xiàng)目將導(dǎo)致這家零售商無(wú)意中向一名十幾歲女孩的家人透露她懷孕了。這反過(guò)來(lái)會(huì)導(dǎo)致各種文章和營(yíng)銷(xiāo)博客將這一事件作為避免“令人毛骨悚然的因素”的建議的一部分。

塔吉特的市場(chǎng)部想要識(shí)別懷孕的人，因?yàn)樵谏钪械哪承r(shí)期--尤其是懷孕--人們最有可能從根本上改變他們的購(gòu)買(mǎi)習(xí)慣。例如，如果塔吉特能夠在這段時(shí)間接觸到客戶(hù)，它就可以培養(yǎng)這些客戶(hù)的新行為，讓他們轉(zhuǎn)向塔吉特購(gòu)買(mǎi)食品雜貨、服裝或其他商品。

像所有其他大型零售商一樣，塔吉特一直在通過(guò)購(gòu)物者代碼、信用卡、調(diào)查等方式收集客戶(hù)數(shù)據(jù)。它將這些數(shù)據(jù)與人口統(tǒng)計(jì)數(shù)據(jù)和它購(gòu)買(mǎi)的第三方數(shù)據(jù)混合在一起。通過(guò)對(duì)所有這些數(shù)據(jù)的分析，Target的分析團(tuán)隊(duì)確定了Target銷(xiāo)售的大約25種產(chǎn)品，這些產(chǎn)品可以一起分析，以生成“懷孕預(yù)測(cè)”分?jǐn)?shù)。然后，營(yíng)銷(xiāo)部門(mén)可以通過(guò)優(yōu)惠券和營(yíng)銷(xiāo)信息瞄準(zhǔn)得分較高的客戶(hù)。

進(jìn)一步的研究將揭示，研究客戶(hù)的生殖狀況可能會(huì)讓其中一些客戶(hù)感到毛骨悚然。根據(jù)《泰晤士報(bào)》的報(bào)道，該公司并沒(méi)有放棄定向營(yíng)銷(xiāo)，但確實(shí)開(kāi)始在他們知道孕婦不會(huì)購(gòu)買(mǎi)的東西的廣告中加入——包括割草機(jī)廣告和尿布廣告——讓消費(fèi)者感覺(jué)廣告組合是隨機(jī)的。