根據(jù)麥肯錫公司的估計(jì)，生成式人工智能預(yù)計(jì)每年將為全球經(jīng)濟(jì)帶來(lái)2.6萬(wàn)億至4.4萬(wàn)億美元的經(jīng)濟(jì)效益。這一預(yù)測(cè)基于63個(gè)新的應(yīng)用場(chǎng)景，這些場(chǎng)景有望在多個(gè)市場(chǎng)中為客戶帶來(lái)改進(jìn)、效率提升和新產(chǎn)品。這對(duì)于開(kāi)發(fā)者和IT領(lǐng)導(dǎo)者來(lái)說(shuō)都是一個(gè)巨大的機(jī)遇。

生成式AI的核心在于數(shù)據(jù)。數(shù)據(jù)賦予了生成式AI理解和分析我們周圍世界的能力，并與之互動(dòng)，為其變革性的能力提供動(dòng)力。要在生成式AI領(lǐng)域取得成功，公司需要妥善管理和準(zhǔn)備數(shù)據(jù)。

同時(shí)，你還需要為構(gòu)建和運(yùn)營(yíng)大規(guī)模的AI服務(wù)打下基礎(chǔ)，并以明智且可持續(xù)的方式為生成式AI項(xiàng)目提供資金支持。緩慢起步并逐漸減弱的方式無(wú)法贏得這場(chǎng)人工智能競(jìng)賽。這意味著你不僅要在數(shù)據(jù)層面做好充分準(zhǔn)備，還要有策略地?cái)U(kuò)大AI服務(wù)規(guī)模，并確保項(xiàng)目資金來(lái)源穩(wěn)定，以支持長(zhǎng)期發(fā)展和持續(xù)創(chuàng)新。

如果我們不改進(jìn)數(shù)據(jù)管理方式，或未能采取正確的方法來(lái)應(yīng)對(duì)規(guī)模擴(kuò)大和成本控制問(wèn)題，那么生成式AI蘊(yùn)含的巨大潛力將會(huì)被白白浪費(fèi)掉。以下是一些關(guān)于我們?nèi)绾胃倪M(jìn)數(shù)據(jù)管理方法以及如何長(zhǎng)期支持生成式AI項(xiàng)目的思考。

1.數(shù)據(jù)從哪里來(lái)

數(shù)據(jù)以多種形態(tài)存在，每種形態(tài)的數(shù)據(jù)如果使用得當(dāng)，都能提升生成式AI洞察的豐富性和質(zhì)量。

第一種形式是結(jié)構(gòu)化數(shù)據(jù)，它以規(guī)則有序且一致的方式組織起來(lái)，包括產(chǎn)品信息、客戶人口統(tǒng)計(jì)資料或庫(kù)存水平等項(xiàng)目。這類數(shù)據(jù)提供了有組織的事實(shí)基礎(chǔ)，可以添加到生成式AI項(xiàng)目中以提高響應(yīng)的質(zhì)量。

此外，您可能還有外部數(shù)據(jù)源可以補(bǔ)充內(nèi)部結(jié)構(gòu)化數(shù)據(jù)源，例如天氣報(bào)告、股票價(jià)格或交通流量等。這些數(shù)據(jù)能夠?yàn)闆Q策過(guò)程帶來(lái)實(shí)時(shí)和真實(shí)世界的背景信息，將其融入項(xiàng)目可提供額外高質(zhì)量數(shù)據(jù)，但可能沒(méi)有必要自行生成這類數(shù)據(jù)。

另一種常見(jiàn)的數(shù)據(jù)集是衍生數(shù)據(jù)，涵蓋了通過(guò)分析和建模場(chǎng)景創(chuàng)建的數(shù)據(jù)。此類深度見(jiàn)解可能包括客戶意圖報(bào)告、季節(jié)性銷售預(yù)測(cè)或群體分析等。

最后一種常見(jiàn)數(shù)據(jù)形式是非結(jié)構(gòu)化數(shù)據(jù)，與分析師習(xí)慣的常規(guī)報(bào)告或數(shù)據(jù)格式不同，這類數(shù)據(jù)包括圖像、文檔和音頻文件等格式。這些數(shù)據(jù)捕捉到了人類溝通和表達(dá)的細(xì)微之處。生成式AI程序常常圍繞圖像或音頻工作，它們是生成式AI模型的常見(jiàn)輸入和輸出。

2.要讓生成式AI實(shí)現(xiàn)大規(guī)模應(yīng)用

所有這些多樣的數(shù)據(jù)集各自存在于自己的環(huán)境中。為了使其對(duì)生成式AI項(xiàng)目有用，關(guān)鍵在于使這一多樣化的數(shù)據(jù)景觀在實(shí)時(shí)情況下可供訪問(wèn)。由于涉及如此大量的潛在數(shù)據(jù)，任何方法都必須能夠在需求增長(zhǎng)時(shí)動(dòng)態(tài)擴(kuò)展，并在全球范圍內(nèi)復(fù)制數(shù)據(jù)，確保資源在接到請(qǐng)求時(shí)能靠近用戶，從而避免停機(jī)時(shí)間并減少交易請(qǐng)求中的延遲。

此外，還需要對(duì)這些數(shù)據(jù)進(jìn)行預(yù)處理，以便生成式AI系統(tǒng)能夠有效利用。這涉及到創(chuàng)建嵌入（embeddings），即代表語(yǔ)義含義的數(shù)學(xué)值，即向量。嵌入使得生成式AI系統(tǒng)能夠超越特定文本匹配，而是涵蓋數(shù)據(jù)內(nèi)含的意義和上下文。無(wú)論原始數(shù)據(jù)形式如何，創(chuàng)建嵌入意味著數(shù)據(jù)能夠被生成式AI系統(tǒng)理解并使用，同時(shí)保留其意義和上下文。

通過(guò)這些嵌入，企業(yè)可以支持跨所有數(shù)據(jù)的向量搜索或混合搜索，同時(shí)結(jié)合價(jià)值和意義。然后將這些結(jié)果收集起來(lái)傳遞回用于整合結(jié)果的大規(guī)模語(yǔ)言模型（LLM）。通過(guò)從多個(gè)源頭提供更多數(shù)據(jù)，而不是僅僅依賴LLM本身，你的生成式AI項(xiàng)目就能為用戶提供更準(zhǔn)確的結(jié)果，并降低虛構(gòu)內(nèi)容的風(fēng)險(xiǎn)。

為了在實(shí)踐中實(shí)現(xiàn)這一點(diǎn)，必須選擇正確的底層數(shù)據(jù)架構(gòu)。在這個(gè)過(guò)程中，應(yīng)盡可能避免數(shù)據(jù)分散在不同解決方案中形成碎片化拼湊，因?yàn)槊恳粋€(gè)這樣的解決方案都代表著一個(gè)需要長(zhǎng)期支持、查詢和管理的數(shù)據(jù)孤島。用戶應(yīng)該能夠快速向LLM提問(wèn)并迅速得到回應(yīng)，而不是等待多個(gè)組件響應(yīng)并由模型權(quán)衡其結(jié)果。統(tǒng)一的數(shù)據(jù)架構(gòu)應(yīng)當(dāng)提供無(wú)縫的數(shù)據(jù)集成，使生成式AI能夠充分利用所有可用的數(shù)據(jù)頻譜。

3.模塊化方法的優(yōu)勢(shì)

為了擴(kuò)展生成式AI實(shí)施，需要在加快采用速度與保持對(duì)關(guān)鍵資產(chǎn)的控制之間取得平衡。采用模塊化的方式來(lái)構(gòu)建生成式AI代理可以使這個(gè)過(guò)程變得更容易，因?yàn)樗梢苑纸鈱?shí)施過(guò)程，避免潛在的瓶頸。    

類似于微服務(wù)設(shè)計(jì)在應(yīng)用程序中的應(yīng)用，AI服務(wù)的模塊化方法也鼓勵(lì)圍繞應(yīng)用程序和軟件設(shè)計(jì)的最佳實(shí)踐，消除故障點(diǎn)，并讓更多潛在用戶能夠接觸這項(xiàng)技術(shù)。這種方法還使得監(jiān)控整個(gè)企業(yè)中AI代理的表現(xiàn)變得更容易，能夠更精確地找出問(wèn)題發(fā)生的位置。

模塊化的第一個(gè)好處是可解釋性，因?yàn)閰⑴c生成式AI系統(tǒng)的各組成部分彼此分離，這樣就更容易分析代理是如何運(yùn)作和作出決策的。AI通常被視為“黑箱”，而模塊化使得跟蹤和解釋結(jié)果變得更加容易。

第二個(gè)好處是安全性，因?yàn)楦鱾€(gè)組件可以通過(guò)最佳認(rèn)證和授權(quán)機(jī)制進(jìn)行保護(hù)，確保只有授權(quán)用戶才能訪問(wèn)敏感數(shù)據(jù)和功能。模塊化還使得合規(guī)和治理變得更容易，因?yàn)閭€(gè)人身份識(shí)別信息（PII）或知識(shí)產(chǎn)權(quán)（IP）可以得到保障，與底層LLM保持分離。

4.提供持續(xù)靈活的資金模型

除了采用微服務(wù)方法之外，還應(yīng)在整體生成式AI項(xiàng)目中采用平臺(tái)思維模式。這意味著取代傳統(tǒng)的基于項(xiàng)目的軟件項(xiàng)目資金模型，轉(zhuǎn)而提供一種持續(xù)和靈活的資金模型。這種方法賦予參與者基于價(jià)值做決策的能力，能夠響應(yīng)新興機(jī)會(huì)，并發(fā)展最佳實(shí)踐，而不受制于僵硬的資金周期或商業(yè)案例。

以這種方式管理預(yù)算還能鼓勵(lì)開(kāi)發(fā)人員和業(yè)務(wù)團(tuán)隊(duì)將生成式AI視為組織已有的基礎(chǔ)設(shè)施的一部分，從而更容易平滑規(guī)劃工作負(fù)載的高峰和低谷，更容易采取“卓越中心”的方法并在長(zhǎng)期內(nèi)保持一致性。

類似的做法是將生成式AI視為企業(yè)自身運(yùn)營(yíng)的產(chǎn)品，而非單純的軟件。AI代理應(yīng)作為產(chǎn)品來(lái)管理，因?yàn)檫@更能有效地體現(xiàn)其所創(chuàng)造的價(jià)值，并使整合、工具和提示方面的支持資源更容易獲得。簡(jiǎn)化這種模式有助于在整個(gè)組織內(nèi)普及對(duì)生成式AI的理解，促進(jìn)最佳實(shí)踐的采納，并營(yíng)造出共享專業(yè)知識(shí)和協(xié)作的生成式AI開(kāi)發(fā)文化。

生成式AI具有巨大的潛力，各公司正競(jìng)相在其運(yùn)營(yíng)中實(shí)施新的工具、代理和提示。然而，要將這些潛在項(xiàng)目投入生產(chǎn)，就需要有效管理數(shù)據(jù)、奠定系統(tǒng)規(guī)?；l(fā)展的基礎(chǔ)，并建立合適的預(yù)算模型以支持團(tuán)隊(duì)。合理安排流程和優(yōu)先級(jí)將有助于你和你的團(tuán)隊(duì)釋放這項(xiàng)技術(shù)的變革潛力。