多模態(tài)生成人工智(GenAI)能被認(rèn)為是我們實(shí)現(xiàn)通用人工智能道路上的下一件大事。

這是一個(gè)經(jīng)過設(shè)計(jì)、理論化和實(shí)施的概念，旨在提供多感官沉浸式體驗(yàn)。

其從多種數(shù)據(jù)類型的組合中提取輸出，以提供見解、內(nèi)容等響應(yīng)。

繼續(xù)閱讀，了解多模態(tài)生成式人工智能、其好處、潛力和采用以及相關(guān)問題。

過去幾年推出的多種生成式人工智能工具證明了過去十年人工智能(AI)技術(shù)取得的突破。在相對(duì)較短的歷史中，GenAI已經(jīng)創(chuàng)造了一種緊迫感，將其引入任何組織的日常和利基操作元素。

雖然OpenAI的首個(gè)文本到圖像生成器DALL-E的真實(shí)感對(duì)大多數(shù)組織來說作用有限，但ChatGPT的推出不到一年，已經(jīng)讓組織通過尋找各種途徑來獲得優(yōu)勢(shì)，其中生成人工智能可以積極影響運(yùn)營。

根據(jù)McKinsey的《人工智能現(xiàn)狀》，到2023年，三分之一的組織將把GenAI納入至少一項(xiàng)業(yè)務(wù)功能。此外，在McKinsey的調(diào)查中，約75%的受訪者預(yù)計(jì)GenAI將給其行業(yè)帶來顛覆性的變化。

人工智能功能主要用于產(chǎn)品開發(fā)、功能添加、客戶體驗(yàn)、營銷功能等。

然而，GenAI現(xiàn)在采取了不同的形式，稱為多模態(tài)，其接受多種感官輸入，以相似或不同的數(shù)據(jù)類型提供輸出。例如，ChatGPT的新更新賦予了其多模態(tài)的能力，其現(xiàn)在不僅可以生成故事、文章和其他文本，還可以閱讀。ChatGPT還可以通過語音提示執(zhí)行任務(wù)。其還可以讀取圖像來識(shí)別特定的物體。

多模態(tài)GenAI被認(rèn)為是我們實(shí)現(xiàn)通用人工智能之路上的下一件大事。讓我們來看看它是什么。

什么是多模態(tài)生成式人工智能?

多模態(tài)GenAI是一個(gè)經(jīng)過設(shè)計(jì)、理論化并正在實(shí)施的概念，旨在提供多感官沉浸式體驗(yàn)。其從多種數(shù)據(jù)類型的組合中提取輸出，以提供見解、內(nèi)容等響應(yīng)。

多模態(tài)生成式人工智能是一種人工智能，其結(jié)合了多種類型或模式的數(shù)據(jù)，如文本、圖像、視頻、音頻、深度等，來創(chuàng)造更多對(duì)“現(xiàn)實(shí)世界”的設(shè)置、場景或問題做出準(zhǔn)確的判斷或更精確的預(yù)測。這些模型接受了它們需要解釋或響應(yīng)的多種模式/數(shù)據(jù)類型的數(shù)據(jù)集的訓(xùn)練。

多模態(tài)GenAI與GenAI類似，不同之處在于其利用多維嵌入或索引，并且可以依賴向量數(shù)據(jù)庫進(jìn)行操作。這種差異的核心在于，多模態(tài)GenAI可以通過多維嵌入或索引來攝取、處理和輸出多種類型的數(shù)據(jù)。

Meta今年早些時(shí)候發(fā)布的ImageBind多模態(tài)人工智能在ChatGPT的基礎(chǔ)上更進(jìn)一步，集成了六種模態(tài)，即文本、圖像/視頻、音頻、深度、基于紅外的熱輻射和慣性測量單元(IMU)。該企業(yè)還將更多感官的整合，包括嗅覺和觸覺，以及大腦功能磁共振成像信號(hào)作為多模態(tài)研究的一部分。

多模態(tài)生成式人工智能的好處

組合和處理來自多個(gè)來源的信息可以潛在地將差異均質(zhì)化，以提供情境相關(guān)的結(jié)果。在企業(yè)環(huán)境中，這可以提高員工的工作效率。

通過為機(jī)器交互創(chuàng)建新的途徑，多模態(tài)GenAI可以重塑終端用戶和業(yè)務(wù)用戶的用戶體驗(yàn)。

鑒于其在物理科學(xué)、生命/生物科學(xué)和社會(huì)科學(xué)研究中的應(yīng)用潛力，其還具有一定的社會(huì)和科學(xué)效益。甚至在GenAI興起之前，即2021年6月，Google就能夠利用其基于強(qiáng)化學(xué)習(xí)算法的機(jī)器學(xué)習(xí)模型來執(zhí)行半導(dǎo)體布局規(guī)劃，這是芯片設(shè)計(jì)的關(guān)鍵步驟。

最終，其可以基于跨多種模式的大量數(shù)據(jù)存儲(chǔ)，在多感官/多模式空間中做出越來越準(zhǔn)確的確定和預(yù)測。其不僅可以比人類更快地接受數(shù)據(jù)訓(xùn)練，而且還可以更快地根據(jù)數(shù)據(jù)做出決策。

多模態(tài)生成式人工智能的采用

多模態(tài)GenAI已經(jīng)看到了GenAI的一些應(yīng)用，例如Adobe的Firefly–文本到圖像多模態(tài)和MidJourney。請(qǐng)注意，兩個(gè)GenAI的多模態(tài)使其能夠接受音頻和視覺輸入。

多模態(tài)的另一個(gè)商業(yè)用例包括基于電話的自動(dòng)化支持系統(tǒng)，該系統(tǒng)可能會(huì)將我們語氣中明顯的情緒轉(zhuǎn)化為企業(yè)可用于報(bào)告和分析的文本數(shù)據(jù)。

另一方面，其也可能被用來損害用戶的利益。一些“企業(yè)”已經(jīng)開始使用文本到音頻多模態(tài)模型來生成更真實(shí)、更動(dòng)態(tài)的聲音，通過電話進(jìn)行詐騙。

然而，就像以前的技術(shù)發(fā)明一樣，多模態(tài)和常規(guī)GenAI允許數(shù)十種職業(yè)發(fā)展。律師、作家、科學(xué)家、教師等可以優(yōu)化耗時(shí)的任務(wù)，例如研究、戰(zhàn)略制定、文件起草和生成等，前提是這些任務(wù)屬于多模態(tài)GenAI工具所訓(xùn)練的基礎(chǔ)數(shù)據(jù)的范圍。

簡而言之，如果可以獲得正確的數(shù)據(jù)，知識(shí)經(jīng)濟(jì)可能會(huì)發(fā)生巨大轉(zhuǎn)變。

這是一個(gè)很大的“如果”。

這就是為什么我們距離主流應(yīng)用滲透到社會(huì)結(jié)構(gòu)還有數(shù)年的時(shí)間，主要是因?yàn)閯?chuàng)建多模態(tài)人工智能的技術(shù)困難，其次是由于當(dāng)前數(shù)據(jù)的限制。

總而言之，以有意義的方式使用多模態(tài)GenAI的能力不僅會(huì)變得復(fù)雜，因?yàn)槟Ｐ捅旧砀鼜?fù)雜，制作成本更高，且因數(shù)據(jù)的敏感性，圍繞制作和使用其程序可能會(huì)更加棘手。所有這些都可能會(huì)減緩技術(shù)的廣泛采用。

多模態(tài)生成人工智能可用于改善制造質(zhì)量控制、汽車預(yù)測性維護(hù)以及制造供應(yīng)鏈優(yōu)化。在醫(yī)療保健領(lǐng)域，其可以處理患者的生命體征、診斷數(shù)據(jù)、掃描圖像、外觀和其他文本/圖像/音頻/視頻記錄，以改進(jìn)診斷和治療計(jì)劃。在零售業(yè)中，其可以分析來自各種來源的數(shù)據(jù)，包括傳感器、攝像頭和錄音，以識(shí)別模式并預(yù)測未來的客戶行為。還有更多。

從廣義上講，多模態(tài)GenAI可以為開發(fā)帶來新的視覺元素。我們應(yīng)該看到某些類型的視覺和交互設(shè)計(jì)被顛覆，因?yàn)檫@很有可能能夠使用能夠接受文本輸入或視覺示例的模型來生成軟件前端和用戶體驗(yàn)的某些方面，并生成執(zhí)行其所需的設(shè)計(jì)資產(chǎn)和前端代碼。

此外，通過促進(jìn)AR/VR的創(chuàng)造力，虛擬服務(wù)將出現(xiàn)在面向患者的醫(yī)療保健運(yùn)營和多個(gè)其他行業(yè)中。沉浸式技術(shù)的改進(jìn)在娛樂行業(yè)有明顯的應(yīng)用，但也可以在醫(yī)療技術(shù)/無障礙設(shè)備行業(yè)、制造業(yè)，甚至是設(shè)計(jì)和建筑等知識(shí)工作行業(yè)中創(chuàng)造令人興奮的新事物。