GenAI的迅速出現(xiàn)使更多的人能夠釋放數(shù)據(jù)的力量，以獲得新的見解和更好的決策，但允許更廣泛地訪問數(shù)據(jù)需要一種數(shù)據(jù)治理戰(zhàn)略。能夠平衡這些看似對立的趨勢的企業(yè)——數(shù)據(jù)民主化，同時對數(shù)據(jù)保持強有力的治理——將通過釋放獨特的數(shù)據(jù)驅(qū)動洞察力，在市場上脫穎而出。

根據(jù)Gartner的數(shù)據(jù)，到2026年，超過80%的企業(yè)將使用GenAI API和模型，或在生產(chǎn)中部署啟用GenAI的應(yīng)用程序，而去年這一比例不到5%。GenAI的自然語言界面允許非技術(shù)用戶，從部門負責人到一線工作人員，更輕松地訪問和使用數(shù)據(jù)。這在獲取信息和技能方面創(chuàng)造了公平的競爭環(huán)境，Gartner稱這是“本十年最具顛覆性的趨勢之一”。

如果公司要避免隱私、安全和數(shù)據(jù)質(zhì)量方面的風險增加，以這種方式實現(xiàn)數(shù)據(jù)民主化就會使強有力的治理變得更加關(guān)鍵，這意味著準確地知道你擁有什么數(shù)據(jù)、駐留在哪里、誰有權(quán)訪問這些數(shù)據(jù)以及每種類型的用戶被允許如何使用這些數(shù)據(jù)，但一個企業(yè)如何在不壓制創(chuàng)新的情況下實施全面控制？

在較高級別上，理想的方法是將數(shù)據(jù)統(tǒng)一到一個綜合存儲庫中，多個團隊和工作組可以輕松、安全地訪問該存儲庫，統(tǒng)一數(shù)據(jù)使企業(yè)能夠集中管理并擴大對數(shù)據(jù)的訪問，同時最大限度地降低復(fù)雜性并優(yōu)化成本。

在現(xiàn)實中，這可能是具有挑戰(zhàn)性的，因為數(shù)據(jù)主權(quán)法律要求將某些數(shù)據(jù)保存在特定的國家或地區(qū)。在這種情況下，企業(yè)應(yīng)該努力消除孤島，并在其數(shù)據(jù)平臺上應(yīng)用一致的治理框架。

除此之外，幾種特定的方法和技術(shù)有助于確保企業(yè)可以保持強大的治理，同時仍然通過GenAI擴大對數(shù)據(jù)的訪問，其中一些是適用于任何環(huán)境的基本治理實踐，但當GenAI進一步民主化數(shù)據(jù)訪問時，它們變得更加重要。

針對隱私和法規(guī)遵從性的精細控制

隨著越來越多的員工訪問更多的數(shù)據(jù)，個人身份信息(PII)可能被泄露或被錯誤的用戶看到的潛在風險只會增加，精細的控制策略以及匿名化和身份識別技術(shù)對于確保法規(guī)遵從性和防止數(shù)據(jù)被錯誤的人訪問至關(guān)重要。

在我們分析雪花數(shù)據(jù)云趨勢的新《數(shù)據(jù)趨勢2024》報告中，我們注意到治理功能的使用顯著增加，這些功能在提供對數(shù)據(jù)的精細控制的同時，還適當?shù)貙⑵涮峁┙o更多的用戶，用于更多的用例，例如，在截至2024年1月31日的12個月中，應(yīng)用的掩碼或行訪問策略的使用量與去年同期相比增加了98%，與此同時，分配了掩碼策略的列數(shù)增長了97%。

然而，值得注意的是，針對受策略保護的對象運行的查詢總數(shù)上升了142%，這個數(shù)字意義重大，因為它表明良好的數(shù)據(jù)治理不是說“不”和限制數(shù)據(jù)使用。盡管看到越來越多的治理通過使用標簽和屏蔽政策，但報告指出，使用這些數(shù)據(jù)所做的工作量正在迅速上升。

在某些情況下，員工可能希望檢查他們不能被授予直接訪問權(quán)限的數(shù)據(jù)集，在這種情況下，差異隱私是一項強大的技術(shù)，因為它允許用戶通過查看數(shù)據(jù)集內(nèi)的模式來共享和探索數(shù)據(jù)集，而不會泄露任何個人用戶的PII。更進一步，數(shù)據(jù)凈化室允許多方在不向彼此披露原始數(shù)據(jù)的情況下就數(shù)據(jù)進行協(xié)作，數(shù)據(jù)凈化室通常用于在不同企業(yè)之間共享數(shù)據(jù)，但我們正在看到內(nèi)部使用的技術(shù)來滿足日益增長的監(jiān)管和隱私需求，它可以成為在GenAI界面環(huán)境中探索PII數(shù)據(jù)的有效技術(shù)。

一致、協(xié)調(diào)的安全性

安全應(yīng)該構(gòu)建在數(shù)據(jù)平臺的結(jié)構(gòu)中，而不是試圖稍后為個別數(shù)據(jù)集和用戶固定它，支持對話界面的技術(shù)不應(yīng)該復(fù)制數(shù)據(jù)上的身份和其他核心權(quán)限，這將導(dǎo)致脆弱的設(shè)置。如果兩個或多個系統(tǒng)都在跟蹤誰可以訪問哪些數(shù)據(jù)，則出錯和未經(jīng)授權(quán)訪問的可能性會大大增加。

在保護GenAI用例的數(shù)據(jù)方面發(fā)揮關(guān)鍵作用的技術(shù)包括持續(xù)的風險監(jiān)控和保護、基于角色的訪問控制(RBAC)和細粒度授權(quán)策略?；诮巧臉擞浐突跇擞浀难诖a策略允許你通過將掩碼策略分配給標記，然后在一個或多個數(shù)據(jù)庫對象上設(shè)置該標記，從而在列級別保護數(shù)據(jù)。

數(shù)據(jù)孤島是良好治理的敵人

將數(shù)據(jù)的副本或片段存儲在不同的系統(tǒng)中，使得跟蹤誰可以訪問哪些信息以及保持訪問和控制策略的一致性變得極其困難，這就是為什么數(shù)據(jù)孤島是強大治理的敵人。

數(shù)據(jù)孤島還使得很難確保員工查詢的是最新、最準確的數(shù)據(jù)，這可能會導(dǎo)致代價高昂的錯誤。為了通過GenAI實現(xiàn)對數(shù)據(jù)的廣泛訪問，企業(yè)需要一個單一的真實來源，以確保所有員工都在查看相同的信息，并且可以在所有數(shù)據(jù)中全面應(yīng)用和更新控制和策略。

確保數(shù)據(jù)質(zhì)量以獲得準確的結(jié)果

即使你消除了孤島并擁有適當?shù)臋?quán)限，也不能保證員工訪問的信息是正確的，數(shù)據(jù)質(zhì)量框架基于應(yīng)用于表中特定列或一組列的可配置數(shù)據(jù)質(zhì)量規(guī)則，可以幫助檢測質(zhì)量問題并確保準確的信息。

此外，到目前為止，我們都知道，GenAI有時會產(chǎn)生幻覺，并產(chǎn)生實際上沒有根據(jù)的答案，這對于企業(yè)使用來說是不可接受的。企業(yè)可以通過將大型語言模型(LLM)與他們知道值得信任的數(shù)據(jù)源相結(jié)合來解決這一問題，例如內(nèi)部客戶數(shù)據(jù)庫或來自可信第三方提供商的經(jīng)過審查的數(shù)據(jù)集。

這些受信任的數(shù)據(jù)源可以使用需要LLM定制(如微調(diào))或不需要LLM定制(如即時工程或檢索增強生成(RAG))的過程合并。無論是哪種情況，這些技術(shù)都有助于確保員工收到準確、高質(zhì)量的結(jié)果，同時遵守內(nèi)部云環(huán)境中內(nèi)置的治理標準。

數(shù)據(jù)訪問和通用搜索的威力

GenAI治理的一個重要方面是讓員工很容易找到合適的數(shù)據(jù)集和數(shù)據(jù)產(chǎn)品來幫助他們進行分析，人工智能如此強大的一個原因是，它允許員工在不通過中央團隊的情況下與數(shù)據(jù)交互，但這需要這些員工知道他們可以獲得什么數(shù)據(jù)，以及如何找到這些數(shù)據(jù)。

搜索功能提供了這一功能，允許用戶查找和查詢數(shù)據(jù)集和數(shù)據(jù)產(chǎn)品，這一搜索功能本身可以由LLM提供支持，使數(shù)據(jù)搜索更加直觀-這是我們在Snowflake開發(fā)的，作為我們通用搜索的一部分。

治理是數(shù)據(jù)民主化的基礎(chǔ)

商業(yè)用戶渴望更廣泛地利用他們組織的數(shù)據(jù)，而GenAI最終使這成為可能。多虧了LLMS和自然語言處理，財務(wù)、人力資源、銷售和運營等領(lǐng)域的員工現(xiàn)在可以針對自己的角色制定問題，并獲得他們做出更明智決策所需的答案。

但要滿足企業(yè)的安全和法規(guī)遵從性需求，這只能在具有強大治理的環(huán)境中發(fā)生，治理越強，你的員工就越能自由地瀏覽數(shù)據(jù)，而不會給公司帶來額外的風險，GenAI為真正的數(shù)據(jù)民主化打開了大門，而良好的治理是使之成為可能的基礎(chǔ)。