隨著企業(yè)尋求提高生產(chǎn)力和增強(qiáng)客戶體驗(yàn)的方法，生成式人工智能預(yù)計(jì)將在未來十年在每個(gè)行業(yè)留下印記。對于數(shù)據(jù)工程，已經(jīng)有相當(dāng)多的用例正在由領(lǐng)先的公司進(jìn)行測試，目的是減少工程師需要做的手工工作量并協(xié)助他們進(jìn)行代碼構(gòu)建。

以下是生成式人工智能可以幫助數(shù)據(jù)工程師的一些用例。

數(shù)據(jù)清理和準(zhǔn)備

數(shù)據(jù)有多種格式，成功的數(shù)據(jù)主導(dǎo)項(xiàng)目的關(guān)鍵因素之一是確保數(shù)據(jù)高質(zhì)量且可由終端平臺或算法讀取。對于數(shù)據(jù)工程師來說，有一些工具可用于重新格式化和清理數(shù)據(jù)，但由于數(shù)據(jù)不完整或格式不受支持，這些工具可能會(huì)陷入處理階段。

借助生成式人工智能的自然語言處理功能，數(shù)據(jù)工程師將能夠要求對一批數(shù)據(jù)進(jìn)行特定的清理或準(zhǔn)備，避免一批數(shù)據(jù)因不兼容而被廢棄的問題。

代碼轉(zhuǎn)換

在遷移或現(xiàn)代化項(xiàng)目期間，編程語言或平臺的轉(zhuǎn)變可能需要完整的代碼轉(zhuǎn)換。這是一個(gè)非常耗時(shí)的過程，因?yàn)榫幋a語言之間的一對一更改并不總是可用，程序員需要能夠識別正確的替代品。

由于像ChatGPT這樣的生成式AI工具已經(jīng)接受過海量數(shù)據(jù)的訓(xùn)練，它被認(rèn)為是程序員的天然助手，因?yàn)樗軌騾⒖嘉臋n、經(jīng)過測試的代碼和論壇來找到多種編程語言之間的最佳轉(zhuǎn)換。

生成代碼

與代碼轉(zhuǎn)換類似，由于生成式人工智能工具已經(jīng)過現(xiàn)有代碼庫和最佳實(shí)踐的培訓(xùn)，數(shù)據(jù)工程師可以使用它們來生成與已添加內(nèi)容一致的新代碼。這些工具還可以分析現(xiàn)有代碼并提供減少重復(fù)或樣板代碼數(shù)量的建議。

除此之外，數(shù)據(jù)工程師還可以使用這些系統(tǒng)來設(shè)計(jì)和實(shí)現(xiàn)數(shù)據(jù)管道，為工程師提供更多時(shí)間來分析數(shù)據(jù)質(zhì)量和應(yīng)用性能。

測試

生成式人工智能可以以各種形式部署來測試性能和安全性。它可以生成適合所交付的應(yīng)用程序或服務(wù)的配置文件的測試用例，包括數(shù)據(jù)工程團(tuán)隊(duì)可能沒有想到的邊緣用例。

創(chuàng)建可視化

已經(jīng)有一些程序可以獲取數(shù)據(jù)并將其可視化，但借助生成式人工智能，數(shù)據(jù)工程師可以要求進(jìn)行更多利基更改并測試數(shù)據(jù)在各種場景中的外觀。通過將雙手從方向盤上解放出來，數(shù)據(jù)工程師可以嘗試更多類型的可視化，以找到有效的可視化。