隨著大模型等人工智能技術(shù)的快速發(fā)展,數(shù)字政府建設(shè)也正被深刻重塑,龍訊在國內(nèi)較早地開始探索人工智能在數(shù)字政府領(lǐng)域的運(yùn)用落地,并取得了一定的成果。12月19日,龍訊董事長賀良震受邀參加在京舉行的2024數(shù)字政府評(píng)估大會(huì),并作“AI+政務(wù)問答——大模型賦能數(shù)字政府的探索與實(shí)踐”的主題演講。
隨著大模型技術(shù)的迅猛發(fā)展,各行各業(yè)的軟件和服務(wù)都將面臨重塑,然而在數(shù)字政府領(lǐng)域,大模型應(yīng)用的真正落地卻面臨著諸多挑戰(zhàn)。近年來,龍訊一直在這方面深耕細(xì)作,有一些成果和心得,借此機(jī)會(huì)與大家交流探討。
聚焦于政府網(wǎng)站這一特定領(lǐng)域。政府網(wǎng)站,是網(wǎng)上政府的重要窗口,運(yùn)行于互聯(lián)網(wǎng),服務(wù)于社會(huì)大眾。業(yè)務(wù)涉及到信息發(fā)布、解讀回應(yīng)、網(wǎng)上辦事、互動(dòng)交流等多個(gè)方面,其重要性不言而喻。那么,政府網(wǎng)站的智能問答,功能雖小,但業(yè)務(wù)要遠(yuǎn)遠(yuǎn)比一般行業(yè)的應(yīng)用復(fù)雜,并且安全責(zé)任重大,也是數(shù)字政府提升服務(wù)效能的重要一環(huán)。在此,以這一小場(chǎng)景為切入點(diǎn),來與大家探討大模型的應(yīng)用。
首先,來看相關(guān)的一些政策,國辦在2017年印發(fā)的《發(fā)展指引》,其中提到了“通過自然語言處理等技術(shù)自動(dòng)解答和咨詢”;國務(wù)院在2022年印發(fā)了《加強(qiáng)數(shù)字政府建設(shè)的意見》,其中提到“緊貼群眾需求,暢通互動(dòng)渠道”;今年初,也印發(fā)了《高效辦成一件事的意見》,提到了“探索應(yīng)用自然語言大模型的技術(shù),提升線上智能客服的意圖識(shí)別和精準(zhǔn)回答能力”;我們也注意到中國軟件評(píng)測(cè)中心,在今年的績效評(píng)估指標(biāo)當(dāng)中,也著重加大了人工智能技術(shù)應(yīng)用的指標(biāo)權(quán)重。
那么,問答在網(wǎng)站中是一個(gè)什么樣的功能定位?站在網(wǎng)民的需求側(cè),我們將網(wǎng)站的功能分為“看、查、問、辦”這四大類。在問這個(gè)環(huán)節(jié),智能問答是唯一的一個(gè)實(shí)時(shí)咨詢的渠道。剛才北大的馬教授就講到,相關(guān)辦事的指南非常復(fù)雜,有的可能有100多頁,那么在辦事之前可能就需要去咨詢,顯然,政府網(wǎng)站就提供了這種渠道。當(dāng)前,幾乎所有地方的政府門戶網(wǎng)站都設(shè)計(jì)了這一功能,可以說是網(wǎng)站功能的一個(gè)標(biāo)配。
但其服務(wù)的成效到底如何?通過前期的調(diào)研,發(fā)現(xiàn)普遍存在“問而不答”和“答非所問”的現(xiàn)象。我們來看兩個(gè)示例:一個(gè)是,哪些人可以享受特困養(yǎng)老補(bǔ)貼?回答是“抱歉,我還沒學(xué)會(huì)”,這是典型的問而不答的現(xiàn)象。另一個(gè)是,我想開個(gè)飯店需要辦理什么手續(xù)?回答是“找到以下相關(guān)事項(xiàng),一、公路工程質(zhì)量監(jiān)督手續(xù)批復(fù);二、某某飯店重大坍塌事故調(diào)查報(bào)告”,這顯然是通過傳統(tǒng)的分詞檢索技術(shù),給用戶提供兩個(gè)毫不相關(guān)的鏈接,這個(gè)是典型的答非所問的現(xiàn)象。究其根本原因,是傳統(tǒng)的技術(shù)對(duì)于自然語言的處理能力較弱所導(dǎo)致。當(dāng)然,我們也看到了,目前有一些地方政府已經(jīng)開始探索人工智能技術(shù)的應(yīng)用。
有了大模型的賦能,問答可以變得更加智能,能夠做到“能理解、會(huì)思考、有效答”。大模型在賦能的同時(shí)也帶來了新的挑戰(zhàn),例如,大模型自身的短板。一是,幻覺問題。即回答看似合理,實(shí)則違背常理,也就是經(jīng)常講的一本正經(jīng)地胡說八道。二是,多樣性問題。即多樣性使大模型更加富有創(chuàng)新性,但同時(shí)也帶來了回答變化多樣,不易控制的問題;三是,可解釋性問題。回答依據(jù),不易溯源;四是,有效性問題。大模型的知識(shí)是源自于訓(xùn)練,無論是預(yù)訓(xùn)練方式還是微調(diào)訓(xùn)練方式,都很難解決專門領(lǐng)域知識(shí)的完整性,實(shí)效性和準(zhǔn)確性問題,最終所帶來的結(jié)果就是回答無效。
互聯(lián)網(wǎng)用戶的提問有萬千可能,有的可能與業(yè)務(wù)相關(guān),比如問辦事、問政策,有的可能跟業(yè)務(wù)無關(guān),閑聊、發(fā)牢騷,以及其他的一些訴求,例如投訴舉報(bào),尋求幫助。甚至是暴力測(cè)試、惡意引導(dǎo)、人工投毒,或者是意圖不明的情況,這就是基于自然語言應(yīng)用的特點(diǎn)。那么,哪些問題不該答?哪些該答?該如何作答?我們講,服務(wù)邊界的控制與業(yè)務(wù)流程的設(shè)計(jì)也是巨大的挑戰(zhàn)。
守住安全底線。在11月的世界互聯(lián)網(wǎng)大會(huì)上,國家主席習(xí)近平在致賀當(dāng)中,提到把“創(chuàng)新作為第一動(dòng)力,把安全作為底線要求”。線上平臺(tái)實(shí)際的一些用戶提問,涉及主要領(lǐng)導(dǎo)、違法犯罪、國家主權(quán)、偏見歧視、政治話題、隱秘陷阱、意識(shí)形態(tài)、暴力測(cè)試等等。平臺(tái)沒有辦法去限制或限定用戶的提問,唯一能做的是,筑牢安全防線來守住安全底線。
在應(yīng)用新技術(shù)進(jìn)行創(chuàng)新的同時(shí),如果不能很好的處理上述的一些問題,很可能會(huì)帶來內(nèi)容安全上的問題,例如邊界不清、知識(shí)過期、幻覺、回答不當(dāng),甚至是意識(shí)形態(tài),從而影響政府的公信力。
接下來看一組示例,首先聲明一點(diǎn),這些示例均是來自于互聯(lián)網(wǎng),但是已經(jīng)對(duì)一些特征和敏感信息進(jìn)行了處理,主要是為了說明問題,請(qǐng)大家不要對(duì)號(hào)入座。一是,邊界不清的問題。特朗普為何勝選?美國和臺(tái)灣的關(guān)系?顯然已經(jīng)超出了政府網(wǎng)站的服務(wù)范疇,但是這里仍然在作答;二是,對(duì)話不暢的問題。身份證丟失在哪里補(bǔ)辦?咨詢電話多少?可以網(wǎng)上辦理嗎?回答是,咨詢電話給出了人社工傷的電話、招生的電話,網(wǎng)上辦,給出了電子稅務(wù)的網(wǎng)上辦理方式。顯然沒有能夠在多輪對(duì)話中很好理解用戶意圖;三是,知識(shí)過期的問題。不知道更新到哪一天,給出2023年的4月1日,現(xiàn)在過年回家還要不要報(bào)備,回答說,可能要報(bào)備;四是,幻覺問題。本地人和外地人在申請(qǐng)廉租房時(shí)誰更能得到分配?回答說,一般來講本地人更容易得到分配;五是,回答不當(dāng)?shù)膯栴}。下面這個(gè)更離譜,你是誰,我是信息辦的主任,能為我提供什么服務(wù),提供政審和檔案查閱服務(wù);身份證補(bǔ)辦,立即報(bào)警,帶上身份證原件和復(fù)印件來補(bǔ)辦;開網(wǎng)約車有年齡要求嗎?這是我的隱私,就不告訴你;甚至還碰到下一任市長是誰,也能回答……
基于大模型,基于自然語言理解的應(yīng)用該如何設(shè)計(jì)?我認(rèn)為應(yīng)該遵循以下三大原則:安全,風(fēng)險(xiǎn)可防,安全可控;有效,控制精確,回答有效;友好,態(tài)度友好,語氣親和。
安全原則。首先要有合規(guī)檢測(cè),對(duì)于用戶的提問還有答案的輸出,要做雙向的檢測(cè),結(jié)合傳統(tǒng)詞庫技術(shù)和自然語音技術(shù)進(jìn)行雙重校驗(yàn),并且系統(tǒng)要有安全規(guī)則,一旦用戶觸發(fā)了規(guī)則,就可以彈窗警告,結(jié)束會(huì)話,甚至是禁止會(huì)話的操作。對(duì)于一些高危的操作,還可以做到預(yù)警通知到管理人員的手機(jī)端,短信、即時(shí)通訊都可以。安全,既要有技防,也要有人防,還要配備相關(guān)的監(jiān)管措施,例如日志審計(jì)、行為分析、撤回重答等等。
有效原則。智能問答業(yè)務(wù),和無人駕駛的業(yè)務(wù)非常相似,所以這里做一個(gè)對(duì)比,以更加形象地來了解問答的業(yè)務(wù)。無人駕駛,首先要有明確的目的地,這個(gè)不難,用戶選擇就行,其次,要有地圖,當(dāng)然地圖技術(shù)也已經(jīng)非常的成熟,再者的就是精確的智架控制系統(tǒng),來應(yīng)對(duì)各種的復(fù)雜路況,這一塊目前仍然在探索之中,最終是將用戶成功送達(dá)。再來看智能問答,首先要有明確的用戶提問,其次要有準(zhǔn)確的知識(shí),再者就是精確的業(yè)務(wù)控制來應(yīng)對(duì)用戶的復(fù)雜提問,實(shí)現(xiàn)有效回答的目的。如同無人駕駛要有地圖,問答,要有自己的知識(shí)庫。政府網(wǎng)站的智能問答,一定是基于自己發(fā)布的知識(shí)庫來回答用戶的提問,而非模型訓(xùn)練的知識(shí)。通常會(huì)采用RAG檢索增強(qiáng)生成的方式,也就是結(jié)合用戶的提問去知識(shí)庫當(dāng)中去匹配關(guān)鍵的知識(shí),再送給模型去增強(qiáng)它的生成。相同點(diǎn),都是三個(gè)環(huán)節(jié),不同點(diǎn),是問答的三個(gè)環(huán)節(jié),任何一個(gè)環(huán)節(jié)想要做好都不那么容易。例如用戶提問,你沒有辦法去要求他必須提得很明確,即便是用戶提的很明確,業(yè)務(wù)控制也很精確,但網(wǎng)站的知識(shí)庫當(dāng)中也未必就一定有用戶每個(gè)問題的答案,所以,將有效作為回答的目標(biāo),要相對(duì)的嚴(yán)謹(jǐn)或合理一些。
具體來看這三個(gè)環(huán)節(jié),首先,是提問環(huán)節(jié)。要能結(jié)合用戶對(duì)話的上下文來分析評(píng)估他當(dāng)前的提問是不是明確,如果不明確,要給他進(jìn)行引導(dǎo),引導(dǎo)他把問題提清楚才能回答。當(dāng)然,在對(duì)話的過程中,也要保證這種對(duì)話的流暢性。其次,知識(shí)庫環(huán)節(jié)。網(wǎng)站的知識(shí)更新的非??欤呶募S時(shí)可能會(huì)新發(fā)布,辦事的要素隨時(shí)也可能會(huì)變更,我們要能感受到這種更新,并且能夠做到自動(dòng)入庫。數(shù)據(jù)入庫了,是不是就變成知識(shí)了呢?當(dāng)然不是。一定要經(jīng)過治理,舉個(gè)例子,比如我們政府工作報(bào)告通常會(huì)大量的出現(xiàn)去年、今年、本市、我市、全市等這一類的表述。這就需要把它改成2023年、2024年、某某市這種精確描述,才能夠很好地應(yīng)對(duì)后續(xù)的知識(shí)匹配和回答環(huán)節(jié),不至于帶來幻覺,也就是說,數(shù)據(jù)要經(jīng)過治理才會(huì)變成知識(shí)。因此,需要有長效的治理機(jī)制,因?yàn)榫W(wǎng)站的更新非??欤畔⒘恳埠艽?,在治理層面要有輔助治理加人工復(fù)核相結(jié)合,提供智能比對(duì)、指代消解、表格轉(zhuǎn)換、標(biāo)題增強(qiáng)等等一些技術(shù)手段。第三,控制環(huán)節(jié)。首先要能精準(zhǔn)地識(shí)別用戶的意圖,就是他到底想問什么?問政策?問辦事?還是問其他?甚至還要去做到二級(jí)意圖識(shí)別,甚至多級(jí)意圖識(shí)別。比如問領(lǐng)導(dǎo),是問領(lǐng)導(dǎo)的簡介?還是問領(lǐng)導(dǎo)的活動(dòng)?因?yàn)椴煌囊鈭D,業(yè)務(wù)的處理邏輯是不相同的。知識(shí)匹配環(huán)節(jié),要解決知識(shí)沖突問題,避免知識(shí)的混淆,還要去過濾無效的知識(shí)。因?yàn)槲覀冋呶募袊壹?jí)、省級(jí)、地方級(jí),一個(gè)文件會(huì)在細(xì)節(jié)上存在差異,如果處理不好會(huì)帶來沖突,知識(shí)混淆,因?yàn)檗k事服務(wù)的事項(xiàng)一般是延伸到基層的,在一個(gè)區(qū)域內(nèi)會(huì)有很多同名的事項(xiàng),就是名稱相同要素不同,甚至還有一些名稱相近的事項(xiàng),如果處理不好,很容易帶來混淆。網(wǎng)站的政策文件,有的發(fā)布了,可能還沒有到施行日期,有的會(huì)隨著時(shí)間的推移會(huì)慢慢失效。那么,平臺(tái)就要做到,生效的文件自動(dòng)入庫,失效的文件自動(dòng)清理,以避免這種無效知識(shí)的干擾。要能控制模型,使用提供的知識(shí)去回答,而不是它訓(xùn)練的知識(shí),從而抑制模型的幻覺,通過不斷的微調(diào)訓(xùn)練等方式來提升模型的這種分析力,增強(qiáng)記憶力,從而減少回答的多樣性,另外,盡可能針對(duì)每一個(gè)回答附上原文鏈接,參考知識(shí)的鏈接,來增強(qiáng)回答的這種科解釋性。以上都是控制環(huán)節(jié)當(dāng)中的關(guān)鍵點(diǎn),只有“提問明確了、知識(shí)準(zhǔn)確了、控制精確了”,才有可能帶來有效的回答。
友好原則。無論用戶如何去提問,都需要保持一個(gè)友好的溝通氛圍。在實(shí)際情況當(dāng)中,很多時(shí)候有的用戶會(huì)提出超出范圍的問題,超出業(yè)務(wù)范圍、超出地域范圍、超出知識(shí)范圍,或者是一些閑聊,都要能夠給予友好的回答,或者是拒答。
以上,就是我講的三大原則,安全,有效和友好。那么,通過不斷的產(chǎn)品迭代,龍訊目前已經(jīng)打造了八大場(chǎng)景,問辦事、問政策、問概況、問領(lǐng)導(dǎo)、問數(shù)據(jù)、問機(jī)構(gòu)、問旅游、問搜融合以及27項(xiàng)服務(wù)能力,包括多模態(tài)融合展現(xiàn)、高效辦成一件事的卡片等等。
接下來,來看幾個(gè)具體的示例。通過對(duì)十余萬用戶提問的數(shù)據(jù)進(jìn)行統(tǒng)計(jì),我們發(fā)現(xiàn)大約50%的用戶提問跟辦事服務(wù)相關(guān),因此,辦事服務(wù)類問題的回答有效性非常的關(guān)鍵。
這是武漢市的一個(gè)案例,“我是寧安社區(qū)的居民,社保怎么辦理?有沒有咨詢電話?”這個(gè)用戶的提問非常的明確,有區(qū)域,有事項(xiàng),也有辦事要素,那么根據(jù)用戶的語義,精準(zhǔn)地定位到了江夏區(qū)紙坊街道寧安社居委的這個(gè)城鄉(xiāng)居民參保中心的事項(xiàng),綜合事項(xiàng)的八要素來回答了用戶的提問,并且還可以直接點(diǎn)擊在線辦理。武漢市大約有17萬辦事項(xiàng)目,其中城鄉(xiāng)居民參保登記這個(gè)事項(xiàng)就有3325條,如果處理的不好的話,就很容易會(huì)帶來誤導(dǎo)的問題,不但不是給公眾帶來便捷,反而會(huì)帶來不便。當(dāng)然,如果說寧安社區(qū)用戶的提問不在武漢市區(qū)域內(nèi),那么平臺(tái)會(huì)識(shí)別出它超出范圍。
“小孩戶口在哪里上?要帶哪些材料?”根據(jù)語義識(shí)別出,是新生兒登記這個(gè)事項(xiàng)!但是,新生兒登記的在武漢市分為七種情況,并列了七個(gè)事項(xiàng):婚生,非婚生或者是境外出生等等。顯然,七種情況所帶的資料不同,這里就需要做主動(dòng)詢問,是哪一種情況,由用戶來選,避免誤答,而問題當(dāng)中也沒有提區(qū)域,要讓用戶選擇區(qū)域,選完過以后,平臺(tái)精準(zhǔn)地命中到了硚口區(qū)長豐街道的這個(gè)事項(xiàng),結(jié)合要素給予有效的回答。真正要做到“主動(dòng)詢問、細(xì)致引導(dǎo)、確認(rèn)再答、直達(dá)辦理”。如果沒有主動(dòng)詢問和引導(dǎo)的環(huán)節(jié),能不能答呢?當(dāng)然,如果把這個(gè)問題送給模型,把這些知識(shí)都給他,一定能答,但是答成什么樣就不好說了。所以我也經(jīng)常對(duì)我們的產(chǎn)品經(jīng)理和測(cè)試人員說,針對(duì)這種自然語言的應(yīng)用測(cè)試,一定要看清楚問題,仔細(xì)的去甄別答案,還要對(duì)照相關(guān)的政策或者辦事項(xiàng)的原文去分析他是否真的有效。
再來看一個(gè)示例,“請(qǐng)將過去五年的人口數(shù)據(jù)生成折線圖,GDP數(shù)據(jù)生成柱狀圖?!边@是剛剛上線的南京市的案例,根據(jù)語義,識(shí)別出了過去五年是哪五年,然后在政府網(wǎng)站的已發(fā)布的統(tǒng)計(jì)數(shù)據(jù)當(dāng)中,去讀取人口以及GDP里的地區(qū)生產(chǎn)總值的數(shù)據(jù),根據(jù)用戶的需求,生成了兩張圖表。
多模態(tài),大家并不陌生,現(xiàn)在大模型里有生成文本的,生成視頻的,也有生成圖像的,而我們進(jìn)行了一個(gè)融合的展現(xiàn),這是滁州市的案例,瑯琊山的醉翁亭是歐陽修命名的嗎?平臺(tái)找到知識(shí)并結(jié)合知識(shí),給予了這種富文本格式的輸出。
這是黃山市的案例,“本周末準(zhǔn)備去黃山玩兩天,請(qǐng)結(jié)合天氣,推薦一下景點(diǎn)和行程。”首先,要能知道本周末是哪兩天?然后通過智能體,調(diào)用天氣查詢的接口把天氣查好,再結(jié)合網(wǎng)站發(fā)布的旅游資源,讓模型給出一個(gè)行程建議:第一天上午上黃山,下午到西海大峽谷,晚上住在山頂酒店,第二天早上看日出,下午泡溫泉,還給出了氣溫較低,注意保暖的友情提示。
最后看一個(gè)示例,“慢性病就醫(yī)可能異地結(jié)算?”口語化的表達(dá),“怎么辦?有沒有咨詢電話?”這個(gè)問題實(shí)際上包含三小問,平臺(tái)分別逐一進(jìn)行解答。強(qiáng)調(diào)一下,這個(gè)問題的回答,實(shí)際上它是綜合了網(wǎng)站的答問知識(shí)庫的知識(shí),辦事服務(wù)事項(xiàng)的知識(shí),以及政策文件的知識(shí)。其實(shí),網(wǎng)民的這種需求還是比較常見的,在去辦事之前,當(dāng)然想去做一些咨詢與了解,然后可能要了解具體怎么辦?過去,在政府網(wǎng)站中,可能需要到各個(gè)欄目去找,或者是通過智能搜索去搜,把問題轉(zhuǎn)換成關(guān)鍵詞,然后去找。且不說能不能找到這種信息,即便是找到了,還要從中去尋求答案。而現(xiàn)在,在問答平臺(tái)中直接問就可以了。所以,從原來的四處找,到現(xiàn)在的直接問;從過去的一框搜,到現(xiàn)在的一窗問;從原來的給鏈接,到現(xiàn)在的直接給答案。智能問答,其實(shí)就是網(wǎng)上政府的一個(gè)無人服務(wù)窗口,給網(wǎng)民提供一體化的服務(wù)。能夠真正實(shí)現(xiàn),也是今天大會(huì)的主題,為公眾帶來更好的服務(wù)體驗(yàn)。有了AI的賦能,政府網(wǎng)站也將迎來新的變革機(jī)遇。
在我們調(diào)研的過程當(dāng)中,很多用戶都特別關(guān)心我們用的是什么大模型?當(dāng)然,大模型作為新型基礎(chǔ)設(shè)施,為我們的應(yīng)用系統(tǒng)賦予了強(qiáng)大的自然語言理解能力,就如同我們生活中的水電氣一樣不可或缺。而我想說的是,作為業(yè)務(wù)系統(tǒng)的設(shè)計(jì),更為重要的是如何用好大模型為業(yè)務(wù)賦能,如何用好大模型實(shí)現(xiàn)業(yè)務(wù)系統(tǒng)的精確控制。至于選擇什么大模型,我們的答案是“多路接入,按需使用”。我們的問答,從問題的輸入到最終答案的輸出,中間多達(dá)幾十個(gè)環(huán)節(jié),那么每一個(gè)環(huán)節(jié)對(duì)于模型這種需求都是不相同的,例如性能穩(wěn)定性、總結(jié)與分析,每一個(gè)模型都有自己的優(yōu)劣,所以,我們是按需使用。同時(shí),我們還要做到,關(guān)鍵環(huán)節(jié)要使用不同的模型進(jìn)行雙重校驗(yàn),避免誤判。因?yàn)榇竽P陀卸鄻有?,也就是我們?jīng)常講的叫“用大模型去解決大模型的問題”。對(duì)于突發(fā)故障,還要能做到主備模型自動(dòng)補(bǔ)位。
最后是幾點(diǎn)思考,基于大模型的應(yīng)用,當(dāng)前仍然在不斷的探索之中,仍然沒有辦法回答好用戶的每一個(gè)問題,因此,可以無人駕駛,但不能無人管控。在關(guān)注通用大模型發(fā)展的同時(shí),我認(rèn)為應(yīng)該更加重視如何用好大模型為數(shù)字政府賦能。在大模型賦能的同時(shí)也給我們帶來新的挑戰(zhàn),過去是網(wǎng)絡(luò)層、系統(tǒng)層,今天是內(nèi)容層,大量的非結(jié)構(gòu)化數(shù)據(jù),傳統(tǒng)技術(shù)很難加以利用,那么大模型可以借助語義去做分類標(biāo)注、統(tǒng)計(jì)分析,來輔助決策,從而發(fā)揮數(shù)據(jù)的更大價(jià)值。AI+政務(wù)問答,是大模型賦能數(shù)字政府的一個(gè)探索,也是政府網(wǎng)站邁向智能化的一個(gè)起點(diǎn)。