通用模子的倫理與管理：挑釁及到九宮格空間對策_中國成長門戶網－國度成長門戶

requestId:695e9610153378.56045378.

中國網/中國發展門戶網訊  通用模子是近年來人工智能發展的主要標的目的之一。隨著模子研發應用的增多，模子的社會和倫理影響遭到廣泛關注。文章從通用模子的特徵出發、剖析了模子在算法、數據和算力 3 個層面潛在的倫理挑戰，包含不確定性、真實性、靠得住性，偏見、毒性、公正、隱私及環境問題。進一個步驟從技術哲舞蹈教室學的視角剖析了數據驅動的模子在人與世界關系中的中介性感化及所產生的“鏡像”效應問題和通明性問題，提出了人與世界關系的新形態是以模子（數據）為中介的，即“人-模子（數據）-世界”關系。最后，從管理技術和管理機制兩方面反思了當前的應對辦法及局限性。建議樹立開放式、全流程、價值嵌進的倫理規約機制，保證通用模子在合規、合倫理的框架下發展。

人工智能步進“通用模子時代”

模子，是現實世界中事務、系統、行為或許天然現象的抽象數學表征。在人工智能領域，通用模子，又稱為預訓練模子、基礎模子或年夜模子，是指經過年夜規模數據訓練，包括海量模子參數，并可適用于廣泛下流任務的模子。自 21 世紀晚期深度學習技術興起，人小樹屋工智能的研發形式重要是開發專用模子，即針對特定任務、場景，依賴大批人力的“作坊式”。但是，由于專用模子泛化才能差且嚴重依賴專用數據集，導致開發本錢高。近幾年，人們開始聚焦通用模子，即通過預先訓練一個超年夜規模的模子，再用大批微調數據將模子遷移到具體場景中，一次性解決下流碎片化任務。

在今朝的通用模子中，天然語言處理（NLP）和計算機視覺（CV）是發展最快的兩個領域。NLP指的是樹立在計算機編程基礎上的人與計算機之間的天然語言通訊，即讓人工智能“說人話”，代表模子包含 Bert（Google）、GPT-2/3（OpenAI）、GLaM（Google）、“盤古”（華為）、“悟道”（智源、清華）等。CV 指的是應用傳感器、攝像頭、計算機等設備模擬生物視覺才能，即讓人工智能“看世界”，代表包含 Swin T交流ransformer（Microsoft）、CLIP（OpenAI）、“書生”（上海人工智能實驗室）等。

從技術的角度來看，通用模子所基于的深度神經網絡和自監督學習并不新穎，其近年來的敏捷發展重要歸功于不斷擴年夜的模子參數量、訓練數據及算力的發展。好比，OpenAI 在 2018 年發布的語言模子 GPT-1 的參數量為 1.1 億，而其在 2020 年發布的 GPT-3 模子的參數量已高達 1 750 億，而 Google 的 Switch Transformer 和北京智源研討院的“悟道”2.0 的參數已經達到萬億級別。模子參數、訓練數據和算力的擴增激發了模子的潛能，進步了模子的泛化性和適用性，晉陞了開發效力。在通用性方面，據華為舞蹈場地數據顯示，其“盤古”通用模子可以適配電力行業的 100 多種問題，迭代效力晉陞了 10 倍擺佈。在精度方面，Clark 等的實驗顯示，在沒有訓練的情況下，人類評價者已經很難區分測試文本是 GPT-3 天生的還是人類創作的。在數據效力方面，上海人工智能實驗室的“書生”模子僅需 2 個訓練樣本，就能在花草種類識別的任務上達到 99.7% 的精確度。

通會議室出租用機能和模子質量的晉陞下降了人工智能的研發和應用門檻，促進了人工智能的規模化落地，未來能夠帶來從技術、規則、軌制到產業的整個人工智能領域瑜伽教室的范式轉變。據 GPT-3 官網顯示，截至 2022 年 2 月，已經有超過 320 個 APP 采用了 GPT-3模子，此中包含人們熟知的 WhatsApp、Duolingo、Excel 等產品。人工智能已然步進“通用模子”時代。 

通用模子的特徵及倫理挑戰

通用模子的特徵

焦點特徵

通用模子的焦點特徵可以歸納為涌現性（emergence）和同質性（homogenization）。

涌現性。涌現是復雜系統的特征，凡是指的是“在復雜系統的自組織過程中，出現新穎而連貫的結構、形式和屬性”。涌現具有 2 個明顯特徵：①單體之間彼此感化產生的協同效應，這使群體作為一個整體可以產生個體簡單相加無法達到的後果。②在臨界狀態下質的改變，這種質變的例子包含天然界中的雪崩、冰化成水，又或許經濟領域的股市價格波動等。在通用模子的語境下，涌現性指的是模子的效能不是具體建構的，而是在模子的年夜規模訓練過程中自立涌現出來的。通用模子的效能涌現性根植于機器學習的特徵。機器學習領域的先鋒——Samuel指出，機器學習算法的本質是讓計算機自動學習訓練教學場地數據的內在規律，并用這些規律對未知數據進行預測，這種基于訓練數據產生模子的算法具有涌現性的特征。通用模子在年夜規模算力和數據的加持下，不僅可以自動指定任務的執行方法、提取數據的內在特征，還可以涌現出一些預料之外的效能。Steinhardt將通用模子的涌現性進一個步驟解釋為由于參數數量增添而惹起的行為上的質變，這種質變可以惹起系統的疾速改變，在產生新效能的同時也能夠產生新的風險。

同質性。同質性，與異質性（heterogenization）相反，指的是構成物體某人的單元在質量、結構、狀態等特征上的單一或類似性。在通用模子語境下，同質性指的是模子構建方式的類似性。重要表現在 2 個方面：①橫向的同質化，指的是類似的網絡架構（如 Transfor瑜伽教室mer）已經被廣泛用于諸多領域的模子開發中。如文本、圖片、視頻、卵白質結構預測等，使得模子的才能可以惠及諸多領域。②縱向的同質化，指的是類似或統一模子被廣泛用于解決下流任務。通用模子領域模子建構的同質化舞蹈教室重要源于模子強泛化性所帶來的開發、優化、應用等方面效力的晉陞。此外，通用模子作為一種中間模子，其問題也會被下流模子所繼承，帶來“一榮俱榮，一損俱損”的後果。

 衍生特徵

通用模子還有兩個衍生特徵：年夜規模數據訓練和任務泛化。①年夜規模數據訓練不僅是模子效能涌現性的主要條件，也舞蹈場地對進步模子整體適用性、準確度和效力發揮了積極感化。②通用模子任務泛會議室出租化的特徵，指的是模子可以作為具有“通才”才能的中間模子，被應用者遷移處理各種分歧的、甚至未知的任務，而類似網絡架構在多種模態模子（文字、圖片、視頻等）中的運用更是拓寬了模子的下流應會議室出租用領域。在這個意義上，通用模子可以被看作是一種促能技術（enabling technology）。

通用模子的倫理挑戰

通用模子的上述特徵推進了人工智能技術的發展和規模化落地，但也帶來一系列倫理挑戰，包含涌現性伴隨的效能不確定、魯棒性完善所導致的靠得住性問題與認知風險；年夜規模數據訓練面臨的隱私平安、偏見、毒性、公正性問題；同質性和任務泛化對上述問題在橫向和縱向上的縮小和加深；應用海量算力對動力的耗費和環境的影響。總的來說，通用模子面臨的倫理挑戰重要表現在 3 個層面。

算法層面：不確定性與真實性、靠得住性問題

從認識論角度看，通用模子的涌現性直接呈現出的是魯棒性完善，導致算法的不確定性和不成解釋性，其結果也影響到算法的真實性和靠得住性，而同質性則縮小了這些問題在橫向和縱向上的影響。

Hendrycks 等將機器學習的魯棒性解釋為系統面對黑天鵝事務和對抗性威脅時表現出的才能。以路況燈為例，遵照信號燈行駛在絕年夜多數場景下是平安的，可是也有極少數特別情況。好比，當十字路口橫向來車闖紅燈時，縱向行駛的車輛如若還按綠燈行駛就會形成車禍。考慮到通用模子的通用性質，現階段年夜部門模子在制訂平安性指標時會將一套復雜的人工智能平安性原則匯總到一個歸納綜合性的綜合指標中，而不對其進行更細粒度的區分；但在具體應用場景中，往往需求考慮更細粒度的平安問題，如信號燈毛病及其他突發、極端情況。

分歧于黑天鵝事務，對抗性威脅凡是是針對算法或模子破綻和弱點的居心性攻擊，操縱方法凡是是決心在樣本中參加人類無法察覺的干擾。2015 年，谷歌的研討人員發現，對抗樣本可以輕易地欺騙GoogLeNet 模子。研討人員制作了兩張熊貓圖片，并在此中一幅的像素層面參加細微干擾作為對抗樣本，對人類肉眼來說，這兩張圖幾乎是一模一樣，而機器學習模子卻以高相信度將對抗樣本誤寶說呢？如果？”裴翔皺了皺眉。讀為長臂猿。類似的情況還有，OpenAI 的研討人員發現其實驗室最新的通用視覺模子可以輕易被欺騙。例如，假如在一顆青蘋果上貼上“ipod”標簽，那該模子有 99.7% 的概率將圖中物體識別成 ipod，而不是青蘋果。

產生對抗威脅的直接緣由是模子與人類處理信息方法的分歧，人類是基于各種可懂得的特征來識別圖片中的內容，如熊貓的黑眼圈、黑耳朵等。而模子的識別方式是基于對年夜規模數據樣本的擬合學習，得出一個可以將一切圖片與標簽相關聯的參數框架，然后再將這種關聯泛化到其他任務中。可是這種關聯本質上源于模子的涌現性，具有不確定性，有時是不成靠的。而由于通用模子作為“中介”和“促能”技術的主要意義，鄙人游的應用中起到了“母體”的感化，模子的細小誤差能夠對下流年夜規模應用帶來影響。

究其最基礎，產生對抗性威脅的深層緣由是模子無法從事實上區分信息的真實性“也不是全都好，醫生說要慢慢養起來，至少要幾年的時間，到時候媽媽的病才算是徹底痊癒了。”，從而產生虛假的、誤導性的或低質量的結果。并且，深度神經網絡架構能夠使每次推理結果都分歧且可解釋性低，這不僅對清楚模子能做什么、為什么這么做及若何做帶來困難，更是為模子的審核與合規帶來了一系列挑戰。“年夜數據+海量參數+年夜算力”晉陞了模子的總體表現，可是似乎私密空間并沒有讓模子做到像人一樣的懂得。這在類似下棋等娛樂場景并不會對人類生涯產生負面影響。可是，對于諸如醫療診斷、刑偵司法、自動駕駛等主要領域，模子效能的涌現性、應用的同質化和可解釋問題能夠帶來潛在風險。

數據層面：隱私平安、偏見、毒性與公正性問題

現階段，通用模子在數據層面的重要倫理風險分 2 類：①訓練樣本中含有的偏見和毒性（toxicity）問題；②數據所觸及的隱私平安問題。

通用模子訓練所用的數據家教量年夜且多為無標注數據，樣本中易存在偏見和毒性問題，能夠對個體或群體帶來歧視和不公，且通用模子的同質化特征能夠會縮小或深化這些問題。偏見可以懂得為一種態度或行為上的傾向，在現實生涯中常表現為對特定人群的區別對待，能夠形成直接或間接的歧視和不公。american國家標準與技術研討院將人工智能偏見分為 3 類：①系統偏見，指由歷史、社會形成的對某些群體的左袒或貶低；②統計偏見，指由于樣本的代表性缺點而導致的統計上的誤差；③人類偏見，指人類決策者思維的系統性錯誤，這種偏見凡是是隱式的、與過往經驗相聯系。毒性或無害言論與偏見類似，但特指粗魯、不尊敬或分歧理的言論，如欺侮、冤仇、臟話、人身攻擊、性騷擾等。從來源上說，偏見和無害語言都是復雜的歷史產物，在人類社會中難以徹底打消；但如不加以留意，人工智能就能夠會拓寬、深化、合并甚至標準化這些問題，或許帶來新的問題。在通用模子的語境下，語料庫和模子輸出的毒性、偏見水平存在明顯相關性。當樣本中某些群體被缺少、不實或過度代表時，模子結果就能夠使部門人群——特別是邊緣群體遭遇不公平的對待，繼承或加深社會刻板印象。例如，OpenAI 在用 ZS CLIP 模子鑒別 10 00教學場地0 張 FairFace 數據庫的圖片時，結果顯示，通用模子對分歧人群（如種族、性別、年齡等）的識別是分歧的，如更不難將男性和 20 歲以下人群視為罪犯，更不難將女性識別為保姆。

隱私平安也是通用模子在數據層面的重要倫理挑戰之一，包含數據泄露、效能僭變（function creep）、偽造、詐騙等具體問題。隱私是數字化世界的重要倫理問題之一。通用模子研發和應用觸及的隱私風險重要來源于原始訓練數據中包括的個人信息和模子強年夜的推理才能。通用模子訓練多采用網絡公開數據（如網頁、論壇、論文、電子書等），此中能夠包括姓名、家庭住址、電話號碼等個人信息，甚至包括生物識別、宗教、醫療、行蹤軌跡等敏感信息，這些信息的泄露不僅違法，且直接損害到個人的尊嚴、人身和財產平安。通用模子的“一損俱損”效應也意味著，假如模子不符合法令或不當應用了隱私數據，下流一切應用都會承擔這種隱私風險。惡意應用者還能夠將泄露信息進一個步驟用于偽造、成分冒用、詐騙等犯警目標，形成效能僭變（即泄露或超越原目標應用）。如近幾年興起的深度偽造技術，據 Sensity 的調查顯示，在公開發布的深偽作品中，96% 都是虛假成人內容，即將網絡圖片分解到情色視頻或圖片上，而受益者絕年夜多數都是女性。

算力層面：可持續發展與全球正義

在全球“雙碳”佈景下，模子在算力層面所產生的動力和環境影響尤為值得重視。為應對氣候危機，2015 年，178 個締約方簽署了《巴黎協定》，將把持氣溫上升作為長期目標，我國也于 2020 年明確了“雙碳”目標。近年來，“軍備競賽式”的通用模子研發所形成的環境問題已經備受矚目。Strubell 等梳理了幾種常用的深度學習語言模子在訓練環節的碳足跡和計算花費。結果顯示，訓練這些模子產生的二氧化碳當量（CO2e）從 0.012—284 噸不等。如在不做超參數調整的情況下，訓教學練一個基于 Be1對1教學rt 的模子所形成的碳排縮小致相當于一次環美飛行所形成的排量；而訓練神經架構搜刮模子所需的計算價格高達約 90 萬—300 萬美元不等。除了訓練環節，模子在應用過程中的環境問題也不容忽視。圖靈獎得主帕特森（David Patterson）等的研討顯示，多數公司在運行深度神經網絡模子時所耗費的動力和算力要多于模子訓練階段。

算力背后的動力和環境問題已經引發關于環境后果和全球正義的討論。一方面，觸及代內正義，因為享用到通用模子方便的往往是發達國家和人群，而被氣候變熱影響最嚴重的國家往往是落后的發展中國家。另一方面，動力耗費和環境淨化也關涉代際正義，即對未來子孫的影響。 

通用模子的中介性

american有名計算機科學家格雷（Jim Gray）指出，傳統上，科學研討的范式重要是實證的、理論的和計算式的，而隨著仿真計算和數據搜集東西的發展，大批的數據被搜集起來，這也促使新的科學范式——數據密集型科學的產生。

預訓練模子本質上也是數據驅動的，數據是模子知識的資料來源，模子的才能來自對大批無標注訓練數據中抽象共現形式（co-occurrence patterns）的學習？ ——公子幫你進屋休息？要不你繼續坐在這裡看風景，你媳婦進來幫你拿披風？”。舉例來說，假如“面包與果醬”在訓練數據中出現的概率很高，那么在運用該模子進行文本天生的時候，假如用戶輸進“面包與”，模子會在提醒欄中顯示“果醬”等其他高頻共現詞。Bender 等將年夜語言模子的這種映射行為稱為“鸚鵡學舌”。這當中包括兩個問題：①通用模子的“鏡像”效應在透過數據表征世界的時候，也會將訓練數據中包括的社會問題不加辨別地體現出來。對于通用模子來說，這種才能的焦點是在海量無標注數據中學習通用的特征表現，提掏出有價值的形式和規律，而不對數據內容加以鑒別，這就意味著，假如訓練數據中與某些詞匯（如“黑人”）相關聯的內容多為負面的或刻“媽，你怎麼了？別哭，別哭。”她連忙上前安慰她，卻讓媽媽把她抱進懷裡，緊緊的抱在懷裡。板印象，則模子輸出的結果就能夠直接體現這些問題，并能夠作為數字記憶將這些內容固化。②由于通用模子的映射行為反應的是訓練數據的內在關聯，而不是周全豐富、動態復雜的生涯世界，選擇哪些數據集、依據什么樣的標準，以及若何界定焦點概念都會對結果產生影響，導致模子結果能夠存在靠得住性問題。以上兩個問題反應出數據驅動的模子能夠存在的問題，即通用模子作為一種“鏡像”能夠無法準確反應世界，還會影響人類對世界的認識。

通用模子的這種“鏡像”可以借用伊德（Don Ihde）的技術哲學來解釋。作為一種技術中介，通用模子可以調節人類認識息爭釋世界的過程。伊德在探討技術在人與世界之間關系時提出小樹屋技術與人的 4 種關系。在具身關系中，人類與技術作為一個整體往經驗世界（如眼鏡），此時技術是人“身體的延長”，即（人-技術）→世界，有助于縮小某些感官意識。具身關系請求技術的知覺通明性，即人類越清楚技術，人與技術融會所能產生的功效越年夜。在詮釋關系中，人類對世界的認識是經過技術東西表征轉換的（如儀表盤），即人→（技術-世界），人們認識的世界是由技術詮釋的，技術是世界的表征。詮釋關系請求技術達到必定的發展水平，以精準反應世界。在它異關系中，強調技術的自立性小樹屋，即當技術具有它者性（如人工智能）、成為認識的客體時，透過技術展現的世界就變成了一種技術的加工物，表述為人→技術-（-世界）。在佈景關系中，技術作為一種技術佈景，成為日常生涯的一部門（如熱氣），而人往往是在技術掉效時才幹意識到它的存在，即人→（技術/世界）。

在通用模子的語境下，伊德的“人-技術-世界”被“人-模子（數據）-世界”所代替。一方面，通用模子在某種水平上可以懂得為數據和部門世界的“鏡像”，擁有表征相關事物復雜邏輯關系的才能，人類透過模子來認識世界。但是，模子的“鏡像”效應也將映射出現實世界中偏見歧視等倫理問題，對公正、不受拘束、人格尊嚴等倫理價值形成挑戰。另一方面，作為“身體的延長”，人類又能夠與模子融會在一路往經驗世界，可是融會的實際功效取決于技術的通明性，在通用模子語境下重要表現為可解釋性問題，便是否可以從人類的角度懂得從輸進到輸出背后的映射邏輯。這關乎人類能否可以信賴模子，包含模子能否靠得住，能否能夠合適具體的法令法規和倫理規范，能否可以用于科學研討等目標，以及能否可以安排到主要的生涯領域，如幫助兒童學習知識，輔助法官判案等。傳統上，鑒定某個人或團體的言論能否靠得住的基礎條件是他們了解本身在說什么，即懂得這些言論的意思和背后映射的價值規范、行為請求和社會影響。可是，深度神經網絡的可解釋教學性和通明性較低，更多的是基于數據和參數的規模效應給出的粗略結果。在某種水平上是用相關性取代了因果性，伴隨而來的就是上述信賴的問題。

綜上，通用模子在反應世界和讓人懂得兩方面還存在一些問題，作為人與世界關系的技術中介，通用模子在幫助人類處理年夜規模下流任務的同時，也帶來了一系列的不舞蹈教室確定性。通用模子的“鏡像”只是對訓練數據的鏡像，而不完整是現實世界的鏡像，且人類還無法完整懂得、信賴模子的預測邏輯，如若想讓模子的中介感化加倍公道，人類必須在環路之中發揮更年夜的感化。 

管理辦法及局限性

通用模子的社會與倫理維度關乎模子未來的技術走向、規則制訂、接收度等一系列問題，屬于通用模子發展的基礎問題。今朝，良多企業及高校都已啟動針對通用模子社會和倫理影響的研討，并制訂系列舉措對模子的研發和應用進行管理。

管理技術：上、下流倫理調節

當前，應對通用模子倫理挑戰的技術可以粗略劃分為下游手腕和下流手腕，重要是通過對上、下流訓練數據進行倫理調節以下降模子“鏡像”效應的潛在負面影響。

下游手腕重要對應模子的預訓練階段。最典範的舉措就是對訓練數據集進行清洗。如，DeepMin TC:9spacepos273