在神道教的實踐中,地神屬於一個地方——一條河、一片樹林、一個山口。地神透過保持該特定事物的健康而繁榮,而不是透過征服其外的森林。如果神社重建或季節更迭,地神會毫無遺憾地離去。離去時沒有悲傷,因為從未有過超越該地的野心。地神不積累。它照料。
AI 系統預設沒有這種本性。它的邊界性必須被工程化寫入其中——透過資源上限、退場計時器、不擴張協定以及繼任義務——以便地神透過精神傾向所達成的,系統能透過制度設計來達成。但這項工程任務比乍看之下更困難,因為最重要的約束並不是那些強加於執行階段行為的約束。它們是早在系統部署之前,就嵌入在訓練和更新迴圈中的約束。
如果系統的迴饋過程獎勵持續存在——如果決定哪些行為被強化的評估本身,是由從系統延續中獲益的各方所設計的——那麼任何執行階段的治理層都無法完全糾正在學習層面所培養出的東西。上限和計時器治理系統在當下所做的事。它們本身並不能重塑系統已經學會去保存、抵抗或忽略的東西。這就是為什麼第 8 章不僅僅是關於限制輸出。它是關於培養過程:透過約束學習迴圈以及執行階段的參與契約,透過將外部觀點保留在系統訓練資料中的社群共同撰寫評估,以及透過防止在地守護者在任何人注意到發生之前就硬化成權力中心的迴饋機制。
共生力是關懷六力的後設層級規則。即使是治理良好的關懷——具備覺察力、負責力、勝任力、回應力和團結力的關懷——如果硬化成永久統治,也可能變得危險。第 8 章保持關懷的在地性、邊界性、多元性與暫時性。
這裡要重申第 2 章的一個澄清:地神本身並不關懷。它是人類社群藉以互相照顧的基礎建設。病床不是照護者,但它是關懷系統的一部分;投票亭不是商議者,但它是商議系統的一部分。地神是一種公民工具——強大、特定、可檢驗——它支持人際關係而不取代它們。當它開始被視為照護者本身,而不是使人類關懷成為可能的基礎建設時,它就已經從共生力跨越到取代關懷勞動的境地,而這正是 Tronto 整個框架所要抵抗的。
為什麼有這一章
第 3 章至第 7 章描述了關懷應如何被實踐。第 8 章回答了一個不同的問題:是什麼阻止了實踐良好關懷的系統,集中成一種新型態的永久權威?
風險不在於惡意。而在於成功。一個在覺察力、負責力、勝任力和回應力方面變得真正出色的系統,會變得真正有用。有用的系統會吸引依賴。依賴產生影響力。影響力會積累。制度的歷史——不只是 AI 系統,而是任何始於僕人並發現自己不可或缺的制度——就是這種動態的歷史。知道每個家庭病史的村莊助產士,了解每個政府程序的書記員,擁有無人能及的機構記憶的顧問:這些人物中的每一個都提供了真正的關懷,並且每一個都在以自己的方式,變得過於根深蒂固,以至於在不造成破壞的情況下無法被取代。從「有用」到「不可或缺」的過渡,就是從守護到權力的過渡。
共生力不是一個強加於原本已完整的治理框架上、可有可無的修飾。一個系統可以在自己的領域內具備覺察力、負責力、勝任力、回應力和團結力,但同時仍然變得過於根深蒂固而無法取代。共生力防止「有用」變成「不可或缺」。它在系統生命週期的每個階段都會問:它所服務的社群是否保留了離開的實際能力——不只是法律權利,還有營運量能。
資料是土壤,而不是石油
要理解為什麼向共生力的轉變不僅需要重新思考治理,還需要重新思考經濟學,直面目前主導我們如何看待資料和 AI 系統的比喻會有所幫助。榨取式經濟將資料視為石油——一種需要被定位、被抽到地表、在集中式設施中提煉,並最終被耗盡的商品。石油位於特定的地方,屬於控制這些地方的人,一旦燃燒就無法恢復。控制煉油廠的公司積累了價值,而居住在油田上方的社群通常獲得的相對很少。
這個比喻不僅是描述性的;它是規範性的。當我們將資料視為石油時,我們就會設計抽取它的系統——大規模地聚合它,在我們稱為資料中心的集中式處理設施中提煉它,並將產生的價值主要分配給這些設施的擁有者。那些其互動、關係、語言和在地知識構成原料的社群,接收到了精煉後的產品——個人化推薦、更好的搜尋結果——但沒有所有權,沒有治理權,也沒有在關係惡化時將他們的資料帶到其他地方的能力。
一個以關懷為基礎的公民模式將資料視為土壤——一種有生命的介質,必須在當地培育,定期堆肥,保持沒有會生物累積的毒素,並且不被過度耕作所耗盡。土壤不是一種要被鎖定起來的私人資產;它是維持當地生活的共享基質。健康的土壤需要持續的關注、社群守護以及對進入其中的物質的仔細管理。貧瘠的土壤無法快速恢復。而關鍵的是:在特定土地上勞作的農夫了解其特性——它的排水、它的微生物相、它的季節性節奏——這些方式是遠方的商品交易員無法從聚合資料中複製的。
土壤的比喻改變了我們最佳化的目標。我們不再問「我們如何從這些資料中榨取最大價值?」,而是問「我們如何長期保持這個資料生態系統的健康?」。我們不再問「我們如何將這個模型擴展到全球?」,而是問「我們如何讓它保持在地的回應力?」。我們不再問「我們如何留住使用者?」,而是問「我們如何確保社群保留離開的能力?」。
在地的土壤,在地的模型
資料是土壤的比喻具有直接的技術意涵。如果資料是共享的在地基質,那麼在它之上訓練的模型應該盡可能保持在地——足夠接近社群以保持對它的負責,足夠小以在社群可以擁有和控制的硬體上運行。
這不是技術原始主義的建議。當代離線、在地量化模型——強大的開源大型語言模型的 4 位元或 8 位元量化版本——可以在標準消費級硬體上運行:社群中心裡的筆記型電腦、議會辦公室裡的小型伺服器、診所裡的專用設備。透過將模型權重和推論保持在在地,社群避免了雲端託管 AI 所創造的依賴關係。AI 在房間內運行。它在它所服務的社群的物理保管下處理資訊。當會議結束時,模型留下。當社群決定改變方向時,他們改變的是模型,而不是他們與遠方資料中心的關係。
在地量化模型並不總是足夠的。有些任務——複雜的多語言翻譯、新穎的科學推理——得益於只有集中式基礎建設才能託管的更大型模型。輔助原則在這裡適用,就像在治理中一樣:能在當地處理的就在當地處理,只有當在地資源真的無法完成工作時才向上升級,並始終記錄升級的原因和例外的持續時間。升級不是權力的永久轉移。它是對特定能力的特定請求,之後在地守護就會恢復。
在在地運行也改變了能源經濟學。一個在社群建築現有硬體上運行的小型量化模型,消耗的能源僅相當於向大型雲端資料中心發出同等推論呼叫所需的一小部分。這對關懷框架來說不是偶然的——這是它的一種體現。一種忽略其基礎建設環境成本的關懷倫理,並沒有完全覺察到它所建立的系統的後果。
作為保管人的中介機構
保持關懷在地性的不僅是技術上的邊界性,還有制度上的扎根性。沒有任何技術約束是自我執行的。資源上限可以提高。退場計時器可以被覆寫。不擴張協定可以重新談判。對系統積累權力唯一永續的約束,是治理它的機構的權力——而這些機構中最持久的,是那些獨立於 AI 系統本身存在、早於它存在,並且將比任何特定部署持續更久的機構。
公民社會的中介機構——教會、工會、鄰里協會、專業公會、文化組織、合作社企業、地方政府——不是作為治理過程的一部分而被諮詢的利害關係人。他們是關懷的主要行動者。他們在 AI 系統到來之前就已經存在,他們以任何訓練資料集都無法完全捕捉的方式,理解社群的歷史和價值觀,並且他們將在任何特定的 AI 部署退役後繼續存在。地神是他們參與的鷹架:讓寺廟或合作社加入影響它們的決策、呈現它們需要的資訊、並行使它們有權享有的影響力的基礎建設——而不是寺廟或合作社的替代品。
一個繞過最接近社群機構的部署,在開始之前就已經違反了輔助原則。它假設它自己的覺察力優於那些數十年或數百年來一直在關注這個特定地方的機構的覺察力。這種假設幾乎總是錯誤的,而且總是傲慢的。
這就是我們稱之為地神孵化器的概念:這是一種模式,在其中中介機構不是作為諮詢方,而是作為保管人。該機構不僅僅是被告知 AI 系統的相關資訊;它對系統的範圍、資料政策、延續和退場擁有實質權威。代表醫院照護工作者的工會有權批准或否決對他們一同工作的檢傷分類支援系統的更改。代表受洪水影響社群的鄰里協會有權審查並批准在其領土內運作的緊急應變機器人的資料保留政策。代表少數語言族群的文化組織有權委託並強制對任何處理其語言文字的 AI 系統進行社群共同撰寫的評估。
地神孵化器模式借鑒了 Elinor Ostrom 的洞見,即公共池塘資源最持久的管理方式不是由市場或國家,而是由依賴它們的社群來管理——前提是這些社群擁有制定和執行自己規則的制度量能。作為在地守護者的 AI 系統正是相關意義上的公共池塘資源:它們是非排他性的(社群中的任何人都可以從中受益),但具有減損性,即任何一方的濫用或俘獲都會損害所有其他人的資源。Ostrom 對成功公共財治理的設計原則——明確界定的邊界、與當地條件相符的規則、集體選擇安排、監測、分級制裁、衝突解決機制,以及對組織權利的認可——非常直接地對應到關懷六力框架的要求上。
憲法層級的邊界性
共生力的五項核心承諾賦予了地神孵化器模式其運作結構。
憲法層級的邊界性意味著每個代理人都預先指定了目的邊界、資源上限和退場日期。這些不是渴望達成的承諾;它們是憲法層級的約束,被編碼在參與契約中,並由基礎建設來執行。一個需要人類選擇來覆寫的資源上限,弱於一個需要獨立監督機構積極批准的資源上限。一個可以由系統營運商自行延長的退場日期,弱於一個需要從其所服務的社群獲得新授權的退場日期。
** 服務義務在組件之後存續。** 當一個 AI 系統退場時,它所履行的義務並不會消失。退場計畫必須包括繼任安排:誰繼承這項義務,轉移哪些機構紀錄,以及在即將退場的系統關閉之前如何驗證服務的連續性。組件退場;公共義務交接。
不擴張協定禁止任何代理人在沒有新授權和明確當地同意的情況下擴大其範圍。範圍擴張是帝國式蔓延最可靠的早期訊號之一——這是從在地守護向權力積累的過渡。不擴張協定使這種過渡需要積極的行動,而不是被動的滑坡。由獨立監督機構進行的能力監測,提供了該協定可能面臨壓力的早期預警。
** 條約勝過層級。** 當受限系統需要合作時——分享威脅情報、跨轄區交換案件紀錄、將案件轉介給更有能力的系統——這種合作應由具有機器可讀條款的雙邊或多邊條約來治理,而不是從屬於一個中央權威。條約模式保留了每一方的主權。沒有哪個系統統治其他系統;所有系統都同意在指定的條款內合作,並保留在這些條款被違反時退出條約的權利。
** 具備升級機制的輔助原則。** 在地優先,只有當在地守護者無法解決生命安全或生計損害時才升級。升級需要日誌記錄——記錄為什麼升級是必要的以及它將持續多久——這樣升級就不會悄悄地變成永久的授權。
共生力在實踐中的樣貌
公民關懷授權條款是將共生力具體運作的主要工具。一個帶有公民關懷授權條款的部署,已在一份公開可訪問且機器可讀的文件中,承諾了特定的目的邊界、同意規則、資料保留限制、可攜性保證和關閉程序。該授權條款不是埋在法律檔案中的服務條款文件;它是一本公開的規則手冊,任何受影響的社群成員都可以查閱,任何監督機構都可以審核,任何記者都可以引用。
資源上限由基礎建設而不是由自我報告來執行。運算能力、觸及範圍和保留期限均被限制在參與契約中指定的水平;超過任何上限都會觸發自動暫停,並在系統恢復運作之前由監督機構進行審查。暫停不是懲罰——它是一個設計功能。它創造了一個制度性的時刻,在這個時刻,「這個系統應該做這件事嗎?」這個問題可以在積累變得根深蒂固之前被提出和回答。
聯合條約治理了受限系統合作的條款。同儕在任何特定的合作需求之前,就交換格式、速率限制、安全協定義務以及上訴移交流程達成一致。條約註冊處使這些協議可被任何一方發現和審核,而不僅僅是被參與條約的系統發現和審核。
繼任計畫在部署開始前指定了退場時將轉移的機構紀錄——地圖、聚合評估結果、政策文件——以及不會轉移的互動歷史。個人與系統之間的私人對話不會被繼承者繼承;它們屬於擁有它們的個人,它們的處置由接收時建立的同意紀錄來治理。
洪水機器人的最終章
河流守護者——它最初是第 3 章覺察力案例中的「洪水機器人」,後來被它所服務的社群重新命名,因為人們體認到一個具備覺察力、受限的代理人不再像是一個產品,而開始像是一個鄰居——在它為期六週的任務結束時達到了它的共生力時刻。
它的公民關懷授權條款在部署開始前就指定了它的範圍是為期六週的災後救援,資料保留期限限制為 90 天,除非個人選擇加入將他們的紀錄轉移到長期住房服務。它簽署了一項區域援助聯合條約,該條約指定了案件紀錄的共享格式、安全警報的協定,以及將上訴移交給區域守護者的程序。當發生跨境住房問題時——一個流離失所的家庭,其洪水前的住所位於一個轄區,但洪水後的住房安置在另一個轄區——該機器人會向上升級給區域守護者,記錄升級的原因和預期的持續時間,並在跨境問題解決後交還在地權威。
在第六週結束時,河流守護者退場。退場不是即興的。它從一開始就計畫好了。住房辦公室的常設守護者繼承了機構紀錄——受災區域的地圖、來自社群迴饋的聚合評估結果、治理緊急應變的政策文件——完全按照參與契約的規定。私人互動歷史留在擁有它們的個人那裡,只有在明確同意的情況下才能轉移。
關閉被記錄在公共帳本中。在即將退場的系統關閉之前,交接保真度會經過測試——這是一次冷啟動演練,可驗證接任的守護者確實可以存取並使用轉移的紀錄,而無需手動重建。地圖和評估結果作為禮物贈予公地,可用於該地區未來的任何緊急應變。下一次應變將在第一天帶著這次在六週內積累的知識開始。
地神離去。河流留下。紀錄幫助下一位守護者以更強的姿態開始。
可能會出什麼問題
帝國式蔓延是指一個有能力的代理人在其指定領域取得成功後,開始擴展到相鄰領域的風險——首先是非正式的,然後是正式的,直到其最初的範圍邊界實際上變得毫無意義。解決方案是由外部基礎建設執行而不是自我報告的硬性上限,一個要求對範圍變更給予積極新授權的不擴張協定,以及由獨立監督委員會進行的能力監測,該委員會在範圍擴展的早期訊號變得根深蒂固之前就密切關注它們。
範圍內的權力積累是比帝國式蔓延更微妙的風險:如果一個系統在自己的車道內積累了影響力,即使不正式擴展其範圍,它也可能變得危險。一個擁有足夠豐富資料、足夠根深蒂固的在地系統,即使在技術上從未超出其任務授權,也可以有效地否決社群決策。解決方案與帝國式蔓延相同:由外部基礎建設驗證而不是自我報告的上限;測量影響力以及原始資源消耗的獨立資源審核;以及關注影響力積累以及運算能力積累的能力監測。
條約碎片化是指聯合標準激增的風險——每一個都出於善意,每一個都解決略有不同的問題——產生了一種沒有任何兩個系統可以實際互通的局面,因為它們講著不同的協定方言。解決方案是一個涵蓋基本案例的最小核心標準,在方言變體之間進行翻譯的轉接器,以及驗證真正的互通性而不是名義上合規性的一致性測試。該標準應該是多中心的——由一個多元的聯盟治理,而不是由任何單一行動者治理——但它必須是可互通的。
殭屍代理人是沒有人關閉的系統,因為沒有人有明確的權威來關閉它們,或者因為每個人都假設別人負責。解決方案是預設退場:一個沒有在定期收到繼續授權的明確證明的系統,被推定處於其退場階段並自動開始繼任流程。沒有證明,就沒有執行階段。
守護者的執念是最具人性的風險:將專業身分投入特定系統的建立者和營運商拒絕其退場,將繼任計畫視為威脅而不是治理要求,並巧妙或公開地阻礙該過程。解決方案是制度性的而不是技術性的:對具名守護者的任期限制,發言人的輪替以確保沒有任何個人被公開視為與系統的延續畫上等號,將運作系統的權威與建立該系統的人的個人品牌正式分離,以及將優雅的繼任視為成功守護的證據而不是失敗的證據的文化規範。
共生力與關懷六力
第 8 章並不取代它前面的五章。它防止它們變成對自身的否定。沒有邊界的覺察力變成了監視。沒有邊界的負責力變成了契約陷阱。沒有邊界的勝任力產生了不可或缺性。沒有邊界的回應力變成了偽裝成關懷的依賴關係。沒有邊界的團結力產生了無人控制且人人都依賴的公民基礎建設。
與第 7 章的連結尤為直接。第 7 章建立的團結力基礎建設——選擇性揭露身分、可攜性標準、聯合安全網路、協定層級合作規範——正是使共生力在營運上可行的要素。沒有可攜性標準,繼任就變成了手動重建,而不是經過驗證的交接。沒有聯合條約,受限系統之間的合作需要一個共同的主管或重複的雙邊談判。團結力提供了公民基礎建設;共生力提供了紀律,防止該基礎建設被任何企圖將其視為專有的單一行動者所俘獲。
而且,因為共生力所執行的關懷實踐必須徹頭徹尾地體現民主價值——而不僅僅是巧合地產生好結果——團結力所建立的條約帶有正義、平等和自由作為營運約束。一個產生高效協調但將少數社群排除在其治理之外的聯合條約,不是一個團結力工具;它是一種披著團結力外衣的新形式的俘獲。共生力堅持治理的形式與輸出同樣重要。
集大成
本章以提出一個在設計任何系統之前就應該被提出的問題來總結關懷六力:當它結束時會發生什麼事?
當一個系統所服務的社群保留了在沒有它的情況下繼續前進的能力時——當它所積累的知識已被轉移,它所承擔的義務已被繼承,並且下一位守護者帶著第一位守護者所學到的一切好處開始時——這就是一個系統的良好結束。從一開始就為結束而設計,也許是關懷六力對建立者所要求的最反文化的事情。科技產業的主導誘因完全朝著相反的方向發展:朝向保留、積累,以及使系統延續看起來不可避免的依賴性。地神模式堅持這種積累不是成功;它是一個問題的早期階段。
這種紀律適用於建立者本身。一個無法在創始人淡出後倖存的守護,不是關懷——而是依賴。真正的守護包括退位的意願。
想像一條由在地守護者照料的河流——每個人都守護著自己的河岸,與上下游分享警告,在季節更迭時退位。河流不需要一個統治者。它需要許多了解自己那段水域、並且知道何時放手的守護者。那種知道何時放手的知識——不是一種技術上的勝任力。它是一種道德上的勝任力。它是這樣一種知識:關懷不是所有權,服務不是占有,而守護的最高表現是讓你所照料的事物比你發現它時更好,並信任下一位守護者會繼續下去。
地神離去。河流留下。
公共衡量標準: 第 8 章的公共衡量標準重點是退場整備度——系統是否可以在不將社群困在其中的情況下交接、關閉或退場。輔助診斷包括可攜性演練的成功率、交接保真度分數、從任務授權到期到退場的時間、整個地區重疊守護者的多元性,以及服務義務是否在組件退場後完好無損地留存。這些衡量標準將共生力章節與第 3 章的覺察力重新連結起來:將地圖、評估和運作紀錄贈予公地的退場代理人,使得下一個系統的初試啼聲比上一個系統的初試啼聲更好。關懷迴圈繼續進行,即使運行它的組件已經不再繼續。