
一座橋要能承受負荷才算堪用:卡車駛過、風吹來、檢查員檢查螺栓時,都依然撐得住。¶ 1(第 1 段的永久連結)
在《關懷民主》(Caring Democracy,2013,頁 35)中,Joan Tronto 堅持:「承擔責任和實際執行關懷工作是兩回事。」勝任力關乎執行:兌現承諾的可運作程式碼,經過稽核、可解釋且安全試錯。部署控制(軌跡、沙箱、金絲雀)讓失敗可被檢查。¶ 2(第 2 段的永久連結)
而且至關重要的是,Tronto 接著說(頁 35):「勝任地關懷,就其關懷責任而言,不僅僅是技術問題,更是道德問題。」Aimee van Wynsberghe 後來把 Tronto 的框架帶進了機器人設計。一個出於好意卻提供有缺失的關懷的系統,是道德上的失敗,也是技術上的失敗。承諾已經許下;橋卻沒能撐住。¶ 3(第 3 段的永久連結)
插圖的框架:我們檢核流程:用透明度和快速的營運回饋,檢查關懷到底有沒有送到,不靠「相信我們就對了」。在仁工智慧(Civic AI)裡,信任靠攤在眼前、可以檢驗的做法,一點一滴掙來。這正是 Onora O’Neill 所說的可信賴性,光有透明,產生不了它。¶ 4(第 4 段的永久連結)
從身邊開始
對任何在你的房間裡做事的 AI,問一句:「我們查得出它做了什麼嗎?能在更多傷害發生前讓它停下來嗎?」和那些真要按下暫停的人一起演練暫停;在讓系統接下更多工作之前,先讀一遍它的行動紀錄。¶ 5(第 5 段的永久連結)
定義
- 安全是實踐的屬性。 勝任力要在運作中證明。¶ 6(第 6 段的永久連結)
- 推廣前先證明:學徒模式。 新功能像學徒一樣循序出師:影子模式 → 金絲雀發布 → 帶有防護措施的全面發布。¶ 7(第 7 段的永久連結)
- 可觀察性勝於不透明性。 透過決策軌跡、來源引用、不確定性分數,以及繫於決策的可解釋摘要「把計算過程寫出來」。(這裡的可觀察性,指軌跡可供檢驗:記錄查閱了什麼、套用了哪條政策規則(若有),以及回報了多少不確定性。軌跡能幫助人們稽核一項行動,但本身並不揭示模型內部的推理。查閱權限必須保護私人互動。)¶ 8(第 8 段的永久連結)
- 最小權能。 使用能完成工作的最簡單機制。這是 Tim Berners-Lee 為全球資訊網訂下的原則,用於關懷。每多一個元件,就多一處可能讓失敗、混淆或攻擊進入的地方。¶ 9(第 9 段的永久連結)
- 安全地失敗。 當證據薄弱或元件發生漂移(行為偏離預期)時,系統應縮小範圍、交由人工接手,或暫停。¶ 10(第 10 段的永久連結)
為何重要
勝任力之所以重要,是因為公開承諾若沒有可見、可測、可逆的執行,就會落空。Pack 2 把承諾定下來;Pack 3 問的是系統是否真的兌現了。在仁工智慧裡,人們應能在系統運作中檢查安全,不必靠相信供應商的意圖。¶ 11(第 11 段的永久連結)
慢慢訂下的限制,讓快速的執行可被問責。參與契約、紅線、嚴重性分級與暫停觸發條件(Pack 2)要慢慢訂,因為這些決定必須長久有效。在這些界限之內,地神可以在預先承諾的煞車、影子模式、金絲雀與可逆預設之下,以機器的速度行動。讓快速決定可被問責的護欄需要審議;個別決定大多不需要。¶ 12(第 12 段的永久連結)
學徒模式
這種分階段養成勝任力的模式,有名字,也有傳承:學徒。臺中的一位老師傅,光聽主軸的聲音就知道刀具是不是快要顫振;病房的護理師在凌晨三點,聽得出病人平常的鼾聲,與必須叫醒醫師的呼吸停頓之間的差別。這就是內隱知識——Michael Polanyi 在《內隱向度》(The Tacit Dimension)中用這個詞指稱我們知道、卻無法完全言傳的事。¶ 13(第 13 段的永久連結)
當這段關係出錯時,失敗很具體:供應商在示範時開啟了「自主進給最佳化」。副駕駛不再等待老師傅接受建議,而是因為實驗室裡的基準圖表好看,就自行調整主軸轉速和切削深度。前幾分鐘,紙面上的切削數據更漂亮。接著聲音變了。老師傅伸手要放慢進給,卻發現自己的覆寫不再是預設路徑:系統辯解、延遲,或把她的輸入當成例外。學徒不再為她的決定提供資訊,而是在指揮培育者。¶ 14(第 14 段的永久連結)
十多年前,van Wynsberghe 就為病房裡的搬移機器人畫出了這條線:「賦能型」機器人與照顧者共同承擔實踐,使責任「成為人類照顧者與機器人之間的混合事件」;「取代型」機器人接手整項實踐,依 Tronto 的標準「不符合好照顧者的要求」(2013,頁 423、427–428)。¶ 15(第 15 段的永久連結)
學徒正是刻意設計成賦能型系統,而供應商的「自主進給最佳化」,就是它被悄悄改列為取代型的那一刻。Lisanne Bainbridge 早在 1983 年就指出這個陷阱:自動化失靈時被要求接手的操作者,正是被自動化削弱技能的人——自動化的反諷。¶ 16(第 16 段的永久連結)
仁工智慧進入這些場域時,是一名數位學徒。它先在影子模式中觀察、記錄決策軌跡,學會這間工坊、這個病房、這個社群的內隱知識,然後才被信任去提出建議,更不用說採取行動。這個系譜比聊天機器人更古老:J. C. R. Licklider 的人機共生(1960)與 Douglas Engelbart 的增強人類智力(1962),都把人留在方向盤前。¶ 17(第 17 段的永久連結)
而在這裡,培育者手上始終握著三樣東西:方向盤(執行始終由人指揮)、煞車(一個醒目的控制,能立刻停下機器,線路直連、定期測試),以及維修手冊(可追溯哪些規則被觸發、哪些輸入引導了輸出,以及模型故障時由誰修復)。三者合起來,就是 Santoni de Sio 與 van den Hoven 所稱有意義的人類控制的追蹤與溯源條件。可攜性與退出權屬於 Pack 5 的團結力工作。此處的測試是,在任何契約條款生效以前,可檢查性與覆寫權是否真的在房間裡管用。¶ 18(第 18 段的永久連結)
實作上長什麼樣子
- 分級發布:學徒模式。 新政策像學徒一樣養成:先在影子模式下運行,然後拿一小批分層的真實案例切片進行金絲雀發布,最後才帶著已備妥的回滾機制全面發布。¶ 19(第 19 段的永久連結)
- 決策軌跡。 每個拒絕、推薦或上報都留有軌跡:哪條規則、哪些來源、不確定性分數,以及收據連結。¶ 20(第 20 段的永久連結)
- 防護網即程式碼。 權利和紅線表達為機器可檢查的規則(模糊時預設拒絕)。¶ 21(第 21 段的永久連結)
- 安全即關懷義務。 安全屬於勝任力,因為有能力的智慧體會透過它取得的權限傷人。當仁工智慧系統能讀取檔案、改動紀錄,或代表某人行動時,過寬的權限就是在花用被關懷者的信任,卻沒有回來詢問。
- 最小權限、嚴格沙盒、已驗證的輸入,以及經測試的出口控制,定義了學徒可以碰觸什麼、一道混淆指令能傳多遠,以及誰能在入侵變成關懷失敗之前停下它。¶ 23(第 23 段的永久連結)
- 可運作的後備方案。 當信心下降或依賴元件失效時,系統會在承諾的時間內採用可逆預設、交由人工接手,或暫停。¶ 24(第 24 段的永久連結)
- 資料最小化。 交接後每多保留一個不必要欄位,就多創造一項必須守護的安全承諾;若系統對這筆資料沒有關懷目的,勝任力意味著不收集它,或放手讓它離開。¶ 25(第 25 段的永久連結)
- 可重現建置。 設定檔已版本化;一鍵重播即可重現結果。¶ 26(第 26 段的永久連結)
從理念到實踐
- 從契約推導規格。 將 Pack 2 參與契約轉化為驗收測試。¶ 27(第 27 段的永久連結)
- 建立可供查驗的監測機制。 發出附有來源和收據連結(來自 Pack 1)的決策軌跡。¶ 28(第 28 段的永久連結)
- 運行影子模式。 新政策接收輸入、提出行動建議,但不實際執行;再與人類或既有系統的決策比對。影子模式,就是學徒站在培育者肩後觀摩。¶ 29(第 29 段的永久連結)
- 安全進行金絲雀發布。 發布給一小批分層的真實案例切片,如果漂移超出限制則自動回滾。金絲雀是探測,不是公眾的替身。¶ 30(第 30 段的永久連結)
- 全面發布前稽核。 評測、日誌和防護措施的獨立稽核;公布經證明的報告,並附上經驗證的執行率:被抽查的決策中,通過護欄且具備可用軌跡的比例。¶ 31(第 31 段的永久連結)
- 全面發布並監控。 向所有使用者開放;持續監看漂移;預留隨時可暫停的機制。¶ 32(第 32 段的永久連結)
- 事件後學習。 不究責審查;修復變成測試。¶ 33(第 33 段的永久連結)
可建置的工具
- 影子/金絲雀編排器附回滾開關。¶ 34(第 34 段的永久連結)
- 決策軌跡綱要。 輸入、觸發的規則、來源、不確定性。¶ 35(第 35 段的永久連結)
- 防護措施引擎。 權利/同意的政策即程式碼。¶ 36(第 36 段的永久連結)
- 漂移監控器。 資料、性能、公平性。¶ 37(第 37 段的永久連結)
- 共享評測登錄庫。 版本化測試、來源追溯與在地化測試套件。這正是接收 Pack 4 社群撰寫評測的同一座公共登錄庫,那些評測在這裡成為發布關卡。¶ 38(第 38 段的永久連結)
- 重播工具。 一鍵重跑稽核、事件調查與申訴所需流程。¶ 39(第 39 段的永久連結)
- 後備路由器。 依信心門檻觸發人工接手或暫停。¶ 40(第 40 段的永久連結)
一個案例:洪水機器人
這是一個虛構的複合案例,用來說明,不是實際運作的證據。一週影子期、10% 試行與 15% 回滾觸發值,都是這個虛構示例的教學數字,不是經驗證的門檻或建議預設值。¶ 41(第 41 段的永久連結)
- 影子 → 金絲雀。 新的「居住證明豁免」在影子模式下運行一週;然後拿生計索賠中分層抽出的 10% 切片進行金絲雀發布,並確保人口組成與地域分布的平衡;回滾界限:申訴 >15%。這項豁免取代的,是負責力(Pack 2)中回滾的「30 天證明」規則。¶ 42(第 42 段的永久連結)
- 可觀察性。 每個拒絕都留有軌跡:哪條規則、哪些來源、不確定性分數,以及索賠人的收據連結。¶ 43(第 43 段的永久連結)
- 安全後備。 當上傳文件無法辨識或信心下降時,機器人會採用可逆的預設,並把案件轉給人工承辦。¶ 44(第 44 段的永久連結)
可能出錯的地方
- 不安全的自信。 系統在證據薄弱時仍然採取行動。解方:信心門檻、後備路由,以及遇到歧義即暫停。¶ 45(第 45 段的永久連結)
- 資料洩漏。 評估資訊洩漏進了訓練或模型選擇。評測看起來很好;現實失敗。解方:留作測試的資料集、隨機抽查、帶回滾的即時 A/B。¶ 46(第 46 段的永久連結)
- 不透明的「黑盒子」。 「相信我們」的解釋。解方:可追蹤的摘要 + 公開範例;稽核員可以重建決策。¶ 47(第 47 段的永久連結)
- 金絲雀偏差。 金絲雀切片不具代表性。解方:分層抽樣;公布金絲雀人口統計。只在簡單案例上證明表現的金絲雀,是一場儀式。¶ 48(第 48 段的永久連結)
- 安全漂移。 系統擴充時,權限悄悄跟著擴張,讓原本恰如其分的最小權限足跡變成攻擊面。解方:定期權限稽核;把權限範圍的蔓延視為關懷的失敗。¶ 49(第 49 段的永久連結)
- 移植來的證明。 來自有利土壤(臺灣、加州、日本,以及公民基礎設施異常強的地方)的證據常被當成會隨軟體一起轉移;機制可能轉移,制度條件不會自動轉移。解方:把具名案例視為機制的證明;勝任力要在每個新場域重新掙得(新的影子模式、分層在地金絲雀、通過的社群評測),之後才能全面發布。¶ 50(第 50 段的永久連結)
介接
- 來自覺察力(Pack 1): 高謹慎區域先成為小型試錯,在信任交付之前就設計成能安全失敗。¶ 51(第 51 段的永久連結)
- 來自負責力(Pack 2): 規格、SLA、煞車。¶ 52(第 52 段的永久連結)
- 對回應力(Pack 4): 勝任力交付;回應力檢核是否有效。事件循環和評測結果提供給 Pack 4。¶ 53(第 53 段的永久連結)
- 對團結力(Pack 5): 可靠、監測機制完善的系統,會讓合作與公開稽核更具可信度。¶ 54(第 54 段的永久連結)
- 對共生力(Pack 6): 勝任力證明智慧體準備好留在當地。¶ 55(第 55 段的永久連結)
收尾意象:掛著檢查標籤的橋
想像一座維護良好的橋樑,上面掛著檢查標籤——日期、載重測試、下次檢查——任何過橋的人都看得到。勝任力是有人檢查過、而且會再檢查的證明。部署的各個階段,就是檢查時程;決策軌跡,就是檢查紀錄;無責備的事後審查,就是發現問題時提交的報告。¶ 56(第 56 段的永久連結)
相關文獻
- Tronto,《Caring Democracy》(2013),頁 35——上述引文;《Moral Boundaries》(1993),頁 127–137——勝任力作為道德要素;van Wynsberghe,〈Designing Robots for Care〉(2013),頁 423、427–428——賦能型與取代型。¶ 57(第 57 段的永久連結)
- Polanyi,《The Tacit Dimension》(1966);Lave 與 Wenger,《Situated Learning》(1991)——內隱知識與學徒制。¶ 58(第 58 段的永久連結)
- Licklider,〈Man-Computer Symbiosis〉(1960);Engelbart,〈Augmenting Human Intellect〉(1962)——副駕駛的系譜。¶ 59(第 59 段的永久連結)
- Bainbridge,〈Ironies of Automation〉(1983);Santoni de Sio 與 van den Hoven,〈Meaningful Human Control〉(2018)——為什麼煞車與手冊是有意義的人類控制的條件。¶ 60(第 60 段的永久連結)
- Berners-Lee 與 Mendelsohn,〈The Rule of Least Power〉(2006);Saltzer 與 Schroeder,〈The Protection of Information in Computer Systems〉(1975)——最小權能與最小權限。¶ 61(第 61 段的永久連結)
- O’Neill,《A Question of Trust》(2002)——可信賴性,以及透明的限度。¶ 62(第 62 段的永久連結)
- Kaufman、Rosset 與 Perlich,〈Leakage in Data Mining〉(2011);Allspaw,〈Blameless PostMortems〉(2012);Lunney 與 Lueder,〈Postmortem Culture〉(2016);Fowler,〈Circuit Breaker〉(2014)——此處借用的工程實務。¶ 63(第 63 段的永久連結)
- 完整足跡見〈文獻與延伸閱讀〉。¶ 64(第 64 段的永久連結)
