
診所公布營業時間;病人到達時門卻鎖著。有回應力的診所會道歉、公布原因、更新營業時間,並在下次以簡訊通知人們。修復成為系統的一部分。¶ 1(第 1 段的永久連結)
勝任的行動會創造新資訊。被服務的人,或被辜負的人,如今對這套系統有了它自己尚未察覺的認識。拒絕接受這份知識,最容易讓同樣的失敗一再重演。¶ 2(第 2 段的永久連結)
在《關懷民主》(Caring Democracy)中,Joan Tronto 將回應力描述為:「觀察回應,並對其做出判斷(例如,所給予的關懷是否足夠、成功或完整?)」她還補上一個容易被忽略的提醒:接受關懷的人不必親自回應,關懷情境中的其他人也可以做出評估。最有資格判斷關懷是否奏效的,往往是與其影響朝夕相處的人。¶ 3(第 3 段的永久連結)
十年前,Aimee van Wynsberghe 就從設計的角度詮釋了同一項要素:回應力是「鼓勵被照顧者採取主動姿態,而非更被動、更脆弱的姿態」的那項要素(2013,頁 418)。仁工智慧的公開問題其實很簡單:當系統傷害了人,誰能提出異議、要多久才會得到回應,而且因為他開了口,到底改變了什麼?¶ 4(第 4 段的永久連結)
從身邊開始
想像你對一個機構說:「我說過這件事錯了。誰能改?什麼時候會回覆我?」要讓人找得到能重新審查案件的人,並且一路追到修復完成。¶ 5(第 5 段的永久連結)
定義
- 最接近損害的人定義損害。 他們握有評測的執筆權,並且對修復是否算數有真正的發言權。¶ 6(第 6 段的永久連結)
- 回覆權必須能改變事情。 無法引起修正、回滾或補償的回覆,只是作秀。(回覆就是 Albert Hirschman 所說的發聲;第五力的可攜性則是他所說的退出,而兩者都只有在另一者真實存在時,才能約束機構。)¶ 7(第 7 段的永久連結)
- 共享記憶很重要。 事件後的學習要變成測試;測試才能防止重複。¶ 8(第 8 段的永久連結)
- 時間是服務的一部分。 快速的先錯後改,勝過漫長等待的「也許」。可逆預設很重要。¶ 9(第 9 段的永久連結)
- 關懷勞動就是勞動。 評測編寫、申訴處理、審議引導與內容審核都應獲得報酬,並被清楚看見。參與式 AI 的研究早已點出這個陷阱:除非工作獲得報酬、參與者握有筆桿,否則參與不是設計上的萬靈丹(Birhane 等人,2022)。¶ 10(第 10 段的永久連結)
為什麼重要
Pack 3 檢查流程是否依承諾運作;Pack 4 檢查關懷是否真的落地。所以回應力從社群的判斷開始。¶ 11(第 11 段的永久連結)
彙總的滿意度分數,或任何單一數字,都取代不了身處現場才有的知識。問卷能偵測情緒的大幅變動,卻在結構上看不見夜班護理師或社群成員在系統邊緣察覺到的事。數量重要,握有權力回應這些觀察的人也同樣重要。¶ 12(第 12 段的永久連結)
社群撰寫的評測、申訴與修復日誌,是公開承諾本身。有些團隊之後會把這些訊號接到路由或模型更新上(有時稱為社群回饋強化學習,RLCF),但那是其次的選擇。尺規必須先由社群來寫。¶ 13(第 13 段的永久連結)
回應力防止其他三個階段變成控制。沒有接受關懷者自己評估的關懷,是把照顧者的偏好投射到被動接受者身上。制度性關懷正是以這種方式造成巨大傷害:名為關懷,實為控制。將原住民兒童與家庭分離的寄宿學校,在許多官方說法裡是關懷的表達。把被判定偏差的人強制收容的精神醫療機構,往往把收容理解為治療。¶ 14(第 14 段的永久連結)
一個覺察、負責、勝任,卻沒有機制讓所服務的人說「這對我沒用」的系統,可能不知不覺從關懷漂移到支配。接受關懷的人,或在他無法表達時獲授權代他發言的人,必須能說出那句話,而且那句話必須改變制度。¶ 15(第 15 段的永久連結)
煞車是一種關懷機制
回饋管線可以改變未來的訓練,卻無法在「此刻就該攔下」的時候,中斷一個錯誤的決定。這需要煞車:一種讓接受關懷的人(或代表他的照顧者)能夠說出「這一次,自動化模型錯了;停下來,讓我推翻它,或者現在就轉給人工處理」的機制。¶ 16(第 16 段的永久連結)
對護理師來說,這代表可以推翻系統「不需警示」的判斷、阻止它就此結案,並直接打電話給醫師,而不必先向軟體介面說明理由;對居民來說,是一個兩分鐘內就能完成、可觸發人工複核自身案件的動作;對語言社區來說,是一條能標記出整體模式、促使政策複審的管道,而不只是逐件提出申訴。煞車要有效,就得讓人不必穿越迷宮就搆得到,而且拉下去真的能停下某些事。¶ 17(第 17 段的永久連結)
誠實的設計無法迴避這個張力:容易搆到的煞車,也容易被倚賴;一個每則警示都被推翻的病房,並沒有解決警報疲勞,只是把它自動化了。答案是有跡可循的煞車,不是更難拉的煞車:每一次拉動都記進可歸屬到人的持續紀錄,也就是否決帳本;「過度推翻」的模式也要回饋進社群撰寫的評測,本身就是一種訊號。¶ 18(第 18 段的永久連結)
實際上長什麼樣子
- 社群撰寫的評測。 受影響社群共同定義何謂損害、何謂修復成功。¶ 19(第 19 段的永久連結)
- 共享評測登錄庫。 把評測做成類似維基百科的公共登錄庫:任何人都可以起草,公民社會夥伴負責審閱,實驗室則採納或公開說明理由。Weval 由集體智慧計畫打造,是可運行的範例;我們之中的一人(唐鳳)在那裡擔任資深研究員,這項推薦請一併衡量。¶ 20(第 20 段的永久連結)
- 清楚的申訴路徑。 我們提出的討論起點是:緊急案件 24 小時內回覆,標準案件 7 天,複雜案件 30 天。受影響社群與負責團隊必須議定可落實的時限及違約後果;這些是提議的契約條款,背後沒有任何部署的實測數據。申訴是這一頁上最古老的工具:Danielle Citron 的技術性正當程序(2008)就要求自動化公共決策應有通知、聽證與說理,其後的可質疑 AI 文獻,更把可質疑性視為設計要求。¶ 21(第 21 段的永久連結)
- 看得見的修復。 每個事件都應該有一頁記錄:發生了什麼、影響了誰、改了什麼,以及新增了哪個測試來避免重演。¶ 22(第 22 段的永久連結)
- 修復積壓公開。 公開修復待辦清單,標明每個未結案件拖了多久、由誰負責;積壓件數或最久未結案件的天數超過門檻,就往上升級處理,別讓修復落後。¶ 23(第 23 段的永久連結)
從理念到實作
- 把申訴按鈕擺出來。 在顯示決策的任何地方,都存在一個能看見計時的一鍵申訴。¶ 24(第 24 段的永久連結)
- 接受傷害描述草稿。 讓人們用白話描述傷害;再與合作夥伴一起把它轉成經社群審閱的測試。¶ 25(第 25 段的永久連結)
- 按嚴重性分類。 最高嚴重性的案件觸發立即暫停或可逆預設。¶ 26(第 26 段的永久連結)
- 修復或解釋。 在規定時限內,公布補救措施或附後續步驟的理由。¶ 27(第 27 段的永久連結)
- 記錄備查。 將事件轉化為測試,並在契約變更日誌中附上連結。¶ 28(第 28 段的永久連結)
- 回查。 回到提出申訴的人身邊,問修復之後,這套程序是否變得更值得信任。我們提出的失利下的信任檢驗,參考 Tom Tyler 的程序正義研究。它不是已驗證的 AI 測量方法,也不保證失利的人就會信任系統。¶ 29(第 29 段的永久連結)
可建置的工具
- 申訴 API(附計時器、狀態、上報)。¶ 30(第 30 段的永久連結)
- 社群回饋管線。 在適合的情況下,把通過審核的評測轉成路由、訓練或政策訊號。¶ 31(第 31 段的永久連結)
- 評測編輯器(白話描述的傷害 → 測試框架)。¶ 32(第 32 段的永久連結)
- 事件追蹤器(嚴重性、負責人、截止日期、公開記錄)。¶ 33(第 33 段的永久連結)
- 修復日誌模板(根本原因、補救措施、添加的測試)。追蹤器推動工作;修復日誌讓學習公開。¶ 34(第 34 段的永久連結)
- 修復積壓看板。 公開追蹤未修復案件的案齡、積壓件數與負責人,隨案齡增加觸發重新分派/升級提醒。¶ 35(第 35 段的永久連結)
一個案例:洪水機器人
這是一個虛構的複合案例,僅供說明,並非實際運作的證據。¶ 36(第 36 段的永久連結)
- 申訴激增。 一個語言社區標記校驗規則中的誤譯。¶ 37(第 37 段的永久連結)
- 本地評測。 社區合作夥伴提交翻譯準確度評測;該團體從專案的託管資金中獲得報酬,因為社區知識是勞動,不是免費的品質保證。機器人沒通過評測,暫停被觸發,系統改用可逆的預設值。¶ 38(第 38 段的永久連結)
- 系統改變。 翻譯不確定性現在會把案件送交雙語人工複核,不再自動拒絕。這項評測進入登錄庫,成為永久的發版門檻:機器人的文件規則日後任何更新,未通過它就不得上線。¶ 39(第 39 段的永久連結)
- 修復。 雙語審查員更新規則;新測試為未來變更把關。¶ 40(第 40 段的永久連結)
- 完成閉環。 Elena 收到簡訊:「我們修正了錯誤;你的暫定款項現在是最終決定;你可以這樣查看變更;這是直接聯繫承辦人的方式。」這個場景說明的是提議中的「失利下的信任」檢驗要問什麼;它並未回報信任有任何實際上升。¶ 41(第 41 段的永久連結)
可能出錯的地方
- 申訴迷宮。 太多步驟。解方:單一按鈕;逾回應期限即自動上報;申訴人在每個階段都能看到案件狀態。¶ 42(第 42 段的永久連結)
- 垃圾評測充斥。 低品質測試充斥系統;AI 生成的評測還能以灌爆公開評論案的規模淹沒修復管道,讓直接受影響者的訊號沉沒。解方:合作夥伴審核;貢獻者的聲譽;合併/重複工具;回饋管道須具來源證明與可問責的參與資格(而非公開身分);按社群設定速率限制;稽核軌跡須能區分一位受影響者與生成的替身。目標是品質,不是資格審查。審核機制不能讓老牌組織凌駕於有切身經驗的社群成員之上;直接受影響者的優先權須予保留。¶ 43(第 43 段的永久連結)
- 指責風暴。 人被責備,而非流程。解方:不究責事件檢討;專注於機制設計。¶ 44(第 44 段的永久連結)
- 武器化申訴。 對手大量灌入申訴,或策略性地觸發暫停以癱瘓服務;合成的申訴者還能以 AI 規模灌爆同一條修復管道。解方:暫停觸發與申訴路由須具可問責的參與資格(非公開身分);按社群設定頻率限制;稽核軌跡須能區分真實資格與生成的替身;為直接受影響者保留優先通道。¶ 45(第 45 段的永久連結)
- 過度推翻。 煞車被拉來對付正確的警示;警示疲勞被自動化,而不是被解決。解方:如上文煞車一節所述,讓煞車保持容易拉、但有跡可循,記錄每一次拉動,並可歸屬到人。¶ 46(第 46 段的永久連結)
- 積壓漂移。 少數高優先案件快速關閉,卻讓較舊、優先程度較低的修復悄悄堆積。解方:落實吞吐承諾與明確的積壓上限;當最久未結的修正案件或積壓件數超過議定門檻時,公開升級處理。¶ 47(第 47 段的永久連結)
介接
- 來自負責力(Pack 2): 誰行動很清楚;補救措施已納入流程。¶ 48(第 48 段的永久連結)
- 來自勝任力(Pack 3): 可觀察性和防護措施支持回應力;事件循環從這裡開始。¶ 49(第 49 段的永久連結)
- 對覺察力(Pack 1): 透過回應發現的新需求重塑我們覺察的內容,循環重啟。¶ 50(第 50 段的永久連結)
- 對團結力(Pack 5): 公開修復文化建立跨群體信任。¶ 51(第 51 段的永久連結)
- 對共生力(Pack 6): 有回應力的智慧體贏得留在當地的權利。¶ 52(第 52 段的永久連結)
收尾意象:工坊牆上退役的壞零件
想像一間工坊,牆上掛滿退役的「壞掉零件」,每個都標記著它是如何壞的、如何避免未來的損壞、以及誰修復了它。那面牆是學習牆,不是恥辱牆。它公開展示,由使用這間工坊的社群與打造機器的工程師共同守護。隱藏自己壞掉零件的工坊,會重蹈覆轍。願意把牆築起來的工坊,假以時日會成為這一帶最可靠的一家,因為它把一次次的失敗,鋪成了自身勝任力的地基。¶ 53(第 53 段的永久連結)
相關文獻
- Tronto,《Moral Boundaries》(1993),頁 105–108、134–136:接受照顧與回應力;van Wynsberghe,〈Designing Robots for Care〉(2013),頁 418:回應力作為被照顧者的主動姿態。¶ 54(第 54 段的永久連結)
- Hirschman,《Exit, Voice, and Loyalty》(1970):申訴即發聲。¶ 55(第 55 段的永久連結)
- Citron,〈Technological Due Process〉(2008);Alfrink 等人,〈Contestable AI by Design〉(2023);Lyons、Velloso 與 Miller,〈Conceptualising Contestability〉(2021):申訴作為設計要求。¶ 56(第 56 段的永久連結)
- Sloane 等人,〈Participation Is Not a Design Fix for Machine Learning〉(2022);Birhane 等人,〈Power to the People?〉(2022):社群撰寫的評測作為有酬的參與式工作。¶ 57(第 57 段的永久連結)
- Tyler,《Why People Obey the Law》(1990):程序正義,失利下的信任背後的發現。¶ 58(第 58 段的永久連結)
- Bainbridge,〈Ironies of Automation〉(1983);Sendelbach 與 Funk,〈Alarm Fatigue〉(2013):為什麼煞車需要帳本。¶ 59(第 59 段的永久連結)
- Douw 等人,〈Nurses’ Worry or Concern〉(2015):護理師的擔憂可能先於生命徵象的變化。¶ 60(第 60 段的永久連結)
- 完整足跡見〈文獻與延伸閱讀〉。¶ 61(第 61 段的永久連結)
