?+
+
編者按
面對人工智能技術，特別是致命性自主武器系統的飛速發展和廣泛應用，如何加強人對自主系統的控制，是一個值得研究和亟需解決的問題。近日，聯合國裁軍研究所發布了題為《自主武器系統中的人機接口》的研究報告，強調了人機接口在人機交互和人類控制中的重要作用，提出了自主武器系統中的人機接口和人機交互方面的需求，闡釋了人機接口的設計方法以及對人員訓練的影響，探討了人工智能系統的可解釋性和透明性，并提出未來的工作建議。
中國指揮與控制學會堅持以傳播知識、交流思想、啟迪未來、促進創新為己任，編譯了該報告的主要章節，以饗讀者。
摘要
人類對自主武器系統（AWS）1的控制，一直是致命自主武器系統方面的政府專家小組討論的一個核心議題。
關于控制的含義和如何付諸實施，專家組展開了激烈辯論。近年來，出現了三種主要控制方式，即控制武器的參數、控制使用環境，以及使用過程中通過人機交互加以控制。人們普遍認為通過這三種方式，能夠切實可行地對自主武器系統加以限制。
人機接口是操作人員與自主武器系統之間的物理紐帶，在人類控制中起著至關重要的作用。通過人機接口，使操作人員能夠監視系統，并在必要時使系統停止工作或實施人類控制。這對于形成和保持態勢感知，以及對于控制架構，都是非常重要的。
本報告重點介紹了接口在人類控制自主武器系統中所起的幾個重要作用，特別是由于此類系統越來越多的使用人工智能（AI）和機器學習（ML），所帶來的當前和預期的挑戰。
本報告的一些案例借鑒了汽車行業自動化的例子，這些例子在可控性和系統設計方面提供了重要的經驗和教訓。
本項研究的成果和結論如下：
· 首先，要在自主系統中人機交互的背景下，研究接口的作用，這對操作人員素質提出了更高要求。這種情況有其固有的風險，如對技術的過度信任或信任不足，同時這些風險因AI/ML的使用而進一步加劇。
· 要使接口成為有效的控制手段，它必須具有高度的可用性(也就是說，它的設計和開發，必須使用戶能夠實現其目標)，而操作人員必須經過充分的訓練以便有效地使用它。隨著AI和ML在武器系統中的應用，武器系統變得更加復雜(例如，在關鍵功能中被賦予更多的自主權)，各種接口變得更加復雜，對操作人員的訓練要求也越來越高。
· 接口設計方面的最新研究表明，人與AI之間的交互和“人與AI的團隊協作”，以及如何將這些納入到設計過程中，成為人們關注的焦點。隨著機器變得越來越復雜，人機交互也必須相應發展。
· 在人員訓練方面，需要提供更多的訓練課程和方法，使操作人員在面對能夠不斷學習的系統時，能夠建立合適的心智模型，校準自身對系統的信任和期望。
· 在依賴人工智能/機器學習的系統中，為了提升人們對系統的信任，降低系統的不可理解性，可針對AI過程的可解釋性和透明性,在接口中嵌入這方面的功能，如可視化技術(比如顯示AI部分過程或結論的儀表板)。這些是非常重要的，但也會使人機交互更加復雜，削弱人的控制。
引言
人機接口是操作人員和自主系統之間的物理紐帶，也是人類對系統實施控制的一個關鍵要素。接口結合了硬件和軟件，可以包括一系列組件，如帶按鈕的控制面板、儀表盤和觸摸屏。通過接口，操作人員可以監視某個過程(如導航)，修改或配置控制設置，調整參數和指令，或人類控制系統的運行。它們還可以顯示關鍵信息，使操作人員理解系統的狀態，以及遠程操作時，系統所處的運行環境。
關于人對自主武器系統的控制，政府專家小組在討論致命性自主武器系統領域中的新興技術時，經常會提到接口問題。接口很重要，因為它提供了至少兩種關鍵手段，使我們能對系統保持一定程度的控制：（一）使操作人員能夠監視系統的行為和動作；（二）如果系統不能按預期的那樣執行，則使其停止工作或實施人類控制(例如，通過手動控制)。然而，隨著系統更加自主化，接口也變得更加復雜。
本報告分析了接口在實施人類控制方面的作用，介紹了針對自主武器系統進行接口設計和運用時需要注意的幾個方面，強調了隨著更多支持AI的功能被整合到武器系統中，一些逐漸顯現出來的重要趨勢。
通常，要使接口成為有效的控制手段，它必須具有高度的可用性(也就是說，它的設計和開發，必須使用戶能夠實現其目標)，而操作人員必須經過充分的訓練以便有效地使用它。隨著AI和ML在武器系統中的應用，武器系統的自主能力提升，如何實現這些基本標準也變得更加困難。也就是說，隨著武器系統變得更加復雜，各種接口和接口設計變得更加復雜，對操作人員的訓練要求也越來越高。
對于接口問題，不能將其作為孤立的能力進行無意義的討論。因此，本報告將其放在更為寬泛的自主化和人機交互的背景下進行分析。武器系統自主化帶來的挑戰交織于接口設計、使用和人員訓練的方方面面。
本報告首先概述了人對自主武器系統的控制，并對接口在人類控制中的作用作了總體介紹(第1章)。然后，在人機交互的大背景下討論接口的作用，以及對操作人員的挑戰(第2章)。接下來介紹了接口設計的主要方法。對各種方法的描述隱含著人類控制方面的重要考慮：在系統設計上努力增加可用性，但是AI/ML的引入，也使得人機交互支撐技術變得更加復雜(第3章)。除了系統設計，訓練是實施人類控制的另一個關鍵因素。更大的自主性和更復雜的接口為男性和女性以及武裝部隊的所有成員的訓練帶來了新的挑戰，特別是在使用AI/ML系統的背景下(第4章)。采用AI技術的系統是復雜的，而且系統會不斷學習和改變，應對這種復雜性沒那么容易。此外，如果這些系統缺乏可預測性和透明性，也會影響人們對該技術的信任和依賴。人們試圖通過可解釋和透明化的方法(“可解釋的人工智能”，或“XAI”)，例如通過可視化技術，來解決這種復雜性。這些工作是很重要的，但仍然存在局限性(第5章)。
1
第一章 人機交互和人類控制
談及高度自主的系統，人們腦海中可能就會出現獨自采取行動的機器畫面。但在現實中，迄今為止，不管其自主程度有多高，還有完全獨立自主的系統，它們總是具有某種形式的人類控制或監督。由于武器系統完全自主的目標目前既不可行，也不符合軍事效率的要求，人機交互仍然是討論自主武器系統的核心。
人類對自主武器系統（AWS）的控制，一直是致命自主武器系統方面的政府專家小組討論的一個核心議題。該小組于2019年一致通過的《專家組指導原則》，就反映了這一主題的重要性，特別是原則C，其中指出：
人機交互可能采取各種形式，在武器生命周期的不同階段實施。在致命自主武器系統領域，應確?；谛屡d技術的武器系統的潛在使用符合適用的國際法，特別是國際人道主義法。在確定人機交互的質量和程度時，應考慮一系列因素，包括作戰環境以及武器系統整體的特點和能力。
此后，人類控制作為一個關鍵概念，多年來一直是專家組辯論的核心。盡管在哪些能力需要徹底禁止或不禁止方面存在許多分歧，但締約國之間達成了廣泛的共識，即無論武器系統的自主程度如何，都需要保持一定程度的人類控制。
與作戰中自主性相關的幾個關鍵主題（例如責任和問責制、國際人道主義法的適用性）實際上在“人類控制”概念的范圍內。這與人工智能、機器學習和機器人技術在民用領域的應用相呼應。在這些民用領域中，圍繞“可控性”的討論成了中心話題，涉及“復雜的技術、人體工程、法律、道德和組織因素”。
對于自主武器系統，提煉其中人類控制的含義及參數一直是一項具有挑戰性的工作，并且由于系統和作戰環境之間的差異，使該問題進一步復雜化。不過，人們通常提出的具體的人類控制措施，主要包括系統設計和使用方面的考慮。這種控制措施的分類，表明了實施人類控制的兩種不同但又相輔相成的方式，即武器系統本身的設計（包括硬件和軟件要素）和使用過程中的人類控制。
人機接口（HMI）對實現人類控制至關重要。它涵蓋了系統設計方面的標準，也包括使用方面的標準。
對于遠程（有時非常遙遠）控制的無人系統，人機接口的作用特別重要。操作人員與機器之間的感官連接就是以人機接口作為中介的。
實現自主系統的可控，并非只能通過接口，也不僅限于操作人員手動控制機器的能力。但是，作為人與機器之間的紐帶，接口對于控制自主武器系統至關重要，對系統的合法性使用有直接影響。雖然在系統設計中可以通過多種方式、分散運用控制參數（例如，目標類型等），但通過接口，使操作人員能夠監視系統，在其他形式的控制出現問題或實際情況發生變化，“預先規劃的假設條件無效”時進行干預。
在ISO標準ISO 9241-110：2020中，用戶接口被定義為“交互式系統的所有組件構成的集合。為用戶提供信息和控制，以使用交互式系統完成特定任務”。
接口是人機系統的子系統，是“操作人員與機器交互的窗口”。接口包括許多組件，這些組件因系統而異，例如輸入控件（例如，按鈕和復選框）、導航組件、信息組件等。
一般來說，人機接口有助于輸入和輸出：操作人員將信息輸入技術系統，輸出結果表明輸入產生的影響。例如，在打擊目標時，某種自主武器系統的輸入-輸出環路可能需要操作人員通過接口菜單將某些坐標輸入系統。該系統會反饋提供自己的坐標和評估信息，例如關于附帶損傷或基于操作程序的其他反饋（輸出）。
1.2.1 態勢感知
人機接口在形成態勢感知方面發揮著重要作用。態勢感知是人機交互的核心，尤其是在動態環境中。態勢感知受個人和組織因素（如壓力、工作量、任務切換要求或團隊動態）以及系統因素（如系統能力（如傳感器收集相關數據的能力）、系統接口）的影響。接口設計的質量可以直接顯著改進態勢感知。
足夠的態勢感知水平，還有助于操作人員意識到，例如，某種情況超出了系統的自動化處理能力，或者自動化執行不正確。
1.2.2 理解自主武器系統的狀態和行為
接口對于表示自主系統的關鍵控制特性至關重要，包括系統的可觀察性、可預測性和可引導性。
· 可觀察性是指觀察和監視系統狀態的能力
· 可預測性是指理解系統的行為
· 可引導性是指對系統施加影響的能力
許多技術文獻對于控制要素有不同的分類，但“可觀察性-可預測性-可定向性”的目標綜合了對武器系統自主能力和接口設計的基本要求。
2
第二章 自主武器系統的人機接口和人機交互
人機接口不是一種孤立的能力，對于其在人類控制中的作用，只有在人機交互的框架內才能理解。本章特別關注在更寬泛的自動化和自主化背景下考察對人提出的素質需求，并結合接口的使用，考察接口所起的作用。
自主性的引入帶來了對人員能力素質要求方面的重要變化。開發有效的系統不僅僅是工程和技術進步的問題。更是人員方面的問題?！白灾髯鲬鹱钣袉栴}的是人員方面，或人機集成”。
即使操作人員“僅僅”負責監督一個自主系統，他們也面臨著許多挑戰。這些挑戰可能來自數據過載、系統的不可理解性、訓練不足、接口設計沒有考慮到用戶的實際需求等等。
為了降低軍事環境中人機交互方面的一些風險，有人建議接口需要保持用戶的認知參與，這一點已被致命性自主武器系統政府專家組所接受。
在自主系統中保持人的認知參與是具有挑戰性的，至少有兩個原因：
第一個原因是，當被賦予監督角色時，人們根本無法持續、一致地保持注意力。期望操作人員持續保持警惕（這是在適當的時候進行干預所必需的）也是不合情理的。將一個相當被動的角色委托給操作人員，很可能會使他們脫離實際，從而難以保持警惕。正如一位專家解釋的那樣，“通常在[指揮和控制]中心，一切如常，然后突然發生了什么事情，你需要回到相應的認知回路。但無論這個人機接口有多好，你都很難理解當前的情況”。
人們提出了一些通過接口設計，保持較高警惕的解決方案。英國國防部開發、概念與條令中心的一份報告表明，可以通過優化接口以支持這一目標，包括要求操作人員1）搜索已確定的對象（這可以增強心智方面的參與），2）探詢相關的事物，如邊界或異常。
可以通過文本消息和警報等功能，提示操作人員檢查系統狀態。然而，讓操作人員保持警惕的最終辦法在于讓其從事有意義的任務，“而不是去后端”。雖然通過訓練課程，可以提高操作人員監督系統的能力，但將（有意義的）任務分配給人類操作員，仍然是使其保持認知參與的關鍵。
第二個原因可以用人機交互中固有的挑戰來解釋，包括“自動化自滿癥”的挑戰，即隨著某些作業實現自動化，人的注意力轉移到其他任務上，或者因對系統模糊或不準確的期望，造成的注意力缺失。其中一些挑戰源于所謂的“自動化難題”。該理論認為人類警惕性的喪失與系統增強的自動化和可靠性成正比：“系統的自動化程度越高、越可靠和越魯棒，監督自動化系統的操作人員就越不可能意識到關鍵信息并能夠在需要時進行手動控制”。
當高度自動化和高度可靠的系統出現故障時，會給操作員帶來更加復雜的挑戰。因為高度自動化會增加人們對系統的依賴，同時也會使系統更難以手動恢復。這被描述為“伐木工人效應”，它反映了高可靠性的好處和隨之而來的故障成本之間的權衡，類似于森林中的樹木：“它們越高，落得越遠”。在自動化研究領域，作為造成人員技能退化的風險，這種情況人們已經討論了二十多年，尤其是第一次故障之前長時間正常運行的高性能自動化系統。在這種情況下，操作人員開始廣泛依賴系統，過度信任它，甚至變得自滿?！靶湃涡省笔侵浮耙粋€人對自動化（系統）的信任與（系統）自動化能力之間的一致性”，可以表現為過度信任，反過來也可以表現為信任不足。
接口設計對其可用性至關重要，因為它“可以直接影響操作員完成任務的能力和愿望，以了解當前情況，做出決策，以及監督和向機器人系統提供高層級的命令”。例如，對偵察任務無人機控制的研究表明，操作人員希望“駕駛攝像機”，這意味著操作人員更希望能夠將攝像機定位在需要的位置以實現其任務目標，而不是控制無人機及其系統。因此，在設計用戶接口時，取消了對無人機橫搖、俯仰和偏航的直接控制。
許多地方都有關于自主武器系統設計的一般原則。例如，美國國防部指令3000.09規定，“自主和半自主武器系統的人機接口應：1.經過訓練的操作人員很容易理解；2.可根據反饋信息跟蹤系統狀態；3.為經過訓練的操作員清晰的操作程序以激活和停用系統功能”。
美國在致命性自主武器系統政府專家組會議上多次闡述了這項建議。2019年版政府專家組報告將“易于理解的人機接口和控制”與“嚴格測試和評估系統”和人員訓練等措施一道列為降低風險可行途徑。
然而，關注于使接口“清晰”或“易于理解”，有可能會被誤解為“簡單”。這可能會導致人們將注意力轉向微觀人機工程，或顯示系統中的元素，如顏色、字體大小等，盡管這些元素很重要，但“不是工作的起點”。通常，顯示功能需要關注“任務相關信息”的控制，同時最小化“任務無關信息”。然而，在復雜系統中，感知并不局限于來自屏幕的數據。有一種觀點，認為“通過適當的系統和接口設計，可以把技術和戰術復雜性降低到可管理的水平”。這種觀點受到認知系統工程專家的質疑，他們認為這種方法不會降低復雜性，而只是向用戶隱藏它。
這并不意味著解決之道在于顯示系統的復雜性，而是必須滿足系統接口設計的其他條件，才能有助于增強的人類的能力和實施控制。
與自主武器系統交互的一個基本要求是，在使用之前建立一個良好的系統心智模型（包括了解系統的自動化水平，它是否正在正常運行以及是否在預期的參數下運行），理解系統的行為范圍，以及系統可能隨時間發生的種種變化，這是基于機器學習的系統的一個關鍵方面。這些需求必須反映在接口設計和訓練要求中。
3
第三章 人機接口設計方法
本章概述了高度自動化和自主系統中的接口設計方法，從“以人為中心的設計”開始，然后是“以交互為中心”的方法。隨著關于人-機團隊或人-AI團隊的討論越來越多，接口設計變得更加復雜。
人-系統集成（HSI）源于20世紀80年代中期，處理系統設計和實現中的人因因素。它是一種“全系統”方法，著眼于跨系統集成，包括人、技術、運行環境以及這些要素之間的接口。如本章所述，人工智能和機器學習的引入（以及對人-AI團隊的日益關注），揭示了傳統或認知系統工程方法的局限性，以及它們無法解決新系統需要如何適應的問題。
對接口設計人員的兩個一般性要求是：（1）了解各種任務和領域的機器人操作人員需要知道什么；（2）確定如何以一種綜合的方式呈現信息，以支持態勢感知和決策。
將操作人員需要知道的內容集成到流程中，是以人為本的設計的基礎。該范式出現于20世紀80年代，旨在解決傳統的、以技術為中心的標準范式中的缺陷。在以技術中心的范式下，接口首先反映的是創建系統的工程師們認為重要的內容，或他們認為相關的內容。
相比之下，以人為中心的設計“聚焦于系統的使用，應用人因因素、人機工程學和可用性方面的知識及技術，使交互式系統更具可用性”。以人為中心的設計，無論是以士兵為中心、以客戶為中心還是以用戶為中心，都尋求“圍繞人如何工作”優化接口，而不是強迫人們改變工作方式以適應系統。它將操作人員視為“與傳感器或底層代碼一樣的系統組件”，必須把操作人員的能力納入到設計中。
在實踐中，以人為中心的設計遵循一個迭代過程。該過程在接口開發之前就開始了，需要通過系統的“增量式開發和迭代式改進”來整合設計和評估工作，基于輸入和反饋，理解用戶，并從一開始就集成他們的觀點。在此過程中，系統中可能會出現新的屬性，或者人們可能會以不同的方式使用系統。這將影響設計中的幾個選擇，包括操作員的認知負荷量、他們對系統的依賴程度，以及何時使用或何時關閉某些功能。簡而言之，這是一個“基于證據的進化式修補”過程。
隨著各種自主功能的增多，對以人為本設計的提出了更多需求，以支持操作人員理解系統的功能。除了高效呈現決策所需的信息外，人們還建議接口必須包括與自動化狀態相關的提示（包括各種模式和系統邊界條件），對模式轉換的支持（例如，對轉換到手動控制的必要支持）以及系統的透明度，以提供系統行為的可理解性和可預測性。
從21世紀10年代開始，新的智能系統設計方法開始關注人與機器之間的交互和相互依賴關系。
嚴格來說，交互始終是設計過程的一部分，只不過表現為不同的形態，“以人為本的設計”的基本原則并沒有被拋棄。然而，過去十年，這方面的研究更專注于人機交互的協作方面，而且現在的技術可以更快地適應系統學習之需。最近興起的一種認識更是佐證了這種演變，即構建有效的自治系統依賴于一種成功的人-自主系統或人-AI團隊協作方法，并且隨著機器能力的擴展，人機交互能力也必須隨之擴展。
例如，人們采用一種名為“協同設計”的方法，評估人機協作對設計的影響，其中的人和系統同時參與完成任務，系統設計要能夠支持協調，協作和團隊合作。這種設計方法將團隊合作視為涉及雙方（人和AI系統）的過程，并以兩者交互中存在的相互依賴性為前提。
關于人-AI團隊合作，人們還提出了“動態任務分配”模型，把風險最大，道德影響最最突出的任務分配給人類，而其他決策則分配給智能代理。這種方法需要把可解釋性作為人-智能代理協作和接口設計的一部分。
另一種稱為“自適應引導”的方法基于一個類似的原則，即接口需要根據用戶的反饋進行調整，并隨著時間的推移校準（人的）認知參與、信任和不斷變化的期望。在隨著時間推移不斷學習的系統中，這種方法闡釋了人-系統交互中“三個不斷變化的部分”：1）操作人員不斷變化的心智模型，2）實際情況也在變化，3）系統/人工智能模型本身也在變化。
這需要接口能夠同步和表征系統的學習及調整情況。為了實現有效的交互，還需要系統變得更像一個智能代理，即它能夠提示操作人員進行干預，例如在某些情況下向他們表達“我需要輸入”或“我不知道”。為這種方法提供支持的“自適應學習”技術，還需要系統的用戶模型能夠引導它檢測不一致或矛盾的信號，從而起到保護作用。例如，如果突然更換操作人員，系統可能會完全停止運行。
其中一些原則被應用到自動駕駛汽車行業。該行業中的接口設計越來越多地被視為一種“共同創造的過程”。這種過程渴望集成駕駛員的偏好或采用一些糾正措施，例如提示年輕的駕駛員提高注意力。在自動駕駛汽車行業中，人們認為面向用戶的接口適應性，對行業的未來以及取得人們對技術（特別是高層次的自動化技術）的更多信任非常重要。不過，隨著自動化程度的提高，也需要對駕駛員的數據進行權衡，包括需要更多的生物特征數據，因為“隨著你給予（車輛）更多的控制權并建立更多的信任，車輛也需要更多地了解你；現在，您作為操作人員，也需要受到監督”。
技術上對更多“用戶狀態”數據的需求，凸顯了這樣一個事實，即隨著系統獲得更多的決策能力，人機協作依賴于來自雙方的信任。對于自主系統，信任是指嵌入在系統中的驗證機制。例如，這種機制會確保操作人員的輸入是一致的，不會受到壓力的影響。
最后，還有一種設計方法，它包含了沉浸式接口，近年來在各個領域進行了研究，包括自動駕駛汽車和無人駕駛飛行器。沉浸和沉浸式技術是指模擬的、動態的虛擬世界，包括豐富的三維空間和高保真運動等元素。
虛擬現實（VR）和增強現實（AR）系統已被用于軍事訓練和創建模擬仿真環境。而沉浸式接口將用于任務執行，以及促進協作行為（即人機協作）。
沉浸，作為一種設計選擇，被認為是一種更自然的協作平臺，并成為一種實用工具，能夠以同樣的維度將物理世界及其視覺映像以可視化的方式呈現出來。之前有人提出，這種接口形成的遠程距離起到了一種“道德緩沖器”的作用，它使操作人員遠離其行為和造成的負面后果。對于一般性的遠程操作的武器系統（如無人機），人們曾多次表達了這種擔憂。而沉浸也可能是一種減少認知和道德距離的有用方法。
4
第四章 訓練方面的挑戰
對自主武器系統操作人員的訓練是一項重要的控制要素。致命性自主武器系統政府專家組對控制的闡述，涉及武器的整個生命周期，包括訓練。
自主系統對操作人員提出了新型的訓練要求，這取決于系統接口的特性和復雜性。
首先，操作人員需要更全面地了解系統的功能邊界以及人與機器之間的功能分配。此外，對于使用AI的自主系統，由于系統的不斷學習和演進，人員訓練變得更有挑戰性。與靜態系統相比，訓練需求變得更加復雜。系統改變其內部模型的方式通常是不透明的，甚至開發人員也難以理解，而且也很難提出一個操作人員可以訓練的學習模型，因為系統在不同的環境中（例如，訓練階段與使用環境下），其學習情況是不一樣的。
任務的分配，以及人們感覺的/認為的自主等級，與自主系統的實際能力水平之間的關系，對于人們校準對系統的信任和依賴至關重要。自動駕駛汽車領域的初步研究，揭示了在進行自主等級或模式轉換，而操作人員沒有準確評估系統的局限性時，所蘊含的風險。例如，人們發現，在系統的部分自動化和高度自動化之間，存在一個特別脆弱的區域。在此區域，當駕駛員認為車輛比某個給定時刻的自動化程度更高時，就會導致碰撞。
軍隊中，也發生過由于對系統的實際能力認識不足而產生的問題。例如，2003年的愛國者誤傷事件，美國陸軍愛國者導彈系統擊落了英國“龍卷風”和美國海軍F/A-18戰機。當時系統顯示的信息令人困惑，有時甚至是不正確的。當時操作人員有10秒的時間來否決計算機的方案，并且缺乏“在高度復雜的系統中進行例外管理”的訓練。
在使用此類系統之后，美國陸軍研究實驗室的一位工程心理學家總結說，“對于訓練不足的人員來說，其手中的自動化系統實際上是一個完全自動化的系統”。訓練不足可能導致不正確的期望，無法應對系統故障，或無法替代系統的行動方案，使系統“因（操作人員的）忽視而完全自主”。僅靠接口設計無法彌補高效的訓練。
針對自主系統的訓練必須聚焦于培養操作人員的專業本領。這包括定量的和定性的兩個方面的要素：
· 定性要素：更加密切關注系統心智模型的開發，確保訓練不僅僅是“習慣轉移”（操作人員在使用新的接口時經常會碰到此類問題，因為他們往往會參考以往的模型）。這包括理解各種變量，如自主功能的程度和范圍、從一個環境轉到另一個環境時系統的變化，系統最脆弱的地方或有哪些不確定性；
· 定量要素：包括訓練持續時間的變化，或者更新訓練的間隔等等。
然而，需要注意的是，針對人擔任系統監督角色，相應訓練仍然面臨人因因素的限制。在擔任監督角色時，持續不斷的保持警覺是一項非常困難的任務。保持注意力既是一個選拔問題，也是一個訓練問題?，F在人們都知道，一些人就是比其他人更善于持續不斷的保持警覺。然而，即使有適當的選拔過程和必須的訓練，越是長時間從事重復性或監督性任務，出錯的機率就會越高。使操作人員保持認知參與，會涉及到更復雜的因素，包括各種自主功能的增量式使用，通過這種方式，可以讓操作人員更好地理解系統，知道何時以及如何轉為手動控制，避免喪失責任感
最后，隨著人和AI系統日益相互依賴，越來越多的研究結果表明，在開展訓練時，必須考慮到人與AI的組隊和協作。
人們期望隨著武器系統自主能力的提高，人和AI系統能夠集成為一個（作戰）單元，協作完成高度復雜的任務。這方面的訓練不能局限于知識轉讓，它將越來越需要（人和AI系統）一起訓練。這意味著雙方將作為“同伴”進行交互，各自發揮自己的本領和職權。在這種情況下，需要把人-AI訓練的目標需要聚焦于一起工作和相互學習上。
與人和人的組隊訓練相比，人-AI組隊訓練需要有兩個方面的重大改變：
· 認識上的轉變。涉及偏向、信任和可驗證性等問題?？沈炞C性針對的是人對AI系統的期望和要求，這方面的問題有可能導致人對AI的負面偏見
· （工作）程序上的轉變。包括新的工作分配和團隊訓練方法，這需要針對實際和合成環境，設計適當的基于模擬仿真的訓練。
這使得操作人員需要理解：1）自己扮演的角色；2）AI系統；3）如何與AI系統/隊友交互；4）如何與其他人類隊友交互。
這一領域的研究尚處于早期階段，但至關重要。
5
第五章 AI的可解釋性和透明性
智能系統的“黑匣子”性質，使其與最終用戶的交互更加復雜，并可能導致相應的心智模型不準確，結果是過于信任或過于不信任。近年來，人們越來越多地認識到，AI的不透明性會損害人們對系統及其決策機制的信任。因此，人們正在努力使AI更加透明、更具可解釋性。
從理論上講，在使用自主武器系統時，嵌入在界面中的解釋系統可以降低其中一些風險，但是現有的可用方法面臨著許多挑戰（甚至是潛在的不足）。
可解釋的人工智能（XAI）是一個專注于理解和解釋人工智能系統（行為）的領域?？山忉屝圆煌谕该餍??？山忉屝砸允潞蠡仡^看的方式評估系統的過程，它研究的機器做過什么，并提供事后解釋。相比之下，透明性提供了對系統行為的實時理解。雖然在軍事行動中，透明性在支持實時決策方面更有價值，但可解釋性和透明性在構建態勢感知方面都很重要。在時間允許的情況下，可解釋性可以改進系統審核過程和心智模型，進而影響未來的態勢感知。
大多數XAI方法都集中在通過界面和儀表盤等可視化技術，來呈現一部分AI過程。例如，解釋界面能夠以對話框和餅圖等圖形化形式展現概率，也可以是交互式界面，用戶可以從幾個算法中選擇最佳的算法。
可視化有助于培養人們對AI系統的信任，提升人的能動性。例如，研究表明，通過提供與系統不確定性相關的信息，可以提高系統性能，包括人在接管系統時的表現也會更佳。
雖然“XAI途徑”包括許多機器學習模型和可視化分析方法，但它們仍然表現得異常復雜，往往只有機器學習方面的專家才能理解。XAI的其他局限性包括：
· 信任不僅僅是一個技術問題，它是一個動態變化的過程，可視化不能解決所有與信任相關的問題
· （對AI系統）的解釋，可能會使有缺陷的心智模型得到進一步的強化；太多的細節可能會使人們茫然失措；或者包含太多的懸念；在可能需要進一步驗證的情況下誤導操作人員（從而導致過度信任）；不同的用戶可能會有不同的理解
· 在高強度的作戰行動中，一些解釋工具可能會增加人們的工作量，例如操作人員需要在有限的時間查看系統的解釋
雖然透明度和可解釋性更高的系統應該優于“黑匣子”，但需要注意的是，可解釋性不是解決信任問題的靈丹妙藥，某些方法執行的不好，結果可能會適得其反。就自主武器系統而言，需要我們進一步研究哪些方法和何種信息能夠更好地提高系統的透明性。例如，為了增加操作人員對系統的信任，許多人機界面用百分比表示概率，例如，X是合法目標的概率是87%。事實上，這種方法使操作人員更難以做出決策，并不會增強操作人員信心。87%的概率就足以讓操作人員繼續攻擊目標嗎？剩下的13%是什么意思？此外，該信息是應該表示為“87%的確定性”，還是表示為“13%的不確定性”？
即便是對于完全透明和可解釋的AI,也存其他困境，可能造成出現錯誤時，其責任完全落在操作人員身上。由于無法讓AI系統承擔責任，這種情況有可能給操作人員帶來過分的問責。
XAI作為一種有發展前景的方法，需要精心設計并集成到系統中，有效促進人機交互，增強人對系統的信任和控制。
6
結論
自主武器系統中的人機接口對于實施人工控制非常重要，但在設計和使用方面仍然存在重大挑戰和需要考慮的問題。
本報告以自主性和人機交互為背景，闡述了人機接口幾個方面的問題。過去十年中，自動駕駛汽車行業在可控性方面的研究取得了顯著進展。本報告也借鑒了該領域的一些經驗教訓，
一般性結論：
· 人機接口作為自主武器系統的子系統，對它的研究揭示了人類控制的復雜性——它是一種通過接口設計而嵌入、通過訓練而培養、通過特定技術特性（例如XAI）而增強或（或破壞）的能力。
· 在武器系統中引入自主功能和人工智能，特別是機器學習，擴展了人機交互的選項和模式；它使人機接口的設計和開發變得非常復雜，這進而需要對操作人員進行新的培訓。
接口設計：
· 自20世紀50年代以來，接口設計方法從以技術為中心，到以用戶/人為中心，再到以交互/人-AI組隊為中心，反映了自主性和自主功能的發展。
· 致命性自主武器系統政府專家組必須從政策的角度考慮這些范式的意義，因為它們超越了技術升級，反映了人機交互的深層次變化，對實施人類控制有直接影響。
訓練：
· 對操作人員的進行訓練，是實施人類控制的一項重要內容。自主武器系統的自主化以及接口的復雜化，給人員訓練帶來了新的挑戰。
· 實施訓練需要更清晰地理解自主武器系統的局限性、功能分配和系統故障，并且必須解決常見的行為方面的因素（例如自滿），同時保持對責任和問責的清晰理解。
可解釋的AI：
· 雖然XAI號稱可以通過引入更多的可理解性和可預測性，來增強人們對技術的信任，但對于自主系統固有的透明性和可解釋性問題，XAI所起的作用依然有限。今后聯合國裁軍研究所（UNIDIR）將更詳細地研究這個問題。
· 對于人工智能驅動的系統，必須努力實現更高的可解釋性和透明性，同時適當考慮不同的作戰類型、環境和用戶等方面的軍事需求。這需要深入研究接口設計，以最好的方式表征透明度方面的信息和系統的脆弱性，使人們能夠校準期望并增強技術的信任。
7
政策建議
本報告認為致命性自主武器系統政府專家組當前和未來工作應當著眼以下幾個方面：
深入細致地討論自主化背景下的人機交互以及接口在人類控制中所扮演的角色等問題。這應當包括智能系統背景下接口設計和人員訓練的相互聯系、AI系統的可解釋性問題以及對技術的信任問題。
更清晰地闡述在人類控制方面的期望和目標，以指引未來AI系統的接口開發工作。政府專家組的闡述有助于向技術界界定人類控制方面的問題，但還需要更進一步，以確保更明確地界定人類控制的含義，契合各類武器系統和使用環境。
討論人工-AI團隊協作對人類控制自主武器系統的影響?！皥F隊協作”并不意味著AI系統與人類處于平等地位，我們堅持認為人應當處于主導地位。不過，針對人類控制的含義，它確實引發了新的問題。技術專家的參與對于探索這一范式的影響和挑戰至關重要。
關注公眾號了解更多
會員申請 請在公眾號內回復“個人會員”或“單位會員
歡迎關注中國指揮與控制學會媒體矩陣
CICC官方網站
CICC官方微信公眾號
《指揮與控制學報》官網
國際無人系統大會官網
中國指揮控制大會官網
全國兵棋推演大賽
全國空中智能博弈大賽
搜狐號
一點號
