LAWSの議論

簡単な背景

いわゆる「AIによる自律型兵器システム」の議論は、国際的に、2014年以来、CCW（特定通常兵器使用禁止制限条約）の枠組みの中で6回にわたり、国連欧州本部にて行われてきました。（文献[1]より）

おそらく、直近としてはこちらになるのだと思います。議論の発足当初から国内でも注目されているようです（文献[2]、[3]、[4]参照）。

これらの記事で「殺人ロボット」や「AI兵器」と呼ばれる対象は、より正確には「自律型兵器システム」と呼ばれるもの中でも特に、物体の破壊及び人の殺傷を伴う「致死性自律型ロボット （LARs; Lethal Autonomous Robotics）」もしくは「自律型致死性兵器（LAWS; Lethal Autonomous Weapon Systems）」を示します。

本稿では、これらをLAWSと呼称します。

今回の内容は自分の専門とはちょっと距離があり、公の場に残すのは若干憚れるのですが、これらに関わっている方々と知り合い、少し知る機会があったので、自分の備忘録を兼ねて、文献[5]、[6]、[7]をベースに、自分なりにこのエリアを概観してみたいと思います。

LAWSとは

さて、LAWSの定義なのですが、実は「定義自体が議論の対象」という状況のようです。現在までに、いくつか提示されているのですが、ここでは、米国防省の定義を提示します。
米国防省指令（DoD Directive 3000.09）[8] には、LAWSの定義は以下のように提示されています。

A weapon system that, once activated, can select and engage targets without further intervention by a human operator. This includes human-supervised autonomous weapon systems that are designed to allow human operators to override operation of the weapon system, but can select and engage targets without further human input after activation.

【著者抄訳】

一度起動されると、人間のオペレーターによる更なる介入なしにターゲットを選択して交戦ができる武器システムのこと。これには、人間のオペレーターにより武器システムの操作を無効にできるように設計された、人間が監督する自律兵器システムが含まれますが、起動後、さらなる人間の入力なしでターゲットを選択して交戦できる。

LAWSがLAWSたるかは、「自律性（autonomy）」に依拠しているようです。
ただ、「自律性の定義」も、「LAWSの定義」にかかる部分なので、以下の分類も考え方の一つに当たるのかもしれませんが、人間の介在の程度に応じて、3つの分類が提示されています（文献[5]より）。

• Human in the Loop Weapons （人間が輪の中にいる兵器）
• Human on the Loop Weapons（人間が輪の上にいる兵器）
• Human out of the Loop Weapons （人間が輪の外にいる兵器）

LAWSの利用の際、つまり、利用開始から対象の特定、交戦までの間の意思決定に、「人間が介在する」のか、「LAWSの利用を監督する」のか、もしくは、「蚊帳の外」なのかの区別です。

致死に至る戦闘行為の決定に「人間が輪の外にいる」ことが問題視されおり、特に、「人間が輪の外にいる」完全自動化された兵器について、いくつかの観点で懸念が提示されています。

議論のポイント

文献[5][6][7]によると、これまでに、LAWSの利用における議論において当初登場したレポートとしては、主に以下があります。

• Philip Alston, Interim report of the Special Rapporteur on extrajudicial, summary or arbitrary executions, A/65/321, 23 August 2010, par. 22
  →（以降、オールストンレポートと呼ぶ）
• Losing Humanity : The Case against Killer Robots, Human Rights Watch, November 2012, pp. 1 and 7–9
  → （以降、HRWレポートと呼ぶ）
• Report of the Special Rapporteur on extrajudicial, summary or arbitrary executions, Christof Heyns, A/HRC/23/47, 9 April 2013
  → （以降、ヘインズレポートと呼ぶ）
• ʻOut of the Loopʼ : Autonomous Weapon Systems and the Law of Armed Conflict, Michael N. Schmitt & Jeffrey S. Thurnher, Harvard National Security Journal, vol. 4, 2013, pp. 244–250
  → （以降、シュミットらの論文と呼ぶ）

これらは、いずれも少し古いものではあるのですが、おおよそ同じ観点で、LAWSの問題点を議論しているようです。4つのうち、シュミットらの論文以外はLAWSの問題点を提示しているようです（文献[5]）。

これらの文献において共通していると判断できる点を、文献[5][6][7]の記述を元に、ここで抜き出してまとめます。

• 区別性：標的と非戦闘員とを区別すること
• 比例性：予期する文民被害が予期する軍事的利益を上回る場合の観点
• 軍事的必要性：負傷した敵対者に不用意に二度打ちするなどの必要性
• マルテンス条項（の準拠性）：人道の法則及び公共良心の要求に従って戦争手段を評価。多数派の見解が考慮

マルテンス条項（Martens Clause）とは、文献[7]には以下の通り示されていました。

「文民及び戦闘員は、この議定書その他の国際取極がその対象としていない場合においても、確立された慣習、人道の諸原 則及び公共の良心に由来する国際法の諸原則に基づく保護並びにこのような国際法の諸原則 の支配の下に置かれる」とのことです。

そのほか、「LAWSの感情の欠如」、「責任の所在」や「武力行使の敷居が下がること」への懸念も指摘されていました。
ここで、「LAWSの感情の欠如」とは、ヘインズレポートで提示されている以下の記述にあります（文献[5]より）。

人権法や人道法で必要な人的判断（常識、相手側の行動意図の理解、価値の理解、事態の展開予測）及び戦闘行為での 抑止効果を持つ憐みや直観力の欠如

問題点がいくつか指摘されている一方、例えば、オールストンレポートによれば、LAWSには以下のようなメリットもあると認識されています（文献[6]より）。

無人化されたロボット兵器を使用することの利点は、戦場等における戦闘員の犠牲を発生させな いだけでなく、ロボット兵器は自己保存の意欲がない分、人間より慎重に致死的武力を行使することが可能であり、人間の感情（興奮、恐怖、疲労、復讐心）から生じる判断ミスも回避 できるとされる。

また、以下のように、米国は 2012 年 11 月に国防総省の指令において、LAWSに一定の制限を掛けており（文献[6]より）、すでにいくつかの国では、LAWS規制への対応は始めているようです。

今後の無人兵器の自律性に対し、指揮官および操縦者が致死力の行使に対する「適切な (appropriate)レベルでの人間の判断」を行使できるように設計されなければならない

現状、LAWは、「不安感は広く共有されつつあるものの、未だ存在しない兵器」[6]でもあるので、具体的な「LAWSの脅威」についての議論というより、以下のような先取りの議論であるとされています（文献[5]より）。

人権の方法論として、従来の「巻返し感覚（catch-up mentality）」ではなく、「先制的アプローチ（proactive approach）」を採用すべ き

国家は開発過程において後になればなるほど兵器の放棄に一層抵抗が生じるので、兵器化の前に当該技術を審査する方がより良い

求められる倫理的思考

概観するに、AI技術発展に伴う兵器の自律性（autonomy）の概念を中心にLAWSは議論されています。

しかし、そもそも議論の核の「自律性」とは何か、特に「既存のコンピュータ支援システムや自動化（automatic）と何が違うのか」と言った、技術的な観点で「分解能の高い」議論は見つけられませんでした。
例えば、「AIは万能だから武器に適用すると未知なる脅威になるかも」という前提に基づいていると解釈できる議論もあり、「存在していない脅威」[6]を既存の枠組みの中で議論しているように感じました。

これでは、議論が進み難いのは致しかたないのかもしれません。

あらゆるシステムが人間のメンテナンスの元で稼働している現状から、将来も含め、「自律性」という概念がどのようなものになり得るのかを、もう少し詰める必要性を感じました。

議論の中心にないものとして、「自律化が進んだシステム」へのサイバー攻撃のリスクや、障害なく期待通りにトラブルなく稼働するか否かは、「自律性の高いシステム」では大きな課題になりそうです。
また、『技術開発の動向を的確に管理し、「凶悪な兵器」に転用されないよう、技術の流出を予防する必要がある』という指摘[6]にあるように、例えば、民生品ドローンを再プログラミングして個人が兵器化するリスクなども、先進国でのLAWSの開発・配備以上に大きな課題になりそうです。

何れにせよ、この分野においても、グレーゾーンでの倫理的思考へのチャレンジが研究者・技術者に求められているようです。

2019/09/05

[1] 殺人兵器 殺人ロボットをめぐる「する」と「しない」
（SWISSINFO.CH、著・Simon Bradley、訳・宇田薫、2019–04–29 10:59）

[2]（社説）殺人ロボット 出現を許していいか
（朝日新聞デジタル、2018年10月20日05時00分）

[3] ＡＩ兵器の国際ルール 法的規制は盛り込まれず
（ＮＨＫオンライン、2019年8月21日 6時39分）

[4] 論点 ＡＩ兵器の国際規制
（毎日新聞2019年8月16日 東京朝刊）

[5] 致死性自律型ロボット (LARs) の 国際法規制をめぐる新動向、岩本 誠吾、産大法学 47(3・4), 509–476, 2014–01、京都産業大学法学会

[6] 今後の軍事科学技術の進展と軍備管理等に係る一考察 ― 自律型致死兵器システム(LAWS)の規制等について―、川口 礼人、防衛研究所紀要第 19 巻第 1 号(2016 年 12 月)

[7] 自律型致死性無人兵器システム（LAWS）、佐藤丙午、国際問題 №672(2018年6月)

[8] Department of Defense Directive 3000.09: Autonomy in Weapon Systems, November 21, 2012