あなたのお金、郵便番号、友人、家族によって、刑事制度があなたをどう扱うかは大きく変わる。

ニューサウスウェールズ警察は最近、「容疑者ターゲット管理計画」として広く非難されたプログラムを廃止した。これは、アルゴリズムによるリスクスコアを使って、警察の監視対象となる「ターゲット」、なかには10歳にも満たない若者を選別するものだった。

しかし、同様のプログラムは依然として実施されている。例えば、ニューサウスウェールズ州の矯正サービスでは、受刑者が再犯するかどうかを予測するためにLSI-Rと呼ばれる統計的評価ツールを使用している。

「リスクの高い」受刑者は「高強度の介入」を受け、仮釈放を拒否されることもある。リスク・スコアは、「犯罪者の友人」、犯罪や薬物への家族の関与、経済的問題、「犯罪多発地域」への居住、頻繁な住所変更などの事実から算出される。

予測アルゴリズムとは、データのパターンに基づいて、コンピューター（時には人間）が従うべきルールの集合である。偏った検索エンジンから健康データベースに至るまで、アルゴリズムがどのように私たちを差別するかについては、これまで多くのことが書かれてきた。

新しく出版された私の著書『Artificial Justice（人工的な正義）』では、貧困や家庭環境といった要因に基づいて私たちの行動を予測するツールの使用も心配すべきだと主張している。私たちが罰せられるとしたら、それは配られたカードのせいではなく、私たちが悪いことをしたときだけであるべきだ。

アルゴリズムが私たちを見ている

アルゴリズムは、世界中の刑事司法システムで使用されているリスクスコアを生成する。英国では、OASys（犯罪者評価システム）が、保釈、仮釈放、量刑の決定を形作る、裁判官に与えられる判決前情報の一部として使用されている。米国では、COMPASと呼ばれるツールが同様の役割を果たしている。

リスク・スコアは刑事司法以外でも使用されており、その生成には必ずしもコンピューターが必要なわけではない。「オピオイド・リスク・ツール（Opioid Risk Tool）」として知られる短い調査は、オーストラリアをはじめ世界中の医師が、患者が薬を誤用するかどうかを予測することで、急性疾患や慢性疾患に対して鎮痛剤を処方するかどうかを決定するのに役立っている。

予測アルゴリズムは文字通り命を救うものであり、臓器提供者の割り振り、患者のトリアージ、緊急の医療処置の決定などに使われている。しかし、不当な不平等を生み出し、維持する可能性もある。

警察が犯罪の「ホットスポット」をパトロールするのに役立つアルゴリズム「クライムバスター」を開発したとしよう。低所得者層が住む地域と犯罪を関連付けるデータを使うのだ。犯罪」を直接測定することはできないので、代わりに検挙率に注目する。

しかし、こうした地域の検挙率が高いという事実は、警察がその地域のパトロールに多くの時間を費やしていることを物語っているにすぎないかもしれない。このような集中的な取り締まりを行う正当な理由がないのであれば、クライムバスターを展開することは、このような偏見を政策として位置づけることになる。

アルゴリズムが私たちを裁く

統計を使って意図的な行動、つまり私たちが選択した行動を予測すると、問題はさらに深まる。

これは、誰かが「有害な」従業員になるかどうか、犯罪を犯すかどうか、薬物を乱用するかどうかの予測かもしれない。

こうした予測に影響を与える要因が公表されることはほとんどない。英国の量刑アルゴリズムOASysでは、家庭内暴力の被害者であるかどうかがその要因に含まれている。

アメリカのCOMPASシステムは、両親の離婚や幼少期の虐待を把握している。オピオイドリスクツールでは、患者の家族に薬物乱用の既往歴があるかどうか、患者（女性の場合）に「思春期以前の性的虐待」の既往歴があるかどうかを尋ねている。

いずれの場合も、こうした事実があると、刑務所に入ったり、治療を受けられなかったりする可能性が高くなる。

私たちは皆、自分自身に忠実な選択をし、自分のニーズや目標を満たすチャンスを得たいと思っている。そして、うまく選択できないとして特別扱いされるのではなく、他の人々と同じ選択肢が与えられることを望んでいる。

彼らが容易に影響を及ぼすことができない事実のために誰かを罰するとき、私たちはまさにこれを行っている。

万が一のために人々を監禁することはできない

問題はアルゴリズムの使用そのものではない。19世紀、イタリアの医師Cesare Lombrosoは、不格好な頭蓋骨、広い顎、長い手足、大きな耳といった身体的特徴から「生まれながらの犯罪者」を特定できると主張した。

それから間もなくして、イギリスの犯罪学者Charles Goringがこの考えを実行に移し、ある種の「欠陥」のある精神的特徴が「投獄の運命」を不可避なものにしていると主張した。

犯罪リスク評価の世界では、アルゴリズムによって何が起こっているのかが見えにくくなっている。

しかし見てみると、起こっていることはLombroso-Goringのビジョンによく似たものであることがわかる。つまり、私たちは人をあたかも悪いことをする運命にあるかのように扱い、念のために閉じ込めておく（あるいは監禁しておく）のである。

公的機関は、そのような判断の背後にある予測を伝える事実を公表するよう求められるべきである。機械学習は、このような公表要件が満たされる場合にのみ、またその範囲でのみ使用されるべきである。そうすることで、どこで線を引くかについて有意義な会話をすることが容易になる。

刑事司法の文脈では、その線引きは明確だ。私たちは、身体的、精神的、社会的な特徴ではなく、悪い行いに対してのみ厳しい処罰を下すべきなのだ。このようなアプローチをとるガイドラインは数多くあり、オーストラリアの機関はこの一線を守るべきなのだ。

犯罪に対する罰則が適用された後、受刑者は、その友人や家族、経済的地位、あるいは他人の手による扱いを理由に、差別的な扱いを受けたり、長く収容されたりすべきではない。

本記事は、Tatiana Dancy氏によって執筆され、The Conversationに掲載された記事「Algorithms that predict crime are watching – and judging us by the cards we’ve been dealt」について、Creative Commonsのライセンスおよび執筆者の翻訳許諾の下、翻訳・転載しています。