データポイズニングとは、攻撃者がAIの学習用データの改ざん・削除を行い、AIの性能や出力精度を低下させるサイバー攻撃です。仮に攻撃者にすべての学習用データが書き換えられた場合は出力精度が大幅に低下し、業務で継続的にAIを使用するのが困難になります。

本記事ではデータポイズニングの種類に加え、AIとセキュリティーの両面から被害を防ぐ対策を紹介します。
学習用データの保護体制やAIのセキュリティー対策強化に取り組んでいる方は、最後までご覧ください。

標的型攻撃とは特定のキーワードやデータに対して、AIが誤作動や不具合を起こすように仕掛ける攻撃です。たとえば、オンラインの本人認証サービスを提供していたとします。攻撃者は事前学習で収集した人物画像のデータへアクセスし、特定の人物だけ髪色の変化やメガネの着用、傷跡を追加するなどの加工を行い、誤認識を発生させるといったケースです。

標的型攻撃は特定のパターンに合致しない限り、AIの性能や出力結果が落ちないため、早期発見に至るのが困難です。

非標的型攻撃とは、機械学習の精度やAIの性能を全体的に低下させることを目的とした攻撃です。事前学習で使用したデータの改ざんや削除を実施し、AIが間違った情報や不適切な表現を含んだ回答を提示するように導きます。

また、悪質な場合は機密情報の流出やスパムメールの送信など、不正行為を招く内容をデータに混入し、ターゲット企業に多大な損失を与えます。

バックドア攻撃とは特定の内容を含むデータに対して、誤作動を引き起こす仕掛けを設置するサイバー攻撃です。攻撃者は脆弱性を悪用してAI内部に侵入し、特定のデータに対して誤った認識や回答の提示など、誤作動を招くプログラムを設置します。

バックドア攻撃はどのデータがきっかけで誤作動や不具合が起こるのか、人間の目では識別が困難です。また、攻撃者が設定したパターンにデータの内容が当てはまらない限り、AIは通常通り作動するため、攻撃の発見や対策が遅れる傾向にあります。

誤ったラベル付け攻撃とは、AIが事前学習したデータにラベルを割り当てる際、学習内容と異なるラベルを張り付けるサイバー攻撃です。

たとえば、肉と魚を画像から識別する訓練をしていたとします。攻撃者は意図的に肉の画像に割り当てたラベルを魚に変え、AIが間違った回答を提示するように誘導します。

誤ったラベル付け攻撃を継続的に仕掛けられると、事前学習や追加学習を定期的に実施していても、AIの回答・分析精度は高まりません。最悪の場合は質問に対して正しい出力が望めず、AIに任せられる業務がなくなる可能性も生じます。

データインジェクション攻撃とは、攻撃者が事前学習のデータに不正行為や誤作動を誘発するデータを注入するサイバー攻撃です。たとえば、飲料メーカーが新製品開発に向け、ターゲット層を特定するためのデータを集計していたとします。

データインジェクション攻撃を仕掛けられた場合、特定の年代や性別を差別する表現が混じったデータが含まれているリスクが生じます。

仮にデータの中身を十分に確認しないまま活用すると、ターゲット層の共感を得られないだけでなく、顧客からの信用低下やブランドイメージの失墜を招きかねません。

また、データインジェクション攻撃は、攻撃者がどのデータに不正な内容を注入したか、発生源の特定が難しい点にも注意が必要です。

データ操作攻撃とは、攻撃者が事前学習で使用したデータの改ざんや削除などを試みるサイバー攻撃です。データの一部が削除・改ざんされた場合、データ分析や問い合わせ回答の精度は大幅に低下するおそれが高まります。

また、攻撃者に誤作動や不正行為を誘発するデータを仕掛けられた場合、AIの使用自体がリスクとなります。多大な損失を避けるには、AIを業務で実用化する前に異変に気付かなければなりません。

AIの出力精度を高めるには、データクレンジングを定期的に実施することが重要です。データクレンジングとは、データベースに保存されているデータの不備を修正し、正確性や一貫性、完全性を高める作業です。主な作業内容は以下のとおりです。

• 重複内容の削除
• 古い内容の更新
• 入力漏れや誤記載の修正
• 半角と全角の統一
• カタカナ表記とアルファベット表記の統一

AIの出力結果はデータの質と量に大きく影響します。ただし、膨大な量のデータを準備できたとしても、入力漏れや誤記載、重複が多く混じっている場合、AIの分析・回答精度は高まりません。

また、データを入力・更新する際のルールを決めておくことも重要です。システムやデータベースなどの運用ルールが明確になると、データクレンジングの頻度を減らしつつ、AIの出力精度を高められます。

たとえば、「企業名は株式会社まで入力する」「5年以上更新していないデータは削除する」などと決めておくと、入力漏れや更新漏れの発生件数を減らせます。

公共機関のサイトや運営実績が豊富なサイトなど、信頼できる情報源しか利用しないのも有効な対策です。情報源を限定していれば、仮にデータポイズニングを仕掛けられたとしても、どのデータが改ざんや削除の対象にされたか、早期に判別が可能です。対策を素早く講じられるようになり、被害範囲を抑えられる可能性が高まります。

また、予測と実際の数値が大きくかけ離れたサンプルデータは、機械学習で使用するデータから除外しておくことも必要です。データベースへ不正アクセスされた場合、攻撃者にサンプルデータを悪用されるリスクが高まります。

機械学習の精度やAIの出力結果にも悪影響を与えるため、機械学習で使用するデータは数値を見極めながら、選別する必要もあります。

異常検知とは大量のデータを分析する過程で、通常とは大きく異なる数値やパターン、動作結果などを示すデータを検出することです。AIを構成する機械学習は大量のデータを分析するなかで、データの規則性や傾向などを見出す点が特徴です。

異常検知の仕組みを機械学習に実装すれば、機械学習の働きによって通常とは明らかに異なる動きを示すデータを検知できます。異常検知の仕組みを実装する方法は、教師あり・なし学習や生成モデルなど、さまざまな選択肢が挙げられます。

ただし、いずれの方法を選択する場合でも、すぐに異常を正確に検知できるとは限りません。検知精度を高めるには大量のデータを学習したうえで、しきい値の設定や学習モデルの見直しなど、試行錯誤を重ねる必要があります。

敵対的学習の実施で、バックドア攻撃や誤ったラベル付け攻撃など、データポイズニングを仕掛けられた場合も、AIが異常を検知しやすくなります。敵対的学習を重ねておくと、AIが攻撃者の仕掛けた誤作動を招く細工や異常を正確に検知できる確率が高まるためです。

敵対的学習とは通常の学習データをわずかに加工したデータを学習し、誤作動や不正行為を招くデータの特徴を学習することです。使用されるデータは、人間の目では確認できない、または違和感を覚えない内容に設計されている点が特徴です。

たとえば、入退室管理で使用する顔認証システムを開発していたとします。敵対的学習では従業員の画像データとともに、ピクセル単位で色や変化、大きさを変更したデータをともに学習させます。

敵対的サンプルを数多く学んでおくことで、データポイズニングを検知できる可能性が高まります。

AIやデータベースには特定の従業員のみがアクセスできるよう、アクセス権限の付与範囲を最小限に抑えることが重要です。従業員が自由にアクセスできる状態だと、機密情報の改ざんや削除、流出するリスクが高まります。

たとえば、待遇や評価、人間関係などに不満をもった従業員が、勤務先へダメージを与えるため、意図的に機密情報を流出したとしても不思議ではありません。

また、アクセス権を過剰に付与すると、第三者から脆弱性やアカウント情報を悪用された際、AIやデータベースに不正アクセスを許す可能性も高まります。

多要素認証の導入で、攻撃者がAIやデータベースへ簡単に侵入できない環境を整備し、データポイズニングの発生リスクを減らせます。多要素認証とは知識情報や所持情報、生体情報の3要素のうち、異なる2種類以上の要素を組み合わせて本人確認を行う認証方法です。

たとえば、本人認証に所持情報と生体情報を活用したとします。所持情報ではスマートフォンのSMSに表示されたワンタイムパスワードの入力を求め、生体認証では指紋認証を行うといった流れです。

多要素認証では本人しか知り得ない情報や所持しているアイテム、身体的特徴を活用するため、第三者がコピーや偽造をするのが困難です。

また、仮にアカウント情報が流出しても、所持情報や生体情報を入力できない限り、本人認証を突破できません。多要素認証の導入で、不正アクセスやデータポイズニングによる被害発生リスクを削減できます。

SIEMの導入で、社内ネットワークに発生した脅威を早期に検知・可視化する体制が整い、データポイズニングの被害を未然に防げます。

SIEM（Security Information and Event Management）とは、システムやサーバー、ネットワーク機器などから、リアルタイムのログデータを収集・分析するセキュリティーツールです。

IT資産全般から取得したログデータを過去のデータと比較したうえで、異常が発生していないかを可視化する仕組みです。ログデータを分析する際、これまで蓄積してきた多くのデータと照らし合わせることで、サイバー攻撃やマルウェアなど、脅威を早期に検知できます。

また、2つのログデータの関係性を比較すると、これまで検知できなかった脅威も検出できます。たとえば、営業時間外に従業員が自身のパソコンを利用していないにもかかわらず、基幹システムへのログイン履歴があった場合、不正アクセスの可能性が考えられるためです。

SIEMの導入でデータポイズニングだけでなく、自社の情報資産を狙う脅威を早期に検知できる体制が整います。

SOARの導入で、データポイズニングを含めて脅威を検知した際に素早く対応できる体制が整い、被害を防げる可能性が高まります。

SOAR（Security Orchestration, Automation and Response）とは、サイバー攻撃やマルウェアなどの脅威を検知した際、自動で対応するセキュリティーツールです。

オーケストレーション機能によって、社内で導入しているセキュリティーツール同士を連携させ、個々のツールが収集した情報を集約します。オートメーション機能が集約した情報の分析を行い、脅威を検知した際は優先順位付けや不審なアクセスのブロックなどを行います。

SOARは作業手順書の内容に沿って対応を進めるため、システム管理者の不在時に対応品質が低下する心配はいりません。

また、レスポンス機能の働きで、脅威の隔離や感染したデバイスの切断など、ネットワーク全体に被害が拡大しないようにします。あわせてシステム管理者への通知や報告、対応状況の可視化なども自動で行うため、システム管理者は素早い対応が可能です。

AI向けセキュリティー診断サービスの利用で、データポイズニングの脅威を軽減できる可能性が高まります。豊富な知識をもつ方が自社のセキュリティー対策を評価し、客観的な視点から現状の課題や今後強化すべき点を教えてもらえるためです。

また、プロンプトインジェクションやハルシネーションの発生など、データポイズニング以外のリスクを指摘してもらえる点もメリットです。通常では発見しにくい脆弱性やリスクも見つかった場合は、攻撃者に悪用される前に対策を講じられます。

ただし、AIに特化したセキュリティー診断サービスを提供する企業は、少ない傾向です。依頼先を選ぶ際は、導入実績やリピート率、サービス内容など、さまざまな点を比較して、選ぶことが重要です。