JP7161979B2

JP7161979B2 - 説明支援装置、および、説明支援方法

Info

Publication number: JP7161979B2
Application number: JP2019138154A
Authority: JP
Inventors: 一則和久井; 博章三沢; 博基古川
Original assignee: Hitachi Industry and Control Solutions Co Ltd
Current assignee: Hitachi Industry and Control Solutions Co Ltd
Priority date: 2019-07-26
Filing date: 2019-07-26
Publication date: 2022-10-27
Anticipated expiration: 2039-07-26
Also published as: JP2021022159A

Description

本発明は、説明支援装置、および、説明支援方法に関する。

深層学習（DL：Deep Learning）などの学習アルゴリズムを画像認識技術に用いることで、高精度な画像判定モデルを機械学習させる試みが行われている。画像判定モデルが出力した判定結果は、例えば、画像データに記載されている数字である。
なお、機械学習された画像判定モデルによる認識演算の具体的な中身は、ブラックボックス（人間が理解困難）である。よって、画像データのどの部分に影響されて判定結果を導き出したのかという根拠情報を知りたいという要望がある。そこで、説明可能な人工知能（XAI：Explainable Artificial Intelligence）により、ブラックボックス部分の解明が行われている。

例えば、非特許文献１には、「ブラックボックスの判定結果をどのように説明できますか？影響関数を使用することで、ロバスト統計からモデルの認識を追跡します。線形モデルと畳み込みニューラルネットワークでは、影響関数が複数の目的に役立つことを示します。」と記載されている。
なお、影響関数とは、非構造化データに対して、特定の学習データの有無や学習データに加える摂動が判定結果に与える影響を定式化したものである。つまり、ブラックボックスになっている画像判定モデルが出力した判定結果の根拠情報として、影響関数が有用である。

Pang Wei Koh, Percy Liang著、"Understanding Black-box Predictions via Influence Functions"、［online］、2017年3月、［令和1年7月5日検索］、インターネット〈URL：https://arxiv.org/abs/1703.04730〉

複数の画像判定モデルから１つを採用するときなど、画像判定モデルの良し悪しを選別するときに、前記したXAIが出力する判定結果の根拠情報は有用である。
例えば、「画像に写っているのは７である」と正解した２つの画像判定モデルがあったときに、数字の上側に注意して（影響されて）「７」と出力した第１モデルを、数字の下側に注意して「７」と出力した第２モデルよりもユーザは信用する。第２モデルは「７」と「１」との区別ができずに、当てずっぽうに「７」と正解したかもしれないからである。

図２２は、画像判定システム１ｚの一例を示す構成図である。
画像判定システム１ｚは、画像格納部１０１ｚと、画像判定部１０ｚと、注意箇所抽出部１１ｚと、出力部１６ｚとを有する。
画像判定部１０ｚは、画像格納部１０１ｚに格納された各画像データ内に写っている対象物の種類などを判定し、その判定結果を出力する。
注意箇所抽出部１１ｚは、画像判定部１０ｚによる判定結果の根拠情報として、画像判定部１０ｚが判定処理に用いた画像データ内の注意箇所データを抽出する。
出力部１６ｚは、画像格納部１０１ｚの画像データと、その画像データに対する画像判定部１０ｚの判定結果と、その判定結果に対する注意箇所抽出部１１ｚの注意箇所データとを出力する。注意箇所データは、画像判定部１０ｚが画像を判定する際に影響があった箇所であり、例えば、画像データ上の一部の範囲として表示される。

このように、画像データ内のどの部分を根拠情報として、正解の判定結果を導き出せたかをユーザに知らせるため、画像判定時の注意箇所データを画像データ上に重ねて表示することで、注意箇所データの良し悪しをユーザに目視確認させるようなXAIを検討する。
このような目視確認のシステムでは、画像データが大量に存在する場合や、画像データ内の注意箇所データが大量に存在する場合では、ユーザへの負担が大きくなってしまう。

そこで、本発明は、認識モデルによる判定結果に対する根拠情報の妥当性を、効率的に確認させることを、主な課題とする。

前記課題を解決するために、本発明の説明支援装置は、以下の特徴を有する。
本発明は、データベースに登録されている各物体の認識モデルが写っている画像データ内の位置情報の認識結果を画像内物体データとする物体認識部と、
画像データを対象とする物体の判定結果の根拠情報としての画像データ内の注意箇所データを受け、前記注意箇所データと前記画像内物体データとを同一平面上にマッピングし、マッピングされた双方のデータの重なりを求める根拠変換部と、
前記注意箇所データと重なる前記画像内物体データについての情報をもとに、各前記注意箇所データの根拠説明情報を生成して出力する説明生成部とを有することを特徴とする。
その他の手段は、後記する。

本発明によれば、認識モデルによる判定結果に対する根拠情報の妥当性を、効率的に確認させることができる。

本発明の一実施形態に関する説明支援装置の構成図である。本発明の一実施形態に関する画像格納部に格納された画像データを示す図である。本発明の一実施形態に関する認識モデルＤＢを示す図である。本発明の一実施形態に関する図３の認識モデルＤＢに登録された車認識モデルの詳細を示す図である。本発明の一実施形態に関する説明支援装置のメイン処理を示すフローチャートである。本発明の一実施形態に関する根拠変換部の処理の詳細を示すフローチャートである。本発明の一実施形態に関する注意箇所抽出部が抽出した注意箇所データを示す図である。本発明の一実施形態に関する図７の注意箇所データの詳細を示すテーブルである。本発明の一実施形態に関するで物体認識部が認識した画像内物体データを示す図である。本発明の一実施形態に関する図９の画像内物体データの詳細を示すテーブルである。本発明の一実施形態に関する根拠変換部による図７の注意箇所データと図９の画像内物体データとのマッピング処理を示す図である。本発明の一実施形態に関する図１１において根拠変換部が作成した説明候補データを示すテーブルである。本発明の一実施形態に関する図１２の説明候補データから集計部が計算した説明集計情報を示すテーブルである。本発明の一実施形態に関する図１２の説明候補データから説明生成部が作成した根拠説明情報の表示画面図である。本発明の一実施形態に関する注意箇所抽出部が抽出した注意箇所データを示す図である。本発明の一実施形態に関する図１５の注意箇所データの詳細を示すテーブルである。本発明の一実施形態に関する物体認識部が認識した画像内物体データを示す図である。本発明の一実施形態に関する図１７の画像内物体データの詳細を示すテーブルである。本発明の一実施形態に関する根拠変換部による図１５の注意箇所データと図１７の画像内物体データとのマッピング処理を示す図である。本発明の一実施形態に関する図１９において根拠変換部が作成した説明候補データを示すテーブルである。本発明の一実施形態に関する図１３の状態から、さらに図２０の説明候補データを加味して集計部が計算した説明集計情報を示すテーブルである。画像判定システムの一例を示す構成図である。

以下、本発明の一実施形態を、図面を参照して詳細に説明する。

図１は、説明支援装置１の構成図である。
説明支援装置１は、ＣＰＵ（Central Processing Unit）と、メモリと、ハードディスクなどの記憶手段（記憶部）と、ネットワークインタフェースとを有するコンピュータとして構成される。
このコンピュータは、ＣＰＵが、メモリ上に読み込んだプログラム（アプリケーションや、その略のアプリとも呼ばれる）を実行することにより、各処理部により構成される制御部（制御手段）を動作させる。

なお、説明支援装置１は、ローカル環境として構成してもよいし、クラウド環境として構成してもよい。ローカル環境の説明支援装置１は、各構成要素が１台の筐体に収容されるような一般的なＰＣの構成である。クラウド環境の説明支援装置１は、各構成要素が複数台の筐体に分散して収容され、構成要素間のメッセージがネットワーク経由でやりとりされる構成である。

説明支援装置１は、画像格納部１０１と、画像判定部１０と、注意箇所抽出部１１と、物体認識部１２と、認識モデルＤＢ１３と、根拠変換部１４と、説明生成部１５と、出力部１６と、集計部１７とを有する。
以下、図２～図４を参照して画像格納部１０１および認識モデルＤＢ１３のデータ内容を説明し、その他の処理部は図５，図６のフローチャートを用いて説明する。

図２は、画像格納部１０１に格納された画像データを示す図である。図２の画像データには、下部に車１０１ａが大きく写っており、上部に建物１０１ｂが小さく写っている。よって、この画像データに対する画像判定部１０による判定結果は、「車１０１ａが写っている」こととして説明する。

図３は、認識モデルＤＢ１３を示す図である。認識モデルＤＢ１３には、画像データ内の認識対象となる物体を示す「判定対象」ごとに、その認識モデルの名称である「モデル名」と、その認識モデルを構成する各パーツの名称である「パーツ名」とが対応づけられて事前に登録されている。例えば判定対象「車」は、４つのパーツ「フロントグリル、リアグリル、窓、タイヤ」それぞれについて個別に認識モデルが分かれている。よって、画像データ内に存在する車の窓と、車のタイヤとを区別して認識することができる。
一方、判定対象「一般」は、複数のパーツに分割されず、全体で１つの物体として一般認識モデルにより認識される。例えば、図２の建物１０１ｂも、一般認識モデルにより認識される対象である。管理者は、認識モデルＤＢ１３に登録される認識モデルについて、適宜増やしてもよい。

図４は、図３の認識モデルＤＢ１３に登録された車認識モデルの詳細を示す図である。１台の車を構成する４つのパーツ「フロントグリル３０１、リアグリル３０２、窓３０３、タイヤ３０４」の外観形状データが、個別に車認識モデルとして認識モデルＤＢ１３に登録されている。

図５は、説明支援装置１のメイン処理を示すフローチャートである。
Ｓ１１として、画像判定部１０は、画像格納部１０１に格納された各画像データ内に写っている対象物の種類などを判定し、その判定結果を出力する。
Ｓ１２として、注意箇所抽出部１１は、Ｓ１１による判定結果の根拠情報として、画像判定部１０が判定処理に用いた画像データ内の注意箇所データを抽出する。
Ｓ１３として、物体認識部１２は、認識モデルＤＢ１３に登録されている各物体の認識モデルが、画像データのどの位置に写っているかを認識する。この認識結果を、画像内物体データとする。

Ｓ１４として、根拠変換部１４は、Ｓ１２の注意箇所データと、Ｓ１３の画像内物体データとを説明候補データに変換する（詳細は図６）。
Ｓ１５として、説明生成部１５は、Ｓ１４の説明候補データをもとに、各注意箇所データの根拠説明情報を生成する。根拠説明情報は、例えば、説明候補データに含まれる注意箇所データと画像内物体データとのマッピングを示す情報を、人間が読みやすいようにテキストデータに変換した説明文である。
Ｓ１６として、集計部１７は、Ｓ１５で出力される１つ以上の根拠説明情報を対象として、集計処理や分析処理を行った結果の説明集計情報を作成する。
Ｓ１７として、出力部１６は、各注意箇所データの根拠情報に対して、説明生成部１５の根拠説明情報を付加して出力する。また、出力部１６は、Ｓ１６の説明集計情報を出力してもよいし、出力しなくてもよい（Ｓ１６の省略も可）。

図６は、根拠変換部１４の処理（Ｓ１４）の詳細を示すフローチャートである。
根拠変換部１４は、Ｓ１２で抽出された注意箇所データごとに処理対象とし、未処理の注意箇所データが存在しない場合（Ｓ１４１，Ｎｏ）、図６の処理を終了してＳ１５に遷移する。
根拠変換部１４は、処理対象の注意箇所データと、Ｓ１３の画像内物体データとを同一の画像データ内に（同一平面上に）マッピングした後、注意箇所データと重なる画像内物体データが存在するか否かを判定する（Ｓ１４２）。重なる画像内物体データが存在する場合（Ｓ１４２，Ｙｅｓ）、根拠変換部１４は、双方の重なり度合いを示す重なり率を計算する（Ｓ１４３）。

注意箇所データと重なっている画像内物体データが存在しない場合、または、注意箇所データと重なっているが重なり率が未計算となる画像内物体データが存在しない場合（Ｓ１４２，Ｎｏ）、処理をＳ１４４に進める。
根拠変換部１４は、処理対象の注意箇所データに対して重なる画像内物体データごとの重なり率をソートし、例えば、重なり率が最大の画像内物体データを抽出する（Ｓ１４４，Ｙｅｓ）。そして、根拠変換部１４は、抽出した画像内物体データを処理対象の注意箇所データに対する説明候補データとする（Ｓ１４５）。

以上説明した各フローチャートの処理を明らかにするために、以下の２つの事例を用いて詳細な説明を行う。
・正しい判定結果に対して、正しい根拠情報を認識できたときの事例（図７～図１４）
・正しい判定結果であるが、誤った根拠情報を認識してしまったときの事例（図１５～図２１）
この２つの事例は、ともに画像判定部１０が図２の画像データ内に写っている対象物が「車」であるという正解の判定結果を出力したとする（Ｓ１１）。

図７は、Ｓ１１で注意箇所抽出部１１が抽出した注意箇所データを示す図である。画像格納部１０１の画像データ内に、横軸（X軸）と縦軸（Y軸）とで区切られたセルを、格子状の破線で示す。「車」であるという正解の判定結果に対して、その車の一部である妥当な注意箇所データ２０１ａ～２０１ｃが抽出されている。
図８は、図７の注意箇所データの詳細を示すテーブルである。各注意箇所データは、注意箇所のＩＤ（ここでは図７の符号）と、その画像内での大きさ（セルいくつ分か）と、座標とを対応づける。注意箇所データの座標は、例えば、注意箇所データ２０１ａの左上のセル位置(X4,Y5)と、右下のセル位置(X5,Y4)との組み合わせで表現される。

図９は、Ｓ１３で物体認識部１２が認識した画像内物体データを示す図である。例えば、図４のフロントグリル３０１の形状データを検索キーとして、物体認識部１２は、画像データ内に類似または一致する箇所を検索し、左上のセル位置(X2,Y4)から右下のセル位置(X2,Y2)までの領域に存在するフロントグリル４０１を検索結果の画像内物体データとする。
このように、図９の画像格納部１０１の画像データ内に、物体認識部１２が認識した画像内物体データ（フロントグリル４０１、リアグリル４０２、窓４０３、タイヤ４０４）を四角形で記載した。
図１０は、図９の画像内物体データの詳細を示すテーブルである。画像内物体データは、認識に用いられた検索キーの認識モデルと、その検索キーが合致した認識結果のＩＤ（図９の画像内物体データを示す各符号）と、その認識位置（左上のセル位置～右下のセル位置）との対応データである。

図１１は、Ｓ１４２で根拠変換部１４による図７の注意箇所データと図９の画像内物体データとのマッピング処理を示す図である。
根拠変換部１４は、注意箇所データ２０１ａ～２０１ｃと、画像内物体データ（フロントグリル４０１、リアグリル４０２、窓４０３、タイヤ４０４）とを同一平面上にマッピングする。これにより、マッピングされた双方のデータに、重なりが発生する。
根拠変換部１４は、例えば、重なり率の判定はＩＯＵ（Intersectin over Union）を用いて重なり率を計算し（Ｓ１４３）、重なり率が大きい画像内物体データを注意箇所データに対応づける（Ｓ１４４，Ｓ１４５）。例えば、注意箇所データ２０１ｂとフロントグリル４０１とは重なり率が「高」と判定される。

図１２は、図１１において根拠変換部１４が作成した説明候補データを示すテーブルである。
説明候補データは、注意箇所データと、その大きさと、その座標（左上のセル位置～右下のセル位置）と、重なる物体の画像内物体データと、重なり対象の判定結果とを対応づけて構成される。
重なり対象の判定結果とは、「正」または「否」のいずれかの値を取る。例えば、注意箇所データ２０１ａは、重なる物体（窓４０３）が存在し、かつ、その重なる物体は画像データの判定結果「車」の一部（パーツ）であるので、重なり対象の判定結果「正」となる。同様に、他の注意箇所データ２０１ｂ，２０１ｃも、「車」の一部（パーツ）と重なるので、重なり対象の判定結果「正」となる。
このように、根拠変換部１４は、説明候補データとして重なる物体の有無だけでなく、重なる物体の正否も自動的に求めることで、ユーザの目視確認作業の負担を軽減する。

図１３は、図１２の説明候補データから集計部１７が計算した説明集計情報を示すテーブルである。
前記した図１２の説明候補データは合計３行（３つの注意箇所データ２０１ａ～２０１ｃ）が存在するので、注意箇所は「３」である。そのうち、重なり対象の判定結果「正」となる正解箇所は「３」であり、判定結果「否」となる間違い箇所は「０」である。
このような集計処理を集計部１７が行うことで、個々の重なり対象だけでなく、画像データ全体での大まかな認識モデルの精度を求めることができる。例えば、集計部１７は、注意箇所は「３」÷正解箇所は「３」＝正解率１００％を求める。

図１４は、図１２の説明候補データから説明生成部１５が作成した根拠説明情報の表示画面図である。
表示画面の上欄５０１には、図２の画像データの上に、図１１のマッピング内容が重ねて表示されている。
表示画面の下欄５０２には、図１２で示した説明候補データをテキストデータに変換した説明文が表示されている。
これにより、ユーザは、３つの注意箇所データ２０１ａ～２０１ｃそれぞれについて、個別に「車」の一部と正しくマッピングされていることを容易に把握できる。
以上、図７～図１４を参照して、正しい根拠情報の事例を説明した。

以下、図１５～図２１は、誤った根拠情報の事例である。
図１５は、Ｓ１１で注意箇所抽出部１１が抽出した注意箇所データを示す図である。図７の事例とは異なり、「車」であるという正解の判定結果に対して、車とは関係ない部分の注意箇所データ２０２ａ，２０２ｂが抽出されている。
図１６は、図１５の注意箇所データの詳細を示すテーブルである。このテーブルは図８と同じ形式である。

図１７は、Ｓ１３で物体認識部１２が認識した画像内物体データを示す図である。物体認識部１２は、図９と同様に、車の認識モデルから車１０１ａの画像内物体データ（フロントグリル４０１、リアグリル４０２、窓４０３、タイヤ４０４）を認識する。さらに、物体認識部１２は、一般認識モデルから建物１０１ｂの画像内物体データ（建物４１０）を認識する。
図１８は、図１７の画像内物体データの詳細を示すテーブルである。このテーブルは図１０と同じ形式である。

図１９は、Ｓ１４２で根拠変換部１４による図１５の注意箇所データと図１７の画像内物体データとのマッピング処理を示す図である。
図１１の場合（注意箇所データ２０１ａ～２０１ｃ）とは異なり、図１９の注意箇所データ２０２ａはどの画像内物体データとも重なっておらず、図１９の注意箇所データ２０２ｂは建物４１０と重なっている。一方、車のパーツ（フロントグリル４０１、リアグリル４０２、窓４０３、タイヤ４０４）と重なる注意箇所データは存在しない。
図２０は、図１９において根拠変換部１４が作成した説明候補データを示すテーブルである。このテーブルは図１２と同じ形式である。
ここで、図１２の場合とは異なり、重なり対象の判定結果は２つの注意箇所データ２０２ａ，２０２ｂでともに「否」である。注意箇所データ２０２ａは重なる物体が検出されなかったので「否」となり、注意箇所データ２０２ｂは車ではない建物４１０（誤った物体）との重なりが検出されたので「否」となる。

図２１は、図１３の状態から、さらに図２０の説明候補データを加味して集計部１７が計算した説明集計情報を示すテーブルである。
まず、図２０の説明候補データは、単体では注意箇所＝２，正解箇所＝０，間違い箇所＝２である。そして、集計部１７は、図１３の状態（注意箇所＝３，正解箇所＝３，間違い箇所＝０）に、図２０の状態を加算することで、図２１に示す説明集計情報を作成する。
このように、複数の根拠説明情報を集計することで、判定結果の根拠情報の精度を大まかに把握できる。

以上説明した本実施形態では、説明生成部１５は、注意箇所データと画像内物体データとの関係をもとに、根拠情報に対応する根拠説明情報を作成する。これにより、根拠説明情報をユーザに容易に理解させるとともに、集計部１７に対して集計処理のための有益な入力データを提供する。
さらに、図１４に示した表示画面のように、根拠情報に対応する根拠説明情報が人が解るような説明文で表示されるので、非構造化データである画像データに対する分析処理において、ユーザの目視確認作業の負担を軽減することができる。

なお、本発明は前記した実施例に限定されるものではなく、検査対象物の種類、サイズ、実行される検査項目などの様々な変形例が含まれる。例えば、前記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。
また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。
また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。また、上記の各構成、機能、処理部、処理手段などは、それらの一部または全部を、例えば集積回路で設計するなどによりハードウェアで実現してもよい。
また、前記の各構成、機能などは、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。

各機能を実現するプログラム、テーブル、ファイルなどの情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）などの記録装置、または、ＩＣ（Integrated Circuit）カード、ＳＤカード、ＤＶＤ（Digital Versatile Disc）などの記録媒体に置くことができる。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際にはほとんど全ての構成が相互に接続されていると考えてもよい。

１説明支援装置
１０画像判定部
１１注意箇所抽出部
１２物体認識部
１３認識モデルＤＢ（データベース）
１４根拠変換部
１５説明生成部
１６出力部
１７集計部
１０１画像格納部

Claims

データベースに登録されている各物体の認識モデルが写っている画像データ内の位置情報の認識結果を画像内物体データとする物体認識部と、
画像データを対象とする物体の判定結果の根拠情報としての画像データ内の注意箇所データを受け、前記注意箇所データと前記画像内物体データとを同一平面上にマッピングし、マッピングされた双方のデータの重なりを求める根拠変換部と、
前記注意箇所データと重なる前記画像内物体データについての情報をもとに、各前記注意箇所データの根拠説明情報を生成して出力する説明生成部とを有することを特徴とする
説明支援装置。
前記説明生成部は、前記根拠説明情報として、前記注意箇所データごとに重なる前記画像内物体データを示す説明文を生成することを特徴とする
請求項１に記載の説明支援装置。
前記データベースには、前記判定結果として認識された物体を構成するパーツごとに、認識モデルが登録されていることを特徴とする
請求項１に記載の説明支援装置。
前記説明支援装置は、さらに、前記根拠説明情報の集計結果を計算して出力する集計部を有することを特徴とする
請求項１に記載の説明支援装置。
説明支援装置は、物体認識部と、根拠変換部と、説明生成部とを有しており、
前記物体認識部は、データベースに登録されている各物体の認識モデルが写っている画像データ内の位置情報の認識結果を画像内物体データとし、
前記根拠変換部は、画像データを対象とする物体の判定結果の根拠情報としての画像データ内の注意箇所データを受け、前記注意箇所データと前記画像内物体データとを同一平面上にマッピングし、マッピングされた双方のデータの重なりを求め、
前記説明生成部は、前記注意箇所データと重なる前記画像内物体データについての情報をもとに、各前記注意箇所データの根拠説明情報を生成して出力することを特徴とする
説明支援方法。