JP7350622B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明の実施形態は、画像処理装置、画像処理方法及びプログラムに関する。

画像等の入力データを学習済の機械学習モデルに入力することにより当該入力データに係る推定結果を取得し、当該取得した推定結果の根拠をユーザに提示するための手法が近年提案されている。

しかし、従来から知られている手法によれば、例えば、前述の推定結果の根拠を構成する複数の因子間の関係性をユーザに認識させることが困難である、という問題点がある。また、従来から知られている手法によれば、例えば、前述の推定結果の根拠を構成する各因子に係る包括的な説明を行うことができない、という問題点がある。

日本国特開２０１９－５６９８３号公報 日本国特開２０１８－１８０７９４号公報

富士 秀 他、"Ｄｅｅｐ Ｔｅｎｓｏｒとナレッジグラフを融合した説明可能なＡＩ"、［ｏｎｌｉｎｅ］、［令和１年１０月２８日検索］、インターネット＜ＵＲＬ：ｈｔｔｐｓ：／／ｗｗｗ．ｆｕｊｉｔｓｕ．ｃｏｍ／ｊｐ／ｄｏｃｕｍｅｎｔｓ／ａｂｏｕｔ／ｒｅｓｏｕｒｃｅｓ／ｐｕｂｌｉｃａｔｉｏｎｓ／ｍａｇａｚｉｎｅ／ｂａｃｋｎｕｍｂｅｒ／ｖｏｌ６９－４／ｐａｐｅｒ１４．ｐｄｆ＞

実施形態は、学習済の機械学習モデルにより得られた推定結果に関連する情報をユーザが認識し易い形態で提示することが可能な画像処理装置、画像処理方法及びプログラムを提供することを目的とする。

実施形態の画像処理装置は、部分状態推定部と、統合状態推定部と、表示処理部と、を有する。前記部分状態推定部は、元画像を分割して得られた複数の部分画像を学習済の機械学習モデルに個別に入力することにより、前記機械学習モデルから出力結果として、前記複数の部分画像のうちの一の部分画像内において特異な状態が発生していると推定される注目領域の位置及び個数を特定可能な部分状態推定結果を取得するとともに、前記注目領域の状態を説明可能な文字列を有する部分状態説明情報を生成する。前記統合状態推定部は、前記部分状態推定結果及び前記部分状態説明情報のうちの少なくとも一方を用い、前記元画像内において発生していると推定される状態を説明可能な文字列を含む統合状態説明情報を生成するためのルールベースの処理を行う。前記表示処理部は、前記複数の部分画像のうちの１つ以上の部分画像を用いて生成された表示画像に含まれる前記注目領域を視認可能とするための非言語的な視覚情報と、前記統合状態説明情報に含まれる文字列である統合状態説明文と、を併せて表示させるための処理を行う。前記機械学習モデルは、複数の学習用データを用いて学習済みであり、前記学習用データは、学習画像と、マーキング情報と、注目領域説明情報と、を有する。前記マーキング情報及び前記注目領域説明情報は、学習画像に含まれる被写体を目視等で確認した作業者の判断により作成及び付加されており、前記マーキング情報は、前記画像の前記注目領域の位置及び個数を特定可能である。前記注目領域説明情報は、前記注目領域の状態を説明するための文字列を有する領域個別情報と、複数の注目領域各々の状態の関係性に基づいて特定される状態を説明するための文字列を有する領域関係性情報と、を含んでいる。前記ルールベースの処理は、予めルール格納部に格納されているルール情報に基づき行われる演算処理であり、前記ルール情報には、専門家の知識に基づいて設定された、処理優先度、処理内容、処理結果、及び、説明情報が予め設定されている。前記統合状態推定部は、前記処理優先度の順に、前記処理内容の処理を行い、前記処理結果に応じた前記説明情報から、前記統合状態説明情報を生成する。

実施形態に係る画像処理装置を含む画像処理システムの構成の一例を示す図。 実施形態に係る画像処理装置の構成の一例を示す図。 実施形態に係る画像処理装置における機械学習モデルの学習時に用いられる学習用データを説明するための図。 実施形態に係る画像処理装置の処理に用いられるテーブルデータの一例を示す図。 実施形態に係る画像処理装置において行われる処理の具体例を示すフローチャート。 実施形態に係る画像処理装置の処理に応じて表示される表示画像の一例を示す図。 実施形態に係る画像処理装置の処理に応じて表示される表示画像の一例を示す図。 部分画像とヒートマップとの間の関係を説明するための図。 実施形態に係る画像処理装置の処理により表示可能な表示画像の一例を示す図。 実施形態に係る画像処理装置の処理により表示可能な表示画像の一例を示す図。 実施形態に係る画像処理装置の処理により表示可能な表示画像の一例を示す図。 実施形態に係る画像処理装置の処理により表示可能な表示画像の一例を示す図。

以下、実施形態について、図面を参照しつつ説明を行う。

図１から図１２は、実施形態に係るものである。

画像処理システム１０１は、図１に示すように、撮像装置１と、画像処理装置２と、入力Ｉ／Ｆ（インターフェース）３と、表示装置４と、を有して構成されている。図１は、実施形態に係る画像処理装置を含む画像処理システムの構成の一例を示す図である。

撮像装置１は、例えば、イメージセンサを有して構成されている。また、撮像装置１は、被写体を撮像して画像を取得するとともに、当該取得した画像を画像処理装置２へ出力するように構成されている。なお、本実施形態においては、説明の便宜上、撮像装置１から画像処理装置２へ出力される画像を元画像と称するものとする。

画像処理装置２は、例えば、１つ以上のプロセッサ２０１と、記憶媒体２０２と、を有するコンピュータとして構成されている。また、画像処理装置２は、撮像装置１から出力される元画像に対して処理を施すことにより表示画像を生成するとともに、当該生成した表示画像を表示装置４へ出力するように構成されている。また、画像処理装置２は、入力Ｉ／Ｆ３から出力される指示を検出し、当該検出した指示に応じた表示画像等を生成して表示装置４へ出力するように構成されている。

入力Ｉ／Ｆ３は、例えば、マウス、キーボード及びタッチパネル等のような、ユーザにより操作可能な入力デバイスを有して構成されている。また、入力Ｉ／Ｆ３は、表示装置４に表示される表示画像に含まれるメイン画像（後述）の拡大率を所望の拡大率に設定するための指示を行うことができるように構成されている。また、入力Ｉ／Ｆ３は、メイン画像を表示装置４の表示画面に表示する際の中心点に相当するとともに、当該メイン画像の拡大率を変更する際の基準点に相当する注目位置を設定するための指示を行うことができるように構成されている。

表示装置４は、例えば、液晶モニタ等を有して構成されている。また、表示装置４は、画像処理装置２から出力される表示画像及び表示情報等を表示することができるように構成されている。

画像処理装置２は、例えば、図２に示すように、分割処理部２１と、部分状態推定部２２と、活性化度検出部２３と、統合処理部２４と、統合状態推定部２５と、処理結果格納部２６と、表示処理部２７と、を有して構成されている。図２は、実施形態に係る画像処理装置の構成の一例を示す図である。

分割処理部２１は、撮像装置１から出力される元画像を所定の方法で分割することによりＰ（Ｐ≧２）個の部分画像を生成するとともに、当該生成したＰ個の部分画像を部分状態推定部２２へ順次出力するように構成されている。

部分状態推定部２２は、分割処理部２１から出力されるＰ個の部分画像を学習済の機械学習モデル２２Ａに個別に入力することにより、当該Ｐ個の部分画像のうちの一の部分画像内において特異な状態が発生していると推定される注目領域の位置及び個数を特定可能な部分状態推定結果を取得するとともに、当該注目領域の状態を説明可能な文字列を有する部分状態説明情報を生成するように構成されている。また、部分状態推定部２２は、前述の部分状態推定結果と、前述の部分状態推定結果を取得するために機械学習モデル２２Ａに入力した一の部分画像と、を活性化度検出部２３へ出力するように構成されている。また、部分状態推定部２２は、前述の部分状態推定結果と、前述の部分状態説明情報と、前述の部分状態推定結果を取得するために機械学習モデル２２Ａに入力した一の部分画像と、を統合処理部２４及び処理結果格納部２６へそれぞれ出力するように構成されている。

機械学習モデル２２Ａは、入力層と、ＣＮＮ（畳み込みニューラルネットワーク）及びＲＮＮ（再帰型ニューラルネットワーク）等を用いて形成された隠れ層と、出力層と、を有して構成されている。また、機械学習モデル２２Ａは、セマンティックセグメンテーション（画像における画素単位の領域分類）及びイメージキャプション（画像内に含まれる被写体に応じた説明を行うための文字列の生成）に係る機能を有するマルチモーダルモデルとして構成されている。具体的には、機械学習モデル２２Ａは、例えば、図３に示すような学習用データ３１を用い、ＤｅｎｓｅＣａｐ等のような（マルチモーダルな）深層学習モデルに対してファインチューニングを施したモデルとして構成されている。図３は、実施形態に係る画像処理装置における機械学習モデルの学習時に用いられる学習用データを説明するための図である。

学習用データ３１には、例えば、分割処理部２１における分割方法と同様の方法で元画像を分割して得られた一の部分画像に相当する学習画像３１Ａと、学習画像３１Ａ内におけるＫ個の注目領域の位置及び個数を特定可能な枠等に相当するマーキング情報３１Ｂと、当該Ｋ個の注目領域の状態を説明するための文字列を有する注目領域説明情報３１Ｃと、が含まれている。また、注目領域説明情報３１Ｃには、マーキング情報３１Ｂにより特定されるＫ個の注目領域各々の状態を説明するための文字列を有する領域個別情報４１と、マーキング情報３１Ｂにより特定されるＫ個の注目領域の中から抽出した複数の注目領域各々の状態の関係性に基づいて特定される状態を説明するための文字列を有する領域関係性情報４２と、が含まれている。

マーキング情報３１Ｂ及び注目領域説明情報３１Ｃは、例えば、学習画像３１Ａに含まれる被写体を目視等で確認した作業者の判断により作成及び付加される。

本実施形態によれば、機械学習モデル２２Ａの学習時において、以上に述べたような構成を有するＫ≧２の学習用データ３１に加え、Ｋ＝０及び／またはＫ＝１の学習用データ３１が併せて用いられ得る。なお、Ｋ＝０の学習用データ３１は、学習画像３１Ａを含む一方で、マーキング情報３１Ｂ及び注目領域説明情報３１Ｃを含まないデータとして構成されている。また、Ｋ＝１の学習用データ３１は、学習画像３１Ａと、マーキング情報３１Ｂと、領域個別情報４１と、を含む一方で、領域関係性情報４２を含まないデータとして構成されている。

活性化度検出部２３は、部分状態推定部２２から出力される部分状態推定結果及び一の部分画像に基づき、当該部分状態推定結果の取得時に機械学習モデル２２Ａの隠れ層が活性化された度合に相当する活性化度を当該一の部分画像に含まれる画素毎に検出するための処理を行うように構成されている。また、活性化度検出部２３は、前述のように検出した活性化度、すなわち、部分状態推定部２２から出力される一の部分画像における画素毎の活性化度を示す活性化度情報を生成し、当該生成した活性化度情報を処理結果格納部２６へ出力するように構成されている。

統合処理部２４は、部分状態推定部２２から出力される部分画像、部分状態推定結果及び部分状態説明情報を蓄積するように構成されている。また、統合処理部２４は、Ｐ個の部分画像を蓄積した際に、撮像装置１から出力される元画像に基づいて当該Ｐ個の部分画像を結合することにより、当該元画像と同一の画像に相当する統合画像を生成するように構成されている。また、統合処理部２４は、前述の統合画像と、前述の統合画像の生成に用いたＰ個の部分画像とともに蓄積した部分状態推定結果及び部分状態説明情報と、を併せて統合状態推定部２５へ出力するように構成されている。

統合状態推定部２５は、統合処理部２４から出力される部分状態推定結果及び部分状態説明情報のうちの少なくとも一方を用い、統合処理部２４から出力される統合画像内において発生していると推定される状態、すなわち、撮像装置１から出力される元画像内において発生していると推定される状態を説明可能な文字列を含む統合状態説明情報を生成するためのルールベースの処理を行うように構成されている。また、統合状態推定部２５は、演算処理部２５Ａと、説明情報生成部２５Ｂと、ルール格納部２５Ｃと、を有して構成されている。

演算処理部２５Ａは、ルール格納部２５Ｃに格納されているルール情報に基づき、統合処理部２４から出力される部分状態推定結果及び部分状態説明情報のうちの少なくとも一方を用いた演算処理を行うように構成されている。

説明情報生成部２５Ｂは、演算処理部２５Ａの演算処理により得られた処理結果と、ルール格納部２５Ｃに格納されているルール情報と、に基づき、統合処理部２４から出力される統合画像内において発生していると推定される状態を説明可能な文字列を含む統合状態説明情報を生成するように構成されている。また、説明情報生成部２５Ｂは、前述の統合状態説明情報を処理結果格納部２６へ出力するように構成されている。

ルール格納部２５Ｃには、演算処理部２５Ａにより行われる演算処理の処理内容と、当該演算処理により得られた処理結果と、当該処理結果に対応する統合状態説明情報と、の間の関係を示すルール情報が格納されている。

具体的には、ルール格納部２５Ｃには、ルール情報として、例えば、図４に示すようなテーブルデータＴＤＡが格納されている。図４は、実施形態に係る画像処理装置の処理に用いられるテーブルデータの一例を示す図である。

ルール格納部２５Ｃに格納されるルール情報は、例えば、所定の分野における専門家等の知識に基づいて設定される。

具体的には、図４のテーブルデータＴＤＡにおいては、「処理優先度」、「処理内容」、「処理結果」及び「説明情報」の各欄に書き込まれる内容が、所定の分野における専門家等の知識に基づいて設定される。

ここで、図４のテーブルデータＴＤＡがルール格納部２５Ｃに格納されている場合において行われる処理の例について説明する。

演算処理部２５Ａは、ルール格納部２５Ｃに格納されているテーブルデータＴＤＡの「処理内容」欄の処理を、当該テーブルデータＴＤＡの「処理優先度」欄に設定された順番に沿って行う。

具体的には、演算処理部２５Ａは、例えば、テーブルデータＴＤＡの「処理優先度」が「１」に設定された処理として、統合処理部２４から出力される部分状態説明情報に含まれる所定の説明文Ｘの個数をカウントする処理を行う。また、演算処理部２５Ａは、例えば、テーブルデータＴＤＡの「処理優先度」が「２」に設定された処理として、統合処理部２４から出力される部分状態推定結果に含まれる全ての注目領域が統合画像内において占める割合を算出する処理を行う。

説明情報生成部２５Ｂは、演算処理部２５Ａの演算処理により得られた処理結果がテーブルデータＴＤＡの「処理結果」欄の条件に該当している場合に、当該テーブルデータＴＤＡの「処理優先度」に沿った演算処理を停止させるための制御を演算処理部２５Ａに対して行うとともに、当該条件に対応する説明文を当該テーブルデータＴＤＡの「説明情報」欄から取得する処理を行う。また、説明情報生成部２５Ｂは、テーブルデータＴＤＡの「説明情報」欄から取得した説明文を含む統合状態説明情報を生成し、当該生成した統合状態説明情報を処理結果格納部２６へ出力する処理を行う。

具体的には、説明情報生成部２５Ｂは、例えば、統合処理部２４から出力される部分状態説明情報に含まれる所定の説明文Ｘの個数がＴＡ個以上であるとの処理結果が得られた場合には、テーブルデータＴＤＡの「処理優先度」が「２」以上に設定された演算処理を停止させるための制御を演算処理部２５Ａに対して行うとともに、テーブルデータＴＤＡの「説明情報」欄から説明文ＹＡを取得する処理を行う。また、統合処理部２４から出力される部分状態推定結果に含まれる全ての注目領域が統合画像内において占める割合がＴＢ％以上であるとの処理結果が得られた場合には、テーブルデータＴＤＡの「処理優先度」が「３」以上に設定された演算処理を停止させるための制御を演算処理部２５Ａに対して行うとともに、テーブルデータＴＤＡの「説明情報」欄から説明文ＹＢを取得する処理を行う。

なお、説明情報生成部２５Ｂは、例えば、テーブルデータＴＤＡの「処理内容」欄の各処理が「処理優先度」欄に設定された順番に沿って行われることにより得られた処理結果が当該テーブルデータＴＤＡの「処理結果」欄のいずれの条件にも該当しないことを検出した場合に、当該テーブルデータＴＤＡから所定の説明文ＹＮを取得するための処理を行うものとする。また、説明文ＹＮは、例えば、「問題なし」等のような、統合処理部２４から出力される統合画像内において説明を要する状態が発生していないことを示す文字列を有していればよい。また、テーブルデータＴＤＡの「説明情報」欄における説明文ＹＮ以外の説明文は、統合処理部２４から出力される部分状態推定結果及び部分状態説明情報のうちの少なくとも一方に基づいて特定される統合画像の状態を説明可能な文字列を有していればよい。

処理結果格納部２６は、部分状態推定部２２から出力されるＰ個の部分画像と、当該Ｐ個の部分画像各々に対応する部分状態推定結果及び部分状態説明情報と、活性化度検出部２３から出力される活性化度情報と、統合状態推定部２５から出力される統合状態説明情報と、を関連付けて格納するように構成されている。

表示処理部２７は、情報取得部２７Ａと、表示画像生成部２７Ｂと、表示情報生成部２７Ｃと、表示制御部２７Ｄと、を有して構成されている。

情報取得部２７Ａは、入力Ｉ／Ｆ３において行われた指示を検出するとともに、当該検出した指示に基づいて表示画像生成部２７Ｂ、表示情報生成部２７Ｃ及び表示制御部２７Ｄの処理に用いられる情報を取得するための処理を行うように構成されている。具体的には、情報取得部２７Ａは、入力Ｉ／Ｆ３において行われた指示の検出結果に基づき、表示装置４に表示されているメイン画像の拡大率を示す情報と、当該メイン画像内において設定された注目位置を示す情報と、をそれぞれ取得するための処理を行うように構成されている。

表示画像生成部２７Ｂは、処理結果格納部２６に格納されているＰ個の部分画像のうちの少なくとも１つの部分画像を用い、情報取得部２７Ａにより取得された情報に含まれる拡大率及び注目位置に応じたメイン画像を生成するように構成されている。すなわち、表示画像生成部２７Ｂにより生成されたメイン画像は、情報取得部２７Ａにより取得された情報に含まれる注目位置と表示画面の中心とが一致し、かつ、当該情報に含まれる拡大率を有する画像として表示装置４に表示される。また、表示画像生成部２７Ｂは、例えば、撮像装置１から出力される元画像を縮小することによりサブ画像を生成するように構成されている。また、表示画像生成部２７Ｂは、説明の表示の有無の切り替えに係る指示を行うことが可能な説明表示切替用ＧＵＩ（グラフィカルユーザインターフェース）を生成するように構成されている。また、表示画像生成部２７Ｂは、後述の統合状態説明文を表示するための説明文表示欄を生成するように構成されている。また、表示画像生成部２７Ｂは、メイン画像の内部の所定の領域にサブ画像を重畳するとともに、当該メイン画像の外部に説明表示切替用ＧＵＩ及び説明文表示欄を配置することにより表示画像を生成するように構成されている。また、表示画像生成部２７Ｂは、後述の注目領域枠が表示情報生成部２７Ｃにより生成された場合に、当該注目領域枠をメイン画像に重畳するように構成されている。また、表示画像生成部２７Ｂは、撮像装置１から出力される元画像と、情報取得部２７Ａにより取得された情報に含まれる拡大率及び注目位置と、に基づき、表示装置４に表示されているメイン画像の表示範囲を当該元画像の中から特定するとともに、当該特定した表示範囲を示す表示範囲枠をサブ画像に重畳するように構成されている。

表示情報生成部２７Ｃは、処理結果格納部２６から読み込んだ情報に応じた表示情報を生成するように構成されている。具体的には、表示情報生成部２７Ｃは、処理結果格納部２６から読み込んだ部分状態推定結果に基づき、メイン画像に１つ以上の注目領域が含まれていることを検出した際に、当該１つ以上の注目領域の周囲を領域毎に囲む注目領域枠を生成するように構成されている。また、表示情報生成部２７Ｃは、処理結果格納部２６から読み込んだ部分状態推定結果及び部分状態説明情報に基づき、メイン画像に１つ以上の注目領域が含まれていることを検出した際に、当該部分状態説明情報に含まれる文字列に応じた部分状態説明文を生成するように構成されている。なお、本実施形態によれば、前述の部分状態説明文が、例えば、処理結果格納部２６から読み込んだ統合状態説明情報に含まれる文字列から抽出した単語または熟語として生成されるものであってもよい。また、表示情報生成部２７Ｃは、処理結果格納部２６から読み込んだ部分状態推定結果及び活性化度情報に基づき、メイン画像に１つ以上の注目領域が含まれていることを検出した際に、当該１つ以上の注目領域に対応するヒートマップ（後述）を生成するように構成されている。また、表示情報生成部２７Ｃは、処理結果格納部２６から読み込んだ統合状態説明情報に含まれる文字列に応じた統合状態説明文を生成するように構成されている。

表示制御部２７Ｄは、表示画像生成部２７Ｂにより生成された表示画像を表示装置４に表示させるための処理を行うように構成されている。また、表示制御部２７Ｄは、説明表示切替用ＧＵＩの操作状態に基づき、説明を表示させるための指示が入力Ｉ／Ｆ３において行われたことを検出した際に、統合状態説明文を説明文表示欄に表示させるための処理を行うように構成されている。また、表示制御部２７Ｄは、説明表示切替用ＧＵＩの操作状態に基づき、説明を表示させるための指示が入力Ｉ／Ｆ３において行われたことを検出した際に、表示情報生成部２７Ｃにより生成された一の注目領域に対応する部分状態説明文及びヒートマップを当該一の注目領域の近傍に併せて表示させるための処理を行うように構成されている。

なお、本実施形態においては、画像処理装置２の各部の機能が、プロセッサ２０１及び記憶媒体２０２を含むハードウェアにより実現されるようにしてもよい。または、本実施形態においては、例えば、画像処理装置２の各部の機能を実現するためのプログラムが記憶媒体２０２に格納されているとともに、プロセッサ２０１が当該プログラムを読み込んで実行するようにしてもよい。コンピュータ読取可能な記憶媒体２０２としては、ＣＤ－ＲＯＭ等の光ディスク、ＤＶＤ－ＲＯＭ等の相変化型光ディスク、ＭＯ（Ｍａｇｎｅｔ Ｏｐｔｉｃａｌ）やＭＤ（Ｍｉｎｉ Ｄｉｓｋ）などの光磁気ディスク、フロッピー（登録商標）ディスクやリムーバブルハードディスクなどの磁気ディスク、コンパクトフラッシュ（登録商標）、スマートメディア、ＳＤメモリカード、メモリスティック等のメモリカードが挙げられる。また、本発明の目的のために特別に設計されて構成された集積回路（ＩＣチップ等）等のハードウェア装置も記憶媒体として含まれる。

続いて、本実施形態の作用について、図５等を参照しつつ説明する。図５は、実施形態に係る画像処理装置において行われる処理の具体例を示すフローチャートである。

なお、本実施形態においては、所定の金属の金属組織を被写体として撮像して得られた元画像が撮像装置１から画像処理装置２へ出力されるとともに、当該元画像に応じたＰ個の部分画像が分割処理部２１により生成される場合を例に挙げて説明する。また、本実施形態においては、分割処理部２１から出力される一の部分画像を学習済の機械学習モデル２２Ａに入力することにより、当該一の部分画像に含まれる金属組織の品質の低下を発生させる要因が存在すると推定される箇所を注目領域として示すような部分状態推定結果と、当該要因を説明可能な説明文を有する部分状態説明情報と、が取得されるものとして説明する。

表示画像生成部２７Ｂは、情報取得部２７Ａにより取得された情報に含まれる拡大率及び注目位置に基づき、処理結果格納部２６に格納されているＰ個の部分画像のうちの少なくとも１つの部分画像を用い、メイン画像と、サブ画像と、説明表示切替用ＧＵＩと、説明文表示欄と、を有する表示画像を生成するための処理を行う（図５のステップＳ１）。

ここで、図５のステップＳ１の処理が行われた場合には、例えば、図６に示すような表示画像ＤＧＡが表示装置４に表示される。図６は、実施形態に係る画像処理装置の処理に応じて表示される表示画像の一例を示す図である。

表示画像ＤＧＡは、メイン画像ＭＧＡ及びサブ画像ＳＧＡを有している。また、表示画像ＤＧＡの上部かつメイン画像ＭＧＡの外部に相当する部分には、説明表示切替用ＧＵＩとしてのチェックボックスＣＢが設けられている。なお、図６においては、チェックボックスＣＢにチェックが入っていない状態、すなわち、説明を表示させるための指示が行われていない状態を示している。また、表示画像ＤＧＡの下部かつメイン画像ＭＧＡの外部に相当する部分には、説明文表示欄ＤＣが設けられている。また、表示画像ＤＧＡにおいては、処理結果格納部２６に格納されている部分状態推定結果により示される注目領域ＩＲＡを囲む注目領域枠ＩＧＡがメイン画像ＭＧＡに重畳されている。また、表示画像ＤＧＡにおいては、撮像装置１から出力される元画像の中央部付近がメイン画像ＭＧＡの表示範囲であることを示す矩形の表示範囲枠ＦＧＡがサブ画像ＳＧＡの内部に重畳されている。

メイン画像ＭＧＡは、撮像装置１から出力される元画像の中央部付近を注目位置として設定した状態において、情報取得部２７Ａにより取得された情報に含まれる拡大率に応じて当該元画像を拡大した画像に相当する。

サブ画像ＳＧＡは、撮像装置１から出力される元画像を縮小した画像に相当する。

表示制御部２７Ｄは、図５のステップＳ１の処理が行われた後に、説明表示切替用ＧＵＩの操作状態に基づき、説明を表示させるための指示が入力Ｉ／Ｆ３において行われたか否かに係る判定処理を行う（図５のステップＳ２）。

表示制御部２７Ｄは、説明を表示させるための指示が入力Ｉ／Ｆ３において行われたとの判定結果を得た（Ｓ２：ＹＥＳ）場合には、表示情報生成部２７Ｃにより生成された統合状態説明文を説明文表示欄に表示させるための処理（図５のステップＳ３）と、表示情報生成部２７Ｃにより生成された一の注目領域に対応する部分状態説明文及びヒートマップを当該一の注目領域の近傍に表示させるための処理（図５のステップＳ４）と、を行った後、一連の処理を終了させる。また、表示制御部２７Ｄは、説明を表示させるための指示が入力Ｉ／Ｆ３において行われていないとの判定結果を得た（Ｓ２：ＮＯ）場合には、図５のステップＳ３及びステップＳ４の処理をスキップして一連の処理を終了させる。

ここで、表示画像ＤＧＡが表示装置４に表示されている状態で図５のステップＳ３及びステップＳ４の処理が行われた場合には、例えば、図７に示すような表示画像ＤＧＢが表示装置４に表示される。図７は、実施形態に係る画像処理装置の処理に応じて表示される表示画像の一例を示す図である。

表示画像ＤＧＢは、メイン画像ＭＧＢ及びサブ画像ＳＧＡを有している。なお、図７においては、チェックボックスＣＢにチェックが入っている状態、すなわち、説明を表示させるための指示が行われた状態の例を示している。また、表示画像ＤＧＢにおける説明文表示欄ＤＣには、撮像装置１から出力される元画像内において発生していると推定される状態を説明するための統合状態説明文ＩＥＡが表示されている。

メイン画像ＭＧＢは、メイン画像ＭＧＡにおける注目領域ＩＲＡの近傍に当該注目領域ＩＲＡを指し示す形状を有する吹き出しＦＫＡを追加した画像に相当する。

吹き出しＦＫＡの内部には、注目領域枠ＩＧＡにより囲まれている注目領域ＩＲＡにおいて発生していると推定される特異な状態を説明するための部分状態説明文ＰＥＡ及びヒートマップＨＭＡが併せて表示されている。

部分状態説明文ＰＥＡは、機械学習モデル２２Ａの学習時に用いられる学習用データ３１の領域個別情報４１の内容に応じた文として表示される。そのため、本実施形態によれば、図７の部分状態説明文ＰＥＡとして例示した文（「析出物が存在する」）とは異なる文が吹き出しＦＫＡの内部に表示され得る。

統合状態説明文ＩＥＡは、ルール格納部２５Ｃに格納されているルール情報（テーブルデータＴＤＡの「説明情報」欄）の内容に応じた文として表示される。そのため、本実施形態によれば、図７の統合状態説明文ＩＥＡとして例示した文（「析出物が多数あり、それらが全体の２割を占めるため、不良と判断する」）とは異なる文が説明文表示欄ＤＣに表示され得る。

ヒートマップＨＭＡは、例えば、図８に示すように、注目領域ＩＲＡを含む一の部分画像ＢＧＡの各画素を、活性化度検出部２３により検出された活性化度の高さに応じて色分けした活性化度画像として生成される。図８は、部分画像とヒートマップとの間の関係を説明するための図である。

具体的には、ヒートマップＨＭＡは、例えば、注目領域ＩＲＡに含まれる画素を赤色及び黄色等の暖色で着色するとともに、注目領域ＩＲＡに含まれない画素を青色及び水色等の寒色で着色した画像として生成される。換言すると、ヒートマップＨＭＡは、一の部分画像ＢＧＡが部分状態推定部２２に入力された場合において、機械学習モデル２２Ａの隠れ層の活性化度が所定値以上になった画素を赤色及び黄色等の暖色で着色するとともに、当該隠れ層の活性化度が当該所定値未満になった画素を青色及び水色等の寒色で着色した画像として生成される。なお、図８のヒートマップＨＭＡにおいては、図示の便宜上、注目領域ＩＲＡに含まれる画素（暖色で着色された画素）に対して濃度の高いハッチングパターンを付与しているとともに、注目領域ＩＲＡに含まれない画素（寒色で着色された画素）に対して濃度の低いハッチングパターンを付与している。

本実施形態によれば、チェックボックスＣＢにチェックが入っている状態において、吹き出しＦＫＡが常に表示されるものに限らず、例えば、入力Ｉ／Ｆ３からの指示に応じて当該吹き出しＦＫＡの表示状態が切り替わるようにしてもよい。具体的には、例えば、チェックボックスＣＢにチェックが入っている状態において、注目領域ＩＲＡを選択する指示が入力Ｉ／Ｆ３において行われる毎に、部分状態説明文ＰＥＡ及びヒートマップＨＭＡを内部に配置した吹き出しＦＫＡが表示される状態と、当該吹き出しＦＫＡが表示されない状態と、を交互に切り替えるようなトグル動作が行われるようにしてもよい。

なお、本実施形態においては、図５のフローチャートに示した処理を適宜変形することにより、例えば、ステップＳ４の後でステップＳ３の処理が行われるようにしてもよい。また、本実施形態においては、図５のフローチャートに示した処理を適宜変形することにより、例えば、ステップＳ３及びステップＳ４の処理が並行して行われるようにしてもよい。

以上に述べた処理等によれば、表示処理部２７は、処理結果格納部２６に格納されている複数の部分画像のうちの１つ以上の部分画像を用いて生成された表示画像ＤＧＢのメイン画像ＭＧＢに含まれる注目領域ＩＲＡを視認可能とするための非言語的な視覚情報に相当する注目領域枠ＩＧＡと、処理結果格納部２６から読み込んだ統合状態説明情報に含まれる文字列に応じて生成した統合状態説明文ＩＥＡと、を併せて表示させるための処理を行う。また、以上に述べた処理等によれば、表示処理部２７は、注目領域枠ＩＧＡと、統合状態説明文ＩＥＡと、処理結果格納部２６から読み込んだ部分状態説明情報に含まれる文字列に応じて生成した部分状態説明文ＰＥＡと、を併せて表示させるための処理を行う。また、以上に述べた処理等によれば、表示処理部２７は、処理結果格納部２６から読み込んだ部分状態推定結果及び活性化度情報に基づき、注目領域ＩＲＡを含む一の部分画像ＢＧＡの各画素を、活性化度検出部２３により検出された活性化度の高さに応じて色分けしたヒートマップＨＭＡ（活性化度画像）を生成するための処理を行うとともに、当該ヒートマップＨＭＡ及び部分状態説明文ＰＥＡを併せて表示させるための処理を行う。

本実施形態によれば、例えば、撮像装置１から出力される元画像のうちの統合状態説明文による説明が適用される範囲を示す説明範囲枠を生成するための処理が表示情報生成部２７Ｃにより行われるとともに、当該説明範囲枠をサブ画像に重畳するための処理が表示制御部２７Ｄにより行われるようにしてもよい。そして、このような処理によれば、例えば、図９に示すような、表示画像ＤＧＢにおけるサブ画像ＳＧＡの周囲を囲む説明範囲枠ＴＧＡが追加された表示画像ＤＧＣを表示装置４に表示させることができる。すなわち、表示画像ＤＧＣにおいては、統合状態説明文ＩＥＡによる説明が適用される範囲が撮像装置１から出力される元画像の全域であることを示す説明範囲枠ＴＧＡがサブ画像ＳＧＡの周囲に表示されている。図９は、実施形態に係る画像処理装置の処理により表示可能な表示画像の一例を示す図である。

本実施形態によれば、例えば、ルール格納部２５Ｃに格納されるルール情報を適宜設定することにより、撮像装置１から出力される元画像のうちのユーザの所望の範囲において発生していると推定される状態を説明するための文字列を含む情報を統合状態説明情報として生成するための処理が説明情報生成部２５Ｂにより行われ、当該統合状態説明情報に含まれる文字列に応じた統合状態説明文を生成するための処理と、当該所望の範囲を示す説明範囲枠を表示するための処理と、が表示情報生成部２７Ｃにより行われ、当該説明範囲枠をサブ画像に重畳するための処理が表示制御部２７Ｄにより行われるようにしてもよい。そして、このような処理によれば、例えば、図１０に示すような、表示画像ＤＧＢにおけるサブ画像ＳＧＡの内部に説明範囲枠ＴＧＢが追加されるとともに、統合状態説明文ＩＥＡとは異なる統合状態説明文ＩＥＢが説明文表示欄ＤＣに表示された表示画像ＤＧＤを表示装置４に表示させることができる。図１０は、実施形態に係る画像処理装置の処理により表示可能な表示画像の一例を示す図である。

本実施形態によれば、例えば、ヒートマップを非表示にさせるための指示が入力Ｉ／Ｆ３において行われた場合等に、図５のステップＳ４の処理のうちのヒートマップの表示に係る処理を省略することができる。また、本実施形態によれば、ヒートマップの表示に係る処理を省略した場合において、図５のステップＳ１の処理に応じて図１１に示すような表示画像ＤＧＥを表示装置４に表示させることができるとともに、図５のステップＳ４の処理に応じて図１２に示すような表示画像ＤＧＦを表示させることができる。

表示画像ＤＧＥは、メイン画像ＭＧＣ及びサブ画像ＳＧＡを有している。なお、図１１においては、チェックボックスＣＢにチェックが入っていない状態、すなわち、説明を表示させるための指示が行われていない状態を示している。また、表示画像ＤＧＥにおいては、処理結果格納部２６に格納されている部分状態推定結果により示される注目領域ＩＲＢを囲む注目領域枠ＩＧＢと、当該部分状態推定結果により示される注目領域ＩＲＣを囲む注目領域枠ＩＧＣと、当該部分状態推定結果により示される注目領域ＩＲＤを囲む注目領域枠ＩＧＤと、がメイン画像ＭＧＣに重畳されている。また、表示画像ＤＧＥにおいては、撮像装置１から出力される元画像の右上部がメイン画像ＭＧＣの表示範囲であることを示す矩形の表示範囲枠ＦＧＢがサブ画像ＳＧＡの内部に重畳されている。

メイン画像ＭＧＣは、撮像装置１から出力される元画像の右上部を注目位置として設定した状態において、情報取得部２７Ａにより取得された情報に含まれる拡大率に応じて当該元画像を拡大した画像に相当する。

表示画像ＤＧＦは、メイン画像ＭＧＤ及びサブ画像ＳＧＡを有している。なお、図１２においては、チェックボックスＣＢにチェックが入っている状態、すなわち、説明を表示させるための指示が行われた状態の例を示している。また、表示画像ＤＧＦにおける説明文表示欄ＤＣには、表示画像ＤＧＢと同じ内容の統合状態説明文ＩＥＡが表示されている。

メイン画像ＭＧＤは、メイン画像ＭＧＣにおける注目領域ＩＲＢの近傍に当該注目領域ＩＲＢを指し示す形状を有する吹き出しＦＫＢを追加し、当該メイン画像ＭＧＣにおける注目領域ＩＲＣの近傍に当該注目領域ＩＲＣを指し示す形状を有する吹き出しＦＫＣを追加し、当該メイン画像ＭＧＣにおける注目領域ＩＲＤの近傍に当該注目領域ＩＲＤを指し示す形状を有する吹き出しＦＫＤを追加した画像に相当する。

吹き出しＦＫＢの内部には、注目領域枠ＩＧＢにより囲まれている注目領域ＩＲＢにおいて発生していると推定される特異な状態を説明するための部分状態説明文ＰＥＢが表示されている。また、吹き出しＦＫＣの内部には、注目領域枠ＩＧＣにより囲まれている注目領域ＩＲＣにおいて発生していると推定される特異な状態を説明するための部分状態説明文ＰＥＣが表示されている。

部分状態説明文ＰＥＢ及びＰＥＣは、機械学習モデル２２Ａの学習時に用いられる学習用データ３１の領域個別情報４１の内容に応じた文として表示される。そのため、本実施形態によれば、図１２の部分状態説明文ＰＥＢとして例示した文（「析出物が存在する」）とは異なる文が吹き出しＦＫＢの内部に表示され得る。また、本実施形態によれば、図１２の部分状態説明文ＰＥＣとして例示した文（「線状組織が存在する」）とは異なる文が吹き出しＦＫＣの内部に表示され得る。

吹き出しＦＫＤの内部には、注目領域ＩＲＤに含まれる（注目領域枠ＩＧＤの内部に存在する）注目領域ＩＲＢにおいて発生していると推定される状態と、当該注目領域ＩＲＤに含まれる注目領域ＩＲＣにおいて発生していると推定される状態と、の間の関係性に基づいて特定される状態を説明するための部分状態説明文ＰＥＤが表示されている。

部分状態説明文ＰＥＤは、機械学習モデル２２Ａの学習時に用いられる学習用データ３１の領域関係性情報４２の内容に応じた文として表示される。そのため、本実施形態によれば、図１２の部分状態説明文ＰＥＤとして例示した文（「品質低下のおそれあり」）とは異なる文が吹き出しＦＫＤの内部に表示され得る。

以上に述べた処理等によれば、表示処理部２７は、処理結果格納部２６に格納されている複数の部分画像のうちの１つ以上の部分画像を用いて生成された表示画像ＤＧＦのメイン画像ＭＧＤに含まれる注目領域ＩＲＢ、ＩＲＣ及びＩＲＤを視認可能とするための非言語的な視覚情報に相当する注目領域枠ＩＧＢ、ＩＧＣ及びＩＧＤと、処理結果格納部２６から読み込んだ統合状態説明情報に含まれる文字列に応じて生成した統合状態説明文ＩＥＡと、を併せて表示させるための処理を行う。また、以上に述べた処理等によれば、表示処理部２７は、注目領域枠ＩＧＢ、ＩＧＣ及びＩＧＤと、統合状態説明文ＩＥＡと、処理結果格納部２６から読み込んだ部分状態説明情報に含まれる文字列に応じて生成した部分状態説明文ＰＥＢ、ＰＥＣ及びＰＥＤと、を併せて表示させるための処理を行う。

以上に述べたように、本実施形態によれば、学習済の機械学習モデル２２Ａの処理結果として得られた部分状態推定結果により示される１つ以上の注目領域において発生していると推定される状態を説明するための情報として、部分状態説明文（及びヒートマップ）を表示装置４に表示させることができる。また、以上に述べたように、本実施形態によれば、学習済の機械学習モデル２２Ａの処理結果として得られた部分状態推定結果及び部分状態説明情報のうちの少なくとも一方を用い、ルール格納部２５Ｃに格納されているルール情報に基づいて処理を行うことにより、撮像装置１から出力される元画像内において発生していると推定される状態を説明するための情報として、統合状態説明文を表示装置４に表示させることができる。従って、本実施形態によれば、学習済の機械学習モデルにより得られた推定結果に関連する情報をユーザが認識し易い形態で提示することができる。

本実施形態によれば、例えば、部分状態推定部２２が、機械学習モデル２２Ａ及び活性化度検出部２３の機能を併せ持つ学習済の機械学習モデルに複数の部分画像を個別に入力することにより、当該複数の部分画像のうちの一の部分画像内において特異な状態が発生していると推定される注目領域の位置及び個数を特定可能な部分状態推定結果を取得し、当該注目領域の状態を説明可能な文字列を有する部分状態説明情報を生成するとともに、当該部分状態推定結果の取得時に当該学習済の機械学習モデルの隠れ層が活性化された度合に相当する活性化度を当該一の部分画像に含まれる画素毎に検出した活性化度情報を生成するようにしてもよい。なお、このような場合には、学習済の機械学習モデルとして、例えば、ＤｅｎｓｅＣａｐの隠れ層にＡｔｔｅｎｔｉｏｎ Ｂｒａｎｃｈ Ｎｅｔｗｏｒｋを組み込んだ深層学習モデルを学習用データ３１により機械学習させたモデルを用いることができる。また、Ａｔｔｅｎｔｉｏｎ Ｂｒａｎｃｈ Ｎｅｔｗｏｒｋの詳細については、例えば、Ｈｉｒｏｓｈｉ Ｆｕｋｕｉ 他３名，“Ａｔｔｅｎｔｉｏｎ Ｂｒａｎｃｈ Ｎｅｔｗｏｒｋ：Ｌｅａｒｎｉｎｇ ｏｆ Ａｔｔｅｎｔｉｏｎ Ｍｅｃｈａｎｉｓｍ ｆｏｒ Ｖｉｓｕａｌ Ｅｘｐｌａｎａｔｉｏｎ”、［ｏｎｌｉｎｅ］、［令和１年１０月２８日検索］、インターネット＜ＵＲＬ：ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ｐｄｆ／１８１２．１００２５．ｐｄｆ＞等のような文献において説明されている。

本発明の実施形態を説明したが、これらの実施形態は、例として示したものであり、本発明の範囲を限定することは意図していない。これら新規の実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１ 撮像装置
２ 画像処理装置
３ 入力インターフェース
４ 表示装置
２１ 分割処理部
２２ 部分状態推定部
２２Ａ 機械学習モデル
２３ 活性化度検出部
２４ 統合処理部
２５ 統合状態推定部
２５Ａ 演算処理部
２５Ｂ 説明情報生成部
２５Ｃ ルール格納部
２６ 処理結果格納部
２７ 表示処理部
２７Ａ 情報取得部
２７Ｂ 表示画像生成部
２７Ｃ 表示情報生成部
２７Ｄ 表示制御部
１０１ 画像処理システム

Claims (7)

1. 元画像を分割して得られた複数の部分画像を学習済の機械学習モデルに個別に入力することにより、前記機械学習モデルから出力結果として、前記複数の部分画像のうちの一の部分画像内において特異な状態が発生していると推定される注目領域の位置及び個数を特定可能な部分状態推定結果を取得するとともに、前記注目領域の状態を説明可能な文字列を有する部分状態説明情報を生成する部分状態推定部と、
   前記部分状態推定結果及び前記部分状態説明情報のうちの少なくとも一方を用い、前記元画像内において発生していると推定される状態を説明可能な文字列を含む統合状態説明情報を生成するためのルールベースの処理を行う統合状態推定部と、
   前記複数の部分画像のうちの１つ以上の部分画像を用いて生成された表示画像に含まれる前記注目領域を視認可能とするための非言語的な視覚情報と、前記統合状態説明情報に含まれる文字列である統合状態説明文と、を併せて表示させるための処理を行う表示処理部と、を有し、
   前記機械学習モデルは、複数の学習用データを用いて学習済みであり、前記学習用データは、学習画像と、マーキング情報と、注目領域説明情報と、を有し、
   前記マーキング情報及び前記注目領域説明情報は、前記学習画像に含まれる被写体を目視等で確認した作業者の判断により作成及び付加されており、前記マーキング情報は、前記学習画像の前記注目領域の位置及び個数を特定可能であり、
   前記注目領域説明情報は、前記注目領域の状態を説明するための文字列を有する領域個別情報と、複数の注目領域各々の状態の関係性に基づいて特定される状態を説明するための文字列を有する領域関係性情報と、を含んでおり、
   前記ルールベースの処理は、予めルール格納部に格納されているルール情報に基づき行われる演算処理であり、前記ルール情報には、専門家の知識に基づいて設定された、処理優先度、処理内容、処理結果、及び、説明情報が予め設定されており、
   前記統合状態推定部は、前記処理優先度の順に、前記処理内容の処理を行い、前記処理結果に応じた前記説明情報から、前記統合状態説明情報を生成することを特徴とする画像処理装置。
2. 前記表示処理部は、前記視覚情報と、前記統合状態説明文と、前記部分状態説明情報に含まれる文字列である部分状態説明文と、を併せて表示させるための処理を行うことを特徴とする請求項１に記載の画像処理装置。
3. 前記部分状態推定結果及び前記一の部分画像に基づき、前記部分状態推定結果の取得時に前記機械学習モデルの隠れ層が活性化された度合に相当する活性化度を前記一の部分画像に含まれる画素毎に検出するための処理を行うことにより活性化度情報を生成する活性化度検出部をさらに有し、
   前記表示処理部は、前記活性化度情報に基づき、前記注目領域を含む前記一の部分画像の各画素を、前記活性化度の高さに応じて色分けした活性化度画像を生成するための処理を行うとともに、前記活性化度画像及び前記部分状態説明文を併せて表示させるための処理を行うことを特徴とする請求項２に記載の画像処理装置。
4. 前記部分状態推定部は、前記複数の部分画像を前記機械学習モデルに個別に入力することにより、前記部分状態推定結果を取得し、前記部分状態説明情報を生成するとともに、前記部分状態推定結果の取得時に前記機械学習モデルの隠れ層が活性化された度合に相当する活性化度を前記一の部分画像に含まれる画素毎に検出した活性化度情報を生成し、
   前記表示処理部は、前記活性化度情報に基づき、前記注目領域を含む前記一の部分画像
   各画素を、前記活性化度の高さに応じて色分けした活性化度画像を生成するための処理を行うとともに、前記活性化度画像及び前記部分状態説明文を併せて表示させるための処理を行うことを特徴とする請求項２に記載の画像処理装置。
5. 前記統合状態推定部は、前記統合状態説明情報として、前記元画像のうちの所望の範囲において発生していると推定される状態を説明するための情報を生成することを特徴とする請求項１に記載の画像処理装置。
6. 元画像を分割して得られた複数の部分画像を学習済の機械学習モデルに個別に入力することにより、前記機械学習モデルから出力結果として、前記複数の部分画像のうちの一の部分画像内において特異な状態が発生していると推定される注目領域の位置及び個数を特定可能な部分状態推定結果を取得するとともに、前記注目領域の状態を説明可能な文字列を有する部分状態説明情報を生成し、
   前記部分状態推定結果及び前記部分状態説明情報のうちの少なくとも一方を用い、前記元画像内において発生していると推定される状態を説明可能な文字列を含む統合状態説明情報を生成するためのルールベースの処理を行い、
   前記複数の部分画像のうちの１つ以上の部分画像を用いて生成された表示画像に含まれる前記注目領域を視認可能とするための非言語的な視覚情報と、前記統合状態説明情報に含まれる文字列である統合状態説明文と、を併せて表示させるための処理を行い、
   前記機械学習モデルは、複数の学習用データを用いて学習済みであり、前記学習用データは、学習画像と、マーキング情報と、注目領域説明情報と、を有し、
   前記マーキング情報及び前記注目領域説明情報は、前記学習画像に含まれる被写体を目視等で確認した作業者の判断により作成及び付加されており、前記マーキング情報は、前記学習画像の前記注目領域の位置及び個数を特定可能であり、
   前記注目領域説明情報は、前記注目領域の状態を説明するための文字列を有する領域個別情報と、複数の注目領域各々の状態の関係性に基づいて特定される状態を説明するための文字列を有する領域関係性情報と、を含んでおり、
   前記ルールベースの処理は、予めルール格納部に格納されているルール情報に基づき行われる演算処理であり、前記ルール情報には、専門家の知識に基づいて設定された、処理優先度、処理内容、処理結果、及び、説明情報が予め設定されており、
   前記ルールベースの処理の後に、前記処理優先度の順に、前記処理内容の処理を行い、前記処理結果に応じた前記説明情報から、前記統合状態説明情報を生成することを特徴とする画像処理方法。
7. コンピュータに、
   元画像を分割して得られた複数の部分画像を学習済の機械学習モデルに個別に入力することにより、前記機械学習モデルから出力結果として、前記複数の部分画像のうちの一の部分画像内において特異な状態が発生していると推定される注目領域の位置及び個数を特定可能な部分状態推定結果を取得するとともに、前記注目領域の状態を説明可能な文字列を有する部分状態説明情報を生成する処理と、
   前記部分状態推定結果及び前記部分状態説明情報のうちの少なくとも一方を用い、前記元画像内において発生していると推定される状態を説明可能な文字列を含む統合状態説明情報を生成するためのルールベースの処理と、
   前記複数の部分画像のうちの１つ以上の部分画像を用いて生成された表示画像に含まれる前記注目領域を視認可能とするための非言語的な視覚情報と、前記統合状態説明情報に含まれる文字列である統合状態説明文と、を併せて表示させるための処理と、を実行させ、
   前記機械学習モデルは、複数の学習用データを用いて学習済みであり、前記学習用データは、学習画像と、マーキング情報と、注目領域説明情報と、を有し、
   前記マーキング情報及び前記注目領域説明情報は、前記学習画像に含まれる被写体を目視等で確認した作業者の判断により作成及び付加されており、前記マーキング情報は、前記学習画像の前記注目領域の位置及び個数を特定可能であり、
   前記注目領域説明情報は、前記注目領域の状態を説明するための文字列を有する領域個別情報と、複数の注目領域各々の状態の関係性に基づいて特定される状態を説明するための文字列を有する領域関係性情報と、を含んでおり、
   前記ルールベースの処理は、予めルール格納部に格納されているルール情報に基づき行われる演算処理であり、前記ルール情報には、専門家の知識に基づいて設定された、処理優先度、処理内容、処理結果、及び、説明情報が予め設定されており、前記ルールベースの処理の後に、前記処理優先度の順に、前記処理内容の処理を行い、前記処理結果に応じた前記説明情報から、前記統合状態説明情報を生成する処理を実行させることを特徴とするプログラム。

Images