JP7343336B2

JP7343336B2 - 検査支援装置および検査支援方法

Info

Publication number: JP7343336B2
Application number: JP2019161508A
Authority: JP
Inventors: 基文福井
Original assignee: Sumitomo Heavy Industries Ltd
Current assignee: Sumitomo Heavy Industries Ltd
Priority date: 2019-09-04
Filing date: 2019-09-04
Publication date: 2023-09-12
Anticipated expiration: 2039-09-04
Also published as: JP2021039609A

Description

本発明は、検査支援装置および検査支援方法に関する。

画像認識技術にもとづく検査装置は、産業機械やプラント、社会インフラでの損傷検出、あるいは医療診断などさまざまな分野で利用されている。多くの場合、こうした検査装置は補助ツールとして使用される。検査装置から出力される画像を人が目視で確認することによって、検査結果が正しいか否かが最終的に判断される。

特開２０１４－１７８３２８号公報

検査装置の出力画像には、たとえば損傷検出装置では、損傷領域と健全領域が示されうる。理想的には、出力画像に表示される損傷領域は、被検査物の損傷部位のみをとらえ、健全な部位は含まないはずである。しかし、これは、この装置が出した答えにすぎない。現実には、表示される損傷領域は、誤検出かもしれず、ほんとうは健全な部位かもしれない。表示される健全領域は、装置が誤って見逃した損傷部位を含むかもしれない。したがって、目視検査者が装置の検査結果をきちんと確認しようとすれば、出力画像のあらゆる領域を注意深く見なければならず、相応の労力が必要となる。

本発明のある態様の例示的な目的のひとつは、画像認識を利用した検査において、目視による最終的な確認作業を支援する技術を提供することにある。

本発明のある態様によると、検査支援装置は、被検査物を撮影した入力画像データを受け、被検査物の対象領域を示す第１出力データを生成する第１画像処理部と、被検査物の対象領域を検出する精度を示す評価指標が第１画像処理部に比べて良好であり、入力画像データを受け、被検査物の対象領域を示す第２出力データを生成する第２画像処理部と、第１出力データと第２出力データの不一致に基づいて、ユーザーに提示すべき注目領域を規定する注目領域データを生成する演算部と、を備える。

本発明のある態様によると、検査支援方法は、被検査物を撮影した入力画像データに基づいて、被検査物の対象領域を示す第１出力データを生成する第１画像処理ステップと、入力画像データに基づいて、被検査物の対象領域を示す第２出力データを生成する第２画像処理ステップと、第１出力データと第２出力データの不一致に基づいて、ユーザーに提示すべき注目領域を規定する注目領域データを生成するステップと、を備える。第２画像処理ステップは、被検査物の対象領域を検出する精度を示す評価指標が第１画像処理ステップに比べて良好である。

本発明のある態様によると、検査支援装置は、被検査物を撮影した入力画像データを受け、入力画像データに基づく第１中間画像データを生成し、所定の性能指標で評価可能である第１画像処理部と、入力画像データを受け、入力画像データに基づく第２中間画像データを生成し、所定の性能指標で評価するとき第１画像処理部と異なる性能指標値をもつ第２画像処理部と、第１中間画像データと第２中間画像データの不一致に基づいて、ユーザーに提示すべき注目領域を規定する注目領域データを生成する演算部と、を備える。

本発明のある態様によると、検査支援方法は、被検査物を撮影した入力画像データに基づいて第１中間画像データを生成する第１画像処理ステップと、入力画像データに基づいて第２中間画像データを生成する第２画像処理ステップと、第１中間画像データと第２中間画像データの不一致に基づいて、ユーザーに提示すべき注目領域を規定する注目領域データを生成するステップと、を備える。第２画像処理ステップは、所定の性能指標で評価するとき第１画像処理ステップと異なる性能指標値をもつ。

なお、以上の構成要素の任意の組み合わせや本発明の構成要素や表現を、方法、装置、システムなどの間で相互に置換したものもまた、本発明の態様として有効である。

本発明によれば、画像認識を利用した検査において、目視による最終的な確認作業を支援する技術を提供することができる。

実施の形態に係る検査支援装置のブロック図である。図２（ａ）から図２（ｃ）は、図１に示される第１前処理部と第２前処理部に実装される視認性向上処理を例示するブロック図である。図２（ａ）に示される視認性向上処理を畳み込みニューラルネットワーク（ＣＮＮ）で実現する構成を例示する図である。図１に示される第１認識処理部を畳み込みニューラルネットワーク（ＣＮＮ）で実現する構成を例示する図である。図１に示される前処理差分演算部で実行される処理を例示するフローチャートである。図１に示される認識処理差分演算部で実行される処理を例示するフローチャートである。実施の形態に係る検査支援方法を示すフローチャートである。図８（ａ）、図８（ｂ）は、ディスプレイに表示されるユーザインターフェイス画面の例を示す。図９（ａ）、図９（ｂ）は、図１に示される第２前処理部および第２認識処理部の学習方法を模式的に示す図である。変形例１に係る検査支援装置のブロック図である。変形例２に係る検査支援装置のブロック図である。

以下、図面を参照しながら、本発明を実施するための形態について詳細に説明する。説明および図面において同一または同等の構成要素、部材、処理には同一の符号を付し、重複する説明は適宜省略する。図示される各部の縮尺や形状は、説明を容易にするために便宜的に設定されており、特に言及がない限り限定的に解釈されるものではない。実施の形態は例示であり、本発明の範囲を何ら限定するものではない。実施の形態に記述されるすべての特徴やその組み合わせは、必ずしも発明の本質的なものであるとは限らない。

図１は、実施の形態に係る検査支援装置１０のブロック図である。検査支援装置１０は、被検査物２００を検査する検査装置１００に搭載される。この実施の形態では、被検査物２００は、たとえばコークス炉のレンガ造りの炉壁である。検査装置１００は、被検査物２００を撮影した画像にもとづいて、損傷領域など被検査物２００の対象領域２０２を画像認識により検出し、対象領域２０２の位置をユーザーに提示する。検査装置１００は、対象領域２０２の位置だけでなく、被検査物２００のたとえば亀裂、欠け、穴などあらかじめ選択された対象領域２０２の種類を画像認識により検出し、対象領域２０２の種類をユーザーに提示してもよい。

検査支援装置１０は、メモリ１２、入力画像選択部１４、第１画像処理部２０、第２画像処理部３０、演算部４０、画像生成部５０を備える。また、検査支援装置１０は、カメラ１１０、ユーザインターフェイス１２０とともに、検査装置１００を構成する。ユーザインターフェイス１２０は、ユーザーからの入力を受け付け、またユーザーに情報を提示するように検査支援装置１０に接続される入力手段１２１およびディスプレイ１２２（またはその他の通知手段）を含みうる。カメラ１１０、ユーザインターフェイス１２０は、検査支援装置１０の構成要素とみなされてもよい。

検査支援装置１０は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）、マイコンなどのプロセッサ（ハードウェア）と、プロセッサ（ハードウェア）が実行するソフトウェアプログラムの組み合わせで実装することができる。たとえば第１画像処理部２０、第２画像処理部３０、演算部４０など図示される機能ブロックは、必ずしも別個のハードウェアとして認識されるものではなく、１つ又は複数のプロセッサとソフトウェアプログラムの組み合わせにより実現される機能を表す。

カメラ１１０は、被検査物２００を撮影するように配置されている。カメラ１１０は、移動可能であってもよく、撮影のために例えばコークス炉内または適切な撮影場所へと待避位置から移動されてもよい。カメラ１１０は、撮影しながら移動されてもよい。カメラ１１０は、例えばコークス炉内の高温環境またはその他の周囲環境からカメラ１１０を保護する保護ハウジング（例えば耐熱ハウジング）に収納されていてもよい。

カメラ１１０は、撮影した画像データ（以下、入力画像データともいう）Ｄ１を提供するように検査支援装置１０に接続されている。カメラ１１０は、静止画または動画を撮影することができる。カメラ１１０は、モノクロ画像またはカラー画像を撮影することができる。カメラ１１０は、入力画像データＤ１をメモリ１２に出力する。カメラ１１０は、被検査物２００を撮影しながら入力画像データＤ１をメモリ１２に逐次出力してもよい。

メモリ１２は、入力画像データＤ１が格納された画像データベースとして機能する。画像データベースは、被検査物２００をカメラ１１０であらかじめ撮影し入力画像データＤ１を取得することによって、事前に構築されてもよい。あるいは、画像データベースは、被検査物２００をカメラ１１０でリアルタイムに撮影しながら入力画像データＤ１をメモリ１２に逐次格納するものでもよい。

入力画像データＤ１のほかに、メモリ１２は、検査支援装置１０が中間的または最終的に生成または出力する画像データなど様々な出力データ、または、検査支援装置１０および検査装置１００に関連するデータを保存しまたは予め保持してもよい。

入力画像選択部１４は、処理されるべき入力画像データＤ１を画像データベースから選択し、選択された入力画像データＤ１を第１画像処理部２０と第２画像処理部３０に提供する。入力画像選択部１４は、カメラ１１０でリアルタイムに撮影した画像を直ちに第１画像処理部２０と第２画像処理部３０に入力してもよい。入力画像選択部１４は、たとえば入力手段１２１から入力されるユーザーの指示に従って、画像データベースのなかから入力画像データＤ１を選択してもよい。入力画像選択部１４は、たとえばディスプレイ１２２への表示のために、選択された入力画像データＤ１を画像生成部５０に出力してもよい。

必要に応じて、入力画像選択部１４は、処理されるべき入力画像データＤ１に前処理を施して、前処理済の入力画像データＤ１を第１画像処理部２０と第２画像処理部３０に提供してもよい。たとえば、画像のデータ量が大きい場合には、入力画像選択部１４は、入力画像データＤ１をたとえば格子状に複数の部分に分割し、第１画像処理部２０と第２画像処理部３０に入力してもよい。入力画像選択部１４は、前処理として、エッジ検出、輝度補正、画像強調など適宜の画像処理を入力画像データＤ１に施してもよい。

第１画像処理部２０は、被検査物２００を撮影した入力画像データＤ１を受け、例えば領域分割、物体検出など、被検査物２００の対象領域２０２を検出する第１画像認識処理を入力画像データＤ１に行い、被検査物２００の対象領域２０２を示す第１出力データＤ３＿１を生成する。同様に、第２画像処理部３０は、入力画像データＤ１を受け、被検査物２００の対象領域２０２を検出する第２画像認識処理を入力画像データＤ１に行い、被検査物２００の対象領域２０２を示す第２出力データＤ３＿２を生成する。

第１画像処理部２０と第２画像処理部３０はそれぞれ、入力画像データＤ１に基づいて、被検査物２００の対象領域２０２を特定することができるように、深層学習などの機械学習により構成される。あるいは、適用可能であれば、第１画像処理部２０と第２画像処理部３０はそれぞれ、様々な被検査物および様々な対象領域についてあらかじめ準備された多数のサンプル画像データと入力画像データＤ１とのパターンマッチングに基づいてもよい。

第１画像処理部２０と第２画像処理部３０は、被検査物２００の対象領域２０２を検出する精度を示す評価指標を用いて事前に性能を評価することができ、第２画像処理部３０は、この評価指標が第１画像処理部２０に比べて良好である。第２画像処理部３０は、第１画像処理部２０と同等の画像認識処理を行うが、第１画像処理部２０よりも高性能である。「高性能」とは、事前に評価用データを用いて評価実験を実施した際によい性能を出力したことを意味する。このような評価指標の例としては、画像分類や物体検出の場合にはＭＡＰ(Mean Average Precision)、領域分割の場合にはmean IOU(Intersection Over Union)が知られている。指標値が高ければ、性能がよいと言える。第１画像処理部２０と第２画像処理部３０は、必ずしも異なるモデルである必要はなく、同一のモデルで単に学習形式の相違で区別されてもよい。

第１出力データＤ３＿１と第２出力データＤ３＿２は、両者の不一致を把握できるように、共通の形式をとる。たとえば、第１画像処理部２０と第２画像処理部３０で物体検出を行う場合には、対象領域２０２を囲むバウンディングボックスの座標と対象領域２０２の種類を示す出力データが出力される。領域分割の場合には、各画素が、対象領域２０２に該当するか否かを示し、または対象領域２０２の種類を示す画素値をもつ二値画像データまたは多値画像データが出力される。

この実施の形態においては、第１画像処理部２０は、入力画像データＤ１に基づいて第１中間画像データＤ２＿１を生成する第１前処理部２１を備える。第１前処理部２１は、入力画像データＤ１に第１視認性向上処理を行い、第１中間画像データＤ２＿１を生成する。よって、第１中間画像データＤ２＿１は、入力画像データＤ１に比べて視認性が向上されている（見やすくなっている）。同様に、第２画像処理部３０は、入力画像データＤ１に基づいて第２中間画像データＤ２＿２を生成する第２前処理部３１を備える。第２前処理部３１は、入力画像データＤ１に第２視認性向上処理を行い、第２中間画像データＤ２＿２を生成する。よって、第２中間画像データＤ２＿２は、入力画像データＤ１に比べて視認性が向上されている。

第１前処理部２１と第２前処理部３１は、所定の性能指標で評価するとき異なる性能指標値をもつ。たとえば、第２前処理部３１は、この性能指標が第１前処理部２１に比べて良好である。視認性向上処理において性能が良いとは、予め用意された入力画像と正解画像を含む評価用データ群を用いて、入力画像を処理した出力画像を正解画像と比較するとき正解画像により近い出力画像を得られることを意味する。視認性向上処理の性能を評価するための性能指標の例としては、PSNR(Peak Signal-to-Noise Ratio)やSSIM(Structural Similarity)が知られている。

第１前処理部２１と第２前処理部３１に実装される視認性向上処理は、例えば、超解像処理、デノイジング(denoising)処理、デブルアリング(deblurring)処理のうち少なくとも１つを含む。超解像処理は、画像を劣化させることなく（または画像の劣化を抑えつつ）決められたサイズに拡大する。デノイジング処理は、カメラノイズやsalt-and-pepperノイズなど、入力画像に含まれるノイズを除去または低減する。デブルアリング処理は、焦点ぼけや移動物体のぼけなどを補正する。

図２（ａ）から図２（ｃ）は、図１に示される第１前処理部２１と第２前処理部３１に実装される視認性向上処理を例示するブロック図である。図２（ａ）から図２（ｃ）に示される視認性向上処理はそれぞれ、上述の超解像処理、デノイジング、デブルアリングの３つの機能すべてを異なる順序で実行する。

図２（ａ）には、３つの機能が順次実行される場合が示される。まず入力画像データＤ１にデノイジング処理６１が実施され、次にデブルアリング処理６２が実施され、最後に超解像処理６３が実施され、中間画像データＤ２が出力される。図２（ｂ）には、デノイジング処理６１とデブルアリング処理６２を並列に実施して最後に超解像処理６３を実施する場合を示す。

また、図２（ｃ）には、３つの処理を並列に実施する場合を示す。図２（ｃ）においてデノイジング／デブルアリング処理６１，６２に続いて行われるアップサンプリング処理６４は、超解像処理６３の出力画像と画像サイズをそろえるための処理である。アップサンプリング処理６４は、バイキュービック(bicubic)法などの単純な補間処理でもよいし、超解像処理６３と同種の処理でもよい。

これら３種の視認性向上処理はそれぞれ別個にモデルを作成してもよく、たとえば超解像処理については、単純な補間法、事例ベースの手法、または、機械学習により得られる超解像モデルを採用できる。こうした超解像モデルは、たとえば、「R. Timofte, V.D. Smet, and L.V.Gool. A+: Adjusted Anchored Neighborhood Regression for Fast Super-Resolution. ACCV, 2014.」、「C. Dong, C.C. Loy, K. He, and X. Tang. Image Super-Resolution Using Deep Convolutional Networks. TPAMI, 2016.」に開示される。また、デノイジング／デブルアリング処理については、たとえばガウシアンフィルタによる平滑化処理、機械学習による方法などが考えられ、これらは、「K. Dabov, A. Foi, V. Katkovnik, and K. Egiazarian. Image Denoising by Sparse 3-D Transform-Domain Collaborative Filtering. TIP, 2007.」、「M. Hradis, J. Kotera, P. Zemcik, and F. Sroubek, Convolutional Neural Networks for Direct Text Deblurring. BMVC, 2015.」に例示される。

図３は、図２（ａ）に示される視認性向上処理を畳み込みニューラルネットワーク（ＣＮＮ）で実現する構成を例示する図である。デノイジング処理６１、デブルアリング処理６２、超解像処理６３の３種の視認性向上処理それぞれが複数のレイヤー（畳み込み層、Relu層、プーリング層等）から構成される。超解像処理６３の最終層には画像を所定の大きさに拡大するアップサンプリング層６５が挿入されている。アップサンプリング層６５は超解像処理６３の最初にあってもよい。

また図３に示すようなモデルを学習する際にはノイズやぼけを含む入力画像とそれらを取り除き、所定のサイズに拡大した画像のペアが必要である。各視認性向上処理はランダムな初期値から計算しても良いし、汎用コーパスなど別の学習画像を使って作成したモデルパラメータを初期値として、転移学習する形態を取っても良い。

なお、第１前処理部２１と第２前処理部３１は、画像分割、エッジ検出、輝度補正、画像強調など他の前処理を、視認性向上処理とともに、または視認性向上処理に代えて、入力画像データＤ１に行ってもよい。この場合にも、第１前処理部２１と第２前処理部３１は、所定の性能指標で評価するとき異なる性能指標値をもつ。例えば、第１前処理部２１と第２前処理部３１でエッジ検出処理が行われる場合、第１前処理部２１ではPrewittフィルタを用いるエッジ抽出アルゴリズムを採用し、第２前処理部３１ではCannyフィルタを用いるエッジ抽出アルゴリズムを採用してもよい。CannyフィルタはPrewittフィルタよりも性能がよいことが知られている。

図１に示されるように、第１画像処理部２０は、第１中間画像データＤ２＿１に基づいて第１出力データＤ３＿１を生成する第１認識処理部２２を備える。第１認識処理部２２は、第１中間画像データＤ２＿１に第１領域分割処理を行い、第１出力データＤ３＿１として被検査物２００の対象領域２０２を示す第１出力画像データを生成する。第２画像処理部３０は、第２中間画像データＤ２＿２に基づいて第２出力データＤ３＿２を生成する第２認識処理部３２を備える。第２認識処理部３２は、第２中間画像データＤ２＿２に第２領域分割処理を行い、第２出力データＤ３＿２として被検査物２００の対象領域２０２を示す第２出力画像データを生成する。第２認識処理部３２は、被検査物２００の対象領域２０２を検出する精度を示す評価指標が第１認識処理部２２に比べて良好である。

図４は、図１に示される第１認識処理部２２を畳み込みニューラルネットワーク（ＣＮＮ）で実現する構成を例示する図である。第１認識処理部２２で行われる認識処理（たとえば、領域分割を用いる損傷検出）７０は、複数のレイヤー（畳み込み層、Relu層、プーリング層等）から構成され、中間画像データＤ２を入力とし、出力画像データＤ３を最終的に出力する。出力画像データＤ３は、対象領域２０２の種類に応じたラベルが画素単位で付与されたものである。

簡単のため、図４では、ラベルが正常領域７１と損傷領域７２の２種類の場合を示し、出力画像データＤ３は、正常領域７１と損傷領域７２に領域分割された２値画像となっている。損傷の形態（例えば、ひび、穴、欠けなど）に応じて複数種類のラベルがあらかじめ定められ、出力画像データＤ３は、損傷の種類ごとに分割されてもよい。

こうした損傷検出モデルの学習には、教師データとして入力画像とその領域分割の結果画像のペアが使用される。

同様にして第２認識処理部３２も畳み込みニューラルネットワーク（ＣＮＮ）で構成することができる。

損傷検出処理は、たとえば、「J. Shotton, J. Winn, C. Rother, and A. Criminisi, TextonBoost: Joint Appearance, Shape and Context Modeling for Multi-Class Object Recognition and Segmentation. ECCV, 2006.」、「J. Long, E. Shelhamer, and T. Darrell, Fully Convolutional Networks for Semantic Segmentation. CVPR, 2015.」に開示される手法が採用されてもよい。

第１前処理部２１と第１認識処理部２２は、個別に機械学習される。同様に、第２前処理部３１と第２認識処理部３２は、個別に機械学習されてもよい。あるいは、後述するように、第２前処理部３１と第２認識処理部３２は、第２前処理部３１の出力を第２認識処理部３２の入力として用いるマルチタスク学習により構築されてもよい。

演算部４０は、第１出力データＤ３＿１と第２出力データＤ３＿２の不一致および第１中間画像データＤ２＿１と第２中間画像データＤ２＿２の不一致の両方に基づいて、注目領域データＤ６を生成する。なお、後述するが、演算部４０は、第１出力データＤ３＿１と第２出力データＤ３＿２の不一致および第１中間画像データＤ２＿１と第２中間画像データＤ２＿２の不一致のうちいずれか一方に基づいて、注目領域データＤ６を生成してもよい。

演算部４０は、前処理差分演算部４１と、認識処理差分演算部４２とを備える。前処理差分演算部４１は、第１中間画像データＤ２＿１と第２中間画像データＤ２＿２の差分を示す中間差分データＤ４を演算する。前処理差分演算部４１は、中間差分データＤ４を保持し、または各中間画像データＤ２＿１～Ｄ２＿２を保持し、これらを画像生成部５０に出力してもよい。

図５は、図１に示される前処理差分演算部４１で実行される処理を例示するフローチャートである。前処理差分演算部４１は、第１中間画像データＤ２＿１を第１前処理部２１から受け、第２中間画像データＤ２＿２を第２前処理部３１から受け、両者を比較し中間差分データＤ４を生成する。

図５に示されるように、まず、前処理差分演算部４１は、第１中間画像データＤ２＿１と第２中間画像データＤ２＿２の差分画像を計算する（Ｓ５０）。差分画像の各画素値は、たとえば、第１中間画像データＤ２＿１と第２中間画像データＤ２＿２で対応する画素値の差の絶対値であってもよい。よって、画像上の位置（ｘ，ｙ）における第１中間画像データＤ２＿１、第２中間画像データＤ２＿２それぞれの画素値をＤ２＿１（ｘ，ｙ）、Ｄ２＿２（ｘ，ｙ）と表記するとき、差分画像の各画素値は、｜Ｄ２＿１（ｘ，ｙ）－Ｄ２＿２（ｘ，ｙ）｜となる。

次に、前処理差分演算部４１は、第１中間画像データＤ２＿１と第２中間画像データＤ２＿２の各画素値が等しいか否かを差分画像にもとづいて判定する（Ｓ５１）。これは、たとえば、位置（ｘ，ｙ）における差分画像の画素値｜Ｄ２＿１（ｘ，ｙ）－Ｄ２＿２（ｘ，ｙ）｜を、予め設定されたしきい値ε_１と比較することによって判定される。

位置（ｘ，ｙ）における差分画像の画素値がしきい値ε_１以上である場合には（Ｓ５１のＹ）、前処理差分演算部４１は、当該位置（ｘ，ｙ）における中間差分データＤ４の画素値Ｄ４（ｘ，ｙ）を「１」とし、これを保持する（Ｓ５２）。一方、位置（ｘ，ｙ）における差分画像の画素値がしきい値ε_１未満である場合には（Ｓ５１のＮ）、前処理差分演算部４１は、当該位置（ｘ，ｙ）における中間差分データＤ４の画素値Ｄ４（ｘ，ｙ）を「０」とし、これを保持する（Ｓ５３）。中間差分データＤ４は、画像生成部５０に出力される。

このようにして、中間差分データＤ４は、第１中間画像データＤ２＿１と第２中間画像データＤ２＿２の差分画像を二値化した二値画像データとして生成される。画素値「１」は、第１中間画像データＤ２＿１と第２中間画像データＤ２＿２の対応する画素に差があることを示し、画素値「０」は、それらに差がないことを示している。

なお、しきい値ε_１に基づいて差分画像を二値化することに代えて、前処理差分演算部４１は、第１中間画像データＤ２＿１と第２中間画像データＤ２＿２の差分画像をそのまま中間差分データＤ４として保持してもよい。また、上述の説明は、簡単のため中間画像データＤ２をモノクロ画像としているが、中間画像データＤ２が多チャンネル、たとえばカラー画像である場合には、差分画像の各画素値は、成分ごとの差分値の平均値、または最小値、または最大値であってもよい。

図１に戻る。認識処理差分演算部４２は、第１出力データＤ３＿１と第２出力データＤ３＿２の差分を示す出力差分データＤ５を演算する。認識処理差分演算部４２は、出力差分データＤ５を保持し、または各出力データＤ３＿１～Ｄ３＿２を保持し、これらを画像生成部５０に出力してもよい。

図６は、図１に示される認識処理差分演算部４２で実行される処理を例示するフローチャートである。認識処理差分演算部４２は、第１出力データＤ３＿１を第１認識処理部２２から受け、第２出力データＤ３＿２を第２認識処理部３２から受け、両者を比較し出力差分データＤ５を生成する。ここでは、第１認識処理部２２、第２認識処理部３２が領域分割を行う場合を考える。よって、第１出力データＤ３＿１、第２出力データＤ３＿２は、各画素が対象領域２０２の種類に応じた画素値をもつ画像データ（たとえば二値画像）の形式をとる。

図６に示されるように、まず、認識処理差分演算部４２は、第１出力データＤ３＿１と第２出力データＤ３＿２の差分画像を計算する（Ｓ６０）。差分画像の各画素値は、たとえば、第１出力データＤ３＿１と第２出力データＤ３＿２で対応する画素値の差の絶対値であってもよい。よって、画像上の位置（ｘ，ｙ）における第１出力データＤ３＿１、第２出力データＤ３＿２それぞれの画素値をＤ３＿１（ｘ，ｙ）、Ｄ３＿２（ｘ，ｙ）と表記するとき、差分画像の各画素値は、｜Ｄ３＿１（ｘ，ｙ）－Ｄ３＿２（ｘ，ｙ）｜となる。

次に、認識処理差分演算部４２は、第１出力データＤ３＿１と第２出力データＤ３＿２の各画素値が等しいか否かを差分画像にもとづいて判定する（Ｓ６１）。これは、たとえば、位置（ｘ，ｙ）における差分画像の画素値｜Ｄ３＿１（ｘ，ｙ）－Ｄ３＿２（ｘ，ｙ）｜を、予め設定されたしきい値ε_２と比較することによって判定される。しきい値ε_２は、０とすればよい。

位置（ｘ，ｙ）における差分画像の画素値がしきい値ε_２より大きい場合（すなわち画素値が非ゼロの場合）には（Ｓ６１のＹ）、認識処理差分演算部４２は、当該位置（ｘ，ｙ）における出力差分データＤ５の画素値Ｄ５（ｘ，ｙ）を「１」とし、これを保持する（Ｓ６２）。一方、位置（ｘ，ｙ）における差分画像の画素値がしきい値ε_２以下である場合（すなわち画素値がゼロの場合）には（Ｓ６１のＮ）、認識処理差分演算部４２は、当該位置（ｘ，ｙ）における出力差分データＤ５の画素値Ｄ５（ｘ，ｙ）を「０」とし、これを保持する（Ｓ６３）。出力差分データＤ５は、画像生成部５０に出力される。

このようにして、出力差分データＤ５は、第１出力データＤ３＿１と第２出力データＤ３＿２の差分画像を二値化した二値画像データとして生成される。画素値「１」は、第１認識処理部２２と第２認識処理部３２で認識結果が異なることを示し、画素値「０」は、認識結果が一致することを示している。

図１に戻る。演算部４０は、中間差分データＤ４と出力差分データＤ５から注目領域データＤ６を生成し、画像生成部５０に出力する。注目領域データＤ６は、ユーザーに提示すべき注目領域を規定する。注目領域データＤ６は、中間差分データＤ４と出力差分データＤ５の論理和、またはこれらの論理積、または中間差分データＤ４と出力差分データＤ５のうちいずれか一方に基づいてもよい。

注目領域データＤ６は、たとえば、中間差分データＤ４と出力差分データＤ５の論理和であってもよく、Ｄ４（ｘ，ｙ）とＤ５（ｘ，ｙ）の少なくとも一方が「１」のとき、注目領域データＤ６の画素値Ｄ６（ｘ，ｙ）を「１」とし、Ｄ４（ｘ，ｙ）とＤ５（ｘ，ｙ）の両方が「０」のとき注目領域データＤ６の画素値Ｄ６（ｘ，ｙ）を「０」としてもよい。注目領域データＤ６は、中間差分データＤ４と出力差分データＤ５の論理積であってもよく、Ｄ４（ｘ，ｙ）とＤ５（ｘ，ｙ）の両方が「１」のとき、注目領域データＤ６の画素値Ｄ６（ｘ，ｙ）を「１」とし、Ｄ４（ｘ，ｙ）とＤ５（ｘ，ｙ）の少なくとも一方が「０」のとき注目領域データＤ６の画素値Ｄ６（ｘ，ｙ）を「０」としてもよい。あるいは演算部４０は、注目領域データＤ６として、中間差分データＤ４と出力差分データＤ５のうちいずれか一方を選択してもよい。

なお、注目領域データＤ６は、画像生成部５０によって生成されてもよい。

画像生成部５０は、注目領域データＤ６と入力画像データＤ１またはそれから得られる画像データとに基づいて、注目領域を強調表示する検査支援画像データＤ７を生成する。画像生成部５０は、たとえば、注目領域データＤ６を入力画像データＤ１に重ね合わせることによって、検査支援画像データＤ７を生成してもよい。画像生成部５０は、注目領域データＤ６を第１中間画像データＤ２＿１または第２中間画像データＤ２＿２のいずれかに重ね合わせることによって、検査支援画像データＤ７を生成してもよい。検査支援画像データＤ７は、ディスプレイ１２２に出力され、単独で、または他の画像とともに、ディスプレイ１２２に表示される。

図７は、実施の形態に係る検査支援方法を示すフローチャートである。図７では、理解を助けるために、本方法の各ステップで生成される画像データを模式的に示す。まず、被検査物を撮影した入力画像データＤ１が用意される（Ｓ１０）。

第１画像処理ステップ（Ｓ２０）と第２画像処理ステップ（Ｓ３０）が並列に行われる。第１画像処理ステップにおいては、入力画像データＤ１に基づいて、被検査物の対象領域を示す第１出力データＤ３＿１が生成される。このとき、視認性向上処理などの前処理を入力画像データＤ１に施すことによって、第１中間画像データＤ２＿１が生成され（Ｓ２１）、続いて、領域分割または物体検出などの画像認識処理を第１中間画像データＤ２＿１に施すことによって、第１出力データＤ３＿１が生成される（Ｓ２２）。

同様に、第２画像処理ステップにおいては、入力画像データＤ１に基づいて、被検査物の対象領域を示す第２出力データＤ３＿２が生成される。このとき、視認性向上処理などの前処理を入力画像データＤ１に施すことによって、第２中間画像データＤ２＿２が生成され（Ｓ３１）、続いて、領域分割または物体検出などの画像認識処理を第２中間画像データＤ２＿２に施すことによって、第２出力データＤ３＿２が生成される（Ｓ３２）。

この実施の形態においては、第２画像処理ステップは、被検査物の対象領域を検出する精度を示す評価指標が第１画像処理ステップに比べて良好である。そのため、第２出力データＤ３＿２は、被検査物の対象領域２０２を３箇所正確に捉えているのに対し、第１出力データＤ３＿１は、２箇所の対象領域２０２を捉えているが残りの１箇所は検出せず、誤って別の場所２０３を検出している。

次に、第１出力データＤ３＿１と第２出力データＤ３＿２の不一致および第１中間画像データＤ２＿１と第２中間画像データＤ２＿２の不一致に基づいて、ユーザーに提示すべき注目領域２０４を規定する注目領域データＤ６が生成される（Ｓ４０）。

このステップＳ４０では、第１中間画像データＤ２＿１と第２中間画像データＤ２＿２が比較され、中間差分データＤ４が生成されるとともに（Ｓ４１）、第１出力データＤ３＿１と第２出力データＤ３＿２が比較され、出力差分データＤ５が生成される（Ｓ４２）。出力差分データＤ５には、第１出力データＤ３＿１において未検出であった１箇所の対象領域２０２と誤検出した場所２０３が含まれている。中間差分データＤ４と出力差分データＤ５に基づいて、注目領域データＤ６が生成される（Ｓ４３）。たとえば、注目領域データＤ６は、中間差分データＤ４と出力差分データＤ５の論理和に基づく。なお、注目領域データＤ６は、中間差分データＤ４と出力差分データＤ５のうちいずれか一方、またはこれらの論理積に基づいてもよい。

さらに、注目領域データＤ６と参照画像データとに基づいて、注目領域２０４を強調表示する検査支援画像データＤ７が生成される（Ｓ１００）。参照画像データは、入力画像データＤ１またはそれから得られる画像データであってもよい。とくに、前処理が視認性向上処理を含む場合には、参照画像データとして第１中間画像データＤ２＿１または第２中間画像データＤ２＿２を用いることにより、表示される画像が見やすくなる。第２画像処理ステップのほうが高性能である場合には、参照画像データとして第２中間画像データＤ２＿２を用いればよい。

検査支援画像データＤ７は、たとえば、注目領域データＤ６を参照画像データに重ね合わせることによって生成され、ディスプレイ１２２に出力される。図７では、検査支援画像データＤ７は、入力画像データＤ１と第２中間画像データＤ２＿２と注目領域データＤ６が重ね合わされている。こうして、注目領域２０４を強調表示する検査支援画像がディスプレイ１２２に表示されることになる。

図８（ａ）、図８（ｂ）は、ディスプレイ１２２に表示されるユーザインターフェイス画面の例を示す。図８（ａ）に示されるように、参照画像（たとえば入力画像データＤ１）３００と、注目領域２０４を示す検査支援画像（たとえば注目領域データＤ６）３０２が並べて表示されてもよい。図８（ｂ）に示されるように、注目領域２０４と参照画像が重ね合わされた検査支援画像（たとえば検査支援画像データＤ７）３０２が表示されてもよい。注目領域２０４などユーザーが選択した領域を拡大表示するための拡大枠３０４が検査支援画像３０２とともにディスプレイ１２２に表示されてもよい。そのほかに、ユーザーが画面上で発見した対象領域（損傷領域）を選択する機能や、対象領域の位置、サイズ、種類などの対象領域情報を表示する機能が備わっていてもよい。

以上説明したように、実施の形態によると、検査支援装置１０は、第１画像処理部２０および第２画像処理部３０の出力の不一致に基づいて、注目領域２０４をユーザーに提示することができる。第２画像処理部３０は、被検査物２００の対象領域２０２を検出する精度を示す評価指標が第１画像処理部２０に比べて良好であるので、第１画像処理部２０が検出しなかった対象領域２０２を第２画像処理部３０は検出することが期待される。また、第１画像処理部２０が誤検出した対象領域２０２を第２画像処理部３０は検出しないことが期待される。このように、２つの画像処理部の出力の不一致は、被検査物２００の対象領域２０２のうち不正確に検出されやすいものを示すと考えられる。

したがって、こうした不一致領域を注目領域２０４としてユーザーに提示することにより、画面上のどこをより注意深く見るべきかを示すヒントをユーザーに提供することができる。よって、このようなヒント無しで、あらゆる領域を一様に注意深く見なければならない場合に比べて、目視確認の作業効率がよくなる。このようにして、画像認識を利用した検査において、ユーザーの目視による最終的な確認作業を支援することができる。認識処理に十分な信頼がない場合や、必ず人力による確認作業が必要な場合に有効である。

また、実施の形態によると、注目領域２０４を規定するために、領域分割など画像認識の結果（すなわち第１出力データＤ３＿１と第２出力データＤ３＿２）の不一致だけでなく、視認性向上処理など前処理の結果（すなわち第１中間画像データＤ２＿１と第２中間画像データＤ２＿２）の不一致も利用される。前処理の結果はそれを入力とする画像認識処理の出力に影響するから、前処理の結果の不一致は、画像認識の結果の不一致につながると考えられる。したがって、前処理の結果の不一致も、注目領域２０４を規定するのに有用であると期待できる。

図９（ａ）、図９（ｂ）は、図１に示される第２前処理部３１および第２認識処理部３２の学習方法を模式的に示す図である。図９（ａ）は、第２前処理部３１と第２認識処理部３２を独立に学習させる場合を示す。図９（ｂ）は、第２前処理部３１と第２認識処理部３２をマルチタスク学習により構築する場合を示す。

好ましくは、図９（ｂ）に示されるように、第２前処理部３１および第２認識処理部３２は、第２前処理部３１の出力を第２認識処理部３２の入力として用いるマルチタスク学習により構築されてもよい。上述の実施の形態と同様に、第２前処理部３１は、視認性向上処理を行い、第２認識処理部３２は、領域分割、物体検出などの画像認識処理を行ってもよい。

第２前処理部３１および第２認識処理部３２はそれぞれ、予め用意された教師データセットを用いて機械学習された畳み込みニューラルネットワークで構成されてもよい。教師データセットは、たとえば、被検査物を撮影した学習用画像データ、ノイズやピンぼけなどを付加して画質を劣化させた学習用画像の劣化画像データ、学習用画像における予め特定された対象領域を示す対象領域データを含んでもよい。第２前処理部３１および第２認識処理部３２は、第２前処理部３１が劣化画像データに基づいて学習用画像データを生成し、第２認識処理部３２が学習用画像データに基づいて対象領域データを生成するようにマルチタスク学習により構築されてもよい。

図９（ａ）では、第２前処理部３１と第２認識処理部３２は、互いに独立にロス関数を最小にするように畳み込み層のパラメータを学習する。このようにして得られた第２前処理部３１は、入力画像から視認性を向上した画像を出力することができるが、この視認性向上画像は、第２認識処理部３２がより良好な画像認識結果を出力するのに有効な画像であることは保証されない。

図９（ｂ）では、第２前処理部３１と第２認識処理部３２は、図９（ａ）のように独立に学習する場合の第２前処理部３１、第２認識処理部３２のロス関数をそれぞれＬ_１、Ｌ_２と表記するとき、それらの重み付け平均である全体のロス関数（Ｌ_total＝αＬ_１＋（１－α）Ｌ_２）を最小とするように学習される。このようにして、マルチタスク学習を実施することにより、第２前処理部３１が出力する視認性向上画像は、第２認識処理部３２にとってより良好な画像認識結果を出力するのに有効な画像となる。したがって、第２認識処理部３２の精度はより向上される。

第１前処理部２１と第１認識処理部２２については、それぞれ独立に機械学習される。したがって、第１前処理部２１での第１視認性向上処理と第２前処理部３１での第２視認性向上処理は、所定の性能指標で評価するとき異なる性能指標値をもつと考えられる。多くの場合、第１前処理部２１のほうが、第２前処理部３１よりも高性能でありうる。

このように、第１画像処理部２０と第２画像処理部３０を異なる学習方法により構築することにより、第１前処理部２１と第２前処理部３１の性能に差異を設けるとともに、第１認識処理部２２と第２認識処理部３２の性能にも差異を設けることができる。したがって、上述の実施の形態と同様に、第１出力データＤ３＿１と第２出力データＤ３＿２の不一致および第１中間画像データＤ２＿１と第２中間画像データＤ２＿２の不一致の両方に基づいて、注目領域データＤ６を生成することができる。

図１０は、変形例１に係る検査支援装置１０のブロック図である。図示されるように、第１画像処理部２０、第２画像処理部３０は、前処理部を備えなくてもよい。

よって、検査支援装置１０は、被検査物を撮影した入力画像データＤ１を受け、被検査物の対象領域を示す第１出力データＤ３＿１を生成する第１画像処理部２０と、入力画像データＤ１を受け、被検査物の対象領域を示す第２出力データＤ３＿２を生成する第２画像処理部３０と、を備える。第２画像処理部３０は、被検査物の対象領域を検出する精度を示す評価指標が第１画像処理部に比べて良好である。検査支援装置１０は、さらに、第１出力データＤ３＿１と第２出力データＤ３＿２の不一致に基づいて、ユーザーに提示すべき注目領域を規定する注目領域データＤ６を生成する演算部４０と、注目領域データＤ６と入力画像データＤ１またはそれから得られる画像データとに基づいて、注目領域を強調表示する検査支援画像データＤ７を生成する画像生成部５０と、を備える。

図１１は、変形例２に係る検査支援装置１０のブロック図である。第１画像処理部２０、第２画像処理部３０は、認識処理部を備えなくてもよい。検査支援装置１０は、被検査物を撮影した入力画像データＤ１を受け、入力画像データＤ１に基づく第１中間画像データＤ２＿１を生成する第１画像処理部２０と、入力画像データＤ１を受け、入力画像データＤ１に基づく第２中間画像データＤ２＿２を生成する第２画像処理部３０と、を備える。第１画像処理部２０は、所定の性能指標で評価可能であり、第２画像処理部３０は、所定の性能指標で評価するとき第１画像処理部２０と異なる性能指標値をもつ。第１画像処理部２０は、入力画像データＤ１に第１視認性向上処理を行い、第１中間画像データＤ２＿１を生成し、第２画像処理部３０は、入力画像データＤ１に第２視認性向上処理を行い、第２中間画像データＤ２＿２を生成してもよい。

検査支援装置１０は、さらに、第１中間画像データＤ２＿１と第２中間画像データＤ２＿２の不一致に基づいて、ユーザーに提示すべき注目領域を規定する注目領域データＤ６を生成する演算部４０と、注目領域データＤ６と入力画像データＤ１またはそれから得られる画像データとに基づいて、注目領域を強調表示する検査支援画像データＤ７を生成する画像生成部５０と、を備える。

以上、本発明を実施例にもとづいて説明した。本発明は上記実施形態に限定されず、種々の設計変更が可能であり、様々な変形例が可能であること、またそうした変形例も本発明の範囲にあることは、当業者に理解されるところである。ある実施の形態に関連して説明した種々の特徴は、他の実施の形態にも適用可能である。組合せによって生じる新たな実施の形態は、組み合わされる実施の形態それぞれの効果をあわせもつ。

上述の実施の形態では、検査支援装置１０がたとえばコークス炉などの産業設備における損傷検査装置に適用される場合を例として説明しているが、本発明はこれに限定されない。検査支援装置１０は、目視対象となるような部位を強調して表示することにより、ユーザーが目視作業を効率的に実施できる対象領域強調表示システムとして、さまざまな用途に使用されうる。検査支援装置１０は、産業機械やプラント、社会インフラの損傷検出装置、あるいは医療用の画像診断装置など、さまざまな検査装置に搭載されてもよい。

実施の形態にもとづき、具体的な語句を用いて本発明を説明したが、実施の形態は、本発明の原理、応用の一側面を示しているにすぎず、実施の形態には、請求の範囲に規定された本発明の思想を逸脱しない範囲において、多くの変形例や配置の変更が認められる。

Ｄ１入力画像データ、Ｄ２＿１第１中間画像データ、Ｄ２＿２第２中間画像データ、Ｄ３＿１第１出力データ、Ｄ３＿２第２出力データ、Ｄ６注目領域データ、Ｄ７検査支援画像データ、１０検査支援装置、２０第１画像処理部、２１第１前処理部、２２第１認識処理部、３０第２画像処理部、３１第２前処理部、３２第２認識処理部、４０演算部、５０画像生成部、２００被検査物、２０２対象領域、２０４注目領域、３０２検査支援画像。

Claims

被検査物を撮影した入力画像データを受け、前記被検査物の対象領域を示す第１出力データを生成する第１画像処理部と、
前記被検査物の対象領域を検出する精度を示す評価指標が前記第１画像処理部に比べて良好である第２画像処理部であって、前記第１画像処理部に入力される前記入力画像データと同一の入力画像データを受け、前記被検査物の対象領域を示す第２出力データを生成する第２画像処理部と、
前記第１出力データと前記第２出力データの不一致に基づいて、ユーザーに提示すべき注目領域を規定する注目領域データを生成する演算部と、を備えることを特徴とする検査支援装置。
前記注目領域データと前記入力画像データまたはそれから得られる画像データとに基づいて、前記注目領域を強調表示する検査支援画像データを生成する画像生成部をさらに備えることを特徴とする請求項１に記載の検査支援装置。
前記第１画像処理部は、
前記入力画像データに基づいて第１中間画像データを生成する第１前処理部と、
前記第１中間画像データに基づいて前記第１出力データを生成する第１認識処理部と、を備え、
前記第２画像処理部は、
前記入力画像データに基づいて第２中間画像データを生成する第２前処理部と、
前記評価指標が前記第１認識処理部に比べて良好であり、前記第２中間画像データに基づいて前記第２出力データを生成する第２認識処理部と、を備え、
前記演算部は、前記第１出力データと前記第２出力データの不一致および前記第１中間画像データと前記第２中間画像データの不一致の両方に基づいて、前記注目領域データを生成することを特徴とする請求項１または２に記載の検査支援装置。
前記第１前処理部と前記第２前処理部は、所定の性能指標で評価するとき異なる性能指標値をもつことを特徴とする請求項３に記載の検査支援装置。
前記第２前処理部および前記第２認識処理部は、前記第２前処理部の出力を前記第２認識処理部の入力として用いるマルチタスク学習により構築されていることを特徴とする請求項３または４に記載の検査支援装置。
前記第１前処理部は、前記入力画像データに第１視認性向上処理を行い、前記第１中間画像データを生成し、
前記第２前処理部は、前記入力画像データに第２視認性向上処理を行い、前記第２中間画像データを生成し、
前記第１視認性向上処理と前記第２視認性向上処理は、所定の性能指標で評価するとき異なる性能指標値をもつことを特徴とする請求項３から５のいずれかに記載の検査支援装置。
前記第１認識処理部は、前記第１中間画像データに第１領域分割処理を行い、前記第１出力データとして前記被検査物の対象領域を示す第１出力画像データを生成し、
前記第２認識処理部は、前記第２中間画像データに第２領域分割処理を行い、前記第２出力データとして前記被検査物の対象領域を示す第２出力画像データを生成し、
前記第２領域分割処理は、前記評価指標が前記第１領域分割処理に比べて良好であることを特徴とする請求項３から６のいずれかに記載の検査支援装置。
前記被検査物の対象領域は、前記被検査物の損傷領域であることを特徴とする請求項１から７のいずれかに記載の検査支援装置。
被検査物を撮影した入力画像データに基づいて、前記被検査物の対象領域を示す第１出力データを生成する第１画像処理ステップと、
前記第１画像処理ステップに入力される前記入力画像データと同一の入力画像データに基づいて、前記被検査物の対象領域を示す第２出力データを生成する第２画像処理ステップと、
前記第１出力データと前記第２出力データの不一致に基づいて、ユーザーに提示すべき注目領域を規定する注目領域データを生成するステップと、を備え、
前記第２画像処理ステップは、前記被検査物の対象領域を検出する精度を示す評価指標が第１画像処理ステップに比べて良好であることを特徴とする検査支援方法。
被検査物を撮影した入力画像データを受け、前記入力画像データに基づく第１中間画像データを生成し、所定の性能指標で評価可能である第１画像処理部と、
前記第１画像処理部に入力される前記入力画像データと同一の入力画像データを受け、前記入力画像データに基づく第２中間画像データを生成し、前記所定の性能指標で評価するとき前記第１画像処理部と異なる性能指標値をもつ第２画像処理部と、
前記第１中間画像データと前記第２中間画像データの不一致に基づいて、ユーザーに提示すべき注目領域を規定する注目領域データを生成する演算部と、を備えることを特徴とする検査支援装置。
被検査物を撮影した入力画像データに基づいて第１中間画像データを生成する第１画像処理ステップと、
前記第１画像処理ステップに入力される前記入力画像データと同一の入力画像データに基づいて第２中間画像データを生成する第２画像処理ステップと、
前記第１中間画像データと前記第２中間画像データの不一致に基づいて、ユーザーに提示すべき注目領域を規定する注目領域データを生成するステップと、を備え、
前記第２画像処理ステップは、所定の性能指標で評価するとき第１画像処理ステップと異なる性能指標値をもつことを特徴とする検査支援方法。