JP7187221B2 - 焦点調整支援装置および焦点調整支援方法 - Google Patents

Description

本発明は、熱画像撮影装置の焦点距離の調整を支援する焦点調整支援装置および焦点調整支援方法に関する。

従来、撮影対象の熱分布を示す熱画像を撮影するサーモグラフィ装置を用いて、各種工程や製品の検査を行う技術が知られている。このような技術の一例として、サーモグラフィ装置を用いて、ホットメルトによる接着状態の検査を行う技術が知られている。例えば、サーモグラフィ装置を用いて撮影された熱画像に基づいて、ホットメルトの量、位置、飛び散り若しくは伸びを判定し、判定結果に基づいて、ホットメルトの接着状態を判定するものが知られている。

特開２０１５－０３４７７８号公報 特開平０５－２７３０４７号公報

このようなサーモグラフィ装置を用いた検査においては、検査対象を明瞭に撮影するため、サーモグラフィ装置の焦点調整が重要な工程となる。しかしながら、サーモグラフィ装置の焦点をオペレータが人手で調整する場合、焦点を調整する際に着目する領域がオペレータにより異なるため、調整結果が変動する結果、検査にバラつきが生じるという問題がある。

一方、自動的に焦点を調整するためのハードウェアを備えたサーモグラフィ装置が知られている。しかしながら、焦点を調整するためのハードウェアを備えた場合は、サーモグラフィ装置のコストが増大してしまう。

本願はこのような課題を解決するためのものであり、サーモグラフィ装置における焦点調整を支援することを目的としている。

本願に係る焦点調整支援装置は、撮影対象の熱分布を示す熱画像を取得する取得部と、取得部により取得された熱画像から、温度変化が所定の条件を満たす領域を探索する探索部と、焦点距離を調整しながら撮影された複数の熱画像の、探索部により探索された領域内の熱分布に基づいて、焦点距離が所定の条件を満たすか否かを判定する判定部とを備える。

上記焦点調整支援装置においては、判定部による判定結果を示す情報を出力する出力部をさらに備えていてもよい。

上記焦点調整支援装置において、探索部は、熱画像のうち、最低温度と最高温度との差が所定の閾値を超える領域を探索してもよい。

上記焦点調整支援装置において、探索部は、熱画像のうち、温度差の分散が所定の閾値を超える領域を探索してもよい。

上記焦点調整支援装置において、判定部は、探索部により探索された領域内において隣接する画素間の温度差に基づいて、焦点距離が所定の条件を満たすか否かを判定してもよい。

上記焦点調整支援装置において、判定部は、温度差の総和が所定の閾値を超える場合は、焦点距離が所定の条件を満たすと判定してもよい。

上記焦点調整支援装置において、温度差の標準偏差が所定の閾値を超える場合は、焦点距離が所定の条件を満たすと判定してもよい。

上記焦点調整支援装置においては、他の焦点調整支援装置から、その焦点調整支援装置が熱画像から探索した領域であって、温度変化が所定の条件を満たす領域を示す領域情報を受信する受信部をさらに備え、判定部は、他の焦点調整支援装置から領域情報を受付けた場合は、焦点距離を変化させながら撮影された複数の熱画像のうち、他の焦点調整支援装置から受信した領域情報が示す領域内の熱分布に基づいて、焦点距離が所定の条件を満たすか否かを判定する。

上記焦点調整支援装置において、受信部は、他の焦点調整支援装置により探索された領域内の熱分布を示す領域情報を受信し、判定部は、焦点距離を変化させながら撮影された熱画像から熱分布が前記領域情報が示す熱分布と類似する領域を抽出し、抽出した領域内の熱分布に基づいて、焦点距離が所定の条件を満たすか否かを判定してもよい。

上述した焦点調整支援装置によれば、熱画像から温度変化が所定の条件を満たす領域を探索することで、焦点調整の際に着目すべき領域を自動的に選択し、自動的に選択した領域内の熱分布に基づいて、焦点距離が適切であるか否かを判定する。この結果、焦点調整支援装置は、サーモグラフィ装置における焦点調整を支援することができる。また、焦点調整支援装置は、焦点を調整する際に着目する領域を揃えた状態で、焦点距離が適切であるか否かを判定するので、検査基準におけるバラつきを軽減することができる。また、焦点調整支援装置は、サーモグラフィ装置により撮影された熱画像から、焦点距離が適切であるか否かを判定できるので、焦点調整のためのハードウェアを不要とすることができる。

図１は、熱画像の一例を示す図である。 図２は、第１の実施形態における焦点調整支援装置の概要を示す図である。 図３は、第１の実施形態に係る焦点調整支援装置が有する機能構成の一例を示す図である。 図４は、特定領域における温度分布の一例を示す図である。 図５は、焦点距離が異なる熱画像の一例を示す図である。 図６は、隣接する画素間の信号差の違いを説明するための図である。 図７は、第１の実施形態に係る焦点調整支援処理の一例を示すフローチャートである。 図８は、第２の実施形態における焦点調整支援装置の概要を示す図である。 図９は、第２の実施形態に係る焦点調整支援装置が有する機能構成の一例を示す図である。 図１０は、第２の実施形態に係る焦点調整支援処理の一例を示すフローチャートである。

次に、実施の形態について図面を参照して説明する。なお、以下の説明において、各実施の形態において共通する構成要素には同一の参照符号を付し、繰り返しの説明を省略する。

［原理１］
追加のハードウェアを用いずにサーモグラフィ装置の焦点調整を支援するため、サーモグラフィ装置が得る熱画像の処理を行うソフトウェアの拡張機能により課題を解決することを想定する。サーモグラフィ装置の焦点距離が適切であった場合、撮影対象から発せられた赤外線の像スポットがぼやけることなくサーモグラフィ装置の赤外線検出器上に結像するので、熱画像において隣接する画素間の温度差が明確となる。このため、単純には、サーモグラフィ装置が得る熱画像の画素ごとに赤外線量や温度を示す信号値を取得し、隣接する画素間における信号値の変化量（すなわち、信号値の差の傾き）が最大化するように、焦点調整を行えばよい。

一方で、サーモグラフィ装置により得られた熱画像の全体において、信号値の変化量が同時に最大化することが期待できないため、熱画像のうちいずれかの領域における信号値の変化量が最大化するように焦点調整を行うこととなる。しかしながら、オペレータにより焦点調整を行う際に注目する領域が異なる場合、焦点距離のバラつきが生じてしまう。

例えば、図１は、熱画像の一例を示す図である。図１では、サーモグラフィ装置により得られた熱画像ＨＰ１を示す。なお、熱画像ＨＰ１には、所定の撮影対象の熱分布を示すため、画素ごとに温度や信号値に応じた色彩が付与されているが、図１に示す例では、画素ごとに付与された色彩をグレースケールに変換した例について示した。

領域ＯＡ１と領域ＯＡ２とを比較すると、各領域内において異なる温度が測定されているが、領域ＯＡ２では、領域ＯＡ１と比較してより多くの異なる温度が測定されている。すなわち、領域ＯＡ２は、領域ＯＡ１と比較して、領域全体における温度の変化量が大きいので、隣接する画素間の信号値の変化がより明瞭に表れることとなる。この結果、領域ＯＡ２における信号値の変化量が最大化するように焦点調整を行った場合は、領域ＯＡ１における信号値の変化量が最大化するように焦点調整を行った場合よりも、より適切に焦点調整を行うことができると考えられる。

このような点に着眼し、焦点調整の際に着目すべき領域については、信号値の変化量が大きい領域、すなわち、温度変化が大きい領域を自動的に選択し、その特定領域を対象に、例えば信号値変化の傾きが最大になるように自動調整するようにすれば、ソフトウェアにより課題を解決できることに想到した。

［第１の実施形態］
以下、第１の実施形態の概要について、図２を用いて説明する。図２は、第１の実施形態における焦点調整支援装置の概要を示す図である。図２に示す例では、焦点調整支援装置１０は、オペレータＯＰからの各種操作を受付ける情報処理装置であり、例えば、ＰＣ（Personal Computer）等により実現される。また、焦点調整支援装置１０は、サーモグラフィ装置１００と接続されており、オペレータＯＰからの操作に従って、サーモグラフィ装置１００の制御を実現する。

例えば、サーモグラフィ装置１００は、複数のサーモパイルから構成されたサーモパイルアレイセンサを用いて、検査ラインＩＬ１を流れる検査対象ＩＴから発せられた赤外線を検出し、検出結果に基づいて、検査対象ＩＴの表面における温度分布を測定する。なお、サーモグラフィ装置１００は、マイクロボロメータや焦電センサ等、各種の熱型赤外線センサを用いるものであってもよく、各種の量子型赤外線センサを用いるものであってもよい。そして、サーモグラフィ装置１００は、測定した温度分布を示す熱画像を生成する。例えば、サーモグラフィ装置１００は、画素ごとに測定された赤外線量や温度を示す信号値を対応付けたデータを熱画像として生成する。そして、サーモグラフィ装置１００は、生成した熱画像を焦点調整支援装置１０へと提供する（ステップＳ１）。

一方、焦点調整支援装置１０は、サーモグラフィ装置１００から熱画像を受付けると、受付けた熱画像から焦点調整を行う際に有用な領域を特定領域として探索する（ステップＳ２）。例えば、焦点調整支援装置１０は、熱画像を走査するように、予め規定された大きさと形状を有する領域を抽出する。そして、焦点調整支援装置１０は、抽出した領域のうち、領域全体における温度の変化量が大きい領域を特定領域として自動的に抽出する。

続いて、焦点調整支援装置１０は、サーモグラフィ装置１００の焦点距離を調整する焦点調整操作を受付けると（ステップＳ３）、焦点調整操作に応じてサーモグラフィ装置１００の焦点距離を調整しながら、サーモグラフィ装置１００により得られた熱画像を随時取得する（ステップＳ４）。すなわち、焦点調整支援装置１０は、焦点距離を調整しながら撮影された複数の熱画像を取得する。そして、焦点調整支援装置１０は、各熱画像の特定領域における熱分布に基づいて、焦点距離が所定の条件を満たすか否かを判定する（ステップＳ５）。例えば、焦点調整支援装置１０は、特定領域内において隣接する画素間の信号値の差を算出し、算出した差が所定の閾値を超えた場合には、焦点距離が適切であると判定する。

そして、焦点調整支援装置１０は、焦点距離が適切であると判定した場合は、オペレータＯＰに対し、焦点距離が適切である旨を通知する（ステップＳ６）。例えば、焦点調整支援装置１０は、焦点距離が適切である旨の表示を画面上に表示してもよく、焦点距離が適切であるか否かを示すランプを点灯させてもよい。

［第１の実施形態における機能構成の一例］
続いて、図３を用いて、焦点調整支援装置１０が有する機能構成の一例について説明する。図３は、第１の実施形態に係る焦点調整支援装置が有する機能構成の一例を示す図である。図３に示すように、焦点調整支援装置１０は、通信部２０、焦点制御部３０、表示部４０、記憶部５０および制御部６０を有する。

通信部２０は、撮影対象の熱分布を示す熱画像を得るサーモグラフィ装置１００との間の通信を制御する。例えば、通信部２０は、ＮＩＣ（Network Interface Card）やＵＳＢ（Universal Serial Bus）ポート等により実現され、サーモグラフィ装置１００との間の通信を制御する。

焦点制御部３０は、サーモグラフィ装置１００の焦点距離を制御する。例えば、焦点制御部３０は、焦点調整操作を受付けると、焦点距離を変更する信号をサーモグラフィ装置１００へと出力することで、サーモグラフィ装置１００の焦点距離を制御する。

表示部４０は、各種の情報を表示する表示装置であり、例えば、各種の液晶ディスプレイやＬＥＤ（Light Emitting Diode）等により実現される。例えば、表示部４０は、サーモグラフィ装置１００により得られた熱画像を表示してもよく、焦点距離が適切であるか否かの判定結果を表示してもよい。

記憶部５０は、各種の情報を記憶する記憶装置であり、例えば、ＲＡＭ（Random Access Memory)、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。例えば、記憶部５０には、熱画像のうち特定領域となる領域を示す領域情報５１が登録される。なお、初期状態においては、特定領域として予め規定された大きさと形状を示す情報が領域情報５１として登録される。

制御部６０は、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）等のプロセッサによって、焦点調整支援装置１０内部の記憶装置に記憶されている各種プログラムがＲＡＭ等を作業領域として実行されることにより実現される。また、制御部６０は、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現されてもよい。

図３に示すように、制御部６０は、取得部６１、領域探索部６２、信号値変化探索部６３、判定部６４、および出力部６５を有する。

取得部６１は、サーモグラフィ装置１００から、熱画像を取得する。例えば、取得部６１は、所定の時間間隔で、サーモグラフィ装置１００により得られた熱画像を取得する。

領域探索部６２は、焦点調整のための着目すべき特定領域を探索する。例えば、領域探索部６２は、取得部６１により初期画像として取得された熱画像から、全体の温度変化が所定の条件を満たす領域を特定領域として探索する。より具体的な例を挙げると、領域探索部６２は、領域情報５１が示す大きさと形状とを有する領域で熱画像全体を走査し、全体として温度の変化量が最大となる領域を探索する。

例えば、図４は、特定領域における温度分布の一例を示す図である。図４に示す例では、熱画像から探索された第１の領域および第２の領域について、温度ごとに、各温度を示す信号値が付与された画素数を示すヒストグラムの一例を示す。

図４中（Ａ）に示す例では、第１の領域において、温度Ｔ１～Ｔ５に対応する信号値が付与された画素が含まれている。また、第１の領域においては、最低温度である温度Ｔ１に対応する信号値が付与された画素の数が最も多く、最高温度である温度Ｔ５に対応する信号値が付与された画素の数が最も少ない。また、図４中（Ｂ）に示す例では、第２の領域において、温度Ｔ１～Ｔ９に対応する信号値が付与された画素が含まれている。また、第２の領域においては、最低温度である温度Ｔ１に対応する信号値が付与された画素と、最高温度である温度Ｔ９に対応する信号値が付与された画素とが同程度存在している。また、第２の領域においては、温度Ｔ１もしくは温度Ｔ９に対応する信号値が付与された画素と比較して、各温度Ｔ２～Ｔ８に対応する信号値が付された画素の数が少なくなっている。

第１の領域内および第２領域内における温度のヒストグラムが図４に示すようなヒストグラムとなる場合、第１の領域内においては、第２の領域と比較して、出現する最高温度と最低温度との差が少なく、全体として同じ様な温度が含まれていると推定される。すなわち、第１の領域内においては、温度の分散が比較的少ないと推定される。換言すると、第２の領域内においては、第１の領域と比較して、最高温度と最低温度との差が大きく、全体として様々な温度が含まれていると推定される。すなわち、第２の領域内においては、温度の分散が比較的大きいと推定される。

ここで、焦点調整において着目すべき領域は、焦点調整を行う際に、隣接する画素間の温度変化の傾きが大きくなりやすい領域であると言える。このような領域においては、最高温度と最低温度との差が大きく、様々な温度が含まれていると考えられる。そこで、領域探索部６２は、熱画像のうち、最低温度と最高温度との差が所定の閾値を超える領域を特定領域として探索する。また、例えば、領域探索部６２は、熱画像のうち、温度の分散が所定の閾値を超える領域を特定領域として探索する。例えば、領域探索部６２は、最高温度と最低温度との差が大きく、かつ、領域内により多くの温度が含まれている領域（すなわち、温度の分散が大きい領域）を特定領域とする。そして、領域探索部６２は、熱画像のうち特定領域の位置を示す領域情報５１を記憶部５０に登録する。

なお、領域探索部６２は、焦点調整において着目すべき領域を特定領域とするのであれば、任意の条件を採用してよい。例えば、領域探索部６２は、温度スペクトルの分布が最大となる領域を特定領域としてもよく、最高温度と最低温度との差に応じたスコアと、温度スペクトルの分散に応じたスコアとの和が最も大きくなる領域を特定領域としてもよい。また、領域探索部６２は、温度の標準偏差が全体として最も大きくなる領域を特定領域としてもよい。

図３に戻り、説明を続ける。信号値変化探索部６３は、焦点距離を調整しながら撮影された複数の熱画像について、特定領域内における信号値の変化量を探索する。例えば、取得部６１は、オペレータＯＰによるサーモグラフィ装置の焦点調整操作に伴いながら熱画像を随時取得する。そして、信号値変化探索部６３は、取得部６１により取得された複数の熱画像の特定領域を対象に、信号値変化の傾きを探索する。すなわち、信号値変化探索部６３は、取得した熱画像のうち領域情報５１が示す位置の領域を特定領域として抽出し、抽出した特定領域内において隣接する画素間の信号値の差を算出する。

判定部６４は、焦点距離を調整しながら撮影された複数の熱画像の特定領域内における熱分布に基づいて、焦点距離が所定の条件を満たすか否かを判定する。例えば、判定部６４は、信号値変化探索部６３によって算出された信号値の差が所定の条件を満たすか否かを判定する。そして、判定部６４は、信号値の差が所定の条件を満たす場合は、取得された熱画像を得る際に採用された焦点距離が適切な焦点距離である旨を判定する。

例えば、図５は、焦点距離が異なる熱画像の一例を示す図である。図５に示す例では、熱画像ＨＰ１と、熱画像ＨＰ１よりも焦点距離がより適切な熱画像ＨＰ２との一例を示した。また、図５中（Ａ）には、熱画像ＨＰ１から探索された特定領域である領域ＯＡ２の拡大画像を示した。また、図５中（Ｂ）には、熱画像ＨＰ２のうち領域ＯＡ２と同じ位置の領域、すなわち、特定領域である領域ＯＡ３の拡大画像を示した。

図５に示すように、領域ＯＡ２の拡大画像と領域ＯＡ３の拡大画像とを比較すると、領域ＯＡ３の方が、各画素間の温度変化が明瞭となっている。このため、領域ＯＡ２よりも領域ＯＡ３の方が、隣接する画素間の温度差（すなわち、信号差）の分散が大きくなると考えられる。

例えば、図６は、隣接する画素間の信号差の違いを説明するための図である。なお、図６においては、焦点距離が適切である場合と適切ではない場合とにおいて、熱画像の各画素における信号値の一例と、隣接する画素間の信号値の変化量と、信号値の差のヒストグラムとの一例を示した。より具体的には、図６に示す例では、特定領域に含まれる一部の領域として、縦方向に５つ、横方向に５つの計２５の画素について、サーモグラフィ装置１００により取得された信号値の一例と、横方向に隣接する画素間の信号値の差と、信号値の差のヒストグラムとを示した。なお、図６に示す例では、サーモグラフィ装置１００により取得された信号値は、例えば、撮影対象のうち各画素と対応する位置の温度を１０段階で示すものとする。

例えば、焦点距離が適切である場合において、サーモグラフィ装置１００が、図６中（Ａ）に示すように、「１０」、「１０」、「８」、「３」、「１」といった信号値を各画素に付与したものとする。このような場合、左右に隣接する画素間の信号値の差は、「０」、「２」、「５」、「２」となる。

一方、焦点距離が適切ではない場合、撮影対象の各位置から発せられた赤外線の像スポットがぼやけた状態で赤外線検出器上に結像してしまう。このため、例えば、サーモグラフィ装置１００は、隣接する画素間で値が平均化された信号値を各画素に付与することとなる。例えば、サーモグラフィ装置１００は、図６中（Ｂ）に示すように、「１０」、「９」、「７」、「４」、「２」といった信号値を各画素に付与する。この結果、焦点距離が適切ではない場合、左右に隣接する画素間の信号値の差は、「１」、「２」、「３」、「２」というように、焦点距離が適切な場合と比較して、変化量が小さくなってしまう。

この結果、図６の各ヒストグラムに示すように、焦点距離が適切である場合は、焦点距離が適切ではない場合と比較して、特定領域内において隣接する画素間の信号差が分散すると推定される。そこで、判定部６４は、隣接する画素間の温度差が所定の条件を満たすか否かに基づいて、焦点距離が所定の条件を満たすか否かを判定する。

例えば、判定部６４は、隣接する画素間の温度差の総和が所定の閾値を超える場合は、焦点距離が所定の条件を満たすと判定する。また、例えば、判定部６４は、温度差の標準偏差が所定の閾値を超える場合は、焦点距離が所定の条件を満たすと判定する。この結果、判定部６４は、焦点距離が適切であるか否かを適切に判定することができる。

出力部６５は、判定結果を示す情報を出力する。例えば、出力部６５は、判定部６４によって焦点距離が所定の条件を満たすと判定された場合は、焦点距離が所定の条件を満たす旨を表示部４０に表示させる。

［第１の実施形態における動作の一例］
次に、図７を参照して、第１の実施形態に係る焦点調整支援装置１０の動作タイミングの一例について説明する。図７は、第１の実施形態に係る焦点調整支援処理の一例を示すフローチャートである。

例えば、取得部６１は、サーモグラフィ装置１００から初期分布像として、熱画像を取得する（ステップＳ１０１）。このような場合、領域探索部６２は、熱画像内で所定サイズの領域を走査させ、領域内全体における温度変化が条件を満たす領域を探索する（ステップＳ１０２）。そして、領域探索部６２は、探索した領域の位置を示す領域情報５１を記憶する（ステップＳ１０３）。

続いて、焦点制御部３０は、焦点調整操作を受付けたか否かを判定し（ステップＳ１０４）、受付けた場合は（ステップＳ１０４：Ｙｅｓ）、焦点調整操作に従って、サーモグラフィ装置１００の焦点距離を調整する（ステップＳ１０５）。このような場合、通信部２０は、新たに熱画像を取得する（ステップＳ１０６）。そして、信号値変化探索部６３は、新たに取得した熱画像のうち、領域情報５１が示す領域内における信号値の差を探索する（ステップＳ１０７）。すなわち、信号値変化探索部６３は、隣接する画素間の信号値の差を算出する。

そして、判定部６４は、信号値の差が所定の条件を満たすか否かを判定する（ステップＳ１０８）。例えば、判定部６４は、隣接する画素間の信号値の差の分散が所定の閾値を超えるか否かを判定する。そして、信号値の差が所定の条件を満たすと判定された場合は（ステップＳ１０８：Ｙｅｓ）、出力部６５は、焦点距離が適切である旨をオペレータに通知する（ステップＳ１０９）。

なお、焦点調整支援装置１０は、ステップＳ１０９の処理後、焦点調整が完了したか否かを判定し（ステップＳ１１０）、完了したと判定した場合は（ステップＳ１１０：Ｙｅｓ）、焦点距離を固定した状態で検査を開始し（ステップＳ１１１）、処理を終了する。一方、焦点制御部３０は、焦点調整操作を受付けていない場合（ステップＳ１０４：Ｎｏ）、信号値の差が所定の条件を満たさない場合（ステップＳ１０８：Ｎｏ）、若しくは、焦点調整が完了していない場合は（ステップＳ１１０：Ｎｏ）、再度、焦点調整操作を受付けたか否かを判定する（ステップＳ１０４）。

［第１の実施形態における効果］
このように、焦点調整支援装置１０は、撮影対象の熱分布を示す熱画像から、温度変化が所定の条件を満たす領域を探索する。そして、焦点調整支援装置１０は、焦点距離を調整しながら撮影された複数の熱画像の、探索された領域内の熱分布に基づいて、焦点距離が所定の条件を満たすか否かを判定する。このような処理の結果、焦点調整支援装置１０は、焦点を調整する際に注目すべき特定領域を自動的に探索し、探索した特定領域内における熱分布に基づいて焦点距離が適切であるか否かを判定するので、オペレータの熟練度に寄らず、焦点調整操作の支援を実現することができる。

［原理２］
上述した第１の実施形態では、単一の焦点調整支援装置１０が、特定領域を探索し、特定領域内における温度分布に基づいて、焦点距離が適切か否かを判定した。ここで、複数のオペレータＯＰが複数のサーモグラフィ装置１００を個々に用いる場合、着目すべき特定領域を共通化することで、検査のバラつきを抑えることに想到した。

［第２の実施形態］
以下、第２の実施形態の概要について、図８を用いて説明する。図８は、第２の実施形態における焦点調整支援装置の概要を示す図である。図８に示す例では、焦点調整支援装置１０ａ、１０ｂは、図２に示した焦点調整支援装置１０と同様に、オペレータＯＰからの各種操作を受付ける情報処理装置であり、例えば、ＰＣ等により実現される。

ここで、焦点調整支援装置１０ａは、検査ラインＩＬ１を流れる検査対象から発せられた赤外線から熱画像を得るサーモグラフィ装置１００ａと接続されている。また、焦点調整支援装置１０ｂは、検査ラインＩＬ２を流れる検査対象から発せられた赤外線から熱画像を得るサーモグラフィ装置１００ｂと接続されている。なお、サーモグラフィ装置１００ａ、１００ｂは、第１の実施形態に係るサーモグラフィ装置１００と同様の機能を有するものとして、以下の説明を省略する。

例えば、焦点調整支援装置１０ａは、サーモグラフィ装置１００ａから熱画像を受付けると、第１の実施形態と同様に、受付けた熱画像から焦点調整を行う際に有用な領域を特定領域として探索する（ステップＳ１１）。そして、焦点調整支援装置１０ａは、特定した特定領域における熱分布に基づいて、焦点距離が適切であるか否かを判定するとともに、特定した特定領域の位置等を示す領域情報をサーモグラフィ装置１００ｂへと送信する（ステップＳ１２）。

一方、焦点調整支援装置１０ｂは、自装置において特定領域の探索は行わず、焦点調整支援装置１０ａから受付けた領域情報が示す領域を特定領域とし、サーモグラフィ装置１００ｂの焦点距離を調整しながら得られた複数の熱画像について、特定領域内における熱分布に基づいて、サーモグラフィ装置１００ｂの焦点距離が適切であるか否かを判定する（ステップＳ１３）。

すなわち、焦点調整支援装置１０ａは、マスターとして、サーモグラフィ装置１００ａから取得した熱画像より特定した特定領域の領域情報をスレーブである焦点調整支援装置１０ｂへと送信する。そして、スレーブである焦点調整支援装置１０ｂは、サーモグラフィ装置１００ｂにより得られた熱画像のうち、焦点調整支援装置１０ａから受付けた領域情報が示す領域を特定領域とし、特定領域内における熱分布に基づいて、サーモグラフィ装置１００ｂの焦点距離が適切であるか否かを判定する。

［第２の実施形態における機能構成の一例］
続いて、図９を用いて、焦点調整支援装置１０ａ、１０ｂが有する機能構成の一例について説明する。図９は、第２の実施形態に係る焦点調整支援装置が有する機能構成の一例を示す図である。

図９に示すように、焦点調整支援装置１０ａは、通信部２０ａ、焦点制御部３０ａ、表示部４０ａ、記憶部５０ａ、制御部６０ａおよび送信部７０を有する。なお、通信部２０ａ、焦点制御部３０ａ、表示部４０ａ、および記憶部５０ａについては、図２に示した通信部２０、焦点制御部３０、表示部４０、および記憶部５０と同様の機能を発揮するものとして、説明を省略する。

制御部６０ａは、図２に示す制御部６０と同様の機能を発揮する。例えば、制御部６０ａは、取得部６１ａ、領域探索部６２ａ、信号値変化探索部６３ａ、判定部６４ａ、および出力部６５ａを有する。なお、取得部６１ａ、領域探索部６２ａ、信号値変化探索部６３ａ、判定部６４ａ、および出力部６５ａは、図２に示す取得部６１、領域探索部６２、信号値変化探索部６３、判定部６４、および出力部６５と同様の機能を発揮する。

送信部７０は、領域探索部６２ａによって探索された特定領域を示す領域情報５１ａを、スレーブである焦点調整支援装置１０ｂへと送信する。例えば、送信部７０は、領域探索部６２ａによって領域情報５１ａが記憶部５０ａに格納された場合は、領域情報５１ａを焦点調整支援装置１０ｂへと送信する。

一方、焦点調整支援装置１０ｂは、通信部２０ｂ、焦点制御部３０ｂ、表示部４０ｂ、記憶部５０ｂ、制御部６０ｂおよび受信部８０を有する。なお、通信部２０ｂ、焦点制御部３０ｂ、表示部４０ｂ、および記憶部５０ｂについては、図２に示した通信部２０、焦点制御部３０、表示部４０、および記憶部５０と同様の機能を発揮するものとして、説明を省略する。

受信部８０は、他の焦点調整支援装置１０ａから、焦点調整支援装置１０ａが熱画像から探索した領域であって、温度変化が所定の条件を満たす領域を示す領域情報を受信する。例えば、受信部８０は、焦点調整支援装置１０ａから領域情報５１ａを受信した場合は、受信した領域情報５１ａを領域情報５１ｂとして記憶部５０ｂに格納する。

制御部６０ｂは、図２に示す制御部６０と同様の機能を発揮する。例えば、制御部６０ｂは、取得部６１ｂ、信号値変化探索部６３ｂ、判定部６４ｂ、および出力部６５ｂを有する。なお、取得部６１ｂ、信号値変化探索部６３ｂ、判定部６４ｂ、および出力部６５ｂは、図２に示した信号値変化探索部６３、判定部６４、および出力部６５と同様の機能を発揮するものとする。

例えば、信号値変化探索部６３ｂは、信号値変化探索部６３と同様に、焦点距離を調整しながら得られた複数の熱画像について、領域情報５１ｂが示す領域内において隣接する画素間の信号値の差を探索する。すなわち、信号値変化探索部６３ｂは、サーモグラフィ装置１００ｂから得られた熱画像のうち、焦点調整支援装置１０ｂではなく、焦点調整支援装置１０ａがサーモグラフィ装置１００ａから取得した熱画像より探索した特定領域と同様の領域を抽出し、抽出した領域内において隣接する画素間の信号値の差を探索する。

そして、判定部６４ｂは、信号値変化探索部６３ｂによる探索結果に基づいて、サーモグラフィ装置１００ｂの焦点距離が適切であるか否かを判定する。その後、出力部６５ｂは、判定部６４ｂによる判定結果を出力する。

［第２の実施形態における動作の一例］
次に、図１０を参照して、第２の実施形態に係る焦点調整支援装置１０ａ、１０ｂの動作タイミングの一例について説明する。図１０は、第２の実施形態に係る焦点調整支援処理の一例を示すフローチャートである。なお、以下の説明では、焦点調整支援装置１０ａ、１０ｂを、焦点調整支援装置１０と総称する。

例えば、焦点調整支援装置１０は、自装置がマスタであるか否かを判定する（ステップＳ２０１）。そして、焦点調整支援装置１０は、自装置がマスタである場合は（ステップＳ２０１：Ｙｅｓ）、熱画像から検索された領域、すなわち、特定領域をスレーブとなる他の焦点調整支援装置１０へと通知する（ステップＳ２０２）。そして、焦点調整支援装置１０は、探索された領域内における信号値の差に基づいて、焦点距離の調整を支援し（ステップＳ２０３）、処理を終了する。

一方、焦点調整支援装置１０は、自装置がスレーブであると判定した場合は（ステップＳ２０１：Ｎｏ）、マスタにより探索された領域の通知を受付ける（ステップＳ２０４）。そして、焦点調整支援装置１０は、通知された領域内における信号値の差に基づいて、焦点距離の調整を支援し（ステップＳ２０５）、処理を終了する。

［第２の実施形態における効果］
上述したように、マスタとなる焦点調整支援装置１０ａは、撮影対象の熱分布を示す熱画像から、温度変化が所定の条件を満たす領域を探索する。そして、焦点調整支援装置１０ａは、スレーブとなる焦点調整支援装置１０ｂに対し、特定領域を示す領域情報を送信する。一方、焦点調整支援装置１０ｂは、焦点調整支援装置１０ａから通知された領域情報が示す特定領域における熱分布に基づき、焦点距離が所定の条件を満たすか否かを判定する。このような処理の結果、焦点調整支援装置１０ａ、１０ｂは、焦点調整において着目すべき特定領域を共通化することができるので、検査のバラつきを抑えることができる。

［実施形態の拡張］
上記では、焦点調整支援装置１０が実行する焦点調整支援処理の一例について記載した。しかしながら、実施形態は、これに限定されるものではない。以下、焦点調整支援装置１０が実行する処理のバリエーションについて説明する。

（１：特定領域における温度変化の条件について）
上述した実施形態では、焦点調整支援装置１０は、領域内の各画素の温度（信号値）の分散が最も大きい領域や、最高温度と最低温度との差が最も大きい領域を特定領域として探索した。しかしながら、実施形態は、これに限定されるものではない。例えば、焦点調整支援装置１０は、領域内の各画素の温度の標準偏差が最も大きい領域を特定領域として探索してもよい。

また、焦点調整支援装置１０は、領域内に含まれる各画素の温度の数を計数し、計数した数が最も多い領域を特定領域としてもよい。また、焦点調整支援装置１０は、最高温度と最低温度との差、温度の分散、標準偏差、温度の数等の要素に基づくスコアを算出し、算出したスコアが最も大きい領域を特定領域としてもよい。この際、焦点調整支援装置１０は、各要素に対して所定の重みづけを適用してもよい。

すなわち、焦点調整支援装置１０は、焦点調整において有用であると推定される領域（すなわち、様々な温度が含まれる領域）を特定領域として自動的に探索するのであれば、任意の条件に基づいて、特定領域の探索を行ってよい。

（２：焦点距離が適切であるか否かの条件について）
上述した実施形態では、焦点調整支援装置１０は、焦点距離を調整しながら得られた複数の熱画像（すなわち、焦点距離が異なる複数の熱画像）について、特定領域内において隣接する画素間の信号値の差が所定の条件を満たすか否かに基づき、焦点距離が適切であるか否かを判定した。ここで、焦点調整支援装置１０は、任意の条件に基づいて、焦点距離が適切であるか否かを判定してよい。例えば、焦点調整支援装置１０は、信号値の差の総和、分散、若しくは標準偏差が、所定の閾値を超えた場合に、利用者に対して焦点距離が適切となった旨を出力してもよい。

また、例えば、焦点調整支援装置１０は、焦点距離を調整しながら得られた複数の熱画像のそれぞれについて、特定領域内において隣接する信号値の差を算出し、信号値の差の総和、分散、若しくは標準偏差が最大となる熱画像を特定する。そして、焦点調整支援装置１０は、特定した熱画像が取得された際の焦点距離を示す情報を出力してもよい。すなわち、焦点調整支援装置１０は、焦点距離が異なる複数の熱画像をあらかじめ全て取得し、取得した各熱画像のうち、焦点距離が最も適切な熱画像を特定してもよい。

また、例えば、焦点調整支援装置１０は、熱画像を取得する度に、焦点距離が前回取得された熱画像よりも適切であるか否かを判定し、焦点距離が前回取得された熱画像よりも適切ではなくなった場合は、取得された熱画像において焦点が最適化された旨を利用者に対して出力してもよい。より具体的な例を挙げると、焦点調整支援装置１０は、熱画像が得られる度に、特定領域内において隣接する信号値の差を算出する。続いて、焦点調整支援装置１０は、算出した信号値の差の総和、分散、若しくは標準偏差と、前回得られた熱画像から算出した信号値の差の総和、分散、若しくは標準偏差とを比較する。

そして、焦点調整支援装置１０は、信号値の差の総和、分散、若しくは標準偏差が、前回得られた熱画像よりも新たに得られた熱画像の方が大きい場合には、利用者に通知を行わず、さらに新たな熱画像を取得する。また、焦点調整支援装置１０は、信号値の差の総和、分散、若しくは標準偏差が、前回得られた熱画像よりも新たに得られた熱画像の方が小さくなった場合には、取得された熱画像において焦点が最適化された旨を利用者に対して出力してもよい。

また、焦点調整支援装置１０は、隣接する画素の信号値の差以外にも、特定領域内における熱分布に基づいて、焦点距離が適切であるか否かを判定するのであれば、任意の手法による判定を採用してよい。例えば、焦点調整支援装置１０は、画像解析の技術等を用いて、特定領域内において色彩の境界線が明確であるか否かを判定し、明確であると判定された場合は、焦点距離が適切であると判定してもよい。このような処理を実行した場合であっても、焦点調整支援装置１０は、ソフトウェアのみにより、熱画像から焦点距離が適切であるか否かを判定することができる。

（３：出力について）
上述した例では、焦点調整支援装置１０は、焦点距離が適切である旨の通知を利用者に対して提供した。しかしながら、実施形態は、これに限定されるものではない。例えば、焦点調整支援装置１０は、焦点距離が適切ではないと判定された場合は、焦点距離が適切ではない旨の通知を利用者に対して提供してもよい。また、焦点調整支援装置１０は、焦点距離が適切であると判定された場合は、焦点距離を固定してもよい。例えば、焦点調整支援装置１０は、前回取得された熱画像の焦点距離が適切であると判定した場合は、サーモグラフィ装置１００の焦点距離を適切であると判定した焦点距離に変更し、その後、焦点距離を固定してもよい。

また、焦点調整支援装置１０は、判定結果に基づいて、サーモグラフィ装置１００の焦点距離を自動で調整してもよい。例えば、焦点調整支援装置１０は、焦点距離が適切であると判定されるまで、サーモグラフィ装置１００の焦点距離を自動的に変更し、焦点距離が適切であると判定された場合は、焦点距離を固定してもよい。

（４：領域情報について）
また、上述した第２の実施形態においては、マスタとなる焦点調整支援装置１０ａが、熱画像のうち特定領域となる領域の位置、大きさ、形状を示す領域情報５１ａを送信した。しかしながら、実施形態は、これに限定されるものではない。

例えば、複数のサーモグラフィ装置１００ａ、１００ｂが同種の対象を撮影していたとしても、熱画像において対象が撮影される位置は微妙に変化する。このような変化を吸収するため、例えば、特定領域の大きさをある程度広く設定するという手法が考えれるが、特定領域をより適切に共有するため、マスタが特定した特定領域における熱分布の情報をスレーブに通知してもよい。

例えば、焦点調整支援装置１０ａは、特定領域における熱分布の情報を領域情報５１ａとして送信する。このような場合、焦点調整支援装置１０ｂは、サーモグラフィ装置１００ｂから取得した熱画像のうち、領域情報５１ａが示す熱分布と類似する領域を特定領域として探索してもよい。また、焦点調整支援装置１０ａは、特定領域の位置と熱分布とを示す領域情報５１ａを送信してもよい。このような場合、焦点調整支援装置１０ｂは、領域情報５１ａが示す位置の近傍から、熱分布が領域情報５１ａが示す熱分布と類似する領域を探索すればよい。

（５：その他）
なお、マスタとなる焦点調整支援装置１０は、任意の数のスレーブとなる焦点調整支援装置１０に対して、領域情報を送信してもよい。すなわち、焦点調整支援装置１０は、任意の数の装置間で特定領域の共有を行ってもよい。

また、焦点調整支援装置１０は、サーモグラフィ装置１００と同一の装置であってもよい。また、上述した各種の処理は、焦点調整支援装置１０が自動的に実行してもよく、いずれか一部の処理が人手により実現されてもよい。

以上、実施形態の一例を説明したが、これらは例示であり、本実施形態は上記した説明に限定されるものではない。発明の開示の欄に記載の態様を始めとして、実施形態の構成や詳細は、当業者の知識に基づいて種々の変形、改良を施した他の形態で実施することができる。また、各実施形態については、矛盾しない範囲で任意に組み合わせて実施することができる。

１０、１０ａ、１０ｂ 焦点調整支援装置
２０、２０ａ、２０ｂ 通信部
３０、３０ａ、３０ｂ 焦点制御部
４０、４０ａ、４０ｂ 表示部
５０、５０ａ、５０ｂ 記憶部
５１、５１ａ、５１ｂ 領域情報
６０、６０ａ、６０ｂ 制御部
６１、６１ａ、６１ｂ 取得部
６２、６２ａ 領域探索部
６３、６３ａ、６３ｂ 信号値変化探索部
６４、６４ａ、６４ｂ 判定部
６５、６５ａ、６５ｂ 出力部
７０ 送信部
８０ 受信部
１００、１００ａ、１００ｂ サーモグラフィ装置

Claims (8)

1. 撮影対象の熱分布を示す熱画像を取得する取得部と、
   前記取得部により取得された熱画像から、温度変化が所定の条件を満たす領域を探索する探索部と、
   焦点距離を調整しながら撮影された複数の熱画像の、前記探索部により探索された領域内の熱分布に基づいて、焦点距離が所定の条件を満たすか否かを判定する判定部と
   を備え、
   前記探索部は、前記熱画像のうち、最低温度と最高温度との差が所定の閾値を超える領域を探索する
   焦点調整支援装置。
2. 撮影対象の熱分布を示す熱画像を取得する取得部と、
   前記取得部により取得された熱画像から、温度変化が所定の条件を満たす領域を探索する探索部と、
   焦点距離を調整しながら撮影された複数の熱画像の、前記探索部により探索された領域内の熱分布に基づいて、焦点距離が所定の条件を満たすか否かを判定する判定部と
   を備え、
   前記探索部は、前記熱画像のうち、温度の分散が所定の閾値を超える領域を探索する
   焦点調整支援装置。
3. 撮影対象の熱分布を示す熱画像を取得する取得部と、
   前記取得部により取得された熱画像から、温度変化が所定の条件を満たす領域を探索する探索部と、
   焦点距離を調整しながら撮影された複数の熱画像の、前記探索部により探索された領域内の熱分布に基づいて、焦点距離が所定の条件を満たすか否かを判定する判定部と
   を備え、
   前記判定部は、前記探索部により探索された領域内において隣接する画素間の温度差に基づいて、焦点距離が所定の条件を満たすか否かを判定するとともに、前記温度差の標準偏差が所定の閾値を超える場合は、前記焦点距離が所定の条件を満たすと判定する
   焦点調整支援装置。
4. 撮影対象の熱分布を示す熱画像を取得する取得部と、
   前記取得部により取得された熱画像から、温度変化が所定の条件を満たす領域を探索する探索部と、
   焦点距離を調整しながら撮影された複数の熱画像の、前記探索部により探索された領域内の熱分布に基づいて、焦点距離が所定の条件を満たすか否かを判定する判定部と
   を備え
   前記判定部は、前記探索部により探索された領域内において隣接する画素間の温度差に基づいて、焦点距離が所定の条件を満たすか否かを判定するとともに、前記温度差の総和が所定の閾値を超える場合は、前記焦点距離が所定の条件を満たすと判定し、前記温度差の標準偏差が所定の閾値を超える場合は、前記焦点距離が所定の条件を満たすと判定する
   焦点調整支援装置。
5. 情報処理装置が撮影対象の熱分布を示す熱画像を取得する第１ステップと、
   前記情報処理装置が前記第１ステップにより取得された熱画像から、温度変化が所定の条件を満たす領域を探索する第２ステップと、
   前記情報処理装置が、焦点距離を調整しながら撮影された複数の熱画像の、前記第２ステップにより探索された領域内の熱分布に基づいて、焦点距離が所定の条件を満たすか否かを判定する第３ステップと
   を含み、
   前記第２ステップは、前記情報処理装置が、前記熱画像のうち、最低温度と最高温度との差が所定の閾値を超える領域を探索する
   焦点調整支援方法。
6. 情報処理装置が撮影対象の熱分布を示す熱画像を取得する第１ステップと、
   前記情報処理装置が前記第１ステップにより取得された熱画像から、温度変化が所定の条件を満たす領域を探索する第２ステップと、
   前記情報処理装置が、焦点距離を調整しながら撮影された複数の熱画像の、前記第２ステップにより探索された領域内の熱分布に基づいて、焦点距離が所定の条件を満たすか否かを判定する第３ステップと
   を含み、
   前記第２ステップは、前記情報処理装置が、前記熱画像のうち、温度の分散が所定の閾値を超える領域を探索する
   焦点調整支援方法。
7. 情報処理装置が撮影対象の熱分布を示す熱画像を取得する第１ステップと、
   前記情報処理装置が前記第１ステップにより取得された熱画像から、温度変化が所定の条件を満たす領域を探索する第２ステップと、
   前記情報処理装置が、焦点距離を調整しながら撮影された複数の熱画像の、前記第２ステップにより探索された領域内の熱分布に基づいて、焦点距離が所定の条件を満たすか否かを判定する第３ステップと
   を含み、
   前記第３ステップは、前記情報処理装置が、前記第２ステップにより探索された領域内において隣接する画素間の温度差に基づいて、焦点距離が所定の条件を満たすか否かを判定するとともに、前記温度差の標準偏差が所定の閾値を超える場合は、前記焦点距離が所定の条件を満たすと判定する
   焦点調整支援方法。
8. 情報処理装置が撮影対象の熱分布を示す熱画像を取得する第１ステップと、
   前記情報処理装置が前記第１ステップにより取得された熱画像から、温度変化が所定の条件を満たす領域を探索する第２ステップと、
   前記情報処理装置が、焦点距離を調整しながら撮影された複数の熱画像の、前記第２ステップにより探索された領域内の熱分布に基づいて、焦点距離が所定の条件を満たすか否かを判定する第３ステップと
   を含み、
   前記第３ステップは、前記第２ステップにより探索された領域内において隣接する画素間の温度差に基づいて、焦点距離が所定の条件を満たすか否かを判定するとともに、前記温度差の総和が所定の閾値を超える場合は、前記焦点距離が所定の条件を満たすと判定し、前記温度差の標準偏差が所定の閾値を超える場合は、前記焦点距離が所定の条件を満たすと判定する
   焦点調整支援方法。

Images