JP6933125B2 - 情報処理装置，撮影ガイド表示プログラム，撮影ガイド表示方法 - Google Patents

Description

本発明は、撮像画像とテンプレート画像とのマッチング処理を実施する装置，プログラム，表示方法に関する。

従来、撮像装置で撮像された撮像画像とその原型となるテンプレート画像とを照合し、画像の類似度（マッチングの度合い）を評価する技術が知られている。例えば、人物の顔の画像をあらかじめ登録しておき、テンプレートマッチングの手法を用いて算出される撮像画像のスコア（顔情報の類似度）をその人物の個人認証に利用する技術が知られている。テンプレートマッチングでは、テンプレート画像に対応する被写体の一部分が撮像画像中のどこに位置しているのかが自動的に検索され、対応箇所とテンプレート画像との類似度や一致度が算出される。このような画像処理により、撮像画像とテンプレート画像との照合精度が向上しうる（特許文献１〜３参照）。

特開2008-257329号公報 特開2010-219825号公報 特開2006-114053号公報

撮像画像が撮像された位置や方向，画角は、必ずしもテンプレート画像の撮像条件に一致しない。そのため、三次元の立体物を撮像対象とした場合には、撮像画像に含まれる被写体とテンプレート画像に含まれる被写体との大きさのずれが大きくなり、照合精度が低下しうる。このような課題に対し、撮像画像にアフィン変換やホモグラフィー変換などの幾何学的変換を施すことで、画像間のずれを小さくすることも考えられる。しかし、立体物の影や死角に入る部分（すなわち、撮像装置から見えない部分）の状態を幾何学的変換で再現することはできない。

上述の通り、撮像状態によっては画像間のずれを適切に補正することができず、画像の照合精度が低下する。したがって、撮像画像とテンプレート画像との照合に際しては、照合に適した「良い」撮像画像、すなわち、テンプレート画像と同等の撮像位置，撮像方向，サイズ（画角）で撮像された撮像画像を取得することが望ましい。このような課題は、手持ちの撮像装置（例えば、小型ビデオカメラ，スマートフォン，タブレットなど）で撮像される立体物の撮像画像を用いたマッチング処理で顕著となる。

一つの側面では、撮像画像の撮像精度を向上させることを目的とする。

一つの実施形態では、情報処理装置は、テンプレート画像に照合される撮像画像の撮像装置での撮像に際し、前記テンプレート画像の一部分を複数の位置で切り出した複数の部分画像を生成する生成部を備える。また、前記撮像画像のうち前記部分画像に対応する部位に含まれる被写体の大きさと当該部分画像に含まれる被写体の大きさとの差を当該部分画像ごとに算出する算出部を備える。また、前記部分画像ごとの前記差に基づき、前記差を減少させる前記撮像装置の移動方向を推定する推定部と、前記移動方向を表示装置に表示させる表示部とを備える。

一つの側面では、撮像画像の撮像精度を向上させることができる。

情報処理装置での画像検査の状態を示す斜視図である。 画像検査の流れを例示するフローチャートである。 情報処理装置（タブレット）のハードウェア構成を示す図である。 撮影ガイド表示プログラムのソフトウェア構成を示す図である。 （Ａ），（Ｂ）はテンプレート画像、（Ｃ）〜（Ｆ）は部分画像である。 （Ａ），（Ｂ）は撮像画像である。 表示装置の表示画面例である。 撮影ガイド表示方法を例示するフローチャートである。 移動方向の推定手法を例示するフローチャートである。 撮像位置，撮像方向，サイズを調整した後の表示画面例である。 変形例としてのガイド表示を説明するための図である。 変形例としてのガイド表示を説明するための図である。 ガイドの表示手法を例示するフローチャートである。 変形例としてのガイド表示を説明するための図である。

［１．概要］
以下、図面を参照して、実施形態としての情報処理装置，撮影ガイド表示プログラム，撮影ガイド表示方法を説明する。これらの情報処理装置，表示プログラム，表示方法は、テンプレート画像３０に照合される撮像画像４０の撮像装置での撮像に際し、照合に適した「良い」撮像画像４０を取得するための案内を実施する撮影ガイド機能を提供する。ここでいう撮像画像４０には、例えばシャッターボタンの操作によって、一枚の独立した静止画像として撮影された画像だけでなく、表示装置１２（画面上のビューファインダー枠）に表示されている画像も含まれる。つまり、一般的な意味合いでの撮影画像だけでなく、動画中の一コマに相当する撮影画像についても、撮像画像４０と呼ぶ。

また、ここでいう「良い」撮像画像４０とは、撮像精度の高い撮像画像４０を意味する。言い換えると、良い撮像画像４０とは、撮像位置，撮像方向，サイズ（画角）が、照合対象となるテンプレート画像３０に近い撮像画像４０である。あるいは、撮像位置，撮像方向，サイズがテンプレート画像３０と同等（より好ましくは、同一）の撮像画像４０である。

図１は、生産現場において撮影者が手持ちのタブレット１０（情報端末）を使用して対象製品１５（例えば大型計算機１４のシステムボード）を撮像し、その撮像画像４０とテンプレート画像３０とを照合することで画像検査するシステムの模式図である。画像検査では、対象製品１５の組み立て状態の確認や変形，キズなどの不良の有無をチェックするために、タブレット１０に内蔵された撮像装置１１（カメラ）が使用される。また、撮像画像４０とテンプレート画像３０との照合結果は、タブレット１０に内蔵された表示装置１２に表示される。

図２は、上記の画像検査の流れを例示するフローチャートである。まず、撮影者がタブレット１０を手に持ち、テンプレート画像３０を参照しながら対象製品１５の撮像位置を調整する（ステップＡ１）。このとき、撮像画像４０がテンプレート画像３０との照合に適した「良い」撮像画像４０になるように、撮像位置，撮像方向，サイズなどを撮影者に案内する。本実施形態では、タブレット１０を移動させるべき移動方向が撮影者に提示される。また、その時点における撮像画像４０とテンプレート画像３０とを照合するとともに、画像全体の一致度を算出して撮影者に案内する。これを受けて撮影者は、案内に沿って一致度が高くなるようにタブレット１０の位置や角度を変更し、撮像画像４０を撮像する（ステップＡ２）。

撮像画像４０には、アフィン変換やホモグラフィー変換などの幾何学的変換処理が施される（ステップＡ３）とともに、画像補正処理が施される（ステップＡ４）。幾何学的変換によって撮像画像４０がよりテンプレート画像３０に近い形状に変形し、被写体の画像間のずれが減少する。また、画像補正処理によって、撮像画像４０の明度，色調，コントラスト，ヒストグラム，ノイズなどが補正され、テンプレート画像３０に対する撮像画像４０の照合精度が向上する。なお、幾何学的変換処理や画像補正処理の具体的な手法に関しては、公知の画像補正手法や画像変換手法を適用することができる。

また、テンプレート画像３０と撮像画像４０とを照合するマッチング処理が実施され、画像の一致度が計算される（ステップＡ５）。一致度を表す具体的な指標としては、テンプレート画像３０及び撮像画像４０の正規化相互相関（NCC，Normalized Cross Correlation）や零平均正規化相互相関（ZNCC，Zero means Normalized Cross Correlation）などの係数を用いることができる。その後、テンプレート画像３０及び撮像画像４０の一致度に基づいて対象製品１５の良否が判定される。対象製品１５の良否は、生産現場における管理者や撮影者によって判断される。なお、テンプレート画像３０及び撮像画像４０の一致度に応じて、自動的に対象製品１５の良否が判定されるような制御構成としてもよい。

［２．ハードウェア構成］
図３は、タブレット１０のハードウェア構成を例示するブロック図である。タブレット１０には、撮像装置１１，表示装置１２，タッチパネル１３，情報処理装置２０（コンピューター）が内蔵される。撮像装置１１は、タブレット１０の背面に取り付けられたディジタルカメラであり、CCD（Charge-Coupled Device）やCMOS（Complementary Metal Oxide Semiconductor）などのイメージセンサ，レンズ，フィルターなどを含む。撮像装置１１で撮像された映像や撮影された画像（撮像画像４０）の情報は情報処理装置２０に伝達される。

表示装置１２は、タブレット１０の表面に取り付けられた出力デバイスの一つであり、例えば液晶ディスプレイ（Liquid Crystal Display，LCD）や有機ELディスプレイ（Organic Electro-Luminescence Display，OELD）である。表示装置１２には、テンプレート画像３０のほか、シャッターボタンの操作状態に関わらず撮像装置１１の撮影範囲の映像が随時表示される。つまり、表示装置１２は、撮像装置１１のビューファインダーとしても機能する。また、タッチパネル１３は、表示装置１２の表面に重畳状態で取り付けられた入力デバイスの一つである。タブレット１０に物理キーが設けられている場合には、その物理キーをタッチパネル１３の代わりに用いてもよい。タッチパネル１３は、撮像に関する情報の選択や入力に利用される。

情報処理装置２０には、プロセッサ２１（中央処理装置），メモリ２２（メインメモリ，主記憶装置），補助記憶装置２３，インタフェース装置２４，記録媒体ドライブ２５などが内蔵され、内部バス２６を介して互いに通信可能に接続される。プロセッサ２１は、制御ユニット（制御回路）や演算ユニット（演算回路），キャッシュメモリ（レジスタ群）などを内蔵する中央処理装置である。また、メモリ２２は、プログラムや作業中のデータが格納される記憶装置であり、例えばROM（Read Only Memory），RAM（Random Access Memory）がこれに含まれる。補助記憶装置２３は、メモリ２２よりも長期的に保持されるデータやファームウェアが格納されるメモリ装置であり、例えばフラッシュメモリやEEPROMなどの不揮発性メモリがこれに含まれる。

インタフェース装置２４は、情報処理装置２０と外部との間の入出力（Input and Output；I/O）を司るものである。情報処理装置２０は、インタフェース装置２４を介して、撮像装置１１，表示装置１２，タッチパネル１３などに接続される。また、記録媒体ドライブ２５は、光ディスクや半導体メモリ（Universal Serial Bus規格に準拠したポータブルフラッシュドライブ）などの記録媒体２７（リムーバブルメディア）に記録，保存された情報を読み取る機能を持った読取装置（または読取・書込装置）である。情報処理装置２０で実行されるプログラムは、メモリ２２内に記録，保存してもよいし、補助記憶装置２３や記録媒体２７に記録，保存してもよい。

［３．ソフトウェア構成］
図４は、情報処理装置２０で実行される撮影ガイド表示プログラム１の機能的構成を示すブロック図である。撮影ガイド表示プログラム１には、生成部２，照合部３，算出部４，推定部５，表示部６が設けられる。図４中の各要素は、撮影ガイド表示プログラム１の機能を便宜的に分類して示したものであり、個々の要素を独立したプログラムとして記述してもよいし、これらの機能を兼ね備えた複合プログラムとして記述してもよい。

撮影ガイド表示プログラム１は、メモリ２２内や補助記憶装置２３の内部に記録，保存される。あるいは、記録媒体２７上に撮影ガイド表示プログラム１が記録，保存され、その記録媒体２７に書き込まれている撮影ガイド表示プログラム１が記録媒体ドライブ２５を介して情報処理装置２０に読み込まれて実行される。撮影ガイド表示プログラム１は、少なくともテンプレート画像３０に照合される撮像画像４０を撮影者がタブレット１０で撮影する際に実施される。本実施形態の撮影ガイド表示プログラム１は、図２中のステップＡ１で実行される。

生成部２は、テンプレート画像３０に照合される撮像画像４０の撮像に際し、テンプレート画像３０の一部分を複数の位置で切り出した複数の部分画像を生成するものである。生成部２は、少なくとも二つ以上の部分画像を生成し、好ましくは三つ以上の部分画像を生成する。例えば、第一画像，第二画像，第三画像を生成し、第二画像は上下方向の位置が第一画像とは異なるものとし、第三画像は左右方向の位置が第一画像とは異なるものとする。つまり、上下方向の位置が異なる部分画像のペア（第一画像，第二画像）と、左右方向の位置が異なる部分画像のペア（第一画像，第三画像）とを生成する。

対象製品１５のテンプレート画像３０を図５（Ａ）に例示する。本実施形態の生成部２は、テンプレート画像３０の中心位置よりも上位置，下位置，右位置，左位置の四箇所に対応する部分画像を生成する。図５（Ｂ）中に破線の囲み枠で示す箇所の記号u，d，l，rはそれぞれ、上位置，下位置，左位置，右位置を表す。なお、上位置uの画像を第一画像とすれば、第二画像に相当するのは下位置d，左位置l，右位置rの画像であり、第三画像に相当するのは左位置l，右位置rの画像である。

また、本実施形態の生成部２は、四箇所の部分画像のそれぞれを拡大変形させたものと縮小変形させたものとを生成する。例えば、図５（Ｃ）に示すように、テンプレート画像３０の上位置uから切り出した上部分画像Nuを基準サイズとして、これを拡大（例えば+10%）した上拡大部分画像Buと、縮小（例えば-10%）した上縮小部分画像Suとを生成する。下位置d，左位置l，右位置rについても同様に、それぞれの部分画像を拡縮方向に変形させたものを生成する〔図５（Ｄ）〜（Ｆ）参照〕。このように、本実施形態の生成部２は、一つのテンプレート画像３０から合計で十二枚の部分画像を生成する。

照合部３は、生成部２で生成されたそれぞれの部分画像について、撮像画像４０への一致度を算出するものである。ここで、撮像画像４０を図６（Ａ）に例示し、テンプレート画像３０の上位置u，下位置d，左位置l，右位置rの四箇所に対応する位置を図６（Ｂ）中に破線の囲み枠で示す。本実施形態の照合部３は、十二枚の部分画像のそれぞれについて、撮像画像４０の対応箇所に対する一致度を算出する。

例えば、上部分画像Nu，上拡大部分画像Bu，上縮小部分画像Suについては、図６（Ｂ）中の上位置Zuに対する一致度を算出する。同様に、下位置uに対応する三つの部分画像は、図６（Ｂ）中の下位置Zdに対する一致度を算出する。ここで算出される一致度は、前述のステップＡ５で計算される一致度と同様の手法を用いて算出することができる。一致度の指標として正規化相互相関を用いる場合には、以下の式１に従って正規化相互相関係数R_NCCを算出すればよい。ここで算出される正規化相互相関係数R_NCCの値域は-1≦R_NCC≦1であり、正規化相互相関係数R_NCCが1に近いほど（R_NCCの値が大きいほど）、一致度が高いものと評価することができる。

また、零平均正規化相互相関を用いる場合には、以下の式２に従って正規化相互相関係数R_ZNCCを算出すればよい。正規化相互相関係数R_ZNCCの値域は-1≦R_ZNCC≦1であり、正規化相互相関係数R_ZNCCが1に近いほど（R_ZNCCの値が大きいほど）、一致度が高いものと評価することができる。

算出部４は、撮像画像４０に含まれる被写体のサイズがテンプレート画像と比較してどのように異なっているのか（すなわち、大きいのか小さいのか、それとも丁度よいのか）を算出するものである。ここでは、撮像画像４０のうち各部分画像に対応する部位に含まれる被写体の大きさとこれ対応する部分画像に含まれる被写体の大きさとの差（サイズ差）が、部分画像ごとに算出される。ここでいう「差」は、部分画像を拡縮方向に変形させたときに照合部３で算出される一致度の変化に基づいて算出することができる。

例えば、上部分画像Nuを拡大変形させたときに撮像画像４０の上位置Zuに対する一致度が上昇した場合には、上位置Zuに含まれる被写体のサイズが大きめであるがゆえに、タブレット１０の上側からその被写体までの距離がやや近いと判断できる。逆に、上部分画像Nuを縮小変形させたときに撮像画像４０の上位置Zuに対する一致度が上昇した場合には、上位置Zuに含まれる被写体のサイズが小さめであるがゆえに、タブレット１０の上側からその被写体までの距離がやや遠いと判断できる。このような判断を撮像画像４０の四箇所（Zu，Zd，Zl，Zr）について繰り返すことで、タブレット１０の位置や傾きのずれが精度よく把握される。

なお、部分画像を拡縮方向に変形させながら一致度を観察するには相当の演算能力が求められることから、あらかじめ用意された拡大部分画像や縮小部分画像を利用して一致度の変化を観察してもよい。例えば、図５（Ｃ）〜（Ｆ）に示すような部分画像，拡大部分画像，縮小部分画像のそれぞれの一致度を比較する。最も一致度の高いものが部分画像である場合、撮像装置１１からその部分画像に含まれる被写体までの距離が適正であると判断する。一方、最も一致度の高いものが拡大部分画像である場合には、距離が近いものと判断し、最も一致度の高いものが縮小部分画像である場合には、距離が遠いものと判断する。

本実施形態の算出部４は、生成部２で生成された十二枚の部分画像の一致度に基づいて、被写体の大きさとの差を算出する。例えば、上下方向の大きさの差に関して、テンプレート画像３０の上位置uから生成された三つの部分画像Bu，Nu，Suのうち、最も一致度の高いものを選択する。また、下位置dから生成された三つの部分画像Bd，Nd，Sdのうち、最も一致度の高いものを選択する。ここで、最も一致度の高い組み合わせが以下の場合には、上下方向の大きさの差が０である（タブレット１０から被写体までの距離が上下方向に均一である）と判断する。
・最も一致度の高い組み合わせがNuとNdである場合
・最も一致度の高い組み合わせがBuとBdである場合
・最も一致度の高い組み合わせがSuとSdである場合

一方、最も一致度の高い組み合わせが以下の場合には、撮像画像４０の上側で被写体のサイズが大きく、下側で被写体のサイズが小さい（タブレット１０の下側が被写体から遠ざかるように傾いている）と判断する。
・最も一致度の高い組み合わせがBuとNdである場合
・最も一致度の高い組み合わせがBuとSdである場合
・最も一致度の高い組み合わせがNuとSdである場合

上記の何れにも該当しない場合には、撮像画像４０の上側で被写体のサイズが小さく、下側で被写体のサイズが大きい（タブレット１０の上側が被写体から遠ざかるように傾いている）と判断する。上記の何れにも該当しない組み合わせは以下の通りである。
・最も一致度の高い組み合わせがNuとBdである場合
・最も一致度の高い組み合わせがSuとBdである場合
・最も一致度の高い組み合わせがSuとNdである場合

左右方向の大きさの差に関しても同様である。左右方向の大きさの差が０である（タブレット１０から被写体までの距離が左右方向に均一である）と判断するための条件は以下の通りである。
・最も一致度の高い組み合わせがNlとNrである場合
・最も一致度の高い組み合わせがBlとBrである場合
・最も一致度の高い組み合わせがSlとSrである場合

一方、撮像画像４０の左側で被写体のサイズが大きく、右側で被写体のサイズが小さい（タブレット１０の右側が被写体から遠ざかるように傾いている）と判断するための条件は以下の通りである。
・最も一致度の高い組み合わせがBlとNrである場合
・最も一致度の高い組み合わせがBlとSrである場合
・最も一致度の高い組み合わせがNlとSrである場合

上記の何れにも該当しない場合には、撮像画像４０の左側で被写体のサイズが小さく、右側で被写体のサイズが大きい（タブレット１０の左側が被写体から遠ざかるように傾いている）と判断する。上記の何れにも該当しない組み合わせは以下の通りである。
・最も一致度の高い組み合わせがNlとBrである場合
・最も一致度の高い組み合わせがSlとBrである場合
・最も一致度の高い組み合わせがSlとNrである場合

また、算出部４は、テンプレート画像３０に対する撮像画像４０の全体的な一致度である「全体の一致度」を算出する。全体の一致度の指標として正規化相互相関を用いる場合、上述の式１や式２に従って正規化相互相関係数R_NCC，R_ZNCCなどを算出してもよい。本実施形態の算出部４は、上位置Zu，下位置Zd，左位置Zl，右位置Zrのそれぞれで最も高い一致度に基づき、撮像画像４０の全体の一致度を算出する。全体の一致度は、例えば四箇所の一致度の合計値や平均値などから算出することができる。ここで算出された全体の一致度は、表示部６によって表示装置１２に随時表示される。

推定部５は、算出部４で算出された部分画像ごとの差に基づき、その差を減少させるためのタブレット１０の移動方向を推定するものである。ここでは、撮像位置や角度を変化させたときに、被写体までの距離が遠いと判断されていた部位が被写体に近づく方向が「タブレット１０の移動方向」であると推定される。例えば、タブレット１０の上側が被写体から遠いと判断されているときには、タブレット１０を上側に移動させる（あるいは、タブレット１０の上側が被写体に近づくように傾斜させる）ことで、被写体までの距離が均一となりうる。したがって、タブレット１０の移動方向は「上方向」であると推定される。

本実施形態の推定部５は、算出部４での判断に基づき、撮像画像４０の上下方向についての移動方向と左右方向についての移動方向とを推定する。例えば、タブレット１０の上側が被写体から遠ざかるように傾いていると判断されている場合には、移動方向は「上方向」であると推定される。同様に、タブレット１０の左側が被写体から遠ざかるように傾いていると判断されている場合には、移動方向は「左方向」であると推定される。

表示部６は、推定部５で推定された移動方向を表示装置１２に表示させるものである。ここでは、撮像画像４０と、撮像装置１１（タブレット１０）の移動方向を表す形状や配置，色を持つマーク５０と、全体の一致度を表す一致度情報５１とが表示装置１２に表示される。表示装置１２の表示画面例を、図７に示す。この例では、画面中の左側にテンプレート画像３０が表示され、右側に撮像画像４０が表示されている。テンプレート画像３０の上には、照合位置を表す囲み枠が重畳表示される。

撮像画像４０の上には、テンプレート画像３０に対する被写体のサイズ差に応じた大きさの囲み枠が重畳表示される。また、撮像画像４０の右側にはくさび形（細長い三角形状）のイメージバーが表示される。このイメージバーの向きは、撮像画像４０の上下方向についての移動方向（図７では上方向）を指し示す向きとされる。推定部５で推定された移動方向が「下方向」である場合には、先端を下方向に向けたイメージバーが表示される。同様に、撮像画像４０の下側にもイメージバーが表示される。このイメージバーの向きは、撮像画像４０の左右方向についての移動方向（図７では左方向）を指し示す向きとされる。なお、イメージバーの太さと被写体までの距離とを対応させて表示してもよい。

［４．フローチャート］
図８は、撮影ガイド表示プログラム１による撮影ガイド表示方法の手順を例示するフローチャートである。まず、テンプレート画像３０の一部分を複数箇所で切り出した複数の部分画像を生成するとともに（ステップＢ１）、それぞれの部分画像を基準サイズとした拡大部分画像，縮小部分画像を生成する（ステップＢ２）。ここまでの工程は、画像検査が開始される前に実施しておくことができる。

続いて、拡大部分画像，縮小部分画像を含むすべての部分画像について、撮像画像４０の対応箇所に対する一致度を算出する（ステップＢ３）。また、ステップＢ１で部分画像が切り出された個々の位置について、部分画像，拡大部分画像，縮小部分画像のうち最も一致度の高いものが選択される（ステップＢ４）。これにより、ステップＢ１で部分画像が切り出された個々の位置における被写体のサイズ差が把握されることになる。その後、個々の位置における被写体のサイズ差に基づき、そのサイズ差を減少させるためのタブレット１０の移動方向が推定され（ステップＢ５）、その移動方向を表すマーク５０が表示装置１２に表示される（ステップＢ６）。

図９は、ステップＢ５で推定される移動方向のうち、撮像画像４０の上下方向についての移動方向を推定する手順を例示するフローチャートである。まず、上位置uから生成された三つの部分画像Bu，Nu，Suのうち、最も一致度の高いものが選択される（ステップＣ１）。同様に、下位置dから生成された三つの部分画像Bd，Nd，Sdのうち、最も一致度の高いものが選択される（ステップＣ２）。ステップＣ１で選択された部分画像とステップＣ２で選択された部分画像との組み合わせは９通りである。

ここで、最も一致度の高い組み合わせが「NuとNd」か「BuとBd」か「SuとSd」である場合には（ステップＣ３）、タブレット１０から被写体までの距離が上下方向に均一であると判断され、上下方向の太さが一定のイメージバーが表示装置１２に表示される（ステップＣ５）。一方、最も一致度の高い組み合わせが「BuとNd」か「BuとSd」か「NuとSd」である場合には（ステップＣ４）、タブレット１０の下側が被写体から遠ざかるように傾いていると判断され、先端を下方向に向けたイメージバー（上端が太く下端が細いイメージバー）が表示装置１２に表示される（ステップＣ６）。また、ステップＣ３，Ｃ４の条件が不成立の場合には、タブレット１０の上側が被写体から遠ざかるように傾いていると判断され、先端を上方向に向けたイメージバー（下端が太く上端が細いイメージバー）が表示装置１２に表示される（ステップＣ７）。

撮像画像４０の左右方向についての移動方向に関しても、同様の手順でイメージバーの表示内容が制御される。タブレット１０を手に持った撮影者は、イメージバーを見ながらタブレット１０の位置や向きを調節し、イメージバーの太さが一定になるまで調節を続ける。その結果、図１０に示すように、上下方向に延在するイメージバーと左右方向に延在するイメージバーとの双方が一定の太さとなる。このときの撮像位置，撮像方向，サイズは、テンプレート画像３０と同等となる。したがって、シャッターボタンを操作して静止画像を撮影することで、撮像精度の高い撮像画像４０を得ることができる。

［５．作用，効果］
（１）上述の実施形態では、部分画像ごとの被写体の大きさの差を減少させる撮像装置１１（タブレット１０）の移動方向が表示装置１２に表示される。これにより、被写体に対する撮像装置１１の撮像位置，撮像方向，サイズ（画角）のずれを撮影者が修正しやすくすることができる。つまり、テンプレート画像３０との照合に適した良い撮像画像４０を撮影しやすくすることができ、撮像画像４０の撮像精度を向上させることができる。したがって、画像検査の検査精度，判定精度，信頼性を向上させることができる。また、撮像装置１１の移動方向が表示装置１２に随時表示されることから、良い撮像画像４０を撮影する作業が容易となり、作業効率を改善することができる。

（２）上述の実施形態では、テンプレート画像３０からの部分画像の切り出しに際し、上下方向の位置が異なるペアと左右方向の位置が異なるペアとが含まれるように切り出し位置が設定される。前者のペアは、上下方向で被写体の大きさがどのように変化しているのかを把握するのに使用され、後者のペアは、左右方向で被写体の大きさがどのように変化しているのかを把握するのに使用される。したがって、被写体に対する撮像画像４０の全体的な傾きや位置ずれを精度よく把握することができ、撮像画像４０の撮像精度をさらに向上させることができる。

（３）上述の実施形態では、生成部２で生成されたそれぞれの部分画像について、撮像画像４０への一致度が照合部３で算出される。例えば、ある部分画像の一致度が高ければ、その部分画像が切り出された位置での被写体の大きさは、テンプレート画像３０との関係で適正である（差が０である）とみなすことができる。一方、ある部分画像の一致度が低ければ、その位置には被写体の大きさの差がある（差が大きい）とみなすことができる。このように、一致度を指標として被写体の大きさの差を評価することができ、撮像画像４０の撮像精度をさらに向上させることができる。

（４）式１，式２に示すように、テンプレート画像３０の部分画像と撮像画像４０との正規化相互相関係数R_NCC，R_ZNCCを一致度の指標として用いた場合には、テンプレート画像３０や撮像画像４０の明るさの変動に対するロバスト性の高い一致度を算出することができる。例えば、タブレット１０に内蔵された補助ライトの使用状態に関わらず、安定した一致度を算出することができる。したがって、撮像画像４０の撮像精度をさらに向上させることができる。

（５）また、部分画像を拡縮方向に変形させたときの一致度の変化を追跡することで、被写体の大きさの差を精度よく算出することができる。例えば、部分画像を拡大変形させたときに一致度が上昇したならば、拡大する前の部分画像に含まれる被写体が小さく、拡大後の部分画像に含まれる被写体のサイズが適正であると判断できる。反対に、部分画像を縮小変形させたときに一致度が上昇したならば、縮小する前の部分画像に含まれる被写体が大きく、縮小後の部分画像に含まれる被写体のサイズが適正であると判断できる。したがって、被写体の大きさの差を精度よく把握することができ、ひいては撮像画像４０の撮像精度をさらに向上させることができる。

（６）上述の実施形態では、図５（Ａ）〜（Ｆ）に示すように、四箇所の部分画像のそれぞれを拡大変形させた拡大部分画像と、縮小変形させた縮小部分画像とが作成される。それぞれの部分画像の一致度を比較することで、撮像装置１１から被写体までの距離を精度よく評価することができ、被写体の大きさの差を精度よく把握することができる。したがって、撮像画像４０の撮像精度をさらに向上させることができる。

（７）上述の実施形態では、図７に示すように、撮像画像４０とテンプレート画像３０との全体的な一致度を表す一致度情報５１が表示装置１２に表示される。これにより、撮影者が撮像位置，撮像方向，サイズなどの変更の要否を容易に把握することができ、適正な位置，角度への撮像装置１１の移動を促すことができる。したがって、撮像画像４０の撮像精度をさらに向上させることができる。

（８）上述の実施形態では、撮像装置１１（タブレット１０）の移動方向を表すマーク５０が表示装置１２に表示される。これにより撮影者は、撮像装置１１（タブレット１０）を移動させるべき方向を直感的に把握することができ、良い撮像画像４０が期待できる方向へと容易に撮像装置１１を移動させることができる。したがって、撮像画像４０の撮像精度をさらに向上させることができる。

［５．変形例］
本実施形態はあくまでも例示に過ぎず、上記の実施形態で明示しない種々の変形や技術の適用を排除する意図はない。すなわち、上記の実施形態をその趣旨を逸脱しない範囲で種々変形して（例えば、実施形態や変形例を組み合わせることによって）実施することが可能である。

例えば、上述の実施形態では、テンプレート画像３０の中心位置よりも上位置u，下位置d，左位置l，右位置rの四箇所に対応する部分画像が生成されているが、部分画像の生成数や生成位置はこれに限定されない。少なくとも複数（二以上）の部分画像を生成することで、その部分画像に対応する部位に含まれる被写体の大きさを評価することができ、上述の実施形態と同様の効果を奏するものとなる。

上述の実施形態では、くさび形のイメージバーの向きで撮像装置１１（タブレット１０）の移動方向を表現しているが、撮影者に移動を促すための具体的なマーク５０の形状，配置，色などはこれに限定されない。例えば、図１１に示すように、撮像画像４０の中央に破線円５３を表示する。また、破線円５３よりも直径が小さな円５２を被写体の大きさの差に応じて決定される位置に表示する。さらに、上述の実施形態におけるタブレット１０の移動方向を一本の矢印で表現し、矢印の起点を破線円５３の中心に配置して、矢印の先端に円５２を配置する。

つまり、円５２の位置は、撮像画像４０上において、その時点での被写体までの距離が遠い側に向かって偏った位置に設定する。このようなマーク５０を用いることで、破線円５３の中心と円５２の中心とが合致するようにタブレット１０を移動させて、撮像位置，撮像方向，サイズなどを容易に適正化することができる。また、タブレット１０を傾斜させる方向が直感的に把握されるため、作業効率をさらに改善することができる。

図１２に示すように、色や表示濃度の異なるガイドバー５４を撮像画像４０の周囲に配置してもよい。ガイドバー５４は、撮像画像４０の上端辺，下端辺，右端辺，左端辺のそれぞれに（すなわち、合計で四本のガイドバー５４を）表示する。また、それぞれのガイドバー５４の濃度（色）は、上位置u，下位置d，左位置l，右位置rの四箇所に対応する四つの部分画像についての一致度に応じて設定する。

ガイドバー５４の濃度を設定するためのフローチャートを図１３に例示する。このフローチャートは、それぞれのガイドバー５４に対して独立して実行される。また、ガイドバー５４の濃度の設定において参照される一致度は、そのガイドバー５４の位置に対応する一つの部分画像の一致度とする。例えば、撮像画像４０の上端辺のガイドバー５４の濃度は、上位置uの部分画像の一致度に基づいて制御される。

まず、上位置uの部分画像の一致度が算出され（ステップＤ１）、一致度が80%を超えるか否かが判定される（ステップＤ２）。この条件が成立する場合、上端辺のガイドバー５４の濃度は最も薄い濃度（距離が適正距離であることを示す）に設定される（ステップＤ４）。一方、この条件が不成立の場合には、一致度が50%を超えるか否かが判定される（ステップＤ３）。この条件が成立する場合には、やや濃い濃度（距離が適正距離と少し違うことを示す）が設定される（ステップＤ５）。また、この条件が不成立であれば、一致度が50%未満であることになるため、最も濃い濃度（距離が適正距離とかなり違うことを示す）が設定される（ステップＤ６）。

このように、一致度に応じた濃度でガイドバー５４を表示することで、撮影者はガイドバー５４が全体的に薄い濃度となるようにタブレット１０の位置や向きを調節することができ、テンプレート画像３０と同等の撮像位置，撮像方向，サイズを模索することができる。また、全てのガイドバー５４が薄い濃度となった状態でシャッターボタンを操作して静止画像を撮影することで、撮像精度の高い撮像画像４０を得ることができる。

なお、図１２に示す例では、被写体までの距離と適正距離との大小関係が表示装置１２に表示されない。そこで、撮像画像４０に半透明の部分画像を重畳表示してもよい。最もシンプルな重畳表示手法は、上述の実施形態における上部分画像Nu，下部分画像Nd，左部分画像Nl，右部分画像Nrを半透明化し、撮像画像４０に重ねて表示することである。この場合、タブレット１０の位置や向きを調整するための目安となる画像を撮影者に提供することができ、作業効率をさらに改善することができる。

また、図１４に示すように、上位置u，下位置d，左位置l，右位置rの四箇所に対応する位置を破線の囲み枠で表示するとともに、それぞれの位置で最も一致度の高い部分画像（部分画像，拡大部分画像，縮小部分画像のいずれか）を半透明化し、撮像画像４０に重ねて表示してもよい。この場合、撮影者は撮像画像４０の囲み枠内が半透明の部分画像に一致するようにタブレット１０の位置や向きを調整すればよく、作業効率をさらに改善することができる。

［６．付記］
上記の変形例を含む実施形態に関し、以下の付記を開示する。
（付記１〜８：情報処理装置）
（付記１）
テンプレート画像に照合される撮像画像の撮像装置での撮像に際し、前記テンプレート画像の一部分を複数の位置で切り出した複数の部分画像を生成する生成部と、
前記撮像画像のうち前記部分画像に対応する部位に含まれる被写体の大きさと当該部分画像に含まれる被写体の大きさとの差を当該部分画像ごとに算出する算出部と、
前記部分画像ごとの前記差に基づき、前記差を減少させる前記撮像装置の移動方向を推定する推定部と、
前記移動方向を表示装置に表示させる表示部と、
を備えることを特徴とする、情報処理装置。

（付記２）
前記生成部が、第一画像と、上下方向の位置が前記第一画像とは異なる第二画像と、左右方向の位置が前記第一画像とは異なる第三画像と、を含む前記複数の部分画像を生成する
ことを特徴とする、付記１記載の情報処理装置。

（付記３）
それぞれの前記部分画像についての前記撮像画像への一致度を算出する照合部を備える
ことを特徴とする、付記１または２記載の情報処理装置。

（付記４）
前記照合部が、前記一致度に相当する前記部分画像及び前記撮像画像の正規化相互相関を算出する
ことを特徴とする、付記３記載の情報処理装置。

（付記５）
前記算出部が、前記部分画像を拡縮方向に変形させたときに前記照合部で算出される前記一致度の変化に基づき、前記差を算出する
ことを特徴とする、付記３または４のいずれか１項に記載の情報処理装置。

（付記６）
前記生成部が、それぞれの前記部分画像について、当該部分画像を拡大変形させた拡大部分画像と、当該部分画像を縮小変形させた縮小部分画像とを生成し、
前記照合部が、前記部分画像，前記拡大部分画像，前記縮小部分画像のそれぞれの前記一致度を算出し、
前記算出部が、前記部分画像，前記拡大部分画像，前記縮小部分画像のうち、
最も前記一致度の高いものが前記部分画像である場合に、前記撮像装置から当該部分画像含まれる被写体までの距離が適正であると判断し、
最も前記一致度の高いものが前記拡大部分画像である場合に、前記撮像装置から当該部分画像含まれる被写体までの距離が近いものと判断し、
最も前記一致度の高いものが前記縮小画像である場合に、前記撮像装置から当該部分画像含まれる被写体までの距離が遠いものと判断する
ことを特徴とする、付記３〜５のいずれか１項に記載の情報処理装置。

（付記７）
前記表示部が、それぞれの前記部分画像についての一致度に基づいて算出される、前記撮像画像と前記テンプレート画像との全体の一致度を前記表示装置に表示させる
ことを特徴とする、付記３〜６のいずれか１項に記載の情報処理装置。

（付記８）
前記表示部が、前記移動方向を表す形状または配置または色を持つマークと前記撮像画像とを前記表示装置に表示させる
ことを特徴とする、付記１〜７のいずれか１項に記載の情報処理装置。

（付記９〜１６：撮影ガイド表示プログラム）
（付記９）
テンプレート画像に照合される撮像画像の撮像装置での撮像に際し、前記テンプレート画像の一部分を複数の位置で切り出した複数の部分画像を生成し、
前記撮像画像のうち前記部分画像に対応する部位に含まれる被写体の大きさと当該部分画像に含まれる被写体の大きさとの差を当該部分画像ごとに算出し、
前記部分画像ごとの前記差に基づき、前記差を減少させる前記撮像装置の移動方向を推定し、
前記移動方向を表示装置に表示させる
処理をコンピュータに実行させる、撮影ガイド表示プログラム。

（付記１０）
第一画像と、上下方向の位置が前記第一画像とは異なる第二画像と、左右方向の位置が前記第一画像とは異なる第三画像と、を含む前記複数の部分画像を生成する
処理をコンピュータに実行させる、付記９記載の撮影ガイド表示プログラム。

（付記１１）
それぞれの前記部分画像についての前記撮像画像への一致度を算出する
処理をコンピュータに実行させる、付記９または１０記載の撮影ガイド表示プログラム。

（付記１２）
前記一致度に相当する前記部分画像及び前記撮像画像の正規化相互相関を算出する
処理をコンピュータに実行させる、付記１１記載の撮影ガイド表示プログラム。

（付記１３）
前記部分画像を拡縮方向に変形させたときに前記照合部で算出される前記一致度の変化に基づき、前記差を算出する
処理をコンピュータに実行させる、付記１１または１２のいずれか１項に記載の撮影ガイド表示プログラム。

（付記１４）
それぞれの前記部分画像について、当該部分画像を拡大変形させた拡大部分画像と、当該部分画像を縮小変形させた縮小部分画像とを生成し、
前記部分画像，前記拡大部分画像，前記縮小部分画像のそれぞれの前記一致度を算出し、
前記部分画像，前記拡大部分画像，前記縮小部分画像のうち、
最も前記一致度の高いものが前記部分画像である場合に、前記撮像装置から当該部分画像含まれる被写体までの距離が適正であると判断し、
最も前記一致度の高いものが前記拡大部分画像である場合に、前記撮像装置から当該部分画像含まれる被写体までの距離が近いものと判断し、
最も前記一致度の高いものが前記縮小画像である場合に、前記撮像装置から当該部分画像含まれる被写体までの距離が遠いものと判断する
処理をコンピュータに実行させる、付記１１〜１３のいずれか１項に記載の撮影ガイド表示プログラム。

（付記１５）
それぞれの前記部分画像についての一致度に基づいて算出される、前記撮像画像と前記テンプレート画像との全体の一致度を前記表示装置に表示させる
処理をコンピュータに実行させる、付記１１〜１４のいずれか１項に記載の撮影ガイド表示プログラム。

（付記１６）
前記移動方向を表す形状または配置または色を持つマークと前記撮像画像とを前記表示装置に表示させる
処理をコンピュータに実行させる、付記９〜１５のいずれか１項に記載の撮影ガイド表示プログラム。

（付記１７〜２４：撮影ガイド表示方法）
（付記１７）
テンプレート画像に照合される撮像画像の撮像装置での撮像に際し、前記テンプレート画像の一部分を複数の位置で切り出した複数の部分画像を生成し、
前記撮像画像のうち前記部分画像に対応する部位に含まれる被写体の大きさと当該部分画像に含まれる被写体の大きさとの差を当該部分画像ごとに算出し、
前記部分画像ごとの前記差に基づき、前記差を減少させる前記撮像装置の移動方向を推定し、
前記移動方向を表示装置に表示させる
ことを特徴とする、撮影ガイド表示方法。

（付記１８）
第一画像と、上下方向の位置が前記第一画像とは異なる第二画像と、左右方向の位置が前記第一画像とは異なる第三画像と、を含む前記複数の部分画像を生成する
ことを特徴とする、付記１７記載の撮影ガイド表示方法。

（付記１９）
それぞれの前記部分画像についての前記撮像画像への一致度を算出する
ことを特徴とする、付記１７または１８記載の撮影ガイド表示方法。

（付記２０）
前記一致度に相当する前記部分画像及び前記撮像画像の正規化相互相関を算出する
ことを特徴とする、付記１９記載の撮影ガイド表示方法。

（付記２１）
前記部分画像を拡縮方向に変形させたときに前記照合部で算出される前記一致度の変化に基づき、前記差を算出する
ことを特徴とする、付記１９または２０のいずれか１項に記載の撮影ガイド表示方法。

（付記２２）
それぞれの前記部分画像について、当該部分画像を拡大変形させた拡大部分画像と、当該部分画像を縮小変形させた縮小部分画像とを生成し、
前記部分画像，前記拡大部分画像，前記縮小部分画像のそれぞれの前記一致度を算出し、
前記部分画像，前記拡大部分画像，前記縮小部分画像のうち、
最も前記一致度の高いものが前記部分画像である場合に、前記撮像装置から当該部分画像含まれる被写体までの距離が適正であると判断し、
最も前記一致度の高いものが前記拡大部分画像である場合に、前記撮像装置から当該部分画像含まれる被写体までの距離が近いものと判断し、
最も前記一致度の高いものが前記縮小画像である場合に、前記撮像装置から当該部分画像含まれる被写体までの距離が遠いものと判断する
ことを特徴とする、付記１９〜２１のいずれか１項に記載の撮影ガイド表示方法。

（付記２３）
それぞれの前記部分画像についての一致度に基づいて算出される、前記撮像画像と前記テンプレート画像との全体の一致度を前記表示装置に表示させる
ことを特徴とする、付記１９〜２２のいずれか１項に記載の撮影ガイド表示方法。

（付記２４）
前記移動方向を表す形状または配置または色を持つマークと前記撮像画像とを前記表示装置に表示させる
ことを特徴とする、付記１７〜２３のいずれか１項に記載の撮影ガイド表示方法。

１ 撮影ガイド表示プログラム
２ 生成部
３ 照合部
４ 算出部
５ 推定部
６ 表示部
１０ タブレット
１１ 撮像装置
１２ 表示装置
２０ 情報処理装置（コンピューター）
３０ テンプレート画像
４０ 撮像画像

Claims (10)

1. テンプレート画像に照合される撮像画像の撮像装置での撮像に際し、前記テンプレート画像の一部分を複数の位置で切り出した複数の部分画像を生成する生成部と、
   前記撮像画像のうち前記部分画像に対応する部位に含まれる被写体の大きさと当該部分画像に含まれる被写体の大きさとの差を当該部分画像ごとに算出する算出部と、
   前記部分画像ごとの前記差に基づき、前記差を減少させる前記撮像装置の移動方向を推定する推定部と、
   前記移動方向を表示装置に表示させる表示部と、
   を備えることを特徴とする、情報処理装置。
2. 前記生成部が、第一画像と、上下方向の位置が前記第一画像とは異なる第二画像と、左右方向の位置が前記第一画像とは異なる第三画像と、を含む前記複数の部分画像を生成する
   ことを特徴とする、請求項１記載の情報処理装置。
3. それぞれの前記部分画像についての前記撮像画像への一致度を算出する照合部を備える
   ことを特徴とする、請求項１または２記載の情報処理装置。
4. 前記照合部が、前記一致度に相当する前記部分画像及び前記撮像画像の正規化相互相関を算出する
   ことを特徴とする、請求項３記載の情報処理装置。
5. 前記算出部が、前記部分画像を拡縮方向に変形させたときに前記照合部で算出される前記一致度の変化に基づき、前記差を算出する
   ことを特徴とする、請求項３または４のいずれか１項に記載の情報処理装置。
6. 前記生成部が、それぞれの前記部分画像について、当該部分画像を拡大変形させた拡大部分画像と、当該部分画像を縮小変形させた縮小部分画像とを生成し、
   前記照合部が、前記部分画像，前記拡大部分画像，前記縮小部分画像のそれぞれの前記一致度を算出し、
   前記算出部が、前記部分画像，前記拡大部分画像，前記縮小部分画像のうち、
   最も前記一致度の高いものが前記部分画像である場合に、前記撮像装置から当該部分画像に含まれる被写体までの距離が適正であると判断し、
   最も前記一致度の高いものが前記拡大部分画像である場合に、前記撮像装置から当該部分画像に含まれる被写体までの距離が近いものと判断し、
   最も前記一致度の高いものが前記縮小部分画像である場合に、前記撮像装置から当該部分画像に含まれる被写体までの距離が遠いものと判断する
   ことを特徴とする、請求項３〜５のいずれか１項に記載の情報処理装置。
7. 前記表示部が、それぞれの前記部分画像についての一致度に基づいて算出される、前記撮像画像と前記テンプレート画像との全体の一致度を前記表示装置に表示させる
   ことを特徴とする、請求項３〜６のいずれか１項に記載の情報処理装置。
8. 前記表示部が、前記移動方向を表す形状または配置または色を持つマークと前記撮像画像とを前記表示装置に表示させる
   ことを特徴とする、請求項１〜７のいずれか１項に記載の情報処理装置。
9. テンプレート画像に照合される撮像画像の撮像装置での撮像に際し、前記テンプレート画像の一部分を複数の位置で切り出した複数の部分画像を生成し、
   前記撮像画像のうち前記部分画像に対応する部位に含まれる被写体の大きさと当該部分画像に含まれる被写体の大きさとの差を当該部分画像ごとに算出し、
   前記部分画像ごとの前記差に基づき、前記差を減少させる前記撮像装置の移動方向を推定し、
   前記移動方向を表示装置に表示させる
   処理をコンピュータに実行させる、撮影ガイド表示プログラム。
10. テンプレート画像に照合される撮像画像の撮像装置での撮像に際し、前記テンプレート画像の一部分を複数の位置で切り出した複数の部分画像を生成し、
    前記撮像画像のうち前記部分画像に対応する部位に含まれる被写体の大きさと当該部分画像に含まれる被写体の大きさとの差を当該部分画像ごとに算出し、
    前記部分画像ごとの前記差に基づき、前記差を減少させる前記撮像装置の移動方向を推定し、
    前記移動方向を表示装置に表示させる
    ことを特徴とする、撮影ガイド表示方法。

Images