<拡大観察装置>
図1は、本発明の実施の形態による撮像装置の概略構成の一例を示したシステム図であり、撮像装置の一例として、システム本体部100、カメラ部200及びコンソール300からなる拡大観察装置1が示されている。この拡大観察装置1は、対物レンズによって拡大された被写体を撮影して動画像を生成し、システム本体部100のディスプレイ110上に表示することができるデジタルマイクロスコープである。
カメラ部200は、視野を変更しながら検査対象物を撮影するための撮影ユニットであり、カメラ210、可動ホルダー220及び可動ステージ230によって構成される。カメラ210は、検査対象物を被写体として撮影し、一定のフレームレートで連続する複数のフレーム画像からなる動画像を生成する読取装置であり、円筒形状の筐体内に対物レンズ、CCDイメージセンサー、照明装置などを配置して構成されている。
可動ホルダー220は、対物レンズの中心軸に平行な方向に移動可能にカメラ210を保持する保持手段である。ここでは、カメラ210の対物レンズの中心軸に平行な方向をz軸方向と呼ぶことにし、位置調整つまみ221を回すことによってカメラ210のz軸方向の位置を調整することができる。
可動ステージ230は、検査対象物を保持する保持手段であり、検査対象物を載せた状態でz軸に交差する面内で移動可能となっている。ここでは、z軸に垂直な平面をxy平面と呼ぶことにし、位置調整つまみ231及び232を回すことによって可動ステージ230のxy平面内における位置を調整することができる。つまり、可動ステージ230は、位置調整つまみ231及び232を回すことによって、検査対象物を載せたまま異なる2方向に移動させることができるステージとなっている。
具体的には、位置調整つまみ231を回すことによって、x軸方向の位置を調整し、位置調整つまみ232を回すことによって、y軸方向の位置を調整することができる。カメラ210は、この様な可動ステージ230と対向して配置されている。
コンソール300は、撮影の開始及び終了、撮影された画像データの取込みなどをシステム本体部100に対して指示するための入力装置である。
システム本体部100は、カメラ210によって撮影された動画像をディスプレイ110上に表示し、動画像を構成するフレーム画像を張り合わせてカメラ210の実視野よりも視野の広いモザイク画像を生成する画像処理部である。
<システム本体部>
図2は、図1の拡大観察装置1の要部における構成例を示したブロック図であり、システム本体部100内の機能構成の一例が示されている。このシステム本体部100は、ディスプレイ110の他に、表示用縮小部121,128、表示用モザイク画像記憶部122、ライブ画像更新部123、保存用モザイク画像記憶部124、ライブ位置合わせ部125、静止画像取得部126及びモザイク画像生成部127を備えて構成される。
表示用縮小部121は、カメラ210からの動画データを処理し、画像サイズの縮小した縮小動画データを生成する動作を行っている。具体的には、カメラ210から連続して得られるフレーム画像を所定の縮小率で縮小して表示用フレーム画像を生成し、ライブ画像更新部123へ出力する動作が行われる。フレーム画像の縮小は、例えば、画素の間引き処理や画素値の平均化処理によって行われる。ここでは、縮小前後でフレーム画像のアスペクト比が変わらないように縮小処理が行われるものとする。
表示用モザイク画像記憶部122は、表示用モザイク画像を保持するモザイク画像保持手段であり、例えば、揮発性の半導体メモリからなる。ライブ画像更新部123は、表示用縮小部121からの縮小率情報に基づいてディスプレイ110を制御し、表示用縮小部121から連続して得られる表示用フレーム画像の表示用モザイク画像に対する表示位置を更新することによって、表示用モザイク画像上にライブ画像を表示する動作を行っている。ライブ画像とは、連続する複数の表示用フレーム画像によって構成される動画像のことである。
保存用モザイク画像記憶部124は、保存用モザイク画像を保持するモザイク画像保持手段であり、不揮発性の記憶素子、例えば、HDD(ハードディスクドライブ)装置によって構成される。
ライブ位置合わせ部125は、位置合わせ用縮小部125a,125b及びマッチング処理部125cからなり、カメラ210から連続して得られるフレーム画像と保存用モザイク画像記憶部124から読み出した保存用モザイク画像とをそれぞれ縮小してマッチング処理する動作を行っている。
位置合わせ用縮小部125aは、カメラ210からのフレーム画像を位置合わせ用に一定の縮小率で縮小して位置合わせ用フレーム画像を生成し、マッチング処理部125cへ出力する動作を行っている。位置合わせ用縮小部125bは、保存用モザイク画像記憶部124から読み出した保存用モザイク画像を位置合わせ用に一定の縮小率で縮小して位置合わせ用モザイク画像を生成し、マッチング処理部125cへ出力する動作を行っている。
マッチング処理部125cは、位置合わせ用フレーム画像及び位置合わせ用モザイク画像間のパターンマッチングによって、これらの画像間の相対位置を判定し、相対位置情報を生成してライブ画像更新部123へ出力する動作を行っている。
ライブ画像更新部123では、ライブ位置合わせ部125からの相対位置情報に基づいて、表示用フレーム画像及び表示用モザイク画像間の相対位置を決定し、表示用フレーム画像の表示用モザイク画像に対する表示位置を更新する動作が行われる。
静止画像取得部126は、コンソール300からの取込み指示に基づいて、カメラ210によって撮影された静止画像を取得し、モザイク画像生成部127へ出力する動作を行っている。カメラ210から取得する張り合わせ用の静止画像としては、動画像とは露光時間などの撮像条件の異なる画像であっても良いし、動画像を構成するフレーム画像の1つであっても良い。
モザイク画像生成部127は、保存用位置合わせ部127a及び画像連結部127bからなり、複数の静止画像を張り合わせて保存用モザイク画像を生成する動作を行っている。
保存用位置合わせ部127aは、静止画像取得部126によって取得された静止画像と保存用モザイク画像記憶部124から読み出した保存用モザイク画像との間の相対位置を判定する動作を行っている。この相対位置の判定は、静止画像及び保存用モザイク画像間のパターンマッチングによって行われ、位置合わせ用モザイク画像よりも高い解像度で静止画像及び保存用モザイク画像間の相対位置が推定される。
画像連結部127bは、保存用位置合わせ部127aによる判定結果に基づいて、静止画像及び保存用モザイク画像を張り合わせ、新たな保存用モザイク画像を生成して保存用モザイク画像記憶部124内の保存用モザイク画像を更新する動作を行っている。具体的には、静止画像取得部126によって取得された静止画像と保存用モザイク画像記憶部124から読み出した保存用モザイク画像とが、保存用位置合わせ部127aによって推定された画像間の相対位置に基づいて張り合わせられ、新たな保存用モザイク画像が生成される。
静止画像及び保存用モザイク画像の張り合わせは、これらの画像間の相対位置に基づいて両画像を連結することによって行われる。また、静止画像及び保存用モザイク画像を連結する際には、つなぎ目を目立たなくするために、両画像の重複領域について画素値のブレンディング処理が行われる。ブレンディング処理は、両画像間で画素値を加重平均して合成画像の画素値を求める画像処理であり、加重平均の際の重みを画素の位置に応じて適切に変化させることによってつなぎ目を目立たなくしている。
表示用縮小部128は、保存用モザイク画像が更新されるごとに保存用モザイク画像記憶部124から更新後の保存用モザイク画像を読み出し、読み出した保存用モザイク画像を表示用に縮小して表示用モザイク画像を生成する動作を行っている。
ここで、ライブ位置合わせ部125は、保存用位置合わせ部127aに比べて低精度のマッチング処理を実行し、低精度の座標データを相対位置情報として出力する処理部となっている。
<マッチング処理部>
図3は、図2のシステム本体部100におけるライブ位置合わせ部125の構成例を示したブロック図であり、マッチング処理部125c内の機能構成の一例が示されている。このマッチング処理部125cは、特徴量抽出部131及び相対位置判定部132により構成される。
特徴量抽出部131は、位置合わせ用フレーム画像と位置合わせ用モザイク画像とからそれぞれ特徴量を抽出する動作を行っている。特徴量としては、画像を比較する際の目印となるものであれば、何でも良いが、ここでは、複数のエッジが交差する頂点が特徴点として抽出されるものとする。
この特徴量抽出部131では、保存用モザイク画像のサイズが大きくなった場合の位置合わせに要する処理時間を短縮させるという観点から、位置合わせ用モザイク画像から特徴点を抽出する際に、保存用モザイク画像の一部、例えば、当該保存用モザイク画像に対して最後に張り合わされた静止画像を位置合わせ用の基準画像として、この基準画像内の特徴点を抽出する動作が行われる。
相対位置判定部132は、比較部141、相対位置演算部142及び重複領域推定部143からなり、特徴点の比較によって位置合わせ用フレーム画像及び位置合わせ用モザイク画像間の相対位置を判定する動作を行っている。比較部141は、位置合わせ用フレーム画像から抽出された特徴点と、位置合わせ用モザイク画像から抽出された特徴点とを比較し、その比較結果を相対位置演算部142へ出力する動作を行っている。
特徴点の比較は、例えば、一方の画像から特徴点を含む領域をテンプレートとして抽出し、このテンプレート領域に最も類似する領域を他方の画像から探し出すことによって行われる。領域間の類似度を測る指標としては、領域内の画素について求めた輝度値の二乗誤差和を用いる方法、領域内の各画素の輝度値を平均輝度によって正規化した正規化相関を用いる方法が考えられる。
この比較部141では、位置合わせ用フレーム画像から抽出された特徴点と、位置合わせ用モザイク画像から抽出された特徴点とを比較する際に、位置合わせ用フレーム画像の特徴点と基準画像の特徴点とを比較する動作が行われる。
相対位置演算部142は、比較部141による比較結果に基づいて位置合わせ用フレーム画像及び位置合わせ用モザイク画像間の相対位置を判定し、その判定結果を重複領域推定部143へ出力し、相対位置情報をライブ画像更新部123へ出力する動作を行っている。
重複領域推定部143は、過去の位置合わせ用フレーム画像に関する相対位置の判定結果に基づいて、現在の位置合わせ用フレーム画像と位置合わせ用モザイク画像との重複領域を推定する動作を行っている。例えば、1フレーム前の位置合わせ用フレーム画像に関する相対位置の判定結果から当該フレーム画像と位置合わせ用モザイク画像との重複領域を定め、この重複領域が現在のフレーム画像とモザイク画像との重複領域であると判断する動作が行われる。
この重複領域推定部143では、現在の位置合わせ用フレーム画像と位置合わせ用モザイク画像との重複領域を推定する際に、位置合わせ用フレーム画像と位置合わせ用の基準画像との重複領域を推定する動作が行われる。
比較部141では、重複領域推定部143によって推定された重複領域内の特徴点について比較を行い、比較結果を相対位置演算部142へ出力する動作が行われる。そして、重複領域内の特徴点について比較を行った結果、相対位置が判定できなかった場合に、位置合わせ用フレーム画像全体に含まれる全特徴点と、位置合わせ用モザイク画像のうちマッチング処理の対象となっている位置合わせ用の基準画像全体に含まれる全特徴点とを比較し、比較結果を相対位置演算部142へ出力する動作が行われる。
つまり、相対位置演算部142は、過去の相対位置の判定結果から推定されたフレーム画像及び基準画像間の重複領域内の特徴点の比較結果に基づいて相対位置を判定し、一方、その様な重複領域内の特徴点の比較では相対位置が判定できなかった場合には、位置合わせ用フレーム画像全体の特徴点と基準画像全体の特徴点との比較結果に基づいて相対位置を判定する動作が行われる。
また、最初の位置合わせ用フレーム画像については、位置合わせ用フレーム画像全体に含まれる全特徴点と基準画像全体に含まれる全特徴点とを比較し、比較結果を相対位置演算部142へ出力する動作が行われる。つまり、1フレーム目の位置合わせ用フレーム画像については、当該フレーム画像の全特徴点と基準画像の全特徴点とを比較して相対位置が判定される。一方、2フレーム目以降の位置合わせ用フレーム画像については、まず、過去のフレーム画像に関する相対位置の判定結果から推定された重複領域内の特徴点を比較して相対位置が判定される。このとき、相対位置が判定できなければ、フレーム画像の全特徴点と基準画像の全特徴点とを比較して相対位置が判定される。
ここで、最初のフレーム画像とは、例えば、モザイク画像の作成途中で一旦撮影を中断させ、その後撮影を再開させるようなケースにおいて、撮影再開後に最初に取得されるフレーム画像のことである。
一般に、画像の一部が重複している2つの静止画像からそれぞれ特徴点を抽出し、これらの画像間で対応する特徴点の組を探し出す場合、両画像の重複領域から特徴点を抽出して対応する特徴点の組を探す方が、画像全体から特徴点を抽出して探すよりも誤対応の発生確率は低くなる。つまり、重複領域内の特徴点について優先的に比較を行って相対位置を判定させることによって、位置合わせ用フレーム画像の位置合わせに成功する確率を向上させることができる。さらに、画像内の全特徴点について比較を行う場合に比べて、位置合わせの速度を向上させることができる。
ここでは、特徴量抽出部131が、現在の位置合わせ用フレーム画像から特徴点を抽出する際に、重複領域推定部143によって推定された重複領域から特徴点を抽出する。そして、重複領域内の特徴点だけでは相対位置が判定できなかった場合に、重複領域以外の領域からも特徴点を抽出する動作が行われるものとする。
また、ライブ画像更新部123では、表示用モザイク画像上に表示用フレーム画像によって構成される動画像をライブ画像として表示する際の表示位置を相対位置演算部142による相対位置の判定結果に基づいて更新し、その表示データをディスプレイ110へ出力する動作が行われる。
その際、相対位置判定部132によってフレーム画像の位置合わせに成功したと判定された場合に、ライブ画像の上記表示位置を相対位置の判定結果に応じて変更する動作が行われる。一方、相対位置が判定できず、フレーム画像の位置合わせに失敗したと判定された場合には、ライブ画像の表示位置を変更せず、例えば、位置合わせに成功したと判定された最後のフレーム画像の表示位置付近に固定する動作が行われる。
つまり、フレーム画像の位置合わせに失敗した後は、位置合わせに成功した最後のフレーム画像の表示位置にライブ画像の表示位置を固定して新たに取得されるフレーム画像を表示し、当該表示位置に表示されるフレーム画像を新たに取得されるフレーム画像に更新することによって、ライブ画像の表示が継続される。
ここで、基準画像は、モザイク画像を構成する静止画像のうち、フレーム画像との重複領域の面積が最も大きな静止画像が常に基準画像となるように随時変更されるものとする。そして、この様な基準画像に対して相対位置が判定できなかった場合に、フレーム画像の位置合わせに失敗したと判断されるものとする。
また、フレーム画像の位置合わせに失敗した後に取得されるフレーム画像については、当該フレーム画像とモザイク画像との間の相対位置をフレーム画像内の特徴量と基準画像内の特徴量とを比較することによって判定する。そして、基準画像内の特徴量との比較では相対位置が判定できなかった場合には、フレーム画像内の特徴量とモザイク画像の基準画像を除く画像領域内の特徴量とを比較することによって相対位置を判定する動作が行われる。
つまり、前回の位置合わせ時にフレーム画像の位置合わせに成功していれば、位置合わせに成功したフレーム画像の相対位置情報に基づいて現在のフレーム画像と基準画像との間の重複領域を推定し、重複領域内の特徴点の比較によって相対位置が判定される(高速追従モードと呼ぶことにする)。これに対して、フレーム画像の位置合わせに失敗すると、動作モードが高速追従モードから視野探索モードに切り替えられ、位置合わせの失敗後に取得されたフレーム画像については、フレーム画像内の特徴量と基準画像内の特徴量とを比較することによって相対位置が判定され、基準画像内の特徴量との比較では相対位置が判定できなければ、フレーム画像の特徴量とモザイク画像の基準画像以外の画像領域の特徴量とを比較することによって相対位置が判定される。
また、ライブ画像更新部123では、位置合わせに失敗したと判定されたフレーム画像を成功したと判定された場合とは異なる表示態様、例えば、白黒を反転させたり、色を異ならせて表示する動作が行われる。或いは、フレーム画像のモザイク画像に対する表示位置の更新履歴などから基準画像とフレーム画像とのオーバーラップが増加する方向を判断し、当該方向を示す矢印などを表示させても良い。また、フレーム画像の位置合わせに失敗した場合のエラー報知として、位置合わせに失敗したことを示すメッセージを表示し、或いは、警報音を出力する動作が行われる。
<ライブ画面>
図4及び図5は、図1の拡大観察装置1におけるライブ画像表示時の動作の一例を模式的に示した説明図である。図4には、カメラ210によって撮影された動画像A1及び表示用モザイク画像A3が示されている。また、図5には、モザイク画像A3上に動画像A1がライブ画像として配置されたライブ画面111が示されている。
動画像A1は、一定のフレームレートで繰返し生成される表示用フレーム画像A2によって構成される。例えば、15fpsで表示用フレーム画像A2が生成される。ここでは、撮影倍率やフォーカス位置は、固定されているものとする。
表示用モザイク画像A3は、保存用モザイク画像をライブ画面表示用に縮小して作成されたモザイク画像である。
ライブ画面111は、ディスプレイ110上に表示されるモニター画面であり、作成中の表示用モザイク画像A3及び動画像A1が表示されている。ライブ画面111では、動画像A1が、現在の位置合わせ用フレーム画像と位置合わせ用モザイク画像との間のパターンマッチングによって判定された相対位置から決定された表示位置に配置されている。
つまり、撮影中の動画像A1が作成中の表示用モザイク画像A3上の適切な位置にライブ画像として表示されるので、ユーザは、撮影中の視野と作成中のモザイク画像との位置関係を確認しながら静止画像を取り込んで保存用モザイク画像と連結させることができる。
<パターンマッチング>
図6(a)及び(b)は、図1の拡大観察装置1におけるパターンマッチング動作の一例を示した図であり、基準画像B1及び位置合わせ用のフレーム画像B2からそれぞれ抽出された全特徴点B3の比較によってこれらの特徴点間の正対応が抽出される様子が示されている。図6(a)には、基準画像B1から抽出された特徴点B3をフレーム画像B2内の各特徴点B3と比較している様子が示され、図6(b)には、特徴点B3の比較に基づいて抽出された特徴点間の正対応が示されている。
基準画像B1は、作成中のモザイク画像の一部であり、パターンマッチングの処理対象として位置合わせ用モザイク画像から予め抽出される。例えば、最後に連結された静止画像が基準画像B1として抽出される。或いは、保存用モザイク画像に対して最後に連結された静止画像と現在のフレーム画像との重複領域の大きさが一定レベルを下回り、これらの画像間の相対位置が判定できなくなると、保存用モザイク画像に対して最後に連結された静止画像に隣接する他の静止画像が基準画像B1として抽出される。
基準画像B1及びフレーム画像B2間の位置関係が不明な場合、画像全体を対象として特徴点B3の抽出が行われる。そして、基準画像B1から抽出された各特徴点B3について、類似する特徴点がフレーム画像B2内に存在するか否かを特徴点間の比較によって判断する。
特徴点間の類似度は、特徴点B3を含む所定の領域、例えば、5ピクセル×5ピクセルの矩形領域について算出される輝度値の二乗誤差和又は正規化相関によって測ることができる。
特徴点間の正対応は、この様な比較結果に基づいて抽出される。例えば、同一方向に並行移動している特徴点間の対応が正対応として抽出される。基準画像B1及びフレーム画像B2間の相対位置は、抽出された特徴点間の正対応に基づいて特徴点の画像内における移動量を判断し、この移動量から基準画像B1に対するフレーム画像B2の移動量を判断することによって判定される。
図7(a)及び(b)は、図1の拡大観察装置1におけるパターンマッチング動作の一例を示した図であり、基準画像及び第(n−1)フレーム画像間の相対位置から推定された重複領域B5,B6内の特徴点B3が比較される様子が示されている。図7(a)には、基準画像及び第(n−1)フレーム画像間の相対位置から求められた両画像の重複領域B4が示されている。また、図7(b)には、基準画像及び第(n−1)フレーム画像間の相対位置から推定された基準画像及び第nフレーム画像の重複領域B5,B6が示されている。
基準画像B1及びフレーム画像B2間の大まかな位置関係が予めわかっている場合には、一方の画像から適切にテンプレート領域を抽出し、他方の画像の対応する領域付近を探索することによって、これらの画像間の相対位置をより高精度に判定することができる。
すなわち、1フレーム前の第(n−1)フレーム画像と基準画像との間の相対位置の判定結果からこれらの画像の重複領域B4を求める。この重複領域B4を現在の第nフレーム画像と基準画像との重複領域B5,B6であると判断する。そして、基準画像の重複領域B5内の各特徴点B3について、第nフレーム画像の重複領域B6内から類似する特徴点を抽出することによって、これらの画像間の相対位置が判定される。
類似する特徴点の抽出は、基準画像の重複領域B5内の各特徴点B3について、第nフレーム画像の重複領域B6から上記特徴点に対応する位置付近の所定領域を抽出し、この領域内を探索することによって行われる。
本実施の形態では、2フレーム目以降の位置合わせ用フレーム画像と位置合わせ用モザイク画像との位置合わせに対して、重複領域内の特徴点について比較を行う図7の方法が採用される。一方、1フレーム目の位置合わせ用フレーム画像と位置合わせ用モザイク画像との位置合わせや、重複領域内の特徴点についての比較では相対位置が判定できなかった場合、或いは、取込み指示に基づいて取り込んだ静止画像と保存用モザイク画像との位置合わせには、全特徴点について比較を行う図6の方法が採用される。
また、カメラ210から連続して取得されるフレーム画像に対してリアルタイムに行われる位置合わせ処理では、上述した様な特徴点の正対応の数が一定レベルを下回ると、相対位置が判定できず、位置合わせに失敗したと判断される。
位置合わせに失敗する原因としては、ピンボケなどの影響によって位置合わせに必要な特徴点が検出できないケースが考えられる。また、基準画像とフレーム画像とのオーバーラップが少なすぎ、或いは、フレーム間の移動量が大きいために、前回の位置合わせ結果から推定した重複領域が実際の重複領域と大きくずれているケースが考えられる。
図8及び図9は、図1の拡大観察装置1におけるライブ画像表示時の動作の一例を示した図であり、表示用のモザイク画像上にライブ画像が表示されたライブ画面111が示されている。図8(a)には、2枚の静止画像からなるモザイク画像から抽出された基準画像に対して位置合わせされたライブ画像が示され、図8(b)には、図8(a)のライブ画像と同じ視野の静止画像を取り込んで張り合わせることによって更新されたモザイク画像が示されている。
この例では、保存用モザイク画像から抽出された位置合わせ用の基準画像が、破線で示された矩形の枠内に配置されている。この基準画像は、保存用モザイク画像に対して最後に張り合わされた静止画像となっている。
一方、ライブ画像は、実線で示された矩形の枠内に配置され、その矩形枠の表示位置は、基準画像及び現在の位置合わせ用フレーム画像間の相対位置の判定結果に基づいて決定される。すなわち、ライブ画像の表示位置は、フレーム画像の位置合わせに成功すれば、フレーム画像の相対位置に応じて変更されるのに対して、位置合わせに失敗すれば、位置合わせに成功した最後のフレーム画像の位置に固定される。
図8(a)の状態で張り合わせ用の静止画像の取込みを指示すれば、表示中のライブ画像と同じ視野の静止画像が取り込まれ、保存用モザイク画像と連結して新たな保存用モザイク画像が作成される。この新たな保存用モザイク画像を縮小することによって、表示中の表示用モザイク画像が更新される。このとき、基準画像も取り込まれた静止画像に対応するものに変更される。
図9(a)には、図8(b)のモザイク画像から抽出された基準画像に対して位置合わせされたライブ画像が示され、図9(b)には、図9(a)のライブ画像と同じ視野の静止画像を取り込んで張り合わせることによって更新されたモザイク画像が示されている。
図9(a)の基準画像は、作成中の保存用モザイク画像に対して最後に張り合わされた静止画像となっている。図8(b)の状態から可動ステージ230を上方向に移動させれば、撮影中の視野は、ワーク(検査対象物)に対して下方向に移動し、図9(a)のライブ画像が得られる。
図9(a)の状態で取込みを指示すれば、表示中のライブ画像と同じ視野の静止画像が取り込まれ、保存用モザイク画像と連結して新たな保存用モザイク画像が作成される。この新たな保存用モザイク画像を縮小することによって、表示中の表示用モザイク画像が更新され、基準画像も取り込まれた静止画像に対応するものに変更される。
図10(a)及び(b)は、図1の拡大観察装置1におけるライブ画像表示時の動作の一例を示した図であり、撮影中の視野の移動に伴って基準画像が変更される様子が示されている。図10(a)には、図9(b)のモザイク画像に対して最後に張り合わされた静止画像を基準画像として位置合わせされたライブ画像が示されている。また、図10(b)には、撮影中の視野の移動に伴って変更された基準画像に対して位置合わせされたライブ画像が示されている。
図10(a)の状態から可動ステージ230を左方向に移動させれば、撮影中の視野は、ワークに対して右方向に移動する。この視野の移動により、フレーム画像と、モザイク画像に対して最後に張り合わされた静止画像とのオーバーラップが少なくなれば、基準画像が変更される。
具体的には、モザイク画像に対して最後に張り合わされた静止画像からフレーム画像との重複領域が最も大きな静止画像に基準画像が変更され、フレーム画像の位置合わせが行われる。この新たな基準画像は、フレーム画像のモザイク画像に対する表示位置の更新履歴や過去の位置合わせの結果に基づいて、フレーム画像との重複領域の面積が最大となる画像パッチが選択される。この例では、モザイク画像を構成する静止画像のうち、最後に張り合わされた静止画像の右隣の静止画像が新たな基準画像として選択されている。
図11(a)及び(b)は、図1の拡大観察装置1におけるライブ画像表示時の動作の一例を示した図であり、撮影中の視野の移動に伴ってフレーム画像の位置合わせに失敗する様子が示されている。図11(a)には、位置合わせに失敗する直前のライブ画像が示され、図11(b)には、位置合わせに失敗した後のライブ画像が示されている。
図11(a)のライブ画像は、図10(b)の基準画像に対して位置合わせされたフレーム画像からなる。図11(a)の状態で可動ステージ230を移動させれば、フレーム画像と基準画像とのオーバーラップが少なくなって位置合わせに失敗することとなる。
位置合わせに失敗した後のフレーム画像は、その表示位置が、位置合わせに成功した最後のフレーム画像の表示位置付近に固定され、位置合わせに成功した場合とは異なる表示態様で表示される。
位置合わせに失敗した後のフレーム画像のモザイク画像に対する表示位置としては、位置合わせに成功した最後のフレーム画像の表示位置と数ピクセル程度のずれがあっても良い。
フレーム画像の位置合わせに失敗すると、動作モードが高速追従モードから視野探索モードに切り替えられ、位置合わせに失敗した後に取得されるフレーム画像については、位置合わせに成功した最後の基準画像全体の特徴量とフレーム画像全体の特徴量とを比較することによって相対位置が判定される。
図12は、図1の拡大観察装置1におけるライブ画像表示時の動作の一例を示した図であり、位置合わせの失敗後に新たに位置合わせされたライブ画像が示されている。図11の基準画像に対してフレーム画像の位置合わせに失敗すると、基準画像のどの部分から復帰しても良いように、動作モードが位置合わせに成功した最後の基準画像全体の特徴量とフレーム画像全体の特徴量との比較によって位置合わせを行う視野探索モードに切り替えられる。
図13〜図15のステップS101〜S126は、図1の拡大観察装置1におけるライブ画像表示時の動作の一例を示したフローチャートである。まず、特徴量抽出部131は、位置合わせ用フレーム画像を取得し、それが最初のフレーム画像であれば、画像全体から特徴点を抽出する(ステップS101〜S103)。
次に、相対位置判定部132は、フレーム画像全体に含まれる全特徴点と基準画像全体に含まれる全特徴点とについて比較を行い、現在の位置合わせ用フレーム画像と位置合わせ用モザイク画像との間の相対位置を判定する(ステップS104)。このとき、相対位置が判定できてフレーム画像の位置合わせに成功した場合には、相対位置の判定結果に基づいてフレーム画像のモザイク画像に対する表示位置が変更され、ライブ画像が更新される(ステップS105,S110,S111)。
一方、取得した位置合わせ用フレーム画像が最初のフレーム画像でなければ、相対位置判定部132は、前回の位置合わせの結果、すなわち、1フレーム前の位置合わせ用フレーム画像と位置合わせ用モザイク画像との間の相対位置の判定結果を参照して、現在の位置合わせ用フレーム画像と基準画像との間の重複領域を推定する(ステップS102,S106,S107)。特徴量抽出部131は、この推定された重複領域から特徴点を抽出する。
次に、相対位置判定部132は、現在の位置合わせ用フレーム画像と基準画像との間の重複領域内の特徴点について比較を行い、これらの画像間の相対位置を判定する(ステップS108)。このとき、相対位置が判定できなければ、ステップS103以降の処理手順が実行される(ステップS109)。ステップS109において相対位置が判定できて位置合わせに成功した場合には、相対位置の判定結果に基づいてフレーム画像のモザイク画像に対する表示位置が変更され、ライブ画像が更新される(ステップS110,S111)。
ライブ画像の更新後、張り合わせ用の静止画像の取込み指示があれば、当該取込み指示に基づいて静止画像が取り込まれ、保存用モザイク画像との間のパターンマッチングによって位置合わせが行われる(ステップS112,S114)。この位置合わせの結果に基づいて静止画像及び保存用モザイク画像間で連結処理が行われ、表示用及び保存用のモザイク画像が更新される(ステップS115,S116)。ステップS101からS116までの処理手順は、撮影終了が指示されるまで繰り返され、撮影終了が指示されると、この処理は終了する(ステップS113)。
ステップS105において相対位置が判定できず、位置合わせに失敗した場合には、マッチングエラーが報知され、フレーム画像のモザイク画像に対する表示位置を固定してライブ画像が更新される(ステップS117〜S119)。このライブ画像の更新後、静止画像の取込み指示があった場合、連結不可である旨がエラー報知される(ステップS120,S122)。
次に、撮影終了が指示されると、この処理は終了する(ステップS121)。一方、撮影終了の指示がなければ、特徴量抽出部131は、新たな位置合わせ用フレーム画像を取得し、画像全体から特徴点を抽出する(ステップS121,S123,S124)。
そして、相対位置判定部132は、フレーム画像全体に含まれる全特徴点と基準画像全体に含まれる全特徴点とについて比較を行い、現在の位置合わせ用フレーム画像と位置合わせ用モザイク画像との間の相対位置を判定する(ステップS125)。このとき、相対位置が判定できず、位置合わせに失敗すれば、ステップS119以降の処理手順が繰り返される。一方、相対位置が判定できて位置合わせに成功した場合には、ステップS110以降の処理手順が繰り返される。
本実施の形態によれば、撮影中の視野がライブ画像として作成中のモザイク画像上の適切な位置に表示されるので、撮影中の視野と作成中のモザイク画像との位置関係をユーザに確認させながら静止画像を取り込んでモザイク画像と連結させることができる。特に、ライブ画像の表示位置は、フレーム画像の位置合わせに成功した場合にフレーム画像及びモザイク画像間の相対位置に応じて変更されるのに対して、位置合わせに失敗した場合には変更されないので、位置合わせに成功した最後のフレーム画像によって表示位置を固定させることができる。
従って、撮影中の視野をライブ画像としてモザイク画像上の適切な位置に表示させる際に、位置合わせに失敗した後、視野を移動させてもライブ画像の表示位置は固定されたまま保持されるので、フレーム画像の位置合わせに失敗したことを容易に認識することができる。また、フレーム画像及びモザイク画像から抽出した特徴点の比較によってこれらの画像間の相対位置を判定するので、システム構成が複雑化するのを抑制することができる。
さらに、撮影中の視野をライブ画像としてモザイク画像上の適切な位置に表示させる際に、位置合わせに成功したと最後に判定されたフレーム画像の表示位置付近に動画像の表示位置が固定されるので、撮影中の視野を位置合わせ可能な位置に容易に復帰させることができる。
なお、本実施の形態では、位置合わせに失敗した後のフレーム画像について、フレーム画像の位置合わせに成功した最後の基準画像全体の特徴量とフレーム画像全体の特徴量との比較によって相対位置が判定される場合の例について説明したが、本発明はこれに限られるものではない。例えば、位置合わせに失敗した後に取得されるフレーム画像について、モザイク画像の周縁部に含まれる特徴量とフレーム画像全体の特徴量とを比較することによって、フレーム画像及びモザイク画像間の相対位置を判定するものも本発明には含まれる。
また、本実施の形態では、基準画像がフレーム画像との重複領域の面積が最も大きくなるように随時変更される場合の例について説明したが、本発明はこれに限られるものではない。例えば、位置合わせ用フレーム画像全体の特徴点と基準画像全体の特徴点との比較によっても相対位置が判定できなかった場合に、基準画像を変更し、変更後の基準画像全体の特徴点と位置合わせ用フレーム画像全体の特徴点とを比較することによって相対位置を判定するようなものであっても良い。この場合、基準画像を変更しても相対位置が判定できなければ、フレーム画像の位置合わせに失敗したと判断される。また、フレーム画像の位置合わせに失敗した後に取得されるフレーム画像については、位置合わせに成功した最後の基準画像全体の特徴量と位置合わせ用フレーム画像全体の特徴量とを比較することによって相対位置の判定が行われる。
また、本実施の形態では、位置合わせ用フレーム画像及び位置合わせ用モザイク画像を比較する際の特徴量として、エッジが交差する頂点が抽出される場合の例について説明したが、本発明はこれに限られるものではない。例えば、画像上の所定エリアについて、エリア内のコントラスト値を特徴量として位置合わせ用フレーム画像及び位置合わせ用モザイク画像からそれぞれ抽出し、これらの画像間で比較するようなものであっても良い。また、エッジやコントラストを抽出することなく重複領域内の所定エリアについて、エリア内の特徴量に基づいてテンプレートマッチングを実行するようにしても良い。
また、本実施の形態では、位置合わせ用のモザイク画像及びフレーム画像間のパターンマッチングによってこれらの画像間の相対的位置関係が判断される場合の例について説明したが、本発明はこれに限られるものではない。例えば、可動ステージ230のx軸方向及びy軸方向における位置を検出する位置センサーを備え、位置センサーの出力に基づいて、フレーム画像及びモザイク画像間の相対位置を判定するようなものも本発明には含まれる。
一般に、静止画像及び保存用モザイク画像を連結する際にブレンディング処理によってつなぎ目を目立たなくする場合、一定レベル以上の平滑度で滑らかにつなぎ合わせるためには、静止画像及び保存用モザイク画像間で一定量以上の重複領域が存在している必要がある。そこで、位置センサーの出力に基づいてフレーム画像及びモザイク画像間の相対位置を判定する撮像装置において、現在のフレーム画像に対応する静止画像ではモザイク画像と滑らかに連結できなくなった場合に、ライブ画像の表示位置を固定することが考えられる。
この様に構成すれば、ライブ画像と同じ視野の静止画像ではモザイク画像と滑らかに連結できなくなった場合に、ライブ画像の表示位置が固定されるので、撮影中の視野では作成中のモザイク画像と滑らかに連結できなくなったことをユーザに認識させることができる。