実施の形態1.
<拡大観察装置>
図1は、本発明の実施の形態1による撮像装置の概略構成の一例を示したシステム図であり、撮像装置の一例として、システム本体部100、カメラ部200及びコンソール300からなる拡大観察装置1が示されている。この拡大観察装置1は、対物レンズによって拡大された被写体を撮影して動画像を生成し、システム本体部100のディスプレイ110上に表示することができるデジタルマイクロスコープである。
カメラ部200は、視野を変更しながら検査対象物を撮影するための撮影ユニットであり、カメラ210、可動ホルダー220及び可動ステージ230によって構成される。カメラ210は、検査対象物を被写体として撮影し、一定のフレームレートで連続する複数のフレーム画像からなる動画像を生成する読取装置であり、着脱式のレンズユニット211と、円筒形状の筐体内に配置されたCCDイメージセンサー、照明装置などにより構成されている。
レンズユニット211は、撮影倍率やピント、絞りなどを調整するための光学モジュールであり、フォーカスレンズなどの複数の光学レンズによって構成される。カメラ210に装着可能なレンズユニット211としては、撮影倍率を変更することができるズームレンズユニットや、撮影倍率が固定の単焦点レンズユニットがある。
可動ホルダー220は、対物レンズの中心軸に平行な方向に移動可能にカメラ210を保持する保持手段である。ここでは、カメラ210の対物レンズの中心軸に平行な方向をz軸方向と呼ぶことにし、位置調整つまみ221を回すことによってカメラ210のz軸方向の位置を調整することができる。
可動ステージ230は、検査対象物を保持する保持手段であり、検査対象物を載せた状態でz軸に交差する面内で移動可能となっている。ここでは、z軸に垂直な平面をxy平面と呼ぶことにし、位置調整つまみ231及び232を回すことによって可動ステージ230のxy平面内における位置を調整することができる。つまり、可動ステージ230は、位置調整つまみ231及び232を回すことによって、検査対象物を載せたまま異なる2方向に移動させることができるステージとなっている。
具体的には、位置調整つまみ231を回すことによって、x軸方向の位置を調整し、位置調整つまみ232を回すことによって、y軸方向の位置を調整することができる。カメラ210は、この様な可動ステージ230と対向して配置されている。
コンソール300は、撮影の開始及び終了、撮影された画像データの取込みなどをシステム本体部100に対して指示するための入力装置である。
システム本体部100は、カメラ210によって撮影された動画像をライブ画像としてディスプレイ110上に表示し、複数の静止画像を張り合わせてカメラ210の実視野よりも視野の広いモザイク画像を生成する画像処理部である。
<システム本体部>
図2は、図1の拡大観察装置1の要部における構成例を示したブロック図であり、システム本体部100内の機能構成の一例が示されている。このシステム本体部100は、ディスプレイ110の他に、レンズユニット検出部101、識別情報取得部102、レンズ情報記憶部103、狭視野画像生成部104、表示用縮小部121,128、表示用モザイク画像記憶部122、ライブ画面データ生成部123、保存用モザイク画像記憶部124、ライブ位置合わせ部125、静止画像取得部126及びモザイク画像生成部127を備えて構成される。
レンズユニット検出部101は、レンズユニット211を検出する光学モジュール着脱検出手段である。識別情報取得部102は、レンズユニット検出部101による検出結果に基づいて、レンズユニット211からその識別情報を取得し、カメラ210に装着されているレンズユニットの種類と、当該レンズユニットに可変の光学パラメータとを狭視野画像生成部104へ出力する動作を行っている。
レンズ情報記憶部103には、レンズユニット211の識別情報と、レンズユニットの種類や光学パラメータとを互いに対応付けた複数の組が保持される。ここでは、レンズユニットの種類と、撮影倍率、絞り、照明条件などの光学パラメータとに複数の識別情報を対応付けたレンズユニットテーブルがレンズ情報としてレンズ情報記憶部103に予め保持されているものとする。上記照明条件としては、被写体に対する照明量、照明パターンなどが考えられる。
識別情報取得部102では、レンズユニット211がカメラ210に装着されたことが検出された際に、当該レンズユニット211から識別情報を取得し、レンズユニットテーブルを参照してレンズユニットの種類や光学パラメータをレンズ情報記憶部103から読み出す動作が行われる。
狭視野画像生成部104は、レンズ周縁部における光量低下やレンズの歪み、テレセントリック性の不足などの影響で画質が低下するのを抑制させるという観点から、識別情報取得部102からの種類及び光学パラメータに基づいてフレーム画像の周縁部を除去し、カメラ210の視野を狭小化した狭視野フレーム画像を生成する動作を行っている。
具体的には、レンズユニット211の種類や撮影倍率、絞り、照明条件に応じてフレーム画像の周縁部を除去することによって、元のフレーム画像から切り出された画像として狭視野フレーム画像が生成される。つまり、狭視野フレーム画像は、カメラ210の実視野よりも視野の狭い画像となっている。
例えば、フレーム画像から周縁部を除去する際に、周縁部の幅を撮影倍率が高いほど狭くし、撮影倍率が低いほど広くする処理が行われる。ここでは、元のフレーム画像と狭視野フレーム画像とではアスペクト比が略同一であるものとする。
狭視野画像生成部104では、カメラ210から動画データとして取得されるフレーム画像から狭視野フレーム画像を生成し、また、静止画データとして取得される静止画像から狭視野静止画像を生成する動作が行われる。狭視野静止画像は、狭視野フレーム画像と同様に、静止画像の周縁部をレンズユニット211の種類や撮影倍率、絞り、照明条件に応じて除去することによって生成される。
表示用縮小部121は、狭視野画像生成部104からの動画データを処理し、画像サイズの縮小した縮小動画データを生成する動作を行っている。具体的には、連続して得られる狭視野フレーム画像を所定の縮小率で縮小して表示用フレーム画像を生成し、ライブ画面データ生成部123へ出力する動作が行われる。狭視野フレーム画像の縮小は、例えば、画素の間引き処理や画素値の平均化処理によって行われる。ここでは、縮小前後でフレーム画像のアスペクト比が変わらないように縮小処理が行われるものとする。
表示用モザイク画像記憶部122は、表示用モザイク画像を保持するモザイク画像保持手段であり、例えば、揮発性の半導体メモリからなる。ライブ画面データ生成部123は、表示用縮小部121からの縮小率情報に基づいてディスプレイ110を制御し、表示用縮小部121から連続して得られる表示用フレーム画像の表示用モザイク画像に対する表示位置を更新することによって、表示用モザイク画像上にライブ画像を表示するためのライブ画面データを生成する動作を行っている。ライブ画像とは、連続する複数の表示用フレーム画像によって構成される動画像のことである。
保存用モザイク画像記憶部124は、保存用モザイク画像を保持するモザイク画像保持手段であり、不揮発性の記憶素子、例えば、HDD(ハードディスクドライブ)装置によって構成される。
ライブ位置合わせ部125は、位置合わせ用縮小部125a,125b及びマッチング処理部125cからなり、連続して得られる狭視野フレーム画像と保存用モザイク画像記憶部124から読み出した保存用モザイク画像とをそれぞれ縮小してマッチング処理する動作を行っている。
位置合わせ用縮小部125aは、狭視野画像生成部104からの狭視野フレーム画像を位置合わせ用に一定の縮小率で縮小して位置合わせ用フレーム画像を生成し、マッチング処理部125cへ出力する動作を行っている。位置合わせ用縮小部125bは、保存用モザイク画像記憶部124から読み出した保存用モザイク画像を位置合わせ用に一定の縮小率で縮小して位置合わせ用モザイク画像を生成し、マッチング処理部125cへ出力する動作を行っている。
マッチング処理部125cは、位置合わせ用フレーム画像及び位置合わせ用モザイク画像間のパターンマッチングによって、これらの画像間の相対位置を判定し、相対位置情報を生成してライブ画面データ生成部123へ出力する動作を行っている。
ライブ画面データ生成部123では、ライブ位置合わせ部125からの相対位置情報に基づいて、表示用フレーム画像及び表示用モザイク画像間の相対位置を決定し、表示用フレーム画像の表示用モザイク画像に対する表示位置を変更する動作が行われる。
静止画像取得部126は、コンソール300からの取込み指示に基づいて、カメラ210によって撮影された狭視野静止画像を取得し、モザイク画像生成部127へ出力する動作を行っている。狭視野画像生成部104を介してカメラ210から取得する張り合わせ用の静止画像としては、動画像とは露光時間などの撮像条件の異なる画像であっても良いし、動画像を構成するフレーム画像の1つであっても良い。
モザイク画像生成部127は、保存用位置合わせ部127a及び画像連結部127bからなり、複数の狭視野静止画像を張り合わせて保存用モザイク画像を生成する動作を行っている。
保存用位置合わせ部127aは、静止画像取得部126によって取得された狭視野静止画像と保存用モザイク画像記憶部124から読み出した保存用モザイク画像との間の相対位置を判定する動作を行っている。この相対位置の判定は、狭視野静止画像及び保存用モザイク画像間のパターンマッチングによって行われ、位置合わせ用モザイク画像よりも高い解像度で狭視野静止画像及び保存用モザイク画像間の相対位置が推定される。
画像連結部127bは、保存用位置合わせ部127aによる判定結果に基づいて、狭視野静止画像及び保存用モザイク画像を張り合わせ、新たな保存用モザイク画像を生成して保存用モザイク画像記憶部124内の保存用モザイク画像を更新する動作を行っている。具体的には、静止画像取得部126によって取得された狭視野静止画像と保存用モザイク画像記憶部124から読み出した保存用モザイク画像とが、保存用位置合わせ部127aによって推定された画像間の相対位置に基づいて張り合わせられ、新たな保存用モザイク画像が生成される。
狭視野静止画像及び保存用モザイク画像の張り合わせは、これらの画像間の相対位置に基づいて両画像を連結することによって行われる。また、狭視野静止画像及び保存用モザイク画像を連結する際には、つなぎ目を目立たなくするために、画像間のオーバーラップ部分について画素値のブレンディング処理が行われる。
ブレンディング処理は、画像間で画素値をブレンディング、すなわち、加重平均して合成画像の画素値を求める画像処理であり、加重平均の際の重みを画素の位置に応じて適切に変化させることによってつなぎ目を目立たなくしている。画像間で画素値をブレンディングする際に用いる重みは、オーバーラップ部分の画像領域に関して、画像の端からの距離に応じて増加するように定められる。
表示用縮小部128は、保存用モザイク画像が更新されるごとに保存用モザイク画像記憶部124から更新後の保存用モザイク画像を読み出し、読み出した保存用モザイク画像を表示用に縮小して表示用モザイク画像を生成する動作を行っている。
ここで、ライブ位置合わせ部125は、保存用位置合わせ部127aに比べて低精度のマッチング処理を実行し、低精度の座標データを相対位置情報として出力する処理部となっている。
<マッチング処理部>
図3は、図2のシステム本体部100におけるライブ位置合わせ部125の構成例を示したブロック図であり、マッチング処理部125c内の機能構成の一例が示されている。このマッチング処理部125cは、特徴量抽出部131及び相対位置判定部132により構成される。
特徴量抽出部131は、位置合わせ用フレーム画像と位置合わせ用モザイク画像とからそれぞれ特徴量を抽出する動作を行っている。特徴量としては、画像を比較する際の目印となるものであれば、何でも良いが、ここでは、複数のエッジが交差する頂点が特徴点として抽出されるものとする。
この特徴量抽出部131では、保存用モザイク画像のサイズが大きくなった場合の位置合わせに要する処理時間を短縮させるという観点から、位置合わせ用モザイク画像から特徴点を抽出する際に、保存用モザイク画像の一部、例えば、当該保存用モザイク画像に対して最後に張り合わされた狭視野静止画像を位置合わせ用の基準画像として、この基準画像内の特徴点を抽出する動作が行われる。
相対位置判定部132は、比較部141、相対位置演算部142及び重複領域推定部143からなり、特徴点の比較によって位置合わせ用フレーム画像及び位置合わせ用モザイク画像間の相対位置を判定する動作を行っている。比較部141は、位置合わせ用フレーム画像から抽出された特徴点と、位置合わせ用モザイク画像から抽出された特徴点とを比較し、その比較結果を相対位置演算部142へ出力する動作を行っている。
特徴点の比較は、例えば、一方の画像から特徴点を含む領域をテンプレートとして抽出し、このテンプレート領域に最も類似する領域を他方の画像から探し出すことによって行われる。領域間の類似度を測る指標としては、領域内の画素について求めた輝度値の二乗誤差和を用いる方法、領域内の各画素の輝度値を平均輝度によって正規化した正規化相関を用いる方法が考えられる。
この比較部141では、位置合わせ用フレーム画像から抽出された特徴点と、位置合わせ用モザイク画像から抽出された特徴点とを比較する際に、位置合わせ用フレーム画像の特徴点と基準画像の特徴点とを比較する動作が行われる。
相対位置演算部142は、比較部141による比較結果に基づいて位置合わせ用フレーム画像及び位置合わせ用モザイク画像間の相対位置を判定し、その判定結果を重複領域推定部143へ出力し、相対位置情報をライブ画面データ生成部123へ出力する動作を行っている。
重複領域推定部143は、過去の位置合わせ用フレーム画像に関する相対位置の判定結果に基づいて、現在の位置合わせ用フレーム画像と位置合わせ用モザイク画像との重複領域を推定する動作を行っている。例えば、1フレーム前の位置合わせ用フレーム画像に関する相対位置の判定結果から当該フレーム画像と位置合わせ用モザイク画像との重複領域を定め、この重複領域が現在のフレーム画像とモザイク画像との重複領域であると判断する動作が行われる。
この重複領域推定部143では、現在の位置合わせ用フレーム画像と位置合わせ用モザイク画像との重複領域を推定する際に、位置合わせ用フレーム画像と位置合わせ用の基準画像との重複領域を推定する動作が行われる。
比較部141では、重複領域推定部143によって推定された重複領域内の特徴点について比較を行い、比較結果を相対位置演算部142へ出力する動作が行われる。そして、重複領域内の特徴点について比較を行った結果、相対位置が判定できなかった場合に、位置合わせ用フレーム画像全体に含まれる全特徴点と、位置合わせ用モザイク画像のうちマッチング処理の対象となっている位置合わせ用の基準画像全体に含まれる全特徴点とを比較し、比較結果を相対位置演算部142へ出力する動作が行われる。
つまり、相対位置演算部142は、過去の相対位置の判定結果から推定されたフレーム画像及び基準画像間の重複領域内の特徴点の比較結果に基づいて相対位置を判定し、一方、その様な重複領域内の特徴点の比較では相対位置が判定できなかった場合には、位置合わせ用フレーム画像全体の特徴点と基準画像全体の特徴点との比較結果に基づいて相対位置を判定する動作が行われる。
また、最初の位置合わせ用フレーム画像については、位置合わせ用フレーム画像全体に含まれる全特徴点と基準画像全体に含まれる全特徴点とを比較し、比較結果を相対位置演算部142へ出力する動作が行われる。つまり、1フレーム目の位置合わせ用フレーム画像については、当該フレーム画像の全特徴点と基準画像の全特徴点とを比較して相対位置が判定される。一方、2フレーム目以降の位置合わせ用フレーム画像については、まず、過去のフレーム画像に関する相対位置の判定結果から推定された重複領域内の特徴点を比較して相対位置が判定される。このとき、相対位置が判定できなければ、フレーム画像の全特徴点と基準画像の全特徴点とを比較して相対位置が判定される。
ここで、最初のフレーム画像とは、例えば、モザイク画像の作成途中で一旦撮影を中断させ、その後撮影を再開させるようなケースにおいて、撮影再開後に最初に取得されるフレーム画像のことである。
一般に、画像の一部が重複している2つの静止画像からそれぞれ特徴点を抽出し、これらの画像間で対応する特徴点の組を探し出す場合、両画像の重複領域から特徴点を抽出して対応する特徴点の組を探す方が、画像全体から特徴点を抽出して探すよりも誤対応の発生確率は低くなる。つまり、重複領域内の特徴点について優先的に比較を行って相対位置を判定させることによって、位置合わせ用フレーム画像の位置合わせに成功する確率を向上させることができる。さらに、画像内の全特徴点について比較を行う場合に比べて、位置合わせの速度を向上させることができる。
ここでは、特徴量抽出部131が、現在の位置合わせ用フレーム画像から特徴点を抽出する際に、重複領域推定部143によって推定された重複領域から特徴点を抽出する。そして、重複領域内の特徴点だけでは相対位置が判定できなかった場合に、重複領域以外の領域からも特徴点を抽出する動作が行われるものとする。
また、ライブ画面データ生成部123では、表示用モザイク画像上に表示用フレーム画像によって構成される動画像をライブ画像として表示する際の表示位置を相対位置演算部142による相対位置の判定結果に基づいて更新し、その表示データをディスプレイ110へ出力する動作が行われる。
<ライブ画面データ生成部>
図4は、図2のシステム本体部100におけるライブ画面データ生成部123の構成例を示したブロック図である。このライブ画面データ生成部123は、ライブ画像更新部151、オーバーラップ推奨サイズ判定部152及び張り合わせ推奨位置表示部153からなり、表示用モザイク画像上に表示用フレーム画像からなるライブ画像を配置したライブ画面データを生成する動作を行っている。
ライブ画像更新部151は、ライブ位置合わせ部125からの相対位置情報に基づいて、表示用フレーム画像及び表示用モザイク画像間の相対位置を決定し、表示用フレーム画像の表示用モザイク画像に対する表示位置を変更するためのライブ画面データを生成する動作を行っている。これにより、表示用モザイク画像上に表示用フレーム画像からなる動画像がライブ画像として表示される。
オーバーラップ推奨サイズ判定部152は、狭視野静止画像を保存用モザイク画像に張り合わせる際の画像間のオーバーラップ部分の推奨サイズを判定する動作を行っている。
一般に、狭視野静止画像及び保存用モザイク画像を連結する際にブレンディング処理によってつなぎ目を目立たなくする場合、画像間のオーバーラップが大きいほど滑らかに張り合わせることができ、高画質のモザイク画像が得られるが、所望のサイズのモザイク画像を作成するのに必要な狭視野静止画像の枚数が増えてしまう。
オーバーラップ推奨サイズ判定部152では、例えば、ユーザが予め指定した視野サイズや静止画像の張り合わせ枚数の上限値、解像度に基づいて、一定レベル以上の平滑度で滑らかに張り合わせることができ、かつ、所望サイズのモザイク画像を作成するのに必要な狭視野静止画像の枚数を最小限に抑えることができるオーバーラップサイズを推奨サイズとして判定する動作が行われる。なお、ここでいう平滑度とは、画像間で画素値をブレンディングする際の重みの変化率に対応して定められるパラメータのことである。
張り合わせ推奨位置表示部153は、オーバーラップ推奨サイズ判定部152による推奨サイズの判定結果に基づいて、狭視野静止画像の張り合わせを推奨する推奨位置を決定し、推奨位置を表示用モザイク画像上に表示するためのライブ画面データを生成する動作を行っている。具体的には、狭視野静止画像の張り合わせに最適な表示用モザイク画像上の位置を推奨位置として、この推奨位置に表示用フレーム画像を収容することができるガイド枠を表示する動作が行われる。
上記ガイド枠は、例えば、表示用縮小部121からの縮小率情報に基づいてそのサイズが定められ、ライブ画面内に張り合わせ推奨枠として表示される。オーバーラップ部分の推奨サイズの判定は、保存用モザイク画像が更新されるごとに行われ、その判定結果に応じて張り合わせ推奨枠の表示位置が変更される。
<ライブ画面>
図5及び図6は、図1の拡大観察装置1におけるライブ画像表示時の動作の一例を模式的に示した説明図である。図5には、カメラ210によって撮影された動画像A1及び表示用モザイク画像A3が示されている。また、図6には、モザイク画像A3上に動画像A1がライブ画像として配置されたライブ画面111が示されている。
動画像A1は、一定のフレームレートで繰返し生成される表示用フレーム画像A2によって構成される。例えば、15fpsで表示用フレーム画像A2が生成される。ここでは、撮影倍率やフォーカス位置は、固定されているものとする。
表示用モザイク画像A3は、保存用モザイク画像をライブ画面表示用に縮小して作成されたモザイク画像である。
ライブ画面111は、ディスプレイ110上に表示されるモニター画面であり、作成中の表示用モザイク画像A3及び動画像A1が表示されている。ライブ画面111では、動画像A1が、現在の位置合わせ用フレーム画像と位置合わせ用モザイク画像との間のパターンマッチングによって判定された相対位置から決定された表示位置に配置されている。
つまり、撮影中の動画像A1が作成中の表示用モザイク画像A3上の適切な位置にライブ画像として表示されるので、ユーザは、撮影中の視野と作成中のモザイク画像との位置関係を確認しながら狭視野静止画像を取り込んで保存用モザイク画像と連結させることができる。
<パターンマッチング>
図7(a)及び(b)は、図1の拡大観察装置1におけるパターンマッチング動作の一例を示した図であり、基準画像B1及び位置合わせ用のフレーム画像B2からそれぞれ抽出された全特徴点B3の比較によってこれらの特徴点間の正対応が抽出される様子が示されている。図7(a)には、基準画像B1から抽出された特徴点B3をフレーム画像B2内の各特徴点B3と比較している様子が示され、図7(b)には、特徴点B3の比較に基づいて抽出された特徴点間の正対応が示されている。
基準画像B1は、作成中のモザイク画像の一部であり、パターンマッチングの処理対象として位置合わせ用モザイク画像から予め抽出される。例えば、最後に連結された狭視野静止画像が基準画像B1として抽出される。或いは、保存用モザイク画像に対して最後に連結された狭視野静止画像と現在のフレーム画像との重複領域の大きさが一定レベルを下回り、これらの画像間の相対位置が判定できなくなると、保存用モザイク画像に対して最後に連結された狭視野静止画像に隣接する他の狭視野静止画像が基準画像B1として抽出される。
基準画像B1及びフレーム画像B2間の位置関係が不明な場合、画像全体を対象として特徴点B3の抽出が行われる。そして、基準画像B1から抽出された各特徴点B3について、類似する特徴点がフレーム画像B2内に存在するか否かを特徴点間の比較によって判断する。
特徴点間の類似度は、特徴点B3を含む所定の領域、例えば、5ピクセル×5ピクセルの矩形領域について算出される輝度値の二乗誤差和又は正規化相関によって測ることができる。
特徴点間の正対応は、この様な比較結果に基づいて抽出される。例えば、同一方向に並行移動している特徴点間の対応が正対応として抽出される。基準画像B1及びフレーム画像B2間の相対位置は、抽出された特徴点間の正対応に基づいて特徴点の画像内における移動量を判断し、この移動量から基準画像B1に対するフレーム画像B2の移動量を判断することによって判定される。
図8(a)及び(b)は、図1の拡大観察装置1におけるパターンマッチング動作の一例を示した図であり、基準画像及び第(n−1)フレーム画像間の相対位置から推定された重複領域B5,B6内の特徴点B3が比較される様子が示されている。図8(a)には、基準画像及び第(n−1)フレーム画像間の相対位置から求められた両画像の重複領域B4が示されている。また、図8(b)には、基準画像及び第(n−1)フレーム画像間の相対位置から推定された基準画像及び第nフレーム画像の重複領域B5,B6が示されている。
基準画像B1及びフレーム画像B2間の大まかな位置関係が予めわかっている場合には、一方の画像から適切にテンプレート領域を抽出し、他方の画像の対応する領域付近を探索することによって、これらの画像間の相対位置をより高精度に判定することができる。
すなわち、1フレーム前の第(n−1)フレーム画像と基準画像との間の相対位置の判定結果からこれらの画像の重複領域B4を求める。この重複領域B4を現在の第nフレーム画像と基準画像との重複領域B5,B6であると判断する。そして、基準画像の重複領域B5内の各特徴点B3について、第nフレーム画像の重複領域B6内から類似する特徴点を抽出することによって、これらの画像間の相対位置が判定される。
類似する特徴点の抽出は、基準画像の重複領域B5内の各特徴点B3について、第nフレーム画像の重複領域B6から上記特徴点に対応する位置付近の所定領域を抽出し、この領域内を探索することによって行われる。
本実施の形態では、2フレーム目以降の位置合わせ用フレーム画像と位置合わせ用モザイク画像との位置合わせに対して、重複領域内の特徴点について比較を行う図8の方法が採用される。一方、1フレーム目の位置合わせ用フレーム画像と位置合わせ用モザイク画像との位置合わせや、重複領域内の特徴点についての比較では相対位置が判定できなかった場合、或いは、取込み指示に基づいて取り込んだ狭視野静止画像と保存用モザイク画像との位置合わせには、全特徴点について比較を行う図7の方法が採用される。
<張り合わせ推奨枠>
図9は、図1の拡大観察装置1におけるライブ画面表示時の動作の一例を示した図であり、モザイク画像上に表示された張り合わせ推奨枠が示されている。ライブ画面には、作成中の保存用モザイク画像に対応する表示用のモザイク画像と、撮影中の視野を示すライブ画像と、張り合わせ推奨枠が表示されている。
この例では、表示用フレーム画像によって構成されるライブ画像が、実線で示された矩形の枠内に配置されている。この矩形枠の表示位置は、基準画像(モザイク画像の一部)及び現在の位置合わせ用フレーム画像間の相対位置の判定結果に基づいて変更される。
一方、張り合わせ推奨枠は、狭視野静止画像の張り合わせに最適なモザイク画像に対する位置を表すガイド枠であり、破線で示された矩形形状の図形となっている。この例では、張り合わせ推奨枠が、表示用フレーム画像よりも若干大きく、狭視野静止画像を一定レベル以上の平滑度で滑らかに張り合わせられ、かつ、所望のサイズのモザイク画像を作成するのに必要な狭視野静止画像の枚数を最小限に抑えられる最適なオーバーラップとなる領域を取り囲むように形成されている。
ここで、張り合わせ推奨枠は、最適なオーバーラップとなる領域をユーザが容易に認識できるものであれば、当該領域を取り囲んでいなくても良い。
ユーザは、張り合わせ推奨枠を目標にして可動ステージ230を移動させ、張り合わせ推奨枠内にライブ画像が位置する時点で静止画像の取り込みを指示すれば、最小限の枚数で高画質のモザイク画像を得ることができる。この様な張り合わせ推奨枠は、必要に応じてモザイク画像の周囲に複数個配置され、モザイク画像が更新されるごとに、その表示位置が変更される。
<オーバーラップ部分>
図10は、図1の拡大観察装置1におけるモザイク画像生成時の動作の一例を模式的に示した説明図であり、張り合わされる狭視野静止画像及びモザイク画像間のオーバーラップ部分が示されている。新たに取得した狭視野静止画像を保存用のモザイク画像に張り合わせることによって、新たなモザイク画像を生成する際、画像間のオーバーラップ部分について、画像間で画素値をブレンディングするブレンディング処理が行われる。
この様なブレンディング処理が行われるオーバーラップ部分は、そのサイズが大きいほど狭視野静止画像及びモザイク画像を滑らかに張り合わせることができるが、所望サイズのモザイク画像を作成するのに必要な静止画像の枚数が増えてしまう。これに対して、オーバーラップ部分のサイズを小さくすれば、必要な静止画像の枚数は減らせるが、モザイク画像の画質が低下することとなる。
そこで、本実施の形態では、滑らかに張り合わせることができ、所望サイズのモザイク画像を作成するのに必要な狭視野静止画像の枚数を最小限に抑えることができるオーバーラップサイズを推奨サイズとして判定し、その判定結果に基づいて決定した推奨位置を作成中のモザイク画像上に表示する動作が行われる。
上記オーバーラップサイズとは、オーバーラップ部分の幅、例えば、x軸方向の距離d1及びy軸方向の距離d2のことである。
図11及び図12のステップS101〜S119は、図1の拡大観察装置1におけるライブ画面表示時の動作の一例を示したフローチャートである。まず、特徴量抽出部131は、位置合わせ用フレーム画像を取得し、それが最初のフレーム画像であれば、画像全体から特徴点を抽出する(ステップS101〜103)。
次に、相対位置判定部132は、各画像の全特徴点について比較を行い、現在の位置合わせ用フレーム画像と位置合わせ用基準画像との間の相対位置を判定する(ステップS104)。このとき、相対位置が判定できず、位置合わせに失敗すると、ユーザに対してマッチングエラーが報知される(ステップS105,S114)。位置合わせに成功した場合には、相対位置の判定結果に基づいてライブ画像の表示位置が変更され、ライブ画像が更新される(ステップS105〜S107)。
一方、取得した位置合わせ用フレーム画像が最初のフレーム画像でなければ、相対位置判定部132は、前回の位置合わせの結果、すなわち、1フレーム前の位置合わせ用フレーム画像と位置合わせ用基準画像との間の相対位置の判定結果を参照して、現在の位置合わせ用フレーム画像と基準画像との間の重複領域を推定する(ステップS102,S110,S111)。特徴量抽出部131は、この推定された重複領域から特徴点を抽出する。
次に、相対位置判定部132は、現在の位置合わせ用フレーム画像と位置合わせ用基準画像とから推定された重複領域内の特徴点について比較を行い、これらの画像間の相対位置を判定する(ステップS112)。このとき、相対位置が判定できず、位置合わせに失敗すると、ステップS103以降の処理手順が実行される(ステップS113)。位置合わせに成功した場合には、相対位置の判定結果に基づいてライブ画像の表示位置が変更され、ライブ画像が更新される(ステップS113,S106,S107)。
静止画像取得部126は、ライブ画像の更新後、張り合わせ用の静止画像の取込み指示があれば、当該取込み指示に基づいて狭視野静止画像を取り込む。モザイク画像生成部127は、取り込まれた狭視野静止画像と保存用モザイク画像との間のパターンマッチングによってこれらの画像間の相対位置を判定し、両画像を連結する処理を行う(ステップS108,S115,S116)。
そして、両画像の連結によって生成された新たな保存用モザイク画像によって、表示用及び保存用のモザイク画像が更新される(ステップS117)。次に、張り合わせ位置表示部153は、表示用モザイク画像の更新に合わせて、狭視野静止画像の張り合わせに最適なモザイク画像に対する位置を判定し、張り合わせ推奨枠(ガイド枠)の表示位置を更新する(ステップS118,S119)。
ステップS101からS108までの処理手順は、撮影終了が指示されるまで繰り返される(ステップS109)。
本実施の形態によれば、撮影中の視野がライブ画像として作成中のモザイク画像上の適切な位置に表示されるので、撮影中の視野と作成中のモザイク画像との位置関係をユーザに確認させながら狭視野静止画像を取り込んでモザイク画像と連結させることができる。特に、レンズユニット211の種類及び当該レンズユニットに可変の光学パラメータに基づいて周縁部を除去した狭視野フレーム画像を用いて撮影中の視野を表示し、狭視野静止画像を用いて張り合わせを行うので、カメラ210に装着されたレンズユニット211の影響で画質が低下するのを抑制することができる。
例えば、撮影倍率に応じて周縁部を除去した狭視野静止画像を用いてモザイク画像を作成することによって、レンズの外周部分における光量低下の影響で画像間のつなぎ目に光量ムラが生じるのを抑制することができる。また、レンズの歪み(収差)やテレセントリック性不足の影響によって、モザイク画像に偽像が生じるのを抑制することができる。
また、狭視野静止画像の張り合わせを推奨する推奨位置をモザイク画像上に表示するので、狭視野静止画像を張り合わせ用に取り込む際に、所望サイズのモザイク画像を作成するのに必要な狭視野静止画像の枚数が増大するのを抑制しつつ、モザイク画像の画質を向上させられる位置をユーザに認識させることができる。
実施の形態2.
実施の形態1では、レンズユニット211の種類及び当該レンズユニットに可変の光学パラメータに基づいて周縁部を除去した狭視野フレーム画像を用いて撮影中の視野が表示され、狭視野静止画像を用いて張り合わせが行われる場合の例について説明した。これに対し、本実施の形態では、レンズユニット211の種類及び当該レンズユニットに可変の光学パラメータに基づいて、静止画像を張り合わせる際のオーバーラップ部分の推奨サイズを判定し、その判定結果から推奨位置を決定してモザイク画像上に表示する場合について説明する。
図13は、本発明の実施の形態2による拡大観察装置1におけるシステム本体部100aの一構成例を示したブロック図である。このシステム本体部100aは、ディスプレイ110の他に、表示用縮小部121,128、表示用モザイク画像記憶部122、ライブ画面データ生成部123a、保存用モザイク画像記憶部124、ライブ位置合わせ部125、静止画像取得部126及びモザイク画像生成部127を備えて構成される。
表示用縮小部121では、カメラ210から連続して得られるフレーム画像を所定の縮小率で縮小して表示用フレーム画像を生成し、ライブ画面データ生成部123aへ出力する動作が行われる。
ライブ画面データ生成部123aは、表示用縮小部121からの縮小率情報に基づいてディスプレイ110を制御し、表示用縮小部121から連続して得られる表示用フレーム画像の表示用モザイク画像に対する表示位置を更新することによって、表示用モザイク画像上にライブ画像を表示するためのライブ画面データを生成する動作を行っている。
ライブ位置合わせ部125では、カメラ210から連続して得られるフレーム画像と保存用モザイク画像記憶部124から読み出した保存用モザイク画像とをそれぞれ縮小してマッチング処理する動作が行われる。
位置合わせ用縮小部125aでは、カメラ210からのフレーム画像を位置合わせ用に一定の縮小率で縮小して位置合わせ用フレーム画像を生成し、マッチング処理部125cへ出力する動作が行われる。
静止画像取得部126では、コンソール300からの取込み指示に基づいて、カメラ210によって撮影された静止画像を取得し、モザイク画像生成部127へ出力する動作が行われる。モザイク画像生成部127では、複数の静止画像を張り合わせて保存用モザイク画像を生成する動作が行われる。
保存用位置合わせ部127aでは、静止画像取得部126によって取得された静止画像と保存用モザイク画像記憶部124から読み出した保存用モザイク画像との間の相対位置を判定する動作が行われる。
画像連結部127bでは、保存用位置合わせ部127aによる判定結果に基づいて、静止画像及び保存用モザイク画像を張り合わせ、新たな保存用モザイク画像を生成して保存用モザイク画像記憶部124内の保存用モザイク画像を更新する動作が行われる。
この画像連結部127bでは、カメラ210に装着されたレンズユニット211の影響で画質が低下するのを抑制させるという観点から、静止画像及び保存用モザイク画像間で画素値をブレンディングする際の重みをレンズユニット211の種類、撮影倍率、絞り及び照明条件に基づいて決定する動作が行われる。
具体的には、レンズユニット211の撮影倍率が短いほど画像の周縁部の重みを中央部よりも相対的に小さくする処理が行われる。
図14は、図13のシステム本体部100aにおけるライブ画面データ生成部123aの構成例を示したブロック図である。ライブ画面データ生成部123aは、レンズユニット検出部161、識別情報取得部162、レンズ情報記憶部163、ライブ画像更新部164、オーバーラップ推奨サイズ判定部165及び張り合わせ推奨位置表示部166により構成される。
このライブ画面データ生成部123aでは、表示用モザイク画像上に表示用フレーム画像からなるライブ画像を配置したライブ画面データを生成する際に、レンズユニット211の種類及び光学パラメータに基づいて、静止画像を張り合わせる際のオーバーラップ部分の推奨サイズを判定し、その判定結果に基づいて静止画像の張り合わせを推奨する推奨位置を決定してモザイク画像上に表示する動作が行われる。
レンズユニット検出部161は、レンズユニット211を検出する光学モジュール着脱検出手段である。識別情報取得部162は、レンズユニット検出部161による検出結果に基づいて、レンズユニット211からその識別情報を取得し、カメラ210に装着されているレンズユニットの種類と、当該レンズユニットに可変の光学パラメータとをオーバーラップ判定部165へ出力する動作を行っている。
レンズ情報記憶部163には、レンズユニット211の識別情報と、レンズユニットの種類や光学パラメータとを互いに対応付けた複数の組が保持される。ここでは、レンズユニットの種類と、撮影倍率、絞り、照明条件などの光学パラメータとに複数の識別情報を対応付けたレンズユニットテーブルがレンズ情報としてレンズ情報記憶部163に予め保持されているものとする。
識別情報取得部162では、レンズユニット211がカメラ210に装着されたことが検出された際に、当該レンズユニット211から識別情報を取得し、レンズユニットテーブルを参照してレンズユニットの種類や光学パラメータをレンズ情報記憶部163から読み出す動作が行われる。
ライブ画像更新部164では、ライブ位置合わせ部125からの相対位置情報に基づいて、表示用フレーム画像及び表示用モザイク画像間の相対位置を決定し、表示用フレーム画像の表示用モザイク画像に対する表示位置を変更するためのライブ画面データを生成する動作が行われる。
オーバーラップ推奨サイズ判定部165は、レンズユニット211の種類や撮影倍率、絞り、照明条件に基づいて、静止画像を張り合わせる際の画像間のオーバーラップ部分の推奨サイズを判定する動作を行っている。このオーバーラップ推奨サイズ判定部165では、カメラ210に装着されているレンズユニット211の影響で画質が低下するのを抑制することができるオーバーラップサイズを推奨サイズとして判定する動作が行われる。
例えば、レンズ周縁部における光量低下やレンズの歪み、テレセントリック性の不足などの影響で画質が低下するのを抑制させるという観点から、静止画像及び保存用モザイク画像間のオーバーラップ部分の推奨サイズは、撮影倍率が低いほど大きく、撮影倍率が高いほど小さくなる。
張り合わせ推奨位置表示部166は、オーバーラップ推奨サイズ判定部165による推奨サイズの判定結果に基づいて、静止画像の張り合わせを推奨する推奨位置を決定し、推奨位置を表示用モザイク画像上に表示するためのライブ画面データを生成する動作を行っている。具体的には、静止画像の張り合わせに最適な表示用モザイク画像上の位置を推奨位置として、この推奨位置に表示用フレーム画像を収容することができるガイド枠(張り合わせ推奨枠)を表示する動作が行われる。
オーバーラップ部分の推奨サイズの判定は、保存用モザイク画像が更新されるごとに行われ、その判定結果に応じて張り合わせ推奨枠の表示位置が変更される。
<ブレンディング処理>
図15(a)及び(b)は、図13の拡大観察装置1におけるモザイク画像生成時の動作の一例を示した図であり、画像間のオーバーラップ部分について画像間で画素値をブレンディングする際の重みが示されている。図15(a)には、縦軸を重み、横軸を画像の端からの距離として、レンズユニット211の撮影倍率が高い場合が示されている。
新たに取得した静止画像を保存用のモザイク画像に張り合わせることによって、新たなモザイク画像を生成する際、画像間のオーバーラップ部分について、画像間で画素値をブレンディングするブレンディング処理が行われる。
画像間で画素値をブレンディングする際の重みは、オーバーラップ部分の画像領域に関して、画像の端からの距離に応じて増加するように定められるが、ここでは、さらに、レンズユニット211の撮影倍率が低いほど、画像の周縁部における重みを中央部に比べて相対的に小さくする処理が行われる。
撮影倍率が高い場合、重みは、オーバーラップ部分の範囲を0以上a3以下として、画像の端からの距離が0以上a1以下の範囲で0、a1からa2までが一定の傾きで増加し、a2以上の範囲で1となっている。
図15(b)には、レンズユニット211の撮影倍率が低い場合が示されている。撮影倍率が低い場合には、重みは、距離a4>a1として、画像の端からの距離が0以上a4以下の範囲で0、a4からa5までが一定の傾きで増加し、a5以上の範囲で1となっている。この様に、重みが0である範囲(0以上a4以下の範囲)をレンズユニット211の撮影倍率が高い場合よりも広くすることによって、撮影倍率が低いほど、画像の周縁部における重みを中央部に比べて相対的に小さくすることができる。
本実施の形態によれば、撮影中の視野がライブ画像として作成中のモザイク画像上の適切な位置に表示されるので、撮影中の視野と作成中のモザイク画像との位置関係をユーザに確認させながら静止画像を取り込んでモザイク画像と連結させることができる。特に、レンズユニット211の種類及び当該レンズユニットに可変の光学パラメータに基づいて、静止画像を張り合わせる際のオーバーラップ部分の推奨サイズを判定し、その判定結果に基づいて静止画像の張り合わせを推奨する推奨位置を決定してモザイク画像上に表示するので、静止画像を張り合わせ用に取り込む際に、所望サイズのモザイク画像を作成するのに必要な静止画像の枚数が増大するのを抑制しつつ、モザイク画像の画質を向上させられる位置をユーザに認識させることができる。さらに、静止画像を張り合わせる際のブレンディング処理の重みがレンズユニット211の種類及び当該レンズユニットに可変の光学パラメータに基づいて決定されるので、カメラ210に装着されたレンズユニット211の影響で画質が低下するのを抑制することができる。
なお、実施の形態1及び2では、カメラ210に装着されているレンズユニット211の種類や光学パラメータが自動認識される場合の例について説明したが、本発明はこれに限られるものではない。例えば、ユーザにレンズユニット211の識別情報を入力させ、或いは、ディスプレイ110上でレンズユニット211を選択させることによって、カメラ210に装着されているレンズユニットの種類や光学パラメータを判断するようなものであっても良い。
また、実施の形態1及び2では、取込み指示に基づいて静止画像を取り込んでモザイク画像に張り合わせられる場合の例について説明したが、本発明はこれに限られるものではない。例えば、ライブ画像の全体が張り合わせ推奨枠内に収容された状態で、視野の変動が一定時間以上なければ、自動的に撮影中の視野に対応する静止画像を取り込んで張り合わせを行うようなものであっても良い。
或いは、ライブ画像の全体が張り合わせ推奨枠内に収容されている場合にのみ、撮影中の視野に対応する静止画像の張り合わせを許可し、ライブ画像の一部又は全部が張り合わせ推奨枠外である場合には、静止画像の張り合わせを許可しないような構成も考えられる。
また、実施の形態1及び2では、位置合わせ用フレーム画像及び位置合わせ用モザイク画像を比較する際の特徴量として、エッジが交差する頂点が抽出される場合の例について説明したが、本発明はこれに限られるものではない。例えば、画像上の所定エリアについて、エリア内のコントラスト値を特徴量として位置合わせ用フレーム画像及び位置合わせ用モザイク画像からそれぞれ抽出し、これらの画像間で比較するようなものであっても良い。また、エッジやコントラストを抽出することなく重複領域内の所定エリアについて、エリア内の特徴量に基づいてテンプレートマッチングを実行するようにしても良い。
また、実施の形態1及び2では、位置合わせ用のモザイク画像及びフレーム画像間のパターンマッチングによってこれらの画像間の相対的位置関係が判断される場合の例について説明したが、本発明はこれに限られるものではない。例えば、可動ステージ230のx軸方向及びy軸方向における位置を検出する位置センサーを備え、位置センサーの出力に基づいて、フレーム画像及びモザイク画像間の相対位置を判定するようなものも本発明には含まれる。