JP5178553B2 - 撮像装置 - Google Patents

Description

本発明は、撮像装置等に関係する。

近年、デジタルカメラなどの電子カメラでは、撮像素子の画素数が増加しており、電子ビューファインダー（ＥＶＦ:Electronic View Finder）やカメラ付属の表示パネルでは、ピントが合っているかの詳細な確認が難しくなってきている。即ち、撮像素子の画素数に比べて画素数が少ない表示パネルに対して画像を表示する場合、撮像画像の全体を縮小したり、一部のみを表示する場合が多いが、いずれの場合も簡易的な確認のみが可能であるに過ぎない。

例えば縮小された画像の場合、重度のフォーカスの調整ミスや、典型的なピンボケについては容易に確認できるものの、このようなケースは、最近ではオートフォーカス機能の向上に伴って少なくなってきている。

むしろ問題となるのは、マニュアルフォーカスでの比較的軽度のフォーカス調整ミスや、オートフォーカスによる意図しない撮像対象物への合焦である。後者は例えば、人物が二人並んで撮影される際、そのどちらにもフォーカスが合わずに、人物の間の遠景に合焦してしまうようなケースが該当する。なお、合焦とはフォーカスが合うことをいう。

カメラに付属する、比較的制約された表示装置（表示パネル、ＥＶＦ）であっても合焦状態を確認する手法が提案されている。一例として特許文献１には、撮像対象シーン中で合焦している被写体を簡単に視認可能にするための手法が開示されている。

この特許文献１に記載の手法では、合焦している物体の輪郭をＥＶＦ内で強調表示し、更に合焦していない物体の合焦位置からの外れ度合いに応じて彩度を変化させて表示する。これにより操作者は、合焦している物体がどの物体なのかや、合焦位置から外れている物体がどれで、どの程度外れているのかを、把握することが可能となる。

特開２００８−１３５８１２号公報

しかしながら特許文献１では、合焦状態を示す情報を表示画像に重畳する手法を採用しているため、操作者に対しては加工された画像が表示されてしまうという問題がある。即ち、輪郭や彩度が加工された、通常とは異なる画像を参照して、合焦状態を正しく把握することは、非熟練者にとっては負担が大きい。また、彩度の差から合焦位置の外れ具合を把握するという操作も、非熟練者にとって容易とは言えない。

本発明の幾つかの態様によれば、合焦している撮像対象物の把握等を容易化できる撮像装置等を提供できる。

本発明の一態様は、撮像対象物を撮像する撮像部と、フォーカスの調整を行うフォーカス調整部と、撮像対象物の奥行き方向での位置を表す奥行き位置と、前記フォーカスの位置を表すフォーカス位置とを示すためのマップ画像を生成するマップ画像生成部と、生成された前記マップ画像を表示する表示部とを含む撮像装置に関係する。

本発明の一態様では、撮像部により撮像対象物が撮像されると共にフォーカス調整が行われる。そして撮像対象物の奥行き位置やフォーカス位置を示すためのマップ画像が生成されて、表示部に表示される。これにより操作者（ユーザ）は、合焦している撮像対象物を容易に把握することが可能になり、これまでにない撮像装置を提供できる。

また本発明の一態様では、撮像装置から前記撮像対象物までの距離を表す距離データを取得する距離データ取得部を含み、前記マップ画像生成部は、前記距離データに基づき前記撮像対象物の前記奥行き位置が特定される前記マップ画像を生成してもよい。

このようにすれば、取得された距離データを有効活用して、撮像対象物の奥行き位置を特定して、マップ画像を生成できる。

また本発明の一態様では、前記距離データ取得部は、デプス・フロム・デフォーカス（Depth from Defocus）、シェイプ・フロム・フォーカスShape from Focus）、シェイプ・フロム・ステレオ（Shape from Stereo）、又はシェイプ・フロム・フォトメトリック（Shape from Photometric）の処理により、前記距離データを取得してもよい。

このようにすればフォーカス調整等に必要な処理を有効活用し、距離データを取得して、マップ画像を生成できる。

また本発明の一態様では、前記マップ画像生成部は、前記マップ画像として、撮像対象シーンを真上から見下ろした画像又は斜め上から見下ろした画像を生成してもよい。

このようにすれば、操作者は、撮像対象シーンを別の視点から見たマップ画像を見ながら、撮像対象物の奥行き位置とフォーカス位置との位置関係を把握できるようになる。

また本発明の一態様では、前記マップ画像生成部は、奥行き位置が異なる撮像対象物を表すマークが、奥行き方向に沿って並んで表示される前記マップ画像を生成してもよい。

このようにすれば、マップ画像をコンパクトな表示領域で表示することが可能になる。

また本発明の一態様では、前記マップ画像生成部は、前記フォーカス位置を表す図形が表示された前記マップ画像を生成してもよい。

このようにすれば、マップ画像に表示された図形を見ることで、フォーカス位置を把握できるようになる。

また本発明の一態様では、前記マップ画像生成部は、線分、矢印、三角形、円、楕円、又は矩形が前記フォーカス位置を表す前記図形として表示された前記マップ画像を生成してもよい。

このようにフォーカス位置を表す図形としては種々の図形を採用できる。

また本発明の一態様では、前記マップ画像生成部は、撮像画角の境界線が表示された前記マップ画像を生成してもよい。

このようにすれば、撮像対象物の奥行き位置やフォーカス位置に加えて、撮像範囲についても容易に把握できるようになる。

また本発明の一態様では、前記マップ画像生成部は、前記フォーカス調整部によるフォーカス調整に連動して、前記フォーカス位置を表す図形の位置が変化する前記マップ画像を生成してもよい。

このようにすれば、フォーカス調整により、どの撮像対象物に合焦したのかを容易に把握できるようになる。

また本発明の一態様では、前記マップ画像生成部は、前記フォーカス位置に対応した被写界深度範囲が表示された前記マップ画像を生成してもよい。

このようにすれば、実用上ピントが合っていると考えられる被写界深度範囲を容易に把握できる。

また本発明の一態様では、前記マップ画像生成部は、前記フォーカス調整部によるフォーカス調整に連動して、前記被写界深度範囲の位置が変化する前記マップ画像を生成してもよい。

このようにすれば、フォーカス調整により、どの範囲が被写界深度範囲になるのかを認識できるようになる。

また本発明の一態様では、前記表示部はタッチパネルディスプレイにより構成され、前記マップ画像生成部は、前記撮像対象物を表すマークが、前記撮像対象物の前記奥行き位置に対応するマップ位置に表示される前記マップ画像を生成し、前記フォーカス調整部は、前記タッチパネルディスプレイの前記マークをタッチする操作が行われた場合に、タッチされた前記マークの前記奥行き位置にフォーカスを合わせるフォーカス調整を行ってもよい。

このようにすれば、フォーカスを合わせたい位置をタッチパネルディスプレイにより指示できるようになり、フォーカス位置の指定に要する時間の短縮等を図れる。

また本発明の一態様では、前記マップ画像生成部は、前記撮像対象物の種類を表すマークが、前記撮像対象物の前記奥行き位置に対応するマップ位置に表示された前記マップ画像を生成してもよい。

このようにすれば、マップ画像上のマークを見ることで、撮像対象物の種類を確認することが可能になる。

また本発明の一態様では、前記マップ画像生成部は、前記撮像対象物のサイズ、色及びテクスチャの少なくとも１つを表すマークが、前記撮像対象物の前記奥行き位置に対応するマップ位置に表示された前記マップ画像を生成してもよい。

このようにすれば、撮像対象物のサイズ、色又はテクスチャを表すマークにより、撮像対象物を把握できる。

また本発明の一態様では、前記表示部は、撮像装置により撮像された通常撮像画像に対して前記マップ画像が重畳表示された画像、前記通常撮像画像に対して前記マップ画像がスーパーインポーズされた画像、又は前記通常撮像画像と前記マップ画像とが並んだ画像を表示してもよい。

このようにすれば、通常撮像画像とマップ画像の両方を見ながら、撮像指示等の操作を行えるようになる。

また本発明の一態様では、前記表示部は、前記通常撮像画像のうち合焦している撮像対象物に対して前記マップ画像が重ならないように生成された画像を表示してもよい。

このようにすれば、合焦している撮像対象物を確認する際に、マップ画像の存在がその確認の邪魔になってしまう事態を防止できる。

また本発明の一態様では、撮像装置から前記撮像対象物までの距離を表す距離データを取得する距離データ取得部と、取得された前記距離データに基づいて撮像対象シーンの領域分割処理を行う領域分割部と、前記領域分割部により分割された各分割領域において前記撮像対象物の認識処理を行う撮像対象物認識部を含んでもよい。

このようにすれば、取得された距離データを利用して領域分割を行い、各分割領域での撮像対象物を認識しているため、撮像対象シーン内の撮像対象物を、効率的な処理で認識できるようになる。

また本発明の一態様では、前記距離データ取得部は、前記撮像部により撮像された複数の距離データ取得用画像に基づいて前記距離データを取得し、前記領域分割部は、前記複数の距離データ取得用画像の代表となる代表距離データ取得用画像と、取得された前記距離データとに基づいて、前記領域分割処理を行ってもよい。

このようにすれば、複数の距離データ取得用画像に基づいて距離データを取得した場合にも、領域分割処理については代表距離データ取得用画像に基づき行われるため、距離データ取得用画像を保存する記憶部の記憶容量の節約等が可能になる。

また本発明の一態様では、前記撮像対象物の認識処理を行う撮像対象物認識部を含み、前記マップ画像生成部は、前記撮像対象物の種類の認識に成功した場合には、前記撮像対象物の種類を表すマークが、前記撮像対象物の前記奥行き位置に対応するマップ位置に表示された前記マップ画像を生成し、前記撮像対象物の種類の認識に成功しなかった場合には、前記撮像対象物のサイズ、色及びテクスチャの少なくとも１つを表すマークが、前記撮像対象物の前記奥行き位置に対応するマップ位置に表示された前記マップ画像を生成してもよい。

このようにすれば、全ての撮像対象物を認識できなくても、認識できなかった撮像対象物を把握するための手がかりを、その撮像対象物のサイズや色やテクスチャにより提示できるようになる。

また本発明の一態様では、撮像対象シーンの領域分割処理を行う領域分割部を含み、前記撮像対象物認識部は、前記領域分割部により分割された各分割領域において前記撮像対象物の認識処理を行い、各分割領域において前記撮像対象物の種類の認識に成功した場合には、認識された前記撮像対象物の種類を各分割領域に関連づける処理を行い、前記撮像対象物の認識に成功しなかった場合には、前記撮像対象物のサイズ、色及びテクスチャの少なくとも１つを、対応する各分割領域に関連づける処理を行ってもよい。

このようにすれば、撮像対象物の種類の認識に成功した分割領域には、撮像対象物の種類を表すマークを表示し、撮像対象物の種類の認識に成功しなかった分割領域には、撮像対象物のサイズ、色又はテクスチャを表すマークを表示できるようになる。

また本発明の一態様では、前記撮像対象物認識部は、所定サイズよりも小さいと判断された撮像対象物又は撮像装置からの距離が所定距離よりも遠いと判断された撮像対象物を非表示にする設定を行ってもよい。

このようにすれば、小さい撮像対象物や距離が遠い撮像対象物については表示されないようになるため、不要な表示物がマップ画像に表示されてしまう事態を防止できる。

本実施形態の撮像装置の構成例。 撮像対象シーンの例。 本実施形態により生成されるマップ画像の例。 マニュアルフォーカスモードでの本実施形態の処理を説明するためのフローチャート。 オートフォーカスモードでの本実施形態の処理を説明するためのフローチャート。 マップ画像生成の第１の変形例。 マップ画像生成の第２の変形例。 マップ画像生成の第３の変形例。 マップ画像生成の第４の変形例。 図１０（Ａ）、図１０（Ｂ）はマップ画像の表示例。 図１１（Ａ）、図１１（Ｂ）はフォーカス調整に連動してフォーカス位置や被写界深度範囲の位置を変化させる手法の説明図。 図１２（Ａ）、図１２（Ｂ）は表示部がタッチパネルディスプレイで構成される場合の本実施形態の手法の説明図。 図１３（Ａ）、図１３（Ｂ）は距離データの取得手法の説明図。 本実施形態の詳細な処理例の説明図。 撮像対象物認識の詳細な処理を説明するためのフローチャート。 本実施形態の変形例の説明図。 本実施形態の変形例の処理を説明するためのフローチャート。

以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。

１．構成例
本実施形態では、合焦している撮像対象物や、合焦していない撮像対象物及びその合焦状態からのずれ具合などを容易に把握し、フォーカス位置を操作可能な撮像装置を提供することを目的としている。

このために本実施形態では、後述する図２の撮像対象シーン（撮像画像）から、図３に示すようなマップ画像を生成して表示する。このマップ画像（マップデータ）は、例えば撮像対象シーンに対応する俯瞰画像であり、撮像対象物の奥行き方向の位置である奥行き位置やフォーカス位置を示すための画像である。そしてフォーカス位置やフォーカス範囲（被写界深度範囲）は、光学系のフォーカス調整と連動しており、一方を操作して変更すると、その変更が他方にも反映される。

ここでは奥行き方向での位置関係を俯瞰できることが重要なので、マップ画像は、後述する図３のように真上から見下ろした画像でもよいし、図６に示すように斜め上から見下ろした画像でもよいし、下から見上げた画像でもよい。或いは図７に示すように奥行き情報を１次元に並べた画像でもよい。

このようなマップ画像の生成及び表示を可能にする本実施形態の撮像装置の構成例を図１に示す。図１の撮像装置は、撮像部２０、フォーカス調整部３０、画像処理部１００、表示部７０を含む。更に光学系１０、操作部４０、制御部５０、記憶部６０を含むことができる。なおこれらの一部の構成要素を省略したり、他の構成要素（例えば外部インターフェース部）を追加するなどの種々の変形実施が可能である。

図１では、撮像装置（電子機器）として例えばデジタルカメラやビデオカメラなどの電子カメラを想定している。但し本実施形態は電子カメラには限定されず、例えば携帯型情報端末、携帯電話機、携帯型ゲーム機等に用いられる種々の撮像装置に適用できる。

光学系１０は、画像を撮像（撮影）するための例えば複数のレンズで構成され、フォーカスレンズを含む。フォーカスレンズはフォーカス調整のためのレンズであり、例えば光軸方向に沿って移動可能な構成になっている。なお光学系１０にズームレンズ等を設けてもよい。

撮像部２０は撮像対象物（被写体）を撮像するものであり、例えばＣＣＤ、ＣＯＭＳセンサなどの撮像素子を含む。この撮像素子は光学系１０によって結合した画像を撮像するための素子（光電変換素子）である。また撮像部２０は、撮像素子から出力されたアナログの画像信号をデジタルの画像信号（輝度情報）に変換するアナログフロントエンド回路（Ａ／Ｄ変換回路）を含むことができる。

フォーカス調整部３０はフォーカスの調整を行うためのものであり、例えば光学系１０でのフォーカスを調整する。具体的には光学系１０のフォーカスレンズのレンズ位置を光軸方向に沿って移動させることで、フォーカス調整を実現する。

画像処理部１００（画像処理装置、画像処理エンジン）は、撮像部２０からの画像信号に対して種々の画像処理を行うものであり、例えば専用のＡＳＩＣ或いはＤＳＰ等の各種プロセッサにより実現できる。

操作部４０は、操作者（ユーザ）が撮像装置の各種設定を行ったり、各種情報を入力するためのものであり、各種のボタン、スイッチ、ダイヤルなどにより実現できる。なお表示部７０がタッチパネルディスプレイにより構成される場合には、表示部７０も操作部として機能することになる。

制御部５０は、撮像装置の全体の制御等を行うものであり、ＣＰＵ等の各種プロセッサ或いは専用のＡＳＩＣにより実現できる。例えば制御部５０は記憶部６０に記憶された制御用プログラムに基づいて各種制御処理を実行する。

記憶部６０は、画像処理部１００や制御部５０のワーク領域として機能したり、撮像により得られた画像データを記憶（保存）するためのものであり、ＲＡＭやＨＤＤ（ハードディスクドライブ）などにより実現できる。

表示部７０は、例えば液晶パネルや有機ＥＬパネル等の電気光学パネル、ＥＶＦ（電子ビューファインダー）などにより実現されるものであり、スルー画像やＧＵＩ（Graphical User Interface）画面などの各種画像を表示する。

画像処理部１００は、距離データ取得部１０２、領域分割部１０４、撮像対象物認識部１０６、マップ画像生成部１０８、画像出力部１１０を含む。なおこれらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。

距離データ取得部１０２は、撮像装置から撮像対象物までの距離（例えば各画素毎の距離）を表す距離データを取得（生成）する。この距離データは、例えば撮像画像の各画素に対して撮像対象物までの距離情報（奥行き情報）が対応づけられたデータである。この距離データは、輝度値の代わりに撮像対象物までの距離が画素値として保持された画像と言うことができ、距離画像、奥行き画像、デプスマップなどと呼ばれる場合がある。

本実施形態では距離データ取得部１０２は、後に詳述するように、デプス・フロム・デフォーカス（Depth from Defocus）、シェイプ・フロム・フォーカスShape from Focus）、シェイプ・フロム・ステレオ（Shape from Stereo）、或いはシェイプ・フロム・フォトメトリック（Shape from Photometric）の処理により、距離データを取得する。

領域分割部１０４は撮像対象シーン（撮像画像）の領域分割処理を行う。例えば距離データ取得部１０２により取得された距離データに基づいて領域分割処理を行う。具体的には距離データ取得部１０２は、撮像部２０により撮像された複数の距離データ取得用画像に基づいて距離データを取得する。すると領域分割部１０４は、複数の距離データ取得用画像の代表となる代表距離データ取得用画像と、距離データ取得部１０２により取得された距離データとに基づいて、領域分割処理を行う。ここで代表距離データ取得用画像は、複数の距離データ取得用画像のいずれかであってもよいし、複数の距離データ取得用画像から生成される画像であってもよい。

撮像対象物認識部１０６は撮像対象物の認識処理を行う。例えば領域分割部１０４により分割された各分割領域において撮像対象物の認識処理を行う。即ち各分割領域毎に撮像対象物を認識する。

マップ画像生成部１０８は、マップ画像を生成する。このマップ画像は、撮像対象物の奥行き方向での位置（奥行き方向での撮像装置との位置関係）を表す奥行き位置と、フォーカスの位置を表すフォーカス位置とを示すための画像である。別の言い方をすれば、マップ画像（マップデータ）は、撮像対象シーンにおける撮像対象物の奥行き方向の位置等を可視化した画像（表示用のデータ）である。このマップ画像は、例えば距離データと撮像対象物の認識結果に基づき生成される。具体的には距離データ取得部１０２により距離データが取得されると、マップ画像生成部１０８は、取得された距離データにより撮像対象物の奥行き位置が特定されたマップ画像を生成する。

画像出力部１１０は、画像処理部１００による画像処理により得られたマップ画像等を表示部７０に出力する。そして表示部７０は、生成されたマップ画像等を表示する。

図２は撮像対象シーンの例であり、撮像対象物である人物、木、車、家が映し出されている。本実施形態では、このような撮像対象シーンに対応して、図３に示すようなマップ画像を生成して表示する。

図３のマップ画像では、下側が撮像装置に近く、上側が撮像装置から遠くなるように奥行き方向の位置を対応させている。そして左右方向はそのまま撮像対象シーンの左右方向に対応する。このマップ画像は、撮像対象シーンを真上から見下ろした画像である。またマップ画像では、左右方向及び奥行き方向のみを考慮し、高さ方向は考慮しない。従って、撮像対象シーンにおける撮像対象物の左右方向と奥行き方向の位置が決まれば、マップ画像上の位置が決まる。

なお、奥行き方向は無限遠まで存在する可能性があるが、これらは数学的に変換することで、マップ画像内に納まるようにする。具体的には、対数変換を行ったり、ある奥行き位置よりも遠い場所については同じ値にクランプする。

例えば図２の撮像対象シーンにおいて、奥行き方向の位置は、人物が最も手前側であり、その次に木、車、家の順で奥側に位置している。

そこで図３のマップ画像では、この奥行き方向の位置関係を操作者が容易に把握できるように、撮像対象物の奥行き位置に対応するマップ位置に、撮像対象物を象徴するマークを表示している。

例えば図２の撮像対象シーンに対応して、この撮像対象シーンに含まれる人物（顔）、木、車、家を象徴するマーク（シンボル、アイコン）ＭＫ１、ＭＫ２、ＭＫ３、ＭＫ４を表示（描画）する。即ちマークＭＫ１が奥行き方向において最も手前側に見え、マークＭＫ４が最も奥側に見えるように、マークＭＫ１〜ＭＫ４を表示する。

また図３のマップ画像では、現在のフォーカスの位置に対応したマップ位置にフォーカス位置を表す図形が表示される。具体的には図３では、フォーカス位置を表す図形として線分ＦＰＬを表示（重畳表示）している。なおフォーカス位置を表す図形は線分に限定されず、矢印、三角形、円、楕円、或いは矩形などの位置を表現し得る種々の図形を採用できる。

また図３のマップ画像では、フォーカス位置に対応した被写界深度範囲ＤＦＲも表示（重畳表示）される。この被写界深度範囲ＤＦＲは、被写界深度に相当する幅を持った帯状の範囲であり、この帯状の範囲内ではピントが合い、帯状の範囲外ではピンぼけになる。

なお、被写界深度内の撮像対象物を強調表示するようにして、被写界深度範囲を表現してもよい。強調表示の方法としては、色を変えたり、輪郭を変えたり、アニメーションさせたり、矢印でポイントする方法が考えられる。

更に図３のマップ画像では、撮像画角の境界線ＬＡ１、ＬＡ２が表示される。即ち、光学系１０の画角を表す境界線をマップデータに重畳表示する。このような境界線ＬＡ１、ＬＡ２を表示すれば、操作者は、境界線ＬＡ１、ＬＡ２の外側は撮像されないことを認識できる。

なお撮像装置の画角は、光学系１０や撮像部２０の撮像素子の設計データから算出できる。或いは、撮像装置の画角を予め実際に測定しておいてもよい。

次に、本実施形態の処理について図４のフローチャートを用いて説明する。図４はマニュアルフォーカスモードの場合の処理フローである。

操作者は、操作部４０により所定の操作を行い、フォーカス調整モードをマニュアルフォーカスモードに切り替える（ステップＳ１）。例えば設定ボタンを押したり、設定スイッチや設定ダイアルを切り替えたり、それらを模したＧＵＩによる指示を行うことで、マニュアルフォーカスモードに切り替える。

次に、操作者は、操作部４０により所定の操作を行って、フォーカス調整動作の開始を指示する（ステップＳ２）。例えばシャッターボタンの半押しを行ったり、ボタン、スイッチ、ダイアルによる指示を行ったり、それらを模したＧＵＩによる指示を行うことで、フォーカス調整動作の開始を指示する。これにより撮像装置は、フォーカス調整が可能な状態に移行する。

次に、撮像装置は第１の対象変化検出用画像を撮像する（ステップＳ３）。この時点では撮像対象物には合焦していない可能性が高いが、対象変化検出用画像は撮像画像内の対象の変化（撮像対象物や画面の変化）を検出するための画像であるため、細部まで合焦している必要はない。そしてここで撮像された第１の対象変化検出用画像は記憶部６０に記憶される。

次に、フォーカス調整が可能な状態に移行した撮像装置は、距離データ取得用画像を撮像する（ステップＳ４）。そして距離データ取得部１０２が、距離データを取得する（ステップＳ５）。撮像された距離データ取得用画像や、取得された距離データは、記憶部６０に記憶される。

次に、領域分割部１０４が、取得された距離データに基づいて撮像対象シーンを領域分割する（ステップＳ６）。そして撮像対象物認識部１０６が、分割領域毎に撮像対象物の認識処理を行う（ステップＳ７）。

次に、マップ画像生成部１０８が、取得された距離データと撮像対象物の認識結果に基づいて、マップ画像を生成する（ステップＳ８）。例えば所定サイズの背景のみの画像であるマップ画像の初期値データを作成した後、図３に示すようなマップ画像を生成する。そして生成されたマップ画像を表示部７０に表示する（ステップＳ９）。なおステップＳ４〜Ｓ９の処理の詳細については後述する。

次に、第２の対象変化検出用画像を撮像する（ステップＳ１０）。ここで撮像された第２の対象変化検出用画像は一時的に記憶部６０に記憶される。そして対象変化検出処理を行い、撮像の対象に変化があったか否かを判定する（ステップＳ１１、Ｓ１２）。

具体的には、ステップＳ３で得られた第１の対象変化検出用画像とステップＳ１０で得られた第２の対象変化検出用画像の類似度を求める。この場合の類似度の計算には正規化相互相関を用いる。そして正規化相互相関値が、所定値以上である場合には、対象に変化が無いと判定する。一方、所定値未満である場合には、対象に変化があると判定する。そして判定後に、第１の対象変化検出用画像を第２の対象変化検出用画像に対して上書きする。

なお、フォーカス位置が変更された場合、対象の変化とは関係無く対象変化検出用画像が変化する可能性があるので、フォーカス位置変更後の最初の対象変化検出処理では、常に対象に変化が無いと判定する。

ステップＳ１２で、対象に変化ありと判定された場合には、ステップＳ４に戻り、距離データ取得用画像の撮像からやり直す。一方、対象に変化が無いと判定された場合には、操作者が操作部４０により撮像指示を行ったか否かを判断する（ステップＳ１３）。そして撮像指示が行われた場合には、画像の撮像に移行する（ステップＳ１６）。

撮像指示が行われなかった場合には、操作者が操作部４０によりフォーカス位置の変更指示を行ったか否かを判断する（ステップＳ１４）。そしてフォーカス位置の変更指示が行われた場合には、フォーカス位置の変更を行う（ステップＳ１５）。

例えば撮像装置のフォーカス調整機構がマニュアルフォーカスモードである場合、操作者による操作部４０の操作に応じて、フォーカス調整部３０が光学系１０のフォーカス位置を変更する。そしてフォーカス位置の変更後にステップＳ９に移行し、マップ画像の表示からやり直す。このようにマップ画像は、変更後のフォーカス位置に応じて更新される。一方、ステップＳ１４において、フォーカス位置の変更指示が行われなかった場合には、ステップＳ１０に移行して、第２の対象変化検出用画像の撮像からやり直す。

なおフォーカス調整の操作としては、レンズのフォーカスリングの操作や、ボタン、スイッチ、ダイアルによる指示や、それらを模したＧＵＩによる指示が考えられる。

ステップＳ１３で撮像指示があったと判断された場合には、対象シーンが撮像される（ステップＳ１６）。この場合の撮像は、静止画撮影であってもよいし、動画撮影であってもよい。また撮像画像に対して、ノイズ低減、階調補正、色補正、コントラスト強調、高画素化等の画像処理を行ってもよい。

撮像された画像は記憶部６０、或いは図示しない外部記憶装置に保存される（ステップＳ１７）。なお記憶部６０は、その一部又は全部が着脱可能な記憶メディアで構成されていてもよい。また外部記憶装置へのデータ転送は、有線又は無線で行ってもよい。

画像保存後に、必要であればステップＳ２に移行して、フォーカス調整動作の開始指示を再度行ってもよい。或いは、ステップＳ９に移行して、生成済みのマップ画像を再度表示し、フォーカス位置の変更と撮像を行ってもよい。操作者が撮像終了と判断した時点で一連の処理は完了する。

以上の本実施形態の手法によれば、奥行き方向の位置関係を平面方向の位置関係に置き換えたマップ画像が表示されるため、位置関係についての操作者の視認性が向上する。従って操作者は、撮像対象シーンにおける撮像対象物の奥行き方向の位置とフォーカス位置との間の位置関係を容易に把握して、操作可能になる。

２．オートフォーカスモード
次に、図５のフローチャートを用いてオートフォーカスモードでの本実施形態の処理について説明する。なお図４と同様の処理ステップについては適宜説明を省略する。

操作者は、操作部４０により所定の操作を行って、フォーカス調整モードをオートフォーカスモードに切り替える（ステップＳ２１）。例えば設定ボタンを押したり、設定スイッチや設定ダイアルを切り替えたり、それらを模したＧＵＩによる指示を行うことで、オートフォーカスモードに切り替える。

次に、ステップＳ２２〜Ｓ３２では図４のステップＳ２〜Ｓ１２と同様の処理・操作が行われる。そしてステップＳ３３で、操作部４０により撮像指示が行われると、画像の撮像に移行する（ステップＳ３６）。

一方、撮像指示が行われなかった場合には、フォーカス位置の変更に移行する。即ち、撮像装置のフォーカス調整機構がオートフォーカスモードである場合には、フォーカス位置が適切かどうかを判定する（ステップＳ３４）。そして適切ではないと判定された場合には、フォーカス調整部３０は光学系１０のフォーカス位置を適切な位置に変更する（ステップＳ３５）。そしてフォーカス位置の変更後に、ステップＳ２９に移行してマップ画像の表示からやり直す。このようにマップ画像は、変更後のフォーカス位置に応じて更新される。

以上の本実施形態の手法によれば、奥行き方向の位置関係を平面方向の位置関係に置き換えたマップ画像が表示されるため、位置関係についての操作者の視認性が向上する。そして操作者は、オートフォーカスモードにおいて、操作者の意図する撮像対象物にフォーカスが合っているか否かを容易に把握することが可能となる。

３．マップ画像
次に、マップ画像生成の種々の変形例について説明する。

図６にマップ画像生成の第１の変形例を示す。図３では、マップ画像として、撮像対象シーンを真上から見下ろした画像を生成しているが、図６では、撮像対象シーンを斜め上から見下ろした画像を生成している。

図６のマップ画像において、上下方向は撮像対象シーンの奥行き方向に相当し、下側が撮像装置に近く、上側が撮像装置から遠くなる。左右方向はそのまま撮像対象シーンの左右方向に対応するが、奥行きが遠くなるに従って左右方向の幅を狭め、透視法に類似した遠近感を得られるようにする。

そして図６のマップ画像では、図３と同様に、認識された撮像対象物を表すマーク（シンボルマーク）ＭＫ１〜ＭＫ４が表示される。また被写界深度範囲ＤＦＲや撮像画角の境界線ＬＡ１、ＬＡ２が表示される。なおマークＭＫ１〜ＭＫ４の代わりに、代表距離データ取得画像の領域を表示位置と整合するようスケール変換して表示してもよい。この場合、撮像対象物の認識処理を省略してもよい。

図６の斜視図のマップ画像によれば、図３の平面図のマップ画像に比べて、操作者が立体感を得やすく、撮像対象シーンの状態に近いマップ画像の表示が可能になる。これにより奥行き方向の位置関係の視認性を向上できる。

図７にマップ画像生成の第２の変形例を示す。図７は１次元マップ画像の例であり、このマップ画像では、奥行き位置が異なる撮像対象物に対応するマークが、奥行き方向に沿って並んで表示される。即ち図３の撮像対象シーンにおいて、人物、木、車、家の奥行き位置は異なっているが、図７のマップ画像では、これらの人物、木、車、家に対応するマークＭＫ１、ＭＫ２、ＭＫ３、ＭＫ４が、奥行き方向に沿って、奥行きの順に１次元的に配置されて表示される。このマップ画像では、図３、図６とは異なり、マップ画像の奥行き情報のみを反映し、左右方向の情報は無視する。

図７の１次元的なマップ画像によれば、左右方向の位置関係を図示する必要がないため、左右方向を圧縮して表示することが可能になる。従って、撮像対象物の奥行き位置とフォーカス位置との間の位置関係を容易に把握できるマップ画像を、コンパクトに表示できる。

図８にマップ画像生成の第３の変形例を示す。図３では、全ての撮像対象物についての認識（種類の認識）に成功しているが、図８では、木や家の撮像対象物については認識が成功していない。このように撮像対象物を認識できなかった場合に、認識できなかった撮像対象物に相当するマップ画像上の位置に、撮像対象物のサイズ、色、及びテクスチャの少なくとも１つを表すマーク（図形）を表示する。なおテクスチャは、撮像対象物の表面の模様・質感・素材感等を表現するための画像である。

即ち人物と車は認識できたが、木と家は認識できなかった場合、図８に示すように人物と車に関しては人物や車を象徴するマークＭＫ１、ＭＫ３を描画し、木と家に関しては木や家のサイズ、色、テクスチャを反映させた図形のマークＭＫ２、ＭＫ４を表示する。この場合の撮像対象物のサイズ、色、テクスチャは、撮像対象物の認識時に取得した値等を使用する。

例えば、図８では撮像対象物である木や家のサイズに比例したサイズで、内部をその平均色で塗り潰した楕円の図形のマークが表示されている。なお木や家の画像をテクスチャとして抽出し、そのテクスチャを図形の塗りつぶしパターンとして用いてもよい。即ち木や家の画像をテクスチャとして、木や家のマップ位置の領域にマッピングする。

図９にマップ画像の生成の第４の変形例を示す。図３では、フォーカス位置を示す図形として線分ＦＰＬを用いているが、図９では、フォーカス位置を示す図形として矢印ＦＰＡを用いている。また被写界深度範囲についても三角形ＤＦＲ１、ＤＦＲ２を用いてその範囲が示されている。このようにフォーカス位置を示す図形や被写界振動範囲は、例えば線分、矢印、三角形、円、楕円、或いは矩形などの種々の図形を用いて表現することができる。

また、撮像対象物を認識できた場合でも、撮像対象物が大きい場合には、その大きさに比例したサイズの図形のマークを撮像対象物を象徴するマークと共に描画してもよい。例えば図９では、木や家については認識できているが、木や家を象徴するマークと共に木や家の大きさに比例したサイズの楕円図形のマークが描画されている。

図１０（Ａ）、図１０（Ｂ）にマップ画像の表示例を示す。表示部７０にはマップ画像だけを表示してもよいが、操作者の使いやすさの向上のためには、通常の撮像画像とマップ画像の両方を表示部７０に表示することが望ましい。

例えば図１０（Ａ）では、撮像装置により撮像された通常撮像画像ＩＭＮに対して、マップ画像ＩＭＰが重畳表示された画像が、表示部７０に表示されている。例えば通常撮像画像ＩＭＮに対してマップ画像ＩＭＰをαブレンド処理等により合成して表示部７０に表示する。即ち半透明のマップ画像ＩＭＰを通常撮像画像ＩＭＮに重畳表示する。

また図１０（Ｂ）では、通常撮像画像ＩＭＮに対してマップ画像がスーパーインポーズ（入れ込み表示）された画像が、表示部７０に表示されている。即ち表示部７０の画面の一部の領域がマップ画像の表示領域に設定され、その表示領域にマップ画像が表示される。なお、通常撮像画像とマップ画像とが並んだ画像を表示部７０に表示してもよい。例えば画面左側に通常撮像画像を表示し画面右側にマップ画像を表示したり、画面上側に通常撮像画像を表示し画面下側にマップ画像を表示する。

なお、このように通常撮像画像とマップ画像を表示する場合には、通常撮像画像のうち合焦している撮像対象物に対して、マップ画像が重ならないようにすることが望ましい。

例えば図１０（Ａ）、図１０（Ｂ）では、通常撮像画像ＩＭＮのうち人物に対して合焦していると判断されているため、人物の撮像対象物に対してマップ画像ＩＭＰが重ならないように表示画像が生成される。即ち図１０（Ａ）において、例えば家に対して合焦していると判断された場合には、マップ画像ＩＭＰの重畳表示やスーパーインポーズの位置が、家の領域に重ならない位置に変更される。

このようにすれば、操作者が、合焦している撮像対象物を確認する際に、マップ画像の存在がその確認の邪魔になってしまう事態を防止できる。

以上のようにマップ画像生成の種々の変形例を説明したが、本実施形態のマップ画像の生成手法はこれらに限定されず、これらの変形例を組み合わせたりするなどの種々の変形実施が可能である。

４．フォーカス連動
本実施形態では、フォーカス調整部３０のフォーカス調整に連動させてマップ画像の表示態様を変化させている。即ちフォーカス調整部３０によるフォーカス調整に連動して、フォーカス位置を表す図形の位置や被写界深度範囲の位置が変化するマップ画像を生成する。

例えば図１１（Ａ）では、フォーカス位置は、線分ＦＰＬの描画位置になっており、操作者には、マークＭＫ２で象徴される木に対してフォーカスが合っていることが知らされる。一方、操作者は、木ではなく人物にフォーカスを合わせることを所望している。この場合に操作者は、図４のマニュアルフォーカスモードのステップＳ１４に示すように、フォーカス位置の変更を指示する。するとステップＳ１５に示すようにフォーカス調整部３０がフォーカスを調整する。

これにより図１１（Ｂ）に示すように、フォーカス調整に連動して、フォーカス位置を示す線分ＦＰＬ（図形）の位置が変化する。また被写界深度範囲ＤＦＲの位置も変化する。

また、図５のオートフォーカスモードでは、オートフォーカスにより、操作者の意図に反して図１１（Ａ）のように木に対してフォーカスが合ってしまう場合がある。この場合にも、例えば操作者がオートフォーカスモードからマニュアルフォーカスモードに切り替えて、フォーカス位置変更の指示を行うことで、図１１（Ｂ）に示すように人物に対してフォーカスを合わせることが可能になる。

図１２（Ａ）、図１２（Ｂ）に、表示部７０がタッチパネルディスプレイで構成される場合の例を示す。

図１２（Ａ）では、フォーカス位置を表す図形ＦＰＬにより、木に対してフォーカスが合っていることが操作者に知らされる。すると、人物にフォーカスを合わせることを所望する操作者は、図１２（Ａ）に示すように、タッチパネルディスプレイの人物のマークＭＫ１にタッチする操作を行う。するとフォーカス調整部３０は、タッチされたマークＭＫ１の奥行き位置にフォーカスを合わせるフォーカス調整を行う。これによりマップ画像は図１２（Ｂ）に示すように変化し、人物に対してフォーカスが合ったことが操作者に知らされる。

例えばオートフォーカスモードでは、図１２（Ａ）に示すように操作者が意図しない撮像対象物にフォーカスが合ってしまう場合がある。このような場合にも、図１２（Ａ）、図１２（Ｂ）の手法によれば、操作者は、自身が所望する撮像対象物に対応するマークにタッチするという簡単な操作を行うだけで、フォーカス調整が行われて、その撮像対象物にフォーカスが合うようになる。従って、フォーカスを合わせたい位置や対象を直接指示可能になり、フォーカス位置の指定に要する時間を短縮できるため、操作者にとって好適なユーザインターフェースを提供できる。

５．処理の詳細例
以下、距離データ取得、領域分割、撮像対象物認識等の各処理の詳細例について説明する。

５．１ 距離データ取得
まず距離データ取得処理の詳細について説明する。本実施形態では、撮像装置で撮像される画素毎に撮像対象までの距離を保持するデータである距離データを取得するために、例えばデプス・フロム・デフォーカス処理（Depth from Defocus：以下、ＤＦＤを採用する。

ＤＦＤは、合焦距離が異なる複数の画像から相対的なぼけ量を求め、ぼけ量と距離との相関関係に基づいて距離を求める手法である。具体的には、同一シーンをフォーカス位置を変えながら複数回撮像し、得られた画像データと光学系の点拡がり関数Point Spread Function：以下、ＰＳＦの情報を組み合わせで解析することで、画像の画素毎の距離情報を取得する。

例えば図１３（Ａ）において撮像対象物ＯＢまでの距離ａ０は、ＯＢが合焦する位置ｂ０が既知であれば、レンズの焦点距離ｆから、１／ａ０＋１／ｂ０＝１／ｆの式により求めることができる。ＤＦＤでは、撮像面上に投影された象のぼけ具合から、合焦位置ｂ０を求め、求められたｂ０を上式に代入することで撮像対象物ＯＢまでの距離ａ０（距離データ）を求める。

例えば撮像面が距離ｂ１にある場合には、撮像対象物ＯＢ上の点は、この撮像面において錯乱円に拡散し、象Ｉ１を形成する。そして距離ｂ０−ｂ１に比例する錯乱円直径ｄ１をパラメータとする点拡がり関数ＰＳＦのモデルを仮定し、観測された象Ｉ１の画像から、錯乱円直径ｄ１を推定する。具体的には、異なる距離ｂ２における象Ｉ２の画像も撮像する。そして画像の周波数領域上におけるＩ１とＩ２との比を求め、図１３（Ａ）の幾何学的関係から錯乱円直径ｄ１、ｄ２を求めて、距離ａ０を求める。このＤＦＤの詳細な処理については、USP 4,965,840（特許文献２）に開示されている。

なお、本実施形態の距離データの取得手法はＤＦＤに限定されない。例えば距離データ取得の他の手法としては、シェイプ・フロム・フォーカス処理（Shape from Focus：以下、ＳＦＳが考えられる。

ＳＦＳは、最もよく合焦したときのフォーカス位置から距離を求める手法である。例えば山登り法と呼ばれる処理を画像の全画素に対して実施することで、画素毎の距離情報を取得する。具体的には、フォーカス位置を変えながら同一シーンを複数回撮像し、合焦評価値（コントラスト評価値）が最も高くなるフォーカス位置を画素毎に検出し、その結果から画素毎の撮像対象物までの距離を算出する。例えば図１３（Ｂ）において、レンズ位置をＬ（ｔ−１）からＬ（ｔ）に変化させた時に、合焦評価値の差分ｈ（ｔ）−ｈ（ｔ−１）が増加したか否かを検出する。そしてこれを繰り返すことによって、合焦評価値が極大となるレンズ位置を検索することで、合焦評価値が最も高くなるフォーカス位置を画素毎に検出する。なおＳＦＳの山登り法の詳細については特開２００７−１３９８９３号公報（特許文献３）に開示されている。

以上のＤＦＤやＳＦＳは、一般的なデジタルカメラに搭載されている光学系とフォーカス調整機構を用いて実現可能であり、距離データの取得なのために特別な装置の追加を必要としないという利点がある。

なお距離データを取得するための他の手法としては、シェイプ・フロム・ステレオ（Shape from Stereo）や、シェイプ・フロム・フォトメトリック（Shape from Photometric）や、シェイプ・フロム・モーション（Shape from Motion）が考えられる。

シェイプ・フロム・ステレオでは、２つの撮像系で撮像した２枚の画像を用いて、両眼視差を求める。そして求められた両眼視差から、撮像対象物の各画素での撮像装置からの距離（奥行き値）を求める。即ち、視点が異なる２つの撮像装置で対象シーンを撮像し、得られた２つの画像の対応点を見つけることで両眼視差を求めて、距離を測定する。このシェイプ・フロム・ステレオでは、少なくとももう一台の撮像装置が必要になる。

シェイプ・フロム・フォトメトリックは、画像における陰影情報や撮像対象物の反射特性や光源情報に基づいて、撮像対象物までの距離を求める手法である。具体的には複数の方向（例えば３方向以上）から照明を撮像対象物に照射し、得られた複数の画像（例えば３以上の画像）に基づいて物体表面の法線方向を法線マップとして取得し、この法線マップに基づいて距離データ（距離画像）を取得する。このシェイプ・フロム・フォトメトリックでは、制御可能な照明装置ストロボ等が必要になる。

またシェイプ・フロム・モーションは、運動視差を利用して撮像対象物までの距離を求める手法である。具体的には、時間的に連続する複数の画像における所定の特徴点の運動軌跡を用いて、撮像対象物までの距離を求める手法であり、撮像装置を動かす機構が必要になる。

これらのシェイプ・フロム・ステレオ、シェイプ・フロム・フォトメトリック、シェイプ・フロム・モーションでは、距離データの取得のための撮像に対して、付加的な装置の追加が必要であるという不利点がある。

なお撮像画像を用いない距離計測方法としては、マイクロ波を用いた距離計測手法や音波を用いた距離計測手法等が知られており、本実施形態では、これらの手法を用いて距離データを取得してもよい。

５．２ 領域分割、撮像対象物認識
次に、前述した図４のステップＳ４〜Ｓ９や図５のステップＳ２４〜Ｓ２９の処理の詳細例について、図１４、図１５を用いて説明する。

本実施形態の撮像装置は、フォーカス調整が可能な状態に移行すると、図１４のＡ１に示すように複数の距離データ取得用画像を撮像する。具体的には、フォーカス調整部３０によりフォーカス位置（フォーカスレンズの位置）を変更しながら、複数の距離データ取得用画像を撮像する。例えば図１３（Ａ）のＤＦＤでは、フォーカス位置を変更しながら少なくとも２枚の距離データ取得用画像を撮像する。また図１３（Ｂ）のＳＦＳでは、各画素についてその合焦位置を得るのに必要な枚数の距離データ取得用画像を撮像する。

なお本実施形態では、例えば撮像対象シーンにおける全画素での距離データ（奥行き情報）を求める。但し、複数サンプル毎に間引いた画素についての距離データを求めたり、撮像対象物までの距離を求めるのに必要な最低限の個数の代表画素についての距離データを求めてもよい。

撮像された複数の距離データ取得用画像や、ＤＦＤ、ＳＦＳ等で取得された距離データは、例えば記憶部６０に記憶されて保存される。この場合に、複数の距離データ取得用画像のうちの代表となる１枚の代表距離データ取得用画像だけを残して保存し、その他の距離データ取得用画像については削除してもよい。このようにすることで記憶部６０の記憶容量を節約できる。或いは、代表距離データ取得用画像は、複数の距離データ取得用画像の中で部分領域毎にコントラスト（合焦評価値）が最も高い画像から、画素値をコピーすることで生成してもよい。即ち全ての画素が合焦状態になる全焦点画像を、代表距離データ取得用画像として生成する。

次に、ＤＦＤ、ＳＦＳ等で取得された距離データを用いて、撮像対象シーンの領域分割を行う。撮像装置から撮像対象物までの距離を考えると、同一撮像対象物内では、距離の変化は相対的に小さく、異なる撮像対象物同士の境界では、距離の変化が相対的に大きくなる。従って、距離データにおいて距離情報が大きく変化する部位を抽出すれば、撮像対象シーン中の撮像対象物の境界、即ち領域の輪郭を得ることができる。これを画像中の全ての部位に対して行えば、画像を撮像対象物毎に領域分割することができる。

具体的には本実施形態では図１４のＡ２に示すように、代表距離データ取得用画像と距離データに基づいて領域分割処理を行う。即ち代表距離データ取得用画像を、距離データに基づき領域分割することで、撮像対象シーンの領域分割結果を得る。

次に図１４のＡ３に示すように、代表距離データ取得用画像の分割領域毎に撮像対象物の認識処理を行う。

なお本実施形態では、各分割領域をそれぞれ異なる撮像対象物であるとして扱うが、場合によっては、領域の統合を前処理として行ってもよい。この場合に、複数の領域を統合した領域を撮像対象物に対応させる。

最後に図１４のＡ４に示すように、撮像対象物の認識結果と取得された距離データに基づいて、マップ画像を生成する。

図１５に撮像対象物認識処理の詳細なフローチャートを示す。

まず撮像対象物の種類を認識する（ステップＳ４１）。ここで、撮像対象物の種類の認識とは、分割領域が特定対象物のいずれのクラスに合致するのか、或いはいずれのクラスとも合致しないのかを判別する処理である。そして合致するクラスが得られた場合には、撮像対象物の種類を認識できたと判定し、合致するクラスが得られなかった場合には、撮像対象物の種類を認識できなかったと判定する。

特定対象としては、例えば人物、車両、動物、植物、建築物等を想定できる。例えば人物の顔を認識する処理については特開２００１−２１６５１５号公報（特許文献４）に開示されている。本実施形態では、例えばこの認識処理を用いて、代表距離データ取得用画像から人物の顔領域を認識する。そして顔領域と奥行き位置が同一（略同一）になるような一連の領域を人物領域として認識する。

また例えば特開平７−５５４４４号公報には、車両側面のシルエット像から車種を判別する手法が開示されている。本実施形態では、距離データに基づく領域分割により、分割領域の形状が得られているから、これをシルエット像として用いれば、車両を認識することが可能になる。

そして本実施形態では、撮像対象物の認識に成功した場合には、撮像対象物の種類を分割領域に関連づける処理を行う（ステップＳ４２、Ｓ４３）。具体的には撮像対象物の種類を分割領域に関連づけて記憶部６０に記憶する。一方、撮像対象物の認識に成功しなかった場合には、各分割領域毎に、撮像対象物のサイズ、色、テクスチャを認識する（ステップＳ４４）。

そして、撮像対象物の大きさが所定サイズよりも大きく、且つ、撮像装置からの距離が所定距離よりも近いと判断された場合には、認識されたサイズ、色、テクスチャの少なくとも１つを分割領域に関連づける処理を行う（ステップＳ４５、Ｓ４６、Ｓ４７）。具体的には撮像対象物のサイズ、色、テクスチャの少なくとも１つを分割領域に関連づけて、記憶部６０に記憶する。

撮像対象物の大きさが所定サイズよりも小さいと判断された場合、又は撮像装置からの距離が所定距離よりも遠いと判断された場合には、非表示フラグが撮像対象物に対応する分割領域に関連づけて記憶される（ステップＳ４８）。即ち所定サイズよりも小さいと判断された撮像対象物や、撮像装置からの距離が所定距離よりも遠いと判断された撮像対象物を、非表示にする設定を行われる。

以上のようにして本実施形態では、図８に示すようなマップ画像が生成される。このマップ画像では、撮像対象物の種類の認識に成功した場合には、その撮像対象物の種類を表すマークＭＫ１、ＭＫ３が、その撮像対象物の奥行き位置に対応するマップ位置に表示される。一方、撮像対象物の種類の認識に成功しなかった場合には、その撮像対象物の大きさ、色及びテクスチャの少なくとも１つを表すマークＭＫ２、ＭＫ４が、その撮像対象物の奥行き位置に対応するマップ位置に表示される。

即ち撮像対象シーンの全ての撮像対象物の種類を認識することは困難である。この点、本実施形態では、その種類が認識された撮像対象物については、その種類を表すマークが表示される一方で、その種類が認識できなかった撮像対象物については、サイズ、色又はテクスチャを反映させたマークが表示される。

従って本実施形態によれば、全ての撮像対象物を認識できなかった場合にも、その撮像対象物を把握するための手がかり（サイズ、色、テクスチャ）を操作者に提示できる。これにより、撮像対象シーン内の様々な撮像対象物について、その奥行き位置とフォーカス位置との位置関係を操作者に示すことが可能になり、これまでにないインターフェース環境を提供できる。

６．変形例
次に、本実施形態の変形例として、２台以上の撮像装置（カメラ）を用いて俯瞰画像であるマップ画像を生成する手法について説明する。

例えば図１６では、操作者が操作している撮像装置ＣＭＡ以外に、マップ画像生成用の別の撮像装置ＣＭＢが用意されている。この撮像装置ＣＭＢは、撮像装置ＣＭＡとは異なる方向から撮像対象シーンを撮像可能な位置・向きに設置されている。このような撮像装置ＣＭＢとしては、他者のデジタルカメラや、建造物に固定されたカメラや、航空機等に搭載されたカメラや、人工衛星に搭載されたカメラを想定できる。

図１７に本変形例の処理のフローチャートを示す。操作者は、操作部４０により、例えばマニュアルフォーカスモードを選択した後、フォーカス調整動作の開始を指示する（ステップＳ５１、Ｓ５２）。すると、撮像装置ＣＭＡは、第１の対象変化検出用画像を撮像した後、撮像装置ＣＭＢに対して、俯瞰画像の撮像要求を送信する（ステップＳ５３、Ｓ５４、Ｓ５４）。ここで俯瞰画像は、撮像対象シーンを操作者の視点よりも高い位置から俯瞰的に観察し、撮像された画像である。但し、上方からの撮像が適切でない場合は、側方や下方からの撮像でもよい。

撮像装置ＣＭＢは撮像装置ＣＭＡから俯瞰画像の撮像要求を受信すると、俯瞰画像の撮像を行う（ステップＳ５５、Ｓ５６）。そして撮像装置ＣＭＢは撮像装置ＣＭＡに対して撮像した俯瞰画像を送信する（ステップＳ５７）。

撮像装置ＣＭＡは撮像装置ＣＭＢから送信された俯瞰画像を受信する（ステップＳ５８）。そしてマップ画像として俯瞰画像を表示部７０に表示する（ステップＳ５９）。その後のステップＳ６０〜Ｓ６８の処理は図４のステップＳ１０〜Ｓ１８と同様である。

なお、俯瞰画像の表示に先だって、撮像装置ＣＭＡの画角又は撮像範囲に相当するように、俯瞰画像の一部を切り出してもよい。

本変形例によれば、奥行き情報の確認に実写画像を用いることで、距離データ算出時の誤差を除外することが可能になる。従って、表示される奥行き情報の信頼性を向上できる。

なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また撮像の構成、動作も本実施形態で説明したものに限定に限定されず、種々の変形実施が可能である。

ＭＫ１〜ＭＫ４ マーク、ＦＰＬ、ＦＰＬ フォーカス位置を表す線分（図形）、
ＤＦＲ 被写界深度範囲、ＬＡ１、ＬＡ２ 撮像画角の境界線、
１０ 光学系、２０ 撮像部、３０ フォーカス調整部、４０ 操作部、５０ 制御部、
６０ 記憶部、７０ 表示部、１００ 画像処理部、１０２ 距離データ取得部、
１０４ 領域分割部、１０６ 撮像対象物認識部、１０８ マップ画像生成部、
１１０ 画像出力部

Claims (40)

1. 撮像対象物を撮像する撮像部と、
   フォーカスの調整を行うフォーカス調整部と、
   撮像対象物の奥行き方向での位置を表す奥行き位置と、前記フォーカスの位置を表すフォーカス位置とを示すためのマップ画像を生成するマップ画像生成部と、
   生成された前記マップ画像を表示する表示部と、
   を含み、
   前記マップ画像生成部は、
   撮像画角の境界線が表示された前記マップ画像を生成することを特徴とする撮像装置。
2. 撮像対象物を撮像する撮像部と、
   フォーカスの調整を行うフォーカス調整部と、
   撮像対象物の奥行き方向での位置を表す奥行き位置と、前記フォーカスの位置を表すフォーカス位置とを示すためのマップ画像を生成するマップ画像生成部と、
   生成された前記マップ画像を表示する表示部と、
   を含み、
   前記表示部はタッチパネルディスプレイにより構成され、
   前記マップ画像生成部は、
   前記撮像対象物を表すマークが、前記撮像対象物の前記奥行き位置に対応するマップ位置に表示される前記マップ画像を生成し、
   前記フォーカス調整部は、
   前記タッチパネルディスプレイの前記マークをタッチする操作が行われた場合に、タッチされた前記マークの前記奥行き位置にフォーカスを合わせるフォーカス調整を行うことを特徴とする撮像装置。
3. 撮像対象物を撮像する撮像部と、
   フォーカスの調整を行うフォーカス調整部と、
   撮像対象物の奥行き方向での位置を表す奥行き位置と、前記フォーカスの位置を表すフォーカス位置とを示すためのマップ画像を生成するマップ画像生成部と、
   生成された前記マップ画像を表示する表示部と、
   前記撮像対象物の認識処理を行う撮像対象物認識部と、
   を含み、
   前記マップ画像生成部は、
   前記撮像対象物の種類の認識に成功した場合には、前記撮像対象物の種類を表すマークが、前記撮像対象物の前記奥行き位置に対応するマップ位置に表示された前記マップ画像を生成し、前記撮像対象物の種類の認識に成功しなかった場合には、前記撮像対象物のサイズ、色及びテクスチャの少なくとも１つを表すマークが、前記撮像対象物の前記奥行き位置に対応するマップ位置に表示された前記マップ画像を生成することを特徴とする撮像装置。
4. 請求項１乃至３のいずれかにおいて、
   撮像装置から前記撮像対象物までの距離を表す距離データを取得する距離データ取得部を含み、
   前記マップ画像生成部は、
   前記距離データに基づき前記撮像対象物の前記奥行き位置が特定される前記マップ画像を生成することを特徴とする撮像装置。
5. 請求項４において、
   前記距離データ取得部は、
   デプス・フロム・デフォーカス（Depth from Defocus）、シェイプ・フロム・フォーカスShape from Focus）、シェイプ・フロム・ステレオ（Shape from Stereo）、又はシェイプ・フロム・フォトメトリック（Shape from Photometric）の処理により、前記距離データを取得することを特徴とする撮像装置。
6. 請求項１乃至５のいずれかにおいて、
   前記マップ画像生成部は、
   前記マップ画像として、撮像対象シーンを真上から見下ろした画像又は斜め上から見下ろした画像を生成することを特徴とする撮像装置。
7. 請求項１乃至５のいずれかにおいて、
   前記マップ画像生成部は、
   奥行き位置が異なる撮像対象物を表すマークが、奥行き方向に沿って並んで表示される前記マップ画像を生成することを特徴とする撮像装置。
8. 請求項１乃至７のいずれかにおいて、
   前記マップ画像生成部は、
   前記フォーカス位置を表す図形が表示された前記マップ画像を生成することを特徴とする撮像装置。
9. 請求項８において、
   前記マップ画像生成部は、
   線分、矢印、三角形、円、楕円、又は矩形が前記フォーカス位置を表す前記図形として表示された前記マップ画像を生成することを特徴とする撮像装置。
10. 請求項８において、
    前記マップ画像生成部は、
    前記フォーカス調整部によるフォーカス調整に連動して、前記フォーカス位置を表す図形の位置が変化する前記マップ画像を生成することを特徴とする撮像装置。
11. 請求項１乃至１０のいずれかにおいて、
    前記マップ画像生成部は、
    前記フォーカス位置に対応した被写界深度範囲が表示された前記マップ画像を生成することを特徴とする撮像装置。
12. 請求項１１において、
    前記マップ画像生成部は、
    前記フォーカス調整部によるフォーカス調整に連動して、前記被写界深度範囲の位置が変化する前記マップ画像を生成することを特徴とする撮像装置。
13. 請求項１乃至１２のいずれかにおいて、
    前記マップ画像生成部は、
    前記撮像対象物の種類を表すマークが、前記撮像対象物の前記奥行き位置に対応するマップ位置に表示された前記マップ画像を生成することを特徴とする撮像装置。
14. 請求項１乃至１３のいずれかにおいて、
    前記マップ画像生成部は、
    前記撮像対象物のサイズ、色及びテクスチャの少なくとも１つを表すマークが、前記撮像対象物の前記奥行き位置に対応するマップ位置に表示された前記マップ画像を生成することを特徴とする撮像装置。
15. 請求項１乃至１４いずれかにおいて、
    前記表示部は、
    撮像装置により撮像された通常撮像画像に対して前記マップ画像が重畳表示された画像、前記通常撮像画像に対して前記マップ画像がスーパーインポーズされた画像、又は前記通常撮像画像と前記マップ画像とが並んだ画像を表示することを特徴とする撮像装置。
16. 請求項１５において、
    前記表示部は、
    前記通常撮像画像のうち合焦している撮像対象物に対して前記マップ画像が重ならないように生成された画像を表示することを特徴とする撮像装置。
17. 請求項１において、
    撮像装置から前記撮像対象物までの距離を表す距離データを取得する距離データ取得部と、
    取得された前記距離データに基づいて撮像対象シーンの領域分割処理を行う領域分割部と、
    前記領域分割部により分割された各分割領域において前記撮像対象物の認識処理を行う撮像対象物認識部を含むことを特徴とする撮像装置。
18. 請求項１７において、
    前記距離データ取得部は、
    前記撮像部により撮像された複数の距離データ取得用画像に基づいて前記距離データを取得し、
    前記領域分割部は、
    前記複数の距離データ取得用画像の代表となる代表距離データ取得用画像と、取得された前記距離データとに基づいて、前記領域分割処理を行うことを特徴とする撮像装置。
19. 請求項３において、
    撮像対象シーンの領域分割処理を行う領域分割部を含み、
    前記撮像対象物認識部は、
    前記領域分割部により分割された各分割領域において前記撮像対象物の認識処理を行い、各分割領域において前記撮像対象物の種類の認識に成功した場合には、認識された前記撮像対象物の種類を各分割領域に関連づける処理を行い、前記撮像対象物の認識に成功しなかった場合には、前記撮像対象物のサイズ、色及びテクスチャの少なくとも１つを、対応する各分割領域に関連づける処理を行うことを特徴とする撮像装置。
20. 請求項３又は１９において、
    前記撮像対象物認識部は、
    所定サイズよりも小さいと判断された撮像対象物又は撮像装置からの距離が所定距離よりも遠いと判断された撮像対象物を非表示にする設定を行うことを特徴とする撮像装置。
21. 撮像対象物を撮像する撮像部と、
    フォーカスの調整を行うフォーカス調整部と、
    撮像対象物の奥行き方向を含む面内の位置を表す奥行き位置と、前記フォーカスの位置を表すフォーカス位置とを示すための２次元マップ画像を生成するマップ画像生成部と、
    生成された前記２次元マップ画像を表示する表示部と、
    を含むことを特徴とする撮像装置。
22. 請求項２１において、
    撮像装置から前記撮像対象物までの距離を表す距離データを取得する距離データ取得部を含み、
    前記マップ画像生成部は、
    前記距離データに基づき前記撮像対象物の前記奥行き位置が特定される前記２次元マップ画像を生成することを特徴とする撮像装置。
23. 請求項２２において、
    前記距離データ取得部は、
    デプス・フロム・デフォーカス（Depth from Defocus）、シェイプ・フロム・フォーカスShape from Focus）、シェイプ・フロム・ステレオ（Shape from Stereo）、又はシェイプ・フロム・フォトメトリック（Shape from Photometric）の処理により、前記距離データを取得することを特徴とする撮像装置。
24. 請求項２１乃至２３のいずれかにおいて、
    前記マップ画像生成部は、
    前記２次元マップ画像として、撮像対象シーンを真上から見下ろした画像又は斜め上から見下ろした画像を生成することを特徴とする撮像装置。
25. 請求項２１乃至２４のいずれかにおいて、
    前記マップ画像生成部は、
    前記フォーカス位置を表す図形が表示された前記２次元マップ画像を生成することを特徴とする撮像装置。
26. 請求項２５において、
    前記マップ画像生成部は、
    線分、矢印、三角形、円、楕円、又は矩形が前記フォーカス位置を表す前記図形として表示された前記２次元マップ画像を生成することを特徴とする撮像装置。
27. 請求項２１乃至２６のいずれかにおいて、
    前記マップ画像生成部は、
    撮像画角の境界線が表示された前記２次元マップ画像を生成することを特徴とする撮像装置。
28. 請求項２５において、
    前記マップ画像生成部は、
    前記フォーカス調整部によるフォーカス調整に連動して、前記フォーカス位置を表す図形の位置が変化する前記２次元マップ画像を生成することを特徴とする撮像装置。
29. 請求項２１乃至２８のいずれかにおいて、
    前記マップ画像生成部は、
    前記フォーカス位置に対応した被写界深度範囲が表示された前記２次元マップ画像を生成することを特徴とする撮像装置。
30. 請求項２９において、
    前記マップ画像生成部は、
    前記フォーカス調整部によるフォーカス調整に連動して、前記被写界深度範囲の位置が変化する前記２次元マップ画像を生成することを特徴とする撮像装置。
31. 請求項２１乃至３０のいずれかにおいて、
    前記表示部はタッチパネルディスプレイにより構成され、
    前記マップ画像生成部は、
    前記撮像対象物を表すマークが、前記撮像対象物の前記奥行き位置に対応するマップ位置に表示される前記２次元マップ画像を生成し、
    前記フォーカス調整部は、
    前記タッチパネルディスプレイの前記マークをタッチする操作が行われた場合に、タッチされた前記マークの前記奥行き位置にフォーカスを合わせるフォーカス調整を行うことを特徴とする撮像装置
32. 請求項２１乃至３１のいずれかにおいて、
    前記マップ画像生成部は、
    前記撮像対象物の種類を表すマークが、前記撮像対象物の前記奥行き位置に対応するマップ位置に表示された前記２次元マップ画像を生成することを特徴とする撮像装置。
33. 請求項２１乃至３２のいずれかにおいて、
    前記マップ画像生成部は、
    前記撮像対象物のサイズ、色及びテクスチャの少なくとも１つを表すマークが、前記撮像対象物の前記奥行き位置に対応するマップ位置に表示された前記２次元マップ画像を生成することを特徴とする撮像装置。
34. 請求項２１乃至３３いずれかにおいて、
    前記表示部は、
    撮像装置により撮像された通常撮像画像に対して前記２次元マップ画像が重畳表示された画像、前記通常撮像画像に対して前記２次元マップ画像がスーパーインポーズされた画像、又は前記通常撮像画像と前記２次元マップ画像とが並んだ画像を表示することを特徴とする撮像装置。
35. 請求項３４において、
    前記表示部は、
    前記通常撮像画像のうち合焦している撮像対象物に対して前記２次元マップ画像が重ならないように生成された画像を表示することを特徴とする撮像装置。
36. 請求項２１において、
    撮像装置から前記撮像対象物までの距離を表す距離データを取得する距離データ取得部と、
    取得された前記距離データに基づいて撮像対象シーンの領域分割処理を行う領域分割部と、
    前記領域分割部により分割された各分割領域において前記撮像対象物の認識処理を行う撮像対象物認識部を含むことを特徴とする撮像装置。
37. 請求項３６において、
    前記距離データ取得部は、
    前記撮像部により撮像された複数の距離データ取得用画像に基づいて前記距離データを取得し、
    前記領域分割部は、
    前記複数の距離データ取得用画像の代表となる代表距離データ取得用画像と、取得された前記距離データとに基づいて、前記領域分割処理を行うことを特徴とする撮像装置。
38. 請求項２１において、
    前記撮像対象物の認識処理を行う撮像対象物認識部を含み、
    前記マップ画像生成部は、
    前記撮像対象物の種類の認識に成功した場合には、前記撮像対象物の種類を表すマークが、前記撮像対象物の前記奥行き位置に対応するマップ位置に表示された前記２次元マップ画像を生成し、前記撮像対象物の種類の認識に成功しなかった場合には、前記撮像対象物のサイズ、色及びテクスチャの少なくとも１つを表すマークが、前記撮像対象物の前記奥行き位置に対応するマップ位置に表示された前記２次元マップ画像を生成することを特徴とする撮像装置。
39. 請求項３８において、
    撮像対象シーンの領域分割処理を行う領域分割部を含み、
    前記撮像対象物認識部は、
    前記領域分割部により分割された各分割領域において前記撮像対象物の認識処理を行い、各分割領域において前記撮像対象物の種類の認識に成功した場合には、認識された前記撮像対象物の種類を各分割領域に関連づける処理を行い、前記撮像対象物の認識に成功しなかった場合には、前記撮像対象物のサイズ、色及びテクスチャの少なくとも１つを、対応する各分割領域に関連づける処理を行うことを特徴とする撮像装置。
40. 請求項３８又は３９において、
    前記撮像対象物認識部は、
    所定サイズよりも小さいと判断された撮像対象物又は撮像装置からの距離が所定距離よりも遠いと判断された撮像対象物を非表示にする設定を行うことを特徴とする撮像装置。

Images