JP5359930B2 - 撮像装置、表示方法、および、プログラム - Google Patents

Description

本発明は、撮像装置、表示方法、および、プログラムに関し、特に、パターン投影法によるモデリングに好適な撮像装置、表示方法、および、プログラムに関する。

コンピュータグラフィクスによる３次元（３Ｄ）表現が多く用いられるようになり、よりリアリティのある３Ｄ表現が求められている。このような要求に対し、実際の立体物をカメラで撮像して３Ｄモデリングデータを作成する手法が確立している。

この場合、立体物の３次元的位置を認識するため、視差に相当する光軸のズレが設定された、いわゆる複眼カメラ（ステレオカメラ）が用いられる。ここで、撮像対象の立体物にテクスチャがなく、凹凸などの立体的形状が認識しにくい場合、例えば、ドットパターンなどのパターンを対象物に投影することで特徴点を得る、いわゆるパターン投影法が用いられる（例えば、特許文献１）。

特開２００７−１０１２７６号公報

パターンを投影した被写体を撮像することで３Ｄモデリングデータを作成する場合において、精度の高い３Ｄモデリングデータを得るためには、被写体へのパターンの投影状態が良好であり、かつ、このようなパターンを不合焦（いわゆるピンボケ）させずに撮影することが重要となる。

パターンが投影された被写体の撮像にデジタルカメラを用いる場合、液晶表示パネルなどの表示装置を用いて撮像画像の確認をおこなうことができるが、例えば、被写体のみならずその背景や前景を含めてパターンが一様に投影されていると、対象としている被写体上にパターンが鮮明に投影されているか確認することは容易ではない。

また、投影されているパターンが細かい場合、撮像装置のＡＦ（Auto Focus：オートフォーカス）精度が低下することがあり、被写体以外の箇所（背景や前景）に投影されているパターンに合焦してしまう場合もあるが、上述のように一様にパターンが投影されていると、対象としている被写体上のパターンに合焦しているか確認することは困難である。

このような投影パターンの状態を確認することの困難性は、表示画面のサイズや解像度も影響するので、特にコンパクトタイプのデジタルカメラでおこなう場合、撮影時に投影パターンの状態を確認することは極めて難しい。すなわち、ファインダ画像として用いられる撮像画像は解像度やフレームレートを落としている場合が多いため、このような画像からパターンの状態を確認することは困難である。

このため、ファインダ画像ではなく、最終的な記録画像として撮像された高解像度の画像を拡大表示するなどして確認するなど、３Ｄモデリングデータを得るための撮影には手間がかかることが多く、特に、複数台のカメラを使って撮影する場合、非常に効率が悪くなってしまう。

本発明は、パターン投影を伴う撮影の効率化を図ることができる撮像装置、表示方法、および、プログラムを提供することを目的とする。

上記目的を達成するため、本発明の第１の観点にかかる撮像装置は、
被写体光に基づく撮像画像を生成する撮像手段と、
被写体にパターンを投影するパターン投影手段と、
前記撮像手段が生成した撮像画像上で、前記パターン投影手段が投影したパターンが視認されやすい部分を検出する検出手段と、
前記検出手段が検出した部分を拡大表示する表示手段と、
を備え、
前記検出手段は、
前記撮像画像を複数の領域に分割する領域分割手段と、
前記領域分割手段が分割した複数の領域のそれぞれで特徴を検出する特徴検出手段と、
前記特徴検出手段が検出した特徴に基づいて、前記パターンがより視認されやすい領域を選択する領域選択手段と、をさらに備え、
前記表示手段は、前記領域選択手段が選択した領域を拡大表示する、
ことを特徴とする。

上記撮像装置において、
前記特徴検出手段は、前記複数の領域において判別分析法による二値化をおこなうことが望ましく、この場合、
前記領域選択手段は、前記二値化による分離度に基づいて、前記パターンがより視認されやすい領域を選択することが望ましい。

上記撮像装置において、
前記特徴検出手段は、前記領域選択手段が選択した領域の白黒比を算出し、
前記領域選択手段は、前記特徴検出手段が算出した白黒比と、前記パターン投影手段が投影したパターンの白黒比との一致度に基づいて、前記パターンがより視認されやすい領域をさらに選択することが望ましい。

上記目的を達成するため、本発明の第２の観点にかかる撮像装置は、
被写体光に基づく撮像画像を生成する撮像手段と、
被写体にパターンを投影するパターン投影手段と、
前記撮像手段が生成した撮像画像上で、前記パターン投影手段が投影したパターンが視認されやすい部分を検出する検出手段と、
前記検出手段が検出した部分を撮影者によって選択可能に拡大表示する表示手段と、
を備え、
前記撮像手段は、前記撮影者によって選択された部分の合焦動作をおこない、
前記パターン投影手段は、前記表示手段が表示した部分が前記撮影者によって選択されない場合、投影するパターンを変更する、
ことを特徴とする。

上記撮像装置において、
前記パターン投影手段は、複数種類のパターンを前記被写体に投影してもよく、この場合、
前記検出手段は、異なるパターン毎に得られた前記撮像画像毎に検出動作をおこなうことが望ましい。

上記撮像装置において、
前記撮像手段によって得られた撮像画像に基づいて、被写体のモデリングデータを生成するモデリングデータ生成手段をさらに備えていることが望ましく、この場合、
少なくとも前記検出手段は、前記モデリングデータ生成手段に前記撮像画像を供するための撮像の際に動作することが望ましい。

上記目的を達成するため、本発明の第３の観点にかかる表示方法は、
被写体光に基づく撮像画像を生成する撮像手段と、被写体にパターンを投影するパターン投影手段と、を備える撮像装置におけるファインダ画像を表示する方法であって、
前記撮像手段が生成した撮像画像上で、前記パターン投影手段が投影したパターンが視認されやすい部分を検出するステップと、
前記検出された部分を表示手段に拡大表示させるステップと、
を含み、
前記検出するステップは、
前記撮像画像を複数の領域に分割するステップと、
前記分割した複数の領域のそれぞれで特徴を検出するステップと、
前記検出した特徴に基づいて、前記パターンがより視認されやすい領域を選択するステップと、をさらに含み、
前記拡大表示させるステップでは、前記選択した領域を拡大表示する、
ことを特徴とする。
上記目的を達成するため、本発明の第４の観点にかかる表示方法は、
被写体光に基づく撮像画像を生成する撮像手段と、被写体にパターンを投影するパターン投影手段と、を備える撮像装置におけるファインダ画像を表示する方法であって、
前記撮像手段が生成した撮像画像上で、前記パターン投影手段が投影したパターンが視認されやすい部分を検出するステップと、
前記検出ステップで検出された部分を表示手段に撮影者によって選択可能に拡大表示させるステップと、
前記撮像手段に前記撮影者によって選択された部分の合焦動作をおこなわせるステップと、
前記表示手段が表示した部分が前記撮影者によって選択されない場合、投影するパターンを変更するステップと、
を含むことを特徴とする。

上記目的を達成するため、本発明の第５の観点にかかるプログラムは、
被写体光に基づく撮像画像を生成する撮像手段と、被写体にパターンを投影するパターン投影手段と、を備える撮像装置を制御するコンピュータに、
前記撮像手段が生成した撮像画像上で、前記パターン投影手段が投影したパターンが視認されやすい部分を検出する機能と、
検出した部分を表示手段に拡大表示させる機能と、
を実現させるプログラムであって、
前記検出する機能は、
前記撮像画像を複数の領域に分割する機能と、
前記分割した複数の領域のそれぞれで特徴を検出する機能と、
前記検出した特徴に基づいて、前記パターンがより視認されやすい領域を選択する機能と、をさらに有し、
前記拡大表示させる機能は、前記選択した領域を拡大表示する、
ことを特徴とする。
上記目的を達成するため、本発明の第６の観点にかかるプログラムは、
被写体光に基づく撮像画像を生成する撮像手段と、被写体にパターンを投影するパターン投影手段と、を備える撮像装置を制御するコンピュータに、
前記撮像手段が生成した撮像画像上で、前記パターン投影手段が投影したパターンが視認されやすい部分を検出する機能と、
検出した部分を表示手段に撮影者によって選択可能に拡大表示させる機能と、
前記撮像手段に前記撮影者によって選択された部分の合焦動作をおこなわせる機能と、
前記表示手段が表示した部分が前記撮影者によって選択されない場合、投影するパターンを変更する機能と、
を実現させることを特徴とする。

本発明によれば、パターン投影を伴う撮影の効率化を図ることができる。

本発明の実施形態にかかるデジタルカメラの外観構成を示す図である。 図１に示したデジタルカメラの構成を示すブロック図である。 図２に示した制御部によって実現される機能を示す機能ブロック図である。 本発明の実施形態にかかる「３Ｄモデリング用撮像処理」を説明するためのフローチャートである。 本発明の実施形態にかかる各種条件等を説明するための図であり、（ａ）は投影されるドットパターンの例を示し、（ｂ）は投影されるドットパターンの他の例を示し、（ｃ）は想定される撮影状況の例を示し、（ｄ）は当該撮影状況においてドットが暗点のドットパターンが投影された状況の例を示す。 図４に示す「３Ｄモデリング用撮像処理」で実行される「拡大表示処理」を説明するためのフローチャートである。 図６に示す「拡大表示処理」における動作を説明するための図であり、（ａ）は撮像画像の例を示し、（ｂ）はエリア分割の例示す。 図６に示す「拡大表示処理」における動作を説明するための図であり、（ａ）はドットパターンが不鮮明となる箇所の例を示し、（ｂ）はそのときのヒストグラムの例を示し、（ｃ）はドットパターンが鮮明となる箇所の例を示し、（ｄ）はそのときのヒストグラムの例を示す。 図６に示す「拡大表示処理」における動作を説明するための図であり、（ａ）は選択された第１候補エリアの例を示し、（ｂ）は投影されたパターン画像の例を示し、（ｃ）は当該パターン画像のヒストグラムの例を示す。 図６に示す「拡大表示処理」における動作を説明するための図であり、（ａ）は選択された最終候補エリアの例を示し、（ｂ）は選択されたエリアの拡大表示画面の例を示す。 本発明にかかる実施形態で想定されうる撮影状況の他の例を示す図であり、（ａ）は被写体が暗い場合の撮影状況の例を示し、（ｄ）は当該撮影状況においてドットが暗点のドットパターンが投影された状況の例を示す。 図１１に示した撮影状況における撮像画像の例を示す図であり、（ａ）は被写体上のドットパターンの例を示し、（ｂ）は背景物上のドットパターンの例を示す。 選択されたエリアが所望された部分ではない場合に表示される画面の表示例を示す図である。

本発明にかかる実施形態を、図面を参照して以下に説明する。本実施形態では、本発明をデジタルスチルカメラ（以下、デジタルカメラ）によって実現した場合を例示する。本実施形態にかかるデジタルカメラ１は、一般的なデジタルスチルカメラが有する機能を備えているものとするが、図１に示すように、撮像にかかる構成を２つ備えた、いわゆる複眼カメラ（ステレオカメラ）とする。

このような複眼カメラの構成を有するデジタルカメラ１は、通常の撮像機能に加え、撮像した画像を用いて３次元モデリング（３Ｄモデリング）をおこなう機能を有しているものとする。そして、本実施形態にかかるデジタルカメラ１の３Ｄモデリング機能においては、３Ｄモデリングに好適な撮像画像が得られるよう、パターン投影法が用いられるものとする。このため、本実施形態にかかるデジタルカメラ１には、図１に示すように、パターンを投影するためのパターン投影部１３０（詳細後述）が構成されている。

このようなデジタルカメラ１の構成を、図２を参照して説明する。図２は、本発明の実施形態にかかるデジタルカメラ１の構成を示すブロック図である。本実施形態にかかるデジタルカメラ１の概略的構成は、図示するように、撮像動作部１００、データ処理部２００、インタフェース（Ｉ／Ｆ）部３００、などである。

撮像動作部１００は、デジタルカメラ１による撮像時の動作をおこなうものであり、図２に示すように、第１撮像部１１０、第２撮像部１２０、パターン投影部１３０、などから構成される。

第１撮像部１１０および第２撮像部１２０は、デジタルカメラ１の撮像動作をおこなう部分である。上述したように、本実施形態にかかるデジタルカメラ１は複眼カメラであるため、第１撮像部１１０と第２撮像部１２０とを有する構成であるが、第１撮像部１１０と第２撮像部１２０は同一の構成である。以下、第１撮像部１１０についての構成には１１０番台の参照符号、第２撮像部１２０についての構成には１２０番台の参照符号をそれぞれ付すこととし、これらの参照符号において１桁目が同値となるものは同一の構成であることを示す。

図２に示すように、第１撮像部１１０（第２撮像部１２０）は、光学装置１１１（１２１）やイメージセンサ部１１２（１２２）などから構成されている。

光学装置１１１（１２１）は、例えば、レンズ、絞り機構、シャッタ機構、などを含み、撮像にかかる光学的動作をおこなう。すなわち、光学装置１１１（１２１）の動作により、入射光が集光されるとともに、焦点距離、絞り、シャッタスピードなどといった、画角やピント、露出などにかかる光学的要素の調整がなされる。

なお、光学装置１１１（１２１）に含まれるシャッタ機構はいわゆるメカニカルシャッタであり、イメージセンサの動作のみでシャッタ動作をおこなう場合には、光学装置１１１（１２１）にシャッタ機構が含まれていなくてもよい。また、光学装置１１１（１２１）は、後述する制御部２１０による制御によって動作する。

イメージセンサ部１１２（１２２）は、光学装置１１１（１２１）によって集光された入射光に応じた電気信号を生成する、例えば、ＣＣＤ（Charge Coupled Device：電荷結合素子）やＣＭＯＳ（Complementally Metal Oxide Semiconductor：相補型金属酸化物半導体）などのイメージセンサから構成される。イメージセンサ部１１２（１２２）は、光電変換をおこなうことで、受光に応じた電気信号を発生してデータ処理部２００に出力する。

上述したように、第１撮像部１１０と第２撮像部１２０は同一の構成である。より詳細には、レンズの焦点距離ｆやＦ値、絞り機構の絞り範囲、イメージセンサのサイズや画素数、画素の配列や面積、などといった各仕様がすべて同一である。

このような第１撮像部１１０と第２撮像部１２０を有するデジタルカメラ１は、図１に示すように、光学装置１１１に構成されたレンズと光学装置１２１に構成されたレンズとが、デジタルカメラ１の外面における同一面上に形成された構成とする。

ここでは、シャッタボタンが上になる方向でデジタルカメラ１を水平にした場合に、中心位置が水平方向で同一線上となるよう２つのレンズ（受光部）が配置されるものとする。つまり、第１撮像部１１０と第２撮像部１２０とを同時に動作させた場合、同一被写体についての画像が撮像されることになるが、各画像における光軸位置が横方向にずれている画像となる。

パターン投影部１３０は、３Ｄモデリングをおこなうための撮像の際に、被写体にパターンを投影するものであり、例えば、ピコプロジェクタなどによって構成される。なお、パターン投影部１３０は、ピコプロジェクタによって実現できる他、例えば、通常のデジタルカメラが備えているＡＦ補助光や撮影ライト（ＬＥＤライト）などのような、連続的な発光をおこなえる構成に、パターンを投影できる構成を付加することで実現されてもよい。

本実施形態では、ピコプロジェクタによってパターン投影部１３０が構成されているものとする。この場合、予め記憶部２５０（詳細後述）などに格納されているパターン画像が、デジタルカメラ１の前方（すなわち、被写体方向）に向かって投影される。また、パターン投影部１３０として用いられるピコプロジェクタには、投影面でのパターン画像のフォーカス（ピント）を調節できる構造を有しているものとする。

データ処理部２００は、第１撮像部１１０および第２撮像部１２０による撮像動作によって生成された電気信号を処理し、撮像画像を示すデジタルデータを生成するとともに、撮像画像に対する画像処理などをおこなう。図２に示すように、データ処理部２００は、制御部２１０、画像処理部２２０、画像メモリ２３０、画像出力部２４０、記憶部２５０、外部記憶部２６０、などから構成される。

制御部２１０は、例えば、ＣＰＵ（Central Processing Unit：中央演算処理装置）などのプロセッサや、ＲＡＭ（Random Access Memory）などの主記憶装置（メモリ）、などから構成され、後述する記憶部２５０などに格納されているプログラムを実行することで、デジタルカメラ１の各部を制御する。また、本実施形態では、所定のプログラムを実行することで、後述する各処理にかかる機能が制御部２１０によって実現される。本実施形態では、３Ｄモデリングにかかる処理についても制御部２１０にておこなわれるものとするが、制御部２１０とは独立した専用プロセッサなどがおこなう構成であってもよい。

画像処理部２２０は、例えば、ＡＤＣ（Analog-Digital Converter：アナログ−デジタル変換器）、バッファメモリ、画像処理用のプロセッサ（いわゆる、画像処理エンジン）などから構成され、イメージセンサ部１１２および１２２によって生成された電気信号に基づいて、撮像画像を示すデジタルデータを生成する。

すなわち、イメージセンサ部１１２（１２２）から出力されたアナログ電気信号をＡＤＣがデジタル信号に変換して順次バッファメモリに格納すると、バッファされたデジタルデータに対し、画像処理エンジンがいわゆる現像処理などをおこなうことで、画質の調整やデータ圧縮などをおこなう。

画像メモリ２３０は、例えば、ＲＡＭやフラッシュメモリなどの記憶装置から構成され、画像処理部２２０によって生成された撮像画像データや、制御部２１０によって処理される画像データなどを一時的に格納する。

画像出力部２４０は、例えば、ＲＧＢ信号の生成回路などから構成され、画像メモリ２３０に展開された画像データをＲＧＢ信号などに変換して表示画面（後述する表示部３１０など）に出力する。

記憶部２５０は、例えば、ＲＯＭ（Read Only Memory）やフラッシュメモリなどの記憶装置から構成され、デジタルカメラ１の動作に必要なプログラムやデータなどを格納する。本実施形態では、制御部２１０などが実行する動作プログラムや処理に必要となるパラメータや演算式などが記憶部２５０に格納されているものとする。

外部記憶部２６０は、例えば、メモリカードなどといった、デジタルカメラ１に着脱可能な記憶装置から構成され、デジタルカメラ１で撮像した画像データや生成された３Ｄモデリングデータなどを格納する。

インタフェース（Ｉ／Ｆ）部３００は、デジタルカメラ１とその使用者あるいは外部装置とのインタフェースにかかる構成であり、図２に示すように、表示部３１０、外部インタフェース（Ｉ／Ｆ）部３２０、操作部３３０、などから構成される。

表示部３１０は、例えば、液晶表示装置などから構成され、デジタルカメラ１を操作するために必要な種々の画面や、撮影時のライブビュー画像、撮像画像、３Ｄモデリングデータ、などを表示出力する。本実施形態では、画像出力部２４０からの画像信号（ＲＧＢ信号）などに基づいて撮像画像等の表示出力がおこなわれる。

外部インタフェース部３２０は、例えば、ＵＳＢ（Universal Serial Bus）コネクタやビデオ出力端子などから構成され、画像データや３Ｄモデリングデータなどを外部のコンピュータ装置へ転送したり、撮像画像や３Ｄモデリング画像などを外部のモニタ装置に表示出力したりする。

操作部３３０は、デジタルカメラ１の外面上に構成されている各種ボタンなどによって構成され、デジタルカメラ１の使用者による操作に応じた入力信号を生成して制御部２１０に入力する。操作部３３０を構成するボタンとして、例えば、シャッタ動作を指示するためのシャッタボタンや、デジタルカメラ１のもつ動作モードを指定するためのモードボタン、３Ｄモデリングをおこなうための設定をはじめとした各種設定をおこなうための十字キーや機能ボタン、などが含まれているものとする。

ここで、本実施形態では、記憶部２５０に格納されている動作プログラムを制御部２１０が実行することで、後述する各処理が実現されるが、この場合に制御部２１０によって実現される機能を、図３を参照して説明する。

図３は、制御部２１０によって実現される機能を示した機能ブロック図である。ここでは、複眼カメラによって撮像された画像から被写体画像を抽出する機能を実現するために必要な機能構成を示す。この場合、図示するように、制御部２１０は、動作モード処理部２１１、撮像制御部２１２、パターン表示処理部２１３、３Ｄモデリング部２１４、などとして機能する。

動作モード処理部２１１は、表示部３１０との協働により、デジタルカメラ１が有する各種動作モードをデジタルカメラ１のユーザに指定させるために必要な画面表示や指定された動作モード毎の設定画面表示などをおこなう他、操作部３３０との協働により、ユーザが指定した動作モードを認識し、当該動作モードの実行に必要なプログラムや演算式などを記憶部２５０から読み出し、制御部２１０の主記憶装置（メモリ）にロードする。

本実施形態では、デジタルカメラ１での撮影後に撮像画像から３Ｄモデリングをおこなう動作モード（３Ｄモデリングモード）がユーザによって指定されるものとし、以下に説明する制御部２１０の各機能構成は、３Ｄモデリングモードが指定されたことに応じて動作モード処理部２１１がロードしたプログラムを実行することで実現される機能構成である。

撮像制御部２１２は、撮像動作部１００（第１撮像部１１０、第２撮像部１２０、パターン投影部１３０）を制御することでデジタルカメラ１での撮像動作を実行する。この場合、撮像制御部２１２は、例えば、一般的なデジタルカメラにおいておこなわれている、測光、合焦、自動露出、撮像時の画面表示、などのような撮像にかかる各種の処理と制御をおこなう。

また、本実施形態では、「３Ｄモデリングモード」で撮像動作をおこなう場合、撮像制御部２１２は、パターン投影部１３０を制御することで、被写体へのパターン投影の実行や終了を制御する。

パターン表示処理部２１３は、パターン投影部１３０によるパターン投影がおこなわれた場合に、当該パターンの投影状態や撮像動作におけるパターンの合焦状態を撮影者に確認させるための処理をおこなう。

この場合、パターン表示処理部２１３は、撮像画像の特徴などに基づいて、撮像画像の中からパターンの鮮明度が高い領域の候補を選出して拡大表示することで、撮影者が合焦を所望している箇所でパターンが合焦しているか否かを撮影者が容易に確認できるよう支援する。さらに、所望する領域で合焦していない場合には、撮像制御部２１２との協働により、当該領域で合焦させる動作をおこなう。

３Ｄモデリング部２１４は、第１撮像部１１０と第２撮像部１２０によって撮像された左右画像間で照合をおこなうことにより、パターン投影部１３０によって被写体に投影されたパターンで示される特徴点を抽出して３Ｄモデリングをおこなう。この場合、３Ｄモデリング部２１４は、例えば、差の２乗和を評価式とするＳＳＤ（Sum of Squared Difference）を用いたテンプレート照合により特徴点を抽出し、抽出した特徴点をドロネー分割することによりポリゴンを生成して３Ｄモデリングをおこなう。

以上が制御部２１０によって実現される機能である。なお、本実施形態では、制御部２１０がプログラムを実行することによる論理的処理で上述した各機能が実現されるものとするが、これらの機能を、例えば、ＡＳＩＣ（Application Specific Integrated Circuit：特定用途向け集積回路）などのハードウェアによって構成してもよい。この場合、図３に示した機能のうち、画像処理にかかる機能については、画像処理部２２０によって実現されてもよい。

以上説明したデジタルカメラ１の構成は、本発明を実現するために必要な構成であり、デジタルカメラとしての基本機能や種々の付加機能に用いられる構成は必要に応じて備えられているものとする。

（実施形態１）
このような構成のデジタルカメラ１による動作を以下に説明する。ここでは、デジタルカメラ１の動作モードのうち、上述した「３Ｄモデリングモード」が選択された場合の動作例を示す。この場合、デジタルカメラ１によって撮像をおこない、その撮像画像から３Ｄモデリングをおこなう。

この場合、例えば、人物、動物、美術品、その他種々の立体物を被写体としてデジタルカメラ１で撮像し、その撮像画像から被写体を３次元的な画像として表すための３Ｄモデリングデータを生成する。このような３Ｄモデリングデータの生成を目的として「３Ｄモデリングモード」が選択された場合、デジタルカメラ１では「３Ｄモデリング用撮像処理」が実行される。

この「３Ｄモデリング用撮像処理」を、図４に示すフローチャートを参照して説明する。「３Ｄモデリング用撮像処理」は、デジタルカメラ１のユーザが操作部３３０を操作することで、３Ｄモデリングモードを選択したことを契機に開始される。この場合、動作モード処理部２１１が、記憶部２５０に格納されているプログラムなどをロードすることで、図３に示した各機能構成が実現され、以下の処理が実行される。

ここで、３Ｄモデリングモードでの撮影の際、操作部３３０のシャッタボタンを半押しすることが、デジタルカメラ１による撮影動作の開始操作であるものとする。したがって、処理が開始されると、撮像制御部２１２により、シャッタボタンが半押しされたか否かの判別がおこなわれる（ステップＳ１１）。

シャッタボタンの半押し操作がなされると（ステップＳ１１：Ｙｅｓ）、撮像制御部２１２は、パターン投影部１３０を制御し、パターンの投影を開始する（ステップＳ１２）。

ここで、投影されるパターンの例を、図５（ａ）および図５（ｂ）を参照して説明する。図５（ａ）は、暗点のドットによって構成されたドットパターン（以下、「ドットパターンＤＰ１」とする）の例を示し、図５（ｂ）は、輝点のドットによって構成されたドットパターン（以下、「ドットパターンＤＰ２」とする）の例を示す。

図５（ａ）に示すように、ドットパターンＤＰ１は、高輝度（例えば、白色）のベースに低輝度（例えば、黒色）のドットが配されたパターンであり、例えば、ドット部分が陰影として投影される。このようなドットパターンＤＰ１は、モデリング対象となる被写体が比較的明るい場合に効果的となるものであり、本実施形態では、ドットパターンＤＰ１がデフォルトの投影パターンであるものとする。

また、図５（ｂ）に示すように、ドットパターンＤＰ２は、低輝度（例えば、黒色）のベースに高輝度（例えば、白色）のドットが配されたパターンであり、例えば、ベース部分が陰影として投影される。このようなドットパターンＤＰ２は、モデリング対象となる被写体が比較的暗い場合に効果的となるものであり、デフォルトであるドットパターンＤＰ１の代替として用意されているものとする。すなわち、ドットパターンＤＰ１とドットパターンＤＰ２とでは、ベース部分とパターン（ドット）部分の輝度が反転していることが相違点であり、パターンの形状やサイズ、配列などは同一もしくは同様であるものとする。

本実施形態では、図５（ａ）および図５（ｂ）それぞれにおける拡大図で示すような、小円のドットが規則的に配列されたパターンであるものとするが、パターンの種類（色、輝度、パターン形状、パターンの配列、パターンの密度、など）は任意であり、複数種類のパターン画像が選択可能に用意されていてもよい。

本実施形態にかかるデジタルカメラ１では、被写体にこのようなパターンを投影し、撮像した画像上のパターンに基づいて３次元座標を算出するので、高精度の３Ｄモデリングデータを得るためには、投影されたパターンができるだけ鮮明に撮像されていることが必要となる。よって、パターン部分とベース部分の輝度差が大きいパターン画像であることが望ましい。

ここで、本実施形態で想定する撮影場面の例を図５（ｃ）に示す。図示するように、本実施形態では、人物を被写体（以下、「被写体ＴＧ」とする）としてデジタルカメラ１で撮影することを想定する。すなわち、被写体ＴＧの３Ｄモデリングデータを得ることを目的とした撮影をデジタルカメラ１でおこなう。この場合において、被写体ＴＧの後方に背景物ＢＤ（例えば、壁など）が存在しているものとし、被写体ＴＧの反射率が比較的高く（明るい）、背景物ＢＤの反射率が比較的低い（暗い）ものとする。

このような場面でドットパターンＤＰ１を投影した場合の様子を図５（ｄ）に示す。ここでは、被写体ＴＧの３Ｄモデリングデータを得ることを目的としているので、少なくとも被写体ＴＧにおける被撮影面の全体（以下、「被写体全面」とする）にドットパターンＤＰ１が投影されるようパターン投影部１３０の投影範囲が調整されているものとする。

また、ピコプロジェクタを用いたパターン投影部１３０では、通常、矩形状にパターン画像が投影されることになるので、被写体全面が含まれるように投影した場合、図５（ｄ）に示すように、被写体ＴＧの周囲にも投影が及ぶことになる。本実施形態では、被写体ＴＧの後方にある背景物ＢＤや、被写体ＴＧの下方に存在する部分（例えば、床面など）にもドットパターンＤＰ１の投影が及んでいるものとする。

このようなドットパターンＤＰ１の投影が開始されると、撮像制御部２１２は、第１撮像部１１０及び／又は第２撮像部１２０を制御することで、ファインダ用の撮像動作を開始する（ステップＳ１３）。本実施形態では、ファインダ用の撮像には一方の撮像部（第１撮像部１１０または第２撮像部１２０）のみを動作させることとするが、最終的な撮像動作時には、第１撮像部１１０と第２撮像部１２０を同時に動作させることで、左目の視野に相当する左目画像と右目の視野に相当する右目画像が取得されることになる。

ここで、通常の撮影動作モードであれば、ステップＳ１３で開始した撮像動作によって得られる動画像がファインダ用の画像として表示部３１０に表示出力されるが、３Ｄモデリングモードが選択されている場合は、投影されたドットパターンの状態を撮影者が容易に確認できるよう、通常とは異なる表示動作をおこなう。このような表示動作をおこなうため、パターン表示処理部２１３によって「拡大表示処理」が実行される（ステップＳ１００）。この「拡大表示処理」を、図６に示すフローチャートを参照して説明する。

処理が開始されると、パターン表示処理部２１３は、ファインダ用として画像メモリ２３０に展開されている撮像画像を複数のエリア（領域）に分割する（ステップＳ１０１）。ここでは、図７（ａ）に例示するような撮像画像（以下、「撮像画像ＣＰ」とする）が得られているものとし、このような撮像画像ＣＰを、図７（ｂ）に例示するような複数の矩形エリアに分割する。この場合のエリアの形状や数などは任意であるが、例えば、多分割測光（評価測光）などで設定されている測光エリアを利用することにより、図７（ｂ）に示すようなエリア分割を容易におこなうことができる。

パターン表示処理部２１３は、このように分割した各エリアのそれぞれについてヒストグラムを作成する（ステップＳ１０２）。ここでは、例えば、輝度（階調）に応じた画素分布（頻度）を示すヒストグラムをエリア毎に作成する。このようなヒストグラムの作成は、一般的なデジタルカメラなどで通常用いられている方法によっておこなわれるものとする。

各エリアのヒストグラムを作成すると、パターン表示処理部２１３は、作成したヒストグラムのそれぞれにおいて、判別分析法による二値化をおこなう（ステップＳ１０３）。この場合の二値化とは、各エリアに含まれている画素を、閾値によって低輝度側（黒クラス）と高輝度側（白クラス）に二分するものであり、判別分析法では、低輝度側と高輝度側の分離度が最大となる閾値が求められる。

本実施形態では、このような二値化処理における分離度により、投影されたパターンがより鮮明に示されているエリアを峻別する。すなわち、二値化によって現れる特徴に基づいて、パターンを鮮明に視認できるエリアを峻別する。このような峻別に用いられる特徴の違いを、図８を参照して説明する。

まず、撮像画像ＣＰにおける背景物ＢＤに相当するエリアの特徴を説明する。ここでは、図８（ａ）に示したエリアＢＤｘを例に説明する。ここでは、上述したように、ドットが暗点となるドットパターンＤＰ１が投影されているので、図８（ａ）の拡大図に示すように、反射率が比較的低い（暗い）背景物ＢＤにおいては、ドットパターンＤＰ１のドットが不鮮明となる。

このようなエリアＢＤｘについてのヒストグラムは、例えば、図８（ｂ）に示すようなものとなる。すなわち、低輝度の画素が多く、高輝度の画素が少ない分布となる。

一方、図８（ｃ）に示すような、被写体ＴＧに相当するエリアＴＧｘにおいては、被写体ＴＧの反射率が比較的高い（明るい）ため、同図の拡大図に示すように、ドットパターンＤＰ１のドットが鮮明となる。

このようなエリアＴＧｘについてのヒストグラムは、例えば、図８（ｄ）に示すようなものとなる。すなわち、ドット部分を示す低輝度の画素と、被写体ＴＧの部分を示す高輝度の画素が突出する分布となる。

このようなヒストグラムの特性は、判別分析法の二値化において求められる分離度によって特定することができる。ここで、図８（ｄ）に示したような、低輝度側の画素と高輝度側の画素が突出するヒストグラム特性は、分離度が高いことになる。すなわち、二値化では、閾値を境に輝度値が小さい側のクラス（いわゆる「黒クラス」）に属する画素と輝度値が大きい側のクラス（いわゆる「白クラス」）に属する画素とを分けることになるが、図８（ｄ）に示すようなヒストグラム特性は、クラス内の分散が小さく、クラス間の分散が大きいことを示している。

よって、判別分析法の二値化をおこなう際に演算されるクラス内分散とクラス間分散のそれぞれを所定の閾値と比較することで、分離度の大きさをエリア毎に求めることができる。

パターン表示処理部２１３は、ステップＳ１０３でおこなった判別分析法を用いた二値化に基づき、分離度の高い順にエリアをソートし（ステップＳ１０４）、上位から所定数を第１の候補として選択する（ステップＳ１０５）。

上述のように、分離度が高い程、ドットパターンＤＰ１のドットがより鮮明となっているので、ステップＳ１０５では、このような特性により近い順に、候補となるエリアが選択される。本実施形態では、ステップＳ１０５で選択される第１候補の数を、例えば、「７」とし、この場合の選択例を図９（ａ）に示す。

ここでは、図９（ａ）に示すような、被写体ＴＧに相当する部分を中心とした７つのエリアが撮像画像ＣＰ上で選択されたものとする。また、このうちの２つのエリアについては、被写体ＴＧの周辺において背景物ＢＤ以外の部分に相当するものが含まれていることとする。

所定数の第１候補エリアを選択すると、パターン表示処理部２１３は、選択したエリアのそれぞれにおける白黒比を算出する（ステップＳ１０６）。ここでは、各エリアが二値化されているので、白クラスに属する画素と黒クラスに属する画素の比率を求める。

各第１候補エリアにおける白黒比を求めると、パターン表示処理部２１３は、求めたそれぞれの白黒比と、投影したパターン画像（この場合、ドットパターンＤＰ１）についての白黒比とを比較し（ステップＳ１０７）、パターン画像の白黒比との一致度が高い順にソートする（ステップＳ１０８）。

ここで、本例で用いているドットパターンＤＰ１は、例えば、図９（ｂ）に示すような、白色（最高輝度）のベースに黒色（最低輝度）のドットが配されたパターン画像であるので、その輝度分布を示すヒストグラムは、図９（ｃ）に示すように、低輝度側と高輝度側のみが突出する特性であり、このような特性のドットパターンＤＰ１の白黒比が予め求められているものとする。

パターン表示処理部２１３は、このようなドットパターンＤＰ１の白黒比との一致度の高い上位のエリアを、最終候補として所定数選択する（ステップＳ１０９）。ここでは、ドットパターンＤＰ１との一致度が高い上位２つのエリアが最終候補として選択されるものとする。

このようなドットパターンＤＰ１の白黒比と近い白黒比となるエリアを選択することで、ドットパターンが視認されやすいエリアが第１候補の中からさらに選択される。すなわち、第１候補の選択においては二値化の分離度に基づいた峻別であったため、ドットパターンが鮮明ではないエリアも含まれてしまう可能性があるので、実際に投影しているドットパターンの特性により近いエリアを選択することで、ドットパターンがより鮮明なエリアが最終候補として選択される。

ここでは、例として、図１０（ａ）に示すような、エリアＡＡとエリアＡＢの２つが最終候補として選択されたものとする。本例では、図１０（ａ）に示すように、エリアＡＡは、人物である被写体ＴＧの顔部分に相当するエリアであることとし、エリアＡＢは被写体ＴＧの周辺で背景物ＢＤではない部分（例えば、床面）に相当するエリアであることとする。

このような最終候補エリアを選択すると、パターン表示処理部２１３は、選択したエリアを表示部３１０に拡大表示させる（ステップＳ１１０）。ここでは、例えば、図１０（ｂ）に示すような画面が表示部３１０に表示される。図示するように、表示部３１０には、エリアＡＡとエリアＡＢの画像が並列して表示される。すなわち、これらの画像がファインダ画像として表示部３１０に表示出力される。

この表示画面において、各画像の下には、図１０（ｂ）に示すように、操作部３３０による操作によって選択可能なボタンが配置されている。各画像に対応するボタンには、例えば、「所望箇所」と表記されており、３Ｄモデリングの対象としている箇所に相当する画像が表示されていれば、撮影者が操作部３３０を操作することで、当該画像についてのボタンを選択する。

また、表示部３１０には、図１０（ｂ）に例示するような、「いずれでもない」と表記されたボタンも配置される。このボタンは、表示されている２つの画像のいずれもが３Ｄモデリングの対象としている箇所ではない場合に選択される。

このような拡大表示をおこなうと、「拡大表示処理」は終了し、「３Ｄモデリング用撮像処理」（図４）のフローに戻る。

「３Ｄモデリング用撮像処理」では、上記拡大表示に対する撮影者の操作が判別される。ここでは、操作部３３０からの入力信号に基づいて、表示した２つのエリアの画像のいずれかが選択されたか否かを判別する（ステップＳ１４）。

ここで、拡大表示した最終候補エリアのいずれかが選択されたことを判別すると（ステップＳ１４：Ｙｅｓ）、パターン表示処理部２１３は、撮像制御部２１２と協働し、選択されたエリアで合焦するよう第１撮像部１１０、及び／又は、第２撮像部１２０を制御する（ステップＳ１６）。

この場合、一般的なデジタルカメラで通常おこなわれているような、ＡＦフレームの選択による合焦動作と同様の動作を、選択されたエリアをＡＦフレームとしておこなうことで、当該エリアに相当する部分に合焦させる。

なお、上述した「拡大表示処理」（ステップＳ１００）においては、図１０（ｂ）に示したように、２つのエリアの画像を並列して表示していたが、いずれかのエリアが選択された時点で、当該エリアの画像が全面に表示されるようにすることが望ましい。

撮影者はこのような画面により、３Ｄモデリング対象として所望している部分が合焦されたことを確認すると、シャッタボタンを全押しする操作をおこなう。この場合の操作部３３０からの入力信号により、シャッタボタンが全押しされたと判別すると（ステップＳ１７：Ｙｅｓ）、撮像制御部２１２は、第１撮像部１１０と第２撮像部１２０の双方を制御することで、撮像動作をおこなう（ステップＳ１８）。

ステップＳ１８での撮像動作では、被写体ＴＧに対しドットパターンＤＰ１が投影されているので、ドットパターンが投影されている状態の被写体ＴＧが撮像されることになる。

このような撮像動作の直後、撮像制御部２１２は、パターン投影部１３０を制御することでパターン画像（ドットパターンＤＰ１）の投影を終了するとともに（ステップＳ１９）、投影終了直後に第１撮像部１１０と第２撮像部１２０を制御することで撮像動作をおこなう（ステップＳ２０）。

ステップＳ２０の撮像動作では、パターン投影部１３０によるパターン投影が終了しているので、パターン画像（ドットパターンＤＰ１）が投影されていない被写体ＴＧが撮像されることになる。

このような、パターン投影の有無による２回の撮像動作をおこなうと、画像処理部２２０により、撮像された画像の保存動作がおこなわれる（ステップＳ２１）。ここでは、例えば、外部記憶部２６０のメモリカードなどに撮像画像の保存がおこなわれる。上記の撮像動作では、それぞれ、第１撮像部１１０と第２撮像部１２０の双方による撮像がおこなわれているので、パターン投影がある場合と無い場合のそれぞれについて、左目画像と右目画像が得られることになる。

ここで、連続して撮影をおこないたい場合、撮影者はシャッタボタンを再度半押しにする。この場合（ステップＳ２２：Ｙｅｓ）、ステップＳ１２以降の処理がおこなわれる。すなわち、パターン投影が再度開始され、拡大表示処理（ステップＳ１００）を経ることで、撮影者が所望する部分への合焦と撮像がおこなわれる。

一方、このようなシャッタボタンの半押し操作が所定時間以上なされない場合（ステップＳ２２：Ｎｏ、ステップＳ２３：Ｙｅｓ）、連続撮影はおこなわないものと判断し、３Ｄモデリング部２１４による３Ｄモデリング処理がおこなわれる（ステップＳ２４）。

ここでは、ステップＳ１８で得られた撮像画像に基づいて、被写体ＴＧの３次元位置の演算がおこなわれることで、３Ｄモデリングデータの生成がおこなわれる。また、投影パターンの無いステップＳ２０で得られた撮像画像は、例えば、生成した３Ｄモデリングデータにマッピングするテクスチャデータの抽出などに用いられる。

なお、本例では制御部２１０の処理負荷を考慮し、撮像動作をおこなわないときに３Ｄモデリングデータの生成をおこなうようにしたが、制御部２１０の処理能力に余裕がある場合や、３Ｄモデリングにかかる処理を制御部２１０とは別の専用プロセッサなどでおこなわせる場合には、撮像動作のバックグラウンドで３Ｄモデリングにかかる処理が並行しておこなわれるようにしてもよい。

ここで、例えば、３Ｄモデリングモードの解除やデジタルカメラ１の電源オフなどといった所定の終了イベントが発生しなければ（ステップＳ２５：Ｎｏ）、ステップＳ１１以降の処理が再度おこなわれ、パターン投影を伴う撮像動作がおこなわれる。

以上までは、撮影者が所望している部分のエリアが選択された場合の動作例であるが、例えば、デフォルトで投影するドットパターンＤＰ１がそのときの被写体ＴＧに適していない場合には、撮影者が３Ｄモデリング対象として所望していない部分が最終候補として拡大表示される場合がある。

例えば、図１１（ａ）に例示するような、被写体ＴＧの反射率が比較的低く（暗い）、被写体ＴＧの後方にある背景物ＢＤの反射率が比較的高い（明るい）場合、図１１（ｂ）に示すようにドットパターンＤＰ１を投影すると、図１２（ａ）および図１２（ｂ）に示すように、被写体ＴＧ上のドットパターンよりも背景物ＢＤ上のドットパターンの方が鮮明となる。

このような場合、「拡大表示処理」における第１候補エリアおよび最終候補エリアの選択において、背景物ＢＤに相当するエリアが候補として選択されてしまうことになる。

この場合、撮影者は、図１０（ｂ）に示したような表示画面において、「いずれでもない」と表記されたボタンを選択する操作をおこなう。「３Ｄモデリング用撮像処理」（図４）においては、このような場合（ステップＳ１４：Ｎｏ）、パターン表示処理部２１３が、例えば、図１３に示すような画面を表示部３１０に表示する。

ここでは、図示するように、例えば、「パターンの反転」、「投影フォーカスの調整」などと表記された選択肢が選択可能に表示され、撮影者は操作部３３０を操作することで、所望する項目を選択する。

上述したような、反射率が比較的低い（暗い）被写体ＴＧである場合、ドットが暗点であるドットパターンＤＰ１ではドットが不鮮明となるので、このような場合は「パターンの反転」が選択される。この場合、パターン表示処理部２１３は撮像制御部２１２と協働し、パターン投影部１３０が投影するパターン画像をドットパターンＤＰ１からドットパターンＤＰ２に切り替えることでパターン投影の調整をおこなう（ステップＳ１５）。

あるいは、パターン投影にかかるフォーカスが被写体ＴＧに不合焦となっている場合も、撮像画像上ではパターンが不鮮明となり、拡大表示対象として選択されない場合がある。このような場合は「投影フォーカスの調整」が選択される。この場合、パターン表示処理部２１３は撮像制御部２１２と協働し、パターン投影部１３０の投影フォーカスを調整する動作をおこなう（ステップＳ１５）。

以上のようなパターン投影の調整がおこなわれると、再度「拡大表示処理」が実行される（ステップＳ１００）。ステップＳ１５でのパターン投影の調整によって問題が解消しているのであれば、所望している部分のエリアが拡大表示されることになるので、選択されたエリアについての合焦動作を経て撮像されることになる。

そして、終了イベントの発生により（ステップＳ２５：Ｙｅｓ）、処理を終了する。

以上のような処理により、ステレオカメラ構成のデジタルカメラ１で、３Ｄモデリングのためにパターン投影をおこなって撮像する場合に、パターンを視認しやすい部分を自動的に選択して拡大表示するので、撮影者がパターンの状態を撮影時に容易に確認できる。

また、選択された部分が所望する部分である場合には、当該部分を合焦させる動作をおこなうので、パターンが鮮明な撮像画像を得ることができ、高精度な３Ｄモデリングデータの生成を容易かつ効果的におこなうことができる。

（実施形態２）
上記実施形態１では、ドットパターンＤＰ１をデフォルトとして投影し、その撮像画像から候補エリアを選択するようにしたが、例えば、ドットパターンＤＰ１とドットパターンＤＰ２の双方を交互に投影するなどし、それぞれの投影時に「拡大表示処理」（図６）と同様の処理をおこなうことで、ドットパターンＤＰ１投影時に選択された候補エリアと、ドットパターンＤＰ２投影時に選択された候補エリアの双方を並列表示することで、所望するエリアを撮影者に選択させるようにしてもよい。

このような動作によれば、被写体の明るさに投影パターンが不適応である場合に生じる再処理を低減することができるので、より効率的な撮影をおこなうことができる。

（実施形態の変形例）
上記実施形態１では、判別分析法の二値化にかかる分離度と投影パターンの白黒比との一致度からパターンが鮮明な箇所を選択する動作を例示したが、パターンが鮮明な箇所を選択する方法はこれに限られない。

以下に、パターンが鮮明な箇所を選択する動作の他の例（変形例）を示す。

（変形例１）
通常のデジタルカメラで一般的となっている、いわゆる「顔認識機能」を利用してもよい。この場合、例えば、顔認識機能で認識された顔部分に相当するエリアと、当該エリアとは異なるエリアから候補エリアを選択し、双方のエリアに相当する画像を並列表示する。

すなわち、顔認識がなされた場合は、人物が被写体ＴＧである可能性が高いのでその顔部分を候補とすれば、撮影者による所望部分の選択を効率的におこなうことができる。

しかし、例えば、人物が保持している物体などが被写体ＴＧである場合もあるため、顔認識された部分以外からも候補を選択しておくことで、このような場合でも所望部分を効率的に選択することができる。

（変形例２）
上記実施形態１では、最終候補エリアを選択する際、第１候補エリアにおける白黒比と投影パターンの白黒比を比較したが、これに代えて、例えば、パターンの密度に基づいて選択するようにしてもよい。すなわち、投影パターンの密度により近い画像密度となっているエリアを最終候補として選択する。このような方法によっても、パターンが視認されやすい部分を拡大表示して撮影者に確認させることができる。

（変形例３）
上記実施形態１では、最終的な撮像時にパターン投影の有無を反映させるようにしたが、例えば、ファインダ用の撮像時にパターン投影のオン／オフをおこない、パターンが投影されたときの撮像画像とパターンが投影されていないときの撮像画像との差分に基づいて候補エリアを選択してもよい。

すなわち、パターンが鮮明な部分では、差分が大きく、パターンが不鮮明な部分では差分が小さくなるので、より差分の大きいエリアを候補エリアとして選択することで、パターンが視認されやすい部分を拡大表示して撮影者に確認させることができる。

（変形例４）
変形例３のように、ファインダ用の撮像時にパターン投影をオン／オフさせる場合、例えば、パターン投影時の撮像画像でパターン画像とのパターンマッチングをおこなって、投影パターンと同様の画像部分を特定し、パターン不投影時の撮像画像における同一部分でパターンマッチングをおこない、パターンが検出されなければ、当該部分を候補エリアとして選択してもよい。

すなわち、例えば、投影されたパターンと似た模様などが被写体ＴＧ上にある場合であっても当該部分を除外し、投影されたパターンが鮮明な部分を候補エリアとして選択することができる。

以上説明したように、本発明を上記実施形態の如く適用することにより、パターン投影を伴う撮影の効率化を図ることができ、高精度な３Ｄモデリングデータを容易かつ効率的に得ることができる。

上記実施形態は一例であり、本発明の適用範囲はこれに限られない。すなわち、種々の応用が可能であり、あらゆる実施の形態が本発明の範囲に含まれる。

例えば、上記実施形態では、デジタルカメラ１とパターン投影部１３０とが一体となっている構成を例示したが、パターン投影にかかる動作を制御できるのであれば、パターン投影部１３０がデジタルカメラ１とは別体的に構成されていてもよい。

また、上記実施形態では、３Ｄモデリングを目的としたモード下でおこなわれる動作を例示したが、例えば、同モード下であっても、一定の条件下にのみ「拡大表示処理」と同様な動作をおこなうようにしてもよい。

例えば、撮像時の絞り値を大きく（開口径を小さく）して被写界深度を深くしておけば、撮像範囲内に距離の異なる複数の物体等が存在していても、所望する被写体上の投影パターンも合焦している可能性が高い。よって、３Ｄモデリングを目的としたモード下では、初期設定として被写界深度が深くなる絞り値（例えば、設定可能な最大値（最小開口径）など）にしておき、この絞りで露出を決定する。決定した露出が適正露出であれば、そのまま撮像動作をおこなう。しかし、絞り値が大きい（開口径が小さい）ため、決定された露出のシャッタスピードではブレなどが生じてしまう場合には、自動的に絞り値を小さく（開口径を大きく）するとともに、上記実施形態で例示した「拡大表示処理」と同様の動作を実行する。

すなわち、絞り値の変更により被写界深度が浅くなり、被写体上のパターンが不合焦となる可能性が生じた場合にのみ拡大表示にかかる処理をおこなう。これにより、より効率的な撮影をおこなえる他、制御部２１０などの処理負荷の軽減、これにともなうバッテリ消費の軽減なども図ることができる。

なお、上記実施形態では、光軸の異なる２つの撮像部を撮像装置内に構成した複眼カメラ（ステレオカメラ）によって本発明を実現した場合を例示したが、撮像部が１つの単眼カメラによって本発明を実現してもよい。この場合、撮像部の位置をずらして複数回の撮像動作をおこなうことになるが、撮像部を機械的に移動させる構成を加えることなどにより、視差に相当する光軸のずれを生じさせるようにすればよい。

また、上記実施形態では、撮像画像から３Ｄモデリングデータを生成する構成を含んでいる撮像装置の例を示したが、撮像装置内で３Ｄモデリングデータの生成をおこなわなくてもよい。すなわち、３Ｄモデリングデータの生成は外部装置によっておこなうようにしてもよく、この場合、撮像によって得られる３Ｄモデリングデータの生成に好適な撮像画像を当該外部装置に提供する構成とすればよい。

なお、上記実施形態の撮像装置と同様の機能や構成を予め備えた撮像装置によって本発明を実現できることはもとより、被写体へのパターン投影を制御できるのであれば、既存の撮像装置装置（デジタルカメラなど）にプログラムを適用することで、本発明にかかる撮像装置として機能させることもできる。この場合、上記実施形態で例示したデジタルカメラ１と同様の構成を備えた撮像装置のコンピュータ（ＣＰＵなどの制御部）に、上述した制御部２１０の機能と同様の機能を実現させるためのプログラムを実行させることで、本発明にかかる撮像装置として機能させることができる。

なお、上記実施形態では、撮像装置の例として、デジタルスチルカメラを示したが、上記実施形態で例示したデジタルカメラ１と同様の構成を備えているものであれば撮像装置の形態は任意であり、例えば、デジタルビデオカメラなどで本発明にかかる撮像装置を実現することもできる。

いずれの場合でも、プログラムを適用することで、既存の装置を本発明にかかる画像表示装置として機能させることができる。このようなプログラムの適用方法は任意であり、例えば、ＣＤ−ＲＯＭやメモリカードなどの記憶媒体に格納して適用できる他、例えば、インターネットなどの通信媒体を介して適用することもできる。

１…デジタルカメラ、１１０…第１撮像部、１１１…光学装置、１１２…イメージセンサ部、１２０…第２撮像部、１２１…光学装置、１２２…イメージセンサ部、１３０…パターン投影部、２００…データ処理部、２１０…制御部、２１１…動作モード処理部、２１２…撮像制御部、２１３…パターン表示処理部、２１４…３Ｄモデリング部、２２０…画像処理部、２３０…画像メモリ、２４０…画像出力部、２５０…記憶部、２６０…外部記憶部、３００…インタフェース部、３１０…表示部、３２０…外部インタフェース部、３３０…操作部、ＤＰ１…（ドットが暗点の）ドットパターン、ＤＰ２…（ドットが輝点の）ドットパターン、ＴＧ…被写体、ＢＤ…背景物、ＣＰ…撮像画像、ＴＧｘ…（被写体部分の）エリア、ＢＤｘ…（背景物部分の）エリア、ＡＡ…（最終候補）エリア、ＡＢ…（最終候補）エリア

Claims (10)

1. 被写体光に基づく撮像画像を生成する撮像手段と、
   被写体にパターンを投影するパターン投影手段と、
   前記撮像手段が生成した撮像画像上で、前記パターン投影手段が投影したパターンが視認されやすい部分を検出する検出手段と、
   前記検出手段が検出した部分を拡大表示する表示手段と、
   を備え、
   前記検出手段は、
   前記撮像画像を複数の領域に分割する領域分割手段と、
   前記領域分割手段が分割した複数の領域のそれぞれで特徴を検出する特徴検出手段と、
   前記特徴検出手段が検出した特徴に基づいて、前記パターンがより視認されやすい領域を選択する領域選択手段と、をさらに備え、
   前記表示手段は、前記領域選択手段が選択した領域を拡大表示する、
   ことを特徴とする撮像装置。
2. 前記特徴検出手段は、前記複数の領域において判別分析法による二値化をおこない、
   前記領域選択手段は、前記二値化による分離度に基づいて、前記パターンがより視認されやすい領域を選択する、
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記特徴検出手段は、前記領域選択手段が選択した領域の白黒比を算出し、
   前記領域選択手段は、前記特徴検出手段が算出した白黒比と、前記パターン投影手段が投影したパターンの白黒比との一致度に基づいて、前記パターンがより視認されやすい領域をさらに選択する、
   ことを特徴とする請求項２に記載の撮像装置。
4. 被写体光に基づく撮像画像を生成する撮像手段と、
   被写体にパターンを投影するパターン投影手段と、
   前記撮像手段が生成した撮像画像上で、前記パターン投影手段が投影したパターンが視認されやすい部分を検出する検出手段と、
   前記検出手段が検出した部分を撮影者によって選択可能に拡大表示する表示手段と、
   を備え、
   前記撮像手段は、前記撮影者によって選択された部分の合焦動作をおこない、
   前記パターン投影手段は、前記表示手段が表示した部分が前記撮影者によって選択されない場合、投影するパターンを変更する、
   ことを特徴とする撮像装置。
5. 前記パターン投影手段は、複数種類のパターンを前記被写体に投影し、
   前記検出手段は、異なるパターン毎に得られた前記撮像画像毎に検出動作をおこなう、
   ことを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記撮像手段によって得られた撮像画像に基づいて、被写体のモデリングデータを生成するモデリングデータ生成手段をさらに備え、
   少なくとも前記検出手段は、前記モデリングデータ生成手段に前記撮像画像を供するための撮像の際に動作する、
   ことを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 被写体光に基づく撮像画像を生成する撮像手段と、被写体にパターンを投影するパターン投影手段と、を備える撮像装置におけるファインダ画像を表示する方法であって、
   前記撮像手段が生成した撮像画像上で、前記パターン投影手段が投影したパターンが視認されやすい部分を検出するステップと、
   前記検出された部分を表示手段に拡大表示させるステップと、
   を含み、
   前記検出するステップは、
   前記撮像画像を複数の領域に分割するステップと、
   前記分割した複数の領域のそれぞれで特徴を検出するステップと、
   前記検出した特徴に基づいて、前記パターンがより視認されやすい領域を選択するステップと、をさらに含み、
   前記拡大表示させるステップでは、前記選択した領域を拡大表示する、
   ことを特徴とする表示方法。
8. 被写体光に基づく撮像画像を生成する撮像手段と、被写体にパターンを投影するパターン投影手段と、を備える撮像装置におけるファインダ画像を表示する方法であって、
   前記撮像手段が生成した撮像画像上で、前記パターン投影手段が投影したパターンが視認されやすい部分を検出するステップと、
   前記検出ステップで検出された部分を表示手段に撮影者によって選択可能に拡大表示させるステップと、
   前記撮像手段に前記撮影者によって選択された部分の合焦動作をおこなわせるステップと、
   前記表示手段が表示した部分が前記撮影者によって選択されない場合、投影するパターンを変更するステップと、
   を含むことを特徴とする表示方法。
9. 被写体光に基づく撮像画像を生成する撮像手段と、被写体にパターンを投影するパターン投影手段と、を備える撮像装置を制御するコンピュータに、
   前記撮像手段が生成した撮像画像上で、前記パターン投影手段が投影したパターンが視認されやすい部分を検出する機能と、
   検出した部分を表示手段に拡大表示させる機能と、
   を実現させるプログラムであって、
   前記検出する機能は、
   前記撮像画像を複数の領域に分割する機能と、
   前記分割した複数の領域のそれぞれで特徴を検出する機能と、
   前記検出した特徴に基づいて、前記パターンがより視認されやすい領域を選択する機能と、をさらに有し、
   前記拡大表示させる機能は、前記選択した領域を拡大表示する、
   ことを特徴とするプログラム。
10. 被写体光に基づく撮像画像を生成する撮像手段と、被写体にパターンを投影するパターン投影手段と、を備える撮像装置を制御するコンピュータに、
    前記撮像手段が生成した撮像画像上で、前記パターン投影手段が投影したパターンが視認されやすい部分を検出する機能と、
    検出した部分を表示手段に撮影者によって選択可能に拡大表示させる機能と、
    前記撮像手段に前記撮影者によって選択された部分の合焦動作をおこなわせる機能と、
    前記表示手段が表示した部分が前記撮影者によって選択されない場合、投影するパターンを変更する機能と、
    を実現させることを特徴とするプログラム。

Images