JP6794638B2 - 検出装置、検出システム、検出方法、及び検出プログラム - Google Patents

Description

本発明は、検出装置、検出システム、検出方法、及び検出プログラムに関する。

複数の撮像装置により対象物を検出し、得られた複数の画像をコンピュータに入力し、対象物の三次元形状を取得する技術が提案されている（例えば、特許文献１参照）。

特開２０１０−１３４５４６号公報

例えば対象物の三次元形状を取得する際に、撮像装置から対象物上の各点までの距離を取得可能であることが望まれる。

本発明の態様に従えば、光学系と、光学系を介して対象物を検出する検出素子と、光学系の合焦位置を、対象物に合焦する第１合焦位置から、光学系の光軸方向における対象物の長さよりも長い距離離れた第２合焦位置として、第１の絞り値で対象物を検出する第１検出と第２の絞り値で対象物を検出する第２検出とを実行させる制御部と、第１検出の結果と第２検出の結果とを用いて対象物のデプス情報を算出する距離算出部と、を備え、対象物が複数存在する場合、または対象物以外の物体が存在する場合、各対象物または対象物と物体とのボケ量の範囲、またはボケ量の変化量の範囲が重複しないように、対象物の位置、物体の位置、及び第２合焦位置の少なくとも一つを設定する、検出装置が提供される。
本発明の態様に従えば、光学系と、光学系を介して対象物を検出する検出素子と、光学系の合焦位置を、対象物に合焦する第１合焦位置から、光学系の光軸方向における対象物の長さよりも長い距離離れた第２合焦位置として、第１の絞り値で対象物を検出する第１検出と第２の絞り値で対象物を検出する第２検出とを実行させる制御部と、第１検出の結果と第２検出の結果とを用いて対象物のデプス情報を算出する距離算出部と、を備える検出装置が提供される。
本発明の態様に従えば、光学系と、光学系を介して対象物を検出する検出素子と、光学系の合焦位置を第１合焦位置から第２合焦位置に変更し、第２合焦位置の状態において第１の絞り値で対象物を検出する第１検出と第２の絞り値で対象物を検出する第２検出とを実行させる制御部と、第１検出の結果と第２検出の結果とを用いて対象物のデプス情報を算出する距離算出部と、を備える検出装置が提供される。

本発明の態様に従えば、上記の態様の検出装置と、検出装置から出力される情報を処理する情報処理装置と、を備える検出システムが提供される。

本発明の態様に従えば、光学系の合焦位置を、対象物に合焦する第１合焦位置から、光学系の光軸方向における対象物の長さよりも長い距離離れた第２合焦位置として、第１の絞り値で対象物を検出する第１検出と第２の絞り値で対象物を検出する第２検出とを実行することと、第１検出の結果と第２検出の結果とを用いて対象物のデプス情報を算出することと、を含み、対象物が複数存在する場合、または対象物以外の物体が存在する場合、各対象物または対象物と物体とのボケ量の範囲、またはボケ量の変化量の範囲が重複しないように、対象物の位置、物体の位置、及び第２合焦位置の少なくとも一つを設定する、検出方法が提供される。
本発明の態様に従えば、光学系の合焦位置を、対象物に合焦する第１合焦位置から、光学系の光軸方向における対象物の長さよりも長い距離離れた第２合焦位置として、第１の絞り値で対象物を検出する第１検出と第２の絞り値で対象物を検出する第２検出とを実行することと、第１検出の結果と第２検出の結果とを用いて対象物のデプス情報を算出することと、を含む検出方法が提供される。
本発明の態様に従えば、光学系の合焦位置を第１合焦位置から第２合焦位置に変更し、第２合焦位置の状態において第１の絞り値で対象物を検出する第１検出と第２の絞り値で対象物を検出する第２検出とを実行することと、第１検出の結果と第２検出の結果とを用いて対象物のデプス情報を算出することと、を含む検出方法が提供される。

本発明の態様に従えば、コンピュータに、光学系の合焦位置を、対象物に合焦する第１合焦位置から、光学系の光軸方向における対象物の長さよりも長い距離離れた第２合焦位置として、第１の絞り値で対象物を検出する第１検出と第２の絞り値で対象物を検出する第２検出とを検出素子に実行させることと、第１検出の結果と第２検出の結果とを用いて対象物のデプス情報を算出させることと、を実行させ、対象物が複数存在する場合、または対象物以外の物体が存在する場合、各対象物または対象物と物体とのボケ量の範囲、またはボケ量の変化量の範囲が重複しないように、対象物の位置、物体の位置、及び第２合焦位置の少なくとも一つを設定する、検出プログラムが提供される。
本発明の態様に従えば、コンピュータに、光学系の合焦位置を、対象物に合焦する第１合焦位置から、光学系の光軸方向における対象物の長さよりも長い距離離れた第２合焦位置として、第１の絞り値で対象物を検出する第１検出と第２の絞り値で対象物を検出する第２検出とを検出素子に実行させることと、第１検出の結果と第２検出の結果とを用いて対象物のデプス情報を算出させることと、を実行させる検出プログラムが提供される。
本発明の態様に従えば、コンピュータに、光学系の合焦位置を第１合焦位置から第２合焦位置に変更し、第２合焦位置の状態において第１の絞り値で対象物を検出する第１検出と第２の絞り値で対象物を検出する第２検出とを検出素子に実行させることと、第１検出の結果と第２検出の結果とを用いて対象物のデプス情報を算出させることと、を実行させる検出プログラムが提供される。

第１実施形態に係る検出装置の一例を示す図である。 第１実施形態に係る検出装置の動作の一例を示す図である。 第１実施形態に係る絞り値の変更に伴うボケ量の変化を示す図である。 第１実施形態に係る対象物の位置と測距範囲の一例を示す図である。 第１実施形態に係る対象物の位置と測距範囲の他の例を示す図である。 第１実施形態に係る検出方法の一例を示すフローチャートである。 第１実施形態に係る検出装置の動作の他の例を示すフローチャートである。 第１実施形態に係る検出装置の動作の他の例を示すフローチャートである。 第２実施形態に係る検出装置の一例を示す図である。 第２実施形態に係る検出方法の一例を示すフローチャートである。 第３実施形態に係る検出システムの一例を示す図である。 第３実施形態に係る検出システムの一例を示すブロック図である。 第４実施形態に係る検出システムの一例を示す図である。 第４実施形態に係る検出システムの一例を示すブロック図である。

［第１実施形態］
第１実施形態について説明する。図１は、本実施形態に係る検出装置（例、撮像装置）１の一例を示す図である。本実施形態において、検出装置は撮像装置１として説明する。例えば、本実施形態における撮像装置１は、光学系２（結像光学系、撮像光学系）、検出素子（例、撮像素子）３、制御ユニット４、及び本体部５を備える。本体部５は、例えば、カメラボディ、ケース、筐体などである。光学系２、検出素子としての撮像素子３、及び制御ユニット４は、例えば、本体部５に設けられる。

光学系２は、例えば撮影レンズなどの結像光学系である。光学系２は、例えば、本体部５に対して交換可能に設けられる交換レンズでもよいし、本体部５に固定された内蔵レンズでもよい。光学系２は、例えば、レンズ１１、レンズ１２、駆動部１３、絞り部材１４、及び駆動部１５を備える。

レンズ１１およびレンズ１２は、例えば、対象物ＯＢを含む物体側の像を形成する。レンズ１１およびレンズ１２は、対象物ＯＢの像を検出素子である撮像素子３に投影する。検出装置である撮像装置１は、例えば、光学系２を構成する部材の少なくとも一部を光学系２の光軸２ａの方向（例えば、光軸２ａに平行な方向）に沿って移動させ、光学系２の合焦位置を変化させる。例えば、レンズ１１およびレンズ１２は、光学系２の光軸２ａに平行な方向に移動可能に設けられる。光学系２は、その合焦位置および焦点距離を、光軸２ａに平行な方向におけるレンズ１１およびレンズ１２の位置に応じた値に設定可能である。図１（Ａ）などにおいて、光学系２の合焦位置（合焦面、フォーカス面）が第１合焦位置Ｚ１である状態を実線で示し、光学系２の合焦位置が第２合焦位置Ｚ２である状態を二点鎖線で示す。なお、レンズ１１およびレンズ１２は、光軸２ａと交差する方向に移動可能なレンズ（シフトレンズ）でもよいし、光軸２ａの方向を可変なレンズ（チルトレンズ）でもよい。

第１合焦位置Ｚ１は、例えば所定の範囲（第１範囲）Ａ１の内側（第１範囲内）に設定され、第２合焦位置Ｚ２は例えば範囲Ａ１の外側（第１範囲外）に設定される。範囲Ａ１は、例えば、光学系２の光軸２ａと平行な方向において、対象物ＯＢのうち撮像素子３による撮像画像に写る範囲を少なくとも含む。例えば、対象物ＯＢは、撮像素子３の視点から見える前方（一方）の部分ＯＢａと、撮像素子３の視点から見て前方の部分ＯＢａの影になる後方（他方）の部分ＯＢｂとを含み、範囲Ａ１は、対象物ＯＢの少なくとも前方の部分ＯＢａを含む。範囲Ａ１は、光軸２ａと平行な方向において、前方の部分ＯＢａよりも撮像素子３から離れた位置を含んでもよいし、前方の部分ＯＢａよりも撮像素子３に近い位置を含んでもよい。第２合焦位置Ｚ２は、光軸２ａと平行な方向において、範囲Ａ１に対して撮像素子３から離れた位置または撮像素子３に近い位置に設定される。

絞り部材１４は、例えば開口絞りであり、レンズ１１とレンズ１２との間の光路における開口絞りの位置に配置される。絞り部材１４は、対象物ＯＢからの光が入射可能（通過可能）な開口部１４ａを有する。絞り部材１４は、開口部１４ａの大きさ（例、内寸）を可変である。駆動部１５は、制御ユニット４（例、制御部２１）に制御され、開口部１４ａの大きさ（例、内寸）を変更する。光学系２の絞り値（例、Ｆ値、Ｆナンバー）は、絞り部材１４の開口部１４ａの大きさ（例、内寸）に応じた値に設定可能である。駆動部１３は、レンズ１１およびレンズ１２を移動させる際に、開口絞りの位置の変化に応じて絞り部材１４を移動させる。

撮像素子３は、光学系２を介して対象物ＯＢを光学的に検出する。撮像素子３は、光学系２が形成した対象物ＯＢの像を撮像する。撮像素子３は、例えば、ＣＭＯＳセンサ、ＣＣＤセンサなどの二次元イメージセンサである。撮像素子３は、二次元的に配列された複数の画素ｐｘを有する。撮像素子３は、複数の画素ｐｘのそれぞれにフォトダイオードなどの光検出器が配置された構造である。複数の画素ｐｘには、光学系２から入射した光により電荷が発生し、撮像素子３は、例えば、各画素に発生した電荷を読出し回路（図示せず）により読出し、増幅、ＡＤ変換することで、電荷に応じた信号（例、撮像画像のデータ）を生成する。撮像素子３は、制御ユニット４と電気的に接続され、生成した撮像画像のデータを制御ユニット４に供給する。撮像装置１は、撮像素子３の代わりに、光学系２を介して対象物ＯＢからの光を受光（検出）する受光素子（検出素子、受光センサ）を備えてもよい。

対象物ＯＢ上の各点に対応する撮像素子３上での光強度分布（例、像）は、対象物ＯＢ上の各点と撮像素子３との距離および光学系２の絞り値に応じて変化する。例えば、対象物ＯＢにおいて合焦位置から離れた点は、その点に対応する撮像素子上の像にボケが生じる。そして、対象物ＯＢ上の点は、合焦位置から離れる距離が大きいほど、この点に対応する撮像画像における像のボケ量が大きくなる。ボケ量は、例えば、撮像画像における領域ごとの像のボケのレベル（程度）を示す量である。対象物ＯＢ上の各点に対応するボケ量は、例えば、対象物ＯＢ上の各点からの光の撮像素子３上での光強度分布に依存する量である。ボケ量は、例えば、対象物ＯＢ上の各点の、合焦時と非合焦時との像（スポット）のサイズの比率で表される。また、例えば、光学系２の絞り値が大きいほど被写界深度が深くなり、撮像画像上での像のボケ量が小さくなる。

制御ユニット４は、撮像装置１の各部を包括的に制御する。制御ユニット４は、例えば、制御部２１、距離算出部２２、及び記憶部２３を備える。制御部２１は、例えば、駆動部１３を制御してレンズ１１およびレンズ１２を移動させ、光学系２の合焦位置を制御する。また、制御部２１は、駆動部１５を制御して絞り部材１４の開口部１４ａの内寸を調整し、光学系２の絞り値を変更する。また、制御部２１は、撮像素子３を制御し、撮像素子３に対象物ＯＢを撮像させる。制御部２１は、駆動部１３及び撮像素子３を制御して、対象物ＯＢを含む領域の画像を取得する。

撮像装置１は、例えばオートフォーカス機構２４を備え、光学系２の合焦位置を、オートフォーカス機構２４により第１合焦位置Ｚ１に設定する。オートフォーカス機構２４は、例えば、レンズ１１、レンズ１２、駆動部１３、光検出器（例、撮像素子３）、及び演算部（例、制御部２１）を含む。オートフォーカス機構２４は、例えば、駆動部１３によりレンズ１１およびレンズ１２を移動させ、光学系２の合焦位置を変更しながら、光学系２を通った光を撮像素子３により検出する。オートフォーカス機構２４において、制御部２１は、撮像素子３の検出結果（撮像結果、撮像画像）をもとに駆動部１３をフィードバック制御し、光学系２の合焦位置を所定の位置（例、第１合焦位置）に合わせる。なお、オートフォーカス機構２４の構成は、上述の例に限定されず、適宜変更可能である。また、撮像装置１は、オートフォーカス機構２４を備えなくてもよく、例えばユーザが手動で合焦位置を調整してもよい。

撮像装置１は、例えば、撮像素子３を光学系２の光軸２ａの方向に移動させ、撮像素子３と光学的に共役な位置（例、合焦位置）を変更してもよい。また、撮像装置１は、光学系２ａの少なくとも一部と撮像素子３とを光学系２の光軸２ａの方向（例、所定の一方向）に相対移動させ、撮像素子３と光学的に共役な位置を変更してもよい。また、撮像装置１は、光学系２ａの少なくとも一部と撮像素子３とのうち、一方を光学系２の光軸２ａの方向に移動させ、他方を光学系２の光軸２ａの方向に移動させないで、撮像素子３と光学的に共役な位置（例、合焦位置）を変更してもよい。

本実施形態において、制御部２１は、デプス情報の生成に使われる複数の撮像画像を撮像素子３に取得させる。図２は、デプス情報の生成に使われる撮像画像を取得する際の撮像装置１の動作の一例を示す図である。

図２（Ａ）において、光学系２の合焦位置はユーザによって指定位置（例、ユーザがデプス情報を取得したい対象物ＯＢ上の部分）として第１合焦位置Ｚ１に設定されているため、第１合焦位置Ｚ１上の各点から出射した光は、撮像素子３上の所定の範囲（例、１画素、２画素）に像を結ぶ。例えば、光学系２の合焦位置が第１合焦位置Ｚ１に設定されている場合、第１合焦位置Ｚ１上に存在する対象物ＯＢ上の各点（例、図２（Ａ）のＺ４）から出射した光は、撮像素子３条の所定の範囲に結像する。次に、制御部２１は、駆動部１３を制御し、図２（Ｂ）に示すように光学系２の合焦位置を第１合焦位置Ｚ１から第２合焦位置Ｚ２に変更する。図２（Ｂ）では、説明の便宜上、第２合焦位置Ｚ２からの光が対象物ＯＢに遮られないものとして図示した。第２合焦位置Ｚ２上の各点から出射した光は、撮像素子３上の所定の範囲（例、１画素）に像を結ぶ。

なお、図２（Ｃ）に示すように、光学系２の合焦位置が第２合焦位置Ｚ２に設定された状態において、対象物ＯＢ上の各点（例、点Ｚ３）から出た光は、光学系２の光軸２ａの方向において撮像素子３とずれた位置に像を結び、撮像素子３の所定の範囲（例、複数画素）に入射する。点Ｚ３の像Ｉｍ１は、点Ｚ３と第２合焦位置Ｚ２との距離（デフォーカス量）、及び光学系２の絞り値に応じたボケ量を含む。このボケ量は、例えば、点Ｚ３の像に相当する光強度分布の分散などで表される。例えば、点Ｚ３からの光が３行３列の９個の画素に入射する場合、これら９つの画素の出力値の分布をガウス分布で近似し、この分布の分散を示す値（例、半値幅、標準偏差）などによりボケ量が表される。

次に、制御部２１は、光学系２の合焦位置が第２合焦位置Ｚ２に設定され、かつ光学系２の絞り値が第１の絞り値に設定された状態で、撮像素子３に対象物ＯＢを撮像（第１検出、第１撮像）させ、図２（Ｄ）の状態に対応する第１撮像画像Ｐ１を取得させる。

また、制御部２１は、制御部２１は、第１撮像画像を取得させた後、光学系２の合焦位置が第２合焦位置Ｚ２に設定された状態を維持し、駆動部１５を制御し、光学系２の絞り値を変更させる。図２（Ｅ）において、説明の便宜上、第２の絞り値が第１の絞り値よりも大きいものとする。制御部２１は、光学系２の合焦位置が第２合焦位置Ｚ２に設定され、かつ光学系２の絞り値が第２の絞り値に設定された状態で、撮像素子３を制御して対象物を撮像（第２検出、第２撮像）させ、第２撮像画像Ｐ２を取得させる。

第２撮像画像Ｐ２上の各点のボケ量は、各点に相当する対象物ＯＢ上の部分から第２合焦位置までの距離（デフォーカス量）、及び第２の絞り値に応じた値になる。例えば、点Ｚ４から出た光は、図２（Ｄ）と比較して、広がり成分（例、高ＮＡ成分）が絞り部材１４に遮光され、撮像素子３において狭い範囲に入射する。例えば、図２（Ｅ）において、点Ｚ４から出た光は、撮像素子３において３行３列の９個の画素に入射し、点Ｚ４の第２撮像画像Ｐ２上の像Ｉｍ３のボケ量は、点Ｚ４の第１撮像画像Ｐ１上の像Ｉｍ２（図２（Ｄ）参照）のボケ量よりも小さくなる。このように、制御部２１は、第１撮像および第２撮像により、撮像素子３と対象物ＯＢとの距離および光学系２の絞り値に応じたボケ量を含む複数の画像（例、第１撮像画像Ｐ１、第２撮像画像Ｐ２、第１検出の結果、第２検出の結果）を取得させる。距離算出部２２（図１参照）は、例えば、第１撮像画像Ｐ１における点Ｚ４の像のボケ量と、第２撮像画像Ｐ２における点Ｚ４の像のボケ量との比較によって、点Ｚ４のデプス（位置情報）を算出する。例えば、距離算出部２２は、第１撮像画像Ｐ１における点Ｚ４の像のボケ量、及び第２撮像画像Ｐ２における点Ｚ４の像のボケ量を算出する。また、距離算出部２２は、例えば、第１撮像画像Ｐ１と第２撮像画像Ｐ２とで点Ｚ４の像のボケ量の変化量（例、差）を算出する。距離算出部２２は、例えば、算出したボケ量の変化量を、ボケ量の変化量とデプスとの関係を予め定めた情報（参照情報、後に図３で説明する）に照合して、点Ｚ４のデプスを算出する。距離算出部２２は、例えば、対象物ＯＢ上の部分ごとに点Ｚ４と同様にデプスを算出する。例えば、図２（Ｃ）も第１撮像画像Ｐ１であり、距離算出部２２は、第１撮像画像Ｐ１における点Ｚ３の像のボケ量と、第２撮像画像Ｐ２における点Ｚ３の像（図示せず）のボケ量との比較によって、点Ｚ３に関するデプスを算出する。距離算出部２２は、対象物ＯＢ上の各部分に相当する撮像画像上の位置（例、画素の位置）と、この部分に関するデプスとを関連付けることでデプス情報（例、デプスマップ、デプス画像）を生成する。

図３は、絞り値の変更に伴うボケ量の変化を示す図である。図３の符号Ｄ１は、光軸２ａと平行な方向における、撮像装置１の視点（例、撮像素子３）から第１合焦位置Ｚ１までの距離である。また、符号Ｄ２は、光軸２ａと平行な方向における、撮像装置１の視点（例、撮像素子３）から第２合焦位置Ｚ２までの距離である。符号ΔＤは、距離Ｄ２と距離Ｄ１との差に相当する距離である。また、符号Ｌは、光軸２ａと平行な方向における対象物ＯＢの大きさである。撮像装置１は、例えば、図１に示したレンズ１１およびレンズ１２を繰り出すことにより、光学系２の焦点距離を距離ΔＤだけ変化させ、光学系２の合焦位置を第１合焦位置Ｚ１から第２合焦位置Ｚ２に変更する。以下、レンズ１１およびレンズ１２の移動量を、適宜、繰り出し量Ｘで表す。

図３において、符号Ｑは、光軸２ａと平行な方向における位置とボケ量との関係を示すグラフであり、符号Ｑ１は第１の絞り値に対応するボケ量であり、符号Ｑ２は第２の絞り値に対応するボケ量である。ボケ量Ｑ１およびボケ量Ｑ２は、それぞれ、第１合焦位置Ｚ１から離れた位置（例、撮像装置１に近い位置）であるほど、大きくなる。また、第１の絞り値が第２の絞り値よりも大きい場合、位置Ｚ５におけるボケ量Ｑ１は、ボケ量Ｑ２よりも小さい。ここで、位置Ｚ５におけるボケ量Ｑ２とボケ量Ｑ１との差（変化量ΔＱ）は、第２合焦位置Ｚ２と位置Ｚ５との距離Ｄ３の関数である。例えば、位置Ｚ５におけるボケ量Ｑ２とボケ量Ｑ１との差（変化量ΔＱ）は、第２合焦位置Ｚ２と位置Ｚ５との距離Ｄ３に相関する。例えば、第１撮像画像上の位置Ｚ５におけるボケ量Ｑ１と、第２撮像画像上の位置Ｚ５におけるボケ量Ｑ２との変化量ΔＱ、及び変化量ΔＱと距離Ｄ３との関数を用いることで、距離Ｄ３が算出される。また、例えば、距離Ｄ２と距離Ｄ３とを用いることで、撮像装置１の視点（例、撮像素子３）から位置Ｚ５までの距離Ｄ４が算出される。

図３において、第２合焦位置Ｚ２は、撮像装置１を基準として対象物ＯＢよりも遠くに設定されている。第２合焦位置Ｚ２よりも撮像装置１に近い位置に対するボケ量（例、ボケ量Ｑ１）の関係は、下に凸のカーブになっている。この場合、撮像装置１に近い位置であるほど、位置に対するボケ量の傾きの絶対値が大きい。したがって、測定対象の位置（例、位置Ｚ５）が第２合焦位置Ｚ２に対して撮像装置１に近いほど、ΔＱの増加率が大きくなり、ボケ量から位置を算出する際の精度が高くなる。また、例えば、第２合焦位置Ｚ２は、第１合焦位置Ｚ１の被写界深度の範囲外であって、対象物ＯＢ上に合焦しない位置であり、ユーザによって設定される。

なお、ボケ量の値は絞り値の値によって変化し、ボケ量の変化量ΔＱの値は、絞り値の変化前の値と変化後の値との組み合わせによって変化する。図３には、第３の絞り値に対応するボケ量Ｑ３、第４の絞り値に対応するボケ量Ｑ４、第５の絞り値に対応するボケ量Ｑ５も図示した。距離Ｄ３の算出に用いるボケ量に対応する絞り値の組み合わせは、上述の第１の絞り値および第２絞り値のように予め定められていてもよいし、複数の絞り値（例、第１〜第５の絞り値）から選択可能（可変）でもよい。例えば、距離Ｄ３の算出に用いるボケ量に対応する絞り値は、ユーザが指定可能でもよいし、測距範囲（対象物ＯＢの大きさＬ）に応じて撮像装置１（例、制御部２１）が選択してもよい。また、絞り値の変化前の値と変化後の値は、双方が固定値でもよいし、一方が固定値で他方が可変値でもよく、双方が可変値でもよい。

図４は、対象物ＯＢの位置と、第２合焦位置、測距範囲の例を示す図である。図４（Ａ）において、対象物ＯＢは、撮像装置１に対して第１の位置に配置される。第１の位置は、例えば、撮像装置１に対して比較的近い位置である。この場合、第２合焦位置Ｚ２は、例えば、撮像装置１を基準として、測距範囲（対象物ＯＢの大きさＬ）よりも遠くに設定される。

図４（Ｂ）において、対象物ＯＢは、図４（Ａ）と比べて撮像装置１から遠い第２の位置に配置される。第２位置は、例えば、対象物ＯＢが第２合焦位置Ｚ２と重なる位置である。第２位置に配置された対象物ＯＢは、例えば、その一部が第２合焦位置Ｚ２よりも撮像装置１の近くに配置され、他の部分が第２合焦位置Ｚ２よりも撮像装置１の遠くに配置される。この場合、第２合焦位置は、例えば、第２合焦位置Ｚ２と比べて撮像装置１から遠い第２合焦位置Ｚ６に変更される。この場合、第２合焦位置Ｚ６は、例えば、撮像装置１を基準として、測距範囲（対象物ＯＢの大きさＬ）よりも遠くに設定される。

図４（Ｃ）において、対象物ＯＢは、図４（Ｂ）と比べて撮像装置１から遠い第３の位置に配置される。第３位置は、例えば、対象物ＯＢが第２合焦位置Ｚ６と重なる位置である。第３位置に配置された対象物ＯＢは、例えば、その一部が第２合焦位置Ｚ６よりも撮像装置１の近くに配置され、他の部分が第２合焦位置Ｚ６よりも撮像装置１の遠くに配置される。この場合、第２合焦位置（例、第２合焦位置Ｚ２）は、例えば、撮像装置１を基準として、測距範囲（対象物ＯＢの大きさＬ）よりも近くに設定される。

図５は、複数の対象物（ＯＢ１、ＯＢ２）の位置と、第２合焦位置、測距範囲の例を示す図である。図５（Ａ）において、第２合焦位置Ｚ２は、例えば、撮像装置１を基準として、第１対象物ＯＢ１に対する測距範囲（Ｌ１）よりも近く、かつ第２対象物ＯＢ２に対する測距範囲（Ｌ２）よりも近くに設定される。この場合、第２合焦位置（例、第２合焦位置Ｚ２）を撮像装置１に対して比較的近くに設定することで、絞り値を変更する前後でのボケ量の変化量が大きくなり、第１対象物ＯＢ１上の位置、第２対象物ＯＢ２上の位置を精度よく測定することができる。

図５（Ｂ）において、第２合焦位置Ｚ６は、例えば、撮像装置１を基準として、第１対象物ＯＢ１に対する測距範囲（Ｌ１）よりも遠く、かつ第２対象物ＯＢ２に対する測距範囲（Ｌ２）よりも遠くに設定される。この場合、第２合焦位置（例、第２合焦位置Ｚ６）を撮像装置１に対して比較的遠くに設定することで、絞り値を変更する前後でのボケ量の変化量が飽和することを避けることができ、第１対象物ＯＢ１上の位置、第２対象物ＯＢ２上の位置を精度よく測定することができる。

図５（Ｃ）において、第２合焦位置Ｚ６は、撮像装置１を基準として第１対象物ＯＢ１よりも遠く、かつ第２対象物ＯＢ２よりも近くに設定される。第２合焦位置Ｚ６は、測距範囲（Ｌ１）におけるボケ量の変化量ΔＱ１の範囲と測距範囲（Ｌ２）におけるボケ量の変化量ΔＱ２の範囲とが重複しないように、設定される。例えば、第２合焦位置Ｚ６は、変化量ΔＱ１の最小値が変化量ΔＱ２の最大値よりも大きくなるように、設定される。この場合、絞り値を変更する前後でのボケ量の変化量は、測距範囲（Ｌ１）と測距範囲（Ｌ２）とで異なり、測距範囲（Ｌ１）における位置と測距範囲（Ｌ２）における位置とを区別することが容易である。

なお、第２対象物ＯＢ２は、距離を測定する対象の物体でもよいし、距離を測定する対象以外の物体でもよい。図５（Ａ）、図５（Ｂ）のように、第２合焦位置が、第２合焦位置に対して第１対象物ＯＢ１、第２対象物ＯＢ２が同じ側に配置される場合、絞り値を変更する前後でのボケ量の変化量（又は差）は、測距範囲（Ｌ１）と測距範囲（Ｌ２）とで異なり、測距範囲（Ｌ１）における位置と測距範囲（Ｌ２）における位置とを区別することが容易である。また、図５（Ｃ）のように、第２合焦位置Ｚ６が、測距範囲（Ｌ１）におけるボケ量の変化量ΔＱ１の範囲と測距範囲（Ｌ２）におけるボケ量の変化量ΔＱ２の範囲とが重複しないように設定される場合、測距範囲（Ｌ１）における位置と測距範囲（Ｌ２）における位置とを区別することが容易である。第２対象物ＯＢ２が距離を測定する対象以外の物体（検出対象でない物体）である場合、例えば、第２対象物ＯＢ２に関するボケ量の範囲が第１対象物ＯＢ１のボケ量の範囲と重ならないように、第１対象物ＯＢ１、第２対象物ＯＢ２、及び第２合焦位置の相対的な位置関係が設定される。例えば、ユーザは、予め定められた第２合焦位置に基づいて、第１対象物ＯＢ１と第２対象物ＯＢ２との少なくとも一方の配置を調整してもよい。例えば、ユーザは、第２対象物ＯＢ２を、第１対象物ＯＢ１に関するボケ量に対応するエリアに置かない、あるいはこのようなエリアから移動させる。また、ユーザは、第１対象物ＯＢ１および第２対象物ＯＢ２の配置に応じて、第２合焦位置を調整してもよい。

図１の説明に戻り、距離算出部２２は、例えば、第１検出（第１撮像）の結果（第１撮像画像、第１検出結果）と第２検出（第２撮像）の結果（第２撮像画像、第２検出結果）とを用いて、第２合焦位置から対象物ＯＢ上の各点までの距離（デフォーカス量）を算出する。例えば、距離算出部２２は、第１撮像による第１撮像画像および第２撮像による第２撮像画像を用いて、デプスフロムデフォーカス（depth from defocus、ＤＦＤ法）により、対象物ＯＢ上の各点から撮像素子３までのデプス情報を算出する。デプス情報は、例えば、対象物ＯＢの表面上の点の位置と、この点から撮像装置１の視点（例、撮像素子３）までの距離（デプス、深度）とを関連付けた情報を含む。デプス情報は、例えば、対象物ＯＢを含んだ領域のデプスの分布（例、デプスマップ）を示す情報である。また、例えば、距離算出部２２は、対象物ＯＢに対する合焦位置を変更した少なくとも２つの検出結果（例、第１撮像画像、第２撮像画像）を用いて、対象物ＯＢ上の各点から撮像素子３までのデプス情報を算出する。

距離算出部２２は、例えば、第１撮像画像の領域ごとにボケ量Ｑ１を算出し、第２撮像画像の領域ごとにボケ量Ｑ２を算出する。上記の領域は、例えば、１つの画素または複数の画素を含む。距離算出部２２は、第１撮像画像と第２撮像画像とで対象物ＯＢの同じ領域におけるボケ量の変化量ΔＱを算出する。また、距離算出部２２は、変化量ΔＱを用いて、撮像装置１の視点（例、撮像素子３）から、上記の領域に相当する実空間上の位置（例、図３の位置Ｚ５）までの距離を算出する。距離算出部２２は、例えば、第１撮像画像上の複数の領域のそれぞれについて、撮像装置１の視点（例、撮像素子３）からの距離を算出し、その算出値を上記の領域の位置に応じて配列することにより、デプス情報を算出する。なお、デプス情報の算出方法は、上述の例に限定されず、他の算出方法でもよい。また、距離算出部２２は、光学系２の焦点距離、収差、及び光学系２に含まれるレンズ部材の口径のうち少なくとも１つを用いてデプス情報を算出してもよい。

記憶部２３は、例えばフラッシュメモリなどの不揮発メモリを含む。記憶部２３は、例えば、撮像装置１の各種設定情報、制御部２１による制御に使われるデータ、撮像素子３による撮像画像のデータ、距離算出部２２によるデプス情報の算出処理に使われるデータなどを記憶する。例えば、図３に示した第１合焦位置Ｚ１と第２合焦位置Ｚ２との距離ΔＤは、予め設定されており、記憶部２３は、距離ΔＤの設定値を記憶する。

例えば、制御部２１は、光学系２の合焦位置を変更する際に、記憶部２３に記憶された距離ΔＤの設定値に基づいて、レンズ１１およびレンズ１２を、距離ΔＤに応じた繰り出し量Ｘだけ移動させてもよい。また、距離算出部２２は、例えば、第１合焦位置Ｚ１が指定されている場合、光学系２の焦点距離により定まる距離Ｄ１（図３参照）と、記憶部２３に記憶された距離ΔＤの設定値を用いて、撮像素子３から第２合焦位置Ｚ２までの距離Ｄ２を算出してもよく、算出した距離Ｄ２および距離Ｄ３を用いて距離Ｄ４を算出してもよい。

なお、第１合焦位置Ｚ１と第２合焦位置Ｚ２との距離ΔＤは、例えば、撮像素子３から対象物ＯＢまでの距離Ｄ１、対象物ＯＢの大きさＬ、第１撮像における第１の絞り値、及び第２撮像における第２の絞り値のうち少なくとも１つに基づいて設定される。例えば、ΔＤは対象物ＯＢの大きさＬよりも大きくてもよい。この場合、対象物ＯＢの全域を測距可能な範囲に収めることができる。距離ΔＤは、予め設定された固定値でもよいし、ユーザが指定する指定値でもよく、距離Ｄ１、対象物ＯＢの大きさＬ、第１の絞り値、及び第２の絞り値の少なくとも１つに基づいて設定される可変値でもよい。また、第１撮像における第１の絞り値および第２撮像における第２の絞り値は、例えば、撮像素子３から対象物ＯＢまでの距離Ｄ１および対象物ＯＢの大きさＬの少なくとも一方に基づいて、設定される。第１の絞り値および第２の絞り値は、予め設定された固定値でもよいし、ユーザが指定する指定値でもよく、距離Ｄ１および対象物ＯＢの大きさＬの少なくとも一方に基づいて設定される可変値でもよい。

本実施形態において、撮像装置１は、表示部３１、入力部（第１入力部３２、第２入力部３３）、及び通信部３４を備える。表示部３１は、例えば、液晶ディスプレイ又はタッチパネル型ディスプレイを含む。表示部３１は、例えば、本体部５（図１（Ｂ）参照）の背面側に設けられる。表示部３１は、例えば、制御ユニット４に制御され、撮像装置１の各種設定情報、撮像素子３が撮像画像などの各種情報を表示する。

第１入力部３２は、例えば、レリーズボタンであり、本体部５（図１（Ｂ）参照）の上面に設けられる。第１入力部３２は、例えば、ユーザから、指令に応じた入力を受け付ける。例えば、第１入力部３２がレリーズボタンである場合、レリーズボタンの「半押し」の入力はオートフォーカスの実行を要求する指令（第１指令）に対応し、レリーズボタンの「全押し」の入力は撮像の実行を要求する指令（第２指令）に対応する。第１入力部３２は、ユーザからの入力を検出し、その検出結果（例、検出信号）を制御部２１に供給する。

第２入力部３３は、例えば、操作ボタン、機械式スイッチなどであり、本体部５（図１（Ｂ）参照）の背面側に設けられる。表示部３１がタッチパネル型ディスプレイを含む場合、このタッチパネル型ディスプレイは第２入力部３３の少なくとも一部でもよい。第２入力部３３は、例えば、ユーザが合焦位置（例、第１合焦位置、第２合焦位置）を指定する際に利用される。例えば、制御部２１は、撮像素子３により得られるプレビュー画像を表示部３１に表示させ、ユーザは、プレビュー画像上で所望の位置に触れることで、位置を指定可能である。また、第２入力部３３は、例えば、ユーザから設定情報の入力等を受け付ける。例えば、制御ユニット４は、表示部３１に各種設定の画像を表示し、ユーザは第２入力部３３を介して、設定項目の選択、設定の決定などを入力可能である。例えば、ユーザは、第２入力部３３を介して、第１の絞り値、第２の絞り値、図３に示した距離Ｄ１、距離Ｄ２、距離ΔＤ、及び大きさＬの少なくとも１つについて、設定値を入力可能である。第２入力部３３は、ユーザからの入力を検出し、その検出結果を制御部２１に供給する。

制御部２１は、例えば、第１入力部３２が操作されたか否かを監視し、第１入力部３２が操作された場合に所定の処理を実行させる。制御部２１は、例えば、第１入力部３２が半押しされたと判定した場合（第１判定）に、光学系２の合焦位置を、オートフォーカス機構２４を利用して、指定位置に応じた第１合焦位置に設定する。また、制御部２１は、例えば、第１入力部３２が全押しされたと判定した場合（第２判定）に、光学系２の合焦位置を第２合焦位置に変更し、第１の絞り値で第１撮像を実行させ、続いて第２の絞り値で第２撮像を実行させる。

通信部３４は、例えば、本体部５に収容される。通信部３４は、有線または無線を介して、撮像装置１の外部の装置（以下、外部装置という）と通信可能に接続される。通信部３４は、例えば、ＵＳＢポート、ネットワークカード、電波または赤外線の無線通信を行う通信器のうち少なくとも一つを含む。通信部３４は、例えば、記憶部２３に記憶されている情報（例、撮像画像のデータ、デプス情報、各種設定情報）を外部装置に送信する。また、通信部３４は、外部装置から、撮像装置１に対する動作指令、設定情報などを受信可能である。例えば、制御部２１は、外部装置から通信部３４を介して供給される動作指令（動作信号）に従って、撮像装置１の各部に処理を実行させてもよい。

次に、撮像装置１の動作に基づき、本実施形態に係る検出方法（例、撮像方法）の一例について説明する。図６は、本実施形態に係る撮像方法の一例を示すフローチャートである。撮像装置１は、例えば、デプス情報の算出に使われる複数の画像（例、第１撮像画像、第２撮像画像）を取得するモード（デプス情報の取得モード）と、通常の撮影に使われるモード（通常モード）とを有し、二つのモードを切り替え可能である。ここでは、デプス情報の取得モードについて説明する。撮像装置１は、例えば、デプス情報の算出に使われる複数の画像（例、第１撮像画像、第２撮像画像）を、複数の撮像（例、第１撮像、第２撮像）により、取得する。撮像装置１は、例えば、デプス情報の算出に使われる複数の画像（例、第１撮像画像、第２撮像画像）を一連の処理（１つのシーケンス）内で取得する。

ステップＳ１において、制御部２１は、光学系２の合焦位置の指定位置が第２入力部３３に入力されたか否かを判定（監視）する。制御部２１は、指定位置の入力がないと判定した場合（ステップＳ１；Ｎｏ）、例えば第２入力部３３に対する入力の監視を継続する。制御部２１は、指定位置の入力があったと判定した場合、ステップＳ２において、光学系２の合焦位置を第１合焦位置に設定する。例えば、制御部２１は、ユーザが第１入力部３２を「半押し」したことへの応答として、光学系２の合焦位置を第１合焦位置に設定する。

なお、制御部２１は、ステップＳ１において指定位置が入力されたことへの応答として、光学系２の合焦位置を第１合焦位置に設定してもよい。また、例えば、第１入力部３２がレリーズボタンを含む場合、制御部２１は、ステップＳ１において、レリーズボタンが半押しされたと判定した場合に、合焦位置の指定位置として、撮像素子３の視野の中心の位置が指定されたと判定してもよい。また、制御部２１は、例えば、第１合焦位置の設定値が予め定められている場合に、ステップＳ１の処理を行わずに、ステップＳ２の処理を行ってもよい。

ステップＳ３において、制御部２１は、撮像の指令があったか否かを判定する。例えば、制御部２１は、第１入力部３２に所定の操作がなされた場合に、撮像の指令があったと判定する。例えば、第１入力部３２がレリーズボタンを含む場合、制御部２１は、レリーズボタンが全押しされた場合に、撮像の指令があったと判定する。制御部２１は、撮像の指令がないと判定した場合（ステップＳ３；Ｎｏ）、第１入力部３２に対する操作の監視を継続する。制御部２１は、撮像の指令があったと判定した場合（ステップＳ３；Ｙｅｓ）、ステップＳ４において、駆動部１３を制御し、光学系２の合焦位置を第２合焦位置に変更する。また、制御部２１は、ステップＳ５において、駆動部１５を制御し、光学系２の絞り値を第１の絞り値に設定する。また、制御部２１は、ステップＳ６において、光学系２の合焦位置が第１合焦位置とは異なる第２合焦位置に設定されかつ絞り値が第１の絞り値に設定された状態で、撮像素子３を制御して対象物ＯＢを撮像させ、第１撮像画像を取得させる。

第１撮像画像の取得後のステップＳ７において、制御部２１は、駆動部１５を制御し、光学系２の絞り値を第１の絞り値とは異なる第２の絞り値に設定する。また、制御部２１は、ステップＳ８において、光学系２の合焦位置が第２合焦位置に設定されかつ絞り値が第２の絞り値に設定された状態で、撮像素子３を制御して対象物ＯＢを撮像させ、第２撮像画像を取得させる。このように、制御部２１は、例えば、撮像の実行を要求する指令（例、レリーズボタンの全押し）に応じて第１撮像を実行させ、第１撮像に続いて第２撮像を実行させる。制御部２１は、例えば、撮像の実行を要求する指令を受けてから次の指令を受けるまでの間に、第１撮像および第２撮像を実行させる。例えば、制御部２１は、撮像の実行を要求する指令への応答として、第１撮像および第２撮像を一連の処理として実行させる。

ステップＳ９において、距離算出部２２は、第１撮像画像および第２撮像画像を用いて、デプス情報を算出する。撮像装置１は、例えば、距離算出部２２が算出したデプス情報を、外部装置に出力する。この外部装置は、例えば、撮像装置１から出力された情報を処理する情報処理装置である。この情報処理装置は、例えば、撮像装置１の視点（１視点、単一視点、１方向）から見た対象物ＯＢを表すモデル情報を算出する。

図７（Ａ）は、撮像装置１の動作の他の例を示すフローチャートである。図７（Ａ）において、ステップＳ２より前の処理は図６と同様である。本例において、制御部２１は、ステップＳ１１において、光学系２の合焦位置が第１合焦位置に設定されている状態で、撮像素子３を制御して対象物ＯＢを撮像（第３撮像、第３検出）させ、第３撮像画像（第３検出の結果）を取得させる。光学系２の合焦位置が第１合焦位置に設定される際に、光学系２の第３の絞り値は、例えば、第１の絞り値と第２の絞り値のいずれよりも大きい値に設定される。この場合、光学系２の合焦位置を、例えばオートフォーカス機構２４などにより、第１合焦位置に精度よく合わせることができる。このようにして得られる第３撮像画像は、例えば、対象物ＯＢのテクスチャ情報（第２実施形態で説明する）を算出することに利用される。

図７（Ｂ）は、撮像装置１の動作の他の例を示すフローチャートである。図７（Ａ）において、ステップＳ４より前の処理は、図６あるいは図７（Ａ）と同様である。本例において、制御部２１は、光学系２の合焦位置が第１合焦位置に設定され、かつ光学系２の絞り値が第１の絞り値に設定された状態で、ステップＳ６において、撮像素子３に対象物ＯＢを撮像させ、第１撮像画像を取得させる。また、制御部２１は、ステップＳ７において、光学系２の絞り値を第２の絞り値に変更する。撮像素子３による撮像画像は、光学系２の絞り値が大きいほど暗くなる。制御部２１は、例えば、撮像素子３が受光する光の光量が第１撮像と第２撮像とで同じになるように、撮像素子３の検出速度（例、撮像速度、シャッタ速度など）を第１撮像と第２撮像とで変化させる。制御部２１は、例えば、第１の絞り値で撮像される第１撮像画像と第２の絞り値で撮像される第２撮像画像とで明るさの差が低減されるように、ステップＳ１２において、シャッタ速度を変更する。例えば、第２の絞り値が第１の絞り値よりも大きい場合、制御部２１は、第２撮像におけるシャッタ速度を第１撮像におけるシャッタ速度よりも遅くし、第２撮像における露光時間を第１撮像における露光時間よりも長くする。このように、撮像装置１は、第１撮像画像と第２撮像画像とで明るさ（例、光量）の差を低減すると、ボケ量を精度よく算出することができる。なお、制御部２１は、第１撮像と第２撮像とで撮像素子３のゲインを調整することで、第１撮像画像と第２撮像画像とで明るさ（例、光量）の差を低減してもよい。例えば、制御部２１は、シャッタ速度の調整とゲインの調整との一方のみを行ってもよいし、シャッタ速度の調整とゲインの調整との双方を行ってもよい。

図８は、撮像装置１の動作の他の例を示すフローチャートである。図８において、ステップＳ１に続くステップＳ１５において、撮像装置１は、例えばＡＦなどによって第１対象物ＯＢ１（図５参照）に合焦する。そして、ステップＳ１６において、撮像装置１は、例えばＡＦなどによって第２対象物ＯＢ２（図５参照）に合焦する。そして、ステップＳ１７において、撮像装置１（例、制御部２１）は、ステップＳ１５における合焦位置およびステップＳ１６における合焦位置に基づいて、撮像を行う際の合焦位置（第１合焦位置および第２合焦位置）を決定する。そして、図６で説明したステップＳ２以降の処理を行う。

なお、制御部２１は、第１撮像と第２撮像とでシャッタ速度を変更しなくてもよい。また、撮像装置１は、例えば、撮像素子３の各画素から読み出される電荷を適宜増幅し、その増幅率を調整することで、第１撮像画像と第２撮像画像との明るさの差を低減してもよい。また、第１撮像画像と第２撮像画像との明るさの差を画像処理（例、明るさ補正）により低減してもよく、この画像処理を行う処理部は、撮像装置１に設けられてもよいし、外部装置に設けられてもよい。

なお、撮像装置１は、例えば、距離算出部２２が算出したデプス情報を外部へ出力し、第１撮像画像のデータと第２撮像画像のデータとの少なくとも一方を外部へ出力しなくてもよい。また、撮像装置１は、第１撮像画像のデータおよび第２撮像画像のデータを外部へ出力し、デプス情報を外部へ出力しなくてもよい。この場合、撮像装置１は、距離算出部２２を備えなくてもよい。例えば、距離算出部２２は、外部装置に設けられてもよい。この場合、例えば、制御部２１は、第１撮像画像のデータおよび第２撮像画像のデータを、通信部３４を介して外部装置へ出力し、この外部装置の距離算出部２２は、第１撮像画像のデータおよび第２撮像画像のデータをもとにデプス情報を算出してもよい。撮像装置１は、対象物ＯＢの三次元形状を取得してモデル情報を算出可能でもよい（第２実施形態などで説明する）。

なお、制御部２１は、第１撮像による第１撮像画像のデータと第２撮像による第２撮像画像のデータとを関連付けて外部へ出力してもよい。この際に出力されるデータの構造は、例えば、第１撮像画像のデータと第２撮像画像のデータとを１つのファイルで出力する構造でもよいし、第１撮像画像のデータと第２撮像画像のデータとに、２つのデータが対応関係にあることを示すフラグ、ＩＤを付けて出力するデータ構造でもよい。このように、第１撮像画像と第２撮像画像とが関連付けられると、デプス情報を算出する際にデータを扱いやすくなる。

なお、撮像装置１は、例えば、所定位置に固定された定点カメラでもよいし、携帯可能なカメラでもよく、カメラを内蔵し携帯可能な情報端末（例、スマートフォン、タブレット）でもよい。また、撮像装置１は、視野が固定されたカメラでもよいし、手動または自動で視野を変更可能なカメラでもよい。

なお、デプス情報の算出に使われる撮像画像（第１撮像画像、第２撮像画像）の枚数は、上述の実施形態において２枚であるが、３枚以上でもよい。例えば、撮像装置１は、光学系２の合焦位置が第２合焦位置に設定された状態で、光学系２の絞り値を３種類以上に切り替えて、絞り値ごとに撮像素子３に対象物ＯＢを撮像させてもよい。例えば、撮像装置１は、検出範囲を複数の範囲に分けて、範囲ごとに合焦位置、絞り値を変更してもよい。第１合焦位置は、例えば、対象物ＯＢのおおまかな位置（例、対象物ＯＢ上の代表的な位置）を取得可能なように設定される。第２合焦位置は、例えば、ボケ量を把握するのに適した範囲や絞り値を変更する前後でのボケ量の変化量を、誤差やノイズと区別可能な範囲に設定される。

［第２実施形態］
次に、第２実施形態について説明する。本実施形態において、上述の実施形態と同様の構成については、同じ符号を付してその説明を省略あるいは簡略化する。図９は、本実施形態に係る撮像装置１の一例を示す図である。本実施形態において、撮像装置１は、情報算出部４１を備える。情報算出部４１は、対象物ＯＢの形状情報およびテクスチャ情報の少なくとも一方を算出する。情報算出部４１は、デプス情報を使って、対象物ＯＢに関する情報の演算処理を行う。情報算出部４１は、演算処理によって、対象物ＯＢの少なくとも一部をモデル化し、モデル情報（モデルデータ）を算出する。例えば、情報算出部４１は、演算処理によって、対象物ＯＢの少なくとも一部をコンピュータグラフィック処理（ＣＧ処理）し、モデル情報（例、ＣＧモデルデータ）を算出する。モデル情報は、例えば、対象物ＯＢの三次元形状を示す形状情報と、対象物ＯＢの表面の模様を示すテクスチャ情報との少なくとも一方を含む。また、例えば、モデル情報は、３次元の点座標、その点座標の関連情報、該点座標及びその関連情報で規定された面のテクスチャ情報、画像全体の照明条件や光源情報などの画像の空間情報、及び形状情報としてのポリゴンデータの少なくとも一つを含む。

例えば、情報算出部４１は、距離算出部２２が算出したデプス情報を使って、対象物ＯＢの形状情報（例、点群データ）を算出する（点群データ処理）。例えば、情報算出部４１は、デプス情報が示す距離画像から平面画像への透視変換などにより、点群データを算出する。距離算出部２２は、例えば、算出した点群データを記憶部２３に記憶させる。制御部２１は、例えば、情報算出部４１が算出した点群データを、通信部３４を介して外部へ出力してもよい。この場合、制御部２１は、第１撮像画像のデータと第２撮像画像のデータの少なくとも一方を外部へ出力しなくてもよい。また、制御部２１は、情報算出部４１が算出した点群データを外部へ出力し、距離算出部２２が算出したデプス情報を外部へ出力しなくてもよい。

また、情報算出部４１は、例えば、形状情報として、対象物ＯＢの表面上の複数の点の座標（例、点群データ）と、複数の点間の連結情報を含むサーフェス情報とを算出する。サーフェス情報は、例えばポリゴンデータ、ベクタデータ、ドローデータなどである。連結情報は、例えば、対象物ＯＢの稜線（例、エッジ）に相当する線の両端の点を互いに関連付ける情報、及び対象物ＯＢの面の輪郭に相当する複数の線を互いに関連付ける情報を含む。情報算出部４１は、例えば、点群データに含まれる複数の点から選択される点とその近傍の点との間の面を推定し、点群データを点間の平面情報を持つポリゴンデータに変換する（サーフェス処理、サーフェース化処理）。情報算出部４１は、例えば、最小二乗法を用いたアルゴリズムにより、点群データをポリゴンデータへ変換する。このアルゴリズムは、例えば、点群処理ライブラリに公開されているアルゴリズムを適用したものでもよい。撮像装置１は、情報算出部４１が算出したサーフェス情報を外部へ出力してもよい。この場合、撮像装置１は、デプス情報と点群データの少なくとも一方を外部へ出力しなくてもよい。また、撮像装置１は、点群データとサーフェス情報の少なくとも一方を外部へ出力し、第１撮像画像のデータおよび第２撮像画像のデータを外部へ出力しなくてもよい。

また、情報算出部４１は、例えば、撮像素子３の撮像結果（例、撮像画像）を用いて、対象物ＯＢのテクスチャ情報を算出する。例えば、情報算出部４１は、インバースレンダリングの手法により、テクスチャ情報を算出する。テクスチャ情報は、例えば、対象物ＯＢの表面の模様を示すパターン情報、対象物ＯＢを照らす光の光源情報、及び対象物ＯＢの表面の光学特性（例、反射率、散乱率）を示す光学特性情報の少なくとも１項目の情報を含む。光源情報は、例えば、光源の位置、光源から対象物へ光が照射される方向、光源から照射される光の波長、光源の種類のうち少なくとも１項目の情報を含む。情報算出部４１は、例えば、光学系２の合焦位置が第１合焦位置Ｚ１に設定された状態で撮像素子３が撮像した撮像画像（例、図７（Ａ）で説明した第３撮像画像）を用いて、テクスチャ情報を算出する。

情報算出部４１は、例えば、ランバート反射を仮定したモデル、アルベド（Albedo）推定を含むモデルなどを利用して、光源情報を算出する。例えば、情報算出部４１は、撮像素子３よる撮像画像の各画素の画素値のうち、対象物ＯＢで拡散した光に由来する成分と対象物ＯＢで正反射した成分とを推定する。また、情報算出部４１は、例えば、対象物ＯＢで正反射した成分の推定結果、及び形状情報を使って、光源から対象物ＯＢへ光が入射してくる方向を算出する。情報算出部４１は、例えば、算出した光源情報および形状情報を使って対象物ＯＢの反射特性を推定し、反射特性の推定結果を含む光学特性情報を算出する。また、情報算出部４１は、例えば、算出した光源情報および光学特性情報を使って、可視光画像のデータから照明光の影響を除去して、パターン情報を算出する。

なお、情報算出部４１は、デプス情報と形状情報との少なくとも一部と、撮像素子３の撮像結果とを用いて、対象物ＯＢのテクスチャ情報を算出してもよい。また、情報算出部４１は、第３撮像画像をテクスチャ情報の算出に用いなくてもよく、この場合、撮像素子３は第３撮像画像を取得しなくてもよい。また、情報算出部４１は、第１撮像画像と第２撮像画像の少なくとも一方をテクスチャ情報の算出に用いてもよい。例えば、第１撮像画像Ｐ１と第２撮像画像のうち絞り値が大きい方の撮像画像を用いると、ボケ量が相対的に小さいので、算出されるテクスチャ情報の精度が相対的に高い。また、情報算出部４１は、第１撮像画像と第２撮像画像の少なくとも一方をテクスチャ情報の算出に用いなくてもよい。また、情報算出部４１は、第１撮像画像、第２撮像画像、及び第３撮像画像のいずれとも異なる撮像画像を用いて、テクスチャ情報を算出してもよい。また、情報算出部４１は、形状情報を算出し、テクスチャ情報を算出しなくてもよい。また、情報算出部４１は、テクスチャ情報を算出し、形状情報を算出しなくてもよい。

次に、上述の撮像装置１の動作に基づき、本実施形態に係る撮像方法について説明する。図１０は、本実施形態に係る撮像方法の一例を示すフローチャートである。図１０において、ステップＳ１〜ステップＳ９の処理は、図６に示した処理と同様であり、図７の処理が追加されてもよい。ステップＳ１５において、情報算出部４１は、距離算出部２２が算出したデプス情報をもとに、点群データを算出する。また、ステップＳ１６において、情報算出部４１は、ステップＳ１５において算出した点群データをもとに、サーフェス情報を算出する。

［第３実施形態］
第３実施形態について説明する。本実施形態において、上述の実施形態と同様の構成については、同じ符号を付してその説明を省略あるいは簡略化する。図１１は、本実施形態に係る検出システム（例、撮像システム）５０の一例を示す図である。撮像システム５０は、撮像装置１と、撮像装置１から出力される情報を処理する情報処理装置５１とを備える。情報処理装置５１には、例えば、入力装置５２および表示装置５３が設けられる。

情報処理装置５１は、撮像装置１との間の通信により、撮像装置１から情報を取得する。情報処理装置５１は、例えば、撮像装置１から取得した情報（例、モデル情報）を使って、レンダリング処理を実行する。例えば、情報処理装置５１は、ユーザにより入力装置５２に入力された視点の設定情報を元に、この視点から対象物ＯＢを見た推定画像のデータを算出する。情報処理装置５１は、例えば、推定画像のデータを表示装置５３に供給し、表示装置５３に推定画像を表示させる。

入力装置５２は、例えば、キーボード、マウス、タッチパネル、加速度センサなどのセンサ、音声入力機、タッチ型ペンなどの少なくとも一つを含む。入力装置５２は、情報処理装置５１と接続される。入力装置５２は、例えばユーザから情報の入力を受け付け、入力された情報を情報処理装置５１に供給する。表示装置５３は、例えば、液晶ディスプレイ又はタッチパネル型ディスプレイを含み、情報処理装置５１と接続されている。表示装置５３は、例えば、情報処理装置５１から供給される画像データにより、画像（例、レンダリング処理による推定画像）を表示する。

図１２は、本実施形態に係る撮像システム５０の一例を示すブロック図である。情報処理装置５１は、通信部５５、記憶部５６、レンダリング処理部５７、及び制御部５８を備える。通信部５５は、例えば、ＵＳＢポート、ネットワークカード、電波または赤外線の無線通信を行う通信器のうち少なくとも一つを含む。通信部５５は、撮像装置１の通信部３４と通信可能である。

記憶部５６は、例えば、ＵＳＢメモリなどの取り外し可能な記憶媒体、外付け型あるいは内蔵型のハードディスクなどの大容量記憶装置を含む。記憶部５６は、例えば、通信部５５を介して受信した情報の少なくとも一部のデータ、撮像装置１を制御する撮像制御プログラム、情報処理装置５１の各処理を実行させる処理プログラム、などを記憶する。

レンダリング処理部５７は、例えば、グラフィックス プロセッシング ユニット（Graphics Processing Unit; GPU）を含む。なお、レンダリング処理部５７は、ＣＰＵおよびメモリが画像処理プログラムに従って各処理を実行する態様でもよい。レンダリング処理部５７は、例えば、描画処理、テクスチャマッピング処理、シェーディング処理の少なくとも一つの処理を行う。レンダリング処理部５７は、描画処理において、例えば、モデル情報の形状情報に定められた形状を任意の視点から見た推定画像（例、再構築画像）を算出できる。以下の説明において、形状情報が示す形状をモデル形状という。レンダリング処理部５７は、例えば、描画処理によって、モデル情報（例、形状情報）からモデル形状（例、推定画像）を再構成できる。レンダリング処理部５７は、例えば、算出した推定画像のデータを記憶部５６に記憶させる。また、レンダリング処理部５７は、テクスチャマッピング処理において、例えば、推定画像上の物体の表面に、モデル情報のテクスチャ情報が示す画像を貼り付けた推定画像を算出できる。レンダリング処理部５７は、推定画像上の物体の表面に、対象物ＯＢと別のテクスチャを貼り付けた推定画像を算出することもできる。レンダリング処理部５７は、シェーディング処理において、例えば、モデル情報の光源情報が示す光源により形成される陰影を推定画像上の物体に付加した推定画像を算出できる。また、レンダリング処理部５７は、シェーディング処理において、例えば、任意の光源により形成される陰影（影領域）を推定画像上の物体に付加した推定画像を算出できる。

制御部５８は、例えば、情報処理装置５１の各部、撮像装置１、入力装置５２、及び表示装置５３を制御する。制御部５８は、例えば、通信部５５を制御し、撮像装置１に指令（制御信号）や設定情報を送信させる。制御部５８は、例えば、通信部５５が撮像装置１から受信した情報を、記憶部５６に記憶させる。制御部５８は、例えば、レンダリング処理部５７を制御し、レンダリング処理を実行させる。

なお、撮像システム５０は、入力装置５２を備えなくてもよい。例えば、撮像システム５０は、各種の指令、情報が通信部３４を介して入力される形態でもよい。また、撮像システム５０は、表示装置５３を備えなくてもよい。例えば、撮像システム５０は、レンダリング処理により生成された推定画像のデータを外部の表示装置へ出力し、この表示装置が推定画像を表示してもよい。また、情報処理装置５１は、図１に示した距離算出部２２を備えてもよい。例えば、撮像装置１は、第１撮像画像のデータおよび第２撮像画像のデータを情報処理装置５１に供給し、情報処理装置５１の距離算出部は、第１撮像画像のデータおよび第２撮像画像のデータをもとに、デプス情報を算出してもよい。この場合、撮像装置１は、距離算出部２２を備えなくてもよい。また、情報処理装置５１は、図９に示した情報算出部４１を備えてもよい。例えば、撮像装置１は、デプス情報を情報処理装置５１に供給し、情報処理装置５１の情報算出部は、デプス情報をもとに対象物ＯＢのモデル情報を算出してもよい。この場合、撮像装置１は、情報算出部４１を備えなくてもよい。また、情報処理装置５１は、図９に示した距離算出部２２および情報算出部４１を備え、撮像装置１は、距離算出部２２および情報算出部４１を備えなくてもよい。

なお、撮像装置１は、モデル情報の少なくとも一部を、デジタル情報を入出力可能なデジタル装置へ出力可能であってもよい。デジタル情報は、例えば、バーコード、二次元コードを含む。のデジタル装置は、モデル情報の少なくとも一部を含むデジタル情報を、ディスプレイに表示可能であってもよいし、紙などの媒体に印字可能であってもよい。表示された又は印字されたデジタル情報を読み取れるリーダー部（例、光学式リーダー）を備えるリーダー装置は、そのリーダー部を介して上記のデジタル情報を自装置の記憶領域などに入力することができる。また、リーダー装置は、上述のレンダリング処理部５７を備えてよい。撮像システム５０は、上記のデジタル装置およびリーダー装置の少なくとも一部を備えてもよい。例えば、撮像装置１は、上記のデジタル装置およびリーダー装置の少なくとも一部を備えてもよい。

［第４実施形態］
第４実施形態について説明する。本実施形態において、上述の実施形態と同様の構成については、同じ符号を付してその説明を省略あるいは簡略化する。図１３は、本実施形態に係る検出システム（例、撮像システム）５０の一例を示す図である。撮像システム５０は、複数の撮像装置（第１撮像装置１ａ、第２撮像装置１ｂ）と、複数の撮像装置から出力される情報を処理する情報処理装置５１とを備える。

情報処理装置５１は、第１撮像装置１ａとの間の通信により、第１撮像装置１ａから情報を取得する。情報処理装置５１は、第２撮像装置１ｂとの間の通信により、第２撮像装置１ｂから情報を取得する。情報処理装置５１は、第１撮像装置１ａから取得した情報、及び第２撮像装置１ｂから取得した情報を使って、情報処理を行う。例えば、第１撮像装置１ａおよび第２撮像装置１ｂは、それぞれ、自装置の視点（１視点、単一視点、１方向）から見た対象物ＯＢを表すモデル情報を、情報処理装置５１に供給する。情報処理装置５１は、第１撮像装置１ａの視点から見た対象物ＯＢを表す第１モデル情報と、第２撮像装置１ｂの視点から見た対象物を表す第２モデル情報とを統合するモデル統合処理を行う。

図１４は、本実施形態に係る撮像システム５０を示すブロック図である。第１撮像装置１ａおよび第２撮像装置１ｂは、それぞれ、例えば図９に示した撮像装置１と同様の構成である。情報処理装置５１は、モデル統合処理を行うモデル統合部５９を備える。モデル統合部５９は、例えば、第１撮像装置１ａからの第１モデル情報が示す形状から特徴点を抽出する。また、モデル統合部５９は、第２撮像装置１ｂからの第２モデル情報が示す形状から特徴点を抽出する。特徴点は、各モデル情報が示す形状のうち他の部分と識別可能な部分である。例えば、サーフェス情報において面に定義されている部分は、その外周の形状などにより、他の面と識別可能である。例えば、モデル統合部５９は、各モデル情報に含まれる形状情報とテクスチャ情報とのうち少なくとも一方を使って特徴点を抽出する。また、モデル統合部５９は、例えば、第１モデル情報と第２モデル情報とで特徴点をマッチングし、第１モデル情報と第２モデル情報とで共通する特徴点を検出する。また、モデル統合部５９は、第１モデル情報と第２モデル情報とで共通する特徴点を用いて、第１モデル情報が示す形状と第２モデル情報が示す形状との相対位置、相対姿勢を算出し、第１モデル情報と第２モデル情報とを統合する。

なお、モデル統合部５９が第１モデル情報と第２モデル情報とを統合する手法は、上述の例に限定されない。例えば、モデル統合部５９は、第１撮像装置１ａと第２撮像装置１ｂとの相対的な位置および相対的な姿勢を用いて、モデル統合処理を行ってもよい。また、モデル統合部５９は、第１撮像装置１ａの視点と第２撮像装置１ｂの視点との相対的な位置、及び第１撮像装置１ａの視点の向き（視線）と第２撮像装置１ｂの視点の向き（視線）との関係を用いて、モデル統合処理を行ってもよい。また、情報処理装置５１は、モデル統合部５９を備え、レンダリング処理部５７を備えなくてもよい。例えば、情報処理装置５１は、モデル統合処理の結果を外部装置へ出力し、この外部装置に設けられるレンダリング処理部がレンダリング処理を実行してもよい。

上述の実施形態において、制御部２１は、例えばコンピュータを含む。制御部２１は、記憶部２３に記憶されているプログラムを読み出し、このプログラムに従って各種の処理を実行する。このプログラムは、例えば、コンピュータに、光学系２の合焦位置を第１合焦位置Ｚ１から第２合焦位置Ｚ２に変更し、第２合焦位置Ｚ２の状態において第１の絞り値で対象物ＯＢを検出（例、撮像）する第１検出（例、第１撮像）と第２の絞り値で対象物ＯＢを検出（例、撮像）する第２検出（例、第２撮像）とを検出素子（撮像素子３）に実行させること（例、制御）と、第１検出（例、第１撮像）の結果と第２検出（例、第２撮像）の結果とを用いて対象物のデプス情報を算出させることと、を実行させる検出プログラム（例、撮像プログラム）である。また、このプログラムは、例えば、コンピュータに、光学系２の合焦位置を第１合焦位置Ｚ１から第２合焦位置Ｚ２に変更し、第２合焦位置Ｚ２の状態において第１の絞り値で対象物ＯＢを撮像する第１撮像と第２の絞り値で対象物ＯＢを撮像する第２撮像とを撮像素子３に実行させる制御プログラムでもよく、第１撮像の結果と第２撮像の結果とを用いて対象物のデプス情報を算出させるプログラムは、上記の制御プログラムと別であってもよい。上記の各プログラムは、コンピュータ読み取り可能な記憶媒体に記録されて提供されてもよい。

なお、本発明の技術範囲は、上述の実施形態などで説明した態様に限定されるものではない。上述の実施形態などで説明した要件の１つ以上は、省略されることがある。また、上述の実施形態などで説明した要件は、適宜組み合わせることができる。また、法令で許容される限りにおいて、上述の実施形態などで引用した全ての文献の開示を援用して本文の記載の一部とする。

１、１ａ、１ｂ・・・第２撮像装置、２・・・光学系、２ａ・・・光軸、３・・・撮像素子、２１・・・制御部、２２・・・距離算出部、２４・・・オートフォーカス機構、３２・・・第１入力部、３３・・・第２入力部、４１・・・情報算出部、５０・・・撮像システム、５１・・・情報処理装置

Claims (22)

1. 光学系と、
   前記光学系を介して対象物を検出する検出素子と、
   前記光学系の合焦位置を、前記対象物に合焦する第１合焦位置から、前記光学系の光軸方向における前記対象物の長さよりも長い距離離れた第２合焦位置として、第１の絞り値で前記対象物を検出する第１検出と第２の絞り値で前記対象物を検出する第２検出とを実行させる制御部と、
   前記第１検出の結果と前記第２検出の結果とを用いて前記対象物のデプス情報を算出する距離算出部と、
   を備え、
   前記対象物が複数存在する場合、または前記対象物以外の物体が存在する場合、各対象物または前記対象物と前記物体とのボケ量の範囲、またはボケ量の変化量の範囲が重複しないように、前記対象物の位置、前記物体の位置、及び前記第２合焦位置の少なくとも一つを設定する、検出装置。
2. 前記距離算出部は、前記第１検出の結果と前記第２検出の結果とを用いて、前記第２合焦位置から前記対象物上の各点までの距離を算出する、
   請求項１に記載の検出装置。
3. 前記制御部は、前記光学系の少なくとも一部と前記検出素子との一方または双方を前記光学系の光軸方向に沿って移動させ、前記第１合焦位置から前記第２合焦位置に変更する、
   請求項１又は請求項２に記載の検出装置。
4. 前記距離算出部は、前記デプス情報をデプスフロムデフォーカスにより算出する、
   請求項１から請求項３のいずれか一項に記載の検出装置。
5. 前記距離算出部は、前記光学系の焦点距離、収差、及び前記光学系に含まれるレンズ部材の口径の少なくとも１つを用いて前記デプス情報を算出する、
   請求項１から請求項４のいずれか一項に記載の検出装置。
6. 前記デプス情報に基づいて前記対象物の形状情報を算出する情報算出部を備える、
   請求項１から請求項５のいずれか一項に記載の検出装置。
7. 前記情報算出部は、前記検出素子の検出結果を用いて、前記対象物のテクスチャ情報を算出する、
   請求項６に記載の検出装置。
8. 前記検出素子から得た画像を用いて、前記対象物の形状情報又は前記対象物のテクスチャ情報を算出する情報算出部を備える、
   請求項１から請求項５のいずれか一項に記載の検出装置。
9. 前記制御部は、前記検出素子が受光する光の光量が前記第１検出と前記第２検出とで同じになるように、前記検出素子の検出速度を前記第１検出と前記第２検出とで変化させる、
   請求項１から請求項８のいずれか一項に記載の検出装置。
10. 前記制御部は、検出の実行を要求する指令に対する応答して前記第１検出を実行させ、前記第１検出に続いて前記第２検出を実行させる、
    請求項１から請求項９のいずれか一項に記載の検出装置。
11. 前記第１合焦位置と前記第２合焦位置との距離は、前記検出素子から前記対象物までの距離、前記第１の絞り値、及び前記第２の絞り値の少なくとも１つに基づいて設定される、
    請求項１から請求項１０のいずれか一項に記載の検出装置。
12. 前記制御部は、前記第１合焦位置と前記第２合焦位置との距離の設定値に基づいて、前記光学系の合焦位置を変更する、
    請求項１から請求項１１のいずれか一項に記載の検出装置。
13. 前記光学系の合焦位置を指定位置に合わせるオートフォーカス機構を備え、
    前記制御部は、前記オートフォーカス機構により前記光学系の合焦位置を前記第１合焦位置に設定する、
    請求項１から請求項１２のいずれか一項に記載の検出装置。
14. 前記制御部は、前記第１合焦位置の状態で前記検出素子に前記対象物を検出する第３検出を実行させ、前記第３検出の結果によって前記テクスチャ情報を算出する、
    請求項７または請求項８に記載の検出装置。
15. 前記制御部は、前記第３検出の後に、前記第１検出および前記第２検出を実行させる、
    請求項１４に記載の検出装置。
16. 前記第３検出における第３の絞り値は、前記第１の絞り値および前記第２の絞り値のいずれよりも大きい、
    請求項１４または請求項１５に記載の検出装置。
17. 前記第１の絞り値および前記第２の絞り値は、前記検出素子から前記対象物までの距離および前記対象物の大きさの少なくとも一方に基づいて、設定される、
    請求項１から請求項１６のいずれか一項に記載の検出装置。
18. 前記制御部は、前記第１検出による撮像画像の明るさと前記第２検出による撮像画像の明るさの差を低減するように、前記検出素子の検出速度を設定する、
    請求項１から請求項１７のいずれか一項に記載の検出装置。
19. 前記第２合焦位置は、前記第１合焦位置に対して前記光学系の被写界深度の範囲外に設定される、
    請求項１から請求項１８のいずれか一項に記載の検出装置。
20. 請求項１から請求項１９のいずれか一項に記載の検出装置と、
    前記検出装置から出力される情報を処理する情報処理装置と、を備える検出システム。
21. 光学系の合焦位置を、対象物に合焦する第１合焦位置から、前記光学系の光軸方向における前記対象物の長さよりも長い距離離れた第２合焦位置として、第１の絞り値で前記対象物を検出する第１検出と第２の絞り値で前記対象物を検出する第２検出とを実行することと、
    前記第１検出の結果と前記第２検出の結果とを用いて前記対象物のデプス情報を算出することと、を含み、
    前記対象物が複数存在する場合、または前記対象物以外の物体が存在する場合、各対象物または前記対象物と前記物体とのボケ量の範囲、またはボケ量の変化量の範囲が重複しないように、前記対象物の位置、前記物体の位置、及び前記第２合焦位置の少なくとも一つを設定する、検出方法。
22. コンピュータに、
    光学系の合焦位置を、対象物に合焦する第１合焦位置から、前記光学系の光軸方向における前記対象物の長さよりも長い距離離れた第２合焦位置として、第１の絞り値で前記対象物を検出する第１検出と第２の絞り値で前記対象物を検出する第２検出とを検出素子に実行させることと、
    前記第１検出の結果と前記第２検出の結果とを用いて前記対象物のデプス情報を算出させることと、を実行させ、
    前記対象物が複数存在する場合、または前記対象物以外の物体が存在する場合、各対象物または前記対象物と前記物体とのボケ量の範囲、またはボケ量の変化量の範囲が重複しないように、前記対象物の位置、前記物体の位置、及び前記第２合焦位置の少なくとも一つを設定する、検出プログラム。