JP6268550B2 - 測距装置、撮像装置および測距方法 - Google Patents

Description

本開示は、複数の撮像部を有し、立体視用の画像を撮像可能な撮像装置に関する。

特許文献１は、主撮像部と従撮像部とを備え、３Ｄ画像を生成するデジタルカメラを開示する。このデジタルカメラは、主撮像部から得られる主画像信号と従撮像部から得られる従画像信号との間に生じる視差を抽出する。そして、抽出した視差に基づき、主画像信号から新たな従画像信号を生成し、主画像信号と新たな従画像信号とで３Ｄ画像を生成する。

特許文献２は、左右の撮影倍率が異なった状態でステレオ撮影を行うことができるステレオカメラを開示する。このステレオカメラは、第１の画像データを生成する第１の撮像手段と、第１の画像データよりも画角が広い第２の画像データを生成する第２の撮像手段とを有する。そして、第２の画像データから、第１の画像データに対応する範囲を第３の画像データとして切り出し、第１の画像データと第３の画像データとでステレオ画像データを生成する。

また、特許文献１、２は、主撮像部（第１の撮像手段）は光学ズーム機能を備え、従撮像部（第２の撮像手段）は光学ズーム機能を備えず電子ズーム機能を備えた構成を開示している。

特許文献３は、２眼の撮像系を有する電子カメラを開示する。この電子カメラは、ズームレンズと単焦点で固定焦点のサブレンズを有し、ズームレンズを介して得られた画像と、サブレンズを介して得られた画像とに基づいて、測距を行う。

特開２００５−２０６０６号公報 特開２００５−２１０２１７号公報 特開２００６−９３８５９号公報

本開示は、光学的特性および撮像素子の仕様が異なる一対の撮像部で撮影される一対の画像または動画に基づき測距を行うことが可能な測距装置および撮像装置を提供する。

本開示の測距装置は、第１画像の信号である第１画像信号と、第１画像よりも高解像度であって第１画像以上の画角を有する第２画像の信号である第２画像信号と、が入力され、第１画像信号に基づき、第２画像の少なくとも一部を切り出した切り出し画像の信号である切り出し画像信号を生成するように構成された画角合わせ部と、第１画像信号と切り出し画像信号とに基づき視差情報を生成するように構成された視差情報生成部と、視差情報において、視差量が０となる領域を基準面に設定し、第１画像を撮像した撮像部の光学ズームの倍率に応じて、視差量の大きさと基準面からの距離との関係から、第１画像に含まれる所定の被写体までの距離を算出する測距部と、を備え、第１画像と第２画像は、平行法に基づいて撮像された画像である。

本開示の撮像装置は、撮像画像を画像表示面に表示するように構成され、開閉可能に構成された表示部と、第１画像を撮像して第１画像信号を出力するように構成された第１撮像部と、第１画像以上の画角を有する第２画像を、第１画像よりも高解像度で撮像して第２画像信号を出力するように構成された第２撮像部と、第１画像信号に基づき、第２画像信号の少なくとも一部を切り出した切り出し画像の信号である切り出し画像信号を生成するように構成された画角合わせ部と、第１画像信号と切り出し画像信号とに基づき視差情報を生成するように構成された視差情報生成部と、視差情報において、視差量が０となる領域を基準面に設定し、第１撮像部の光学ズームの倍率に応じて、視差量の大きさと基準面からの距離との関係から、第１画像信号に含まれる所定の被写体までの距離を算出するように構成された測距部と、を備え、第１撮像部の光軸と第２撮像部の光軸は、互いに平行になるように配置され、第２撮像部を、表示部の画像表示面の裏側に配置する。

本開示の測距方法は、第１画像の信号である第１画像信号に基づき、第１画像よりも高解像度であって第１画像以上の画角を有する第２画像の信号である第２画像信号から、少なくとも一部を切り出した切り出し画像の信号である切り出し画像信号を生成し、第１画像信号と切り出し画像信号とに基づき視差情報を生成し、視差情報において、視差量が０となる領域を基準面に設定し、第１画像を撮像して第１画像信号を出力する撮像部の光学ズームの倍率に応じて、視差量の大きさと基準面からの距離との関係から、第１画像に含まれる所定の被写体までの距離を算出し、第１画像と第２画像は、平行法に基づいて撮像された画像である。

図１は、実施の形態１における撮像装置のモニターを開いたときの外観図である。 図２は、実施の形態１における撮像装置のモニターを閉じたときの外観図である。 図３は、実施の形態１における撮像装置の回路構成を概略的に示す図である。 図４は、実施の形態１における撮像装置の構成を機能毎にブロック分けして示す図である。 図５は、実施の形態１における撮像装置の画像信号の処理の流れの一例を概略的に示す図である。 図６は、実施の形態１における撮像装置の立体画像撮像時の動作を説明するフローチャートである。 図７は、実施の形態１における撮像装置の測距動作を説明するフローチャートである。 図８は、実施の形態１における撮像装置の測距動作の詳細を説明するフローチャートである。 図９は、実施の形態１における撮像装置での撮像の様子を概略的に示す図である。 図１０は、実施の形態１における撮像装置での基準面の設定例を概略的に示す図である。 図１１は、実施の形態１における撮像装置の表示部に表示される算出距離が重畳された画像の一例を示す図である。 図１２は、実施の形態２における撮像装置の構成を機能毎にブロック分けして示す図である。 図１３は、実施の形態２における撮像装置の画像信号の処理の流れの一例を概略的に示す図である。

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。

（実施の形態１）
以下、図１〜図１１を用いて、実施の形態１を説明する。

［１−１．構成］
図１は、実施の形態１における撮像装置１１０のモニター１１３を開いたときの外観図である。

図２は、実施の形態１における撮像装置１１０のモニター１１３を閉じたときの外観図である。

撮像装置１１０は、モニター１１３と、第１レンズ部１１１を有する撮像部（以下、「第１撮像部」と記す）と、第２レンズ部１１２を有する撮像部（以下、「第２撮像部」と記す）と、を備えている。撮像装置１１０は、このように複数の撮像部を有し、それぞれの撮像部で静止画撮像および動画撮影が可能である。

第１レンズ部１１１は、第１撮像部の撮像方向が前方を向くように、撮像装置１１０の本体前方に設けられている。

モニター１１３は、図１、図２に示すように、開閉可能に撮像装置１１０本体に設けられており、撮像画像を表示するためのディスプレイ（図１、図２には示さず）を有する。ディスプレイは、モニター１１３を開いたとき、第１撮像部の撮像方向とは反対側の面、すなわち撮像装置１１０の後方にいる使用者（図示せず）が観測できる側に、備えられている。

第２レンズ部１１２は、モニター１１３の、ディスプレイの設置側と反対側に配置され、モニター１１３を開いたときに第１撮像部と同じ方向を撮像できるように構成されている。

撮像装置１１０では、第１撮像部を主たる撮像部とし、第２撮像部を従たる撮像部とする。そして、図１に示すように、モニター１１３を開いた状態にすることで、これら２つの撮像部を用いて、立体視用の静止画（以下、「立体画像」と記す）の撮像および立体視用の動画（以下、「立体動画」と記す）の撮影が可能である。主たる第１撮像部は光学ズーム機能を有し、使用者は、このズーム機能を任意のズーム倍率に設定して静止画撮像または動画撮影が可能である。

本実施の形態では、右眼視点の画像を第１撮像部で撮像し、左眼視点の画像を第２撮像部で撮像する例を説明する。したがって、図１に示すように、撮像装置１１０では、撮像方向に向かって右側に第１レンズ部１１１が配置され、撮像方向に向かって左側に第２レンズ部１１２が配置されている。しかし、本実施の形態は何らこの構成に限定されるものではなく、第１撮像部で左眼視点の画像を撮像し、第２撮像部で右眼視点の画像を撮像するように構成してもよい。以下、第１撮像部で撮像した画像を「第１画像」とし、第２撮像部で撮像した画像を「第２画像」とする。

なお、従たる第２撮像部が有する第２レンズ部１１２は、第１レンズ部１１１と比較して口径が小さく、光学ズーム機能も備えていない。そのため、第２撮像部は、設置に必要な容積が第１撮像部と比較して小さく、モニター１１３に搭載することができる。

本実施の形態では、詳細は後述するが、第１撮像部で撮像される右眼視点の画像と、第２撮像部で撮像される左眼視点の画像とを比較することで視差量（ずれ量）を算出し、算出した視差量（ずれ量）にもとづき撮像装置１１０から被写体までの距離を算出する。

この視差量（ずれ量）とは、第１画像と第２画像とを同一画角にして重ね合わせたときに生じる被写体の位置のずれの大きさのことである。このずれは、第１撮像部と第２撮像部との配置位置の違い（視差）により生じる。自然な立体感を有する立体画像を生成するためには、第１撮像部の光軸と第２撮像部の光軸とが、人の視差方向と同様に地面に対して水平になるように、かつ左右の眼の離間幅と同程度離間するように、設定されていることが望ましい。

そのために、撮像装置１１０では、第１レンズ部１１１と第２レンズ部１１２とを、使用者が撮像装置１１０を正常に保持（立体画像を撮像する状態で保持）したときに、それぞれの光学中心が実質的に同一の水平面（地面に水平な面）上に位置するように、配置する。また、第１レンズ部１１１の光学中心と第２レンズ部１１２の光学中心との距離が、３０ｍｍ以上６５ｍｍ以下となるようにそれぞれの配置位置を設定する。

また、自然な立体感を有する立体画像を生成するためには、第１レンズ部１１１および第２レンズ部１１２は、それぞれの配置位置から被写体までの距離が互いに実質的に等しいことが望ましい。そのために、撮像装置１１０では、第１レンズ部１１１および第２レンズ部１１２を、エピポーラ拘束（Ｅｐｉｐｏｌａｒ Ｃｏｎｓｔｒａｉｎｔ）を実質的に満足するように配置する。すなわち、第１レンズ部１１１および第２レンズ部１１２を、それぞれの光学中心が、第１撮像部が有する撮像素子または第２撮像部が有する撮像素子の撮像面に実質的に平行な１つの平面上に位置するように、配置する。

なお、これらの条件は、厳密に満たされなければならない、というわけではなく、実用上問題が生じない範囲での誤差は許容される。また、仮にこれらの条件が満足されなくとも、画像の拡大縮小、回転、平行移動等を計算で行うアフィン変換を実行することにより、これらの条件を満足する画像に変換することも可能である。そして、アフィン変換を施した画像を用いて視差量（ずれ量）を算出すればよい。

また、撮像装置１１０では、第１撮像部の光軸と第２撮像部の光軸とが互いに平行になるように第１レンズ部１１１および第２レンズ部１１２を配置する（以下、「平行法」と記す）。しかし、第１撮像部の光軸と第２撮像部の光軸とが所定の一点で交差するように第１レンズ部１１１および第２レンズ部１１２を配置（以下、「交差法」と記す）してもよい。また、平行法で撮像された画像を、アフィン変換により、交差法で撮像されたかのような画像に変換することも可能である。

なお、これらの条件が満たされた状態で撮像される第１画像および第２画像では、被写体の位置はエピポーラ拘束条件を実質的に満たす。この場合、後述する立体画像の生成過程において、一方の画像（例えば、第１画像）で被写体の位置が確定すると、他方の画像（例えば、第２画像）での被写体の位置は比較的容易に算出できるので、立体画像の生成過程における演算量を軽減できる。逆に、これらの条件で満たされない項目が増えるほど、アフィン変換等の演算量が増えるので、立体画像の生成過程における演算量は増大する。

図３は、実施の形態１における撮像装置１１０の回路構成を概略的に示す図である。

撮像装置１１０は、第１撮像部である第１撮像ユニット２００、第２撮像部である第２撮像ユニット２１０、ＣＰＵ２２０、ＲＡＭ２２１、ＲＯＭ２２２、加速度センサ２２３、ディスプレイ２２５、エンコーダー２２６、記憶装置２２７、入力装置２２４を有する。

第１撮像ユニット２００は、第１レンズ群２０１、第１撮像素子である第１ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）２０２、第１Ａ／Ｄ変換ＩＣ２０３、および第１アクチュエーター２０４を備える。

第１レンズ群２０１は、図１に示した第１レンズ部１１１に相当し、光学ズームが可能なズームレンズおよびフォーカス調節が可能なフォーカスレンズ、を含む複数のレンズで構成される光学系である。さらに、第１レンズ群２０１には、第１ＣＣＤ２０２で受光する光の量（光量）を調節する光学式の絞り（図示せず）が備えられている。第１レンズ群２０１を通して取り込まれた光は、第１レンズ群２０１で光学ズーム、フォーカスおよび光量の各調節がなされた後、第１ＣＣＤ２０２の撮像面に被写体像として結像する。この画像が第１画像である。

第１ＣＣＤ２０２は、撮像面で受光した光を電気信号に変換して出力するように構成されている。この電気信号は、光の強さ（光量）に応じて電圧値が変化するアナログ信号である。

第１Ａ／Ｄ変換ＩＣ２０３は、第１ＣＣＤ２０２から出力されるアナログの電気信号を、デジタルの電気信号に変換するように構成されている。このデジタル信号が第１画像信号である。

第１アクチュエーター２０４は、第１レンズ群２０１に含まれるズームレンズおよびフォーカスレンズを駆動するように構成されたモータを有する。このモータは、ＣＰＵ２２０から出力される制御信号により制御される。

本実施の形態では、第１撮像ユニット２００は、第１画像を「水平方向の画素数１，９２０、垂直方向の画素数１，０８０」の画像信号にして出力するものとして、以下の説明を行う。また、第１撮像ユニット２００は、静止画の撮像だけでなく、動画撮影も可能に構成されており、一般的な動画と同様のフレームレート（例えば、６０Ｈｚ）での動画撮影を行うことができる。したがって、第１撮像ユニット２００では、高品質で滑らかな動画を撮影することが可能である。なお、フレームレートとは、単位時間（例えば、１秒間）に撮像する画像の枚数のことであり、フレームレートを６０Ｈｚにして動画撮影すると、１秒間に６０枚の画像が連続して撮像される。

なお、第１画像の画素数および動画撮影時のフレームレートは何ら上述の数値に限定されるものではなく、撮像装置１１０の仕様等に応じて適切に設定することが望ましい。

第２撮像ユニット２１０は、第２レンズ群２１１、第２撮像素子である第２ＣＣＤ２１２、第２Ａ／Ｄ変換ＩＣ２１３、および第２アクチュエーター２１４を備える。

第２レンズ群２１１は、図１に示した第２レンズ部１１２に相当し、フォーカス調節が可能なフォーカスレンズを含む複数のレンズで構成される光学系である。第２レンズ群２１１を通して取り込まれた光は、第２レンズ群２１１でフォーカスの調節がなされた後、第２ＣＣＤ２１２の撮像面に被写体像として結像する。この画像が第２画像である。

なお、第２レンズ群２１１は、上述したように光学ズーム機能を備えていない。そのため、光学ズームレンズではなく単焦点レンズを有する。また、第２レンズ群２１１は、第１レンズ群２０１よりも小型のレンズ群から構成され、第２レンズ群２１１の対物レンズには、第１レンズ群２０１の対物レンズよりも口径が小さいものが用いられている。これにより、第２撮像ユニット２１０を第１撮像ユニット２００よりも小型化し、撮像装置１１０全体を小型化して使い勝手（携帯性、操作性）を向上するとともに、第２撮像ユニット２１０の配置位置に関する自由度を高めている。これにより、図１に示したように、第２撮像ユニット２１０をモニター１１３に搭載することができる。

第２ＣＣＤ２１２は、第１ＣＣＤ２０２と同様に、撮像面で受光した光をアナログの電気信号に変換して出力するように構成されている。ただし、本実施の形態における第２ＣＣＤ２１２は、第１ＣＣＤ２０２よりも高い解像度を有する。したがって、第２画像の画像信号は、第１画像の画像信号よりも解像度が高く、画素数が多い。これは、第２画像の画像信号の一部を取り出して使用したり、電子ズームにより画像拡大をするためである。これらの詳細は後述する。

第２Ａ／Ｄ変換ＩＣ２１３は、第２ＣＣＤ２１２から出力されるアナログの電気信号を、デジタルの電気信号に変換するように構成されている。このデジタル信号が第２画像信号である。

第２アクチュエーター２１４は、第２レンズ群２１１に含まれるフォーカスレンズを駆動するように構成されたモータを有する。このモータは、ＣＰＵ２２０から出力される制御信号により制御される。

本実施の形態では、第２撮像ユニット２１０は、第２画像を「水平方向の画素数７，６８０、垂直方向の画素数４，３２０」の画像信号にして出力するものとして、以下の説明を行う。また、第２撮像ユニット２１０は、第１撮像ユニット２００と同様に、静止画の撮像だけでなく、動画撮影も可能に構成されている。ただし、第２画像信号は第１画像信号よりも解像度が高く、画素数が多いため、第２撮像ユニット２１０における動画撮影の際のフレームレートは、第１撮像ユニット２００での動画撮影の際のフレームレートよりも低い（例えば、３０Ｈｚ）。

なお、第２画像の画素数および動画撮影時のフレームレートは何ら上述の数値に限定されるものではなく、撮像装置１１０の仕様等に応じて適切に設定することが望ましい。

なお、本実施の形態では、撮像素子の撮像面に結像した被写体像を電気信号に変換し、Ａ／Ｄ変換ＩＣから画像信号として出力する一連の動作を「撮像」とする。第１撮像部では第１画像を撮像して第１画像信号を出力し、第２撮像部では第２画像を撮像して第２画像信号を出力する。

なお、本実施の形態では、第１撮像素子および第２撮像素子にＣＣＤを用いる例を説明したが、第１撮像素子および第２撮像素子は、受光した光を電気信号に変換する撮像素子であればよく、例えば、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等であってもよい。

ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２２２は、ＣＰＵ２２０を動作させるプログラムやパラメータ等の各種データが記憶されており、それらのデータをＣＰＵ２２０が任意に読み出すことができるように構成されている。ＲＯＭ２２２は、不揮発性型の半導体記憶素子で構成され、撮像装置１１０の電源がオフになっても、記憶されたデータは保持される。

入力装置２２４は、使用者の指示を受け付けることができるように構成された入力装置の総称である。入力装置２２４には、例えば、使用者が操作する電源ボタンや設定ボタン等の各種ボタン、タッチパネル、レバー等が含まれる。本実施の形態では、タッチパネルがディスプレイ２２５に設けられている例を説明する。しかし、入力装置２２４は、何らこれらの構成に限定されるものではなく、例えば音声入力装置を備えていてもよく、あるいは、全ての入力操作をタッチパネルで行う構成や、逆にタッチパネルを備えず全ての入力操作をボタンやレバー等で行う構成であってもよい。

ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２２０は、ＲＯＭ２２２から読み出したプログラムやパラメータ、入力装置２２４で受け付けられた使用者の指示、等にもとづき動作し、撮像装置１１０全体の制御、および各種演算処理を行うように構成されている。この各種演算処理には、第１画像信号および第２画像信号に関する画像信号処理が含まれる。この画像信号処理の詳細は後述する。

本実施の形態では、ＣＰＵ２２０にマイクロコンピューターを用いているが、例えば、マイクロコンピューターに代えてＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）を用い、同様の動作を行うように構成してもよい。

ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２２１は、揮発性型の半導体記憶素子で構成され、ＣＰＵ２２０からの指示にもとづき、ＣＰＵ２２０を動作させるプログラムの一部、プログラム実行時のパラメータ、使用者の指示、等を一時的に記憶するように構成されている。ＲＡＭ２２１に記憶されたデータは、ＣＰＵ２２０が任意に読み出すことができ、ＣＰＵ２２０の指示によって任意に書き換えが可能である。

加速度センサ２２３は、一般的に用いられている加速度検出センサであり、撮像装置１１０の動きや姿勢の変化を検出するように構成されている。加速度センサ２２３では、例えば、撮像装置１１０が地面に対して平行に保たれているかどうか、が検出され、この検出結果はディスプレイ２２５に表示される。したがって、使用者はその表示を見ることで、撮像装置１１０が地面に対して水平に保たれているかどうか、すなわち、撮像装置１１０が立体画像の撮像に適した状態（姿勢）にあるかどうか、を判断することができる。これにより、使用者は、撮像装置１１０を適切な姿勢に保って立体画像の撮像や立体動画の撮影を行うことができる。

なお、撮像装置１１０は、加速度センサ２２３での検出結果にもとづき手振れ補正等の光学系制御を行う構成であってもよい。また、加速度センサ２２３は、３軸方向のジャイロスコープ（３軸ジャイロセンサ）であってもよく、複数のセンサを組み合わせて用いる構成であってもよい。

ディスプレイ２２５は、一般に用いられている液晶ディスプレイパネルで構成され、図１に示したモニター１１３に搭載されている。ディスプレイ２２５は、上述したタッチパネルが表面に取り付けられており、画像表示と使用者の指示受け付けを同時に行うことができるように構成されている。ディスプレイ２２５に表示される画像には、（１）撮像装置１１０で撮像中の画像（第１撮像ユニット２００または第２撮像ユニット２１０から出力される画像信号にもとづく画像）、（２）記憶装置２２７に記憶されている画像信号にもとづく画像、（３）ＣＰＵ２２０で信号処理された画像信号にもとづく画像、（４）撮像装置１１０の各種設定項目を表示するメニュー表示画面、等がある。ディスプレイ２２５には、これらの画像が選択的に、または複数の画像を互いに重畳した画像が、表示される。なお、ディスプレイ２２５は、何ら上述の構成に限定されるものではなく、薄型で低消費電力の画像表示装置であればよく、例えばＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）パネル等で構成されていてもよい。

エンコーダー２２６は、撮像装置１１０で撮像した画像にもとづく画像信号や撮像した画像に関連する情報を、所定の方式で符号化（エンコード）するように構成されている。これは、データ量を低減して記憶装置２２７に記憶するためである。この符号化の方式は、一般的に用いられている画像圧縮方式であり、例えば、ＭＰＥＧ−２や、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ、等である。

記憶装置２２７は、任意に書き換えが可能な比較的大容量の記憶装置であるハードディスクドライブ（ＨＤＤ）で構成され、エンコーダー２２６で符号化されたデータ等を読み出し可能に記憶するように構成されている。また、記憶装置２２７に記憶するデータには、ＣＰＵ２２０で生成された立体画像の画像信号、立体画像の表示に必要な情報、画像信号に付随する画像情報が含まれる。なお、記憶装置２２７は、第１撮像ユニット２００または第２撮像ユニット２１０から出力される画像信号を、符号化処理を施さずにそのまま記憶するように構成されていてもよい。また、記憶装置２２７は、何らＨＤＤに限定されるものではなく、例えば、半導体記憶素子を内蔵したメモリーカードや光ディスク等の着脱可能な記憶媒体に記憶する構成であってもよい。

なお、上述の画像情報とは、画像信号に関する情報のことであり、例えば、画像の符号化方式、ビットレート、画像のサイズ、解像度、フレームレート、符号化される画像種類（一例として、Ｉ−Ｆｒａｍｅ、Ｂ−Ｆｒａｍｅ、Ｐ−Ｆｒａｍｅ、等）、撮像時の合焦距離（フォーカスが合っている被写体までの距離）、ズーム倍率、立体画像であるか否か、立体画像である場合には、左眼用画像と右眼用画像との識別子、視差情報、画像に写された被写体までの距離情報、等が挙げられる。これらのうちの単数または複数の情報が、画像情報として画像信号に関連付けられて記憶装置２２７に記憶される。

［１−２．動作］
以上のように構成された撮像装置１１０について、その動作を説明する。

以下では、撮像装置１１０で立体画像を撮像しているときに行われる主な動作を、機能毎にブロック分けして説明する。

図４は、実施の形態１における撮像装置１１０の構成を機能毎にブロック分けして示す図である。

撮像装置１１０の構成を、立体画像の撮像をしているときに動作する主な機能で分けて示すと、撮像装置１１０は、図４に示すように、第１撮像部３００、第２撮像部３１０、画像信号処理部３２０、表示部３３０、記憶部３４０、入力部３５０、カメラ情報部３６０、の７つのブロックに大別することができる。

なお、画像信号処理部３２０では、画像信号を処理する際に、フレームメモリ等の記憶素子に一時的に画像信号を記憶するが、図４では、そのような記憶素子は省略している。

第１撮像部３００は、第１光学部３０１、第１撮像素子３０２、第１光学制御部３０３、を備える。第１撮像部３００は、図３に示した第１撮像ユニット２００に相当する。また、第１光学部３０１は第１レンズ群２０１に、第１撮像素子３０２は第１ＣＣＤ２０２および第１Ａ／Ｄ変換ＩＣ２０３に、第１光学制御部３０３は第１アクチュエーター２０４に、それぞれ相当する。重複するのでこれらの説明は省略する。

第２撮像部３１０は、第２光学部３１１、第２撮像素子３１２、第２光学制御部３１３、を備える。第２撮像部３１０は、図３に示した第２撮像ユニット２１０に相当する。また、第２光学部３１１は第２レンズ群２１１に、第２撮像素子３１２は第２ＣＣＤ２１２および第２Ａ／Ｄ変換ＩＣ２１３に、第２光学制御部３１３は第２アクチュエーター２１４に、それぞれ相当する。重複するのでこれらの説明は省略する。

表示部３３０は、図３に示したディスプレイ２２５に相当する。入力部３５０は、図３に示した入力装置２２４に相当する。入力部３５０に含まれるタッチパネルは、表示部３３０の表面に取り付けられており、表示部３３０では、画像の表示と使用者の指示受け付けを同時に行うことができる。カメラ情報部３６０は、図３に示した加速度センサ２２３に相当する。記憶部３４０は、図３に示した記憶装置２２７に相当する。重複するのでこれらの説明は省略する。

画像信号処理部３２０は、図３に示したＣＰＵ２２０およびエンコーダー２２６に相当する。

なお、ＣＰＵ２２０では、撮像装置１１０全体の制御や各種演算処理が行われるが、図４には、撮像装置１１０で立体画像の撮像を行うときにＣＰＵ２２０で行われる演算処理（画像信号処理）および制御動作に関連する主な機能のみをブロック分けして示しており、他の動作に関する機能は省略している。これは、撮像装置１１０で立体画像を撮像するときの動作を分かりやすく示すためである。

なお、画像信号処理部３２０として図４に示す各機能ブロックは、ＣＰＵ２２０で行われる演算処理および制御動作の主なものを機能別に分けて示しているに過ぎず、ＣＰＵ２２０の内部が図４に示す各機能ブロックに物理的に分けられているわけではない。しかし、以下では便宜的に画像信号処理部３２０が図４に示す各部を有するものとして説明を行う。

なお、ＣＰＵ２２０は、図４に示す各機能ブロックに相当する電子回路を備えたＩＣまたはＦＰＧＡで構成してもよい。

画像信号処理部３２０は、図４に示すように、画角合わせ部３２１、縮小処理部３２２、視差情報生成部３２３、測距部３２４、画像生成部３２５、撮像制御部３２６、を有する。

画角合わせ部３２１は、第１撮像部３００から出力される第１画像信号および第２撮像部３１０から出力される第２画像信号が入力される。そして、撮像範囲が互いに等しいと判断される画像信号を各入力画像信号から取り出す。

第１撮像部３００では光学ズームによる撮像が可能であり、第２撮像部３１０では単焦点レンズによる撮像が行われる。第１光学部３０１が広角端のときの第１画像の画角が第２画像の画角以下になるように各撮像部が設定されていれば、第２画像に撮像される範囲には、常に第１画像に撮像される範囲が含まれることになる。例えば、ズーム倍率を上げて撮像された第１画像よりも、撮像の際に光学ズームができない第２画像の方が、画角が広く、この第２画像には第１画像よりも広い範囲が撮像されている。

なお、「画角（Ａｎｇｌｅ ｏｆ ｖｉｅｗ）」とは、画像として撮像される範囲のことであり、一般的には角度で表現される。

そこで、画角合わせ部３２１では、パターンマッチング等の一般に用いられている比較・照合手法を用いて、第１画像として撮像された範囲（画角）に相当する部分を第２画像信号から取り出す。以下、第２画像信号から取り出された画像信号を「切り出し画像信号」と呼称し、切り出し画像信号による画像を「切り出し画像」と呼称する。したがって、切り出し画像は、画角合わせ部３２１において第１画像の撮像範囲に等しいと判断された範囲の画像になる。

なお、第１光学部３０１と第２光学部３１１との配置位置の違い（視差）により、第１画像と第２画像とでは画像内における被写体の位置に差が生じる。そのため、第２画像における第１画像に対応する領域が、第１画像に完全に合致する可能性は低い。したがって、画角合わせ部３２１でパターンマッチングを行う際は、第１画像信号と類似度が最も大きくなる領域を第２画像信号において探索し、その領域を第２画像信号から取り出して切り出し画像信号とすることが望ましい。

そして、画角合わせ部３２１は、切り出し画像信号と第１画像信号を後段の縮小処理部３２２に出力する。なお、第１画像と第２画像の画角が互いに等しいときには、第２画像信号をそのまま切り出し画像信号として用いることもある。

なお、画角合わせ部３２１における動作は、何ら上述した動作に限定されるものではない。例えば、第１画像の画角が第２画像の画角より広ければ、第１画像信号から第２画像の撮像範囲に相当する領域を取り出して切り出し画像信号を生成するように動作してもよい。また、第１画像と第２画像とで撮像範囲に差があるときには、撮像範囲が互いに等しい領域を第１画像信号と第２画像信号とのそれぞれから取り出して後段に出力するように動作してもよい。

なお、本実施の形態は、画角合わせ部３２１において第１画像信号と第２画像信号との比較に用いる手法を、何らパターンマッチングに限定するものではなく、その他の比較・照合手法を用いて切り出し画像信号を生成してもよい。

縮小処理部３２２は、画角合わせ部３２１から出力される第１画像信号と切り出し画像信号の両画像信号を、画素を間引いて画素数（信号量）を削減する縮小処理を行う。これは、後段の視差情報生成部３２３における視差情報の算出に必要な演算量を低減するためである。

また、縮小処理部３２２は、両画像信号の縮小処理後の画素数が互いに等しくなるように、それぞれの縮小処理を行う。これは、後段の視差情報生成部３２３において行う２つの画像信号の比較処理を、演算量を低減するとともに精度を高めて行うためである。例えば、切り出し画像信号の画素数（例えば、３８４０×２１６０）が第１画像信号の画素数（例えば、１９２０×１０８０）の４倍であり、第１画像信号を画素数が１／４（例えば、９６０×５４０）になるように縮小処理する場合は、切り出し画像信号に関しては画素数が１／１６（例えば、９６０×５４０）になるように縮小処理を行う。なお、縮小処理を行う際は、フィルタリング処理等を行い、できるだけ情報が損なわれないようにすることが望ましい。

視差情報生成部３２３は、縮小処理部３２２で縮小処理された第１画像信号および切り出し画像信号にもとづいて、視差情報を生成する。視差情報生成部３２３は、縮小処理された第１画像信号と縮小処理された切り出し画像信号とを互いに比較し、互いに対応する被写体が２つの画像信号間でどの程度ずれているかを、画素単位、または複数の画素からなるブロック単位で、算出する。この「ずれの量（ずれ量）」は、視差方向、例えば、撮像が行われたとき地面に対して水平となる方向、で算出する。この「ずれ量」を１枚の画像（縮小処理された第１画像信号にもとづく画像、または、縮小処理された切り出し画像信号にもとづく画像）の全域において算出し、算出対象となる画像の画素またはブロックに対応付けたものが、視差情報（デプスマップ）となる。

本実施の形態では、縮小処理された第１画像信号に関連付けて視差情報（デプスマップ）を生成するものとするが、縮小処理された切り出し画像信号に関連付けて視差情報（デプスマップ）を生成する構成であってもよい。

測距部３２４は、視差情報生成部３２３で生成された視差情報（デプスマップ）と、その画像の撮像時に得られる情報（ズーム倍率や合焦距離に関する情報）とにもとづいて、画像に写された所定の被写体までの距離を算出する。所定の被写体までの距離算出方法については後述する。なお、本実施の形態では、所定の被写体は、表示部３３０に表示されている画像において、使用者がタッチパネルを介して指定した被写体（使用者が触れた位置に表示されている被写体）とする。なお、本実施の形態は何らこの構成に限定されるものではなく、例えば合焦している被写体を所定の被写体とする等、他の方法で所定の被写体を設定してもよい。

画像生成部３２５は、視差情報生成部３２３から出力される視差情報にもとづいて、第１画像信号から新たな第２画像信号を生成する。以下、第１画像信号から生成される新たな第２画像信号を「新第２画像信号」と記す。また、新第２画像信号による画像を「新第２画像」と記す。

本実施の形態では、第１画像信号を右眼用画像信号とし、画像生成部３２５で視差情報にもとづき生成される新第２画像信号を左眼用画像信号とする立体画像信号を、画像生成部３２５から出力する。

この立体画像信号は、例えば記憶部３４０に記憶され、また、この立体画像信号にもとづく立体画像は表示部３３０に表示される。

撮像装置１１０では、第１画像信号（例えば、右眼用画像信号）から、視差情報にもとづき、対となる新第２画像信号（例えば、左眼用画像信号）を生成する。したがって、視差情報に補正を加えることで、生成される立体画像の立体感を調整することが可能である。そこで、立体画像の立体感を増す、あるいは抑制する、等の立体感の調整ができるように、画像生成部３２５において、視差情報（デプスマップ）に補正を加えられるように構成してもよい。

なお、視差を有する２枚の画像から視差情報（ずれ量）を算出する手法、および視差情報にもとづき新たな画像信号を生成する手法は公知であり、例えば上述の特許文献１等に記載されているので、詳細な説明は省略する。

次に、撮像装置１１０における立体画像の撮像動作および所定の被写体までの距離を算出する測距動作について、図面を用いて説明する。また、各機能ブロックで画像信号がどのように処理されるのかを、一例を挙げて図面に示す。

以下、まず立体画像の撮像動作について説明し、次に測距動作について説明する。

図５は、実施の形態１における撮像装置１１０の画像信号の処理の流れの一例を概略的に示す図である。

図６は、実施の形態１における撮像装置１１０の立体画像撮像時の動作を説明するフローチャートである。

ここでは、一例として図５に示すように、第１撮像部３００は、画素数が１９２０×１０８０の第１画像信号を出力し、第２撮像部３１０は、画素数が７６８０×４３２０の第２画像信号を出力するものとして、以下の説明を行う。

なお、図５に示す数値は、単に一例を挙げたものに過ぎず、本実施の形態は何らこれらの数値に限定されるものではない。

立体画像の撮像を行うとき、撮像装置１１０では主に以下の動作を行う。

まず、画角合わせ部３２１において、第１画像として撮像された範囲（画角）に相当する部分を第２画像信号から取り出して、切り出し画像信号を生成する（ステップＳ５０１）。

画像信号処理部３２０の撮像制御部３２６は、第１光学制御部３０３を介して第１光学部３０１の光学ズームを制御する。したがって、画像信号処理部３２０は、第１画像が撮像されたときの第１光学部３０１のズーム倍率を、第１画像の付帯情報として取得することができる。一方、第２光学部３１１では光学ズームができないので、第２画像を撮像するときのズーム倍率は固定されている。画角合わせ部３２１は、これらの情報に基づいて第１画像と第２画像との画角の差を算出し、その算出結果にもとづき第２画像信号から第１画像の撮像範囲（画角）に相当する領域を特定して切り出す。

このとき、画角合わせ部３２１は、第１画像の画角に相当する領域よりもやや広い範囲（例えば、１０％程度広い範囲）をまず切り出す。これは、第１画像の中心と第２画像の中心との間に若干のずれが生じる可能性があるためである。

次に、画角合わせ部３２１は、この切り出した範囲に対して、一般に用いられているパターンマッチングを行い、第１画像の撮像範囲に相当する領域を特定して再度切り出す。これにより、比較的負荷の軽い演算処理で高速に切り出し画像信号を生成することができる。なお、画角や解像度が互いに異なる２枚の画像を比較して撮像範囲が互いに共通する領域を特定するパターンマッチング等の手法は、一般に知られた手法であるので、説明を省略する。

このようにして、画角合わせ部３２１は、第１画像信号の撮像範囲に実質的に等しい領域を第２画像信号から取り出し、切り出し画像信号を生成する。

なお、本実施の形態は何らこの構成に限定されるものではなく、例えばパターンマッチングだけで切り出し画像信号を生成する等してもかまわない。

図５には、切り出し画像信号が画素数３８４０×２１６０の画像信号として生成される例を示す。切り出し画像信号の画素数は、第１撮像部３００の光学ズーム倍率の大きさによって異なり、第１画像を撮像する際のズーム倍率が大きいほど、切り出し画像信号の画素数は小さくなる。

次に、縮小処理部３２２において、第１画像信号と切り出し画像信号を、それぞれが所定の画素数になるように、縮小処理する（ステップＳ５０２）。

図５には、所定の画素数を９６０×５４０とする例を示す。第１画像信号の画素数が１９２０×１０８０であれば、第１画像信号を水平方向・垂直方向それぞれに１／２に縮小処理することで、縮小処理後の第１画像信号の画素数を９６０×５４０にすることができる。また、切り出し画像信号の画素数が３８４０×２１６０であれば、切り出し画像信号を水平方向・垂直方向それぞれに１／４に縮小処理することで、縮小処理後の切り出し画像信号の画素数を９６０×５４０にすることができる。

次に、視差情報生成部３２３において、縮小処理部３２２で縮小処理された第１画像信号および切り出し画像信号にもとづいて、視差情報（デプスマップ）を生成する（ステップＳ５０３）。

次に、画像生成部３２５において、立体画像信号において第１画像信号の対となる新第２画像信号を、視差情報生成部３２３で生成された視差情報（デプスマップ）にもとづき、第１画像信号から生成する（ステップＳ５０４）。

画像生成部３２５では、まず、視差情報（デプスマップ）を、第１画像信号の画素数に合わせて拡張する。以下、この拡張された視差情報（デプスマップ）を「拡張デプスマップ」と呼称する。例えば、視差情報（デプスマップ）が画素数９６０×５４０の画像信号にもとづき生成され、第１画像信号の画素数が１９２０×１０８０であれば、視差情報（デプスマップ）を、水平方向・垂直方向それぞれに２倍に拡張して、拡張デプスマップを生成する。

そして、画像生成部３２５は、拡張デプスマップにもとづき、例えば画素数１９２０×１０８０の第１画像信号から、画素数１９２０×１０８０の新第２画像信号を生成する。

このとき、上述した補正（立体画像の立体感を調整するための補正）を加えた視差情報（デプスマップ）にもとづく拡張デプスマップにより新第２画像信号を生成すると、立体感が調整された立体画像信号が生成される。なお、視差情報（デプスマップ）に補正を加える処理と、拡張デプスマップを生成する処理は、どちらが先に行われてもかまわない。

そして、画像生成部３２５は、第１画像信号と新第２画像信号の対を立体画像信号として出力する（ステップＳ５０５）。

なお、本実施の形態では、第１画像信号を右眼用画像信号とし、新第２画像信号を左眼用画像信号としているが、第１画像信号を左眼用画像信号とし、新第２画像信号を右眼用画像信号とするように撮像装置１１０を構成してもかまわない。また、各画像信号の画素数および縮小処理後の画像信号の画素数は、何ら上述した数値に限定されるものではない。

次に、撮像装置１１０における測距動作について説明する。

図７は、実施の形態１における撮像装置１１０の測距動作を説明するフローチャートである。

所定の被写体までの距離を算出する測距動作を行うとき、撮像装置１１０では主に以下の動作を行う。

なお、図７に示すステップＳ５０１からステップＳ５０３までの各動作は、図６に示したステップＳ５０１からステップＳ５０３までの各動作と実質的に等しいので、説明を省略する。

測距部３２４は、視差情報生成部３２３が生成した視差情報（デプスマップ）と第１画像信号とにもとづき、撮像装置１１０から所定の被写体までの距離を算出する（ステップＳ６０４）。算出された距離は、距離情報信号として、測距部３２４から後段の画像生成部３２５に出力される。なお、測距部３２４における距離の算出動作の詳細は、後述する。

画像生成部３２５は、測距部３２４から出力される距離情報信号を、表示部３３０に表示する画像信号（例えば、第１画像信号等）に重畳して出力する（ステップＳ６０５）。図５には、この画像信号を「生成画像信号」と記す。表示部３３０には、距離情報信号が重畳された後の画像信号にもとづく画像が表示される。

次に、ステップＳ６０４における動作の詳細を説明する。

図８は、実施の形態１における撮像装置１１０の測距動作の詳細を説明するフローチャートである。

撮像装置１１０では、所定の被写体までの距離を算出するステップＳ６０４において、主に以下の動作を行う。

測距部３２４は、まず、第１画像において基準面を設定する（ステップＳ９０１）。

測距部３２４は、視差情報生成部３２３が生成した視差情報（デプスマップ）において、「ずれ量」が「０」となる領域を基準面に設定する。

図９は、実施の形態１における撮像装置１１０での撮像の様子を概略的に示す図である。図９には、第１撮像部３００の光軸を実線で示し、第２撮像部３１０の光軸を破線で示す。

例えば、平行法にもとづく撮像が行われるように第１撮像部３００および第２撮像部３１０の光軸がそれぞれ設定されていれば、実質的に無限遠となる位置にある被写体において「ずれ量」は「０」となる。したがって、実質的な無限遠が基準面となる。この場合は、被写体の位置が近景になるほど（撮像装置１１０に近づくほど）「ずれ量」は大きくなる。

撮像装置１１０では、合焦した被写体にもとづき基準面を設定することも可能である。アフィン変換を行えば、平行法で撮像された画像を、交差法で撮像されたかのような画像に変換することができ、そのときの交差点（クロスポイント、第１撮像部３００の光軸と第２撮像部３１０の光軸とが交差する点のこと）を、任意の位置、例えば合焦した被写体がある位置、に設定することも可能である。なお、以下、撮像装置１１０から合焦した被写体までの距離を「合焦距離」と記す。

撮像装置１１０では、合焦距離を、フォーカス調節の際に取得することができる。第１光学部３０１に含まれるフォーカスレンズは、撮像制御部３２６が第１光学制御部３０３を介して制御する。このフォーカスレンズが第１光学部３０１の光軸方向に移動すると、第１撮像素子３０２の撮像面に結像する被写体像のフォーカス状態が変化する。すなわち、撮像装置１１０から、第１撮像素子３０２の撮像面においてフォーカスが合う（合焦する）被写体までの距離（合焦距離）は、フォーカスレンズの位置に応じて変化する。このように、フォーカスレンズの位置と合焦距離は、互いに対応付けすることができる。例えば、撮像制御部３２６（または、第１光学制御部３０３）に、フォーカスレンズの位置と合焦距離とを対応付けた情報をあらかじめ備えておくことで、現在のフォーカスレンズの位置から現在の合焦距離を取得することができる。すなわち、撮像制御部３２６は、第１光学制御部３０３を介してフォーカスレンズを制御する際に、合焦距離を取得することができる。合焦距離が得られれば、これにもとづきアフィン変換を行うことができる。

合焦した被写体の位置が光軸の仮想的な交差点（クロスポイント）となるようにアフィン変換を行うと、実質的に合焦距離だけ撮像装置１１０から離れている被写体において「ずれ量」は「０」となる。したがって、合焦した被写体の位置が基準面となる。この場合、基準面より手前にある被写体と、基準面より奥にある被写体とでは、算出される「ずれ量」の符号が逆になる。

図１０は、実施の形態１における撮像装置１１０での基準面の設定例を概略的に示す図である。図１０には、風船を持った人物にフォーカスが合わせられ、この合焦距離にもとづき基準面が設定された例を示す。したがって、図１０に示す例では、風船を持った人物がいる位置が基準面となる。

例えば、基準面より奥にある被写体に関する「ずれ量」の符号を「正」、基準面より手前にある被写体に関する「ずれ量」の符号を「負」とすると、図１０に示すように、被写体の位置が基準面から遠景になるほど（基準面から遠ざかるほど）「ずれ量」は正方向に大きくなり、被写体の位置が基準面から近景になるほど（基準面から撮像装置１１０に近づくほど）「ずれ量」は負方向に大きくなる。

本実施の形態では、第１撮像部３００および第２撮像部３１０は、平行法による撮像が行われるように構成され、画像信号処理部３２０は、第１撮像部３００で撮像される第１画像において合焦した被写体のある位置を基準面に設定して測距動作を行うように構成されているものとする。

しかし、本実施の形態は何らこの構成に限定されるものではない。例えば、撮像装置１１０の位置を基準面に設定するように構成してもよく、または、所定の固定された位置を基準面に設定するように構成してもよく、あるいは、上述したように無限遠を基準面に設定するように構成してもよい。また、交差法による撮像が行われるように第１撮像部３００および第２撮像部３１０を構成してもよく、さらには、合焦距離に応じて機構的に光軸の交差点（クロスポイント）が変化するように構成してもよい。

次に、測距部３２４では、測距の対象となる被写体が設定される（ステップＳ９０２）。

上述したように、入力部３５０に含まれるタッチパネルは、表示部３３０の表面に取り付けられており、表示部３３０では、画像の表示と使用者の指示受け付けを同時に行うことができる。本実施の形態では、表示部３３０に表示されている画像（例えば、第１画像）において、使用者がタッチパネルを介して指定した被写体（使用者が触れた位置に表示されている被写体）を、測距の対象とする。使用者は、これにより測距対象となる被写体を容易に指定することができる。

なお、本実施の形態は、何らこの構成に限定されるものではなく、他の手法により測距の対象となる被写体を選択（設定）する構成であってもよい。例えば、合焦した被写体を測距の対象とするように構成してもよい。

次に、測距部３２４は、選択された被写体に対応する「ずれ量」を視差情報（デプスマップ）から選定する（ステップＳ９０３）。

具体的には、測距部３２４は、視差情報（デプスマップ）から、選択された被写体に対応する領域にある「ずれ量」を読み取り、選択された被写体における「ずれ量」とする。

なお、視差情報（デプスマップ）の、選択された被写体に対応する領域からは、その被写体の大きさに応じて複数の「ずれ量」を読み取ることができる。したがって、測距部３２４では、それら複数の「ずれ量」の平均値を、選択された被写体における「ずれ量」として用いるものとする。しかし、本実施の形態は、何らこの構成に限定されるものではなく、例えば、選択された被写体の所定の一点（例えば、中心点、等）に対応する「ずれ量」を選択された被写体における「ずれ量」として用いる構成としてもよい。あるいは、視差情報（デプスマップ）の、使用者が触れたタッチパネルの位置に相当する位置にある「ずれ量」をそのまま用いる構成であってもよい。

そして、測距部３２４は、ステップＳ９０３で設定された「ずれ量」にもとづき、距離を算出する（ステップＳ９０４）。

測距部３２４では、視差情報生成部３２３が生成した視差情報（デプスマップ）において、「ずれ量」が「０」となる領域を基準面に設定する。したがって、「ずれ量」が大きいほど、基準面からの距離は大きくなる。この関係を利用して、測距部３２４は距離の算出を行う。

具体的には、測距部３２４は、「ずれ量」の大きさと基準面からの距離との関係があらかじめ設定された情報（ルックアップテーブル）を備えており、このルックアップテーブルから「ずれ量」の大きさにもとづいて距離情報を読み出す。そして、読み出した距離情報を、撮像装置１１０から基準面までの距離に加算（または減算）して、所定の被写体までの距離を算出する。

撮像装置１１０から基準面までの距離は、上述したように合焦距離として得ることができるので、説明を省略する。

なお、「ずれ量」の大きさと基準面からの距離との関係は、第１光学部３０１における光学ズームの倍率に応じて異なるので、測距部３２４は、ズーム倍率に応じた複数のルックアップテーブルを備えておくことが望ましい。ただし、光学ズームの倍率は連続的に変化するので、例えば、光学ズームの倍率が整数倍のときのルックアップテーブルだけを備え、光学ズームの倍率が整数倍でないときの距離は、それらのルックアップテーブルから「ずれ量」にもとづき読み出した複数の距離情報を、光学ズームの倍率に応じて設定される計算式に代入して算出する構成としてもよい。

本実施の形態は、何らこの構成に限定されるものではなく、例えば、あらかじめ設定されたズーム倍率と「ずれ量」の大きさと基準面からの距離との関係を表す計算式を測距部３２４に備え、この計算式にズーム倍率や「ずれ量」の大きさ等を代入して、距離を算出する構成であってもよい。

なお、測距部３２４は、光学ズームの倍率や合焦距離等の、測距に必要な各種情報は、上述したように、画像信号に付随する画像情報として取得することが可能である。

なお、「ずれ量」の大きさと基準面からの距離との関係は必ずしも線形ではなく、第１光学部３０１における光学特性に応じて非線形となる場合もある。しかし、上述したルックアップテーブルから距離情報を読み取る方式では、たとえ「ずれ量」の大きさと基準面からの距離との関係に非常に複雑な非線形性があったとしても、適切に対応することができる。

ステップＳ６０４では、このようにして、所定の被写体までの距離を算出する。算出された距離を示す数字は表示画像に重畳され、例えば図１１に示すような形態で表示部３３０に表示される。

図１１は、実施の形態１における撮像装置１１０の表示部３３０に表示される算出距離が重畳された画像の一例を示す図である。

例えば、測距部３２４において所定の被写体（風船を持った人物）までの距離が「５ｍ」と算出されれば、表示部３３０には、風船を持った人物の近傍に、測距の結果を示す「５ｍ」という数字が表示される。

このように、表示部３３０に表示される画像には、測距の対象として選択された被写体の近傍に測距の結果を示す数字が表示されるので、使用者は、指定した被写体までの距離を一目で把握することができる。

表示部３３０に所定の被写体までの距離を表示する際、例えば図１１に示すように、測距の対象となっている被写体を矢印等の記号で指し示してもよい。

なお、本実施の形態は、何らこれらの構成に限定されるものではなく、測距の結果を示す数値は、表示部３３０のどこに表示されてもかまわない。また、測距の対象となっている被写体を色や輪郭線を変えて表示する等してもよい。

なお、第１光学部３０１のズーム倍率および第２撮像素子３１２の解像度は、第１光学部３０１を望遠端（テレ端）にしたときの切り出し画像信号の解像度が第１画像信号の解像度以上となるように、設定することが望ましい。これは、第１光学部３０１を望遠端にしたときに、切り出し画像信号が第１画像信号よりも低解像度になることを防止するためである。しかし、本実施の形態は何らこの構成に限定されるものではない。

なお、第２光学部３１１は、第１光学部３０１を広角端（ワイド端）にしたときの画角に実質的に等しいか、さらに広い画角を有するように構成することが望ましい。これは、第１光学部３０１を広角端にしたときに、第１画像が第２画像よりも広い画角になることを防止するためである。しかし、本実施の形態は何らこの構成に限定されるものではなく、第１光学部３０１を広角端にしたときの第１画像の画角が第２画像よりも広い画角であってもよい。

なお、本実施の形態における測距動作は、使用者の指示により行われ、使用者の指示が無ければ行われないものとする。また、撮像装置１１０は、立体画像撮像時だけに測距動作が行われる構成に限定されるものではない。立体画像を撮像しないときであっても、モニター１１３が開かれた状態であれば、使用者の指示により、図７、図８に示したステップを実行することで、測距動作が行われる構成としてもよい。

［１−３．効果等］
以上のように、本実施の形態において、撮像装置１１０は、開閉可能に構成された表示部３３０と、第１撮像部３００と、第２撮像部３１０と、画角合わせ部３２１と、視差情報生成部３２３と、複数のルックアップテーブルと、測距部３２４と、を備える。表示部３３０は、撮像画像を画像表示面に表示するように構成されている。第１撮像部３００は、第１画像を撮像して第１画像信号を出力するように構成されている。第２撮像部３１０は、第１画像以上の画角を有する第２画像を、第１画像よりも高解像度で撮像して第２画像信号を出力するように構成されている。画角合わせ部３２１は、第１画像信号に基づき、第２画像信号の少なくとも一部を切り出して切り出し画像信号を生成するように構成されている。視差情報生成部３２３は、第１画像信号と切り出し画像信号とに基づき視差情報を生成するように構成されている。ルックアップテーブルには、第１撮像部３００の光学ズームの倍率に応じて、視差情報と被写体までの距離との関係があらかじめ設定されている。測距部３２４は、視差情報と第１画像信号とに基づき、ルックアップテーブルを用いて、第１画像信号に含まれる所定の被写体までの距離を算出するように構成されている。そして、第２撮像部３１０は、表示部３３０の画像表示面の裏側に配置されている。

これにより、撮像装置１１０では、立体画像の撮像とともに、撮像された画像に写された所定の被写体までの距離を算出することができる。

所定の被写体までの距離を精度を高めて算出するためには、精度の高い視差情報を生成する必要があり、そのためには、視差を有する２枚の画像を良好な品質で取得する必要がある。

このような画像を取得するためには、対となる右眼視点の画像と左眼視点の画像とを撮像する際に、画角（撮像範囲）、解像度（画素数）、ズーム倍率等の撮像条件を互いに揃え、できるだけ等しい状態にすることが望ましい。

しかしながら、そのような条件を整えようとすると、例えば第１撮像部が光学ズーム機能を備えていれば、第２撮像部にも同様の光学ズーム機能を備えなければならなくなる。しかし、そのような構成では、撮像装置本体の大きさが増大し、撮像装置としての使い勝手が悪くなる。

本実施の形態の撮像装置１１０は、第１撮像部３００に光学ズーム機能を備えており、第１画像を良好な品質で撮像することができる。

一方、第２撮像部３１０は、光学ズーム機能を備えておらず、単焦点レンズを有する構成であるので、第２撮像部３１０を第１撮像部３００よりも小型化し、撮像装置１１０全体を小型化して良好な使い勝手（携帯性、操作性）を実現している。さらに、第２撮像部３１０を小型化して配置位置に関する自由度を高めているので、第２撮像部３１０をモニター１１３に搭載することができる。

しかし、第１撮像部３００と第２撮像部３１０とで、光学系の仕様が互いに異なるので、精度の高い視差情報を得ることは困難である。

そこで、本実施の形態では、撮像装置１１０を上述した構成とし、第１撮像部３００で撮像した第１画像にもとづき、第２画像信号から切り出し画像信号を生成し、さらに、第１画像信号と切り出し画像信号の画素数を互いに合わせる処理を施して、精度の高い視差情報を生成している。

これにより、本実施の形態の撮像装置１１０では、精度の高い測距を行うことができる。このとき、測距部３２４では、基準面を設定し、基準面からの距離を算出するので、例えば合焦していない被写体であっても、精度良く測距を行うことが可能である。また、精度の高い視差情報にもとづき第１画像信号から新第２画像信号を生成しているので、良好な品質の立体画像信号を生成することができる。

さらに、撮像装置１１０では、第２撮像部３１０を使用する必要がないとき使用者はモニター１１３を閉じておくこともできるので、携帯時等の利便性が向上する。

（実施の形態２）
以下、図１２、図１３を用いて、実施の形態２を説明する。

［２−１．構成］
実施の形態２における撮像装置１２０は、実施の形態１に示した撮像装置１１０と実質的に同じ外観、構成、機能であり、実質的に同じ動作をするので、詳細な説明を省略する。また、使用者が立体画像の撮像および測距を行うときの動作も、実施の形態１と実質的に同様である。ただし、画像信号処理部における処理動作に差異があるので、以下、この差異について説明する。

図１２は、実施の形態２における撮像装置１２０の構成を機能毎にブロック分けして示す図である。

図１３は、実施の形態２における撮像装置１２０の画像信号の処理の流れの一例を概略的に示す図である。なお、図１３に示す数値は、単に一例を挙げたものに過ぎず、本実施の形態は何らこれらの数値に限定されるものではない。

なお、以下では、実施の形態１に示した構成要素と実質的に同じ動作、機能、構成を有する構成要素については実施の形態１で示した符号と同一の符号を付与し、説明を省略する。

図１２に示すように、本実施の形態における撮像装置１２０の画像信号処理部４２０は、図４に示した画像信号処理部３２０とほぼ同様の構成であるが、縮小処理部３２２に代えて画素数合わせ部４２２を有する点が異なる。

画素数合わせ部４２２は、画角合わせ部３２１から出力される第１画像信号と切り出し画像信号の両画像信号の画素数を比較し、いずれか画素数が多い方の画像信号の画素数を、画素数が少ない方の画像信号の画素数に合わせて、縮小する。こうして、両画像信号の画素数を互いに等しくする。

例えば、図１３に示すように、第１画像信号の画素数が１９２０×１０８０、切り出し画像信号の画素数が３８４０×２１６０であれば、切り出し画像信号を水平方向・垂直方向それぞれに１／２に縮小処理して、画素数１９２０×１０８０の画像信号にする。

第１画像信号の画素数の方が切り出し画像信号の画素数よりも多いときには、画素数合わせ部４２２は、第１画像信号の画素数を、切り出し画像信号の画素数に合わせて縮小する。

なお、画素数合わせ部４２２においては、例えば、切り出し画像信号の画素数が第１画像信号の画素数の１／４以上のときに上述の処理を行う、といった制限を設けてもよい。

［２−２．動作］
以上のように構成された撮像装置１２０の動作は、縮小処理部３２２で行った縮小処理に代えて画素数合わせ部４２２で上述の画素数を合わせる処理が行われる点が異なる以外は実施の形態１に示した撮像装置１１０と実質的に同じ動作であるので、詳細な説明を省略する。

［２−３．効果等］
以上のように構成された撮像装置１２０では、縮小処理部３２２で行った画像信号の縮小処理を行わないので、後段の視差情報生成部３２３における視差情報の算出精度を、実施の形態１に示した構成と比較して、高めることができる。

例えば、図１３に示す例では、視差情報生成部３２３は、画素数１９２０×１０８０の画像信号にもとづく視差情報（デプスマップ）を生成する。これは、実施の形態１に示した例と比較して、４倍の情報量になる。

したがって、本実施の形態における撮像装置１２０では、実施の形態１に示した撮像装置１１０と比較して、より精度の高い測距を行うことができる。

（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１、２を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略等を行った実施の形態にも適用できる。また、上記実施の形態１、２で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。

そこで、以下、他の実施の形態を例示する。

例えば、撮像装置に、実施の形態１に示した縮小処理部３２２と実施の形態２に示した画素数合わせ部４２２の両方を備える構成としてもよい。この構成では、例えば、立体画像の撮像（新第２画像信号の生成）を行うときは、縮小処理部３２２を通した画像信号にもとづき視差情報（デプスマップ）を生成し、測距を行うときは画素数合わせ部４２２を通した画像信号にもとづき視差情報（デプスマップ）を生成する、といったように、用途に応じて２種類の視差情報（デプスマップ）を生成することができる。

本実施の形態では、撮像装置を、第１撮像部３００で第１画像を撮像し、第２撮像部３１０で第２画像を撮像するように構成する例を説明したが、例えば、第１撮像部３００に代えて第１画像入力部を備え、第２撮像部３１０に代えて第２画像入力部を備え、第１画像入力部を通して第１画像を取得し、第２画像入力部を通して第２画像を取得するように構成してもよい。

実施の形態１、２では、撮像装置において測距を行う構成を説明したが、本実施の形態に示した測距のための構成および動作は、立体画像の撮像を目的としていない機器（例えば、測距装置、等）にも適応可能である。

実施の形態１、２に示した構成および動作は、動画撮影時にも適応可能である。ただし、第１画像信号および第２画像信号が動画であって、フレームレートが互いに異なるときは、画角合わせ部３２１において、いずれかフレームレートが低い方の画像信号をフレームレートが高い方の画像信号に合わせて高フレームレート化し、高い方に等しいフレームレートにするものとする。例えば、第１画像信号のフレームレートが６０Ｈｚ、第２画像信号のフレームレートが３０Ｈｚであれば、第２画像信号または切り出し画像信号を６０Ｈｚに高フレームレート化する。なお、この際に用いるフレームレート変換手法は、公知のものでかまわない。このように、動画信号に対しては、比較を行いやすい状態にして、視差情報生成を行うものとする。これにより動画撮像時においても高い精度で測距を行うことができる。

なお、第１光学部３０１（第１レンズ群２０１）および第２光学部３１１（第２レンズ群２１１）は、何ら実施の形態１に示した構成に限定されるものではない。例えば、フォーカス調節が可能なフォーカスレンズに代えて、フォーカス調節が不要なパンフォーカス（ディープフォーカス）のレンズを用いる構成でもよい。また、第２光学部３１１に、第２撮像素子３１２（第２ＣＣＤ２１２）で受光する光量を調節する光学式の絞りを備える構成としてもよい。

また、第２光学部３１１に、単焦点レンズに代えて光学ズームレンズを備える構成としてもよい。その場合、例えば、撮像装置で立体画像の撮像や測距を行うときには、自動的に第２光学部３１１が広角端になるように構成してもよい。

また、第１光学部３０１を望遠端（テレ端）にしたときに、切り出し画像信号が第１画像信号よりも低解像度になるように、撮像装置を構成してもよい。その場合、例えば、第１光学部３０１のズーム倍率を上げていく過程で切り出し画像信号の解像度が第１画像信号の解像度以下となったときに、立体画像から通常画像に撮像モードが自動で変わるように撮像装置を構成してもよい。

なお、モニター１１３が立体画像の撮像および測距に適した位置まで開いたときにオン状態になり、それ以外ではオフになるスイッチを撮像装置に設け、そのスイッチがオンになったときのみ立体画像の撮像または測距ができるように撮像装置を構成してもよい。

なお、実施の形態に示した具体的な数値は、単に実施の形態における一例を示したものに過ぎず、本開示はこれらの数値に何ら限定されるものではない。各数値は画像表示装置の仕様等にあわせて最適な値に設定することが望ましい。

本開示は、複数の撮像部を有し、立体視用の画像を撮像可能な撮像装置に適用可能である。具体的には、立体視用の画像を撮像可能な、デジタルビデオカメラ、デジタルスチルカメラ、カメラ機能付き携帯電話、スマートフォン等に本開示は適用可能である。

１１０，１２０ 撮像装置
１１１ 第１レンズ部
１１２ 第２レンズ部
１１３ モニター
２００ 第１撮像ユニット
２０１ 第１レンズ群
２０２ 第１ＣＣＤ
２０３ 第１Ａ／Ｄ変換ＩＣ
２０４ 第１アクチュエーター
２１０ 第２撮像ユニット
２１１ 第２レンズ群
２１２ 第２ＣＣＤ
２１３ 第２Ａ／Ｄ変換ＩＣ
２１４ 第２アクチュエーター
２２０ ＣＰＵ
２２１ ＲＡＭ
２２２ ＲＯＭ
２２３ 加速度センサ
２２４ 入力装置
２２５ ディスプレイ
２２６ エンコーダー
２２７ 記憶装置
３００ 第１撮像部
３０１ 第１光学部
３０２ 第１撮像素子
３０３ 第１光学制御部
３１０ 第２撮像部
３１１ 第２光学部
３１２ 第２撮像素子
３１３ 第２光学制御部
３２０，４２０ 画像信号処理部
３２１ 画角合わせ部
３２２ 縮小処理部
３２３ 視差情報生成部
３２４ 測距部
３２５ 画像生成部
３２６ 撮像制御部
３３０ 表示部
３４０ 記憶部
３５０ 入力部
３６０ カメラ情報部
４２２ 画素数合わせ部

Claims (5)

1. 第１画像の信号である第１画像信号と、
   前記第１画像よりも高解像度であって前記第１画像以上の画角を有する第２画像の信号である第２画像信号と、が入力され、前記第１画像信号に基づき、前記第２画像の少なくとも一部を切り出した切り出し画像の信号である切り出し画像信号を生成するように構成された画角合わせ部と、
   前記第１画像信号と前記切り出し画像信号とに基づき視差情報を生成するように構成された視差情報生成部と、
   前記視差情報において、視差量が０となる領域を基準面に設定し、前記第１画像を撮像した撮像部の光学ズームの倍率に応じて、前記視差量の大きさと前記基準面からの距離との関係から、前記第１画像に含まれる所定の被写体までの距離を算出する測距部と、を備え、
   前記第１画像と前記第２画像は、平行法に基づいて撮像された画像である
   測距装置。
2. 前記測距部は、前記基準面を無限遠に設定する請求項１記載の測距装置。
3. 撮像画像を画像表示面に表示するように構成され、開閉可能に構成された表示部と、
   第１画像を撮像して第１画像信号を出力するように構成された第１撮像部と、
   前記第１画像以上の画角を有する第２画像を、前記第１画像よりも高解像度で撮像して第２画像信号を出力するように構成された第２撮像部と、
   前記第１画像信号に基づき、前記第２画像信号の少なくとも一部を切り出した切り出し画像の信号である切り出し画像信号を生成するように構成された画角合わせ部と、
   前記第１画像信号と前記切り出し画像信号とに基づき視差情報を生成するように構成された視差情報生成部と、
   前記視差情報において、視差量が０となる領域を基準面に設定し、前記第１撮像部の光学ズームの倍率に応じて、前記視差量の大きさと前記基準面からの距離との関係から、前記第１画像信号に含まれる所定の被写体までの距離を算出するように構成された測距部と、を備え、
   前記第１撮像部の光軸と前記第２撮像部の光軸は、互いに平行になるように配置され、
   前記第２撮像部を、前記表示部の前記画像表示面の裏側に配置した
   撮像装置。
4. 前記測距部は、前記基準面を無限遠に設定する請求項３記載の撮像装置。
5. 第１画像の信号である第１画像信号に基づき、前記第１画像よりも高解像度であって前記第１画像以上の画角を有する第２画像の信号である第２画像信号から、少なくとも一部を切り出した切り出し画像の信号である切り出し画像信号を生成し、
   前記第１画像信号と前記切り出し画像信号とに基づき視差情報を生成し、前記視差情報において、視差量が０となる領域を基準面に設定し、前記第１画像を撮像して前記第１画像信号を出力する撮像部の光学ズームの倍率に応じて、前記視差量の大きさと前記基準面からの距離との関係から、前記第１画像に含まれる所定の被写体までの距離を算出し、
   前記第１画像と前記第２画像は、平行法に基づいて撮像された画像である
   測距方法。