JPWO2014148031A1 - 画像生成装置、撮像装置および画像生成方法 - Google Patents

Abstract

品質の高い立体視用画像を生成する。そのために、撮像装置（１１０）は、第１撮像部（３００）と、第２撮像部（３１０）と、画像信号処理部（３２０）とを備える。画像信号処理部は、第１画像信号に基づき、第２画像信号の少なくとも一部を切り出して切り出し画像信号を生成し、第１画像信号と第２画像信号との少なくとも一方の画像信号が特定パターンを有するか否かを判断し、第１画像信号と切り出し画像信号とに基づき視差情報を算出するとともに、少なくとも一方の画像信号は特定パターンを有すると判断されたときには視差情報を補正し、視差情報又は補正後の視差情報と第１画像信号とに基づいて新第２画像信号を生成するように構成されている。

Description

本開示は、複数の撮像部を有し、立体視用の画像を撮像可能な撮像装置に関する。

特許文献１は、主撮像部と従撮像部とを備え、３Ｄ画像を生成するデジタルカメラを開示する。このデジタルカメラは、主撮像部から得られる主画像信号と従撮像部から得られる従画像信号との間に生じる視差を抽出する。そして、抽出した視差に基づき、主画像信号から新たな従画像信号を生成し、主画像信号と新たな従画像信号とで３Ｄ画像を生成する。

特許文献２は、左右の撮影倍率が異なった状態でステレオ撮影を行うことができるステレオカメラを開示する。このステレオカメラは、第１の画像データを生成する第１の撮像手段と、第１の画像データよりも画角が広い第２の画像データを生成する第２の撮像手段とを有する。そして、第２の画像データから、第１の画像データに対応する範囲を第３の画像データとして切り出し、第１の画像データと第３の画像データとでステレオ画像データを生成する。

また、特許文献１、２は、主撮像部（第１の撮像手段）は光学ズーム機能を備え、従撮像部（第２の撮像手段）は光学ズーム機能を備えず電子ズーム機能を備えた構成を開示している。

特開２００５−２０６０６号公報 特開２００５−２１０２１７号公報

本開示は、光学的特性および撮像素子の仕様が異なる一対の撮像部で撮像される一対の画像または動画から、品質の良い立体視用の画像または動画を得るのに有効な画像生成装置および撮像装置を提供する。

本開示の撮像装置は、第１撮像部と、第２撮像部と、画像信号処理部と、を備える。第１撮像部は、第１画像を撮像して第１画像信号を出力するように構成されている。第２撮像部は、第１画像以上の画角を有する第２画像を、第１画像よりも高解像度で撮像して第２画像信号を出力するように構成されている。画像信号処理部は、第１画像信号に基づき、第２画像信号の少なくとも一部を切り出して切り出し画像信号を生成し、第１画像信号と第２画像信号との少なくとも一方の画像信号が特定パターンを有するか否かを判断し、第１画像信号と切り出し画像信号とに基づき視差情報を算出するとともに、少なくとも一方の画像信号は特定パターンを有すると判断されたときには視差情報を補正し、視差情報又は補正後の視差情報と第１画像信号とに基づいて新第２画像信号を生成する、ように構成されている。

また、画像信号処理部は、特徴点抽出部と、画角合わせ部と、画像パターン判定部と、デプスマップ生成部と、画像生成部と、を備えていてもよい。特徴点抽出部は、第１画像信号と第２画像信号とで互いに共通する特徴点を第１画像信号および第２画像信号から抽出するように構成されている。画角合わせ部は、特徴点および第１画像信号に基づき、第２画像信号の少なくとも一部を切り出して切り出し画像信号を生成するように構成されている。画像パターン判定部は、第１画像信号と第２画像信号との少なくとも一方の画像信号が特定パターンを有するか否かを判断するように構成されている。デプスマップ生成部は、第１画像信号と切り出し画像信号とに基づき視差情報を算出してデプスマップを生成するとともに、画像パターン判定部において少なくとも一方の画像信号は特定パターンを有すると判断されたときには視差情報を補正するように構成されている。画像生成部は、視差情報又は補正後の視差情報と第１画像信号とに基づいて新第２画像信号を生成するように構成されている。

図１は、実施の形態１における撮像装置の外観図である。 図２は、実施の形態１における撮像装置の回路構成を概略的に示す図である。 図３は、実施の形態１における撮像装置の構成を機能毎にブロック分けして示す図である。 図４は、実施の形態１における撮像装置の立体画像撮像時の動作を説明するフローチャートである。 図５は、実施の形態１における撮像装置の画像信号の処理の流れの一例を概略的に示す図である。 図６は、他の実施の形態における撮像装置の外観図である。 図７は、他の実施の形態における撮像装置の画像信号の処理の流れの一例を概略的に示す図である。

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。

（実施の形態１）
以下、図１〜図５を用いて、実施の形態１を説明する。

［１−１．構成］
図１は、実施の形態１における撮像装置１１０の外観図である。

撮像装置１１０は、モニター１１３と、第１レンズ部１１１を有する撮像部（以下、「第１撮像部」と記す）と、第２レンズ部１１２を有する撮像部（以下、「第２撮像部」と記す）と、を備えている。撮像装置１１０は、このように複数の撮像部を有し、それぞれの撮像部で静止画撮像および動画撮影が可能である。

第１レンズ部１１１は、第１撮像部の撮像方向が前方を向くように、撮像装置１１０の本体前方に設けられている。

モニター１１３は、開閉可能に撮像装置１１０本体に設けられ、撮像画像を表示するためのディスプレイ（図１には示さず）を有する。ディスプレイは、モニター１１３を開いたとき、第１撮像部の撮像方向とは反対側の面、すなわち撮像装置１１０の後方にいる使用者（図示せず）が観測できる側に、備えられている。

第２レンズ部１１２は、モニター１１３の、ディスプレイの設置側と反対側に配置され、モニター１１３を開いたときに第１撮像部と同じ方向を撮像できるように構成されている。

撮像装置１１０では、第１撮像部を主たる撮像部とし、第２撮像部を従たる撮像部とする。そして、図１に示すように、モニター１１３を開いた状態にすることで、これら２つの撮像部を用いて、立体視用の静止画（以下、「立体画像」と記す）の撮像および立体視用の動画（以下、「立体動画」と記す）の撮影が可能である。主たる第１撮像部は光学ズーム機能を有し、使用者は、このズーム機能を任意のズーム倍率に設定して静止画撮像または動画撮影が可能である。

本実施の形態では、右眼視点の画像を第１撮像部で撮像し、左眼視点の画像を第２撮像部で撮像する例を説明する。したがって、図１に示すように、撮像装置１１０では、撮像方向に向かって右側に第１レンズ部１１１が配置され、撮像方向に向かって左側に第２レンズ部１１２が配置されている。しかし、本実施の形態は何らこの構成に限定されるものではなく、第１撮像部で左眼視点の画像を撮像し、第２撮像部で右眼視点の画像を撮像するように構成してもよい。以下、第１撮像部で撮像した画像を「第１画像」とし、第２撮像部で撮像した画像を「第２画像」とする。

なお、従たる第２撮像部が有する第２レンズ部１１２は、第１レンズ部１１１と比較して口径が小さく、光学ズーム機能も備えていない。そのため、第２撮像部は、設置に必要な容積が第１撮像部と比較して小さく、モニター１１３に搭載することができる。

本実施の形態では、第１撮像部で撮像される右眼視点の画像は、立体画像を構成する右眼用画像として用いるが、第２撮像部で撮像される左眼視点の画像に関しては、立体画像を構成する左眼用画像として用いることをしない。詳細は後述するが、本実施の形態では、第１撮像部で撮像される右眼視点の画像と、第２撮像部で撮像される左眼視点の画像とを比較することで視差量（ずれ量）を算出し、算出した視差量にもとづき第１画像から左眼用画像を生成して立体画像とする。

この視差量（ずれ量）とは、第１画像と第２画像とを同一画角にして重ね合わせたときに生じる被写体の位置のずれの大きさのことである。このずれは、第１撮像部と第２撮像部との配置位置の違い（視差）により生じる。自然な立体感を有する立体画像を生成するためには、第１撮像部の光軸と第２撮像部の光軸とが、人の視差方向と同様に地面に対して水平になるように、かつ左右の眼の離間幅と同程度離間するように、設定されていることが望ましい。

そのために、撮像装置１１０では、第１レンズ部１１１と第２レンズ部１１２とを、使用者が撮像装置１１０を正常に保持（立体画像を撮像する状態で保持）したときに、それぞれの光学中心が実質的に同一の水平面（地面に水平な面）上に位置するように、配置する。また、第１レンズ部１１１の光学中心と第２レンズ部１１２の光学中心との距離が、３０ｍｍ以上６５ｍｍ以下となるようにそれぞれの配置位置を設定する。

また、自然な立体感を有する立体画像を生成するためには、第１レンズ部１１１および第２レンズ部１１２は、それぞれの配置位置から被写体までの距離が互いに実質的に等しいことが望ましい。そのために、撮像装置１１０では、第１レンズ部１１１および第２レンズ部１１２を、エピポーラ拘束（Ｅｐｉｐｏｌａｒ Ｃｏｎｓｔｒａｉｎｔ）を実質的に満足するように配置する。すなわち、第１レンズ部１１１および第２レンズ部１１２を、それぞれの光学中心が、第１撮像部が有する撮像素子または第２撮像部が有する撮像素子の撮像面に実質的に平行な１つの平面上に位置するように、配置する。

なお、これらの条件は、厳密に満たされなければならない、というわけではなく、実用上問題が生じない範囲での誤差は許容される。また、仮にこれらの条件が満足されなくとも、画像の拡大縮小、回転、平行移動等を計算で行うアフィン変換を実行することにより、これらの条件を満足する画像に変換することも可能である。そして、アフィン変換を施した画像を用いて視差量（ずれ量）を算出すればよい。

また、撮像装置１１０では、第１撮像部の光軸と第２撮像部の光軸とが互いに平行になるように第１レンズ部１１１および第２レンズ部１１２を配置する（以下、「平行法」と記す）。しかし、第１撮像部の光軸と第２撮像部の光軸とが所定の一点で交差するように第１レンズ部１１１および第２レンズ部１１２を配置（以下、「交差法」と記す）してもよい。また、平行法で撮像された画像を、アフィン変換により、交差法で撮像されたかのような画像に変換することも可能である。

なお、これらの条件が満たされた状態で撮像される第１画像および第２画像では、被写体の位置はエピポーラ拘束条件を実質的に満たす。この場合、後述する立体画像の生成過程において、一方の画像（例えば、第１画像）で被写体の位置が確定すると、他方の画像（例えば、第２画像）での被写体の位置は比較的容易に算出できるので、立体画像の生成過程における演算量を軽減できる。逆に、これらの条件で満たされない項目が増えるほど、アフィン変換等の演算量が増えるので、立体画像の生成過程における演算量は増大する。

図２は、実施の形態１における撮像装置１１０の回路構成を概略的に示す図である。

撮像装置１１０は、第１撮像部である第１撮像ユニット２００、第２撮像部である第２撮像ユニット２１０、ＬＳＩ２３０、ＲＡＭ２２１、ＲＯＭ２２２、加速度センサ２２３、ディスプレイ２２５、記憶装置２２７、入力装置２２４、ネットワークインターフェース２４３、バッテリー２４５、を有する。

第１撮像ユニット２００は、第１レンズ群２０１、第１撮像素子である第１ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）２０２、第１Ａ／Ｄ変換ＩＣ２０３、および第１アクチュエーター２０４を備える。

第１レンズ群２０１は、図１に示した第１レンズ部１１１に相当し、光学ズームが可能なズームレンズおよびフォーカス調節が可能なフォーカスレンズ、を含む複数のレンズで構成される光学系である。さらに、第１レンズ群２０１には、第１ＣＣＤ２０２で受光する光の量（光量）を調節する光学式の絞り（図示せず）が備えられている。第１レンズ群２０１を通して取り込まれた光は、第１レンズ群２０１で光学ズーム、フォーカスおよび光量の各調節がなされた後、第１ＣＣＤ２０２の撮像面に被写体像として結像する。この画像が第１画像である。

第１ＣＣＤ２０２は、撮像面で受光した光を電気信号に変換して出力するように構成されている。この電気信号は、光の強さ（光量）に応じて電圧値が変化するアナログ信号である。

第１Ａ／Ｄ変換ＩＣ２０３は、第１ＣＣＤ２０２から出力されるアナログの電気信号を、デジタルの電気信号に変換するように構成されている。このデジタル信号が第１画像信号である。

第１アクチュエーター２０４は、第１レンズ群２０１に含まれるズームレンズおよびフォーカスレンズを駆動するように構成されたモータを有する。このモータは、ＬＳＩ２３０のＣＰＵ２２０から出力される制御信号により制御される。

本実施の形態では、第１撮像ユニット２００は、第１画像を「水平方向の画素数１，９２０、垂直方向の画素数１，０８０」の画像信号にして出力するものとして、以下の説明を行う。また、第１撮像ユニット２００は、静止画の撮像だけでなく、動画撮影も可能に構成されており、一般的な動画と同様のフレームレート（例えば、６０Ｈｚ）での動画撮影を行うことができる。したがって、第１撮像ユニット２００では、高品質で滑らかな動画を撮影することが可能である。なお、フレームレートとは、単位時間（例えば、１秒間）に撮像する画像の枚数のことであり、フレームレートを６０Ｈｚにして動画撮影すると、１秒間に６０枚の画像が連続して撮像される。

なお、第１画像の画素数および動画撮影時のフレームレートは何ら上述の数値に限定されるものではなく、撮像装置１１０の仕様等に応じて適切に設定することが望ましい。

第２撮像ユニット２１０は、第２レンズ群２１１、第２撮像素子である第２ＣＣＤ２１２、および第２Ａ／Ｄ変換ＩＣ２１３を備える。

第２レンズ群２１１は、図１に示した第２レンズ部１１２に相当し、フォーカス調節が不要なパンフォーカス（ディープフォーカス）のレンズを含む１枚または複数のレンズで構成される光学系である。第２レンズ群２１１を通して取り込まれた光は、第２ＣＣＤ２１２の撮像面に被写体像として結像する。この画像が第２画像である。

なお、第２レンズ群２１１は、上述したように光学ズーム機能を備えていない。そのため、光学ズームレンズではなく単焦点レンズを有する。また、第２レンズ群２１１は、第１レンズ群２０１よりも小型のレンズ群から構成され、第２レンズ群２１１の対物レンズには、第１レンズ群２０１の対物レンズよりも口径が小さいものが用いられている。これにより、第２撮像ユニット２１０を第１撮像ユニット２００よりも小型化し、撮像装置１１０全体を小型化して使い勝手（携帯性、操作性）を向上するとともに、第２撮像ユニット２１０の配置位置に関する自由度を高めている。これにより、図１に示したように、第２撮像ユニット２１０をモニター１１３に搭載することができる。

第２ＣＣＤ２１２は、第１ＣＣＤ２０２と同様に、撮像面で受光した光をアナログの電気信号に変換して出力するように構成されている。ただし、本実施の形態における第２ＣＣＤ２１２は、第１ＣＣＤ２０２よりも高い解像度を有する。したがって、第２画像の画像信号は、第１画像の画像信号よりも解像度が高く、画素数が多い。これは、第２画像の画像信号の一部を取り出して使用したり、電子ズームにより画像拡大をするためである。これらの詳細は後述する。

第２Ａ／Ｄ変換ＩＣ２１３は、第２ＣＣＤ２１２から出力されるアナログの電気信号を、デジタルの電気信号に変換するように構成されている。このデジタル信号が第２画像信号である。

本実施の形態では、第２撮像ユニット２１０は、第２画像を「水平方向の画素数７，６８０、垂直方向の画素数４，３２０」の画像信号にして出力するものとして、以下の説明を行う。また、第２撮像ユニット２１０は、第１撮像ユニット２００と同様に、静止画の撮像だけでなく、動画撮影も可能に構成されている。ただし、第２画像信号は第１画像信号よりも解像度が高く、画素数が多いため、第２撮像ユニット２１０における動画撮影の際のフレームレートは、第１撮像ユニット２００での動画撮影の際のフレームレートよりも低い（例えば、３０Ｈｚ）。

なお、第２画像の画素数および動画撮影時のフレームレートは何ら上述の数値に限定されるものではなく、撮像装置１１０の仕様等に応じて適切に設定することが望ましい。

なお、本実施の形態では、撮像素子の撮像面に結像した被写体像を電気信号に変換し、Ａ／Ｄ変換ＩＣから画像信号として出力する一連の動作を「撮像」とする。第１撮像部では第１画像を撮像して第１画像信号を出力し、第２撮像部では第２画像を撮像して第２画像信号を出力する。

なお、本実施の形態では、第１撮像素子および第２撮像素子にＣＣＤを用いる例を説明したが、第１撮像素子および第２撮像素子は、受光した光を電気信号に変換する撮像素子であればよく、例えば、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等であってもよい。

ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２２２は、ＣＰＵ２２０を動作させるプログラムやパラメータ等の各種データが記憶されており、それらのデータをＣＰＵ２２０が任意に読み出すことができるように構成されている。ＲＯＭ２２２は、不揮発性型の半導体記憶素子で構成され、撮像装置１１０の電源がオフになっても、記憶されたデータは保持される。

入力装置２２４は、使用者の指示を受け付けることができるように構成された入力装置の総称である。入力装置２２４には、例えば、使用者が操作する電源ボタンや設定ボタン等の各種ボタン、タッチパネル、レバー等が含まれる。本実施の形態では、タッチパネルがディスプレイ２２５に設けられている例を説明する。しかし、入力装置２２４は、何らこれらの構成に限定されるものではなく、例えば音声入力装置を備えていてもよく、あるいは、全ての入力操作をタッチパネルで行う構成や、逆にタッチパネルを備えず全ての入力操作をボタンやレバー等で行う構成であってもよい。

ＬＳＩ２３０は、ＣＰＵ２２０、エンコーダー２２６、ＩＯコントローラ２３３、およびクロック発生器２３４、を有する。

ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２２０は、ＲＯＭ２２２から読み出したプログラムやパラメータ、入力装置２２４で受け付けられた使用者の指示、等にもとづき動作し、撮像装置１１０全体の制御、および各種演算処理を行うように構成されている。この各種演算処理には、第１画像信号および第２画像信号に関する画像信号処理が含まれる。この画像信号処理の詳細は後述する。

本実施の形態では、ＣＰＵ２２０にマイクロコンピューターを用いているが、例えば、マイクロコンピューターに代えてＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、またはＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、またはＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等を用いて、同様の動作を行うように構成してもよい。あるいは、撮像装置１１０外部の装置において、ＣＰＵ２２０で行う処理の一部または全てを行うように構成しても良い。

エンコーダー２２６は、撮像装置１１０で撮像した画像にもとづく画像信号や撮像した画像に関連する情報を、所定の方式で符号化（エンコード）するように構成されている。これは、データ量を低減して記憶装置２２７に記憶するためである。この符号化の方式は、一般的に用いられている画像圧縮方式であり、例えば、ＭＰＥＧ−２や、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ、等である。

ＩＯコントローラ（Ｉｎｐｕｔ Ｏｕｔｐｕｔ Ｃｏｎｔｒｏｌｅｒ）２３３は、ＬＳＩ２３０（ＣＰＵ２２０）の入力信号や出力信号の入出力制御を行う。

クロック発生器２３４は、クロック信号を発生し、ＬＳＩ２３０（ＣＰＵ２２０）やＬＳＩ２３０に接続された回路ブロックに供給する。このクロック信号は、ＬＳＩ２３０（ＣＰＵ２２０）で各種動作や各種演算処理の同期を取るための同期信号として使用される。

ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２２１は、揮発性型の半導体記憶素子で構成され、ＣＰＵ２２０からの指示にもとづき、ＣＰＵ２２０を動作させるプログラムの一部、プログラム実行時のパラメータ、使用者の指示、等を一時的に記憶するように構成されている。ＲＡＭ２２１に記憶されたデータは、ＣＰＵ２２０が任意に読み出すことができ、ＣＰＵ２２０の指示によって任意に書き換えが可能である。

加速度センサ２２３は、一般的に用いられている加速度検出センサであり、撮像装置１１０の動きや姿勢の変化を検出するように構成されている。加速度センサ２２３では、例えば、撮像装置１１０が地面に対して平行に保たれているかどうか、が検出され、この検出結果はディスプレイ２２５に表示される。したがって、使用者はその表示を見ることで、撮像装置１１０が地面に対して水平に保たれているかどうか、すなわち、撮像装置１１０が立体画像の撮像に適した状態（姿勢）にあるかどうか、を判断することができる。これにより、使用者は、撮像装置１１０を適切な姿勢に保って立体画像の撮像や立体動画の撮影を行うことができる。

なお、撮像装置１１０は、加速度センサ２２３での検出結果にもとづき手振れ補正等の光学系制御を行う構成であってもよい。また、加速度センサ２２３は、３軸方向のジャイロスコープ（３軸ジャイロセンサ）であってもよく、複数のセンサを組み合わせて用いる構成であってもよい。

ディスプレイ２２５は、一般に用いられている液晶ディスプレイパネルで構成され、図１に示したモニター１１３に搭載されている。ディスプレイ２２５は、上述したタッチパネルが表面に取り付けられており、画像表示と使用者の指示受け付けを同時に行うことができるように構成されている。ディスプレイ２２５に表示される画像には、（１）撮像装置１１０で撮像中の画像（第１撮像ユニット２００または第２撮像ユニット２１０から出力される画像信号にもとづく画像）、（２）記憶装置２２７に記憶されている画像信号にもとづく画像、（３）ＣＰＵ２２０で信号処理された画像信号にもとづく画像、（４）撮像装置１１０の各種設定項目を表示するメニュー表示画面、等がある。ディスプレイ２２５には、これらの画像が選択的に、または複数の画像を互いに重畳した画像が、表示される。なお、ディスプレイ２２５は、何ら上述の構成に限定されるものではなく、薄型で低消費電力の画像表示装置であればよく、例えばＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）パネル等で構成されていてもよい。また、立体画像を表示するように構成されていてもよい。

記憶装置２２７は、任意に書き換えが可能な比較的大容量の記憶装置であるハードディスクドライブ（ＨＤＤ）で構成され、エンコーダー２２６で符号化されたデータ等を読み出し可能に記憶するように構成されている。また、記憶装置２２７に記憶するデータには、ＣＰＵ２２０で生成された立体画像の画像信号、立体画像の表示に必要な情報、画像信号に付随する画像情報が含まれる。なお、記憶装置２２７は、第１撮像ユニット２００または第２撮像ユニット２１０から出力される画像信号を、符号化処理を施さずにそのまま記憶するように構成されていてもよい。また、記憶装置２２７は、何らＨＤＤに限定されるものではなく、例えば、半導体記憶素子を内蔵したメモリーカードや光ディスク等の着脱可能な記憶媒体に記憶する構成であってもよい。

なお、上述の画像情報とは、画像信号に関する情報のことであり、例えば、画像の符号化方式、ビットレート、画像のサイズ、解像度、フレームレート、撮像時の合焦距離（フォーカスが合っている被写体までの距離）、ズーム倍率、立体画像であるか否か、立体画像である場合には、左眼用画像と右眼用画像との識別子、視差情報、等が挙げられる。これらのうちの単数または複数の情報が、画像情報として画像信号に関連付けられて記憶装置２２７に記憶される。

また、記憶装置２２７には、後述する画像信号処理の際に参照する情報（データベース）があらかじめ記憶されている。このデータベースには、後述する視差情報（デプスマップ）を補正する際に用いる情報や、後述するシーン判定部が参照する情報等が含まれており、後述する特徴点や撮像画像の図柄（撮像画像に写された光景）に関連付けられている。このデータベースについては後述する。

なお、このデータベースは、上述の画像信号や画像情報を記憶するための記憶装置２２７とは別に設けた記憶装置に記憶する構成であってもよい。

ネットワークインターフェース２４３は、一般的な通信装置であり、撮像装置１１０と撮像装置１１０外部の機器との間でのデータの受け渡しを行う。このデータには、記憶装置２２７に記憶されたデータやＣＰＵ２２０で処理されたデータ、外部機器から撮像装置１１０に入力されるデータ、等がある。

バッテリー２４５は、一般的に用いられている２次電池で構成された電力供給装置であり、撮像装置１１０の動作に必要な電力を供給する。

［１−２．動作］
以上のように構成された撮像装置１１０について、その動作を説明する。

以下では、撮像装置１１０で立体画像を撮像しているときに行われる主な動作を、機能毎にブロック分けして説明する。

図３は、実施の形態１における撮像装置１１０の構成を機能毎にブロック分けして示す図である。

撮像装置１１０の構成を、立体画像の撮像をしているときに動作する主な機能で分けて示すと、撮像装置１１０は、図３に示すように、第１撮像部３００、第２撮像部３１０、画像信号処理部３２０、表示部３３０、記憶部３４０、入力部３５０、カメラ情報部３６０、の７つのブロックに大別することができる。

なお、画像信号処理部３２０では、画像信号を処理する際に、フレームメモリ等の記憶素子に一時的に画像信号を記憶するが、図３では、そのような記憶素子は省略している。また、立体画像の撮像に直接的な関係が薄い構成要素（バッテリー２４５等）は省略している。

第１撮像部３００は、第１光学部３０１、第１撮像素子３０２、第１光学制御部３０３、を備える。第１撮像部３００は、図２に示した第１撮像ユニット２００に相当する。また、第１光学部３０１は第１レンズ群２０１に、第１撮像素子３０２は第１ＣＣＤ２０２および第１Ａ／Ｄ変換ＩＣ２０３に、第１光学制御部３０３は第１アクチュエーター２０４に、それぞれ相当する。重複するのでこれらの説明は省略する。

第２撮像部３１０は、第２光学部３１１、第２撮像素子３１２、を備える。第２撮像部３１０は、図２に示した第２撮像ユニット２１０に相当する。また、第２光学部３１１は第２レンズ群２１１に、第２撮像素子３１２は第２ＣＣＤ２１２および第２Ａ／Ｄ変換ＩＣ２１３に、それぞれ相当する。重複するのでこれらの説明は省略する。

表示部３３０は、図２に示したディスプレイ２２５に相当する。入力部３５０は、図２に示した入力装置２２４に相当する。入力部３５０に含まれるタッチパネルは、表示部３３０の表面に取り付けられており、表示部３３０では、画像の表示と使用者の指示受け付けを同時に行うことができる。カメラ情報部３６０は、図２に示した加速度センサ２２３に相当する。記憶部３４０は、図２に示した記憶装置２２７に相当する。重複するのでこれらの説明は省略する。

画像信号処理部３２０は、図２に示したＬＳＩ２３０に相当する。図３に示す画像信号処理部３２０で行われる動作は、主にＣＰＵ２２０で行われるので、以下、ＣＰＵ２２０での動作を主に説明し、エンコーダー２２６、ＩＯコントローラ２３３、クロック発生器２３４の動作については説明を省略する。

なお、ＣＰＵ２２０では、撮像装置１１０全体の制御や各種演算処理が行われるが、図３には、撮像装置１１０で立体画像の撮像を行うときにＣＰＵ２２０で行われる演算処理（画像信号処理）および制御動作に関連する主な機能のみをブロック分けして示しており、他の動作に関する機能は省略している。これは、撮像装置１１０で立体画像を撮像するときの動作を分かりやすく示すためである。

なお、画像信号処理部３２０として図３に示す各機能ブロックは、ＣＰＵ２２０で行われる演算処理および制御動作の主なものを機能別に分けて示しているに過ぎず、ＣＰＵ２２０の内部が図３に示す各機能ブロックに物理的に分けられているわけではない。しかし、以下では便宜的に画像信号処理部３２０が図３に示す各部を有するものとして説明を行う。

なお、ＣＰＵ２２０は、図３に示す各機能ブロックに相当する電子回路を備えたＩＣまたはＦＰＧＡで構成してもよい。

画像信号処理部３２０は、図３に示すように、マッチング部３７０、顔認識部３２７、シーン判定部３２８、動き検出部３２９、画像生成部３２５、撮像制御部３２６、を有する。

マッチング部３７０は、特徴点抽出部３２２、画角合わせ部３２１、画像パターン判定部３２４、デプスマップ生成部３２３、を有する。

顔認識部３２７は、第１画像として撮像されている被写体の中に人の顔が含まれているかどうかを、第１画像信号から検出する。人の顔の検出は、例えば、テンプレートマッチングによる眼、鼻、口、眉、輪郭、髪型等の検出や肌の色の検出等、一般に用いられている手法を用いて行うことができるので、詳細な説明は省略する。顔認識部３２７では、人の顔を検出した場合、人の顔の位置、数、大きさ等を検出し、あわせて信頼性（人の顔である確率）も算出する。顔認識部３２７での検出結果はシーン判定部３２８およびマッチング部３７０に出力される。なお、顔認識部３２７の検出結果は、自動焦点調節機能（オートフォーカス）等に用いてもよい。

動き検出部３２９は、第１画像信号に関する動き検出を行う。動き検出部３２９は、時間的に連続して撮像される２枚以上の第１画像にもとづき、１画素マッチング、または複数の画素の集まりで行うブロックマッチング等により、画素毎、またはブロック毎に、静止しているか、動いているかの判定を行う。動いていると判定された画素またはブロックに関しては、動きベクトルの検出を行う。動き検出自体は一般に知られた手法であるので、詳細な説明は省略する。動き検出部３２９での検出結果はシーン判定部３２８およびマッチング部３７０に出力される。動き検出部３２９の検出結果は、自動焦点調節機能等に用いてもよい。

なお、撮像装置１１０は、これら複数の第１画像信号を得るために、第１画像撮像時に、時間的に連続する２枚目以降の第１画像を自動的に撮像するように構成されていてもよい。

シーン判定部３２８は、第１画像がどのような光景を写した画像であるのかを、第１画像信号、顔認識部３２７における検出結果、動き検出部３２９における検出結果、にもとづき判定する。

シーン判定部３２８は、第１画像を以下の４つに分類する。
１）風景を写した画像
２）人物を写した画像
３）動きが多い光景を写した画像
４）これらに該当しない画像
シーン判定部３２８での判定結果は、マッチング部３７０に出力される。

シーン判定部３２８では、顔認識部３２７における検出結果および動き検出部３２９における検出結果に加え、第１画像信号の輝度信号に関するヒストグラム、第１画像信号の色信号（色差信号）に関するヒストグラム、第１画像信号の輪郭部を抽出した信号、判定対象となる第１画像が撮像されたときの第１光学部３０１の光学ズーム倍率および焦点が合っている被写体までの距離（合焦距離）、等から上述の判定を行う。これらの判定に必要な情報は上述したデータベースに含まれており、シーン判定部３２８はデータベースを参照してこれらの判定を行う。

なお、シーン判定部３２８における画像分類は何ら上述した内容に限定されるものではない。例えば、赤色が多い画像、暗い画像、緑色と青色が多い画像、等、撮像画像の色や明るさにもとづいて画像分類を行ってもよい。または、上記４分類を、子供を写した画像、置物等の静物を写した画像、夜景、等を加えてさらに細かく分類してもよい。あるいは、それら以外の分類を行ってもよい。また、分類の判定に用いる情報も何ら上述した情報に限定されるものではなく、上述以外の情報を用いてもよく、あるいは上述の情報の中から１つまたは複数を選択して用いてもよい。また、第２画像にもとづき、または第１画像と第２画像の両方にもとづき、上述の判定を行うようにシーン判定部３２８を構成してもよい。

なお、撮像装置１１０では、撮像装置１１０から合焦した被写体までの距離である合焦距離をフォーカス調節の際に取得することができる。撮像装置１１０から、第１撮像素子３０２の撮像面においてフォーカスが合う（合焦する）被写体までの距離（合焦距離）は、フォーカスレンズの位置に応じて変化する。したがって、フォーカスレンズの位置と合焦距離とを対応付けた情報をあらかじめ撮像制御部３２６（または、第１光学制御部３０３）に備えておけば、撮像制御部３２６が第１光学制御部３０３を介して第１光学部３０１の光学ズームレンズおよびフォーカスレンズを制御する際に、画像信号処理部３２０は、現在のフォーカスレンズの位置から現在の合焦距離を取得することができる。

このように、画像信号処理部３２０は、第１画像が撮像されたときの第１光学部３０１の光学ズーム倍率および合焦距離を、第１画像の付帯情報として取得することができる。

画像生成部３２５は、マッチング部３７０のデプスマップ生成部３２３から出力される視差情報（デプスマップ）にもとづいて、第１画像信号から新たな第２画像信号を生成する。以下、第１画像信号から生成される新たな第２画像信号を「新第２画像信号」と記す。また、新第２画像信号による画像を「新第２画像」と記す。したがって、第１画像信号と新第２画像信号とは、仕様（解像度や画角等、動画の場合はフレームレートも含む）が互いに等しい画像信号となる。

本実施の形態では、第１画像信号を右眼用画像信号とし、画像生成部３２５で視差情報（デプスマップ）にもとづき生成される新第２画像信号を左眼用画像信号とする立体画像信号を、画像生成部３２５から出力する。

この立体画像信号は、例えば記憶部３４０に記憶され、また、この立体画像信号にもとづく立体画像は表示部３３０に表示される。

撮像装置１１０では、第１画像信号（例えば、右眼用画像信号）から、視差情報（デプスマップ）にもとづき、対となる新第２画像信号（例えば、左眼用画像信号）を生成する。したがって、視差情報（デプスマップ）に補正を加えることで、生成される立体画像の立体感（奥行き感）を調整することが可能である。そこで、本実施の形態では、視差情報（デプスマップ）に補正を加え、立体画像の立体感（奥行き感）を増す、あるいは抑制する、等の調整ができるように、マッチング部３７０（デプスマップ生成部３２３）を構成する。この詳細は後述する。

マッチング部３７０の特徴点抽出部３２２は、第１画像信号と第２画像信号とのそれぞれから複数の特徴点候補を抽出し、それら特徴点候補の中から複数を選択して特徴点とする。こうして第１画像信号と第２画像信号とのそれぞれに複数の特徴点を設定する。

特徴点とは、第１画像信号と第２画像信号とを互いに比較するときに目印として用いる領域のことである。また、特徴点は、視差情報（デプスマップ）を生成する際にも用いられる。したがって、特徴点として設定する領域は、次の要件を満たしていることが望ましい。

１）比較に用いる領域として明確な特徴があり、比較に使用しやすく、かつ抽出が容易である。

２）第１画像および第２画像の各画像に共通して存在する。

３）第１画像および第２画像の各画像において、できるだけ一様に分布している。

４）撮像画像における近景の被写体から遠景の被写体までのそれぞれに、できるだけ一様に分布している。

上述の要件１は、次の理由による。信号の変化がなだらかな領域は、抽出しにくいため、基準として設定しにくく、互いに比較すべき領域を両画像のそれぞれで特定することも困難である。特徴点として設定する領域は、基準として設定しやすく比較の際に特定しやすい領域であることが好ましい。そのような領域としては、例えば被写体の輪郭部を挙げることができる。また、そのような領域は、例えば、輝度信号の微分値、または色信号（色差信号）の微分値を算出し、その算出結果を所定のしきい値と比較することで、容易に抽出することができる。

上述の要件２は、次の理由による。上述したように、第１画像は光学ズーム機能を備えた第１撮像部３００で撮像され、第２画像は単焦点レンズを有する第２撮像部３１０で撮像される。したがって、第２画像には、第１画像に撮像された範囲以上の範囲が撮像されていることが多くあると考えられ、そのような第２画像だけに撮像された領域に特徴点を設定しても、比較に使用することはできない。したがって、第１画像および第２画像の各画像に共通して存在する領域を特徴点として設定することが望ましい。

上述の要件３は、次の理由による。特徴点が画像内の特定の領域に集中していると、その領域に関しては相対的に高い精度の比較が行えるが、他の領域に関しては比較の精度が相対的に低下する。したがって、そのような偏りが生じないように、特徴点は、各画像において、できるだけ一様に分布していることが望ましい。本実施の形態では、第１画像および第２画像の各画像を、水平方向および垂直方向にそれぞれ３分割して９の領域に分割し、各領域で２個以上５個以下の特徴点を設定することで、偏りが生じることを防止している。しかし、本実施の形態は何らこの構成に限定されるものではなく、特徴点の偏りを防止できるのであればどのような設定であってもよい。

上述の要件４は、次の理由による。特徴点が近景の被写体に集中して設定されていたり、あるいは、遠景の被写体に集中して設定されていたりすると、デプスマップ生成部３２３で生成される視差情報（デプスマップ）にも偏りが生じ、品質の良い新第２画像信号（立体画像信号）を画像生成部３２５で生成することが困難となる。精度の高い視差情報（デプスマップ）を生成するためには、近景の被写体から遠景の被写体までのそれぞれに、できるだけ一様に特徴点が分布していることが望ましい。なお、要件３が満たされていれば、要件４も実質的に満たされている、と見なすことができる。

なお、特徴点として設定する領域は、大きすぎると比較に使用しにくく、小さすぎると抽出しにくいため、それらを考慮して適切な大きさで設定することが望ましい。

特徴点抽出部３２２では、これらの要件を考慮して特徴点候補を各画像信号から抽出し、特徴点を設定する。そして、設定した特徴点に関する情報（特徴点情報）を、画角合わせ部３２１および画像パターン判定部３２４に出力する。

なお、これらの要件は、全てが満たされることが望ましいが、必ずしも全てが満たされなければならないというわけではなく、実用上問題が生じない範囲で取捨選択が可能である。例えば、特徴点抽出部３２２は、上述の４つの要件に優先度を設定し、優先度の高い要件から順に満足していくように特徴点候補を抽出する構成であってもよい。あるいは、顔認識部３２７、シーン判定部３２８、および動き検出部３２９、のいずれか１つまたは複数の出力にもとづき、その優先度を変更する、または上述以外の要件を追加する、または特徴点候補の抽出方法を変更する、等してもかまわない。

また、特徴点抽出部３２２は、各画像信号において、特徴点候補に該当する領域を全て特徴点候補として抽出し、それら全てを特徴点に設定する構成であってもよい。あるいは、抽出された複数の特徴点候補から、上記の要件に照らし合わせ、より多くの要件を満たす領域から順に、または、より優先度の高い要件を満たす領域から順に、あらかじめ定められた数だけを特徴点として設定する構成であってもよい。

画角合わせ部３２１は、第１撮像部３００から出力される第１画像信号および第２撮像部３１０から出力される第２画像信号が入力される。そして、撮像範囲が互いに等しいと判断される画像信号を各入力画像信号から取り出す。

上述したように、第１撮像部３００では光学ズームによる撮像が可能であり、第２撮像部３１０では単焦点レンズによる撮像が行われる。したがって、第１光学部３０１が広角端のときの第１画像の画角が第２画像の画角以下になるように各撮像部が設定されていれば、第２画像に撮像される範囲には、常に第１画像に撮像される範囲が含まれることになる。例えば、ズーム倍率を上げて撮像された第１画像よりも、撮像の際に光学ズームができない第２画像の方が、画角が広く、この第２画像には第１画像よりも広い範囲が撮像されている。

なお、「画角（Ａｎｇｌｅ ｏｆ ｖｉｅｗ）」とは、画像として撮像される範囲のことであり、一般的には角度で表現される。

そこで、画角合わせ部３２１では、パターンマッチング等の一般に用いられている比較・照合手法を用いて、第１画像として撮像された範囲（画角）に相当する部分を第２画像信号から取り出す。このとき、特徴点抽出部３２２で設定された特徴点を用いることで、第１画像信号と第２画像信号との比較の精度を上げることができる。以下、第２画像信号から取り出された画像信号を「切り出し画像信号」と呼称し、切り出し画像信号による画像を「切り出し画像」と呼称する。したがって、切り出し画像は、画角合わせ部３２１において第１画像の撮像範囲に等しいと判断された範囲の画像になる。

なお、第１光学部３０１と第２光学部３１１との配置位置の違い（視差）により、第１画像と第２画像とでは画像内における被写体の位置に差が生じる。そのため、第２画像における第１画像に対応する領域が、第１画像に完全に合致する可能性は低い。したがって、画角合わせ部３２１でパターンマッチングを行う際は、第１画像信号と類似度が最も大きくなる領域を第２画像信号において探索し、その領域を第２画像信号から取り出して切り出し画像信号とすることが望ましい。

また、画角合わせ部３２１は、第１画像信号と切り出し画像信号の両画像信号を、画素を間引いて画素数（信号量）を削減する縮小処理を行う。これは、後段のデプスマップ生成部３２３における視差情報の算出に必要な演算量を低減するためである。

また、画角合わせ部３２１は、両画像信号の縮小処理後の画素数が互いに等しくなるように、それぞれの縮小処理を行う。これは、後段のデプスマップ生成部３２３において行う２つの画像信号の比較処理を、演算量を低減するとともに精度を高めて行うためである。例えば、切り出し画像信号の画素数（例えば、３８４０×２１６０）が第１画像信号の画素数（例えば、１９２０×１０８０）の４倍であり、第１画像信号を画素数が１／４（例えば、９６０×５４０）になるように縮小処理する場合は、切り出し画像信号に関しては画素数が１／１６（例えば、９６０×５４０）になるように縮小処理を行う。なお、縮小処理を行う際は、フィルタリング処理等を行い、できるだけ情報が損なわれないようにすることが望ましい。

そして、画角合わせ部３２１は、縮小処理された切り出し画像信号と第１画像信号を後段のデプスマップ生成部３２３に出力する。なお、第１画像と第２画像の画角が互いに等しいときには、第２画像信号をそのまま切り出し画像信号として用いることもある。

なお、画角合わせ部３２１における動作は、何ら上述した動作に限定されるものではない。例えば、第１画像の画角が第２画像の画角より広ければ、第１画像信号から第２画像の撮像範囲に相当する領域を取り出して切り出し画像信号を生成するように動作してもよい。また、第１画像と第２画像とで撮像範囲に差があるときには、撮像範囲が互いに等しい領域を第１画像信号と第２画像信号とのそれぞれから取り出して後段に出力するように動作してもよい。

なお、本実施の形態は、画角合わせ部３２１において第１画像信号と第２画像信号との比較に用いる手法を、何らパターンマッチングに限定するものではなく、その他の比較・照合手法を用いて切り出し画像信号を生成してもよい。

なお、画角合わせ部３２１では、第１画像信号と第２画像信号とに対して、明るさ（ガンマ特性、黒の輝度、白の輝度、コントラスト等）、ホワイトバランス、色相（色あい、色の濃さ）等を両画像で互いに揃えるような画像信号処理を行ってもよい。

画像パターン判定部３２４は、第１画像が特定パターンに該当するかどうか、または、特定パターンに該当する領域が第１画像に含まれているかどうか、を、第１画像信号にもとづき判定する。

この特定パターンに該当する画像または領域とは、特徴点が誤設定されやすく、その結果として視差情報（デプスマップ）に誤差が含まれやすい、と考えられる画像または領域のことである。

この特定パターンに該当する画像または領域とは、以下のようなものである。

１）特徴点として設定された領域と似た領域が他に多数ある画像。このような画像（または領域）の例として、以下を挙げることができる。
１−１：同じ形状や模様が規則正しく配列した画像。例えば、タイルを並べた画像、格子模様の壁を写した画像、等。
１−２：特徴点として設定された領域と似た領域が多くあり、特徴点を探索するのが難しい画像。例えば、細い枝の画像、木の葉が生い茂った画像、等。

２）輝度信号または色信号（色差信号）の変化が小さく、特徴点そのものを設定しにくい画像。このような画像（または領域）の例として、以下を挙げることができる。
２−１：輝度信号の変化が少ない画像。例えば、白い壁を写した画像、等。
２−２：輝度信号および色信号（色差信号）の変化が共に少ない画像。例えば、雲のない青空を写した画像、等。

３）被写体が素早く大きく動いている、または、輝度信号および色信号（色差信号）の変化がなだらか、等の理由で被写体の輪郭が明瞭でなく、特徴点が設定しにくい画像。このような画像（または領域）の例として、以下を挙げることができる。
３−１：被写体が素早く大きく動いている画像。例えば、動き回る犬の画像、スポーツする人物を写した画像、等。
３−２：輝度信号および色信号（色差信号）の変化がなだらかな画像。例えば、夕焼け空を写した画像、等。

画像パターン判定部３２４は、第１画像がこのような特定パターンに該当するかどうか、または、特定パターンに該当する領域が第１画像に含まれているかどうか、含まれている場合はその領域の位置および範囲を、第１画像信号にもとづき判定する。画像パターン判定部３２４は、これらの判定結果とともに、これらに該当する場合は、特徴点抽出部３２２で設定された特徴点の信頼性が低いことを示す情報、あるいは、信頼性の低い特徴点を特定する情報、等をデプスマップ生成部３２３へ出力する。これらの情報を「特定パターン判定情報」とする。

画像パターン判定部３２４では、顔認識部３２７における検出結果、動き検出部３２９における検出結果、シーン判定部３２８における判定結果、第１画像信号の輝度信号に関するヒストグラム、第１画像信号の色信号（色差信号）に関するヒストグラム、第１画像信号の輪郭部を抽出した信号、判定対象となる第１画像が撮像されたときの第１光学部３０１の光学ズーム倍率および焦点が合っている被写体までの距離（合焦距離）、の１つまたは複数を選択して、上述の判定を行う。これらの判定に必要な情報は上述したデータベースに含まれており、画像パターン判定部はデータベースを参照してこれらの判定を行う。

なお、画像パターン判定部３２４は、第１画像信号に代えて第２画像信号または切り出し画像信号にもとづき、上述の判定を行う構成であってもよい。あるいは、第１画像信号と、第２画像信号または切り出し画像信号の両方に関して、上述の判定を行う構成であってもよい。また、画像パターン判定部３２４における判定は何ら上述した内容に限定されるものではなく、特徴点の信頼性が判断できるものであればよい。

デプスマップ生成部３２３は、画角合わせ部３２１で縮小処理された第１画像信号および切り出し画像信号にもとづいて、視差情報を生成する。デプスマップ生成部３２３は、縮小処理された第１画像信号と縮小処理された切り出し画像信号とを互いに比較し、互いに対応する被写体が２つの画像信号間でどの程度ずれているかを、画素単位、または複数の画素からなるブロック単位で、算出する。この「ずれの量（ずれ量）」は、視差方向、例えば、撮像が行われたとき地面に対して水平となる方向、で算出する。この「ずれ量」を１枚の画像（縮小処理された第１画像信号にもとづく画像、または、縮小処理された切り出し画像信号にもとづく画像）の全域において算出し、算出対象となる画像の画素またはブロックに対応付けたものが、視差情報（デプスマップ）となる。

なお、デプスマップ生成部３２３では、第１画像信号と切り出し画像信号とを比較するときに、特徴点抽出部３２２で設定された特徴点を用いることで、視差情報（デプスマップ）を生成する際の精度を高めている。

そして、デプスマップ生成部３２３では、一旦生成した視差情報（デプスマップ）を、画像パターン判定部３２４およびシーン判定部３２８における判定結果にもとづいて、補正する。

この補正例として、以下を挙げることができる。

１）シーン判定部３２８で風景を写した画像と判定された画像に関しては、近景にある被写体は立体感（奥行き感）を低減するように視差情報を小さくし、遠景にある被写体は立体感（奥行き感）を増加するように視差情報を大きくする。これにより、生成する立体画像において、遠景がより遠く感じられるように立体感（奥行き感）を強調することができる。

２）シーン判定部３２８で人物を写した画像と判定された画像に関しては、合焦した被写体（人物像）の視差情報を、立体画像の鑑賞者がその被写体に焦点を合わせやすい距離になるように補正する。この距離は、例えば、２〜５ｍ程度である。合焦した被写体（人物像）の背景に相当する被写体は、合焦した被写体との距離感が低減するように視差情報を補正する。人物像は過度に立体感（奥行き感）が強調されると不自然な立体画像になりやすいが、これにより、立体画像の立体感（奥行き感）が適正に抑えられ、鑑賞者が自然な立体感（奥行き感）で人物像を鑑賞することができる立体画像を生成することができる。

３）シーン判定部３２８で動きが多い光景を写した画像と判定された画像、または、画像パターン判定部３２４で特定パターンに該当すると判定された画像に関しては、視差情報（デプスマップ）に誤差が含まれている可能性が高いため、立体感（奥行き感）を低減するように視差情報を補正する。また、画像パターン判定部３２４で特定パターンに該当する領域が含まれていると判定された画像、もしくは、画像パターン判定部３２４からの出力に信頼性が低い特徴点を特定する情報が含まれているときは、その領域またはその特徴点と、それらの周囲の領域とに関して、視差情報に誤差が含まれている可能性が高い。そのため、それらの領域の立体感（奥行き感）を低減するように視差情報を補正するとともに、立体画像に不自然さが生じないように、それらの領域の周辺の領域の視差情報を補正する。

４）これらに該当しない画像に関しては、視差情報（デプスマップ）を補正しない。ただし、あらかじめ定められた補正または使用者が指示した補正を加え、立体感（奥行き感）を強調または低減するようにデプスマップ生成部３２３を構成してもよい。

なお、視差情報を補正するための補正データは、データベースにあらかじめ含まれており、デプスマップ生成部３２３は、シーン判定部３２８の判定結果および画像パターン判定部３２４の判定結果にもとづき、その補正データをデータベースから取得して、視差情報を補正する。

なお、本実施の形態では、縮小処理された第１画像信号に関連付けて視差情報（デプスマップ）を生成するものとするが、縮小処理された切り出し画像信号に関連付けて視差情報（デプスマップ）を生成する構成であってもよい。

なお、２つの画像信号を比較する際に、互いに対応する部分がない領域については「ずれ量」を算出できないので、そのような領域には、不定を表す記号を設定するか、あるいはあらかじめ定められた数値を設定すればよい。

なお、視差を有する２枚の画像から視差情報（ずれ量）を算出する手法、および視差情報にもとづき新たな画像信号を生成する手法は公知であり、例えば上述の特許文献１等に記載されているので、詳細な説明は省略する。

次に、撮像装置１１０における立体画像の撮像動作について、図面を用いて説明する。また、各機能ブロックで画像信号がどのように処理されるのかを、一例を挙げて図面に示す。

図４は、実施の形態１における撮像装置１１０の立体画像撮像時の動作を説明するフローチャートである。

図５は、実施の形態１における撮像装置１１０の画像信号の処理の流れの一例を概略的に示す図である。

ここでは、一例として図５に示すように、第１撮像部３００は、画素数が１９２０×１０８０の第１画像信号を出力し、第２撮像部３１０は、画素数が７６８０×４３２０の第２画像信号を出力するものとして、以下の説明を行う。なお、重複する説明は省略する。

なお、図５に示す数値は、単に一例を挙げたものに過ぎず、本実施の形態は何らこれらの数値に限定されるものではない。

立体画像の撮像を行うとき、撮像装置１１０では主に以下の動作を行う。

特徴点抽出部３２２は、第１画像信号と第２画像信号とのそれぞれに特徴点を設定し、設定した特徴点に関する情報（特徴点情報）を、画角合わせ部３２１および画像パターン判定部３２４に出力する（ステップＳ４００）。

画像パターン判定部３２４は、第１画像が特定パターンに該当するかどうか、特定パターンに該当する領域が第１画像に含まれているかどうか、ステップＳ４００で設定された特徴点に対する信頼性、を第１画像信号にもとづき判定し、その判定結果（特定パターン判定情報）をデプスマップ生成部３２３に出力する（ステップＳ４０１）。

図４、図５には示していないが、あわせて、シーン判定部３２８は、第１画像がどのような光景を写した画像であるのかを判定し、判定結果をマッチング部３７０に出力する。

画角合わせ部３２１は、第１画像として撮像された範囲（画角）に相当する部分を第２画像信号から取り出して、切り出し画像信号を生成する（ステップＳ４０２）。

画像信号処理部３２０の撮像制御部３２６は、第１光学制御部３０３を介して第１光学部３０１の光学ズームを制御する。したがって、画像信号処理部３２０は、第１画像が撮像されたときの第１光学部３０１のズーム倍率を、第１画像の付帯情報として取得することができる。一方、第２光学部３１１では光学ズームができないので、第２画像を撮像するときのズーム倍率は固定されている。画角合わせ部３２１は、これらの情報に基づいて第１画像と第２画像との画角の差を算出し、その算出結果にもとづき第２画像信号から第１画像の撮像範囲（画角）に相当する領域を特定して切り出す。

このとき、画角合わせ部３２１は、第１画像の画角に相当する領域よりもやや広い範囲（例えば、１０％程度広い範囲）をまず切り出す。これは、第１画像の中心と第２画像の中心との間に若干のずれが生じる可能性があるためである。

次に、画角合わせ部３２１は、この切り出した範囲に対して、一般に用いられているパターンマッチングを行い、第１画像の撮像範囲に相当する領域を特定して再度切り出す。このとき、ステップＳ４００で設定された特徴点を用いることで、精度の高い比較を行うことができる。

画角合わせ部３２１は、まず、垂直方向に両画像信号の比較を行い、次に水平方向に両画像信号の比較を行う。この順番は逆でもよい。このようにして、画角合わせ部３２１は、第１画像信号の撮像範囲に実質的に等しい領域を第２画像信号から取り出し、切り出し画像信号を生成する。

これにより、比較的負荷の軽い演算処理で高速に切り出し画像信号を生成することができる。なお、画角や解像度が互いに異なる２枚の画像を比較して撮像範囲が互いに共通する領域を特定するパターンマッチング等の手法は、一般に知られた手法であるので、説明を省略する。

なお、本実施の形態は何らこの構成に限定されるものではなく、例えばパターンマッチングだけで切り出し画像信号を生成する等してもかまわない。

次に、画角合わせ部３２１は、第１画像信号と切り出し画像信号を、それぞれが所定の画素数になるように、縮小処理する。図５には、所定の画素数を９６０×５４０とする例を示す。

第１画像信号の画素数が１９２０×１０８０であれば、第１画像信号を水平方向・垂直方向それぞれに１／２に縮小処理することで、縮小処理後の第１画像信号の画素数を９６０×５４０にすることができる。

切り出し画像信号の画素数は、第１撮像部３００の光学ズーム倍率の大きさによって異なり、第１画像を撮像する際のズーム倍率が大きいほど、切り出し画像信号の画素数は小さくなる。例えば、切り出し画像信号の画素数が３８４０×２１６０であれば、切り出し画像信号を水平方向・垂直方向それぞれに１／４に縮小処理することで、縮小処理後の切り出し画像信号の画素数を９６０×５４０にすることができる。

なお、これらの処理は順番が入れ替わってもかまわない。例えば、先に縮小処理をし、縮小された両画像信号を互いに比較して切り出し画像信号を生成してもよい。あるいは、垂直方向の比較を行った後で縮小処理を行い、その後水平方向の比較を行ってもよい。

次に、デプスマップ生成部３２３において、画角合わせ部３２１で縮小処理された第１画像信号および切り出し画像信号にもとづいて、視差情報（デプスマップ）を生成する（ステップＳ４０５）。

次に、デプスマップ生成部３２３は、ステップＳ４０１における判定結果にもとづき、記憶部３４０に記憶されたデータベースから補正値を読み出し、ステップＳ４０５で生成した視差情報（デプスマップ）を補正する（ステップＳ４０６）。

また、ステップＳ４０１で信頼性が低いと判定された特徴点を有する画像に対しては、立体感（奥行き感）を抑制するように、視差情報（デプスマップ）を補正する。

なお、ステップＳ４０１の判定結果によっては、デプスマップ生成部３２３は、ステップＳ４０５で生成した視差情報（デプスマップ）に補正を加えないこともある。

デプスマップ生成部３２３は、後段の処理に備え、視差情報（デプスマップ）を、第１画像信号の画素数に合わせて拡張する。以下、この拡張された視差情報（デプスマップ）を「拡張デプスマップ」と呼称する。例えば、視差情報（デプスマップ）が画素数９６０×５４０の画像信号にもとづき生成され、第１画像信号の画素数が１９２０×１０８０であれば、視差情報（デプスマップ）を、水平方向・垂直方向それぞれに２倍に拡張して、拡張デプスマップを生成する。

なお、この補正処理と拡張処理は順番が入れ替わってもかまわない。

次に、立体画像信号において第１画像信号の対となる新第２画像信号を、ステップＳ４０６でデプスマップ生成部３２３において生成された視差情報（拡張デプスマップ）にもとづき、画像生成部３２５において第１画像信号から生成する（ステップＳ４０７）。画像生成部３２５は、例えば画素数１９２０×１０８０の第１画像信号から、拡張デプスマップにもとづき画素数１９２０×１０８０の新第２画像信号を生成する。

そして、画像生成部３２５は、第１画像信号と新第２画像信号の対を立体画像信号として出力する。なお、各画像信号の画素数および縮小処理後の画像信号の画素数は、何ら上述した数値に限定されるものではない。

なお、ステップＳ４００からステップＳ４０６の処理は、画像信号の輝度信号だけを用いて行なってもよい。これは、ＲＧＢの３つの原色信号のそれぞれについて処理を行うよりも、演算処理の負荷を軽減でき、かつ高い精度で各処理を行うことができるからである。しかし、画像信号の輝度信号および色信号（色差信号）を用いて各処理を行ってもよく、あるいは、ＲＧＢの３つの原色信号のそれぞれについて各処理を行ってもよい。

なお、デプスマップ生成部３２３が生成した視差情報（デプスマップ）を表示部３３０に表示し、使用者が手動で視差情報（デプスマップ）を補正できるように撮像装置１１０を構成してもよい。あるいは、補正を加えない視差情報（デプスマップ）にもとづいて新第２画像信号を一旦生成し、それにもとづく立体画像を表示部３３０に表示して、立体感（奥行き感）が不自然な箇所を使用者が手動で補正できるように撮像装置１１０を構成してもよい。さらには、その手動の補正が反映された視差情報（デプスマップ）にもとづく新第２画像信号が最終的な新第２画像信号として画像生成部３２５から出力される構成であってもよい。

また、上述した視差情報（デプスマップ）に対する補正は、使用者が許可した場合のみ行われるように撮像装置１１０を構成してもよい。

なお、第１光学部３０１のズーム倍率および第２撮像素子３１２の解像度は、第１光学部３０１を望遠端（テレ端）にしたときの切り出し画像信号の解像度が第１画像信号の解像度以上となるように、設定することが望ましい。これは、第１光学部３０１を望遠端にしたときに、切り出し画像信号が第１画像信号よりも低解像度になることを防止するためである。しかし、本実施の形態は何らこの構成に限定されるものではない。

なお、第２光学部３１１は、第１光学部３０１を広角端（ワイド端）にしたときの画角に実質的に等しいか、さらに広い画角を有するように構成することが望ましい。これは、第１光学部３０１を広角端にしたときに、第１画像が第２画像よりも広い画角になることを防止するためである。しかし、本実施の形態は何らこの構成に限定されるものではなく、第１光学部３０１を広角端にしたときの第１画像の画角が第２画像よりも広い画角であってもよい。

［１−３．効果等］
以上のように、本実施の形態において、撮像装置１１０は、第１画像を撮像して第１画像信号を出力するように構成された第１撮像部３００と、第１画像以上の画角を有する第２画像を、第１画像よりも高解像度で撮像して第２画像信号を出力するように構成された第２撮像部３１０と、画像信号処理部３２０と、を備える。画像信号処理部３２０は、第１画像信号に基づき、第２画像信号の少なくとも一部を切り出して切り出し画像信号を生成し、第１画像信号と第２画像信号との少なくとも一方の画像信号が特定パターンを有するか否かを判断し、第１画像信号と切り出し画像信号とに基づき視差情報を算出するとともに、少なくとも一方の画像信号は特定パターンを有すると判断されたときには視差情報を補正し、視差情報又は補正後の視差情報と第１画像信号とに基づいて新第２画像信号を生成する、ように構成されている。

これにより、撮像装置１１０では、良好な品質の立体画像を生成することができる。

良好な品質の立体画像を取得（生成）するためには、対となる右眼用画像と左眼用画像とを撮像する際に、画角（撮像範囲）、解像度（画素数）、ズーム倍率等の撮像条件を互いに揃え、できるだけ等しい状態にすることが望ましい。

しかしながら、本実施の形態の撮像装置１１０は、第１撮像部３００に光学ズーム機能を備えており、一方、第２撮像部３１０は光学ズーム機能を備えておらず、単焦点レンズを有する構成である。このように、第１撮像部３００と第２撮像部３１０とで、光学系の仕様が互いに異なる。

さらには、第１撮像部３００と第２撮像部３１０とでは、撮像素子の仕様も互いに異なる。

したがって、撮像装置１１０では、第１撮像部３００で撮像した第１画像をそのまま右眼用画像とし、第２撮像部３１０で撮像した第２画像をそのまま左眼用画像としても、良好な品質の立体画像（立体動画）を得ることは困難である。

そこで、本実施の形態では、撮像装置１１０を上述した構成とし、第１撮像部３００で撮像した第１画像信号を右眼用画像信号とし、第１画像信号から視差情報（デプスマップ）を用いて生成した新第２画像信号を左眼用画像信号として、立体画像（立体動画）を生成する。

これにより、光学的な特性や撮像素子の特性等の撮像条件が互いに等しい理想的な一対の撮像部で撮像（または動画撮影）された右眼用画像と左眼用画像に実質的に等しい右眼用画像と左眼用画像を生成することが可能になる。

このとき、品質の良い新第２画像信号を生成するためには、精度の高い視差情報を生成する必要がある。しかしながら、撮像画像に写される光景によっては、精度の高い視差情報を生成することが困難なことがある。

そこで、本実施の形態では、撮像装置１１０を上述した構成とし、視差情報が誤生成される可能性が高いと判定された画像信号に関しては、視差情報を補正する。また、写された光景に応じた補正を視差情報に加えることも可能である。これにより、生成される視差情報の品質を高めることができるので、良好な品質の立体画像を生成することができる。

（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略等を行った実施の形態にも適用できる。また、上記実施の形態１で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。

そこで、以下、他の実施の形態を例示する。

実施の形態１では、図１に示したように、撮像方向に向かって右側に第１レンズ部１１１を配置して第１画像を右眼視点の画像とし、撮像方向に向かって左側に第２レンズ部１１２を配置して第２画像を左眼視点の画像とするように撮像装置１１０を構成する例を説明したが、本開示は何らこの構成に限定されない。例えば、第１画像信号を左眼用画像信号とし、新第２画像信号を右眼用画像信号とするように撮像装置１１０を構成してもかまわない。

図６は、他の実施の形態における撮像装置１２０の外観図である。例えば、撮像方向に向かって左側に第１レンズ部１１１を配置して第１画像を左眼視点の画像とし、撮像方向に向かって右側に第２レンズ部１１４を配置して第２画像を右眼視点の画像とするように撮像装置１２０を構成してもよい。この構成では、実施の形態で説明した右を左に、左を右にそれぞれ読み替えればよい。

実施の形態１では、画角合わせ部３２１で画像信号を縮小処理する例を説明したが、本開示は何らこの構成に限定されない。図７は、他の実施の形態における撮像装置の画像信号の処理の流れの一例を概略的に示す図である。例えば、画角合わせ部３２１で、縮小処理を行わず、第１画像信号の画素数（例えば、１９２０×１０８０）と同じ画素数になるように切り出し画像信号を生成してもよい。この構成では、デプスマップ生成部３２３で、この画素数にもとづく視差情報（デプスマップ）を生成するので、拡張デプスマップを生成する必要が無く、より精度の高い新第２画像信号を生成することができる。

本実施の形態では、撮像装置を、第１撮像部３００で第１画像を撮像し、第２撮像部３１０で第２画像を撮像するように構成する例を説明したが、例えば、第１撮像部３００に代えて第１画像入力部を備え、第２撮像部３１０に代えて第２画像入力部を備え、第１画像入力部を通して第１画像を取得し、第２画像入力部を通して第２画像を取得するように構成してもよい。

実施の形態１に示した構成および動作は、動画撮影時にも適応可能である。ただし、第１画像信号および第２画像信号が動画であって、フレームレートが互いに異なるときは、画角合わせ部３２１において、いずれかフレームレートが低い方の画像信号をフレームレートが高い方の画像信号に合わせて高フレームレート化し、互いに等しいフレームレートにすることが望ましい。例えば、第１画像信号のフレームレートが６０Ｈｚ、第２画像信号のフレームレートが３０Ｈｚであれば、第２画像信号または切り出し画像信号を６０Ｈｚに高フレームレート化する。なお、この際に用いるフレームレート変換手法は、公知のものでかまわない。このように、動画信号に対しては、比較を行いやすい状態にして、デプスマップ生成を行うものとする。これにより動画撮像時においても高い精度で視差情報（デプスマップ）を生成することができる。

なお、第１光学部３０１（第１レンズ群２０１）および第２光学部３１１（第２レンズ群２１１）は、何ら実施の形態１に示した構成に限定されるものではない。例えば、第１光学部３０１（第１レンズ群２０１）に、フォーカス調節が可能なフォーカスレンズに代えて、フォーカス調節が不要なパンフォーカス（ディープフォーカス）のレンズを用いる構成でもよい。あるいは、第２光学部３１１（第２レンズ群２１１）に、フォーカス調節が不要なパンフォーカス（ディープフォーカス）のレンズに代えて、フォーカス調節が可能なフォーカスレンズを用いる構成でもよい。その場合には、そのフォーカスレンズを駆動するように構成されたモータを有する第２アクチュエーターを第２撮像ユニット２１０に設けることが望ましい。なお、そのモータは、ＣＰＵ２２０から制御信号を出力して制御すればよい。また、第２光学部３１１に、第２撮像素子３１２（第２ＣＣＤ２１２）で受光する光量を調節する光学式の絞りを備える構成としてもよい。

また、第２光学部３１１に、単焦点レンズに代えて光学ズームレンズを備える構成としてもよい。その場合、例えば、撮像装置で立体画像の撮像を行うときには、自動的に第２光学部３１１が広角端になるように構成してもよい。

また、第１光学部３０１を望遠端（テレ端）にしたときに、切り出し画像信号が第１画像信号よりも低解像度になるように、撮像装置を構成してもよい。その場合、例えば、第１光学部３０１のズーム倍率を上げていく過程で切り出し画像信号の解像度が第１画像信号の解像度以下となったときに、立体画像から通常画像に撮像モードが自動で変わるように撮像装置を構成してもよい。

なお、モニター１１３が立体画像の撮像に適した位置まで開いたときにオン状態になり、それ以外ではオフになるスイッチを撮像装置に設け、そのスイッチがオンになったときのみ立体画像の撮像ができるように撮像装置を構成してもよい。

なお、実施の形態に示した具体的な数値は、単に実施の形態における一例を示したものに過ぎず、本開示はこれらの数値に何ら限定されるものではない。各数値は画像表示装置の仕様等にあわせて最適な値に設定することが望ましい。

本開示は、複数の撮像部を有し、立体視用の画像を撮像可能な撮像装置に適用可能である。具体的には、立体視用の画像を撮像可能な、デジタルビデオカメラ、デジタルスチルカメラ、カメラ機能付き携帯電話、スマートフォン等に本開示は適用可能である。

１１０，１２０ 撮像装置
１１１ 第１レンズ部
１１２，１１４ 第２レンズ部
１１３ モニター
２００ 第１撮像ユニット
２０１ 第１レンズ群
２０２ 第１ＣＣＤ
２０３ 第１Ａ／Ｄ変換ＩＣ
２０４ 第１アクチュエーター
２１０ 第２撮像ユニット
２１１ 第２レンズ群
２１２ 第２ＣＣＤ
２１３ 第２Ａ／Ｄ変換ＩＣ
２２０ ＣＰＵ
２２１ ＲＡＭ
２２２ ＲＯＭ
２２３ 加速度センサ
２２４ 入力装置
２２５ ディスプレイ
２２６ エンコーダー
２２７ 記憶装置
２３０ ＬＳＩ
２３３ ＩＯコントローラ
２３４ クロック発生器
２４３ ネットワークインターフェース
２４５ バッテリー
３００ 第１撮像部
３０１ 第１光学部
３０２ 第１撮像素子
３０３ 第１光学制御部
３１０ 第２撮像部
３１１ 第２光学部
３１２ 第２撮像素子
３２０ 画像信号処理部
３２１ 画角合わせ部
３２２ 特徴点抽出部
３２３ デプスマップ生成部
３２４ 画像パターン判定部
３２５ 画像生成部
３２６ 撮像制御部
３２７ 顔認識部
３２８ シーン判定部
３２９ 動き検出部
３３０ 表示部
３４０ 記憶部
３５０ 入力部
３６０ カメラ情報部
３７０ マッチング部

本開示は、複数の撮像部を有し、立体視用の画像を撮像可能な撮像装置に関する。

特許文献１は、主撮像部と従撮像部とを備え、３Ｄ画像を生成するデジタルカメラを開示する。このデジタルカメラは、主撮像部から得られる主画像信号と従撮像部から得られる従画像信号との間に生じる視差を抽出する。そして、抽出した視差に基づき、主画像信号から新たな従画像信号を生成し、主画像信号と新たな従画像信号とで３Ｄ画像を生成する。

特許文献２は、左右の撮影倍率が異なった状態でステレオ撮影を行うことができるステレオカメラを開示する。このステレオカメラは、第１の画像データを生成する第１の撮像手段と、第１の画像データよりも画角が広い第２の画像データを生成する第２の撮像手段とを有する。そして、第２の画像データから、第１の画像データに対応する範囲を第３の画像データとして切り出し、第１の画像データと第３の画像データとでステレオ画像データを生成する。

また、特許文献１、２は、主撮像部（第１の撮像手段）は光学ズーム機能を備え、従撮像部（第２の撮像手段）は光学ズーム機能を備えず電子ズーム機能を備えた構成を開示している。

特開２００５−２０６０６号公報 特開２００５−２１０２１７号公報

本開示は、光学的特性および撮像素子の仕様が異なる一対の撮像部で撮像される一対の画像または動画から、品質の良い立体視用の画像または動画を得るのに有効な画像生成装置および撮像装置を提供する。

本開示の画像生成装置は、画像信号処理部を備える。画像信号処理部は、第１画像信号と、第１画像信号よりも高解像度であって第１画像信号以上の画角を有する第２画像信号と、が入力され、第１画像信号に基づき、第２画像信号の少なくとも一部を切り出して切り出し画像信号を生成し、第１画像信号と第２画像信号とのいずれか一方の画像信号が特定パターンを有するか否かを判断し、第１画像信号と切り出し画像信号とに基づき視差情報を算出するとともに、いずれか一方の画像信号は特定パターンを有すると判断されたときには視差情報を補正し、視差情報又は補正後の視差情報と第１画像信号とに基づいて新第２画像信号を生成する、ように構成されている。

本開示の撮像装置は、第１撮像部と、第２撮像部と、画像信号処理部と、を備える。第１撮像部は、第１画像を撮像して第１画像信号を出力するように構成されている。第２撮像部は、第１画像以上の画角を有する第２画像を、第１画像よりも高解像度で撮像して第２画像信号を出力するように構成されている。画像信号処理部は、第１画像信号に基づき、第２画像信号の少なくとも一部を切り出して切り出し画像信号を生成し、第１画像信号と第２画像信号とのいずれか一方の画像信号が特定パターンを有するか否かを判断し、第１画像信号と切り出し画像信号とに基づき視差情報を算出するとともに、いずれか一方の画像信号は特定パターンを有すると判断されたときには視差情報を補正し、視差情報又は補正後の視差情報と第１画像信号とに基づいて新第２画像信号を生成する、ように構成されている。

また、画像信号処理部は、特徴点抽出部と、画角合わせ部と、画像パターン判定部と、デプスマップ生成部と、画像生成部と、を備えていてもよい。特徴点抽出部は、第１画像信号と第２画像信号とで互いに共通する特徴点を第１画像信号および第２画像信号から抽出するように構成されている。画角合わせ部は、特徴点および第１画像信号に基づき、第２画像信号の少なくとも一部を切り出して切り出し画像信号を生成するように構成されている。画像パターン判定部は、第１画像信号と第２画像信号とのいずれか一方の画像信号が特定パターンを有するか否かを、判定に必要な情報が含まれたデータベースを参照して判断するように構成されている。デプスマップ生成部は、第１画像信号と切り出し画像信号とに基づき視差情報を算出してデプスマップを生成するとともに、画像パターン判定部においていずれか一方の画像信号は特定パターンを有すると判断されたときには視差情報を補正するように構成されている。画像生成部は、視差情報又は補正後の視差情報と第１画像信号とに基づいて新第２画像信号を生成するように構成されている。

本開示の画像生成方法は、第１画像信号に基づき、第１画像信号よりも高解像度であって第１画像信号以上の画角を有する第２画像信号から、少なくとも一部を切り出して切り出し画像信号を生成し、第１画像信号と第２画像信号とのいずれか一方の画像信号が特定パターンを有するか否かを判断し、第１画像信号と切り出し画像信号とに基づき視差情報を算出するとともに、いずれか一方の画像信号は特定パターンを有すると判断されたときには視差情報を補正し、視差情報又は補正後の視差情報と第１画像信号とに基づいて新第２画像信号を生成する。

図１は、実施の形態１における撮像装置の外観図である。 図２は、実施の形態１における撮像装置の回路構成を概略的に示す図である。 図３は、実施の形態１における撮像装置の構成を機能毎にブロック分けして示す図である。 図４は、実施の形態１における撮像装置の立体画像撮像時の動作を説明するフローチャートである。 図５は、実施の形態１における撮像装置の画像信号の処理の流れの一例を概略的に示す図である。 図６は、他の実施の形態における撮像装置の外観図である。 図７は、他の実施の形態における撮像装置の画像信号の処理の流れの一例を概略的に示す図である。

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。

（実施の形態１）
以下、図１〜図５を用いて、実施の形態１を説明する。

［１−１．構成］
図１は、実施の形態１における撮像装置１１０の外観図である。

撮像装置１１０は、モニター１１３と、第１レンズ部１１１を有する撮像部（以下、「第１撮像部」と記す）と、第２レンズ部１１２を有する撮像部（以下、「第２撮像部」と記す）と、を備えている。撮像装置１１０は、このように複数の撮像部を有し、それぞれの撮像部で静止画撮像および動画撮影が可能である。

第１レンズ部１１１は、第１撮像部の撮像方向が前方を向くように、撮像装置１１０の本体前方に設けられている。

モニター１１３は、開閉可能に撮像装置１１０本体に設けられ、撮像画像を表示するためのディスプレイ（図１には示さず）を有する。ディスプレイは、モニター１１３を開いたとき、第１撮像部の撮像方向とは反対側の面、すなわち撮像装置１１０の後方にいる使用者（図示せず）が観測できる側に、備えられている。

第２レンズ部１１２は、モニター１１３の、ディスプレイの設置側と反対側に配置され、モニター１１３を開いたときに第１撮像部と同じ方向を撮像できるように構成されている。

撮像装置１１０では、第１撮像部を主たる撮像部とし、第２撮像部を従たる撮像部とする。そして、図１に示すように、モニター１１３を開いた状態にすることで、これら２つの撮像部を用いて、立体視用の静止画（以下、「立体画像」と記す）の撮像および立体視用の動画（以下、「立体動画」と記す）の撮影が可能である。主たる第１撮像部は光学ズーム機能を有し、使用者は、このズーム機能を任意のズーム倍率に設定して静止画撮像または動画撮影が可能である。

本実施の形態では、右眼視点の画像を第１撮像部で撮像し、左眼視点の画像を第２撮像部で撮像する例を説明する。したがって、図１に示すように、撮像装置１１０では、撮像方向に向かって右側に第１レンズ部１１１が配置され、撮像方向に向かって左側に第２レンズ部１１２が配置されている。しかし、本実施の形態は何らこの構成に限定されるものではなく、第１撮像部で左眼視点の画像を撮像し、第２撮像部で右眼視点の画像を撮像するように構成してもよい。以下、第１撮像部で撮像した画像を「第１画像」とし、第２撮像部で撮像した画像を「第２画像」とする。

なお、従たる第２撮像部が有する第２レンズ部１１２は、第１レンズ部１１１と比較して口径が小さく、光学ズーム機能も備えていない。そのため、第２撮像部は、設置に必要な容積が第１撮像部と比較して小さく、モニター１１３に搭載することができる。

本実施の形態では、第１撮像部で撮像される右眼視点の画像は、立体画像を構成する右眼用画像として用いるが、第２撮像部で撮像される左眼視点の画像に関しては、立体画像を構成する左眼用画像として用いることをしない。詳細は後述するが、本実施の形態では、第１撮像部で撮像される右眼視点の画像と、第２撮像部で撮像される左眼視点の画像とを比較することで視差量（ずれ量）を算出し、算出した視差量にもとづき第１画像から左眼用画像を生成して立体画像とする。

この視差量（ずれ量）とは、第１画像と第２画像とを同一画角にして重ね合わせたときに生じる被写体の位置のずれの大きさのことである。このずれは、第１撮像部と第２撮像部との配置位置の違い（視差）により生じる。自然な立体感を有する立体画像を生成するためには、第１撮像部の光軸と第２撮像部の光軸とが、人の視差方向と同様に地面に対して水平になるように、かつ左右の眼の離間幅と同程度離間するように、設定されていることが望ましい。

そのために、撮像装置１１０では、第１レンズ部１１１と第２レンズ部１１２とを、使用者が撮像装置１１０を正常に保持（立体画像を撮像する状態で保持）したときに、それぞれの光学中心が実質的に同一の水平面（地面に水平な面）上に位置するように、配置する。また、第１レンズ部１１１の光学中心と第２レンズ部１１２の光学中心との距離が、３０ｍｍ以上６５ｍｍ以下となるようにそれぞれの配置位置を設定する。

また、自然な立体感を有する立体画像を生成するためには、第１レンズ部１１１および第２レンズ部１１２は、それぞれの配置位置から被写体までの距離が互いに実質的に等しいことが望ましい。そのために、撮像装置１１０では、第１レンズ部１１１および第２レンズ部１１２を、エピポーラ拘束（Ｅｐｉｐｏｌａｒ Ｃｏｎｓｔｒａｉｎｔ）を実質的に満足するように配置する。すなわち、第１レンズ部１１１および第２レンズ部１１２を、それぞれの光学中心が、第１撮像部が有する撮像素子または第２撮像部が有する撮像素子の撮像面に実質的に平行な１つの平面上に位置するように、配置する。

なお、これらの条件は、厳密に満たされなければならない、というわけではなく、実用上問題が生じない範囲での誤差は許容される。また、仮にこれらの条件が満足されなくとも、画像の拡大縮小、回転、平行移動等を計算で行うアフィン変換を実行することにより、これらの条件を満足する画像に変換することも可能である。そして、アフィン変換を施した画像を用いて視差量（ずれ量）を算出すればよい。

また、撮像装置１１０では、第１撮像部の光軸と第２撮像部の光軸とが互いに平行になるように第１レンズ部１１１および第２レンズ部１１２を配置する（以下、「平行法」と記す）。しかし、第１撮像部の光軸と第２撮像部の光軸とが所定の一点で交差するように第１レンズ部１１１および第２レンズ部１１２を配置（以下、「交差法」と記す）してもよい。また、平行法で撮像された画像を、アフィン変換により、交差法で撮像されたかのような画像に変換することも可能である。

なお、これらの条件が満たされた状態で撮像される第１画像および第２画像では、被写体の位置はエピポーラ拘束条件を実質的に満たす。この場合、後述する立体画像の生成過程において、一方の画像（例えば、第１画像）で被写体の位置が確定すると、他方の画像（例えば、第２画像）での被写体の位置は比較的容易に算出できるので、立体画像の生成過程における演算量を軽減できる。逆に、これらの条件で満たされない項目が増えるほど、アフィン変換等の演算量が増えるので、立体画像の生成過程における演算量は増大する。

図２は、実施の形態１における撮像装置１１０の回路構成を概略的に示す図である。

撮像装置１１０は、第１撮像部である第１撮像ユニット２００、第２撮像部である第２撮像ユニット２１０、ＬＳＩ２３０、ＲＡＭ２２１、ＲＯＭ２２２、加速度センサ２２３、ディスプレイ２２５、記憶装置２２７、入力装置２２４、ネットワークインターフェース２４３、バッテリー２４５、を有する。

第１撮像ユニット２００は、第１レンズ群２０１、第１撮像素子である第１ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）２０２、第１Ａ／Ｄ変換ＩＣ２０３、および第１アクチュエーター２０４を備える。

第１レンズ群２０１は、図１に示した第１レンズ部１１１に相当し、光学ズームが可能なズームレンズおよびフォーカス調節が可能なフォーカスレンズ、を含む複数のレンズで構成される光学系である。さらに、第１レンズ群２０１には、第１ＣＣＤ２０２で受光する光の量（光量）を調節する光学式の絞り（図示せず）が備えられている。第１レンズ群２０１を通して取り込まれた光は、第１レンズ群２０１で光学ズーム、フォーカスおよび光量の各調節がなされた後、第１ＣＣＤ２０２の撮像面に被写体像として結像する。この画像が第１画像である。

第１ＣＣＤ２０２は、撮像面で受光した光を電気信号に変換して出力するように構成されている。この電気信号は、光の強さ（光量）に応じて電圧値が変化するアナログ信号である。

第１Ａ／Ｄ変換ＩＣ２０３は、第１ＣＣＤ２０２から出力されるアナログの電気信号を、デジタルの電気信号に変換するように構成されている。このデジタル信号が第１画像信号である。

第１アクチュエーター２０４は、第１レンズ群２０１に含まれるズームレンズおよびフォーカスレンズを駆動するように構成されたモータを有する。このモータは、ＬＳＩ２３０のＣＰＵ２２０から出力される制御信号により制御される。

本実施の形態では、第１撮像ユニット２００は、第１画像を「水平方向の画素数１，９２０、垂直方向の画素数１，０８０」の画像信号にして出力するものとして、以下の説明を行う。また、第１撮像ユニット２００は、静止画の撮像だけでなく、動画撮影も可能に構成されており、一般的な動画と同様のフレームレート（例えば、６０Ｈｚ）での動画撮影を行うことができる。したがって、第１撮像ユニット２００では、高品質で滑らかな動画を撮影することが可能である。なお、フレームレートとは、単位時間（例えば、１秒間）に撮像する画像の枚数のことであり、フレームレートを６０Ｈｚにして動画撮影すると、１秒間に６０枚の画像が連続して撮像される。

なお、第１画像の画素数および動画撮影時のフレームレートは何ら上述の数値に限定されるものではなく、撮像装置１１０の仕様等に応じて適切に設定することが望ましい。

第２撮像ユニット２１０は、第２レンズ群２１１、第２撮像素子である第２ＣＣＤ２１２、および第２Ａ／Ｄ変換ＩＣ２１３を備える。

第２レンズ群２１１は、図１に示した第２レンズ部１１２に相当し、フォーカス調節が不要なパンフォーカス（ディープフォーカス）のレンズを含む１枚または複数のレンズで構成される光学系である。第２レンズ群２１１を通して取り込まれた光は、第２ＣＣＤ２１２の撮像面に被写体像として結像する。この画像が第２画像である。

なお、第２レンズ群２１１は、上述したように光学ズーム機能を備えていない。そのため、光学ズームレンズではなく単焦点レンズを有する。また、第２レンズ群２１１は、第１レンズ群２０１よりも小型のレンズ群から構成され、第２レンズ群２１１の対物レンズには、第１レンズ群２０１の対物レンズよりも口径が小さいものが用いられている。これにより、第２撮像ユニット２１０を第１撮像ユニット２００よりも小型化し、撮像装置１１０全体を小型化して使い勝手（携帯性、操作性）を向上するとともに、第２撮像ユニット２１０の配置位置に関する自由度を高めている。これにより、図１に示したように、第２撮像ユニット２１０をモニター１１３に搭載することができる。

第２ＣＣＤ２１２は、第１ＣＣＤ２０２と同様に、撮像面で受光した光をアナログの電気信号に変換して出力するように構成されている。ただし、本実施の形態における第２ＣＣＤ２１２は、第１ＣＣＤ２０２よりも高い解像度を有する。したがって、第２画像の画像信号は、第１画像の画像信号よりも解像度が高く、画素数が多い。これは、第２画像の画像信号の一部を取り出して使用したり、電子ズームにより画像拡大をするためである。これらの詳細は後述する。

第２Ａ／Ｄ変換ＩＣ２１３は、第２ＣＣＤ２１２から出力されるアナログの電気信号を、デジタルの電気信号に変換するように構成されている。このデジタル信号が第２画像信号である。

本実施の形態では、第２撮像ユニット２１０は、第２画像を「水平方向の画素数７，６８０、垂直方向の画素数４，３２０」の画像信号にして出力するものとして、以下の説明を行う。また、第２撮像ユニット２１０は、第１撮像ユニット２００と同様に、静止画の撮像だけでなく、動画撮影も可能に構成されている。ただし、第２画像信号は第１画像信号よりも解像度が高く、画素数が多いため、第２撮像ユニット２１０における動画撮影の際のフレームレートは、第１撮像ユニット２００での動画撮影の際のフレームレートよりも低い（例えば、３０Ｈｚ）。

なお、第２画像の画素数および動画撮影時のフレームレートは何ら上述の数値に限定されるものではなく、撮像装置１１０の仕様等に応じて適切に設定することが望ましい。

なお、本実施の形態では、撮像素子の撮像面に結像した被写体像を電気信号に変換し、Ａ／Ｄ変換ＩＣから画像信号として出力する一連の動作を「撮像」とする。第１撮像部では第１画像を撮像して第１画像信号を出力し、第２撮像部では第２画像を撮像して第２画像信号を出力する。

なお、本実施の形態では、第１撮像素子および第２撮像素子にＣＣＤを用いる例を説明したが、第１撮像素子および第２撮像素子は、受光した光を電気信号に変換する撮像素子であればよく、例えば、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等であってもよい。

ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２２２は、ＣＰＵ２２０を動作させるプログラムやパラメータ等の各種データが記憶されており、それらのデータをＣＰＵ２２０が任意に読み出すことができるように構成されている。ＲＯＭ２２２は、不揮発性型の半導体記憶素子で構成され、撮像装置１１０の電源がオフになっても、記憶されたデータは保持される。

入力装置２２４は、使用者の指示を受け付けることができるように構成された入力装置の総称である。入力装置２２４には、例えば、使用者が操作する電源ボタンや設定ボタン等の各種ボタン、タッチパネル、レバー等が含まれる。本実施の形態では、タッチパネルがディスプレイ２２５に設けられている例を説明する。しかし、入力装置２２４は、何らこれらの構成に限定されるものではなく、例えば音声入力装置を備えていてもよく、あるいは、全ての入力操作をタッチパネルで行う構成や、逆にタッチパネルを備えず全ての入力操作をボタンやレバー等で行う構成であってもよい。

ＬＳＩ２３０は、ＣＰＵ２２０、エンコーダー２２６、ＩＯコントローラ２３３、およびクロック発生器２３４、を有する。

ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２２０は、ＲＯＭ２２２から読み出したプログラムやパラメータ、入力装置２２４で受け付けられた使用者の指示、等にもとづき動作し、撮像装置１１０全体の制御、および各種演算処理を行うように構成されている。この各種演算処理には、第１画像信号および第２画像信号に関する画像信号処理が含まれる。この画像信号処理の詳細は後述する。

本実施の形態では、ＣＰＵ２２０にマイクロコンピューターを用いているが、例えば、マイクロコンピューターに代えてＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、またはＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、またはＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等を用いて、同様の動作を行うように構成してもよい。あるいは、撮像装置１１０外部の装置において、ＣＰＵ２２０で行う処理の一部または全てを行うように構成しても良い。

エンコーダー２２６は、撮像装置１１０で撮像した画像にもとづく画像信号や撮像した画像に関連する情報を、所定の方式で符号化（エンコード）するように構成されている。これは、データ量を低減して記憶装置２２７に記憶するためである。この符号化の方式は、一般的に用いられている画像圧縮方式であり、例えば、ＭＰＥＧ−２や、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ、等である。

ＩＯコントローラ（Ｉｎｐｕｔ Ｏｕｔｐｕｔ Ｃｏｎｔｒｏｌｅｒ）２３３は、ＬＳＩ２３０（ＣＰＵ２２０）の入力信号や出力信号の入出力制御を行う。

クロック発生器２３４は、クロック信号を発生し、ＬＳＩ２３０（ＣＰＵ２２０）やＬＳＩ２３０に接続された回路ブロックに供給する。このクロック信号は、ＬＳＩ２３０（ＣＰＵ２２０）で各種動作や各種演算処理の同期を取るための同期信号として使用される。

ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２２１は、揮発性型の半導体記憶素子で構成され、ＣＰＵ２２０からの指示にもとづき、ＣＰＵ２２０を動作させるプログラムの一部、プログラム実行時のパラメータ、使用者の指示、等を一時的に記憶するように構成されている。ＲＡＭ２２１に記憶されたデータは、ＣＰＵ２２０が任意に読み出すことができ、ＣＰＵ２２０の指示によって任意に書き換えが可能である。

加速度センサ２２３は、一般的に用いられている加速度検出センサであり、撮像装置１１０の動きや姿勢の変化を検出するように構成されている。加速度センサ２２３では、例えば、撮像装置１１０が地面に対して平行に保たれているかどうか、が検出され、この検出結果はディスプレイ２２５に表示される。したがって、使用者はその表示を見ることで、撮像装置１１０が地面に対して水平に保たれているかどうか、すなわち、撮像装置１１０が立体画像の撮像に適した状態（姿勢）にあるかどうか、を判断することができる。これにより、使用者は、撮像装置１１０を適切な姿勢に保って立体画像の撮像や立体動画の撮影を行うことができる。

なお、撮像装置１１０は、加速度センサ２２３での検出結果にもとづき手振れ補正等の光学系制御を行う構成であってもよい。また、加速度センサ２２３は、３軸方向のジャイロスコープ（３軸ジャイロセンサ）であってもよく、複数のセンサを組み合わせて用いる構成であってもよい。

ディスプレイ２２５は、一般に用いられている液晶ディスプレイパネルで構成され、図１に示したモニター１１３に搭載されている。ディスプレイ２２５は、上述したタッチパネルが表面に取り付けられており、画像表示と使用者の指示受け付けを同時に行うことができるように構成されている。ディスプレイ２２５に表示される画像には、（１）撮像装置１１０で撮像中の画像（第１撮像ユニット２００または第２撮像ユニット２１０から出力される画像信号にもとづく画像）、（２）記憶装置２２７に記憶されている画像信号にもとづく画像、（３）ＣＰＵ２２０で信号処理された画像信号にもとづく画像、（４）撮像装置１１０の各種設定項目を表示するメニュー表示画面、等がある。ディスプレイ２２５には、これらの画像が選択的に、または複数の画像を互いに重畳した画像が、表示される。なお、ディスプレイ２２５は、何ら上述の構成に限定されるものではなく、薄型で低消費電力の画像表示装置であればよく、例えばＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）パネル等で構成されていてもよい。また、立体画像を表示するように構成されていてもよい。

記憶装置２２７は、任意に書き換えが可能な比較的大容量の記憶装置であるハードディスクドライブ（ＨＤＤ）で構成され、エンコーダー２２６で符号化されたデータ等を読み出し可能に記憶するように構成されている。また、記憶装置２２７に記憶するデータには、ＣＰＵ２２０で生成された立体画像の画像信号、立体画像の表示に必要な情報、画像信号に付随する画像情報が含まれる。なお、記憶装置２２７は、第１撮像ユニット２００または第２撮像ユニット２１０から出力される画像信号を、符号化処理を施さずにそのまま記憶するように構成されていてもよい。また、記憶装置２２７は、何らＨＤＤに限定されるものではなく、例えば、半導体記憶素子を内蔵したメモリーカードや光ディスク等の着脱可能な記憶媒体に記憶する構成であってもよい。

なお、上述の画像情報とは、画像信号に関する情報のことであり、例えば、画像の符号化方式、ビットレート、画像のサイズ、解像度、フレームレート、撮像時の合焦距離（フォーカスが合っている被写体までの距離）、ズーム倍率、立体画像であるか否か、立体画像である場合には、左眼用画像と右眼用画像との識別子、視差情報、等が挙げられる。これらのうちの単数または複数の情報が、画像情報として画像信号に関連付けられて記憶装置２２７に記憶される。

また、記憶装置２２７には、後述する画像信号処理の際に参照する情報（データベース）があらかじめ記憶されている。このデータベースには、後述する視差情報（デプスマップ）を補正する際に用いる情報や、後述するシーン判定部が参照する情報等が含まれており、後述する特徴点や撮像画像の図柄（撮像画像に写された光景）に関連付けられている。このデータベースについては後述する。

なお、このデータベースは、上述の画像信号や画像情報を記憶するための記憶装置２２７とは別に設けた記憶装置に記憶する構成であってもよい。

ネットワークインターフェース２４３は、一般的な通信装置であり、撮像装置１１０と撮像装置１１０外部の機器との間でのデータの受け渡しを行う。このデータには、記憶装置２２７に記憶されたデータやＣＰＵ２２０で処理されたデータ、外部機器から撮像装置１１０に入力されるデータ、等がある。

バッテリー２４５は、一般的に用いられている２次電池で構成された電力供給装置であり、撮像装置１１０の動作に必要な電力を供給する。

［１−２．動作］
以上のように構成された撮像装置１１０について、その動作を説明する。

以下では、撮像装置１１０で立体画像を撮像しているときに行われる主な動作を、機能毎にブロック分けして説明する。

図３は、実施の形態１における撮像装置１１０の構成を機能毎にブロック分けして示す図である。

撮像装置１１０の構成を、立体画像の撮像をしているときに動作する主な機能で分けて示すと、撮像装置１１０は、図３に示すように、第１撮像部３００、第２撮像部３１０、画像信号処理部３２０、表示部３３０、記憶部３４０、入力部３５０、カメラ情報部３６０、の７つのブロックに大別することができる。

なお、画像信号処理部３２０では、画像信号を処理する際に、フレームメモリ等の記憶素子に一時的に画像信号を記憶するが、図３では、そのような記憶素子は省略している。また、立体画像の撮像に直接的な関係が薄い構成要素（バッテリー２４５等）は省略している。

第１撮像部３００は、第１光学部３０１、第１撮像素子３０２、第１光学制御部３０３、を備える。第１撮像部３００は、図２に示した第１撮像ユニット２００に相当する。また、第１光学部３０１は第１レンズ群２０１に、第１撮像素子３０２は第１ＣＣＤ２０２および第１Ａ／Ｄ変換ＩＣ２０３に、第１光学制御部３０３は第１アクチュエーター２０４に、それぞれ相当する。重複するのでこれらの説明は省略する。

第２撮像部３１０は、第２光学部３１１、第２撮像素子３１２、を備える。第２撮像部３１０は、図２に示した第２撮像ユニット２１０に相当する。また、第２光学部３１１は第２レンズ群２１１に、第２撮像素子３１２は第２ＣＣＤ２１２および第２Ａ／Ｄ変換ＩＣ２１３に、それぞれ相当する。重複するのでこれらの説明は省略する。

表示部３３０は、図２に示したディスプレイ２２５に相当する。入力部３５０は、図２に示した入力装置２２４に相当する。入力部３５０に含まれるタッチパネルは、表示部３３０の表面に取り付けられており、表示部３３０では、画像の表示と使用者の指示受け付けを同時に行うことができる。カメラ情報部３６０は、図２に示した加速度センサ２２３に相当する。記憶部３４０は、図２に示した記憶装置２２７に相当する。重複するのでこれらの説明は省略する。

画像信号処理部３２０は、図２に示したＬＳＩ２３０に相当する。図３に示す画像信号処理部３２０で行われる動作は、主にＣＰＵ２２０で行われるので、以下、ＣＰＵ２２０での動作を主に説明し、エンコーダー２２６、ＩＯコントローラ２３３、クロック発生器２３４の動作については説明を省略する。

なお、ＣＰＵ２２０では、撮像装置１１０全体の制御や各種演算処理が行われるが、図３には、撮像装置１１０で立体画像の撮像を行うときにＣＰＵ２２０で行われる演算処理（画像信号処理）および制御動作に関連する主な機能のみをブロック分けして示しており、他の動作に関する機能は省略している。これは、撮像装置１１０で立体画像を撮像するときの動作を分かりやすく示すためである。

なお、画像信号処理部３２０として図３に示す各機能ブロックは、ＣＰＵ２２０で行われる演算処理および制御動作の主なものを機能別に分けて示しているに過ぎず、ＣＰＵ２２０の内部が図３に示す各機能ブロックに物理的に分けられているわけではない。しかし、以下では便宜的に画像信号処理部３２０が図３に示す各部を有するものとして説明を行う。

なお、ＣＰＵ２２０は、図３に示す各機能ブロックに相当する電子回路を備えたＩＣまたはＦＰＧＡで構成してもよい。

画像信号処理部３２０は、図３に示すように、マッチング部３７０、顔認識部３２７、シーン判定部３２８、動き検出部３２９、画像生成部３２５、撮像制御部３２６、を有する。

マッチング部３７０は、特徴点抽出部３２２、画角合わせ部３２１、画像パターン判定部３２４、デプスマップ生成部３２３、を有する。

顔認識部３２７は、第１画像として撮像されている被写体の中に人の顔が含まれているかどうかを、第１画像信号から検出する。人の顔の検出は、例えば、テンプレートマッチングによる眼、鼻、口、眉、輪郭、髪型等の検出や肌の色の検出等、一般に用いられている手法を用いて行うことができるので、詳細な説明は省略する。顔認識部３２７では、人の顔を検出した場合、人の顔の位置、数、大きさ等を検出し、あわせて信頼性（人の顔である確率）も算出する。顔認識部３２７での検出結果はシーン判定部３２８およびマッチング部３７０に出力される。なお、顔認識部３２７の検出結果は、自動焦点調節機能（オートフォーカス）等に用いてもよい。

動き検出部３２９は、第１画像信号に関する動き検出を行う。動き検出部３２９は、時間的に連続して撮像される２枚以上の第１画像にもとづき、１画素マッチング、または複数の画素の集まりで行うブロックマッチング等により、画素毎、またはブロック毎に、静止しているか、動いているかの判定を行う。動いていると判定された画素またはブロックに関しては、動きベクトルの検出を行う。動き検出自体は一般に知られた手法であるので、詳細な説明は省略する。動き検出部３２９での検出結果はシーン判定部３２８およびマッチング部３７０に出力される。動き検出部３２９の検出結果は、自動焦点調節機能等に用いてもよい。

なお、撮像装置１１０は、これら複数の第１画像信号を得るために、第１画像撮像時に、時間的に連続する２枚目以降の第１画像を自動的に撮像するように構成されていてもよい。

シーン判定部３２８は、第１画像がどのような光景を写した画像であるのかを、第１画像信号、顔認識部３２７における検出結果、動き検出部３２９における検出結果、にもとづき判定する。

シーン判定部３２８は、第１画像を以下の４つに分類する。
１）風景を写した画像
２）人物を写した画像
３）動きが多い光景を写した画像
４）これらに該当しない画像
シーン判定部３２８での判定結果は、マッチング部３７０に出力される。

シーン判定部３２８では、顔認識部３２７における検出結果および動き検出部３２９における検出結果に加え、第１画像信号の輝度信号に関するヒストグラム、第１画像信号の色信号（色差信号）に関するヒストグラム、第１画像信号の輪郭部を抽出した信号、判定対象となる第１画像が撮像されたときの第１光学部３０１の光学ズーム倍率および焦点が合っている被写体までの距離（合焦距離）、等から上述の判定を行う。これらの判定に必要な情報は上述したデータベースに含まれており、シーン判定部３２８はデータベースを参照してこれらの判定を行う。

なお、シーン判定部３２８における画像分類は何ら上述した内容に限定されるものではない。例えば、赤色が多い画像、暗い画像、緑色と青色が多い画像、等、撮像画像の色や明るさにもとづいて画像分類を行ってもよい。または、上記４分類を、子供を写した画像、置物等の静物を写した画像、夜景、等を加えてさらに細かく分類してもよい。あるいは、それら以外の分類を行ってもよい。また、分類の判定に用いる情報も何ら上述した情報に限定されるものではなく、上述以外の情報を用いてもよく、あるいは上述の情報の中から１つまたは複数を選択して用いてもよい。また、第２画像にもとづき、または第１画像と第２画像の両方にもとづき、上述の判定を行うようにシーン判定部３２８を構成してもよい。

なお、撮像装置１１０では、撮像装置１１０から合焦した被写体までの距離である合焦距離をフォーカス調節の際に取得することができる。撮像装置１１０から、第１撮像素子３０２の撮像面においてフォーカスが合う（合焦する）被写体までの距離（合焦距離）は、フォーカスレンズの位置に応じて変化する。したがって、フォーカスレンズの位置と合焦距離とを対応付けた情報をあらかじめ撮像制御部３２６（または、第１光学制御部３０３）に備えておけば、撮像制御部３２６が第１光学制御部３０３を介して第１光学部３０１の光学ズームレンズおよびフォーカスレンズを制御する際に、画像信号処理部３２０は、現在のフォーカスレンズの位置から現在の合焦距離を取得することができる。

このように、画像信号処理部３２０は、第１画像が撮像されたときの第１光学部３０１の光学ズーム倍率および合焦距離を、第１画像の付帯情報として取得することができる。

画像生成部３２５は、マッチング部３７０のデプスマップ生成部３２３から出力される視差情報（デプスマップ）にもとづいて、第１画像信号から新たな第２画像信号を生成する。以下、第１画像信号から生成される新たな第２画像信号を「新第２画像信号」と記す。また、新第２画像信号による画像を「新第２画像」と記す。したがって、第１画像信号と新第２画像信号とは、仕様（解像度や画角等、動画の場合はフレームレートも含む）が互いに等しい画像信号となる。

本実施の形態では、第１画像信号を右眼用画像信号とし、画像生成部３２５で視差情報（デプスマップ）にもとづき生成される新第２画像信号を左眼用画像信号とする立体画像信号を、画像生成部３２５から出力する。

この立体画像信号は、例えば記憶部３４０に記憶され、また、この立体画像信号にもとづく立体画像は表示部３３０に表示される。

撮像装置１１０では、第１画像信号（例えば、右眼用画像信号）から、視差情報（デプスマップ）にもとづき、対となる新第２画像信号（例えば、左眼用画像信号）を生成する。したがって、視差情報（デプスマップ）に補正を加えることで、生成される立体画像の立体感（奥行き感）を調整することが可能である。そこで、本実施の形態では、視差情報（デプスマップ）に補正を加え、立体画像の立体感（奥行き感）を増す、あるいは抑制する、等の調整ができるように、マッチング部３７０（デプスマップ生成部３２３）を構成する。この詳細は後述する。

マッチング部３７０の特徴点抽出部３２２は、第１画像信号と第２画像信号とのそれぞれから複数の特徴点候補を抽出し、それら特徴点候補の中から複数を選択して特徴点とする。こうして第１画像信号と第２画像信号とのそれぞれに複数の特徴点を設定する。

特徴点とは、第１画像信号と第２画像信号とを互いに比較するときに目印として用いる領域のことである。また、特徴点は、視差情報（デプスマップ）を生成する際にも用いられる。したがって、特徴点として設定する領域は、次の要件を満たしていることが望ましい。

１）比較に用いる領域として明確な特徴があり、比較に使用しやすく、かつ抽出が容易である。

２）第１画像および第２画像の各画像に共通して存在する。

３）第１画像および第２画像の各画像において、できるだけ一様に分布している。

４）撮像画像における近景の被写体から遠景の被写体までのそれぞれに、できるだけ一様に分布している。

上述の要件１は、次の理由による。信号の変化がなだらかな領域は、抽出しにくいため、基準として設定しにくく、互いに比較すべき領域を両画像のそれぞれで特定することも困難である。特徴点として設定する領域は、基準として設定しやすく比較の際に特定しやすい領域であることが好ましい。そのような領域としては、例えば被写体の輪郭部を挙げることができる。また、そのような領域は、例えば、輝度信号の微分値、または色信号（色差信号）の微分値を算出し、その算出結果を所定のしきい値と比較することで、容易に抽出することができる。

上述の要件２は、次の理由による。上述したように、第１画像は光学ズーム機能を備えた第１撮像部３００で撮像され、第２画像は単焦点レンズを有する第２撮像部３１０で撮像される。したがって、第２画像には、第１画像に撮像された範囲以上の範囲が撮像されていることが多くあると考えられ、そのような第２画像だけに撮像された領域に特徴点を設定しても、比較に使用することはできない。したがって、第１画像および第２画像の各画像に共通して存在する領域を特徴点として設定することが望ましい。

上述の要件３は、次の理由による。特徴点が画像内の特定の領域に集中していると、その領域に関しては相対的に高い精度の比較が行えるが、他の領域に関しては比較の精度が相対的に低下する。したがって、そのような偏りが生じないように、特徴点は、各画像において、できるだけ一様に分布していることが望ましい。本実施の形態では、第１画像および第２画像の各画像を、水平方向および垂直方向にそれぞれ３分割して９の領域に分割し、各領域で２個以上５個以下の特徴点を設定することで、偏りが生じることを防止している。しかし、本実施の形態は何らこの構成に限定されるものではなく、特徴点の偏りを防止できるのであればどのような設定であってもよい。

上述の要件４は、次の理由による。特徴点が近景の被写体に集中して設定されていたり、あるいは、遠景の被写体に集中して設定されていたりすると、デプスマップ生成部３２３で生成される視差情報（デプスマップ）にも偏りが生じ、品質の良い新第２画像信号（立体画像信号）を画像生成部３２５で生成することが困難となる。精度の高い視差情報（デプスマップ）を生成するためには、近景の被写体から遠景の被写体までのそれぞれに、できるだけ一様に特徴点が分布していることが望ましい。なお、要件３が満たされていれば、要件４も実質的に満たされている、と見なすことができる。

なお、特徴点として設定する領域は、大きすぎると比較に使用しにくく、小さすぎると抽出しにくいため、それらを考慮して適切な大きさで設定することが望ましい。

特徴点抽出部３２２では、これらの要件を考慮して特徴点候補を各画像信号から抽出し、特徴点を設定する。そして、設定した特徴点に関する情報（特徴点情報）を、画角合わせ部３２１および画像パターン判定部３２４に出力する。

なお、これらの要件は、全てが満たされることが望ましいが、必ずしも全てが満たされなければならないというわけではなく、実用上問題が生じない範囲で取捨選択が可能である。例えば、特徴点抽出部３２２は、上述の４つの要件に優先度を設定し、優先度の高い要件から順に満足していくように特徴点候補を抽出する構成であってもよい。あるいは、顔認識部３２７、シーン判定部３２８、および動き検出部３２９、のいずれか１つまたは複数の出力にもとづき、その優先度を変更する、または上述以外の要件を追加する、または特徴点候補の抽出方法を変更する、等してもかまわない。

また、特徴点抽出部３２２は、各画像信号において、特徴点候補に該当する領域を全て特徴点候補として抽出し、それら全てを特徴点に設定する構成であってもよい。あるいは、抽出された複数の特徴点候補から、上記の要件に照らし合わせ、より多くの要件を満たす領域から順に、または、より優先度の高い要件を満たす領域から順に、あらかじめ定められた数だけを特徴点として設定する構成であってもよい。

画角合わせ部３２１は、第１撮像部３００から出力される第１画像信号および第２撮像部３１０から出力される第２画像信号が入力される。そして、撮像範囲が互いに等しいと判断される画像信号を各入力画像信号から取り出す。

上述したように、第１撮像部３００では光学ズームによる撮像が可能であり、第２撮像部３１０では単焦点レンズによる撮像が行われる。したがって、第１光学部３０１が広角端のときの第１画像の画角が第２画像の画角以下になるように各撮像部が設定されていれば、第２画像に撮像される範囲には、常に第１画像に撮像される範囲が含まれることになる。例えば、ズーム倍率を上げて撮像された第１画像よりも、撮像の際に光学ズームができない第２画像の方が、画角が広く、この第２画像には第１画像よりも広い範囲が撮像されている。

なお、「画角（Ａｎｇｌｅ ｏｆ ｖｉｅｗ）」とは、画像として撮像される範囲のことであり、一般的には角度で表現される。

そこで、画角合わせ部３２１では、パターンマッチング等の一般に用いられている比較・照合手法を用いて、第１画像として撮像された範囲（画角）に相当する部分を第２画像信号から取り出す。このとき、特徴点抽出部３２２で設定された特徴点を用いることで、第１画像信号と第２画像信号との比較の精度を上げることができる。以下、第２画像信号から取り出された画像信号を「切り出し画像信号」と呼称し、切り出し画像信号による画像を「切り出し画像」と呼称する。したがって、切り出し画像は、画角合わせ部３２１において第１画像の撮像範囲に等しいと判断された範囲の画像になる。

なお、第１光学部３０１と第２光学部３１１との配置位置の違い（視差）により、第１画像と第２画像とでは画像内における被写体の位置に差が生じる。そのため、第２画像における第１画像に対応する領域が、第１画像に完全に合致する可能性は低い。したがって、画角合わせ部３２１でパターンマッチングを行う際は、第１画像信号と類似度が最も大きくなる領域を第２画像信号において探索し、その領域を第２画像信号から取り出して切り出し画像信号とすることが望ましい。

また、画角合わせ部３２１は、第１画像信号と切り出し画像信号の両画像信号を、画素を間引いて画素数（信号量）を削減する縮小処理を行う。これは、後段のデプスマップ生成部３２３における視差情報の算出に必要な演算量を低減するためである。

また、画角合わせ部３２１は、両画像信号の縮小処理後の画素数が互いに等しくなるように、それぞれの縮小処理を行う。これは、後段のデプスマップ生成部３２３において行う２つの画像信号の比較処理を、演算量を低減するとともに精度を高めて行うためである。例えば、切り出し画像信号の画素数（例えば、３８４０×２１６０）が第１画像信号の画素数（例えば、１９２０×１０８０）の４倍であり、第１画像信号を画素数が１／４（例えば、９６０×５４０）になるように縮小処理する場合は、切り出し画像信号に関しては画素数が１／１６（例えば、９６０×５４０）になるように縮小処理を行う。なお、縮小処理を行う際は、フィルタリング処理等を行い、できるだけ情報が損なわれないようにすることが望ましい。

そして、画角合わせ部３２１は、縮小処理された切り出し画像信号と第１画像信号を後段のデプスマップ生成部３２３に出力する。なお、第１画像と第２画像の画角が互いに等しいときには、第２画像信号をそのまま切り出し画像信号として用いることもある。

なお、画角合わせ部３２１における動作は、何ら上述した動作に限定されるものではない。例えば、第１画像の画角が第２画像の画角より広ければ、第１画像信号から第２画像の撮像範囲に相当する領域を取り出して切り出し画像信号を生成するように動作してもよい。また、第１画像と第２画像とで撮像範囲に差があるときには、撮像範囲が互いに等しい領域を第１画像信号と第２画像信号とのそれぞれから取り出して後段に出力するように動作してもよい。

なお、本実施の形態は、画角合わせ部３２１において第１画像信号と第２画像信号との比較に用いる手法を、何らパターンマッチングに限定するものではなく、その他の比較・照合手法を用いて切り出し画像信号を生成してもよい。

なお、画角合わせ部３２１では、第１画像信号と第２画像信号とに対して、明るさ（ガンマ特性、黒の輝度、白の輝度、コントラスト等）、ホワイトバランス、色相（色あい、色の濃さ）等を両画像で互いに揃えるような画像信号処理を行ってもよい。

画像パターン判定部３２４は、第１画像が特定パターンに該当するかどうか、または、特定パターンに該当する領域が第１画像に含まれているかどうか、を、第１画像信号にもとづき判定する。

この特定パターンに該当する画像または領域とは、特徴点が誤設定されやすく、その結果として視差情報（デプスマップ）に誤差が含まれやすい、と考えられる画像または領域のことである。

この特定パターンに該当する画像または領域とは、以下のようなものである。

１）特徴点として設定された領域と似た領域が他に多数ある画像。このような画像（または領域）の例として、以下を挙げることができる。
１−１：同じ形状や模様が規則正しく配列した画像。例えば、タイルを並べた画像、格子模様の壁を写した画像、等。
１−２：特徴点として設定された領域と似た領域が多くあり、特徴点を探索するのが難しい画像。例えば、細い枝の画像、木の葉が生い茂った画像、等。

２）輝度信号または色信号（色差信号）の変化が小さく、特徴点そのものを設定しにくい画像。このような画像（または領域）の例として、以下を挙げることができる。
２−１：輝度信号の変化が少ない画像。例えば、白い壁を写した画像、等。
２−２：輝度信号および色信号（色差信号）の変化が共に少ない画像。例えば、雲のない青空を写した画像、等。

３）被写体が素早く大きく動いている、または、輝度信号および色信号（色差信号）の変化がなだらか、等の理由で被写体の輪郭が明瞭でなく、特徴点が設定しにくい画像。このような画像（または領域）の例として、以下を挙げることができる。
３−１：被写体が素早く大きく動いている画像。例えば、動き回る犬の画像、スポーツする人物を写した画像、等。
３−２：輝度信号および色信号（色差信号）の変化がなだらかな画像。例えば、夕焼け空を写した画像、等。

画像パターン判定部３２４は、第１画像がこのような特定パターンに該当するかどうか、または、特定パターンに該当する領域が第１画像に含まれているかどうか、含まれている場合はその領域の位置および範囲を、第１画像信号にもとづき判定する。画像パターン判定部３２４は、これらの判定結果とともに、これらに該当する場合は、特徴点抽出部３２２で設定された特徴点の信頼性が低いことを示す情報、あるいは、信頼性の低い特徴点を特定する情報、等をデプスマップ生成部３２３へ出力する。これらの情報を「特定パターン判定情報」とする。

画像パターン判定部３２４では、顔認識部３２７における検出結果、動き検出部３２９における検出結果、シーン判定部３２８における判定結果、第１画像信号の輝度信号に関するヒストグラム、第１画像信号の色信号（色差信号）に関するヒストグラム、第１画像信号の輪郭部を抽出した信号、判定対象となる第１画像が撮像されたときの第１光学部３０１の光学ズーム倍率および焦点が合っている被写体までの距離（合焦距離）、の１つまたは複数を選択して、上述の判定を行う。これらの判定に必要な情報は上述したデータベースに含まれており、画像パターン判定部はデータベースを参照してこれらの判定を行う。

なお、画像パターン判定部３２４は、第１画像信号に代えて第２画像信号または切り出し画像信号にもとづき、上述の判定を行う構成であってもよい。あるいは、第１画像信号と、第２画像信号または切り出し画像信号の両方に関して、上述の判定を行う構成であってもよい。また、画像パターン判定部３２４における判定は何ら上述した内容に限定されるものではなく、特徴点の信頼性が判断できるものであればよい。

デプスマップ生成部３２３は、画角合わせ部３２１で縮小処理された第１画像信号および切り出し画像信号にもとづいて、視差情報を生成する。デプスマップ生成部３２３は、縮小処理された第１画像信号と縮小処理された切り出し画像信号とを互いに比較し、互いに対応する被写体が２つの画像信号間でどの程度ずれているかを、画素単位、または複数の画素からなるブロック単位で、算出する。この「ずれの量（ずれ量）」は、視差方向、例えば、撮像が行われたとき地面に対して水平となる方向、で算出する。この「ずれ量」を１枚の画像（縮小処理された第１画像信号にもとづく画像、または、縮小処理された切り出し画像信号にもとづく画像）の全域において算出し、算出対象となる画像の画素またはブロックに対応付けたものが、視差情報（デプスマップ）となる。

なお、デプスマップ生成部３２３では、第１画像信号と切り出し画像信号とを比較するときに、特徴点抽出部３２２で設定された特徴点を用いることで、視差情報（デプスマップ）を生成する際の精度を高めている。

そして、デプスマップ生成部３２３では、一旦生成した視差情報（デプスマップ）を、画像パターン判定部３２４およびシーン判定部３２８における判定結果にもとづいて、補正する。

この補正例として、以下を挙げることができる。

１）シーン判定部３２８で風景を写した画像と判定された画像に関しては、近景にある被写体は立体感（奥行き感）を低減するように視差情報を小さくし、遠景にある被写体は立体感（奥行き感）を増加するように視差情報を大きくする。これにより、生成する立体画像において、遠景がより遠く感じられるように立体感（奥行き感）を強調することができる。

２）シーン判定部３２８で人物を写した画像と判定された画像に関しては、合焦した被写体（人物像）の視差情報を、立体画像の鑑賞者がその被写体に焦点を合わせやすい距離になるように補正する。この距離は、例えば、２〜５ｍ程度である。合焦した被写体（人物像）の背景に相当する被写体は、合焦した被写体との距離感が低減するように視差情報を補正する。人物像は過度に立体感（奥行き感）が強調されると不自然な立体画像になりやすいが、これにより、立体画像の立体感（奥行き感）が適正に抑えられ、鑑賞者が自然な立体感（奥行き感）で人物像を鑑賞することができる立体画像を生成することができる。

３）シーン判定部３２８で動きが多い光景を写した画像と判定された画像、または、画像パターン判定部３２４で特定パターンに該当すると判定された画像に関しては、視差情報（デプスマップ）に誤差が含まれている可能性が高いため、立体感（奥行き感）を低減するように視差情報を補正する。また、画像パターン判定部３２４で特定パターンに該当する領域が含まれていると判定された画像、もしくは、画像パターン判定部３２４からの出力に信頼性が低い特徴点を特定する情報が含まれているときは、その領域またはその特徴点と、それらの周囲の領域とに関して、視差情報に誤差が含まれている可能性が高い。そのため、それらの領域の立体感（奥行き感）を低減するように視差情報を補正するとともに、立体画像に不自然さが生じないように、それらの領域の周辺の領域の視差情報を補正する。

４）これらに該当しない画像に関しては、視差情報（デプスマップ）を補正しない。ただし、あらかじめ定められた補正または使用者が指示した補正を加え、立体感（奥行き感）を強調または低減するようにデプスマップ生成部３２３を構成してもよい。

なお、視差情報を補正するための補正データは、データベースにあらかじめ含まれており、デプスマップ生成部３２３は、シーン判定部３２８の判定結果および画像パターン判定部３２４の判定結果にもとづき、その補正データをデータベースから取得して、視差情報を補正する。

なお、本実施の形態では、縮小処理された第１画像信号に関連付けて視差情報（デプスマップ）を生成するものとするが、縮小処理された切り出し画像信号に関連付けて視差情報（デプスマップ）を生成する構成であってもよい。

なお、２つの画像信号を比較する際に、互いに対応する部分がない領域については「ずれ量」を算出できないので、そのような領域には、不定を表す記号を設定するか、あるいはあらかじめ定められた数値を設定すればよい。

なお、視差を有する２枚の画像から視差情報（ずれ量）を算出する手法、および視差情報にもとづき新たな画像信号を生成する手法は公知であり、例えば上述の特許文献１等に記載されているので、詳細な説明は省略する。

次に、撮像装置１１０における立体画像の撮像動作について、図面を用いて説明する。また、各機能ブロックで画像信号がどのように処理されるのかを、一例を挙げて図面に示す。

図４は、実施の形態１における撮像装置１１０の立体画像撮像時の動作を説明するフローチャートである。

図５は、実施の形態１における撮像装置１１０の画像信号の処理の流れの一例を概略的に示す図である。

ここでは、一例として図５に示すように、第１撮像部３００は、画素数が１９２０×１０８０の第１画像信号を出力し、第２撮像部３１０は、画素数が７６８０×４３２０の第２画像信号を出力するものとして、以下の説明を行う。なお、重複する説明は省略する。

なお、図５に示す数値は、単に一例を挙げたものに過ぎず、本実施の形態は何らこれらの数値に限定されるものではない。

立体画像の撮像を行うとき、撮像装置１１０では主に以下の動作を行う。

特徴点抽出部３２２は、第１画像信号と第２画像信号とのそれぞれに特徴点を設定し、設定した特徴点に関する情報（特徴点情報）を、画角合わせ部３２１および画像パターン判定部３２４に出力する（ステップＳ４００）。

画像パターン判定部３２４は、第１画像が特定パターンに該当するかどうか、特定パターンに該当する領域が第１画像に含まれているかどうか、ステップＳ４００で設定された特徴点に対する信頼性、を第１画像信号にもとづき判定し、その判定結果（特定パターン判定情報）をデプスマップ生成部３２３に出力する（ステップＳ４０１）。

図４、図５には示していないが、あわせて、シーン判定部３２８は、第１画像がどのような光景を写した画像であるのかを判定し、判定結果をマッチング部３７０に出力する。

画角合わせ部３２１は、第１画像として撮像された範囲（画角）に相当する部分を第２画像信号から取り出して、切り出し画像信号を生成する（ステップＳ４０２）。

画像信号処理部３２０の撮像制御部３２６は、第１光学制御部３０３を介して第１光学部３０１の光学ズームを制御する。したがって、画像信号処理部３２０は、第１画像が撮像されたときの第１光学部３０１のズーム倍率を、第１画像の付帯情報として取得することができる。一方、第２光学部３１１では光学ズームができないので、第２画像を撮像するときのズーム倍率は固定されている。画角合わせ部３２１は、これらの情報に基づいて第１画像と第２画像との画角の差を算出し、その算出結果にもとづき第２画像信号から第１画像の撮像範囲（画角）に相当する領域を特定して切り出す。

このとき、画角合わせ部３２１は、第１画像の画角に相当する領域よりもやや広い範囲（例えば、１０％程度広い範囲）をまず切り出す。これは、第１画像の中心と第２画像の中心との間に若干のずれが生じる可能性があるためである。

次に、画角合わせ部３２１は、この切り出した範囲に対して、一般に用いられているパターンマッチングを行い、第１画像の撮像範囲に相当する領域を特定して再度切り出す。このとき、ステップＳ４００で設定された特徴点を用いることで、精度の高い比較を行うことができる。

画角合わせ部３２１は、まず、垂直方向に両画像信号の比較を行い、次に水平方向に両画像信号の比較を行う。この順番は逆でもよい。このようにして、画角合わせ部３２１は、第１画像信号の撮像範囲に実質的に等しい領域を第２画像信号から取り出し、切り出し画像信号を生成する。

これにより、比較的負荷の軽い演算処理で高速に切り出し画像信号を生成することができる。なお、画角や解像度が互いに異なる２枚の画像を比較して撮像範囲が互いに共通する領域を特定するパターンマッチング等の手法は、一般に知られた手法であるので、説明を省略する。

なお、本実施の形態は何らこの構成に限定されるものではなく、例えばパターンマッチングだけで切り出し画像信号を生成する等してもかまわない。

次に、画角合わせ部３２１は、第１画像信号と切り出し画像信号を、それぞれが所定の画素数になるように、縮小処理する。図５には、所定の画素数を９６０×５４０とする例を示す。

第１画像信号の画素数が１９２０×１０８０であれば、第１画像信号を水平方向・垂直方向それぞれに１／２に縮小処理することで、縮小処理後の第１画像信号の画素数を９６０×５４０にすることができる。

切り出し画像信号の画素数は、第１撮像部３００の光学ズーム倍率の大きさによって異なり、第１画像を撮像する際のズーム倍率が大きいほど、切り出し画像信号の画素数は小さくなる。例えば、切り出し画像信号の画素数が３８４０×２１６０であれば、切り出し画像信号を水平方向・垂直方向それぞれに１／４に縮小処理することで、縮小処理後の切り出し画像信号の画素数を９６０×５４０にすることができる。

なお、これらの処理は順番が入れ替わってもかまわない。例えば、先に縮小処理をし、縮小された両画像信号を互いに比較して切り出し画像信号を生成してもよい。あるいは、垂直方向の比較を行った後で縮小処理を行い、その後水平方向の比較を行ってもよい。

次に、デプスマップ生成部３２３において、画角合わせ部３２１で縮小処理された第１画像信号および切り出し画像信号にもとづいて、視差情報（デプスマップ）を生成する（ステップＳ４０５）。

次に、デプスマップ生成部３２３は、ステップＳ４０１における判定結果にもとづき、記憶部３４０に記憶されたデータベースから補正値を読み出し、ステップＳ４０５で生成した視差情報（デプスマップ）を補正する（ステップＳ４０６）。

また、ステップＳ４０１で信頼性が低いと判定された特徴点を有する画像に対しては、立体感（奥行き感）を抑制するように、視差情報（デプスマップ）を補正する。

なお、ステップＳ４０１の判定結果によっては、デプスマップ生成部３２３は、ステップＳ４０５で生成した視差情報（デプスマップ）に補正を加えないこともある。

デプスマップ生成部３２３は、後段の処理に備え、視差情報（デプスマップ）を、第１画像信号の画素数に合わせて拡張する。以下、この拡張された視差情報（デプスマップ）を「拡張デプスマップ」と呼称する。例えば、視差情報（デプスマップ）が画素数９６０×５４０の画像信号にもとづき生成され、第１画像信号の画素数が１９２０×１０８０であれば、視差情報（デプスマップ）を、水平方向・垂直方向それぞれに２倍に拡張して、拡張デプスマップを生成する。

なお、この補正処理と拡張処理は順番が入れ替わってもかまわない。

次に、立体画像信号において第１画像信号の対となる新第２画像信号を、ステップＳ４０６でデプスマップ生成部３２３において生成された視差情報（拡張デプスマップ）にもとづき、画像生成部３２５において第１画像信号から生成する（ステップＳ４０７）。画像生成部３２５は、例えば画素数１９２０×１０８０の第１画像信号から、拡張デプスマップにもとづき画素数１９２０×１０８０の新第２画像信号を生成する。

そして、画像生成部３２５は、第１画像信号と新第２画像信号の対を立体画像信号として出力する。なお、各画像信号の画素数および縮小処理後の画像信号の画素数は、何ら上述した数値に限定されるものではない。

なお、ステップＳ４００からステップＳ４０６の処理は、画像信号の輝度信号だけを用いて行なってもよい。これは、ＲＧＢの３つの原色信号のそれぞれについて処理を行うよりも、演算処理の負荷を軽減でき、かつ高い精度で各処理を行うことができるからである。しかし、画像信号の輝度信号および色信号（色差信号）を用いて各処理を行ってもよく、あるいは、ＲＧＢの３つの原色信号のそれぞれについて各処理を行ってもよい。

なお、デプスマップ生成部３２３が生成した視差情報（デプスマップ）を表示部３３０に表示し、使用者が手動で視差情報（デプスマップ）を補正できるように撮像装置１１０を構成してもよい。あるいは、補正を加えない視差情報（デプスマップ）にもとづいて新第２画像信号を一旦生成し、それにもとづく立体画像を表示部３３０に表示して、立体感（奥行き感）が不自然な箇所を使用者が手動で補正できるように撮像装置１１０を構成してもよい。さらには、その手動の補正が反映された視差情報（デプスマップ）にもとづく新第２画像信号が最終的な新第２画像信号として画像生成部３２５から出力される構成であってもよい。

また、上述した視差情報（デプスマップ）に対する補正は、使用者が許可した場合のみ行われるように撮像装置１１０を構成してもよい。

なお、第１光学部３０１のズーム倍率および第２撮像素子３１２の解像度は、第１光学部３０１を望遠端（テレ端）にしたときの切り出し画像信号の解像度が第１画像信号の解像度以上となるように、設定することが望ましい。これは、第１光学部３０１を望遠端にしたときに、切り出し画像信号が第１画像信号よりも低解像度になることを防止するためである。しかし、本実施の形態は何らこの構成に限定されるものではない。

なお、第２光学部３１１は、第１光学部３０１を広角端（ワイド端）にしたときの画角に実質的に等しいか、さらに広い画角を有するように構成することが望ましい。これは、第１光学部３０１を広角端にしたときに、第１画像が第２画像よりも広い画角になることを防止するためである。しかし、本実施の形態は何らこの構成に限定されるものではなく、第１光学部３０１を広角端にしたときの第１画像の画角が第２画像よりも広い画角であってもよい。

［１−３．効果等］
以上のように、本実施の形態において、撮像装置１１０は、第１画像を撮像して第１画像信号を出力するように構成された第１撮像部３００と、第１画像以上の画角を有する第２画像を、第１画像よりも高解像度で撮像して第２画像信号を出力するように構成された第２撮像部３１０と、画像信号処理部３２０と、を備える。画像信号処理部３２０は、第１画像信号に基づき、第２画像信号の少なくとも一部を切り出して切り出し画像信号を生成し、第１画像信号と第２画像信号とのいずれか一方の画像信号が特定パターンを有するか否かを判断し、第１画像信号と切り出し画像信号とに基づき視差情報を算出するとともに、いずれか一方の画像信号は特定パターンを有すると判断されたときには視差情報を補正し、視差情報又は補正後の視差情報と第１画像信号とに基づいて新第２画像信号を生成する、ように構成されている。

これにより、撮像装置１１０では、良好な品質の立体画像を生成することができる。

良好な品質の立体画像を取得（生成）するためには、対となる右眼用画像と左眼用画像とを撮像する際に、画角（撮像範囲）、解像度（画素数）、ズーム倍率等の撮像条件を互いに揃え、できるだけ等しい状態にすることが望ましい。

しかしながら、本実施の形態の撮像装置１１０は、第１撮像部３００に光学ズーム機能を備えており、一方、第２撮像部３１０は光学ズーム機能を備えておらず、単焦点レンズを有する構成である。このように、第１撮像部３００と第２撮像部３１０とで、光学系の仕様が互いに異なる。

さらには、第１撮像部３００と第２撮像部３１０とでは、撮像素子の仕様も互いに異なる。

したがって、撮像装置１１０では、第１撮像部３００で撮像した第１画像をそのまま右眼用画像とし、第２撮像部３１０で撮像した第２画像をそのまま左眼用画像としても、良好な品質の立体画像（立体動画）を得ることは困難である。

そこで、本実施の形態では、撮像装置１１０を上述した構成とし、第１撮像部３００で撮像した第１画像信号を右眼用画像信号とし、第１画像信号から視差情報（デプスマップ）を用いて生成した新第２画像信号を左眼用画像信号として、立体画像（立体動画）を生成する。

これにより、光学的な特性や撮像素子の特性等の撮像条件が互いに等しい理想的な一対の撮像部で撮像（または動画撮影）された右眼用画像と左眼用画像に実質的に等しい右眼用画像と左眼用画像を生成することが可能になる。

このとき、品質の良い新第２画像信号を生成するためには、精度の高い視差情報を生成する必要がある。しかしながら、撮像画像に写される光景によっては、精度の高い視差情報を生成することが困難なことがある。

そこで、本実施の形態では、撮像装置１１０を上述した構成とし、視差情報が誤生成される可能性が高いと判定された画像信号に関しては、視差情報を補正する。また、写された光景に応じた補正を視差情報に加えることも可能である。これにより、生成される視差情報の品質を高めることができるので、良好な品質の立体画像を生成することができる。

（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略等を行った実施の形態にも適用できる。また、上記実施の形態１で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。

そこで、以下、他の実施の形態を例示する。

実施の形態１では、図１に示したように、撮像方向に向かって右側に第１レンズ部１１１を配置して第１画像を右眼視点の画像とし、撮像方向に向かって左側に第２レンズ部１１２を配置して第２画像を左眼視点の画像とするように撮像装置１１０を構成する例を説明したが、本開示は何らこの構成に限定されない。例えば、第１画像信号を左眼用画像信号とし、新第２画像信号を右眼用画像信号とするように撮像装置１１０を構成してもかまわない。

図６は、他の実施の形態における撮像装置１２０の外観図である。例えば、撮像方向に向かって左側に第１レンズ部１１１を配置して第１画像を左眼視点の画像とし、撮像方向に向かって右側に第２レンズ部１１４を配置して第２画像を右眼視点の画像とするように撮像装置１２０を構成してもよい。この構成では、実施の形態で説明した右を左に、左を右にそれぞれ読み替えればよい。

実施の形態１では、画角合わせ部３２１で画像信号を縮小処理する例を説明したが、本開示は何らこの構成に限定されない。図７は、他の実施の形態における撮像装置の画像信号の処理の流れの一例を概略的に示す図である。例えば、画角合わせ部３２１で、縮小処理を行わず、第１画像信号の画素数（例えば、１９２０×１０８０）と同じ画素数になるように切り出し画像信号を生成してもよい。この構成では、デプスマップ生成部３２３で、この画素数にもとづく視差情報（デプスマップ）を生成するので、拡張デプスマップを生成する必要が無く、より精度の高い新第２画像信号を生成することができる。

本実施の形態では、撮像装置を、第１撮像部３００で第１画像を撮像し、第２撮像部３１０で第２画像を撮像するように構成する例を説明したが、例えば、第１撮像部３００に代えて第１画像入力部を備え、第２撮像部３１０に代えて第２画像入力部を備え、第１画像入力部を通して第１画像を取得し、第２画像入力部を通して第２画像を取得するように構成してもよい。

実施の形態１に示した構成および動作は、動画撮影時にも適応可能である。ただし、第１画像信号および第２画像信号が動画であって、フレームレートが互いに異なるときは、画角合わせ部３２１において、いずれかフレームレートが低い方の画像信号をフレームレートが高い方の画像信号に合わせて高フレームレート化し、互いに等しいフレームレートにすることが望ましい。例えば、第１画像信号のフレームレートが６０Ｈｚ、第２画像信号のフレームレートが３０Ｈｚであれば、第２画像信号または切り出し画像信号を６０Ｈｚに高フレームレート化する。なお、この際に用いるフレームレート変換手法は、公知のものでかまわない。このように、動画信号に対しては、比較を行いやすい状態にして、デプスマップ生成を行うものとする。これにより動画撮像時においても高い精度で視差情報（デプスマップ）を生成することができる。

なお、第１光学部３０１（第１レンズ群２０１）および第２光学部３１１（第２レンズ群２１１）は、何ら実施の形態１に示した構成に限定されるものではない。例えば、第１光学部３０１（第１レンズ群２０１）に、フォーカス調節が可能なフォーカスレンズに代えて、フォーカス調節が不要なパンフォーカス（ディープフォーカス）のレンズを用いる構成でもよい。あるいは、第２光学部３１１（第２レンズ群２１１）に、フォーカス調節が不要なパンフォーカス（ディープフォーカス）のレンズに代えて、フォーカス調節が可能なフォーカスレンズを用いる構成でもよい。その場合には、そのフォーカスレンズを駆動するように構成されたモータを有する第２アクチュエーターを第２撮像ユニット２１０に設けることが望ましい。なお、そのモータは、ＣＰＵ２２０から制御信号を出力して制御すればよい。また、第２光学部３１１に、第２撮像素子３１２（第２ＣＣＤ２１２）で受光する光量を調節する光学式の絞りを備える構成としてもよい。

また、第２光学部３１１に、単焦点レンズに代えて光学ズームレンズを備える構成としてもよい。その場合、例えば、撮像装置で立体画像の撮像を行うときには、自動的に第２光学部３１１が広角端になるように構成してもよい。

また、第１光学部３０１を望遠端（テレ端）にしたときに、切り出し画像信号が第１画像信号よりも低解像度になるように、撮像装置を構成してもよい。その場合、例えば、第１光学部３０１のズーム倍率を上げていく過程で切り出し画像信号の解像度が第１画像信号の解像度以下となったときに、立体画像から通常画像に撮像モードが自動で変わるように撮像装置を構成してもよい。

なお、モニター１１３が立体画像の撮像に適した位置まで開いたときにオン状態になり、それ以外ではオフになるスイッチを撮像装置に設け、そのスイッチがオンになったときのみ立体画像の撮像ができるように撮像装置を構成してもよい。

なお、実施の形態に示した具体的な数値は、単に実施の形態における一例を示したものに過ぎず、本開示はこれらの数値に何ら限定されるものではない。各数値は画像表示装置の仕様等にあわせて最適な値に設定することが望ましい。

本開示は、複数の撮像部を有し、立体視用の画像を撮像可能な撮像装置に適用可能である。具体的には、立体視用の画像を撮像可能な、デジタルビデオカメラ、デジタルスチルカメラ、カメラ機能付き携帯電話、スマートフォン等に本開示は適用可能である。

１１０，１２０ 撮像装置
１１１ 第１レンズ部
１１２，１１４ 第２レンズ部
１１３ モニター
２００ 第１撮像ユニット
２０１ 第１レンズ群
２０２ 第１ＣＣＤ
２０３ 第１Ａ／Ｄ変換ＩＣ
２０４ 第１アクチュエーター
２１０ 第２撮像ユニット
２１１ 第２レンズ群
２１２ 第２ＣＣＤ
２１３ 第２Ａ／Ｄ変換ＩＣ
２２０ ＣＰＵ
２２１ ＲＡＭ
２２２ ＲＯＭ
２２３ 加速度センサ
２２４ 入力装置
２２５ ディスプレイ
２２６ エンコーダー
２２７ 記憶装置
２３０ ＬＳＩ
２３３ ＩＯコントローラ
２３４ クロック発生器
２４３ ネットワークインターフェース
２４５ バッテリー
３００ 第１撮像部
３０１ 第１光学部
３０２ 第１撮像素子
３０３ 第１光学制御部
３１０ 第２撮像部
３１１ 第２光学部
３１２ 第２撮像素子
３２０ 画像信号処理部
３２１ 画角合わせ部
３２２ 特徴点抽出部
３２３ デプスマップ生成部
３２４ 画像パターン判定部
３２５ 画像生成部
３２６ 撮像制御部
３２７ 顔認識部
３２８ シーン判定部
３２９ 動き検出部
３３０ 表示部
３４０ 記憶部
３５０ 入力部
３６０ カメラ情報部
３７０ マッチング部

Claims (7)

1. 第１画像信号と、前記第１画像信号よりも高解像度であって前記第１画像信号以上の画角を有する第２画像信号と、が入力され、前記第１画像信号に基づき、前記第２画像信号の少なくとも一部を切り出して切り出し画像信号を生成し、
   前記第１画像信号と前記第２画像信号との少なくとも一方の画像信号が特定パターンを有するか否かを判断し、
   前記第１画像信号と前記切り出し画像信号とに基づき視差情報を算出するとともに、前記少なくとも一方の画像信号は前記特定パターンを有すると判断されたときには前記視差情報を補正し、
   前記視差情報又は前記補正後の視差情報と前記第１画像信号とに基づいて新第２画像信号を生成する、ように構成された画像信号処理部
   を備える画像生成装置。
2. 前記画像信号処理部は、
   前記第１画像信号と前記第２画像信号とで互いに共通する特徴点を前記第１画像信号および前記第２画像信号から抽出するように構成された特徴点抽出部と、
   前記特徴点および前記第１画像信号に基づき、前記第２画像信号の少なくとも一部を切り出して前記切り出し画像信号を生成するように構成された画角合わせ部と、
   前記第１画像信号と前記第２画像信号との少なくとも一方の画像信号が前記特定パターンを有するか否かを判断するように構成された画像パターン判定部と、
   前記第１画像信号と前記切り出し画像信号とに基づき前記視差情報を算出してデプスマップを生成するとともに、前記画像パターン判定部において前記少なくとも一方の画像信号は前記特定パターンを有すると判断されたときには前記視差情報を補正するように構成されたデプスマップ生成部と、
   前記視差情報又は前記補正後の視差情報と前記第１画像信号とに基づいて前記新第２画像信号を生成するように構成された画像生成部と、を備える
   請求項１に記載の画像生成装置。
3. 第１画像を撮像して第１画像信号を出力するように構成された第１撮像部と、
   前記第１画像以上の画角を有する第２画像を、前記第１画像よりも高解像度で撮像して第２画像信号を出力するように構成された第２撮像部と、
   前記第１画像信号に基づき、前記第２画像信号の少なくとも一部を切り出して切り出し画像信号を生成し、前記第１画像信号と前記第２画像信号との少なくとも一方の画像信号が特定パターンを有するか否かを判断し、前記第１画像信号と前記切り出し画像信号とに基づき視差情報を算出するとともに、前記少なくとも一方の画像信号は前記特定パターンを有すると判断されたときには前記視差情報を補正し、前記視差情報又は前記補正後の視差情報と前記第１画像信号とに基づいて新第２画像信号を生成する、ように構成された画像信号処理部と、
   を備える撮像装置。
4. 前記画像信号処理部は、
   前記第１画像信号と前記第２画像信号とで互いに共通する特徴点を前記第１画像信号および前記第２画像信号から抽出するように構成された特徴点抽出部と、
   前記特徴点および前記第１画像信号に基づき、前記第２画像信号の少なくとも一部を切り出して前記切り出し画像信号を生成するように構成された画角合わせ部と、
   前記第１画像信号と前記第２画像信号との少なくとも一方の画像信号が前記特定パターンを有するか否かを判断するように構成された画像パターン判定部と、
   前記第１画像信号と前記切り出し画像信号とに基づき前記視差情報を算出してデプスマップを生成するとともに、前記画像パターン判定部において前記少なくとも一方の画像信号は前記特定パターンを有すると判断されたときには前記視差情報を補正するように構成されたデプスマップ生成部と、
   前記視差情報又は前記補正後の視差情報と前記第１画像信号とに基づいて前記新第２画像信号を生成するように構成された画像生成部と、を備える
   請求項３に記載の撮像装置。
5. 前記第１撮像部は、光学的なズーム機能を備えた第１光学部と、前記第１光学部を透過した光を電気信号に変換して前記第１画像信号を出力するように構成された第１撮像素子と、を備え、
   前記第２撮像部は、前記第１光学部以上の画角を有する第２光学部と、前記第２光学部を透過した光を前記第１撮像素子よりも高い解像度で電気信号に変換して前記第２画像信号を出力するように構成された第２撮像素子と、を備える
   請求項３に記載の撮像装置。
6. 第１画像信号に基づき、前記第１画像信号よりも高解像度であって前記第１画像信号以上の画角を有する第２画像信号から、少なくとも一部を切り出して切り出し画像信号を生成し、
   前記第１画像信号と前記第２画像信号との少なくとも一方の画像信号が特定パターンを有するか否かを判断し、
   前記第１画像信号と前記切り出し画像信号とに基づき視差情報を算出するとともに、前記少なくとも一方の画像信号は前記特定パターンを有すると判断されたときには前記視差情報を補正し、
   前記視差情報又は前記補正後の視差情報と前記第１画像信号とに基づいて新第２画像信号を生成する、
   画像生成方法。
7. 前記第１画像信号と前記第２画像信号とで互いに共通する特徴点を前記第１画像信号および前記第２画像信号から抽出し、
   前記特徴点および前記第１画像信号に基づき、前記第２画像信号の少なくとも一部を切り出して前記切り出し画像信号を生成する
   請求項６に記載の画像生成方法。

Images