JPWO2012029298A1 - 撮影装置および画像処理方法 - Google Patents

Abstract

撮影装置は、各々が被写体を撮影することができる第１の撮影部３５０および第２の撮影部３５１と、第１および第２の撮影部によってそれぞれ取得された第１および第２の画像間の視差量を示す情報を生成する信号処理部３０８とを備えている。信号処理部３０８は、前記第１および第２の画像の状態、および撮影条件の少なくとも一方に基づいて、前記第１および第２の画像に基づいて生成される立体画像の立体特性の程度または前記立体画像の出力要否を示す制御情報を生成し、前記制御情報と前記視差量を示す情報とを記録する。

Description

本発明は、複数の撮影部により複数の画像を取得し、立体画像を生成するための情報を生成する撮影装置、および画像処理方法に関する。

立体映像を視聴するには、立体映像に対応したコンテンツ（ビデオストリーム等のデータ）を用意しなければならない。その方法の一つとして、立体映像を撮影できるカメラで立体映像用のコンテンツを生成することがある。

特許文献１には、主撮像部と従撮像部との２つの撮像部を備えたデジタルカメラにおいて、主撮像部と従撮像部から撮影した映像から視差を検出し、主撮像部で撮影した映像を主画像とするとともに、主画像および検出した視差に基づいて従画像を生成して立体映像の左右の画像を生成する技術が開示されている。

特許文献２には、２つの撮像系を備えたステレオカメラにおいて、２つの撮像系の撮影倍率が異なる場合でも、立体映像を撮影できる技術が開示されている。

特開２００５−２０６０６号公報 特開２００５−２１０２１７号公報

特許文献１や特許文献２に記載のカメラは常に立体映像を撮影する。そのため、撮影しても立体感が得られないような映像についても、立体映像が生成されてしまうという課題がある。また、映像のみならず、静止画においても同様の課題がある。

本発明の目的は、立体画像の撮影と従来の平面画像の撮影とを撮影条件に応じて好適に切り換えることである。

本発明の撮影装置は、各々が被写体を撮影することができる第１の撮影部および第２の撮影部と、前記第１および第２の撮影部によってそれぞれ取得された第１および第２の画像に基づいて、前記第１および第２の画像間の視差量を示す情報を生成する信号処理部とを備えている。前記信号処理部は、前記第１および第２の画像の状態、および撮影条件の少なくとも一方に基づいて、前記第１および第２の画像に基づいて生成される立体画像の立体特性の程度または前記立体画像の出力要否を示す制御情報を生成し、前記制御情報と前記視差量を示す情報とを記録する。

本発明の他の撮影装置は、各々が被写体を撮影することができる第１の撮影部および第２の撮影部と、前記第１および第２の撮影部によってそれぞれ取得された第１および第２の画像に基づいて、前記第１および第２の画像間の視差量を示す情報を生成する信号処理部とを備えている。前記信号処理部は、前記第１および第２の画像の状態、および撮影条件の少なくとも一方に基づいて、前記視差量を示す情報を記録するか否かを決定する。

本発明の他の撮影装置は、各々が被写体を撮影することができる第１の撮影部および第２の撮影部と、前記第１および第２の撮影部によってそれぞれ取得された第１および第２の画像に基づいて、前記第１および第２の画像間の視差量を示す情報を生成する信号処理部であって、前記視差量を示す情報および前記第１の画像に基づいて生成される画像と前記第１の画像とから立体画像を生成することができる信号処理部とを備えている。前記信号処理部は、前記第１および第２の画像の状態、および撮影条件の少なくとも一方に基づいて、前記立体画像を生成するか否かを決定する。

ある実施形態において、前記信号処理部は、前記制御情報と前記視差量を示す情報とを統合した統合データを記録する。

ある実施形態において、前記信号処理部は、前記第１および第２の画像に基づいて、映像ストリームを生成し、前記統合データを前記映像ストリームの特定の記録領域に記録する。

ある実施形態において、前記第１および第２の撮影部は、動画像を取得する。

ある実施形態において、前記第１の撮影部は光学ズーム機能を有し、前記第２の撮影部は光学ズーム機能を有していない。

ある実施形態において、前記第２の撮影部の画素数は、前記第１の撮影部の画素数よりも多い。

ある実施形態において、前記第２の撮影部の口径は、前記第１の撮影部の口径よりも小さい。

ある実施形態において、前記第１および第２の画像の状態は、前記第２の画像の一部であって前記第１の画像に相当する部分の画素数、または前記第１および第２の画像に含まれる被写体の視差量であり、前記撮影条件は、前記第１の撮影部のズーム倍率、または前記撮影装置の撮影時の傾きである。

ある実施形態において、前記信号処理部は、前記第２の画像の一部であって前記第１の画像に相当する部分の画素数、および前記第１の撮影部のズーム倍率が予め定められた範囲にある場合には、立体画像の撮影を指示する制御信号を出力し、それ以外の場合には、非立体画像の撮影を指示する制御信号を出力する。

ある実施形態において、前記信号処理部は、前記第１および第２の画像の画角および画素数を合わせた２つの画像を生成し、前記２つの画像における画素ごとの視差量を計算することにより、前記視差量を示す情報を生成する。

ある実施形態において、前記信号処理部は、前記視差量を示す情報を用いて前記第１の画像を補正することによって第３の画像を生成し、前記第３の画像と前記第１の画像とから立体画像を生成する。

本発明の画像処理方法は、２つの撮影部を有する撮影装置によって取得された第１および第２の画像に基づいて、前記第１および第２の画像間の視差量を示す情報を生成するステップと、前記第１および第２の画像の状態、および撮影条件の少なくとも一方に基づいて、前記第１および第２の画像に基づいて生成される立体画像の立体特性の程度または前記立体画像の出力要否を示す制御情報を生成するステップと、前記制御情報と前記視差量を示す情報とを記録するステップとを含む。

本発明の他の画像処理方法は、２つの撮影部を有する撮影装置によって取得された第１および第２の画像に基づいて、前記第１および第２の画像間の視差量を示す情報を生成するステップと、前記第１および第２の画像の状態、および撮影条件の少なくとも一方に基づいて、前記視差量を示す情報を記録するか否かを決定するステップとを含む。

本発明の他の画像処理方法は、２つの撮影部を有する撮影装置によって取得された第１および第２の画像に基づいて、前記第１および第２の画像間の視差量を示す情報を生成するステップと、前記第１および第２の画像の状態、および撮影条件の少なくとも一方に基づいて、立体画像を生成するか否かを決定するステップと、前記視差量を示す情報および前記第１の画像に基づいて生成される画像と前記第１の画像とから立体画像を生成するステップとを含む。

本発明により、立体画像の撮影（生成）と従来の平面画像の撮影（生成）とを撮影条件に応じて好適に切り換えることが可能となる。

（ａ）は従来の映像撮影装置の概観図であり、（ｂ）は実施の形態１による映像撮影装置の概観図である。 実施の形態１による映像撮影装置のハードウェア構成図である。 実施の形態１による映像撮影装置の機能構成図である。 画角合わせ部による処理内容を説明する図である。 画像信号処理部により処理されるデータの変化を示す図である。 実施の形態１において、メイン撮影部とサブ撮影部とによって撮影した映像の違いを示す図である。 左右映像間の視差を算出する処理を示すフローチャートである。 画像信号処理部が行う処理を示すフローチャートである。 算出した視差量のデータの例を示す図である。 メイン撮影部によって撮影した映像から立体映像の対となる映像を生成したことを示す図である。 画角合わせ部が水平方向の補正処理を行った場合の例を示す図である。 差異計算部により水平方向の補正処理を行った場合の例を示す図である。 被写体までの距離と立体特性の大きさとの関係例を示す図である。 被写体までの距離と、メイン撮影部およびサブ撮影部により撮影された被写体の画素数との関係例を示す図である。 水平方向の傾きと立体映像の生成要否との関係を示す図である。 立体映像の生成要否を判断する処理を示すフローチャートである。 撮影された映像や、生成された立体映像等の記録方式の例を示す図である。 撮影装置が撮影時に立体映像の立体特性を調整して撮影した場合の例を示す図である。 実施の形態２による映像撮影装置の概観図である。 実施の形態２による映像撮影装置のハードウェア構成図である。 実施の形態２による映像撮影装置の機能構成図である。 センター撮影部、サブ１撮影部、サブ２撮影部によって撮影した映像の画角を合わせることを示す図である。 画像信号処理部により処理されるデータの変化を示す図である。 センター撮影部で撮影された映像から立体映像の左右それぞれの映像を生成することを示す図である。 実施の形態２における、生成された立体映像等の記録方式の例を示す図である。 実施の形態１および実施の形態２の変形例による映像撮影装置の概観図である。

以下、添付の図面を参照しながら、本発明の実施の形態を説明する。なお、本明細書において、「画像」とは、動画像（映像）および静止画像を含む概念を指す。以下の説明において、画像または映像を示す信号または情報を、単に「画像」または「映像」と呼ぶことがある。

（実施の形態１）
＜映像撮影装置の構成について＞
図１は、従来の映像撮影装置および本実施形態による映像撮影装置の外観を示す斜視図である。図１（ａ）は、映像、又は静止画像を撮影する従来の映像撮影装置１００を示している。図１（ｂ）は、本実施の形態による映像撮影装置１０１を示している。映像撮影装置１００と映像撮影装置１０１とは、映像撮影装置１０１が第１レンズ部１０２のみならず第２レンズ部１０３を備えている点で外観上異なっている。従来の映像撮影装置１００では、映像を撮影するには、第１レンズ部１０２でのみ集光して映像を撮影する。これに対して、本実施形態による映像撮影装置１０１は、第１レンズ部１０２と第２レンズ部１０３の２種類の光学系でそれぞれ集光し、視差をもつ２つの映像（立体映像）を撮影する点で従来の映像撮影装置１００とは異なる。第２レンズ部１０３は、第１レンズ部１０２と比較して体積的な大きさが小型のレンズである。ここで、「体積的な大きさ」とは、各レンズ部の口径および厚さによって定まる体積で表される大きさを意味する。このような構成により、映像撮影装置１０１は、２種類の光学系を用いて立体映像を撮影する。

第１レンズ部１０２と第２レンズ部１０３との距離は、撮影する立体映像の視差の大きさに影響する。そのため、第１レンズ部１０２と第２レンズ部１０３との距離は、人の左右両眼の距離と同程度の距離にしておくと、映像撮影装置１０１で撮影された立体映像もより自然な映像になると考えられる。

さらに、第１レンズ部１０２と第２レンズ部１０３とは、映像撮影装置１０１を地面等に置いたときに、略同一水平面上にあることが好ましい。これは、人の左右両目は略水平な位置で対象物を見ることが一般的であるため、水平方向の視差には慣れているが、垂直方向の視差には慣れていないためである。よって、立体映像を撮影する際には、垂直方向ではなく水平方向に視差が生じるように撮影することが好ましい。第１レンズ部１０２と第２レンズ部１０３との位置関係が垂直方向にずれるほど、映像撮影装置１０１が生成する立体映像は違和感のある映像となり得る。

また、第１レンズ部１０２の光学中心と第２レンズ部１０３の光学中心とは、映像撮影装置１０１の撮像面に平行な１つの平面上に位置していることが好ましい。つまり、第１レンズ部１０２の光学中心が被写体側（前方）に飛び出し、第２レンズ部１０３の光学中心が被写体の反対側（後方）に位置していたり、その逆の関係になっていないことが好ましい。第１レンズ部１０２および第２レンズ部１０３がそのような位置関係にあると、被写体までの距離が第１レンズ部１０２と第２レンズ部１０３とで異なることになる。そのような場合、正確な視差情報を得ることが困難になる場合がある。このように、第１レンズ部１０２および第２レンズ部１０３は、被写体から略同一距離となる位置関係にあることが好ましい。なお、この点について、より厳密には、それぞれのレンズ部と、レンズ部の後段に配置される撮像素子の撮像面との位置関係を含めて考慮する必要がある。

これらの第１レンズ部１０２と第２レンズ部１０３との相対的な位置が好ましい位置関係に近いほど、それぞれのレンズ部により撮影された映像から立体映像等を生成する際の信号処理における計算処理量を軽減することができる。より具体的には、第１レンズ部１０２と第２レンズ部１０３との位置関係が上記のような関係にある場合には、立体映像の左右の映像面における同一被写体の位置が、エピポーラ拘束（Ｅｐｉｐｏｌａｒ Ｃｏｎｓｔｒａｉｎｔ）条件を満たす。このため、後述する立体映像等を生成するための信号処理において、一方の映像面上での被写体の位置が確定すると、他方の映像面上での被写体の位置も比較的容易に算出することが可能となる。

図１（ｂ）に例示される映像撮影装置１０１では、第１レンズ部１０２は従来通り映像撮影装置１０１の本体前部に設けられ、第２レンズ部１０３は撮影映像を確認するためのモニター部１０４の背面に設けられている。モニター部１０４は、第１レンズ部１０２および第２レンズ部１０３に入射する光の入射側とは逆側（映像撮影装置１０１の後部側）に撮影した映像を表示する。図１（ｂ）に示す例では、映像撮影装置１０１は、第１レンズ部１０２を用いて撮影された映像は右眼視点の映像として、第２レンズ部１０３を用いて撮影された映像は左眼視点の映像として処理する。さらに、上記の第１レンズ部１０２と第２レンズ部１０３との理想的な位置関係を考慮する場合、第２レンズ部１０３については、モニター部１０４の背面において、第１レンズ部１０２との距離が人の左右両目の距離と同程度（４ｃｍ〜６ｃｍ）となり、第２レンズ部１０３と第１レンズ部１０２とが略撮像面に平行な同一平面上に位置するように設けるとよい。

図２は、図１（ｂ）で示した映像撮影装置１０１内部のハードウェア構成の概略を示した図である。映像撮影装置１０１のハードウェア構成は、第１撮影ユニット（メイン撮影ユニット）２５０、第２撮影ユニット（サブ撮影ユニット）２５１、ＣＰＵ２０８、ＲＡＭ２０９、ＲＯＭ２１０、加速度センサ２１１、ディスプレイ２１２、エンコーダー２１３、記憶装置２１４、入力装置２１５を有する。メイン撮影ユニット２５０は、第１レンズ群２００、ＣＣＤ２０１、Ａ／Ｄ変換ＩＣ２０２、アクチュエーター２０３を含む。サブ撮影ユニット２５１は、第２レンズ群２０４、ＣＣＤ２０５、Ａ／Ｄ変換ＩＣ２０６、アクチュエーター２０７を含む。第１レンズ群２００は、図１における第１レンズ部１０２に含まれる複数のレンズから構成される光学系である。第２レンズ群２０４は、図１（ｂ）における第２レンズ部１０３に含まれる複数のレンズから構成される光学系である。

第１レンズ群２００は、被写体から入射する光を複数のレンズにより光学的に調整する。具体的には、第１レンズ群２００は、撮影する被写体を大きく撮影又は小さく撮影するためのズーム機能や、撮像面上での被写体の輪郭等の鮮明度を調整する焦点（フォーカス）機能を有する。

ＣＣＤ２０１は、第１レンズ群２００により被写体から入射した光を電気信号に変換する撮像素子（イメージセンサ）である。本実施の形態では、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）を用いた例を説明するがこれに限定するものではない。他のセンサ、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の他の方式で入射光を電気信号に変換するものを用いても良い。

Ａ／Ｄ変換ＩＣ２０２は、ＣＣＤ２０１で生成されたアナログ電気信号をデジタル電気信号に変換する。

アクチュエーター２０３は、モータを有し、後述するＣＰＵ２０８からの制御により、第１レンズ群２００に含まれる複数のレンズ間の距離の調整や、ズームレンズの位置の調整等を行う。

サブ撮影ユニット２５１の第２レンズ群２０４、ＣＣＤ２０５、Ａ／Ｄ変換ＩＣ２０６、アクチュエーター２０７は、それぞれメイン撮影ユニット２５０の第１レンズ群２００、ＣＣＤ２０１、Ａ／Ｄ変換ＩＣ２０２、アクチュエーター２０３に対応している。以下、メイン撮影ユニット２５０と同一の部分については説明を省略し、異なる部分のみを説明する。

第２レンズ群２０４は、第１レンズ群２００よりも体積的な大きさが小型のレンズ群から構成される。具体的には、第２レンズ群の対物レンズの口径は、第１レンズ群の対物レンズの口径よりも小さい。これは、サブ撮影ユニット２５１をメイン撮影ユニット２５０よりも小型化することで、映像撮影装置１０１全体も小型化するためである。本実施形態では、第２レンズ群２０４を小型化するため、第２レンズ群２０４にはズーム機能を持たせない。つまり第２レンズ群２０４は、単焦点レンズである。

ＣＣＤ２０５は、ＣＣＤ２０１と同等、又はより大きい解像度（水平方向、垂直方向の画素数がより大きい）をもつ。サブ撮影ユニット２５１のＣＣＤ２０５が、メイン撮影ユニット２５０のＣＣＤ２０１と同等、又はより大きい解像度を持つ理由は、サブ撮影ユニット２５１で撮影した映像を後述する信号処理によって電子ズーム（画角合わせ）等を行う際に画質の低下を抑制するためである。

アクチュエーター２０７は、モータを有し、後述するＣＰＵ２０８からの制御により、第２レンズ群２００に含まれる複数のレンズ間の距離の調整を行う。第２レンズ群２０４はズーム機能を持たないため、アクチュエーター２０７は、焦点調整のためのレンズ調整を行う。

ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０８は、映像撮影装置１０１全体を制御する。ＣＰＵ２０８は、メイン撮影ユニット２５０およびサブ撮影ユニット２５１で撮影された映像に基づいて、両映像から立体映像を生成する処理を行う。なお、ＣＰＵ２０８の代わりに、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）を用いて同様の処理を実現してもよい。

ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０９は、ＣＰＵ２０８を動作させるプログラム実行時の各種変数等をＣＰＵ２０８の指示により一時的に記憶する。

ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２１０は、ＣＰＵ２０８を動作させるプログラムデータ、制御パラメータ等のデータを記録する。

加速度センサ２１１は、映像撮影装置１０１の撮影状態（姿勢や向き等）を検出する。本実施の形態では、加速度センサ２１１を用いるものとして説明しているがこれに限定するものではない。その他のセンサとして、３軸方向のジャイロスコープを用いても良い。つまり、映像撮影装置１０１の撮影状態を検出するセンサであればいずれを採用してもよい。

ディスプレイ２１２は、映像撮影装置１０１が撮影し、ＣＰＵ２０８等で処理された立体映像を表示する。なお、ディスプレイ２１２は、入力機能としてのタッチパネルを備えていても良い。

エンコーダー２１３は、ＣＰＵ２０８が生成した立体映像の情報、又は、立体映像等を表示するために必要な情報等のデータを、所定の方式に従って符号化（エンコード）する。

記憶装置２１４は、エンコーダー２１３で符号化されたデータを記録、保持する。記憶装置２１４は、磁気記録ディスクや、光記録ディスク、半導体メモリ等、データを記録できる記録媒体であればいずれの方式で実現されていても良い。

入力装置２１５は、ユーザ等の、映像撮影装置１０１外部からの指示を受け付ける入力装置である。

次に、映像撮影装置１０１の機能構成を説明する。以下の説明では、映像撮影装置１０１における上記の各構成要素をそれに対応する機能部で表す。

図３は、映像撮影装置１０１の機能構成図である。映像撮影装置１０１は、第１撮影部（メイン撮影部）３５０と、第２撮影部（サブ撮影部）３５１と、画像信号処理部３０８、水平方向検出部３１８、表示部３１４、映像圧縮部３１５、蓄積部３１６、入力部３１７を有する。メイン撮影部３５０は、第１光学部３００、撮像部３０１、Ａ／Ｄ変換部３０２、光学制御部３０３を有する。サブ撮影部３５１は、第２光学部３０４、撮像部３０５、Ａ／Ｄ変換部３０６、光学制御部３０７を有する。

メイン撮影部３５０は、図２におけるメイン撮影ユニット２５０に対応する。第１光学部３００は、図２における第１レンズ群２００に対応し、被写体から入射する光を調整する。第１光学部３００は、第１光学部３００から撮像部３０１への入射光量を制御する光学式絞り手段を有している。

撮像部３０１は、図２におけるＣＣＤ２０１に対応し、第１光学部３００から入射した光を電気信号に変換する。

Ａ／Ｄ変換部３０２は、図２におけるＡ／Ｄ変換ＩＣ２０２に対応し、撮像部３０１が出力したアナログ電気信号をデジタル信号に変換する。

光学制御部３０３は、図２におけるアクチュエーター２０３に対応し、後述する画像信号処理部３０８からの制御により第１光学部３００を制御する。

サブ撮影部３５１は、図２におけるサブ撮影ユニット２５１に対応する。サブ撮影部３５１における第２光学部３０４、撮像部３０５、Ａ／Ｄ変換部３０６、光学制御部３０７は、それぞれ第１光学部３００、撮像部３０１、Ａ／Ｄ変換部３０２、光学制御部３０３に対応する。それらの機能は、メイン撮影部３５０における対応する機能部と同様であるため、ここでは説明を省略する。なお、第２光学部３０４、撮像部３０５、Ａ／Ｄ変換部３０６、光学制御部３０７は、それぞれ、図２における第２レンズ群２０４、ＣＣＤ２０５、Ａ／Ｄ変換ＩＣ２０６、アクチュエーター２０７に対応する。

画像信号処理部３０８は、図２におけるＣＰＵ２０８に対応し、メイン撮影部３５０、サブ撮影部３５１からの映像信号を入力として受け取り、立体映像信号を生成し、出力する。画像信号処理部３０８が立体映像信号を生成する具体的方法については、後述する。

水平方向検出部３１８は、図２における加速度センサ２１１に対応し、映像撮影時の水平方向を検出する。

表示部３１４は、図２におけるディスプレイ２１２の映像表示機能に対応し、画像信号処理部３０８により生成された立体映像信号を表示する。表示部３１４は、入力された立体映像に含まれる左右の映像を、時間軸上で交互に表示する。視聴者は、表示部３１４の表示と同期して、視聴者の左眼に入射する光と右眼に入射する光とを交互に遮光する映像視聴用眼鏡（アクティブシャッター眼鏡）等を利用することで、左眼用映像を左眼のみで視聴し、右眼用映像を右眼のみで視聴する。

映像圧縮部３１５は、図２におけるエンコーダー２１３に対応し、画像信号処理部３０８で生成された立体像信号を所定の方式に従って符号化する。

蓄積部３１６は、図２における記憶装置２１４に対応し、映像圧縮部３１５で符号化された立体映像信号を記録保持する。なお、蓄積部３１６は、上記の立体映像信号に限らず、他の形式で構成される立体映像信号を記録するものであってもよい。

入力部３１７は、図２における入力装置２１５やディスプレイ２１２のタッチパネル機能に対応し、映像撮影装置外部からの入力を受け付ける。

＜立体映像信号の生成処理について＞
次に、画像信号処理部３０８が行う立体映像信号の生成処理を説明する。なお、以下の説明では、画像信号処理部３０８での処理は、ＣＰＵ２０８を用いたソフトウェアによって実現されるものとするが、本実施の形態はこれに限定するものではない。例えばＦＰＧＡやその他の集積回路等によるハードウェア構成によって同様の処理内容を実現するものであってもよい。

画像信号処理部３０８は、図３に示すように、画角合わせ部３０９、画素数合わせ部３１０、差異計算部３１１、画像生成部３１２、撮影制御部３１３を有する。

画角合わせ部３０９は、メイン撮影部３５０およびサブ撮影部３５１の両方から入力された映像信号の画角を合わせる。「画角（Ａｎｇｌｅ ｏｆ ｖｉｅｗ）」とは、メイン撮影部３５０およびサブ撮影部３５１によってそれぞれ撮影された映像の撮影範囲（通常、角度で表現される）を意味する。

図４は、メイン撮影部３５０およびサブ撮影部３５１から入力されたある時点での映像信号に基づいて生成された２つの画像を並べたものである。メイン撮影部３５０からの映像（右側映像Ｒ）とサブ撮影部３５１からの映像（左側映像Ｌ）とでは映像の倍率が異なっている。これは、第１光学部３００（第１レンズ群２００）は光学ズーム機能を搭載しているが、第２光学部３０４（第２レンズ群２０４）は光学ズーム機能を搭載していないためである。メイン撮影部３５０とサブ撮影部３５１とで、同じ被写体を撮影したとしても、第１光学部３００のズーム倍率と第２光学部３０４のズーム倍率との差異や、相互の位置関係により、実際に撮影される「画角」（映像の撮影範囲）は異なる。画角合わせ部３０９は、これらそれぞれによって撮影された異なる画角の映像を合わせる処理を行う。なお、本実施の形態では、サブ撮影部３５１の第２光学部３０４が光学ズーム機能を搭載しないため、第２光学部３０４（第２レンズ群２０４）を小型化することが可能となる。

画角合わせ部３０９は、サブ撮影部３５１によって撮影された左側映像から、メイン撮影部３５０によって撮影された右側映像に該当する部分を抽出する。画像信号処理部３０８は、撮影された映像を処理するとともに、光学制御部３０３を介して撮影中の第１光学部３００の状態を取得することができる。例えば、画像信号処理部３０８は、ズーム制御を行う場合は、撮影制御部３１３によって光学制御部３０３を介して第１光学部３００のズーム機能を制御する。そのため、画像信号処理部３０８は、メイン撮影部３５０で撮影された映像のズーム倍率を付帯情報として取得することができる。反対に、第２光学部３０４はズーム機能を有しないため、その倍率が予めわかっている。画角合わせ部３０９は、これらの情報に基づいて、メイン撮影部３５０およびサブ撮影部３５１間の倍率の違いを算出し、その倍率の違いにより、左側映像の中で右側映像に該当する部分を特定することが可能となる。なお、この処理の際、該当する部分に比べ、例えば１０％程度大きい範囲をまず切り出し、切り出した範囲内で公知のパターンマッチング等を行えば、簡単な処理で実現できる。左側映像の中で右側映像に該当する部分を特定する方法としては、公知のどのような方法を用いてもよい。

図４では、左側映像の点線部分が右側映像に相当する部分であることを示している。左側映像は、ズーム機能のない単焦点レンズを有する第２光学部３０４によって取得された映像であるため、ズームレンズがズーミングした状態で撮影された右側映像よりも広範な範囲（広角）に及んでいる。画角合わせ部３０９は、右側映像と、左側映像の点線部分とにより、両者の画角を合わせた映像を生成する。

画素数合わせ部３１０は、画角合わせ部３０９によって画角が合わせられた左右両映像の画素数を合わせる。メイン撮影部３５０とサブ撮影部３５１とでそれぞれ用いられている撮像部３０１と撮像部３０５とでは、その画素数が異なっている。また、メイン撮影部３５０がズーム撮影した場合、画角合わせ部３０９により画角合わせされた、サブ撮影部３５１による映像（サブ映像）から抽出された部分が持つ画素数は、ズーム倍率により増減する。そのため、画角合わせ部３０９によって画角が合わせられた左右の映像は、この時点ではまだ画素数が異なり、両者を比較するには扱いにくい状態である。そこで、画素数合わせ部３１０は、画角合わせ部３０９により抽出された映像の画素数を合わせる作業を行う。なお、画素数合わせ部３１０は、画角が合わせられた左右の両映像の輝度信号レベルや色信号レベルの違いが大きい場合には、これら左右両映像の輝度信号レベルや色信号レベルを合わせる処理を同時に行ってもよい。

また、画素数合わせ部３１０は、撮像部３０１（ＣＣＤ２０１）、および撮像部３０５（ＣＣＤ２０５）の画素数が多い場合には、画素数を縮小する処理を行う。例えば、メイン撮影部３５０で撮影された映像が、高精細度テレビ方式対応に対応した１９２０×１０８０の情報量を持つ場合、取り扱う情報量が大きくなる。情報量が多いと、要求される映像撮影装置１０１全体の処理能力が高くなり、撮影した映像の処理に要する時間が長くなる等、データ処理が困難となりやすくなる。そこで、画素数合わせ部３１０は、画素数を合わせると同時に、必要に応じて、画素数を減数させる処理を行う。

画素数合わせ部３１０は、例えば、１９２０×１０８０の、メイン撮影部３５０が撮影した映像を、２８８×１６２のサイズに縮小する。これは、縦、横方向にそれぞれ３／２０倍にしたものである。

なお、画素数合わせ部３１０による映像の縮小、又は拡大方法は、ここに示した方法に限定されない。これらの方法は、既知のいずれの方法であってもよい。

サブ撮影部３５１の撮像部３０５が、メイン撮影部３５０の撮像部３０１よりも多くの画素数をもつ場合、例えば、図４に示すように３８４０×２１６０の解像度を有していて、画角合わせ部３０９により、左側映像から抽出された映像の大きさが１２８０×７２０である場合を考える。この場合、画素数合わせ部３１０は、抽出された１２８０×７２０の映像を縦、横にそれぞれ９／４０倍にする。これにより、左側映像についても、２８８×１６２の映像となる。

図５は、画角合わせ部３０９と画素数合わせ部３１０とによる映像データの処理結果の変化を示す図である。なお、図５には、後述する差異計算部３１１および画像生成部３１２による処理結果も併せて示されている。上記のように、画角合わせ部３０９は、右側映像（Ｒ）および左側映像（Ｌ）の画角を合わせると、左側映像から右側映像に該当する部分を抽出する（１２８０×７２０の映像）。画素数合わせ部３１０は、画角が合わせられた左右の映像の画素数を合わせるとともに、以降の処理に適した大きさに両映像を縮小する（２８８×１６２の映像Ｒｓ、Ｌｓ）。

差異計算部３１１は、画角合わせ部３０９および画素数合わせ部３１０によって、画角合わせおよび画素数合わせ処理が行われた左右両映像の視差を検出および算出する。メイン撮影部３５０によって撮影された映像とサブ撮影部３５１によって撮影された映像とは、同じ被写体を撮影したとしても、視差の分だけ異なる映像となる。例えば、図６に示す２つの映像が撮影された場合、被写体として写っている建物６００の位置が、左眼用映像Ｌと右眼用映像Ｒとで異なっている。メイン撮影部３５０により撮影された右眼用映像Ｒは、サブ撮影部３５１によって撮影された左眼用映像Ｌよりも、右側から撮影された映像である。そのため、右眼用映像Ｒでは、建物６００が、左眼用映像Ｌにおける位置よりも左側に配置されている。反対に、左眼用映像Ｌでは、建物６００が、右眼用映像Ｒにおける位置よりも右側に配置されている。差異計算部３１１は、これらの異なる映像に基づいて、映し出されている被写体の視差を算出する。

図７は、差異計算部３１１によって実行される処理の流れを示すフローチャートである。差異計算部３１１は、図７のフローチャートにしたがって左右両映像間の視差を算出する。以下、図７に示す各ステップを説明する。

ステップＳ７０１：差異計算部３１１は、入力された左右映像から輝度信号（Ｙ信号）のみを抽出した映像を作成する。これは、視差を検出する場合、ＲＧＢ等の３色すべてについて処理を行うよりも、ＹＣｂＣｒ（輝度・色差）のうちのＹ信号（輝度信号）のみで行ったほうが効率的に行うことができ、さらに処理負荷も軽くできるからである。なお、本実施形態では映像を輝度信号Ｙおよび色差信号ＣｂＣｒで表すが、ＲＧＢ等の３色で映像を表現し、処理してもよい。

ステップＳ７０２：差異計算部３１１は、ステップＳ７０１で生成した左右両映像の輝度信号により左右の映像間での差分（Δ（Ｌｓ／Ｒｓ））を算出する。この際、差異計算部３１１は、それぞれの映像内における同じ位置の画素を比較して差分を求める。例えば、左側映像におけるある画素の輝度信号の値（画素値）Ｌｓが１０３、右側映像における対応画素の輝度信号の値Ｒｓが１０１である場合、その画素における差分値Δ（Ｌｓ／Ｒｓ）は２となる。

ステップＳ７０３：ステップＳ７０２で算出した画素間の差分値に基づいて、差異計算部３１１は、画素単位で以下の処理の内容を変える。差分値が０の場合（左右の映像間で画素値がまったく同じ場合）は、ステップＳ７０４の処理を行う。反対に差分値が０以外の場合（左右の映像間で画素値が異なる場合）には、ステップＳ７０５の処理を行う。

ステップＳ７０４：ステップＳ７０３の処理で左右の画素値がまったく同じ場合、差異計算部３１１は、当該画素における視差量を０に設定する。なお、ここでは説明のために左右の画素がまったく同じ場合を視差量０として判断しているが、実際の製品における算出ではこの例に限定されない。左右の画素値がまったく同じでなくとも、当該画素の周囲に位置する画素の値が左右の映像間でまったく同じであり、当該画素の値の差異が小さい場合は、当該画素も左右の映像間で同じであると判断してもよい。つまり、視差量を決定する際に、注目している画素の左右の映像間での差異のみならず、周囲の画素の左右の映像間での差異も考慮して、視差量を決定してもよい。これにより、その画素の近傍にあるエッジやテクスチャなどにより生じる計算誤差の影響を取り除くことができる。また、着目している画素または周囲の画素の画素値がまったく同じでなくとも、着目している画素間の差分が予め設定された閾値に満たない場合は視差量を０と判断してもよい。

ステップＳ７０５：差異計算部３１１は、２つの画像間で差異を検出すると、メイン撮影部３５０による映像（この実施の形態の場合は、右眼用映像）を基準映像として、基準映像の画素が、サブ撮影部３５１による映像（この実施の形態の場合は、左眼用映像）のどの画素と対応するかを検出（探索）する。対応画素の探索は、例えば、左眼用映像における着目する画素を起点として、横方向および縦方向に１画素ずつずらしながら差分を求め、差分が最小になる画素を特定することによって行われ得る。また、あるラインとその近傍ラインとでは、輝度信号のパターンが類似することから、それらのパターンの情報を利用して最も確からしい対応画素を探索してもよい。映像内に無限遠点が存在する場合、そこでは視差が生じないため、無限遠点を基準に対応画素の探索を行うことができる。更に、輝度信号だけでなく、色信号のパターンの類似性を考慮してもよい。映像上のどの部分が無限遠点かは、例えば自動焦点の動作を考慮して判断することが可能である。なお、撮影が、映像撮影装置１０１が完全に水平な状態で行なわれていれば、視差は水平方向にしか発生しないため、右眼用映像と左眼用映像との画素単位の検出は、当該映像の横方向のみで探索すればよいといえる。平行法による撮影の場合、無限遠の物体の視差がゼロとなり、無限遠より近い物体の視差は、水平方向の一方向にしか発生しないため、横方向の探索は一方向のみでもよい。

ステップＳ７０６：差異計算部３１１は、左眼用映像において探索された対応画素と基準映像の画素との映像面上での画素間距離を算出する。画素間距離は、それぞれの画素位置に基づいて算出され、例えば画素数で表される。この算出結果に基づいて、視差量が決定される。画素間距離が大きければ大きいほど視差量が大きいと考えることができる。反対に画素間距離が小さければ小さいほど視差量が小さいと考えることができる。

なお、メイン撮影部３５０による映像とサブ撮影部３５１による映像とで、撮影された被写体は、映像撮影装置１０１から被写体までの距離（撮影距離）が短いほど、映像面上では視差量が大きくなる傾向がある。反対に、映像撮影装置１０１と被写体までの距離が長いほど、映像面上での視差量が小さくなる傾向がある。この傾向についてより詳細に説明する。メイン撮影部３５０とサブ撮影部３５１とが交差法による撮影方法で撮影するように構成されている場合、両者の光軸は一点で交わる。両者の光軸が交わる位置をクロスポイントと呼ぶ。クロスポイントを基準として、被写体がクロスポイントよりも手前（映像撮影装置１０１側）にある場合、被写体が映像撮影装置１０１に近いほど視差量が大きくなる。逆に、被写体がクロスポイントよりも奥（映像撮影装置１０１とは反対側）にある場合、被写体が奥（遠方）にあるほど視差量が大きくなる傾向もある。

ステップＳ７０７：差異計算部３１１は、すべての画素について視差量を決定した場合は、以降のステップＳ７０８へ処理を移す。まだ視差量が決定されていない画素がある場合は、まだ視差量が決定されていない画素についてステップＳ７０３に戻り上記の処理を繰り返す。

ステップＳ７０８：すべての画素について視差量を決定すると、映像面全体について視差量が決定されたことになるので、差異計算部３１１は、この映像面全体での視差量の情報をデプスマップ（ＤｅｐｔｈＭａｐ）として作成する。このデプスマップは、映像面に映っている被写体、又は、映像面の部分毎の奥行き情報を示す情報である。デプスマップにおいては、視差量が小さい部分は０に近い値を持ち、視差量が大きい部分ほど大きい値を持つ。視差量とデプスマップで示される奥行き情報との間には、１対１の関係があり、輻輳角やステレオベース距離などの幾何学的な撮影条件を与えると相互変換ができる。よって、メイン撮影部３５０による画像（主画像）と左右の視差量、または、主画像とデプスマップによって、立体映像を表現することができる。

図９は、図６に示す映像が取得された場合に生成されるデプスマップの例を示す図である。図９（ｂ）に示すように、視差のある部分が視差量に応じて値を持ち、視差のない部分は０の値となる。なお、図９（ｂ）に示す例では、わかり易さのため、実際よりも粗い精度で視差量を表現しているが、実際には画素ごとに視差量が計算され得る。

なお、視差量からデプスマップを生成する際は、第１光学部３００と第２光学部３０４とのレンズ間距離や相互の位置関係を考慮することが好ましい。第１光学部３００と第２光学部３０４とは、人の左右両眼の位置関係と同様の位置関係をもつことが好ましいが、必ずしもそれを実現できない場合がある。その場合は、差異計算部３１１はデプスマップを生成する際に、第１光学部３００と第２光学部３０４との位置関係を考慮してデプスマップを生成するとよい。例えば、第１光学部３００と第２光学部３０４とが近接して配されている場合、デプスマップを生成する際に、算出された個々の視差量の値を大きくするように変換してもよい。第１光学部３００と第２光学部３０４とが近接して設けられていると、撮影される映像間の視差の変化が小さくなるため、そのまま立体映像にしても自然な映像とならない場合がある。そこで、差異計算部３１１は、デプスマップを生成する際に第１光学部３００と第２光学部３０４との位置関係を考慮してデプスマップを生成してもよい。

画像生成部３１２は、差異計算部３１１によって算出されたデプスマップ（画素ごとの視差量）に基づいて、メイン撮影部３５０で撮影された映像から、立体映像の対となる映像を生成する。本実施の形態では、図１０に示すように、画像生成部３１２は、右眼用映像Ｒとデプスマップとに基づいて、左眼用映像Ｌ´を生成する。この場合、画像生成部３１２は、まずメイン撮影部３５０が出力した１９２０×１０８０の右眼用映像Ｒにおいて、デプスマップを参照して映像面上で視差が発生している部分を特定する。次に、当該部分の位置を補正する等の処理を行うことにより、左眼用映像として適当な視差を持つ映像を生成する。つまり、左眼用映像として適切な映像になるように、右眼用映像Ｒにおける当該部分をデプスマップによって示される視差量に応じて右側に移動させる等の処理を施し、その結果生成された映像を左眼用映像Ｌ´として出力する。視差を有する部分を右側に移動させるのは、左眼用映像における視差を有する部分は、右眼用映像における対応する部分よりも右側に位置するためである。

画像生成部３１２は、図５に示すように、生成した左眼用映像Ｌ´と、画像信号処理部３０８に入力された右眼用映像Ｒとを立体映像信号として出力する。これにより、画像信号処理部３０８は、メイン撮影部３５０、およびサブ撮影部３５１により撮影された映像信号に基づいて立体映像信号を出力することが可能となる。

以上の処理により、映像撮影装置１０１は、メイン撮影部３５０とサブ撮影部３５１とが異なる構成であっても、信号処理により、一方の撮影映像から立体映像の対となる他方の映像を生成することが可能となる。

次に、画角合わせ部３０９、画素数合わせ部３１０、差異計算部３１１、画像生成部３１２を含む映像撮影装置１０１全体の処理の流れを図８に示すフローチャートを参照しながら説明する。

ステップＳ８０１：画像信号処理部３０８は、入力部３１７から撮影モードの入力を受けつける。撮影モードは、例えば立体映像（３Ｄ）撮影モードおよび非立体映像（２Ｄ）撮影モードの中からユーザによって選択される。

ステップＳ８０２：画像信号処理部３０８は、入力された撮影モードが、立体映像撮影モードか、非立体映像撮影モードかを判別する。

ステップＳ８０３：画像信号処理部３０８は、入力された撮影モードが非立体映像撮影モードの場合は、メイン撮影部３５０で撮影される映像を従来どおりの方式で撮影、記録する。

ステップＳ８０４：画像信号処理部３０８は、入力された撮影モードが立体映像撮影モードの場合は、メイン撮影部３５０およびサブ撮影部３５１によってそれぞれメイン映像およびサブ映像を撮影する。

ステップＳ８０５：画角合わせ部３０９は、上述した方法により、入力されたメイン映像およびサブ映像の画角合わせ処理を行う。

ステップＳ８０６：画素数合わせ部３１０は、上述した方法により、画角合わせされたメイン映像およびサブ映像について画素数合わせ処理を行う。

ステップＳ８０７：差異計算部３１１は、画素数合わせ処理が行われたメイン映像およびサブ映像について、視差量の検出を行う。視差量の検出は、図７を参照しながら説明した上記の処理によって行われる。

ステップＳ８０８：画像生成部３１２は、上述した方法により、メイン映像と、算出された視差量とから、メイン映像に対して立体映像の対となるサブ映像を生成する。

ステップＳ８０９：映像撮影装置１０１は、生成された立体映像を表示部３１４に表示する。なお、ここでは生成された映像を表示する場合の例を示したが、表示ではなく記録する処理を行ってもよい。

ステップＳ８１０：映像撮影装置１０１は、引き続き映像の撮影が続けられるか否かを判断する。撮影が続けられる場合は、ステップＳ８０４に戻って処理を繰り返す。撮影が続けられない場合は、映像撮影装置１０１は撮影を終了する。

なお、撮影した映像から立体映像用の映像を生成する方法は、上記の方法に限定されるものではない。別の方法としては、輪郭マッチングを用いた方法がある。この方法は、左右どちらかの粗い画像チャンネルの輪郭に、他方の高精細画像の輪郭をマッチングさせることにより、テクスチャーを埋め、高精細な画像を生成する方法である。ＣＧの分野で導入されているように、頂点、稜線、面の接続情報（位相情報）を持ったポリゴンなどによって表現された３Ｄモデル（３Ｄオブジェクト）の表面にテクスチャーをマッピングする（壁紙のように貼り付ける）ことにより、高精細な画像を生成することができる。この際、オクルージョン部（隠れ部）のテクスチャーは、その周囲の既知のテクスチャーから推定して埋めることができる。なお、オクル―ジョン部とは、一方の映像には映っているが、他方の映像には映っていない部分（情報欠落領域）を指す。オクルージョン部で無い部分を引き伸ばすことにより、オクルージョン部をオクルージョン部で無い部分で隠すこともできる。

オクル―ジョン部でない部分を引き延ばす方法として、例えば、公知のガウシアンフィルタ等の平滑化フィルタを用いる方法がある。比較的低い解像度のデプスマップに、予め定められた減衰特性をもつ平滑化フィルタを通して得られる新たなデプスマップを用いてオクル―ジョン部をもつ映像を補正することができる。このような方法により、オクル―ジョン部においても自然な立体映像を生成することが可能となる。

さらに別の方法として、２Ｄ−３Ｄ変換を用いる方法がある。例えば、高精細な左側画像（Ｌ−ｃｈ画像）に対して２Ｄ−３Ｄ変換を施して生成される高精細な右側画像（Ｒ−ｃｈ画像、推定画像）と、実際に撮影された右側画像（Ｒ−ｃｈ画像）とを比較して、輪郭エラーのない高精細な画像を生成することができる。

また、別の方法として、以下の方法を用いてもよい。まず、差異計算部３１１は、高精細なＬ−ｃｈ画像（例えば、水平１９２０画素、垂直１０８０画素）の構図、輪郭、色、テクスチャ、シャープネス、空間周波数分布などの画像特徴より、奥行き情報（デプス情報１）を推定、生成する。ここで、デプス情報１の解像度は、Ｌ−ｃｈ画像の解像度と同等もしくはそれ以下に設定することができる。デプス情報１は、例えば水平２８８画素、垂直１６２画素に設定され得る。次に、差異計算部３１１は、２つのレンズ系より実際に取得されたＬ−ｃｈ画像およびＲ−ｃｈ画像（例えば、水平２８８画素、垂直１６２画素）より奥行き情報（デプス情報２）を生成する。ここで、デプス情報２の解像度はＲ−ｃｈの解像度と同等もしくはそれ以下に設定することができる。デプス情報２は、例えば水平２８８画素、垂直１６２画素に設定され得る。

なお、デプス情報２は実際に撮影した画像から計算しているので、画像特徴より推定して生成したデプス情報１よりも正確である。よって、デプス情報２の奥行き情報を参照して、デプス情報１に推定されるエラーの補正をすることができる。つまり、この場合、画像解析による２Ｄ−３Ｄ変換によって生成された奥行き情報（デプス情報１）の精度を上げるための拘束条件として、デプス情報２を利用することと等価である。

以上の動作は、Ｌ−ｃｈで光学ズームを用いている場合も有効動作する。Ｌ−ｃｈで光学ズームが用いられる時には、高精細なＬ−ｃｈの画像情報を規準画像として、サブ画像としてのＲ−ｃｈの画像情報を参照する方が、画像歪の発生に対して耐性がある。その理由は、第１に、微妙なズーム倍率の変化によるＬ−ｃｈ画像とＲ−ｃｈ画像とのステレオマッチング処理が簡単となるからである。第２に、Ｌ−ｃｈの光学ズーム倍率が連続的に変化する場合に、デプス情報計算のために、Ｒ−ｃｈの電子ズーム倍率を追随させると、計算時間がかかるため、ステレオマッチング処理で画像歪（エラー）が発生する傾向にあるからである。

なお、人の場合、両目から入力したステレオ映像から細やかな立体形状、立体表現を作り上げるのは脳であると言われている。このため、２Ｄ−３Ｄ変換として、例えば、映像全体に眼球の持つ球面的な視差を付けて奥行き感を表現したり、撮影時のズーム量や焦点距離を示す情報を参照することにより、被写体のボケ量から被写体の奥行き情報を推定することもできる。

さらに別の方法として、Ｌ−ｃｈ画像に対して、２つのレンズ系より実測した奥行き情報（デプス情報）を用いた幾何学的な計算を施すことにより、視差情報に変換してもよい。この視差情報を用いて、幾何学的な計算により、Ｌ−ｃｈ画像からＲ−ｃｈ画像を計算することができる。

また、別の方法として、超解像法がある。この方法では、粗いＲ−ｃｈから超解像により、高精細なＲ−ｃｈを生成する際に、高精細なＬ−ｃｈが参照される。例えば、ガウシアンフィルタ等によって平滑化されたデプスマップを、撮像系の幾何学的な位置関係に基づいて視差情報に変換し、その視差情報を用いて高精細なＬ−ｃｈ画像から高精細なＲ−ｃｈ画像を計算することができる。

＜視差情報を利用した映像撮影について＞
次に、画像信号処理部３０８における撮影制御部３１３（図３）の動作を説明する。撮影制御部３１３は、差異計算部３１１によって算出された視差情報に基づいて、メイン撮影部３５０やサブ撮影部３５１の撮影条件を制御する。

本実施の形態の映像撮影装置１０１によって生成される立体映像を構成する左右の映像は、メイン撮影部３５０によって撮影された映像に基づいて生成され、利用される。サブ撮影部３５１によって撮影された映像は、メイン撮影部３５０によって撮影された映像に対する視差情報を検出するために利用される。そのため、サブ撮影部３５１は、メイン撮影部３５０と連携して、視差情報を取得しやすい映像を撮影することが好ましい。

そこで、撮影制御部３１３は、差異計算部３１１によって算出された視差情報に基づいてメイン撮影部３５０およびサブ撮影部３５１の制御を行う。例えば、露出、ホワイトバランス、オートフォーカス等の制御が行われる。

差異計算部３１１がメイン撮影部３５０による映像とサブ撮影部３５１による映像とから視差を適切に検出できない場合、それは、メイン撮影部３５０とサブ撮影部３５１との間で撮影条件が異なっていることが原因の一つと考えられる。そこで、撮影制御部３１３は、差異計算部３１１の視差検出結果に基づいて、光学制御部３０３および／または光学制御部３０７を制御することで、メイン撮影部３５０および／またはサブ撮影部３５１の撮影条件を変化させる。

例えば、メイン撮影部３５０が適正露出で撮影する一方、サブ撮影部３５１が露出を過度に大きくして撮影すると、サブ撮影部３５１による映像は全体的に白色に近い映像（撮影された撮像データの画素の値が上限値に近い値）となり、被写体の輪郭を識別できない場合がある。このような映像に基づいて差異計算部３１１が処理を行うと、サブ撮影部３５１の映像からは被写体の輪郭を抽出できない可能性がある。そこで、撮影制御部３１３は、光学制御部３０７を介してサブ撮影部３５１の露出を修正する制御を行う。露出の修正は、例えば不図示の絞りを調整することによって行われる。これにより、差異計算部３１１は、修正された、サブ撮影部３５１からの映像を利用して視差を検出することが可能となる。

また、別の制御例として、以下の方法を採用してもよい。メイン撮影部３５０の映像とサブ撮影部３５１の映像との間で、写っている被写体の焦点が異なっている場合がある。このような場合、差異計算部３１１は、両者の映像を比較することにより、被写体の輪郭の鮮明度が両者の画像間で異なっていることがわかる。撮影制御部３１３は、両者の画像における同一被写体の輪郭の鮮明度の違いを検出すると、光学制御部３０３および光学制御部３０７を介してメイン撮影部３５０およびサブ撮影部３５１の焦点を同一にするように制御する。具体的には、撮影制御部３１３は、サブ撮影部３５１の焦点をメイン撮影部３５０の焦点に合わせる制御を行う。

以上のように、撮影制御部３１３は、差異計算部３１１で算出した視差情報に基づいてメイン撮影部３５０およびサブ撮影部３５１の撮影条件を制御する。これにより、差異計算部３１１は、メイン撮影部３５０およびサブ撮影部３５１によってそれぞれ撮影された映像から、視差情報をより抽出し易くなる。

＜水平方向情報を利用した立体映像の生成について＞
次に、映像撮影装置１０１が水平面に対して傾いた状態で撮影が行われた場合における画角合わせ部３０９の処理を説明する。画角合わせ部３０９は、水平方向検出部３１８から映像撮影装置１０１の水平方向に関する情報を取得する。一般に立体映像に含まれる左右の映像は、水平方向については視差を持つが、垂直方向については視差を持たない。これは、人間の左右の眼が水平方向に所定の距離をおいて位置している一方で、垂直方向については略同一水平面上に位置しているためである。そのため、一般的に人は、網膜等の知覚細胞においても水平網膜像差による検知度が比較的高い。例えば、視角にして数秒、または、視距離１ｍにおいて約０．５ｍｍの奥行き量を検出できる。水平方向の視差については感度が高いが、垂直方向の視差については、垂直網膜像差による特定の空間知覚パターンに依存するため、概して相対的に感度が低いと考えられる。その点を考慮すると、撮影および生成される立体映像についても、視差は横方向のみに発生させ、縦方向には発生させないことが好ましいと考えられる。

しかし、映像撮影装置１０１が三脚等に固定されて撮影される場合はともかく、ユーザが映像撮影装置１０１を携帯して撮影する場合には、必ずしも撮影される映像が水平方向を保持しているとは限らない。

そこで、水平方向検出部３１８は、映像撮影時の映像撮影装置１０１の状態、特に、水平方向に対する傾きに関する情報を取得する。画角合わせ部３０９は、左右の両画像の画角を合わせる際に、この水平方向検出部３１８からの傾きに関する情報を用いて、映像の水平方向を補正する。例えば、撮影時の映像撮影装置１０１が傾いているために、撮影された映像も、図１１（ａ）に示すように傾いているとする。このような場合、画角合わせ部３０９は、メイン撮影部３５０およびサブ撮影部３５１によって撮影された映像の画角合わせを行うとともに、両映像の水平方向の補正を行う。画角合わせ部３０９は、水平方向検出部３１８から入力される傾き情報に基づいて、画角合わせを行う際の水平方向を変更して、図１１（ａ）の点線枠で示す範囲を、画角合わせの結果として出力する。図１１（ｂ）は、画角合わせ部３０９で水平方向が補正されて出力された結果を示すものである。

画角合わせ部３０９による上記水平方向の補正により、映像撮影装置１０１が傾いた状態で映像を撮影したとしても、立体映像を生成する段階で適正に水平方向が補正される。そのため、生成された立体映像についても、視差は主に横方向（水平方向）に生じ、縦方向（垂直方向）にはほとんど生じない。これにより、視聴者は、自然な立体映像を視聴することが可能となる。

上記の説明では、画角合わせ部３０９は、水平方向検出部３１８からの傾き情報に基づいて、映像撮影装置１０１の撮影状態を検知するものとしたが、本発明はこれに限定するものではない。水平方向検出部３１８を用いなくとも、画像信号処理部３０８は、他の方法によって映像の水平方向の成分や垂直方向の成分を検知してもよい。

例えば、差異計算部３１１は、メイン撮影部３５０とサブ撮影部３５１とが入力した２つの映像に基づいて、視差情報を生成する。この視差情報を用いて差異計算部３１１は水平方向を判断することも可能である。メイン撮影部３５０とサブ撮影部３５１とにより、図１２（ａ）に示す映像Ｒ、Ｌがそれぞれ撮影された場合、差異計算部３１１によって生成される視差情報は、例えば図１２（ｂ）に示すような映像で表される。図１２に示す映像は、視差情報に基づいて、視差がない部分を実線で記載し、視差のある部分を点線で記載している。これによれば、視差のある部分は撮影した映像内において合焦している部分であり、視差のない部分は、合焦している被写体よりも遠くに位置している被写体である。遠くに位置している被写体は、映像の背景等となる部分であり、これらの部分について映像を解析することで水平方向を検出することが可能である。例えば、図１２に示す例では、背景の「山」の部分を論理的に解析することにより、水平方向を判断することができる。例えば、山の形や、山を構成する木々の生育状況より垂直方向や水平方向を判定することができる。

以上の処理により、画角合わせ部３０９や差異計算部３１１は、立体映像を生成する段階で、撮影された映像の傾きを検出し、水平方向を補正した立体映像を生成することが可能となる。映像撮影装置１０１が傾いた状態で撮影した場合であっても、視聴者は水平方向が所定の範囲内で保持された立体映像を視聴することが可能となる。

＜立体映像生成要否の判断等について＞
映像撮影装置１０１は、上記の説明の通り、メイン撮影部３５０およびサブ撮影部３５１によって撮影した映像から立体映像を生成する。しかし、映像撮影装置１０１は、常に立体映像を生成する必要はない。立体映像は、左右映像の視差により被写体の前後関係を視聴者に知覚させることで、視聴される映像が立体的であると視聴者に感じさせる。そのため、表示される映像に含まれる被写体間に前後関係（視差量の大小等）が存在することが必要である。また、複数の被写体が、映像撮影装置１０１の近傍から遠方まで一様に配置されていると、よりわかりやすい立体映像が得られる。

特許文献１や特許文献２に記載のカメラは、常に立体映像を撮影するように構成されている。そのため、撮影しても立体感を得られないようなシーンについても、立体映像が生成されてしまう。そこで、本実施の形態の映像撮影装置１０１は、立体映像の撮影と従来の平面映像の撮影とを撮影条件に応じて好適に切り換えることを可能とする。

図１３は、撮影装置から被写体までの距離（被写体距離）と当該距離に配された被写体の立体として見える程度（立体特性）との関係を示したグラフである。一般に被写体距離が大きくなればなるほど、立体特性は小さくなる傾向がある。逆に、被写体距離が小さくなればなるほど、立体特性は大きくなる傾向にある。

ここで、「被写体」の定義として、一般によく用いられる以下の定義を用いる。
（ケース１）撮影装置がマニュアル・フォーカス・モードの場合は、撮影者が合焦させた撮影対象が被写体であるのが通例である。
（ケース２）また、撮影装置がオート・フォーカス・モードの場合は、撮影装置が自動的に合焦させた撮影対象が被写体となる。この場合、撮影対象の中心付近の人物、動植物、物体や、撮影範囲において自動検出された人物の顔や目立つ物体（一般に、Ｓａｌｉｅｎｔな物体とも呼ばれる）が被写体となるのが通例である。

撮影した映像が風景画のように遠景の被写体ばかりで構成される場合、被写体は遠方にのみ集中して存在する。被写体の位置が撮影装置から遠方になればなるほど立体映像における被写体の視差量は小さくなる。そのため、視聴者には当該映像が立体映像であるとわかりにくくなる場合がある。これは、ズーム倍率が大きくなって画角が小さくなった場合と同様である。

映像撮影装置１０１は、上記の特性を用いて、撮影された条件や、撮影された映像の特性等に応じて立体映像を生成する機能の有効／無効を切り換えてもよい。その具体的な実現方法について以下に記載する。

図１４は、撮影装置から被写体までの距離と、当該被写体を撮影した場合における被写体の有効画素数との関係を示す図である。メイン撮影部３５０の第１光学部３００は、ズーム機能を搭載している。図１４によれば、被写体距離がズーム範囲上限までの範囲（ズーム機能を利用して被写体までの距離に変化があっても被写体像を構成する画素数を一定にできる範囲）内にあれば、第１光学部３００は当該被写体に対してズーム機能を用いることで一定の有効画素数を維持することができる。しかし、被写体距離がズーム範囲上限以上の被写体を撮影する場合は、距離に応じて当該被写体の有効画素数が減少する。一方、サブ撮影部３５１の第２光学部３０４は単焦点機能を有している。そのため、被写体距離に応じて、当該被写体の有効画素数は減少する。

上記のような場合に、画像信号処理部３０８は、映像撮影装置１０１から被写体までの距離である被写体距離が所定の値（閾値）未満の場合（図１４のＡ領域）にのみ、画角合わせ部３０９、画素数合わせ部３１０、差異計算部３１１、画像生成部３１２の機能を有効にし、立体映像を生成する。反対に、被写体距離が所定の値（閾値）以上（図１４のＢ領域）である場合、画像信号処理部３０８は、画角合わせ部３０９、画素数合わせ部３１０、差異計算部３１１、画像生成部３１２を動作させず、メイン撮影部３５０によって撮影された映像を後段に出力する。この被写体距離は、第１光学部３００や第２光学部３０４の合焦の際の焦点距離を利用して測定することが可能である。

上記のように、映像撮影装置１０１は、撮影した被写体の条件、特に被写体までの距離に応じて立体映像を出力する処理と、立体映像を出力しない（非立体映像信号を出力する）処理とを切り換える。この結果、視聴者には、視聴しても立体映像と知覚しにくい映像については、従来の撮影映像（非立体映像）を視聴させることが可能となる。このような制御により、必要な場合だけ立体映像が生成されるため、処理量およびデータ量を低減させることができる。

また、別の切り換え方法として、映像撮影装置１０１は、差異計算部３１１によって検出された視差量の大きさに基づいて、立体映像の生成要否を判定することも可能である。画像生成部３１２は、差異計算部３１１により生成されたデプスマップから当該映像に含まれる最大の視差量を抽出する。この最大の視差量が所定の値（閾値）以上である場合、画像生成部３１２は、当該映像を、所定以上の立体感を得ることができる映像であると判定することができる。反対に、画像生成部３１２がデプスマップから抽出した最大の視差量の値が所定の値（閾値）未満の場合、画像生成部３１２は、当該立体映像を生成しても視聴者には立体感を知覚しがたい映像であると判断することができる。なお、ここでは映像面に含まれる最大の視差量を例として説明したがこれに限定するものではない。例えば、所定の値より大きい視差量を持つ画素が映像面に占める割合に基づいて判断するものであってもよい。

上記の判断方法にしたがって画像生成部３１２が立体映像を生成する場合、映像撮影装置１０１は、すでに説明した方法により、映像撮影装置１０１は立体映像を生成し、出力する。画像生成部３１２が立体映像を知覚しにくい映像であると判断した場合は、画像生成部３１２は、立体映像を生成せず、メイン撮影部３５０から入力された映像を出力する。その結果、映像撮影装置１０１は、撮影した映像のデプスマップに基づいて立体映像の生成、出力を判断することができる。

さらに、すでに述べた水平方向の条件に応じて立体映像の出力要否を判断するものであってもよい。視聴者には水平方向に視差がある映像は比較的自然に見えるが、垂直方向に視差のある映像は不自然に見える可能性がある。そこで、水平方向検出部３１８による検出結果、又は差異計算部３１１により検出された視差量を利用して、撮影される映像の水平方向を、画角合わせ部３０９、又は差異計算部３１１が判断し、立体映像の生成要否を決定してもよい。例えば、図１５Ａに示すように、水平方向の傾きが所定の範囲内の角度（図１５Ａの例ではθの範囲内の角度）であれば、画像信号処理部３０８は立体映像を生成して出力する。反対に、水平方向の傾きが図１５Ａに示す所定の範囲に含まれなければ、画像信号処理部３０８は、メイン撮影部３５０で撮影した映像を出力する。このような制御により、映像撮影装置１０１は、水平方向の傾きに応じて、立体映像の生成、出力要否を判断することが可能となる。

以上のように、映像撮影装置１０１は、幾つかの方法により、立体映像の生成、出力を、その効果（立体特性）を考慮して自動的に切り換えることが可能となる。ここで、立体特性とは、上記のズーム倍率、最大視差量、カメラの傾き等を指す。立体特性の程度が基準レベル以上であれば立体映像が出力され、基準レベルに満たなければ非立体映像が出力される。

図１５Ｂは、上記の立体映像の生成要否の判断に関する画像信号処理部３０８の処理の流れを示すフローチャートである。以下、各ステップを説明する。

ステップＳ１６０１：まず、メイン撮影部３５０およびサブ撮影部３５１の両方で映像（画像フレーム）が撮影される。

ステップＳ１６０２：撮影中の映像の立体特性が大きいか否かが判定される。判定は、例えば上記のいずれかの方法で行われる。立体特性が基準レベルに満たないと判定された場合はステップＳ１６０３に進み、基準レベル以上と判定された場合はステップＳ１６０４に進む。

ステップＳ１６０３：画像信号処理部３０８は、メイン撮影部３５０によって取得された２Ｄ映像を出力する。

ステップＳ１６０４からステップＳ１６０９までの処理は、図８におけるステップＳ８０５からステップＳ８１０までの処理とそれぞれ同じであるため、説明を省略する。

なお、本実施の形態は、光学ズーム機能を備えるメイン撮影部３５０と、電子ズーム機能を備え相対的に高解像度のサブ撮影部３５１とを備える映像撮影装置を例として説明したが、これに限定するものではない。メイン撮影部３５０と、サブ撮影部３５１とが略等価な構成を有する映像撮影装置であってもよい。また、撮影部が単一の方式による撮影を行う映像撮影装置であってもよい。つまり、撮影した映像から立体映像を生成する映像撮影装置であり、被写体までの距離や、水平方向の傾き等といった撮影条件、撮影した被写体の条件等に応じて、立体映像生成の有効／無効、又は立体映像撮影と非立体映像撮影との切り換えを行うものであればよい。そのような構成により、撮影又は生成された立体映像の立体特性の大きさに応じて自動的に映像装置はその切り換えを行うことが可能となる。

以上より、本実施の形態の映像撮影装置１０１は、撮影時の撮影条件や、撮影した映像の条件に応じて、立体映像の撮影と従来の平面映像（非立体映像）の撮影とを好適に切り換えることが可能となる。

＜立体映像の記録方式について＞
次に、図１６を参照しながら、生成した立体映像等の記録方式について記載する。画角合わせ部３０９、画素数合わせ部３１０、差異計算部３１１、画像生成部３１２で生成された立体映像の記録方式については幾つかの方式がある。

図１６（ａ）は、画像信号処理部３０８が生成した立体映像、つまりメイン撮影部３５０で撮影された映像（Ｍａｉｎ Ｖｉｄｅｏ Ｓｔｒｅａｍ）と、当該映像と対になる、画像信号処理部３０８が生成した映像（Ｓｕｂ Ｖｉｄｅｏ Ｓｔｒｅａｍ）とを記録する方式である。この方式では、右側映像と左側映像とが、それぞれ独立のデータとして画像信号処理部３０８から出力される。映像圧縮部３１５は、これらの左右の映像データをそれぞれ独立に符号化する。映像圧縮部３１５は、符号化した左右の映像データを多重化する。符号化、多重化されたデータは、蓄積部３１６に記録される。

蓄積部３１６が可搬型の記録装置である場合は、蓄積部３１６を別の再生装置に接続すれば、当該再生装置において再生が可能である。そのような再生装置は、蓄積部３１６に記録されたデータを読み出し、多重化されたデータを分割し、符号化データを復号する処理を行うことにより、立体映像の左右の映像データを再生することが可能となる。この方式では、再生装置側は、立体映像を再生する機能を備えていれば蓄積部３１６に記録された立体映像を再生できるため、比較的単純な構成で実現できる。

また、別の記録方式として、メイン撮影部３５０で撮影された映像（Ｍａｉｎ Ｖｉｄｅｏ Ｓｔｒｅａｍ）と差異計算部３１１で生成されたデプスマップとを記録する方式がある（図１６（ｂ））。この方式では、映像圧縮部３１５は、メイン撮影部３５０で撮影された映像を符号化し、符号化された映像データとデプスマップとを多重化する。符号化、多重化されたデータは蓄積部３１６に記録される。

この方式では、再生装置側でデプスマップとメイン側映像とに基づいて、立体映像の対となる映像を生成する必要がある。そのため、再生装置が比較的複雑な構成となる。しかし、デプスマップのデータは、圧縮符号化により、立体映像の対となる映像データよりもデータ量を小さくできるため、本方式によれば、蓄積部３１６に記録するデータ量を低減することができる。

また別の方式として、メイン撮影部３５０で撮影された映像と、差異計算部３１１で算出されたメイン側映像とサブ側映像との差分Δ（Ｌｓ／Ｒｓ）とを記録する方式がある（図１６（ｃ））。この場合、映像圧縮部３１５は、メイン撮影部３５０で撮影された映像と、差分Δ（Ｌｓ／Ｒｓ）を示す情報とを符号化する。さらに、映像圧縮部３１５は、符号化された映像と差分データとを多重化する。多重化されたデータは蓄積部３１６に記録される。なお、本明細書では、画素ごとに算出された差分Δ（Ｌｓ／Ｒｓ）の集合を「差分画像」と呼ぶことがある。

この方式では、再生装置側は、差分Δ（Ｌｓ／Ｒｓ）とメイン側映像とに基づいて、視差量（デプスマップと同義。なぜならば、視差量は幾何学的な計算によりデプスマップに変換できるため。）を算出し、さらに立体映像の対となる映像を生成する必要がある。そのため、再生装置は映像撮影装置に比較的近い構成を持つ必要がある。しかし、差分Δ（Ｌｓ／Ｒｓ）のデータを有するため、再生装置側に好適な視差量（デプスマップ）の算出が可能となる。再生装置側で好適な視差量が算出できれば、例えば、再生装置は、当該装置の表示ディスプレイ等の大きさに応じて、視差量を調整した立体映像を生成、表示することができる。立体映像は左眼用映像と右眼用映像との視差の大きさに応じて、立体感（表示面に対する前後方向の奥行き感）が異なる。そのため、同じ立体映像を大型の表示ディスプレイで視聴する場合と、小型の表示ディスプレイで視聴する場合とでは立体感が異なる。本記録方式の場合、再生装置は自身の表示ディスプレイの大きさにしたがって、生成する立体映像の視差量を調整することができる。また、左右両眼が合焦する面とディスプレイ面との角度と、表示される立体映像が持つ視差が有する角度とが、より快適に視聴できると考えられる関係を保つように、再生装置は、表示する立体映像の臨場感等を制御することが可能となる。これにより、視聴される３Ｄ映像の品質を、より高めることが可能となる。

さらに、他の方式として、図１６には表されていないが、メイン撮影部３５０で撮影された映像と、サブ撮影部３５１で撮影された映像とを記録する方式も可能である。この場合、映像圧縮部３１５は、メイン撮影部３５０で撮影された映像と、サブ撮影部３５１で撮影された映像とを符号化する。さらに、映像圧縮部３１５は、符号化された映像と差分データとを多重化する。多重化されたデータは蓄積部３１６に記録される。

この方式では、撮影装置１０１は、画角合わせ部２０１３、画素数合わせ部２０１４、差異計算部２０１５、および画像生成部２０１６を備えている必要はない。一方、再生装置は、画角合わせ部２０１３、画素数合わせ部２０１４、差異計算部２０１５、および画像生成部２０１６を備える。再生装置は、上記の画像信号処理部３０８が行う処理と同様の処理（画角合わせ、画素数合わせ、差分画像の生成、デプスマップの生成、デプスマップによるメイン画像の補正）により、立体画像を生成することが可能である。この方式は、図３に示す画像信号処理部３０８を撮影装置とは独立した画像処理装置として構成し、当該画像処理装置を再生装置に設ける方式であると言える。そのような方式であっても、上記の実施形態と同様の機能を実現することができる。

さらに、再生装置は、立体映像を視聴する視聴者によって、例えば、視聴する人が大人であるか子供であるかによって、表示する映像の視差量を調整してもよい。このような調整により、立体映像の奥行き感を視聴者に応じて変えることができる。視聴者が子供の場合には、奥行き感を小さくするほうが好ましいと考えられる。また、別の例として、部屋の明るさに応じて立体感を変えるものであってもよい。これらの調整は、図１６（ｂ）に示す方式においても同様に再生装置側で行うことが可能である。これにより、再生装置は、視聴者が大人であるか子供であるかなどの視聴条件を示す情報をテレビ（ＴＶ）やリモコンなどから受け取り、立体映像の奥行き感を好適に変更することが可能となる。なお、視聴条件としては、上記以外に部屋の明るさ、視聴者が認証登録者であるか否か等、上記以外の各種の視聴者又は視聴環境に関する条件であればいずれの情報であってもよい。

図１７（ａ）は、映像撮影装置１０１によって撮影された左右の映像からなる立体映像を示している。図１７（ｂ）は、再生装置側で生成された、立体感を弱めた立体映像を示す図である。図１７（ｂ）に示す映像は、図１７（ａ）に示す映像に比べ、被写体として写っている建築物の位置が左右の映像間で近づいている。つまり、サブ側の映像に写っている建築物の位置が、図１７（ａ）の場合と比較して左側に位置している。図１７（ｃ）は、再生装置側で立体感をより強めた立体映像を生成した場合の例を示す図である。図１７（ｃ）に示す映像は、図１７（ａ）に示す映像と比較して、被写体として写っている建築物の位置が左右の映像間で離れている。つまり、サブ側の映像に写っている建築物の位置が、図１７（ａ）の場合と比較して右側に位置している。再生装置は、このように、立体感の大きさを、各種の条件により独自に設定することができる。

なお、本実施の形態の映像撮影装置が、上で説明したように、立体映像の生成要否を各種条件により切り換える場合は、上記の記録方式のいずれかに、さらに以下の情報を追加することができる。映像撮影装置１０１は、映像を撮影した際の撮影条件や、撮影された映像の条件等によって、立体映像を生成する（立体映像を出力する）処理と、立体映像を生成しない（立体映像を出力しない）処理とを切り換える。そのため、映像撮影装置１０１は、立体映像を生成した部分と、立体映像を生成していない部分とを再生装置側で区別することができるようにするため、記録される映像とともに補助データとして、この区別するための識別情報を記録してもよい。なお、「立体映像を生成した部分」とは、映像を構成する複数のフレームのうち、立体画像として生成されたフレームの範囲、すなわち時間的な部分を意味する。補助データには、例えば、立体映像が生成されている部分の開始時刻と終了時刻とを示す時間情報、又は開始時刻と立体映像が生成されている期間とを示す時間情報等により構成され得る。時間情報以外でも、例えばフレーム番号や、映像データの先頭からのオフセット等で示されるものであってもよい。つまり、補助データには、記録される映像データ内での立体映像が生成されている部分と、生成されていない部分とが識別される情報を含んでいるものであればいずれの方式であってもよい。

映像撮影装置１０１は、例えば立体映像を生成した部分（３Ｄ映像）と、立体映像を生成していない部分（２Ｄ映像）とを識別するための上記の時間情報やその他の情報、例えば２Ｄ／３Ｄ識別フラグ等の情報を生成する。そして、当該情報を例えばＡＶデータ（ストリーム）やプレイリストに補助情報として記録する。再生装置は、補助情報に含まれる時間情報や２Ｄ／３Ｄ識別フラグ等により、２Ｄ／３Ｄ撮影区間を区別することができる。再生装置は、これを利用して自動的に２Ｄ／３Ｄを切り換えて再生することや、３Ｄ撮影された区間（部分）だけを抽出して再生するなどの様々な再生制御を行うことが可能となる。

そのような識別情報（制御情報）は、例えば「０：不要、１：要、２：撮影システムに任せる」のように、３Ｄ出力の要否を示す３値の情報であってもよいし、「０：低、１：中、２：高、３：高すぎて危険」のように、立体特性の程度を示す４値の値をとる情報であってもよい。上記の例に限らず、２値または４値よりも多くの情報によって３Ｄ表示の要否を表してもよい。

また、上記の識別情報によって立体映像の出力要否を指示するのではなく、２つの映像の状態および撮影条件の少なくとも一方の情報から立体特性が低いと判断した場合に、当該映像フレームについては視差情報の記録を行わないようにしてもよい。この場合、再生装置は、視差情報を受け取った場合のみ立体映像を表示し、視差情報を受け取らなかった場合には非立体映像を表示するように構成されていればよい。

なお、視差量を示す情報は、後述するように、例えば撮影された被写体の視差量を検出して算出したデプスマップである。このデプスマップを構成する各画素のデプス値は、例えば６ビットのビット列で表される。この実施例では、制御情報としての識別情報はデプスマップと組み合わせた統合データとして記録してもよい。また、統合データを、映像ストリームの特定の位置（例えば、付加情報エリアやユーザーエリア）に埋め込むこともできる。

また、制御情報としての識別情報とデプスマップとを組み合わせた統合データに映像ストリームのタイムコードを関連付けて、この統合データをファイル化して、専用のファイル格納領域（いわゆる、ファイルシステムにおけるディレクトリ、または、フォルダ）に記録することもできる。なお、タイムコードは、例えば、１秒に３０フレームや６０フレームの映像フレーム毎に付加される。ある特定のシーンは、そのシーンの先頭フレームのタイムコードから、そのシーンの最終フレームのタイムコードまでの一連のタイムコードにより識別される。

また、制御情報としての識別情報とデプスマップとに、それぞれ映像ストリームのタイムコードを関連付けて、それぞれのデータを専用のファイル格納領域に記録することもできる。

このように、「制御情報」と「視差量を示す情報（デプスマップ）」とを一緒に記録することによって、左右画像の視差量が適切で迫力のあるシーンや、左右画像の視差量が大きくなりすぎて安全性に課題のあるシーンをマーキングすることができる。よって、このマーキングを利用して、例えば、立体感（３Ｄ感）があって迫力のあるシーンの高速探索（呼び出し）や、ハイライト再生用のシーンへの適用が容易に実現できる。また、このマーキングを利用して、３Ｄ出力が不要なシーンや安全性に課題のあるシーンをスキップ再生したり、安全な画像に再加工（信号処理により安全な画像に変換）したりすることも可能となる。

以上、本実施の形態によれば、全ての撮影部（撮影ユニット）を略等価な構成とする必要がないため、立体映像の一方を構成する映像を撮影する撮影部と、視差量を検出するための映像を撮影する撮影部とで、異なる構成とすることができる。特に、視差量を検出するための映像を撮影する撮影部は、立体映像の一方を構成する映像を撮影する撮影部と比較して簡略な構成で実現できる可能性があるため、より簡単な構成で立体映像撮影装置を構成することができる。

なお、上記の実施の形態では、メイン撮影部３５０による映像が立体映像の右眼用映像として、画像生成部３１２により生成される映像が左眼用映像として扱われるが、本発明はこれに限定されるものではない。メイン撮影部３５０とサブ撮影部３５１との位置関係が逆、すなわち、メイン撮影部３５０による映像を左眼用映像として、画像生成部３１２により生成される映像を右眼用映像としてもよい。

また、上記の説明において、画素数合わせ部３１０が出力する映像のサイズ（２８８×１６２）は、一例であり、本発明はこのようなサイズに限定されるものではない。上記以外のサイズの映像を扱ってもよい。

また、本実施の形態では、メイン撮影部３５０のレンズとサブ撮影部３５１のレンズとが異なる構成を有しているが、これらが同じ構成であってもよい。例えば、メイン撮影部３５０、サブ撮影部３５１ともに同じ焦点距離を持った単焦点レンズであってもよいし、異なる焦点距離を持った単焦点レンズであってもよい。いずれの場合も、撮影される映像のズーム倍率は固定されているため、画角合わせ部３１０は、両撮影部で撮影された映像から画角合わせ処理を行う際の抽出部分を予め決めておくことができる。さらに、両者のレンズ特性に応じて、撮像部の解像度を設計段階から最適な解像度に決めておくことができる。

（実施の形態２）
次に、本発明の実施の形態２を説明する。本実施の形態は、サブ撮像部が２個設けられている点で、実施の形態１とは異なっている。以下、実施の形態１と異なる点を中心に説明し、重複する事項についての説明は省略する。

特許文献１や特許文献２に記載のカメラでは、主撮影部で撮影された映像を立体画像の一方（主画像）とし、この主画像から生成した画像を立体画像の他方（従画像）とする。主画像は、実際に撮影された映像であるため信頼性の高い映像であるが、従画像は、視差情報に基づいて主画像から生成されるため、主画像と比較すると信頼性の低い画像となる。このような立体画像を表示すると、左右で内容の異なる画像となる恐れがあった。本実施の形態では、複数の撮影系で撮影された映像から立体映像が左右の映像間でも内容の相違が少ない立体映像を生成することを可能とする。

＜映像撮影装置の構成＞
図１８は、本実施の形態による映像撮影装置１８００を示す外観図である。図１８の映像撮影装置１８００は、センターレンズ部１８０１と、そのまわりに設けられた、第１サブレンズ部１８０２および第２サブレンズ部１８０３とを備えている。実施の形態１で示した第２レンズ部１０３はない。

図１８に示す例では、センターレンズ群１８０１の近傍に、第１サブレンズ部１８０２と第２サブレンズ部１８０３とが設けられている。本実施の形態ではこのような構成を例として説明するが、レンズの配置はこれに限定するものではない。例えば、第１サブレンズ部１８０２と第２サブレンズ部１８０３との距離が人の左右両眼間の距離と略等価になるような位置に、これらのレンズを配置するものであってもよい。この場合は、以下に説明するように、センターレンズ部１８０１で撮影された映像から生成される立体映像の左右それぞれの映像間の視差量を人の目で対象物を見た場合の視差量に近づけることが可能となる。この場合、より好ましくは、第１サブレンズ部１８０２と第２サブレンズ部１８０３とは、それぞれのレンズの中心が略同一水平面上に位置する位置関係にあることが好ましい。

また、センターレンズ部１８０１との位置関係については、センターレンズ部１８０１は、第１サブレンズ部１８０２と第２サブレンズ部１８０３との相互から略等価な距離の位置にあることが好ましい。これは、センターレンズ部１８０１を用いて撮影した映像から立体映像を構成する左右映像を生成する際に、左右対称な映像を生成しやすいようにするためである。図１８に示す例では、センターレンズ部１８０１の鏡筒部１８０４に隣接する位置に第１サブレンズ部１８０２と第２サブレンズ部１８０３とが配置されている。この場合、センターレンズ部１８０１が、略真円の形状であれば、第１サブレンズ部１８０２と第２サブレンズ部１８０３とはセンターレンズ部１８０１に対して略左右対称の位置関係にあるといえる。

図１９は、映像撮影装置１８００のハードウェア構成の概略を示す図である。映像撮影装置１８００は、実施の形態１におけるメイン撮影ユニット２５０に代えて、センターレンズ部１８０１のレンズ群（センターレンズ群１９００）を備えるセンター撮影ユニット１９５０を有している。また、サブ撮影ユニット２５１に代えて、第１サブレンズ部１８０２のレンズ群（第１サブレンズ群１９０４）を備えるサブ１撮影ユニット１９５１と、第２サブレンズ部１８０３のレンズ群（第２サブレンズ群１９０８）を備えるサブ２撮影ユニット１９５２とを有している。センター撮影ユニット１９５０は、センターレンズ群１９００の他、ＣＣＤ１９０１、Ａ／Ｄ変換ＩＣ１９０２、およびアクチュエーター１９０３も有している。サブ１撮影ユニット１９５１は、第１サブレンズ群１９０４の他、ＣＣＤ１９０５、Ａ／Ｄ変換ＩＣ１９０６、およびアクチュエーター１９０７も有している。サブ２撮影ユニット１９５２は、第２サブレンズ群１９０８の他、ＣＣＤ１９０９、Ａ／Ｄ変換ＩＣ１９１０、およびアクチュエーター１９１１も有している。

センター撮影ユニット１９５０のセンターレンズ群１９００は、サブ１撮影ユニット１９５１の第１サブレンズ群１９０４や、サブ２撮影ユニット１９５２の第２サブレンズ群１９０８より、比較的大きいレンズ群から構成されていることが好ましい。また、センター撮影ユニット１９５０は、ズーム機能を搭載していることが好ましい。これは、センターレンズ群１９００で撮影された映像は立体映像を生成する際の基本となるため、集光能力が高く、撮影倍率を任意に変更できるほうが好ましいからである。

サブ１撮影ユニット１９５１の第１サブレンズ群１９０４、およびサブ２撮影ユニットの第２サブレンズ群１９０８は、センター撮影ユニット１９５０のセンターレンズ群１９００よりも小型のレンズであってもよい。また、サブ１撮影ユニット１９５１およびサブ２撮影ユニット１９５２は、ズーム機能を有していなくてもよい。

また、サブ１撮影ユニット１９５１のＣＣＤ１９０５およびサブ２撮影ユニット１９５２のＣＣＤ１９０９は、センター撮影ユニットのＣＣＤ１９０１よりも高解像度であることが好ましい。サブ１撮影ユニット１９５１や、サブ２撮影ユニット１９５２で撮影された映像は、後述する画角合わせ部２０１３の処理により、電子ズームによって一部が抽出される可能性がある。そのため、その際にも画像の精度を保てるようにこれらのＣＣＤは高精度であることが好ましい。

その他のハードウェア構成については、図２を参照して説明した実施の形態１における構成と同じであるため、説明を省略する。

図２０は、映像撮影装置１８００の機能構成図である。映像撮影装置１８００は、実施の形態１と比較して、メイン撮影部３５０に代えてセンター撮影部（主撮影部）２０５０を、サブ撮影部３５１に代えてサブ１撮影部（第１従撮影部）２０５１と、サブ２撮影部（第２従撮影部）２０５２とを備えている点が異なる。しかし、センター撮影部２０５０とメイン撮影部３５０とは機能的にほぼ等価であり、サブ１撮影部２０５１およびサブ２撮影部２０５２は、サブ撮影部３５１と機能的にほぼ等価である。

なお、本実施の形態では図１８に示す映像撮影装置１８００の構成を例として説明するが、本発明はこの構成に限定されるものではない。例えば、他の構成として、３つ以上のサブ撮影部（従撮影部）が設けられた構成であってもよい。また、従撮影部はセンター撮影部（主撮影部）と必ずしも、略同一水平面上に配置されなくてもよい。意図的に、主撮影部や他の従撮影部と垂直方向に異なる位置に配置したものであってもよい。そのような構成では、垂直方向に立体感のある映像を撮影することができる。このように、複数の従撮影部を備えることで、映像撮影装置１８００は、さまざまな角度からの撮影（多視点撮影）を実現することが可能となる。

画像信号処理部２０１２は、実施の形態１における画像信号処理部３０８と同様に、画角合わせ部２０１３、画素数合わせ部２０１４、差異計算部２０１５、画像生成部２０１６、撮影制御部２０１７を有する。

画角合わせ部２０１３は、センター撮影部２０５０、サブ１撮影部２０５１、サブ２撮影部２０５２から入力される映像の画角を合わせる。画角合わせ部２０１３は、実施の形態１と異なり、３つの異なる角度から撮影された映像の画角を合わせる処理を行う。

画素数合わせ部２０１４は、画角合わせ部２０１３により画角が合わせられた３つの映像間の画素数を合わせる処理を行う。

差異計算部２０１５は、画角合わせ部２０１３および画素数合わせ部２０１４により、画角および画素数が合わせられた３つの映像から、撮影された被写体の視差量を検出し、デプスマップを生成する。

画像生成部２０１６は、差異計算部２０１５によって生成された映像に撮影されている被写体の視差量（デプスマップ）に基づいて、センター撮影部２０５０で撮影された映像から立体映像用の左右の映像を生成する。

撮影制御部２０１７は、差異計算部２０１５が算出した視差量に基づいてセンター撮影部２０５０、サブ１撮影部２０５１、サブ２撮影部２０５２の撮影条件を制御する。

水平方向検出部２０２２、表示部２０１８、映像圧縮部２０１９、蓄積部２０２０、入力部２０２１は、それぞれ実施の形態１の水平方向検出部３１８、表示部３１４、映像圧縮部３１５、蓄積部３１６、入力部３１７と同じであるので説明を省略する。

＜立体映像信号の生成処理について＞
以下、本実施の形態における立体映像信号の生成処理を説明する。本実施の形態における立体映像信号の生成処理において、実施の形態１と大きく異なる点は、以下の点にある。すなわち、画像信号処理部２０１２にセンター撮影部２０５０、サブ１撮影部２０５１、サブ２撮影部２０５２の３系統からの映像信号が入力され、その入力された３系統の映像信号に基づいて視差量が算出される。その後、算出された視差量に基づいてセンター撮影部２０５０で撮影された映像から、新たに立体映像を構成する左右の映像が生成される。

なお、いわゆる両眼間隔に相当するステレオベース距離と視差情報とを用いて、立体映像を演算して生成する過程において、これらの演算係数を変更することにより、立体の臨場感を制御することが可能となる。これにより、視聴される３Ｄ映像の品質をより高めることができる。

図２１は、画角合わせ部２０１３に入力された３つの映像と、画角合わせ部２０１３が行う画角合わせの処理との関係を示したものである。画角合わせ部２０１３は、センター撮影部２０５０で撮影された映像（Ｃｅｎｔｅｒ）を基準として、サブ１撮影部２０５１およびサブ２撮影部２０５２でそれぞれ撮影された映像（Ｓｕｂ１、Ｓｕｂ２）中から、センター撮影部２０５０で撮影された部分（画角）と同じ領域を抽出する作業を行う。この場合、実施の形態１と同様に、画角合わせ部２０１３は、入力された映像に基づいて画角を合わせる作業を行ってもよいし、撮影時の撮影制御部２０１７による制御内容、特に、センター撮影部２０５０のズーム倍率とサブ１撮影部２０５１およびサブ２撮影部２０５２の単焦点距離との関係から画角を決定してもよい。

図２１に示す例では、センター撮影部２０５０が撮影した１９２０×１０８０の大きさの映像に基づいて、サブ１撮影部２０５１、サブ２撮影部２０５２がそれぞれ撮影した３８４０×２１６０の映像から、画角が等しい範囲の領域１２８０×７２０の部分が抽出される。

図２２は、画角合わせ部２０１３、画素数合わせ部２０１４、差異計算部２０１５、および画像生成部２０１６による処理結果を示す図である。画素数合わせ部２０１４は、上記の例に示すように、画角合わせが行われた３つの映像について、画素数を合わせる処理を行う。上記の例では、センター撮影部２０５０による映像が１９２０×１０８０のサイズを有し、サブ１撮影部２０５１、およびサブ２撮影部２０５２で撮影され抽出された映像は、ともに１２８０×７２０の画素数を有する。画素数合わせ部２０１４は、図２２に示すように、実施の形態１と同様にこれらの画素数を、例えば２８８×１６２のサイズに合わせる。これは、画像信号処理部２０１２による画像信号処理を全体として処理しやすくするために、３つの映像を所定の目標サイズに合わせることが好ましいからである。そのため、単に３つの映像間で最も画素数の小さい映像に合わせるのではなく、３つの映像間の画素を合わせると同時に、システム全体として処理し易い画像サイズに変更することが好ましい。

なお、本実施の形態では上記のような処理が行われるが、本発明は上記のような処理を行うものに限定されるものではない。３つの映像のうち、最小の画素数を持つ映像に他の映像の画素数を合わせる処理が行われてもよい。

差異計算部２０１５は、３つの映像間の視差量を検出する。具体的には、差異計算部２０１５は、画素数合わせ部２０１４により画素数合わせがされた、センター撮影部２０５０によるセンター映像（Ｃｓ）と、サブ１撮影部２０５１によるサブ１映像（Ｓ１ｓ）との間の差分Δ（Ｃｓ／Ｓ１ｓ）を示す情報の算出を行う。また、画素数合わせ部２０１４により画素数合わせがされた、センター撮影部２０５０によるセンター映像（Ｃｓ）と、サブ２撮影部２０５２によるサブ２映像（Ｓ２ｓ）との間の差分Δ（Ｃｓ／Ｓ２ｓ）を示す情報の算出を行う。差異計算部２０１５は、これらの差分情報に基づいて左右それぞれの視差量を示す情報（デプスマップ）を決定する（図２２）。

差異計算部２０１５は、差分Δ（Ｃｓ／Ｓ１ｓ）およびΔ（Ｃｓ／Ｓ２ｓ）から左右それぞれの視差量を決定する際に、左右の対称性を考慮することが好ましい。例えば、左側のみに著しく大きい視差量が発生し、右側にはまったく視差量が発生しない極端な画素がある場合には、そのような画素における視差量の決定に際して、より信頼できる方の値が採用される。このように、左右相互の視差量の値も考慮して最終的に視差量を決定することが好ましい。これにより、サブ１撮影部２０５１およびサブ２撮影部２０５２の一方からの映像に部分的に障害（映像乱れ等）が発生した場合でも、差異計算部２０１５は、左右相互間の対称性に基づいて、視差量の算出への影響度を小さくすることができる。

画像生成部２０１６は、差異計算部２０１５が生成したデプスマップと、センター撮影部２０５０が撮影した映像とから、立体映像を構成する左右映像を生成する。具体的には、図２３に示すように、センター撮影部２０５０で撮影した映像（Ｃｅｎｔｅｒ）から、デプスマップを参照して、被写体又は映像部分ごとに、視差量に応じて左又は右に移動させることにより、右眼用映像（Ｌｅｆｔ）および左眼用映像（Ｒｉｇｈｔ）を生成する。図２３に示す例では、センター撮影部２０５０から生成された左眼用映像は、被写体である建築物がセンター映像における位置より、視差量の分だけ右側にずれている。一方、背景部分は、視差量が少ないため、センター撮影部２０５０による映像と同じである。同様に、右眼用映像は、被写体である建築物がセンター映像における位置より、視差量の分だけ左側にずれている。一方、背景部分は、同様の理由でセンター撮影部２０５０による映像と同じである。

＜視差情報を利用した映像撮影について＞
撮影制御部２０１７は、実施の形態１と同様の制御を行う。つまり、センター撮影部２０５０は、立体映像の基本となる映像を主に撮影し、サブ１撮影部２０５１、サブ２撮影部２０５２は、センター撮影部２０５０が撮影した映像に対する視差の情報を取得するための映像を撮影する。そのため、撮影制御部２０１７は、それぞれの用途に応じた好適な撮影制御を、光学制御部２００３、光学制御部２００７、光学制御部２０１１を通じて、第１光学部２０００、サブ１光学部２００４、サブ２光学部２００８に対して行う。例えば、実施の形態１と同様に露出の制御、オートフォーカス等がある。

さらに、本実施の形態では、撮影部が、センター撮影部２０５０、サブ１撮影部２０５１、サブ２撮影部２０５２の３つとなったことから、撮影制御部２０１７はこれら３つの撮影部間の連携等についての制御も行う。特に、サブ１撮影部２０５１とサブ２撮影部２０５２は、立体映像生成時の左右それぞれの視差情報を取得するための映像を撮影する。そのため、サブ１撮影部２０５１とサブ２撮影部２０５２は、連携して対称となる制御を行うことが好ましい。撮影制御部２０１７は、サブ１撮影部２０５１とサブ２撮影部２０５２とを制御する際は、これらの制約を考慮した制御を行う。

水平方向情報を利用した立体映像の生成や、立体映像生成要否の判断等については、実施の形態１と同様のため説明を省略する。

＜立体映像の記録方式について＞
本実施の形態でも、実施の形態１と同様に複数の立体映像記録方式がある。以下、図２４を参照しながら、それぞれの記録方式について説明する。

図２４（ａ）は、画像生成部２０１６で生成された立体映像を構成する左右それぞれの映像（Ｌｅｆｔ Ｖｉｄｅｏ Ｓｔｒｅａｍ、Ｒｉｇｈｔ Ｖｉｄｅｏ Ｓｔｒｅａｍ）を映像圧縮部２０１９で符号化し、符号化されたデータを多重化して蓄積部２０２０に記録する方式である。この方式では、再生装置は、記録されたデータを左右それぞれのデータに分割し、その後それぞれを復号して再生することができれば、記録した立体映像を再生することが可能である。すなわち、本方式の利点としては、再生装置の構成を比較的簡単にすることができる点にある。

図２４（ｂ）は、立体映像の基本となるセンター撮影部２０５０によるセンター映像（Ｍａｉｎ Ｖｉｄｅｏ Ｓｔｒｅａｍ）と、センター映像に対する左右其々の映像のデプスマップ（視差量）とを記録する方式である。この方式では、映像圧縮部２０１９は、データとしてセンター撮影部２０５０による映像と、当該映像に対する左右それぞれのデプスマップを符号化する。その後、映像圧縮部２０１９は、それぞれの符号化されたデータを多重化して、蓄積部２０２０へ記録する。この場合、再生装置は、蓄積部２０２０からデータを読み出し、それをデータ種別ごとに分割し、分割したそれぞれのデータを復号する。再生装置はさらに、復号したセンター映像から、左右それぞれのデプスマップに基づいて立体映像を構成する左右それぞれの映像を生成し、表示する。本方式の利点としては、データ量が多い映像データを一つのみとし、左右其々の映像を生成するために必要なデプスマップを合わせて記録することで、記録データ量を抑制することができる点にある。

図２４（ｃ）は、立体映像の基本となるセンター撮影部２０５０による映像を記録する点は図２４（ｂ）と同様である。しかし、デプスマップ情報に代えて、センター撮影部２０５０による映像とサブ１撮影部２０５１、およびサブ２撮影部２０５２による映像との差分情報（差分画像）を記録する点が図２４（ｂ）に示す方式と異なる。この方式では、映像圧縮部２０１９は、センター撮影部２０５０による映像と、センター撮影部２０５０に対する左右それぞれの差分情報Δ（Ｃｓ／Ｒｓ）およびΔ（Ｃｓ／Ｌｓ）をそれぞれ符号化した後、これらを多重化して蓄積部２０２０に記録する。再生装置は、蓄積部２０２０に記録されたデータをデータ種別ごとに分割し、それぞれを複合化する。その後、再生装置は、差分情報Δ（Ｃｓ／Ｒｓ）およびΔ（Ｃｓ／Ｌｓ）からデプスマップを算出し、センター撮影部２０５０による映像から立体映像を構成する左右其々の映像を生成、表示する。本方式の利点は、再生装置が自身の表示ディスプレイの性能に応じて、デプスマップを生成し、立体映像を生成することができる。そのため、個々の再生条件に応じた立体映像の再生を実現することができる。

以上の構成により、本実施の形態による映像撮影装置は、センター撮影部２０５０で撮影した映像から、立体映像を構成する左右の映像を生成することができる。従来技術のように、一方の映像は実際に撮影された映像であるが、他方の映像は実際に撮影された映像に基づいて生成した映像である場合は、左右の映像の信頼性に大きな偏りが生じる。これに対して、本実施の形態では、左右映像の両者とも、撮影された基本映像により生成されている。そのため、立体映像としての左右対称性も考慮して映像を作ることができるため、左右のバランスがとれた、より自然な映像を生成することができる。

また、実施の形態１と同様に、全ての撮影部（撮影ユニット）を略等価な構成とする必要がないため、立体映像の基礎となる映像を撮影するセンター撮影部２０５０と、視差量を検出するための映像を撮影するサブ撮影部２０５１、２０５２とで、異なる構成とすることができる。特に、視差量を検出するためのサブ撮影部２０５１、２０５２は、センター撮影部２０５０と比較して簡略な構成で実現できる可能性があるため、より簡単な構成で立体映像撮影装置１８００を構成することができる。

なお、本実施の形態においても、上記の画素数合わせ部２０１４が出力する映像のサイズは一例であり、本発明はこれに限定されるものではない。上記以外のサイズの映像を扱うものであってもよい。

（実施の形態の変形例）
上記実施の形態１、および実施の形態２では、図１（ｂ）や図１８に示す映像撮影装置を例として説明したが、本発明の映像撮影装置はこれらの構成に限定されるものではない。映像撮影装置は、他の構成として、例えば図２５に示す構成を有していてもよい。

図２５（ａ）は、映像撮影装置前面から見た場合に、サブ撮影ユニット２５０３がメイン撮影ユニット２５０２よりも左側に配置された構成例を示している。この構成例では、サブ撮影ユニット２５０３は、サブレンズ支持部２５０１に支持され、本体から離れた位置に配置されている。この例における映像撮影装置は、実施の形態１とは逆に、メイン撮影部による映像を左側の映像とすることができる。

図２５（ｂ）は、図２５（ａ）に示す構成とは逆に、映像撮影装置前面から見た場合に、サブ撮影ユニット２５０４がメイン撮影ユニット２５０２よりも右側に配置された構成例を示している。この構成例では、サブ撮影ユニット２５０４は、サブレンズ支持部２５０２に支持され、本体から離れた位置に配置されている。この構成例によれば、実施の形態１における構成よりもメイン撮影ユニット２５０２とサブ撮影ユニット２５０４との間の距離が大きいため、映像撮影装置は、より視差の大きい映像を撮影することができる。

また、上記実施の形態１、および実施の形態２における、メイン撮影部（又はセンター撮影部）がズームレンズを有し、サブ撮影部が単焦点レンズを有する構成において、ズーム光学系の焦点距離を単焦点レンズの焦点距離に一致させて立体映像の撮影を行うように構成されていてもよい。この場合、立体映像の撮影は、メイン撮影部の光学倍率とサブ撮影部の光学倍率とが同じ状態で撮影されることとなる。立体映像の撮影を行わず、従来のように非立体映像の撮影を行う場合は、メイン撮影部がズームレンズを可動にした状態で撮影してもよい。このような構成により、立体映像の撮影はメイン撮影部の倍率とサブ撮影部の倍率とが等しい状態で行われることとなり、画像信号処理部は、画角合わせ等の処理を比較的簡単に実行することが可能となる。

また、立体映像撮影時にメイン撮影部がズームレンズを可動にして撮影する場合であっても、画像処理部の画角合わせ部が、サブ撮影部が撮影した映像から該当部分を抽出する際の拡大率（電子ズーム）が所定の範囲の場合（例えば、拡大率が４倍以下等の場合）にのみ立体映像を生成するものであってもよい。この拡大率が所定の範囲を超える場合は、立体映像の生成を停止し、メイン撮影部が撮影した従来の非立体映像を画像信号処理部が出力するように構成されていてもよい。これにより、拡大率が大きいために、算出された奥行き情報（デプスマップ）の信頼性が低い撮影部分では立体映像の生成が停止されることで、生成される立体映像の品質を比較的高品質に保つことが可能となる。

さらに、メイン撮影部がズームレンズを有し、サブ撮影部が単焦点レンズを有する構成において、奥行き情報（デプスマップ）を取得した場合、ズーム光学系または単焦点レンズ光学系の光学式絞りを除去した構成であってもよい。例えば、撮影された立体映像が、撮影装置より１ｍ以遠の被写体に対して、全画面で焦点が合っているとする。この場合、全画面で焦点が合っているので、画像処理により焦点ボケを持った映像を生成することができる。光学式絞り方式では、光学系の特性のため、ボケる深度領域は絞り量により一意的に決まるが、画像処理では鮮明にする深度領域とボケさせる深度領域を自由に制御することができる。例えば、鮮明にする深度領域の深度幅を光学式の場合よりも広くしたり、複数の深度領域で被写体を鮮明にすることができる。

また、メイン撮影部３５０又はサブ撮影部３５１の光軸方向を可動にするものであってもよい。つまり立体撮影における平行法と交差法の撮影を映像撮影装置が変更できるようにしてもよい。具体的には、サブ撮影部３５１を構成するレンズを含んだレンズ鏡筒および撮像部を制御されたモータ等によって駆動することによって光軸を変化させることができる。このような構成により、映像撮影装置は被写体や撮影条件に応じて平行法と交差法とを切り変えることができる。あるいは、交差法におけるクロスポイントの位置を動かすなどの制御を行うことができる。なお、モータ等による機械制御に代えて、電子制御によりこれを実現するものであってもよい。例えば、サブ撮影部３５１のレンズとしては、メイン撮影部３５０のレンズに比して、非常に広角の魚眼レンズ等が利用される。この場合、サブ撮影部３５１により撮影された映像は、通常のレンズで撮影された映像よりも広範囲（広角）であるため、メイン撮影部３５０が撮影した範囲の映像を含む。画角合わせ部は、メイン撮影部３５０で撮影された映像に基づいて、サブ撮影部３５１で撮影された映像から、交差法で撮影された場合に含まれる範囲を抽出する。魚眼レンズで撮影された映像は、周辺部が歪み易い特性がある。そのため、画角合わせ部はこの点も考慮して抽出時に同時に画像の歪み補正も行う。つまり、これにより、映像撮影装置は、メイン撮影部３５０とサブ撮影部３５１の光軸を機械的に変化させなくても、電子処理により平行法と交差法とを実現することが可能となる。なお、この場合は、サブ撮影部３５１の解像度を、メイン撮影部３５０の解像度よりも十分大きく（例えば、２倍以上に）しておくことが好ましい。これは、サブ撮影部３５１で撮影された映像は画角合わせ処理等により抽出されることが前提となるため、抽出される部分の解像度を少しでも高くするためである。ここでは、実施の形態１の構成について、魚眼レンズ等の広角レンズを用いる方法について説明したが、実施の形態２の構成（センターレンズ、第１サブレンズ、第２サブレンズ）を採用した場合についても、少なくとも３つのレンズのうちの２つのレンズの関係において、上記の方法を適用することが可能である。

さらに、差異計算部３１１、２０１５は、撮影画角内の被写体の位置と分布と被写体の輪郭とにより、奥行き情報（デプスマップ）の計算の精度、奥行き情報の算出刻みを変えてもよい。例えば、差異計算部３１１、２０１５は、ある被写体に対して奥行き情報の刻みを粗く設定し、その被写体内部の奥行き情報の刻みを細かく設定してもよい。すなわち、差異計算部３１１、２０１５は、奥行き情報を、撮影している画角、構図の内容に応じて被写体の内外で階層構造にしてもよい。

ステレオ画像の視差に関して、図１３を参照して説明したように、遠くの被写体の視差量は小さくなる。このため、例えば水平解像度が２８８ピクセルの画像に対して、視差量が３ピクセルの場合の被写体の距離の範囲（被写体距離領域）と、視差量が２ピクセルの場合の被写体距離領域と、視差量が１ピクセルの場合の被写体距離領域とを比較すると、視差量が小さいほど被写体距離領域が広がっていく。すなわち、遠くになるほど被写体距離の変化に対する視差量の変化の感度が小さくなる。これにより、遠くになるほど同じ視差量の被写体距離領域内の被写体は同じ奥行きとして認識され、いわゆる「カキワリ」効果を生じる。カキワリ効果とは、舞台道具の書き割りのように、映像のある部分が扁平に見える現象である。

そこで、映像の輪郭およびテクスチャーの特徴抽出を行い、輪郭線や面の傾きより奥行き変化が推定できる場合、この奥行き変化量を用いることにより、１ピクセルの視差量を例えば２等分あるいは４等分することができる。このように、視差量を２等分あるいは４等分することにより、視差の感度が２倍または４倍に拡大できるため、カキワリ効果を低減できる。

差異計算部３１１、２０１５は、これにより、奥行き情報の演算を高精度化でき、オブジェクト内の微妙な奥行き表現が可能になる。また、映像撮影装置は、生成される立体映像を特徴のある部分の奥行きを意図的に大きくしたり、小さくしたりといった変化を有する映像とすることも可能になる。さらに、別の活用方法として、映像撮影装置が、奥行き情報と主画像とにより、三角法の原理を用いて、任意視点での画像を計算して生成することもできる。

ところで、映像が立体情報を含む場合、映像撮影装置自体が記憶手段と学習手段をさらに備え、映像に関する学習と記憶とを積み重ねることにより、被写体と背景とにより構成される映像の構図を、人間のように理解することが可能となる。例えば、ある被写体の距離が分かれば、その大きさや輪郭、テクスチャー、色、動き（加速度や角速度情報を含む）より、その被写体が何であるかを同定することが可能となる。よって、クロマキー処理のように特定の色の被写体だけを抽出したりするだけでなく、特定の距離にある人や物（オブジェクト）の抽出、さらに、認識結果より特定の人や物の抽出が可能となる。映像が立体情報を持っていると、ＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）処理に展開でき、ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）、ＡＲ（Ａｕｇｕｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）、ＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）など、撮影映像とコンピュータで生成した映像データとの合成処理などができる。

また上記以外にも、例えば、映像の上方で無限遠に広がりがあるブルーの領域は青空である、映像の青空領域の中で白い領域は雲である、などと映像撮影装置に認識せることも可能である。同様に、映像の中央から下方にかけて広がりがある灰色領域は道路である、また道路上で透明部（ガラスウインドウ部）と、黒い丸いドーナツ状の黒い部分（タイヤ）を持った物体は自動車であるなどと映像撮影装置に認識させることができる。さらに、自動車の形をしていても、距離が分かれば、本物の自動車であるか、おもちゃの自動車であるかを映像撮影装置に判定することができる。このように、被写体である人や物の距離が分かると、その人や物の認識をより正確に映像撮影装置に判定させることができる。

なお、映像撮影装置自体が持つ記憶手段と学習手段には容量や処理能力の限界があるので、これらの記憶手段と学習手段をＷＥＢなどのネットワーク上に待たせて、より認識用のデータベースを持った高機能なクラウドサービス機能として実装してもよい。この場合は、映像撮影装置からネットワーク上のクラウドサーバーなどに撮影映像を送るとともに、認識したいことや知りたいことを問い合わせる構成とすればよい。

単体に、ネットワーク上のクラウドサーバーから映像撮影装置には、撮影映像が含む被写体や背景の意味データや、場所や人に関する過去から現在までの説明データを送信する。これにより、映像撮影装置をよりインテリジェントな端末として活用することができる。

なお、実施の形態１乃至実施の形態２では、映像撮影装置を用いて説明したが、本出願で説明する発明はこの態様に限定されるものではない。他の実現方法として、上記の映像装置で用いるプログラム等をソフトウェアにより実現することも可能である。

また、以上の各実施の形態では、立体映像を生成、記録する映像撮影装置を前提としたが、静止画像のみを生成する撮影装置においても、全く同様に上記の撮影方法および画像処理方法を適用することが可能である。

本発明は、映像または静止画像を撮影する撮影装置で利用することが可能である。

１００、１０１、１８００ 映像撮影装置
１０２、２００ 第１レンズ群
１０３、２０４ 第２レンズ群
１０４ モニター部
２０１、２０５、１９０１、１９０５、１９０９ ＣＣＤ
２０２、２０６、１９０２、１９０６、１９１０ Ａ／ＤＩＣ
２０３、２０７、１９０３、１９０７、１９１１ アクチュエータ
２０８、１９１２ ＣＰＵ
２０９、１９１３ ＲＡＭ
２１０、１９１４ ＲＯＭ
２１１、１９１９ 加速度センサ
２１２、１９１５ ディスプレイ
２１３、１９１６ Ｅｎｃｏｄｅｒ
２１４、１９１７ 記憶装置
２１５、１９１８ 入力装置
２５０ メイン撮影ユニット
２５１ サブ撮影ユニット
３００ 第１光学部
３０１、３０５、２００１、２００５、２００９ 撮像部
３０２、３０６、２００２、２００６、２０１０ Ａ／Ｄ変換部
３０３、３０７、２００３、２００７、２０１１ 光学制御部
３０４ 第２光学部
３０８、２０１２ 画像信号処理部
３０９、２０１３ 画角合わせ部
３１０、２０１４ 画素数合わせ部
３１１、２０１５ 差異計算部
３１２、２０１６ 画像生成部
３１３、２０１７ 撮影制御部
３１４、２０１８ 表示部
３１５、２０１９ 映像圧縮部
３１６、２０２０ 蓄積部
３１７、２０２１ 入力部
３１８、２０２２ 水平方向検出部
３５０ メイン撮影部
３５１ サブ撮影部
６００ 建物
１８０１、１９００ センターレンズ群
１８０２ 第１サブレンズ群
１８０３ 第２サブレンズ群
１８０４ 鏡筒部
１９５０ センター撮影ユニット
１９５１ サブ１撮影ユニット
１９５２ サブ２撮影ユニット
２０００ センター光学部
２００４ サブ１光学部
２００８ サブ２光学部
２０５０ センター撮影部
２０５１ サブ１撮影部
２０５２ サブ２撮影部
２５０１、２５０２ サブレンズ支持部

本発明は、複数の撮影部により複数の画像を取得し、立体画像を生成するための情報を生成する撮影装置、および画像処理方法に関する。

立体映像を視聴するには、立体映像に対応したコンテンツ（ビデオストリーム等のデータ）を用意しなければならない。その方法の一つとして、立体映像を撮影できるカメラで立体映像用のコンテンツを生成することがある。

特許文献１には、主撮像部と従撮像部との２つの撮像部を備えたデジタルカメラにおいて、主撮像部と従撮像部から撮影した映像から視差を検出し、主撮像部で撮影した映像を主画像とするとともに、主画像および検出した視差に基づいて従画像を生成して立体映像の左右の画像を生成する技術が開示されている。

特許文献２には、２つの撮像系を備えたステレオカメラにおいて、２つの撮像系の撮影倍率が異なる場合でも、立体映像を撮影できる技術が開示されている。

特開２００５−２０６０６号公報 特開２００５−２１０２１７号公報

特許文献１や特許文献２に記載のカメラは常に立体映像を撮影する。そのため、撮影しても立体感が得られないような映像についても、立体映像が生成されてしまうという課題がある。また、映像のみならず、静止画においても同様の課題がある。

本発明の目的は、立体画像の撮影と従来の平面画像の撮影とを撮影条件に応じて好適に切り換えることである。

本発明の撮影装置は、各々が被写体を撮影することができる第１の撮影部および第２の撮影部と、前記第１および第２の撮影部によってそれぞれ取得された第１および第２の画像に基づいて、前記第１および第２の画像間の視差量を示す情報を生成する信号処理部とを備えている。前記信号処理部は、前記第１および第２の画像の状態、および撮影条件の少なくとも一方に基づいて、前記第１および第２の画像に基づいて生成される立体画像の立体特性の程度または前記立体画像の出力要否を示す制御情報を生成し、前記制御情報と前記視差量を示す情報とを記録する。

本発明の他の撮影装置は、各々が被写体を撮影することができる第１の撮影部および第２の撮影部と、前記第１および第２の撮影部によってそれぞれ取得された第１および第２の画像に基づいて、前記第１および第２の画像間の視差量を示す情報を生成する信号処理部とを備えている。前記信号処理部は、前記第１および第２の画像の状態、および撮影条件の少なくとも一方に基づいて、前記視差量を示す情報を記録するか否かを決定する。

本発明の他の撮影装置は、各々が被写体を撮影することができる第１の撮影部および第２の撮影部と、前記第１および第２の撮影部によってそれぞれ取得された第１および第２の画像に基づいて、前記第１および第２の画像間の視差量を示す情報を生成する信号処理部であって、前記視差量を示す情報および前記第１の画像に基づいて生成される画像と前記第１の画像とから立体画像を生成することができる信号処理部とを備えている。前記信号処理部は、前記第１および第２の画像の状態、および撮影条件の少なくとも一方に基づいて、前記立体画像を生成するか否かを決定する。

ある実施形態において、前記信号処理部は、前記制御情報と前記視差量を示す情報とを統合した統合データを記録する。

ある実施形態において、前記信号処理部は、前記第１および第２の画像に基づいて、映像ストリームを生成し、前記統合データを前記映像ストリームの特定の記録領域に記録する。

ある実施形態において、前記第１および第２の撮影部は、動画像を取得する。

ある実施形態において、前記第１の撮影部は光学ズーム機能を有し、前記第２の撮影部は光学ズーム機能を有していない。

ある実施形態において、前記第２の撮影部の画素数は、前記第１の撮影部の画素数よりも多い。

ある実施形態において、前記第２の撮影部の口径は、前記第１の撮影部の口径よりも小さい。

ある実施形態において、前記第１および第２の画像の状態は、前記第２の画像の一部であって前記第１の画像に相当する部分の画素数、または前記第１および第２の画像に含まれる被写体の視差量であり、前記撮影条件は、前記第１の撮影部のズーム倍率、または前記撮影装置の撮影時の傾きである。

ある実施形態において、前記信号処理部は、前記第２の画像の一部であって前記第１の画像に相当する部分の画素数、および前記第１の撮影部のズーム倍率が予め定められた範囲にある場合には、立体画像の撮影を指示する制御信号を出力し、それ以外の場合には、非立体画像の撮影を指示する制御信号を出力する。

ある実施形態において、前記信号処理部は、前記第１および第２の画像の画角および画素数を合わせた２つの画像を生成し、前記２つの画像における画素ごとの視差量を計算することにより、前記視差量を示す情報を生成する。

ある実施形態において、前記信号処理部は、前記視差量を示す情報を用いて前記第１の画像を補正することによって第３の画像を生成し、前記第３の画像と前記第１の画像とから立体画像を生成する。

本発明の画像処理方法は、２つの撮影部を有する撮影装置によって取得された第１および第２の画像に基づいて、前記第１および第２の画像間の視差量を示す情報を生成するステップと、前記第１および第２の画像の状態、および撮影条件の少なくとも一方に基づいて、前記第１および第２の画像に基づいて生成される立体画像の立体特性の程度または前記立体画像の出力要否を示す制御情報を生成するステップと、前記制御情報と前記視差量を示す情報とを記録するステップとを含む。

本発明の他の画像処理方法は、２つの撮影部を有する撮影装置によって取得された第１および第２の画像に基づいて、前記第１および第２の画像間の視差量を示す情報を生成するステップと、前記第１および第２の画像の状態、および撮影条件の少なくとも一方に基づいて、前記視差量を示す情報を記録するか否かを決定するステップとを含む。

本発明の他の画像処理方法は、２つの撮影部を有する撮影装置によって取得された第１および第２の画像に基づいて、前記第１および第２の画像間の視差量を示す情報を生成するステップと、前記第１および第２の画像の状態、および撮影条件の少なくとも一方に基づいて、立体画像を生成するか否かを決定するステップと、前記視差量を示す情報および前記第１の画像に基づいて生成される画像と前記第１の画像とから立体画像を生成するステップとを含む。

本発明により、立体画像の撮影（生成）と従来の平面画像の撮影（生成）とを撮影条件に応じて好適に切り換えることが可能となる。

（ａ）は従来の映像撮影装置の概観図であり、（ｂ）は実施の形態１による映像撮影装置の概観図である。 実施の形態１による映像撮影装置のハードウェア構成図である。 実施の形態１による映像撮影装置の機能構成図である。 画角合わせ部による処理内容を説明する図である。 画像信号処理部により処理されるデータの変化を示す図である。 実施の形態１において、メイン撮影部とサブ撮影部とによって撮影した映像の違いを示す図である。 左右映像間の視差を算出する処理を示すフローチャートである。 画像信号処理部が行う処理を示すフローチャートである。 算出した視差量のデータの例を示す図である。 メイン撮影部によって撮影した映像から立体映像の対となる映像を生成したことを示す図である。 画角合わせ部が水平方向の補正処理を行った場合の例を示す図である。 差異計算部により水平方向の補正処理を行った場合の例を示す図である。 被写体までの距離と立体特性の大きさとの関係例を示す図である。 被写体までの距離と、メイン撮影部およびサブ撮影部により撮影された被写体の画素数との関係例を示す図である。 水平方向の傾きと立体映像の生成要否との関係を示す図である。 立体映像の生成要否を判断する処理を示すフローチャートである。 撮影された映像や、生成された立体映像等の記録方式の例を示す図である。 撮影装置が撮影時に立体映像の立体特性を調整して撮影した場合の例を示す図である。 実施の形態２による映像撮影装置の概観図である。 実施の形態２による映像撮影装置のハードウェア構成図である。 実施の形態２による映像撮影装置の機能構成図である。 センター撮影部、サブ１撮影部、サブ２撮影部によって撮影した映像の画角を合わせることを示す図である。 画像信号処理部により処理されるデータの変化を示す図である。 センター撮影部で撮影された映像から立体映像の左右それぞれの映像を生成することを示す図である。 実施の形態２における、生成された立体映像等の記録方式の例を示す図である。 実施の形態１および実施の形態２の変形例による映像撮影装置の概観図である。

以下、添付の図面を参照しながら、本発明の実施の形態を説明する。なお、本明細書において、「画像」とは、動画像（映像）および静止画像を含む概念を指す。以下の説明において、画像または映像を示す信号または情報を、単に「画像」または「映像」と呼ぶことがある。

（実施の形態１）
＜映像撮影装置の構成について＞
図１は、従来の映像撮影装置および本実施形態による映像撮影装置の外観を示す斜視図である。図１（ａ）は、映像、又は静止画像を撮影する従来の映像撮影装置１００を示している。図１（ｂ）は、本実施の形態による映像撮影装置１０１を示している。映像撮影装置１００と映像撮影装置１０１とは、映像撮影装置１０１が第１レンズ部１０２のみならず第２レンズ部１０３を備えている点で外観上異なっている。従来の映像撮影装置１００では、映像を撮影するには、第１レンズ部１０２でのみ集光して映像を撮影する。これに対して、本実施形態による映像撮影装置１０１は、第１レンズ部１０２と第２レンズ部１０３の２種類の光学系でそれぞれ集光し、視差をもつ２つの映像（立体映像）を撮影する点で従来の映像撮影装置１００とは異なる。第２レンズ部１０３は、第１レンズ部１０２と比較して体積的な大きさが小型のレンズである。ここで、「体積的な大きさ」とは、各レンズ部の口径および厚さによって定まる体積で表される大きさを意味する。このような構成により、映像撮影装置１０１は、２種類の光学系を用いて立体映像を撮影する。

第１レンズ部１０２と第２レンズ部１０３との距離は、撮影する立体映像の視差の大きさに影響する。そのため、第１レンズ部１０２と第２レンズ部１０３との距離は、人の左右両眼の距離と同程度の距離にしておくと、映像撮影装置１０１で撮影された立体映像もより自然な映像になると考えられる。

さらに、第１レンズ部１０２と第２レンズ部１０３とは、映像撮影装置１０１を地面等に置いたときに、略同一水平面上にあることが好ましい。これは、人の左右両目は略水平な位置で対象物を見ることが一般的であるため、水平方向の視差には慣れているが、垂直方向の視差には慣れていないためである。よって、立体映像を撮影する際には、垂直方向ではなく水平方向に視差が生じるように撮影することが好ましい。第１レンズ部１０２と第２レンズ部１０３との位置関係が垂直方向にずれるほど、映像撮影装置１０１が生成する立体映像は違和感のある映像となり得る。

また、第１レンズ部１０２の光学中心と第２レンズ部１０３の光学中心とは、映像撮影装置１０１の撮像面に平行な１つの平面上に位置していることが好ましい。つまり、第１レンズ部１０２の光学中心が被写体側（前方）に飛び出し、第２レンズ部１０３の光学中心が被写体の反対側（後方）に位置していたり、その逆の関係になっていないことが好ましい。第１レンズ部１０２および第２レンズ部１０３がそのような位置関係にあると、被写体までの距離が第１レンズ部１０２と第２レンズ部１０３とで異なることになる。そのような場合、正確な視差情報を得ることが困難になる場合がある。このように、第１レンズ部１０２および第２レンズ部１０３は、被写体から略同一距離となる位置関係にあることが好ましい。なお、この点について、より厳密には、それぞれのレンズ部と、レンズ部の後段に配置される撮像素子の撮像面との位置関係を含めて考慮する必要がある。

これらの第１レンズ部１０２と第２レンズ部１０３との相対的な位置が好ましい位置関係に近いほど、それぞれのレンズ部により撮影された映像から立体映像等を生成する際の信号処理における計算処理量を軽減することができる。より具体的には、第１レンズ部１０２と第２レンズ部１０３との位置関係が上記のような関係にある場合には、立体映像の左右の映像面における同一被写体の位置が、エピポーラ拘束（Ｅｐｉｐｏｌａｒ Ｃｏｎｓｔｒａｉｎｔ）条件を満たす。このため、後述する立体映像等を生成するための信号処理において、一方の映像面上での被写体の位置が確定すると、他方の映像面上での被写体の位置も比較的容易に算出することが可能となる。

図１（ｂ）に例示される映像撮影装置１０１では、第１レンズ部１０２は従来通り映像撮影装置１０１の本体前部に設けられ、第２レンズ部１０３は撮影映像を確認するためのモニター部１０４の背面に設けられている。モニター部１０４は、第１レンズ部１０２および第２レンズ部１０３に入射する光の入射側とは逆側（映像撮影装置１０１の後部側）に撮影した映像を表示する。図１（ｂ）に示す例では、映像撮影装置１０１は、第１レンズ部１０２を用いて撮影された映像は右眼視点の映像として、第２レンズ部１０３を用いて撮影された映像は左眼視点の映像として処理する。さらに、上記の第１レンズ部１０２と第２レンズ部１０３との理想的な位置関係を考慮する場合、第２レンズ部１０３については、モニター部１０４の背面において、第１レンズ部１０２との距離が人の左右両目の距離と同程度（４ｃｍ〜６ｃｍ）となり、第２レンズ部１０３と第１レンズ部１０２とが略撮像面に平行な同一平面上に位置するように設けるとよい。

図２は、図１（ｂ）で示した映像撮影装置１０１内部のハードウェア構成の概略を示した図である。映像撮影装置１０１のハードウェア構成は、第１撮影ユニット（メイン撮影ユニット）２５０、第２撮影ユニット（サブ撮影ユニット）２５１、ＣＰＵ２０８、ＲＡＭ２０９、ＲＯＭ２１０、加速度センサ２１１、ディスプレイ２１２、エンコーダー２１３、記憶装置２１４、入力装置２１５を有する。メイン撮影ユニット２５０は、第１レンズ群２００、ＣＣＤ２０１、Ａ／Ｄ変換ＩＣ２０２、アクチュエーター２０３を含む。サブ撮影ユニット２５１は、第２レンズ群２０４、ＣＣＤ２０５、Ａ／Ｄ変換ＩＣ２０６、アクチュエーター２０７を含む。第１レンズ群２００は、図１における第１レンズ部１０２に含まれる複数のレンズから構成される光学系である。第２レンズ群２０４は、図１（ｂ）における第２レンズ部１０３に含まれる複数のレンズから構成される光学系である。

第１レンズ群２００は、被写体から入射する光を複数のレンズにより光学的に調整する。具体的には、第１レンズ群２００は、撮影する被写体を大きく撮影又は小さく撮影するためのズーム機能や、撮像面上での被写体の輪郭等の鮮明度を調整する焦点（フォーカス）機能を有する。

ＣＣＤ２０１は、第１レンズ群２００により被写体から入射した光を電気信号に変換する撮像素子（イメージセンサ）である。本実施の形態では、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）を用いた例を説明するがこれに限定するものではない。他のセンサ、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の他の方式で入射光を電気信号に変換するものを用いても良い。

Ａ／Ｄ変換ＩＣ２０２は、ＣＣＤ２０１で生成されたアナログ電気信号をデジタル電気信号に変換する。

アクチュエーター２０３は、モータを有し、後述するＣＰＵ２０８からの制御により、第１レンズ群２００に含まれる複数のレンズ間の距離の調整や、ズームレンズの位置の調整等を行う。

サブ撮影ユニット２５１の第２レンズ群２０４、ＣＣＤ２０５、Ａ／Ｄ変換ＩＣ２０６、アクチュエーター２０７は、それぞれメイン撮影ユニット２５０の第１レンズ群２００、ＣＣＤ２０１、Ａ／Ｄ変換ＩＣ２０２、アクチュエーター２０３に対応している。以下、メイン撮影ユニット２５０と同一の部分については説明を省略し、異なる部分のみを説明する。

第２レンズ群２０４は、第１レンズ群２００よりも体積的な大きさが小型のレンズ群から構成される。具体的には、第２レンズ群の対物レンズの口径は、第１レンズ群の対物レンズの口径よりも小さい。これは、サブ撮影ユニット２５１をメイン撮影ユニット２５０よりも小型化することで、映像撮影装置１０１全体も小型化するためである。本実施形態では、第２レンズ群２０４を小型化するため、第２レンズ群２０４にはズーム機能を持たせない。つまり第２レンズ群２０４は、単焦点レンズである。

ＣＣＤ２０５は、ＣＣＤ２０１と同等、又はより大きい解像度（水平方向、垂直方向の画素数がより大きい）をもつ。サブ撮影ユニット２５１のＣＣＤ２０５が、メイン撮影ユニット２５０のＣＣＤ２０１と同等、又はより大きい解像度を持つ理由は、サブ撮影ユニット２５１で撮影した映像を後述する信号処理によって電子ズーム（画角合わせ）等を行う際に画質の低下を抑制するためである。

アクチュエーター２０７は、モータを有し、後述するＣＰＵ２０８からの制御により、第２レンズ群２００に含まれる複数のレンズ間の距離の調整を行う。第２レンズ群２０４はズーム機能を持たないため、アクチュエーター２０７は、焦点調整のためのレンズ調整を行う。

ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０８は、映像撮影装置１０１全体を制御する。ＣＰＵ２０８は、メイン撮影ユニット２５０およびサブ撮影ユニット２５１で撮影された映像に基づいて、両映像から立体映像を生成する処理を行う。なお、ＣＰＵ２０８の代わりに、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）を用いて同様の処理を実現してもよい。

ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０９は、ＣＰＵ２０８を動作させるプログラム実行時の各種変数等をＣＰＵ２０８の指示により一時的に記憶する。

ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２１０は、ＣＰＵ２０８を動作させるプログラムデータ、制御パラメータ等のデータを記録する。

加速度センサ２１１は、映像撮影装置１０１の撮影状態（姿勢や向き等）を検出する。本実施の形態では、加速度センサ２１１を用いるものとして説明しているがこれに限定するものではない。その他のセンサとして、３軸方向のジャイロスコープを用いても良い。つまり、映像撮影装置１０１の撮影状態を検出するセンサであればいずれを採用してもよい。

ディスプレイ２１２は、映像撮影装置１０１が撮影し、ＣＰＵ２０８等で処理された立体映像を表示する。なお、ディスプレイ２１２は、入力機能としてのタッチパネルを備えていても良い。

エンコーダー２１３は、ＣＰＵ２０８が生成した立体映像の情報、又は、立体映像等を表示するために必要な情報等のデータを、所定の方式に従って符号化（エンコード）する。

記憶装置２１４は、エンコーダー２１３で符号化されたデータを記録、保持する。記憶装置２１４は、磁気記録ディスクや、光記録ディスク、半導体メモリ等、データを記録できる記録媒体であればいずれの方式で実現されていても良い。

入力装置２１５は、ユーザ等の、映像撮影装置１０１外部からの指示を受け付ける入力装置である。

次に、映像撮影装置１０１の機能構成を説明する。以下の説明では、映像撮影装置１０１における上記の各構成要素をそれに対応する機能部で表す。

図３は、映像撮影装置１０１の機能構成図である。映像撮影装置１０１は、第１撮影部（メイン撮影部）３５０と、第２撮影部（サブ撮影部）３５１と、画像信号処理部３０８、水平方向検出部３１８、表示部３１４、映像圧縮部３１５、蓄積部３１６、入力部３１７を有する。メイン撮影部３５０は、第１光学部３００、撮像部３０１、Ａ／Ｄ変換部３０２、光学制御部３０３を有する。サブ撮影部３５１は、第２光学部３０４、撮像部３０５、Ａ／Ｄ変換部３０６、光学制御部３０７を有する。

メイン撮影部３５０は、図２におけるメイン撮影ユニット２５０に対応する。第１光学部３００は、図２における第１レンズ群２００に対応し、被写体から入射する光を調整する。第１光学部３００は、第１光学部３００から撮像部３０１への入射光量を制御する光学式絞り手段を有している。

撮像部３０１は、図２におけるＣＣＤ２０１に対応し、第１光学部３００から入射した光を電気信号に変換する。

Ａ／Ｄ変換部３０２は、図２におけるＡ／Ｄ変換ＩＣ２０２に対応し、撮像部３０１が出力したアナログ電気信号をデジタル信号に変換する。

光学制御部３０３は、図２におけるアクチュエーター２０３に対応し、後述する画像信号処理部３０８からの制御により第１光学部３００を制御する。

サブ撮影部３５１は、図２におけるサブ撮影ユニット２５１に対応する。サブ撮影部３５１における第２光学部３０４、撮像部３０５、Ａ／Ｄ変換部３０６、光学制御部３０７は、それぞれ第１光学部３００、撮像部３０１、Ａ／Ｄ変換部３０２、光学制御部３０３に対応する。それらの機能は、メイン撮影部３５０における対応する機能部と同様であるため、ここでは説明を省略する。なお、第２光学部３０４、撮像部３０５、Ａ／Ｄ変換部３０６、光学制御部３０７は、それぞれ、図２における第２レンズ群２０４、ＣＣＤ２０５、Ａ／Ｄ変換ＩＣ２０６、アクチュエーター２０７に対応する。

画像信号処理部３０８は、図２におけるＣＰＵ２０８に対応し、メイン撮影部３５０、サブ撮影部３５１からの映像信号を入力として受け取り、立体映像信号を生成し、出力する。画像信号処理部３０８が立体映像信号を生成する具体的方法については、後述する。

水平方向検出部３１８は、図２における加速度センサ２１１に対応し、映像撮影時の水平方向を検出する。

表示部３１４は、図２におけるディスプレイ２１２の映像表示機能に対応し、画像信号処理部３０８により生成された立体映像信号を表示する。表示部３１４は、入力された立体映像に含まれる左右の映像を、時間軸上で交互に表示する。視聴者は、表示部３１４の表示と同期して、視聴者の左眼に入射する光と右眼に入射する光とを交互に遮光する映像視聴用眼鏡（アクティブシャッター眼鏡）等を利用することで、左眼用映像を左眼のみで視聴し、右眼用映像を右眼のみで視聴する。

映像圧縮部３１５は、図２におけるエンコーダー２１３に対応し、画像信号処理部３０８で生成された立体像信号を所定の方式に従って符号化する。

蓄積部３１６は、図２における記憶装置２１４に対応し、映像圧縮部３１５で符号化された立体映像信号を記録保持する。なお、蓄積部３１６は、上記の立体映像信号に限らず、他の形式で構成される立体映像信号を記録するものであってもよい。

入力部３１７は、図２における入力装置２１５やディスプレイ２１２のタッチパネル機能に対応し、映像撮影装置外部からの入力を受け付ける。

＜立体映像信号の生成処理について＞
次に、画像信号処理部３０８が行う立体映像信号の生成処理を説明する。なお、以下の説明では、画像信号処理部３０８での処理は、ＣＰＵ２０８を用いたソフトウェアによって実現されるものとするが、本実施の形態はこれに限定するものではない。例えばＦＰＧＡやその他の集積回路等によるハードウェア構成によって同様の処理内容を実現するものであってもよい。

画像信号処理部３０８は、図３に示すように、画角合わせ部３０９、画素数合わせ部３１０、差異計算部３１１、画像生成部３１２、撮影制御部３１３を有する。

画角合わせ部３０９は、メイン撮影部３５０およびサブ撮影部３５１の両方から入力された映像信号の画角を合わせる。「画角（Ａｎｇｌｅ ｏｆ ｖｉｅｗ）」とは、メイン撮影部３５０およびサブ撮影部３５１によってそれぞれ撮影された映像の撮影範囲（通常、角度で表現される）を意味する。

図４は、メイン撮影部３５０およびサブ撮影部３５１から入力されたある時点での映像信号に基づいて生成された２つの画像を並べたものである。メイン撮影部３５０からの映像（右側映像Ｒ）とサブ撮影部３５１からの映像（左側映像Ｌ）とでは映像の倍率が異なっている。これは、第１光学部３００（第１レンズ群２００）は光学ズーム機能を搭載しているが、第２光学部３０４（第２レンズ群２０４）は光学ズーム機能を搭載していないためである。メイン撮影部３５０とサブ撮影部３５１とで、同じ被写体を撮影したとしても、第１光学部３００のズーム倍率と第２光学部３０４のズーム倍率との差異や、相互の位置関係により、実際に撮影される「画角」（映像の撮影範囲）は異なる。画角合わせ部３０９は、これらそれぞれによって撮影された異なる画角の映像を合わせる処理を行う。なお、本実施の形態では、サブ撮影部３５１の第２光学部３０４が光学ズーム機能を搭載しないため、第２光学部３０４（第２レンズ群２０４）を小型化することが可能となる。

画角合わせ部３０９は、サブ撮影部３５１によって撮影された左側映像から、メイン撮影部３５０によって撮影された右側映像に該当する部分を抽出する。画像信号処理部３０８は、撮影された映像を処理するとともに、光学制御部３０３を介して撮影中の第１光学部３００の状態を取得することができる。例えば、画像信号処理部３０８は、ズーム制御を行う場合は、撮影制御部３１３によって光学制御部３０３を介して第１光学部３００のズーム機能を制御する。そのため、画像信号処理部３０８は、メイン撮影部３５０で撮影された映像のズーム倍率を付帯情報として取得することができる。反対に、第２光学部３０４はズーム機能を有しないため、その倍率が予めわかっている。画角合わせ部３０９は、これらの情報に基づいて、メイン撮影部３５０およびサブ撮影部３５１間の倍率の違いを算出し、その倍率の違いにより、左側映像の中で右側映像に該当する部分を特定することが可能となる。なお、この処理の際、該当する部分に比べ、例えば１０％程度大きい範囲をまず切り出し、切り出した範囲内で公知のパターンマッチング等を行えば、簡単な処理で実現できる。左側映像の中で右側映像に該当する部分を特定する方法としては、公知のどのような方法を用いてもよい。

図４では、左側映像の点線部分が右側映像に相当する部分であることを示している。左側映像は、ズーム機能のない単焦点レンズを有する第２光学部３０４によって取得された映像であるため、ズームレンズがズーミングした状態で撮影された右側映像よりも広範な範囲（広角）に及んでいる。画角合わせ部３０９は、右側映像と、左側映像の点線部分とにより、両者の画角を合わせた映像を生成する。

画素数合わせ部３１０は、画角合わせ部３０９によって画角が合わせられた左右両映像の画素数を合わせる。メイン撮影部３５０とサブ撮影部３５１とでそれぞれ用いられている撮像部３０１と撮像部３０５とでは、その画素数が異なっている。また、メイン撮影部３５０がズーム撮影した場合、画角合わせ部３０９により画角合わせされた、サブ撮影部３５１による映像（サブ映像）から抽出された部分が持つ画素数は、ズーム倍率により増減する。そのため、画角合わせ部３０９によって画角が合わせられた左右の映像は、この時点ではまだ画素数が異なり、両者を比較するには扱いにくい状態である。そこで、画素数合わせ部３１０は、画角合わせ部３０９により抽出された映像の画素数を合わせる作業を行う。なお、画素数合わせ部３１０は、画角が合わせられた左右の両映像の輝度信号レベルや色信号レベルの違いが大きい場合には、これら左右両映像の輝度信号レベルや色信号レベルを合わせる処理を同時に行ってもよい。

また、画素数合わせ部３１０は、撮像部３０１（ＣＣＤ２０１）、および撮像部３０５（ＣＣＤ２０５）の画素数が多い場合には、画素数を縮小する処理を行う。例えば、メイン撮影部３５０で撮影された映像が、高精細度テレビ方式対応に対応した１９２０×１０８０の情報量を持つ場合、取り扱う情報量が大きくなる。情報量が多いと、要求される映像撮影装置１０１全体の処理能力が高くなり、撮影した映像の処理に要する時間が長くなる等、データ処理が困難となりやすくなる。そこで、画素数合わせ部３１０は、画素数を合わせると同時に、必要に応じて、画素数を減数させる処理を行う。

画素数合わせ部３１０は、例えば、１９２０×１０８０の、メイン撮影部３５０が撮影した映像を、２８８×１６２のサイズに縮小する。これは、縦、横方向にそれぞれ３／２０倍にしたものである。

なお、画素数合わせ部３１０による映像の縮小、又は拡大方法は、ここに示した方法に限定されない。これらの方法は、既知のいずれの方法であってもよい。

サブ撮影部３５１の撮像部３０５が、メイン撮影部３５０の撮像部３０１よりも多くの画素数をもつ場合、例えば、図４に示すように３８４０×２１６０の解像度を有していて、画角合わせ部３０９により、左側映像から抽出された映像の大きさが１２８０×７２０である場合を考える。この場合、画素数合わせ部３１０は、抽出された１２８０×７２０の映像を縦、横にそれぞれ９／４０倍にする。これにより、左側映像についても、２８８×１６２の映像となる。

図５は、画角合わせ部３０９と画素数合わせ部３１０とによる映像データの処理結果の変化を示す図である。なお、図５には、後述する差異計算部３１１および画像生成部３１２による処理結果も併せて示されている。上記のように、画角合わせ部３０９は、右側映像（Ｒ）および左側映像（Ｌ）の画角を合わせると、左側映像から右側映像に該当する部分を抽出する（１２８０×７２０の映像）。画素数合わせ部３１０は、画角が合わせられた左右の映像の画素数を合わせるとともに、以降の処理に適した大きさに両映像を縮小する（２８８×１６２の映像Ｒｓ、Ｌｓ）。

差異計算部３１１は、画角合わせ部３０９および画素数合わせ部３１０によって、画角合わせおよび画素数合わせ処理が行われた左右両映像の視差を検出および算出する。メイン撮影部３５０によって撮影された映像とサブ撮影部３５１によって撮影された映像とは、同じ被写体を撮影したとしても、視差の分だけ異なる映像となる。例えば、図６に示す２つの映像が撮影された場合、被写体として写っている建物６００の位置が、左眼用映像Ｌと右眼用映像Ｒとで異なっている。メイン撮影部３５０により撮影された右眼用映像Ｒは、サブ撮影部３５１によって撮影された左眼用映像Ｌよりも、右側から撮影された映像である。そのため、右眼用映像Ｒでは、建物６００が、左眼用映像Ｌにおける位置よりも左側に配置されている。反対に、左眼用映像Ｌでは、建物６００が、右眼用映像Ｒにおける位置よりも右側に配置されている。差異計算部３１１は、これらの異なる映像に基づいて、映し出されている被写体の視差を算出する。

図７は、差異計算部３１１によって実行される処理の流れを示すフローチャートである。差異計算部３１１は、図７のフローチャートにしたがって左右両映像間の視差を算出する。以下、図７に示す各ステップを説明する。

ステップＳ７０１：差異計算部３１１は、入力された左右映像から輝度信号（Ｙ信号）のみを抽出した映像を作成する。これは、視差を検出する場合、ＲＧＢ等の３色すべてについて処理を行うよりも、ＹＣｂＣｒ（輝度・色差）のうちのＹ信号（輝度信号）のみで行ったほうが効率的に行うことができ、さらに処理負荷も軽くできるからである。なお、本実施形態では映像を輝度信号Ｙおよび色差信号ＣｂＣｒで表すが、ＲＧＢ等の３色で映像を表現し、処理してもよい。

ステップＳ７０２：差異計算部３１１は、ステップＳ７０１で生成した左右両映像の輝度信号により左右の映像間での差分（Δ（Ｌｓ／Ｒｓ））を算出する。この際、差異計算部３１１は、それぞれの映像内における同じ位置の画素を比較して差分を求める。例えば、左側映像におけるある画素の輝度信号の値（画素値）Ｌｓが１０３、右側映像における対応画素の輝度信号の値Ｒｓが１０１である場合、その画素における差分値Δ（Ｌｓ／Ｒｓ）は２となる。

ステップＳ７０３：ステップＳ７０２で算出した画素間の差分値に基づいて、差異計算部３１１は、画素単位で以下の処理の内容を変える。差分値が０の場合（左右の映像間で画素値がまったく同じ場合）は、ステップＳ７０４の処理を行う。反対に差分値が０以外の場合（左右の映像間で画素値が異なる場合）には、ステップＳ７０５の処理を行う。

ステップＳ７０４：ステップＳ７０３の処理で左右の画素値がまったく同じ場合、差異計算部３１１は、当該画素における視差量を０に設定する。なお、ここでは説明のために左右の画素がまったく同じ場合を視差量０として判断しているが、実際の製品における算出ではこの例に限定されない。左右の画素値がまったく同じでなくとも、当該画素の周囲に位置する画素の値が左右の映像間でまったく同じであり、当該画素の値の差異が小さい場合は、当該画素も左右の映像間で同じであると判断してもよい。つまり、視差量を決定する際に、注目している画素の左右の映像間での差異のみならず、周囲の画素の左右の映像間での差異も考慮して、視差量を決定してもよい。これにより、その画素の近傍にあるエッジやテクスチャなどにより生じる計算誤差の影響を取り除くことができる。また、着目している画素または周囲の画素の画素値がまったく同じでなくとも、着目している画素間の差分が予め設定された閾値に満たない場合は視差量を０と判断してもよい。

ステップＳ７０５：差異計算部３１１は、２つの画像間で差異を検出すると、メイン撮影部３５０による映像（この実施の形態の場合は、右眼用映像）を基準映像として、基準映像の画素が、サブ撮影部３５１による映像（この実施の形態の場合は、左眼用映像）のどの画素と対応するかを検出（探索）する。対応画素の探索は、例えば、左眼用映像における着目する画素を起点として、横方向および縦方向に１画素ずつずらしながら差分を求め、差分が最小になる画素を特定することによって行われ得る。また、あるラインとその近傍ラインとでは、輝度信号のパターンが類似することから、それらのパターンの情報を利用して最も確からしい対応画素を探索してもよい。映像内に無限遠点が存在する場合、そこでは視差が生じないため、無限遠点を基準に対応画素の探索を行うことができる。更に、輝度信号だけでなく、色信号のパターンの類似性を考慮してもよい。映像上のどの部分が無限遠点かは、例えば自動焦点の動作を考慮して判断することが可能である。なお、撮影が、映像撮影装置１０１が完全に水平な状態で行なわれていれば、視差は水平方向にしか発生しないため、右眼用映像と左眼用映像との画素単位の検出は、当該映像の横方向のみで探索すればよいといえる。平行法による撮影の場合、無限遠の物体の視差がゼロとなり、無限遠より近い物体の視差は、水平方向の一方向にしか発生しないため、横方向の探索は一方向のみでもよい。

ステップＳ７０６：差異計算部３１１は、左眼用映像において探索された対応画素と基準映像の画素との映像面上での画素間距離を算出する。画素間距離は、それぞれの画素位置に基づいて算出され、例えば画素数で表される。この算出結果に基づいて、視差量が決定される。画素間距離が大きければ大きいほど視差量が大きいと考えることができる。反対に画素間距離が小さければ小さいほど視差量が小さいと考えることができる。

なお、メイン撮影部３５０による映像とサブ撮影部３５１による映像とで、撮影された被写体は、映像撮影装置１０１から被写体までの距離（撮影距離）が短いほど、映像面上では視差量が大きくなる傾向がある。反対に、映像撮影装置１０１と被写体までの距離が長いほど、映像面上での視差量が小さくなる傾向がある。この傾向についてより詳細に説明する。メイン撮影部３５０とサブ撮影部３５１とが交差法による撮影方法で撮影するように構成されている場合、両者の光軸は一点で交わる。両者の光軸が交わる位置をクロスポイントと呼ぶ。クロスポイントを基準として、被写体がクロスポイントよりも手前（映像撮影装置１０１側）にある場合、被写体が映像撮影装置１０１に近いほど視差量が大きくなる。逆に、被写体がクロスポイントよりも奥（映像撮影装置１０１とは反対側）にある場合、被写体が奥（遠方）にあるほど視差量が大きくなる傾向もある。

ステップＳ７０７：差異計算部３１１は、すべての画素について視差量を決定した場合は、以降のステップＳ７０８へ処理を移す。まだ視差量が決定されていない画素がある場合は、まだ視差量が決定されていない画素についてステップＳ７０３に戻り上記の処理を繰り返す。

ステップＳ７０８：すべての画素について視差量を決定すると、映像面全体について視差量が決定されたことになるので、差異計算部３１１は、この映像面全体での視差量の情報をデプスマップ（ＤｅｐｔｈＭａｐ）として作成する。このデプスマップは、映像面に映っている被写体、又は、映像面の部分毎の奥行き情報を示す情報である。デプスマップにおいては、視差量が小さい部分は０に近い値を持ち、視差量が大きい部分ほど大きい値を持つ。視差量とデプスマップで示される奥行き情報との間には、１対１の関係があり、輻輳角やステレオベース距離などの幾何学的な撮影条件を与えると相互変換ができる。よって、メイン撮影部３５０による画像（主画像）と左右の視差量、または、主画像とデプスマップによって、立体映像を表現することができる。

図９は、図６に示す映像が取得された場合に生成されるデプスマップの例を示す図である。図９（ｂ）に示すように、視差のある部分が視差量に応じて値を持ち、視差のない部分は０の値となる。なお、図９（ｂ）に示す例では、わかり易さのため、実際よりも粗い精度で視差量を表現しているが、実際には画素ごとに視差量が計算され得る。

なお、視差量からデプスマップを生成する際は、第１光学部３００と第２光学部３０４とのレンズ間距離や相互の位置関係を考慮することが好ましい。第１光学部３００と第２光学部３０４とは、人の左右両眼の位置関係と同様の位置関係をもつことが好ましいが、必ずしもそれを実現できない場合がある。その場合は、差異計算部３１１はデプスマップを生成する際に、第１光学部３００と第２光学部３０４との位置関係を考慮してデプスマップを生成するとよい。例えば、第１光学部３００と第２光学部３０４とが近接して配されている場合、デプスマップを生成する際に、算出された個々の視差量の値を大きくするように変換してもよい。第１光学部３００と第２光学部３０４とが近接して設けられていると、撮影される映像間の視差の変化が小さくなるため、そのまま立体映像にしても自然な映像とならない場合がある。そこで、差異計算部３１１は、デプスマップを生成する際に第１光学部３００と第２光学部３０４との位置関係を考慮してデプスマップを生成してもよい。

画像生成部３１２は、差異計算部３１１によって算出されたデプスマップ（画素ごとの視差量）に基づいて、メイン撮影部３５０で撮影された映像から、立体映像の対となる映像を生成する。本実施の形態では、図１０に示すように、画像生成部３１２は、右眼用映像Ｒとデプスマップとに基づいて、左眼用映像Ｌ´を生成する。この場合、画像生成部３１２は、まずメイン撮影部３５０が出力した１９２０×１０８０の右眼用映像Ｒにおいて、デプスマップを参照して映像面上で視差が発生している部分を特定する。次に、当該部分の位置を補正する等の処理を行うことにより、左眼用映像として適当な視差を持つ映像を生成する。つまり、左眼用映像として適切な映像になるように、右眼用映像Ｒにおける当該部分をデプスマップによって示される視差量に応じて右側に移動させる等の処理を施し、その結果生成された映像を左眼用映像Ｌ´として出力する。視差を有する部分を右側に移動させるのは、左眼用映像における視差を有する部分は、右眼用映像における対応する部分よりも右側に位置するためである。

画像生成部３１２は、図５に示すように、生成した左眼用映像Ｌ´と、画像信号処理部３０８に入力された右眼用映像Ｒとを立体映像信号として出力する。これにより、画像信号処理部３０８は、メイン撮影部３５０、およびサブ撮影部３５１により撮影された映像信号に基づいて立体映像信号を出力することが可能となる。

以上の処理により、映像撮影装置１０１は、メイン撮影部３５０とサブ撮影部３５１とが異なる構成であっても、信号処理により、一方の撮影映像から立体映像の対となる他方の映像を生成することが可能となる。

次に、画角合わせ部３０９、画素数合わせ部３１０、差異計算部３１１、画像生成部３１２を含む映像撮影装置１０１全体の処理の流れを図８に示すフローチャートを参照しながら説明する。

ステップＳ８０１：画像信号処理部３０８は、入力部３１７から撮影モードの入力を受けつける。撮影モードは、例えば立体映像（３Ｄ）撮影モードおよび非立体映像（２Ｄ）撮影モードの中からユーザによって選択される。

ステップＳ８０２：画像信号処理部３０８は、入力された撮影モードが、立体映像撮影モードか、非立体映像撮影モードかを判別する。

ステップＳ８０３：画像信号処理部３０８は、入力された撮影モードが非立体映像撮影モードの場合は、メイン撮影部３５０で撮影される映像を従来どおりの方式で撮影、記録する。

ステップＳ８０４：画像信号処理部３０８は、入力された撮影モードが立体映像撮影モードの場合は、メイン撮影部３５０およびサブ撮影部３５１によってそれぞれメイン映像およびサブ映像を撮影する。

ステップＳ８０５：画角合わせ部３０９は、上述した方法により、入力されたメイン映像およびサブ映像の画角合わせ処理を行う。

ステップＳ８０６：画素数合わせ部３１０は、上述した方法により、画角合わせされたメイン映像およびサブ映像について画素数合わせ処理を行う。

ステップＳ８０７：差異計算部３１１は、画素数合わせ処理が行われたメイン映像およびサブ映像について、視差量の検出を行う。視差量の検出は、図７を参照しながら説明した上記の処理によって行われる。

ステップＳ８０８：画像生成部３１２は、上述した方法により、メイン映像と、算出された視差量とから、メイン映像に対して立体映像の対となるサブ映像を生成する。

ステップＳ８０９：映像撮影装置１０１は、生成された立体映像を表示部３１４に表示する。なお、ここでは生成された映像を表示する場合の例を示したが、表示ではなく記録する処理を行ってもよい。

ステップＳ８１０：映像撮影装置１０１は、引き続き映像の撮影が続けられるか否かを判断する。撮影が続けられる場合は、ステップＳ８０４に戻って処理を繰り返す。撮影が続けられない場合は、映像撮影装置１０１は撮影を終了する。

なお、撮影した映像から立体映像用の映像を生成する方法は、上記の方法に限定されるものではない。別の方法としては、輪郭マッチングを用いた方法がある。この方法は、左右どちらかの粗い画像チャンネルの輪郭に、他方の高精細画像の輪郭をマッチングさせることにより、テクスチャーを埋め、高精細な画像を生成する方法である。ＣＧの分野で導入されているように、頂点、稜線、面の接続情報（位相情報）を持ったポリゴンなどによって表現された３Ｄモデル（３Ｄオブジェクト）の表面にテクスチャーをマッピングする（壁紙のように貼り付ける）ことにより、高精細な画像を生成することができる。この際、オクルージョン部（隠れ部）のテクスチャーは、その周囲の既知のテクスチャーから推定して埋めることができる。なお、オクル―ジョン部とは、一方の映像には映っているが、他方の映像には映っていない部分（情報欠落領域）を指す。オクルージョン部で無い部分を引き伸ばすことにより、オクルージョン部をオクルージョン部で無い部分で隠すこともできる。

オクル―ジョン部でない部分を引き延ばす方法として、例えば、公知のガウシアンフィルタ等の平滑化フィルタを用いる方法がある。比較的低い解像度のデプスマップに、予め定められた減衰特性をもつ平滑化フィルタを通して得られる新たなデプスマップを用いてオクル―ジョン部をもつ映像を補正することができる。このような方法により、オクル―ジョン部においても自然な立体映像を生成することが可能となる。

さらに別の方法として、２Ｄ−３Ｄ変換を用いる方法がある。例えば、高精細な左側画像（Ｌ−ｃｈ画像）に対して２Ｄ−３Ｄ変換を施して生成される高精細な右側画像（Ｒ−ｃｈ画像、推定画像）と、実際に撮影された右側画像（Ｒ−ｃｈ画像）とを比較して、輪郭エラーのない高精細な画像を生成することができる。

また、別の方法として、以下の方法を用いてもよい。まず、差異計算部３１１は、高精細なＬ−ｃｈ画像（例えば、水平１９２０画素、垂直１０８０画素）の構図、輪郭、色、テクスチャ、シャープネス、空間周波数分布などの画像特徴より、奥行き情報（デプス情報１）を推定、生成する。ここで、デプス情報１の解像度は、Ｌ−ｃｈ画像の解像度と同等もしくはそれ以下に設定することができる。デプス情報１は、例えば水平２８８画素、垂直１６２画素に設定され得る。次に、差異計算部３１１は、２つのレンズ系より実際に取得されたＬ−ｃｈ画像およびＲ−ｃｈ画像（例えば、水平２８８画素、垂直１６２画素）より奥行き情報（デプス情報２）を生成する。ここで、デプス情報２の解像度はＲ−ｃｈの解像度と同等もしくはそれ以下に設定することができる。デプス情報２は、例えば水平２８８画素、垂直１６２画素に設定され得る。

なお、デプス情報２は実際に撮影した画像から計算しているので、画像特徴より推定して生成したデプス情報１よりも正確である。よって、デプス情報２の奥行き情報を参照して、デプス情報１に推定されるエラーの補正をすることができる。つまり、この場合、画像解析による２Ｄ−３Ｄ変換によって生成された奥行き情報（デプス情報１）の精度を上げるための拘束条件として、デプス情報２を利用することと等価である。

以上の動作は、Ｌ−ｃｈで光学ズームを用いている場合も有効動作する。Ｌ−ｃｈで光学ズームが用いられる時には、高精細なＬ−ｃｈの画像情報を規準画像として、サブ画像としてのＲ−ｃｈの画像情報を参照する方が、画像歪の発生に対して耐性がある。その理由は、第１に、微妙なズーム倍率の変化によるＬ−ｃｈ画像とＲ−ｃｈ画像とのステレオマッチング処理が簡単となるからである。第２に、Ｌ−ｃｈの光学ズーム倍率が連続的に変化する場合に、デプス情報計算のために、Ｒ−ｃｈの電子ズーム倍率を追随させると、計算時間がかかるため、ステレオマッチング処理で画像歪（エラー）が発生する傾向にあるからである。

なお、人の場合、両目から入力したステレオ映像から細やかな立体形状、立体表現を作り上げるのは脳であると言われている。このため、２Ｄ−３Ｄ変換として、例えば、映像全体に眼球の持つ球面的な視差を付けて奥行き感を表現したり、撮影時のズーム量や焦点距離を示す情報を参照することにより、被写体のボケ量から被写体の奥行き情報を推定することもできる。

さらに別の方法として、Ｌ−ｃｈ画像に対して、２つのレンズ系より実測した奥行き情報（デプス情報）を用いた幾何学的な計算を施すことにより、視差情報に変換してもよい。この視差情報を用いて、幾何学的な計算により、Ｌ−ｃｈ画像からＲ−ｃｈ画像を計算することができる。

また、別の方法として、超解像法がある。この方法では、粗いＲ−ｃｈから超解像により、高精細なＲ−ｃｈを生成する際に、高精細なＬ−ｃｈが参照される。例えば、ガウシアンフィルタ等によって平滑化されたデプスマップを、撮像系の幾何学的な位置関係に基づいて視差情報に変換し、その視差情報を用いて高精細なＬ−ｃｈ画像から高精細なＲ−ｃｈ画像を計算することができる。

＜視差情報を利用した映像撮影について＞
次に、画像信号処理部３０８における撮影制御部３１３（図３）の動作を説明する。撮影制御部３１３は、差異計算部３１１によって算出された視差情報に基づいて、メイン撮影部３５０やサブ撮影部３５１の撮影条件を制御する。

本実施の形態の映像撮影装置１０１によって生成される立体映像を構成する左右の映像は、メイン撮影部３５０によって撮影された映像に基づいて生成され、利用される。サブ撮影部３５１によって撮影された映像は、メイン撮影部３５０によって撮影された映像に対する視差情報を検出するために利用される。そのため、サブ撮影部３５１は、メイン撮影部３５０と連携して、視差情報を取得しやすい映像を撮影することが好ましい。

そこで、撮影制御部３１３は、差異計算部３１１によって算出された視差情報に基づいてメイン撮影部３５０およびサブ撮影部３５１の制御を行う。例えば、露出、ホワイトバランス、オートフォーカス等の制御が行われる。

差異計算部３１１がメイン撮影部３５０による映像とサブ撮影部３５１による映像とから視差を適切に検出できない場合、それは、メイン撮影部３５０とサブ撮影部３５１との間で撮影条件が異なっていることが原因の一つと考えられる。そこで、撮影制御部３１３は、差異計算部３１１の視差検出結果に基づいて、光学制御部３０３および／または光学制御部３０７を制御することで、メイン撮影部３５０および／またはサブ撮影部３５１の撮影条件を変化させる。

例えば、メイン撮影部３５０が適正露出で撮影する一方、サブ撮影部３５１が露出を過度に大きくして撮影すると、サブ撮影部３５１による映像は全体的に白色に近い映像（撮影された撮像データの画素の値が上限値に近い値）となり、被写体の輪郭を識別できない場合がある。このような映像に基づいて差異計算部３１１が処理を行うと、サブ撮影部３５１の映像からは被写体の輪郭を抽出できない可能性がある。そこで、撮影制御部３１３は、光学制御部３０７を介してサブ撮影部３５１の露出を修正する制御を行う。露出の修正は、例えば不図示の絞りを調整することによって行われる。これにより、差異計算部３１１は、修正された、サブ撮影部３５１からの映像を利用して視差を検出することが可能となる。

また、別の制御例として、以下の方法を採用してもよい。メイン撮影部３５０の映像とサブ撮影部３５１の映像との間で、写っている被写体の焦点が異なっている場合がある。このような場合、差異計算部３１１は、両者の映像を比較することにより、被写体の輪郭の鮮明度が両者の画像間で異なっていることがわかる。撮影制御部３１３は、両者の画像における同一被写体の輪郭の鮮明度の違いを検出すると、光学制御部３０３および光学制御部３０７を介してメイン撮影部３５０およびサブ撮影部３５１の焦点を同一にするように制御する。具体的には、撮影制御部３１３は、サブ撮影部３５１の焦点をメイン撮影部３５０の焦点に合わせる制御を行う。

以上のように、撮影制御部３１３は、差異計算部３１１で算出した視差情報に基づいてメイン撮影部３５０およびサブ撮影部３５１の撮影条件を制御する。これにより、差異計算部３１１は、メイン撮影部３５０およびサブ撮影部３５１によってそれぞれ撮影された映像から、視差情報をより抽出し易くなる。

＜水平方向情報を利用した立体映像の生成について＞
次に、映像撮影装置１０１が水平面に対して傾いた状態で撮影が行われた場合における画角合わせ部３０９の処理を説明する。画角合わせ部３０９は、水平方向検出部３１８から映像撮影装置１０１の水平方向に関する情報を取得する。一般に立体映像に含まれる左右の映像は、水平方向については視差を持つが、垂直方向については視差を持たない。これは、人間の左右の眼が水平方向に所定の距離をおいて位置している一方で、垂直方向については略同一水平面上に位置しているためである。そのため、一般的に人は、網膜等の知覚細胞においても水平網膜像差による検知度が比較的高い。例えば、視角にして数秒、または、視距離１ｍにおいて約０．５ｍｍの奥行き量を検出できる。水平方向の視差については感度が高いが、垂直方向の視差については、垂直網膜像差による特定の空間知覚パターンに依存するため、概して相対的に感度が低いと考えられる。その点を考慮すると、撮影および生成される立体映像についても、視差は横方向のみに発生させ、縦方向には発生させないことが好ましいと考えられる。

しかし、映像撮影装置１０１が三脚等に固定されて撮影される場合はともかく、ユーザが映像撮影装置１０１を携帯して撮影する場合には、必ずしも撮影される映像が水平方向を保持しているとは限らない。

そこで、水平方向検出部３１８は、映像撮影時の映像撮影装置１０１の状態、特に、水平方向に対する傾きに関する情報を取得する。画角合わせ部３０９は、左右の両画像の画角を合わせる際に、この水平方向検出部３１８からの傾きに関する情報を用いて、映像の水平方向を補正する。例えば、撮影時の映像撮影装置１０１が傾いているために、撮影された映像も、図１１（ａ）に示すように傾いているとする。このような場合、画角合わせ部３０９は、メイン撮影部３５０およびサブ撮影部３５１によって撮影された映像の画角合わせを行うとともに、両映像の水平方向の補正を行う。画角合わせ部３０９は、水平方向検出部３１８から入力される傾き情報に基づいて、画角合わせを行う際の水平方向を変更して、図１１（ａ）の点線枠で示す範囲を、画角合わせの結果として出力する。図１１（ｂ）は、画角合わせ部３０９で水平方向が補正されて出力された結果を示すものである。

画角合わせ部３０９による上記水平方向の補正により、映像撮影装置１０１が傾いた状態で映像を撮影したとしても、立体映像を生成する段階で適正に水平方向が補正される。そのため、生成された立体映像についても、視差は主に横方向（水平方向）に生じ、縦方向（垂直方向）にはほとんど生じない。これにより、視聴者は、自然な立体映像を視聴することが可能となる。

上記の説明では、画角合わせ部３０９は、水平方向検出部３１８からの傾き情報に基づいて、映像撮影装置１０１の撮影状態を検知するものとしたが、本発明はこれに限定するものではない。水平方向検出部３１８を用いなくとも、画像信号処理部３０８は、他の方法によって映像の水平方向の成分や垂直方向の成分を検知してもよい。

例えば、差異計算部３１１は、メイン撮影部３５０とサブ撮影部３５１とが入力した２つの映像に基づいて、視差情報を生成する。この視差情報を用いて差異計算部３１１は水平方向を判断することも可能である。メイン撮影部３５０とサブ撮影部３５１とにより、図１２（ａ）に示す映像Ｒ、Ｌがそれぞれ撮影された場合、差異計算部３１１によって生成される視差情報は、例えば図１２（ｂ）に示すような映像で表される。図１２に示す映像は、視差情報に基づいて、視差がない部分を実線で記載し、視差のある部分を点線で記載している。これによれば、視差のある部分は撮影した映像内において合焦している部分であり、視差のない部分は、合焦している被写体よりも遠くに位置している被写体である。遠くに位置している被写体は、映像の背景等となる部分であり、これらの部分について映像を解析することで水平方向を検出することが可能である。例えば、図１２に示す例では、背景の「山」の部分を論理的に解析することにより、水平方向を判断することができる。例えば、山の形や、山を構成する木々の生育状況より垂直方向や水平方向を判定することができる。

以上の処理により、画角合わせ部３０９や差異計算部３１１は、立体映像を生成する段階で、撮影された映像の傾きを検出し、水平方向を補正した立体映像を生成することが可能となる。映像撮影装置１０１が傾いた状態で撮影した場合であっても、視聴者は水平方向が所定の範囲内で保持された立体映像を視聴することが可能となる。

＜立体映像生成要否の判断等について＞
映像撮影装置１０１は、上記の説明の通り、メイン撮影部３５０およびサブ撮影部３５１によって撮影した映像から立体映像を生成する。しかし、映像撮影装置１０１は、常に立体映像を生成する必要はない。立体映像は、左右映像の視差により被写体の前後関係を視聴者に知覚させることで、視聴される映像が立体的であると視聴者に感じさせる。そのため、表示される映像に含まれる被写体間に前後関係（視差量の大小等）が存在することが必要である。また、複数の被写体が、映像撮影装置１０１の近傍から遠方まで一様に配置されていると、よりわかりやすい立体映像が得られる。

特許文献１や特許文献２に記載のカメラは、常に立体映像を撮影するように構成されている。そのため、撮影しても立体感を得られないようなシーンについても、立体映像が生成されてしまう。そこで、本実施の形態の映像撮影装置１０１は、立体映像の撮影と従来の平面映像の撮影とを撮影条件に応じて好適に切り換えることを可能とする。

図１３は、撮影装置から被写体までの距離（被写体距離）と当該距離に配された被写体の立体として見える程度（立体特性）との関係を示したグラフである。一般に被写体距離が大きくなればなるほど、立体特性は小さくなる傾向がある。逆に、被写体距離が小さくなればなるほど、立体特性は大きくなる傾向にある。

ここで、「被写体」の定義として、一般によく用いられる以下の定義を用いる。
（ケース１）撮影装置がマニュアル・フォーカス・モードの場合は、撮影者が合焦させた撮影対象が被写体であるのが通例である。
（ケース２）また、撮影装置がオート・フォーカス・モードの場合は、撮影装置が自動的に合焦させた撮影対象が被写体となる。この場合、撮影対象の中心付近の人物、動植物、物体や、撮影範囲において自動検出された人物の顔や目立つ物体（一般に、Ｓａｌｉｅｎｔな物体とも呼ばれる）が被写体となるのが通例である。

撮影した映像が風景画のように遠景の被写体ばかりで構成される場合、被写体は遠方にのみ集中して存在する。被写体の位置が撮影装置から遠方になればなるほど立体映像における被写体の視差量は小さくなる。そのため、視聴者には当該映像が立体映像であるとわかりにくくなる場合がある。これは、ズーム倍率が大きくなって画角が小さくなった場合と同様である。

映像撮影装置１０１は、上記の特性を用いて、撮影された条件や、撮影された映像の特性等に応じて立体映像を生成する機能の有効／無効を切り換えてもよい。その具体的な実現方法について以下に記載する。

図１４は、撮影装置から被写体までの距離と、当該被写体を撮影した場合における被写体の有効画素数との関係を示す図である。メイン撮影部３５０の第１光学部３００は、ズーム機能を搭載している。図１４によれば、被写体距離がズーム範囲上限までの範囲（ズーム機能を利用して被写体までの距離に変化があっても被写体像を構成する画素数を一定にできる範囲）内にあれば、第１光学部３００は当該被写体に対してズーム機能を用いることで一定の有効画素数を維持することができる。しかし、被写体距離がズーム範囲上限以上の被写体を撮影する場合は、距離に応じて当該被写体の有効画素数が減少する。一方、サブ撮影部３５１の第２光学部３０４は単焦点機能を有している。そのため、被写体距離に応じて、当該被写体の有効画素数は減少する。

上記のような場合に、画像信号処理部３０８は、映像撮影装置１０１から被写体までの距離である被写体距離が所定の値（閾値）未満の場合（図１４のＡ領域）にのみ、画角合わせ部３０９、画素数合わせ部３１０、差異計算部３１１、画像生成部３１２の機能を有効にし、立体映像を生成する。反対に、被写体距離が所定の値（閾値）以上（図１４のＢ領域）である場合、画像信号処理部３０８は、画角合わせ部３０９、画素数合わせ部３１０、差異計算部３１１、画像生成部３１２を動作させず、メイン撮影部３５０によって撮影された映像を後段に出力する。この被写体距離は、第１光学部３００や第２光学部３０４の合焦の際の焦点距離を利用して測定することが可能である。

上記のように、映像撮影装置１０１は、撮影した被写体の条件、特に被写体までの距離に応じて立体映像を出力する処理と、立体映像を出力しない（非立体映像信号を出力する）処理とを切り換える。この結果、視聴者には、視聴しても立体映像と知覚しにくい映像については、従来の撮影映像（非立体映像）を視聴させることが可能となる。このような制御により、必要な場合だけ立体映像が生成されるため、処理量およびデータ量を低減させることができる。

また、別の切り換え方法として、映像撮影装置１０１は、差異計算部３１１によって検出された視差量の大きさに基づいて、立体映像の生成要否を判定することも可能である。画像生成部３１２は、差異計算部３１１により生成されたデプスマップから当該映像に含まれる最大の視差量を抽出する。この最大の視差量が所定の値（閾値）以上である場合、画像生成部３１２は、当該映像を、所定以上の立体感を得ることができる映像であると判定することができる。反対に、画像生成部３１２がデプスマップから抽出した最大の視差量の値が所定の値（閾値）未満の場合、画像生成部３１２は、当該立体映像を生成しても視聴者には立体感を知覚しがたい映像であると判断することができる。なお、ここでは映像面に含まれる最大の視差量を例として説明したがこれに限定するものではない。例えば、所定の値より大きい視差量を持つ画素が映像面に占める割合に基づいて判断するものであってもよい。

上記の判断方法にしたがって画像生成部３１２が立体映像を生成する場合、映像撮影装置１０１は、すでに説明した方法により、映像撮影装置１０１は立体映像を生成し、出力する。画像生成部３１２が立体映像を知覚しにくい映像であると判断した場合は、画像生成部３１２は、立体映像を生成せず、メイン撮影部３５０から入力された映像を出力する。その結果、映像撮影装置１０１は、撮影した映像のデプスマップに基づいて立体映像の生成、出力を判断することができる。

さらに、すでに述べた水平方向の条件に応じて立体映像の出力要否を判断するものであってもよい。視聴者には水平方向に視差がある映像は比較的自然に見えるが、垂直方向に視差のある映像は不自然に見える可能性がある。そこで、水平方向検出部３１８による検出結果、又は差異計算部３１１により検出された視差量を利用して、撮影される映像の水平方向を、画角合わせ部３０９、又は差異計算部３１１が判断し、立体映像の生成要否を決定してもよい。例えば、図１５Ａに示すように、水平方向の傾きが所定の範囲内の角度（図１５Ａの例ではθの範囲内の角度）であれば、画像信号処理部３０８は立体映像を生成して出力する。反対に、水平方向の傾きが図１５Ａに示す所定の範囲に含まれなければ、画像信号処理部３０８は、メイン撮影部３５０で撮影した映像を出力する。このような制御により、映像撮影装置１０１は、水平方向の傾きに応じて、立体映像の生成、出力要否を判断することが可能となる。

以上のように、映像撮影装置１０１は、幾つかの方法により、立体映像の生成、出力を、その効果（立体特性）を考慮して自動的に切り換えることが可能となる。ここで、立体特性とは、上記のズーム倍率、最大視差量、カメラの傾き等を指す。立体特性の程度が基準レベル以上であれば立体映像が出力され、基準レベルに満たなければ非立体映像が出力される。

図１５Ｂは、上記の立体映像の生成要否の判断に関する画像信号処理部３０８の処理の流れを示すフローチャートである。以下、各ステップを説明する。

ステップＳ１６０１：まず、メイン撮影部３５０およびサブ撮影部３５１の両方で映像（画像フレーム）が撮影される。

ステップＳ１６０２：撮影中の映像の立体特性が大きいか否かが判定される。判定は、例えば上記のいずれかの方法で行われる。立体特性が基準レベルに満たないと判定された場合はステップＳ１６０３に進み、基準レベル以上と判定された場合はステップＳ１６０４に進む。

ステップＳ１６０３：画像信号処理部３０８は、メイン撮影部３５０によって取得された２Ｄ映像を出力する。

ステップＳ１６０４からステップＳ１６０９までの処理は、図８におけるステップＳ８０５からステップＳ８１０までの処理とそれぞれ同じであるため、説明を省略する。

なお、本実施の形態は、光学ズーム機能を備えるメイン撮影部３５０と、電子ズーム機能を備え相対的に高解像度のサブ撮影部３５１とを備える映像撮影装置を例として説明したが、これに限定するものではない。メイン撮影部３５０と、サブ撮影部３５１とが略等価な構成を有する映像撮影装置であってもよい。また、撮影部が単一の方式による撮影を行う映像撮影装置であってもよい。つまり、撮影した映像から立体映像を生成する映像撮影装置であり、被写体までの距離や、水平方向の傾き等といった撮影条件、撮影した被写体の条件等に応じて、立体映像生成の有効／無効、又は立体映像撮影と非立体映像撮影との切り換えを行うものであればよい。そのような構成により、撮影又は生成された立体映像の立体特性の大きさに応じて自動的に映像装置はその切り換えを行うことが可能となる。

以上より、本実施の形態の映像撮影装置１０１は、撮影時の撮影条件や、撮影した映像の条件に応じて、立体映像の撮影と従来の平面映像（非立体映像）の撮影とを好適に切り換えることが可能となる。

＜立体映像の記録方式について＞
次に、図１６を参照しながら、生成した立体映像等の記録方式について記載する。画角合わせ部３０９、画素数合わせ部３１０、差異計算部３１１、画像生成部３１２で生成された立体映像の記録方式については幾つかの方式がある。

図１６（ａ）は、画像信号処理部３０８が生成した立体映像、つまりメイン撮影部３５０で撮影された映像（Ｍａｉｎ Ｖｉｄｅｏ Ｓｔｒｅａｍ）と、当該映像と対になる、画像信号処理部３０８が生成した映像（Ｓｕｂ Ｖｉｄｅｏ Ｓｔｒｅａｍ）とを記録する方式である。この方式では、右側映像と左側映像とが、それぞれ独立のデータとして画像信号処理部３０８から出力される。映像圧縮部３１５は、これらの左右の映像データをそれぞれ独立に符号化する。映像圧縮部３１５は、符号化した左右の映像データを多重化する。符号化、多重化されたデータは、蓄積部３１６に記録される。

蓄積部３１６が可搬型の記録装置である場合は、蓄積部３１６を別の再生装置に接続すれば、当該再生装置において再生が可能である。そのような再生装置は、蓄積部３１６に記録されたデータを読み出し、多重化されたデータを分割し、符号化データを復号する処理を行うことにより、立体映像の左右の映像データを再生することが可能となる。この方式では、再生装置側は、立体映像を再生する機能を備えていれば蓄積部３１６に記録された立体映像を再生できるため、比較的単純な構成で実現できる。

また、別の記録方式として、メイン撮影部３５０で撮影された映像（Ｍａｉｎ Ｖｉｄｅｏ Ｓｔｒｅａｍ）と差異計算部３１１で生成されたデプスマップとを記録する方式がある（図１６（ｂ））。この方式では、映像圧縮部３１５は、メイン撮影部３５０で撮影された映像を符号化し、符号化された映像データとデプスマップとを多重化する。符号化、多重化されたデータは蓄積部３１６に記録される。

この方式では、再生装置側でデプスマップとメイン側映像とに基づいて、立体映像の対となる映像を生成する必要がある。そのため、再生装置が比較的複雑な構成となる。しかし、デプスマップのデータは、圧縮符号化により、立体映像の対となる映像データよりもデータ量を小さくできるため、本方式によれば、蓄積部３１６に記録するデータ量を低減することができる。

また別の方式として、メイン撮影部３５０で撮影された映像と、差異計算部３１１で算出されたメイン側映像とサブ側映像との差分Δ（Ｌｓ／Ｒｓ）とを記録する方式がある（図１６（ｃ））。この場合、映像圧縮部３１５は、メイン撮影部３５０で撮影された映像と、差分Δ（Ｌｓ／Ｒｓ）を示す情報とを符号化する。さらに、映像圧縮部３１５は、符号化された映像と差分データとを多重化する。多重化されたデータは蓄積部３１６に記録される。なお、本明細書では、画素ごとに算出された差分Δ（Ｌｓ／Ｒｓ）の集合を「差分画像」と呼ぶことがある。

この方式では、再生装置側は、差分Δ（Ｌｓ／Ｒｓ）とメイン側映像とに基づいて、視差量（デプスマップと同義。なぜならば、視差量は幾何学的な計算によりデプスマップに変換できるため。）を算出し、さらに立体映像の対となる映像を生成する必要がある。そのため、再生装置は映像撮影装置に比較的近い構成を持つ必要がある。しかし、差分Δ（Ｌｓ／Ｒｓ）のデータを有するため、再生装置側に好適な視差量（デプスマップ）の算出が可能となる。再生装置側で好適な視差量が算出できれば、例えば、再生装置は、当該装置の表示ディスプレイ等の大きさに応じて、視差量を調整した立体映像を生成、表示することができる。立体映像は左眼用映像と右眼用映像との視差の大きさに応じて、立体感（表示面に対する前後方向の奥行き感）が異なる。そのため、同じ立体映像を大型の表示ディスプレイで視聴する場合と、小型の表示ディスプレイで視聴する場合とでは立体感が異なる。本記録方式の場合、再生装置は自身の表示ディスプレイの大きさにしたがって、生成する立体映像の視差量を調整することができる。また、左右両眼が合焦する面とディスプレイ面との角度と、表示される立体映像が持つ視差が有する角度とが、より快適に視聴できると考えられる関係を保つように、再生装置は、表示する立体映像の臨場感等を制御することが可能となる。これにより、視聴される３Ｄ映像の品質を、より高めることが可能となる。

さらに、他の方式として、図１６には表されていないが、メイン撮影部３５０で撮影された映像と、サブ撮影部３５１で撮影された映像とを記録する方式も可能である。この場合、映像圧縮部３１５は、メイン撮影部３５０で撮影された映像と、サブ撮影部３５１で撮影された映像とを符号化する。さらに、映像圧縮部３１５は、符号化された映像と差分データとを多重化する。多重化されたデータは蓄積部３１６に記録される。

この方式では、撮影装置１０１は、画角合わせ部２０１３、画素数合わせ部２０１４、差異計算部２０１５、および画像生成部２０１６を備えている必要はない。一方、再生装置は、画角合わせ部２０１３、画素数合わせ部２０１４、差異計算部２０１５、および画像生成部２０１６を備える。再生装置は、上記の画像信号処理部３０８が行う処理と同様の処理（画角合わせ、画素数合わせ、差分画像の生成、デプスマップの生成、デプスマップによるメイン画像の補正）により、立体画像を生成することが可能である。この方式は、図３に示す画像信号処理部３０８を撮影装置とは独立した画像処理装置として構成し、当該画像処理装置を再生装置に設ける方式であると言える。そのような方式であっても、上記の実施形態と同様の機能を実現することができる。

さらに、再生装置は、立体映像を視聴する視聴者によって、例えば、視聴する人が大人であるか子供であるかによって、表示する映像の視差量を調整してもよい。このような調整により、立体映像の奥行き感を視聴者に応じて変えることができる。視聴者が子供の場合には、奥行き感を小さくするほうが好ましいと考えられる。また、別の例として、部屋の明るさに応じて立体感を変えるものであってもよい。これらの調整は、図１６（ｂ）に示す方式においても同様に再生装置側で行うことが可能である。これにより、再生装置は、視聴者が大人であるか子供であるかなどの視聴条件を示す情報をテレビ（ＴＶ）やリモコンなどから受け取り、立体映像の奥行き感を好適に変更することが可能となる。なお、視聴条件としては、上記以外に部屋の明るさ、視聴者が認証登録者であるか否か等、上記以外の各種の視聴者又は視聴環境に関する条件であればいずれの情報であってもよい。

図１７（ａ）は、映像撮影装置１０１によって撮影された左右の映像からなる立体映像を示している。図１７（ｂ）は、再生装置側で生成された、立体感を弱めた立体映像を示す図である。図１７（ｂ）に示す映像は、図１７（ａ）に示す映像に比べ、被写体として写っている建築物の位置が左右の映像間で近づいている。つまり、サブ側の映像に写っている建築物の位置が、図１７（ａ）の場合と比較して左側に位置している。図１７（ｃ）は、再生装置側で立体感をより強めた立体映像を生成した場合の例を示す図である。図１７（ｃ）に示す映像は、図１７（ａ）に示す映像と比較して、被写体として写っている建築物の位置が左右の映像間で離れている。つまり、サブ側の映像に写っている建築物の位置が、図１７（ａ）の場合と比較して右側に位置している。再生装置は、このように、立体感の大きさを、各種の条件により独自に設定することができる。

なお、本実施の形態の映像撮影装置が、上で説明したように、立体映像の生成要否を各種条件により切り換える場合は、上記の記録方式のいずれかに、さらに以下の情報を追加することができる。映像撮影装置１０１は、映像を撮影した際の撮影条件や、撮影された映像の条件等によって、立体映像を生成する（立体映像を出力する）処理と、立体映像を生成しない（立体映像を出力しない）処理とを切り換える。そのため、映像撮影装置１０１は、立体映像を生成した部分と、立体映像を生成していない部分とを再生装置側で区別することができるようにするため、記録される映像とともに補助データとして、この区別するための識別情報を記録してもよい。なお、「立体映像を生成した部分」とは、映像を構成する複数のフレームのうち、立体画像として生成されたフレームの範囲、すなわち時間的な部分を意味する。補助データには、例えば、立体映像が生成されている部分の開始時刻と終了時刻とを示す時間情報、又は開始時刻と立体映像が生成されている期間とを示す時間情報等により構成され得る。時間情報以外でも、例えばフレーム番号や、映像データの先頭からのオフセット等で示されるものであってもよい。つまり、補助データには、記録される映像データ内での立体映像が生成されている部分と、生成されていない部分とが識別される情報を含んでいるものであればいずれの方式であってもよい。

映像撮影装置１０１は、例えば立体映像を生成した部分（３Ｄ映像）と、立体映像を生成していない部分（２Ｄ映像）とを識別するための上記の時間情報やその他の情報、例えば２Ｄ／３Ｄ識別フラグ等の情報を生成する。そして、当該情報を例えばＡＶデータ（ストリーム）やプレイリストに補助情報として記録する。再生装置は、補助情報に含まれる時間情報や２Ｄ／３Ｄ識別フラグ等により、２Ｄ／３Ｄ撮影区間を区別することができる。再生装置は、これを利用して自動的に２Ｄ／３Ｄを切り換えて再生することや、３Ｄ撮影された区間（部分）だけを抽出して再生するなどの様々な再生制御を行うことが可能となる。

そのような識別情報（制御情報）は、例えば「０：不要、１：要、２：撮影システムに任せる」のように、３Ｄ出力の要否を示す３値の情報であってもよいし、「０：低、１：中、２：高、３：高すぎて危険」のように、立体特性の程度を示す４値の値をとる情報であってもよい。上記の例に限らず、２値または４値よりも多くの情報によって３Ｄ表示の要否を表してもよい。

また、上記の識別情報によって立体映像の出力要否を指示するのではなく、２つの映像の状態および撮影条件の少なくとも一方の情報から立体特性が低いと判断した場合に、当該映像フレームについては視差情報の記録を行わないようにしてもよい。この場合、再生装置は、視差情報を受け取った場合のみ立体映像を表示し、視差情報を受け取らなかった場合には非立体映像を表示するように構成されていればよい。

なお、視差量を示す情報は、後述するように、例えば撮影された被写体の視差量を検出して算出したデプスマップである。このデプスマップを構成する各画素のデプス値は、例えば６ビットのビット列で表される。この実施例では、制御情報としての識別情報はデプスマップと組み合わせた統合データとして記録してもよい。また、統合データを、映像ストリームの特定の位置（例えば、付加情報エリアやユーザーエリア）に埋め込むこともできる。

また、制御情報としての識別情報とデプスマップとを組み合わせた統合データに映像ストリームのタイムコードを関連付けて、この統合データをファイル化して、専用のファイル格納領域（いわゆる、ファイルシステムにおけるディレクトリ、または、フォルダ）に記録することもできる。なお、タイムコードは、例えば、１秒に３０フレームや６０フレームの映像フレーム毎に付加される。ある特定のシーンは、そのシーンの先頭フレームのタイムコードから、そのシーンの最終フレームのタイムコードまでの一連のタイムコードにより識別される。

また、制御情報としての識別情報とデプスマップとに、それぞれ映像ストリームのタイムコードを関連付けて、それぞれのデータを専用のファイル格納領域に記録することもできる。

このように、「制御情報」と「視差量を示す情報（デプスマップ）」とを一緒に記録することによって、左右画像の視差量が適切で迫力のあるシーンや、左右画像の視差量が大きくなりすぎて安全性に課題のあるシーンをマーキングすることができる。よって、このマーキングを利用して、例えば、立体感（３Ｄ感）があって迫力のあるシーンの高速探索（呼び出し）や、ハイライト再生用のシーンへの適用が容易に実現できる。また、このマーキングを利用して、３Ｄ出力が不要なシーンや安全性に課題のあるシーンをスキップ再生したり、安全な画像に再加工（信号処理により安全な画像に変換）したりすることも可能となる。

以上、本実施の形態によれば、全ての撮影部（撮影ユニット）を略等価な構成とする必要がないため、立体映像の一方を構成する映像を撮影する撮影部と、視差量を検出するための映像を撮影する撮影部とで、異なる構成とすることができる。特に、視差量を検出するための映像を撮影する撮影部は、立体映像の一方を構成する映像を撮影する撮影部と比較して簡略な構成で実現できる可能性があるため、より簡単な構成で立体映像撮影装置を構成することができる。

なお、上記の実施の形態では、メイン撮影部３５０による映像が立体映像の右眼用映像として、画像生成部３１２により生成される映像が左眼用映像として扱われるが、本発明はこれに限定されるものではない。メイン撮影部３５０とサブ撮影部３５１との位置関係が逆、すなわち、メイン撮影部３５０による映像を左眼用映像として、画像生成部３１２により生成される映像を右眼用映像としてもよい。

また、上記の説明において、画素数合わせ部３１０が出力する映像のサイズ（２８８×１６２）は、一例であり、本発明はこのようなサイズに限定されるものではない。上記以外のサイズの映像を扱ってもよい。

また、本実施の形態では、メイン撮影部３５０のレンズとサブ撮影部３５１のレンズとが異なる構成を有しているが、これらが同じ構成であってもよい。例えば、メイン撮影部３５０、サブ撮影部３５１ともに同じ焦点距離を持った単焦点レンズであってもよいし、異なる焦点距離を持った単焦点レンズであってもよい。いずれの場合も、撮影される映像のズーム倍率は固定されているため、画角合わせ部３１０は、両撮影部で撮影された映像から画角合わせ処理を行う際の抽出部分を予め決めておくことができる。さらに、両者のレンズ特性に応じて、撮像部の解像度を設計段階から最適な解像度に決めておくことができる。

（実施の形態２）
次に、本発明の実施の形態２を説明する。本実施の形態は、サブ撮像部が２個設けられている点で、実施の形態１とは異なっている。以下、実施の形態１と異なる点を中心に説明し、重複する事項についての説明は省略する。

特許文献１や特許文献２に記載のカメラでは、主撮影部で撮影された映像を立体画像の一方（主画像）とし、この主画像から生成した画像を立体画像の他方（従画像）とする。主画像は、実際に撮影された映像であるため信頼性の高い映像であるが、従画像は、視差情報に基づいて主画像から生成されるため、主画像と比較すると信頼性の低い画像となる。このような立体画像を表示すると、左右で内容の異なる画像となる恐れがあった。本実施の形態では、複数の撮影系で撮影された映像から立体映像が左右の映像間でも内容の相違が少ない立体映像を生成することを可能とする。

＜映像撮影装置の構成＞
図１８は、本実施の形態による映像撮影装置１８００を示す外観図である。図１８の映像撮影装置１８００は、センターレンズ部１８０１と、そのまわりに設けられた、第１サブレンズ部１８０２および第２サブレンズ部１８０３とを備えている。実施の形態１で示した第２レンズ部１０３はない。

図１８に示す例では、センターレンズ群１８０１の近傍に、第１サブレンズ部１８０２と第２サブレンズ部１８０３とが設けられている。本実施の形態ではこのような構成を例として説明するが、レンズの配置はこれに限定するものではない。例えば、第１サブレンズ部１８０２と第２サブレンズ部１８０３との距離が人の左右両眼間の距離と略等価になるような位置に、これらのレンズを配置するものであってもよい。この場合は、以下に説明するように、センターレンズ部１８０１で撮影された映像から生成される立体映像の左右それぞれの映像間の視差量を人の目で対象物を見た場合の視差量に近づけることが可能となる。この場合、より好ましくは、第１サブレンズ部１８０２と第２サブレンズ部１８０３とは、それぞれのレンズの中心が略同一水平面上に位置する位置関係にあることが好ましい。

また、センターレンズ部１８０１との位置関係については、センターレンズ部１８０１は、第１サブレンズ部１８０２と第２サブレンズ部１８０３との相互から略等価な距離の位置にあることが好ましい。これは、センターレンズ部１８０１を用いて撮影した映像から立体映像を構成する左右映像を生成する際に、左右対称な映像を生成しやすいようにするためである。図１８に示す例では、センターレンズ部１８０１の鏡筒部１８０４に隣接する位置に第１サブレンズ部１８０２と第２サブレンズ部１８０３とが配置されている。この場合、センターレンズ部１８０１が、略真円の形状であれば、第１サブレンズ部１８０２と第２サブレンズ部１８０３とはセンターレンズ部１８０１に対して略左右対称の位置関係にあるといえる。

図１９は、映像撮影装置１８００のハードウェア構成の概略を示す図である。映像撮影装置１８００は、実施の形態１におけるメイン撮影ユニット２５０に代えて、センターレンズ部１８０１のレンズ群（センターレンズ群１９００）を備えるセンター撮影ユニット１９５０を有している。また、サブ撮影ユニット２５１に代えて、第１サブレンズ部１８０２のレンズ群（第１サブレンズ群１９０４）を備えるサブ１撮影ユニット１９５１と、第２サブレンズ部１８０３のレンズ群（第２サブレンズ群１９０８）を備えるサブ２撮影ユニット１９５２とを有している。センター撮影ユニット１９５０は、センターレンズ群１９００の他、ＣＣＤ１９０１、Ａ／Ｄ変換ＩＣ１９０２、およびアクチュエーター１９０３も有している。サブ１撮影ユニット１９５１は、第１サブレンズ群１９０４の他、ＣＣＤ１９０５、Ａ／Ｄ変換ＩＣ１９０６、およびアクチュエーター１９０７も有している。サブ２撮影ユニット１９５２は、第２サブレンズ群１９０８の他、ＣＣＤ１９０９、Ａ／Ｄ変換ＩＣ１９１０、およびアクチュエーター１９１１も有している。

センター撮影ユニット１９５０のセンターレンズ群１９００は、サブ１撮影ユニット１９５１の第１サブレンズ群１９０４や、サブ２撮影ユニット１９５２の第２サブレンズ群１９０８より、比較的大きいレンズ群から構成されていることが好ましい。また、センター撮影ユニット１９５０は、ズーム機能を搭載していることが好ましい。これは、センターレンズ群１９００で撮影された映像は立体映像を生成する際の基本となるため、集光能力が高く、撮影倍率を任意に変更できるほうが好ましいからである。

サブ１撮影ユニット１９５１の第１サブレンズ群１９０４、およびサブ２撮影ユニットの第２サブレンズ群１９０８は、センター撮影ユニット１９５０のセンターレンズ群１９００よりも小型のレンズであってもよい。また、サブ１撮影ユニット１９５１およびサブ２撮影ユニット１９５２は、ズーム機能を有していなくてもよい。

また、サブ１撮影ユニット１９５１のＣＣＤ１９０５およびサブ２撮影ユニット１９５２のＣＣＤ１９０９は、センター撮影ユニットのＣＣＤ１９０１よりも高解像度であることが好ましい。サブ１撮影ユニット１９５１や、サブ２撮影ユニット１９５２で撮影された映像は、後述する画角合わせ部２０１３の処理により、電子ズームによって一部が抽出される可能性がある。そのため、その際にも画像の精度を保てるようにこれらのＣＣＤは高精度であることが好ましい。

その他のハードウェア構成については、図２を参照して説明した実施の形態１における構成と同じであるため、説明を省略する。

図２０は、映像撮影装置１８００の機能構成図である。映像撮影装置１８００は、実施の形態１と比較して、メイン撮影部３５０に代えてセンター撮影部（主撮影部）２０５０を、サブ撮影部３５１に代えてサブ１撮影部（第１従撮影部）２０５１と、サブ２撮影部（第２従撮影部）２０５２とを備えている点が異なる。しかし、センター撮影部２０５０とメイン撮影部３５０とは機能的にほぼ等価であり、サブ１撮影部２０５１およびサブ２撮影部２０５２は、サブ撮影部３５１と機能的にほぼ等価である。

なお、本実施の形態では図１８に示す映像撮影装置１８００の構成を例として説明するが、本発明はこの構成に限定されるものではない。例えば、他の構成として、３つ以上のサブ撮影部（従撮影部）が設けられた構成であってもよい。また、従撮影部はセンター撮影部（主撮影部）と必ずしも、略同一水平面上に配置されなくてもよい。意図的に、主撮影部や他の従撮影部と垂直方向に異なる位置に配置したものであってもよい。そのような構成では、垂直方向に立体感のある映像を撮影することができる。このように、複数の従撮影部を備えることで、映像撮影装置１８００は、さまざまな角度からの撮影（多視点撮影）を実現することが可能となる。

画像信号処理部２０１２は、実施の形態１における画像信号処理部３０８と同様に、画角合わせ部２０１３、画素数合わせ部２０１４、差異計算部２０１５、画像生成部２０１６、撮影制御部２０１７を有する。

画角合わせ部２０１３は、センター撮影部２０５０、サブ１撮影部２０５１、サブ２撮影部２０５２から入力される映像の画角を合わせる。画角合わせ部２０１３は、実施の形態１と異なり、３つの異なる角度から撮影された映像の画角を合わせる処理を行う。

画素数合わせ部２０１４は、画角合わせ部２０１３により画角が合わせられた３つの映像間の画素数を合わせる処理を行う。

差異計算部２０１５は、画角合わせ部２０１３および画素数合わせ部２０１４により、画角および画素数が合わせられた３つの映像から、撮影された被写体の視差量を検出し、デプスマップを生成する。

画像生成部２０１６は、差異計算部２０１５によって生成された映像に撮影されている被写体の視差量（デプスマップ）に基づいて、センター撮影部２０５０で撮影された映像から立体映像用の左右の映像を生成する。

撮影制御部２０１７は、差異計算部２０１５が算出した視差量に基づいてセンター撮影部２０５０、サブ１撮影部２０５１、サブ２撮影部２０５２の撮影条件を制御する。

水平方向検出部２０２２、表示部２０１８、映像圧縮部２０１９、蓄積部２０２０、入力部２０２１は、それぞれ実施の形態１の水平方向検出部３１８、表示部３１４、映像圧縮部３１５、蓄積部３１６、入力部３１７と同じであるので説明を省略する。

＜立体映像信号の生成処理について＞
以下、本実施の形態における立体映像信号の生成処理を説明する。本実施の形態における立体映像信号の生成処理において、実施の形態１と大きく異なる点は、以下の点にある。すなわち、画像信号処理部２０１２にセンター撮影部２０５０、サブ１撮影部２０５１、サブ２撮影部２０５２の３系統からの映像信号が入力され、その入力された３系統の映像信号に基づいて視差量が算出される。その後、算出された視差量に基づいてセンター撮影部２０５０で撮影された映像から、新たに立体映像を構成する左右の映像が生成される。

なお、いわゆる両眼間隔に相当するステレオベース距離と視差情報とを用いて、立体映像を演算して生成する過程において、これらの演算係数を変更することにより、立体の臨場感を制御することが可能となる。これにより、視聴される３Ｄ映像の品質をより高めることができる。

図２１は、画角合わせ部２０１３に入力された３つの映像と、画角合わせ部２０１３が行う画角合わせの処理との関係を示したものである。画角合わせ部２０１３は、センター撮影部２０５０で撮影された映像（Ｃｅｎｔｅｒ）を基準として、サブ１撮影部２０５１およびサブ２撮影部２０５２でそれぞれ撮影された映像（Ｓｕｂ１、Ｓｕｂ２）中から、センター撮影部２０５０で撮影された部分（画角）と同じ領域を抽出する作業を行う。この場合、実施の形態１と同様に、画角合わせ部２０１３は、入力された映像に基づいて画角を合わせる作業を行ってもよいし、撮影時の撮影制御部２０１７による制御内容、特に、センター撮影部２０５０のズーム倍率とサブ１撮影部２０５１およびサブ２撮影部２０５２の単焦点距離との関係から画角を決定してもよい。

図２１に示す例では、センター撮影部２０５０が撮影した１９２０×１０８０の大きさの映像に基づいて、サブ１撮影部２０５１、サブ２撮影部２０５２がそれぞれ撮影した３８４０×２１６０の映像から、画角が等しい範囲の領域１２８０×７２０の部分が抽出される。

図２２は、画角合わせ部２０１３、画素数合わせ部２０１４、差異計算部２０１５、および画像生成部２０１６による処理結果を示す図である。画素数合わせ部２０１４は、上記の例に示すように、画角合わせが行われた３つの映像について、画素数を合わせる処理を行う。上記の例では、センター撮影部２０５０による映像が１９２０×１０８０のサイズを有し、サブ１撮影部２０５１、およびサブ２撮影部２０５２で撮影され抽出された映像は、ともに１２８０×７２０の画素数を有する。画素数合わせ部２０１４は、図２２に示すように、実施の形態１と同様にこれらの画素数を、例えば２８８×１６２のサイズに合わせる。これは、画像信号処理部２０１２による画像信号処理を全体として処理しやすくするために、３つの映像を所定の目標サイズに合わせることが好ましいからである。そのため、単に３つの映像間で最も画素数の小さい映像に合わせるのではなく、３つの映像間の画素を合わせると同時に、システム全体として処理し易い画像サイズに変更することが好ましい。

なお、本実施の形態では上記のような処理が行われるが、本発明は上記のような処理を行うものに限定されるものではない。３つの映像のうち、最小の画素数を持つ映像に他の映像の画素数を合わせる処理が行われてもよい。

差異計算部２０１５は、３つの映像間の視差量を検出する。具体的には、差異計算部２０１５は、画素数合わせ部２０１４により画素数合わせがされた、センター撮影部２０５０によるセンター映像（Ｃｓ）と、サブ１撮影部２０５１によるサブ１映像（Ｓ１ｓ）との間の差分Δ（Ｃｓ／Ｓ１ｓ）を示す情報の算出を行う。また、画素数合わせ部２０１４により画素数合わせがされた、センター撮影部２０５０によるセンター映像（Ｃｓ）と、サブ２撮影部２０５２によるサブ２映像（Ｓ２ｓ）との間の差分Δ（Ｃｓ／Ｓ２ｓ）を示す情報の算出を行う。差異計算部２０１５は、これらの差分情報に基づいて左右それぞれの視差量を示す情報（デプスマップ）を決定する（図２２）。

差異計算部２０１５は、差分Δ（Ｃｓ／Ｓ１ｓ）およびΔ（Ｃｓ／Ｓ２ｓ）から左右それぞれの視差量を決定する際に、左右の対称性を考慮することが好ましい。例えば、左側のみに著しく大きい視差量が発生し、右側にはまったく視差量が発生しない極端な画素がある場合には、そのような画素における視差量の決定に際して、より信頼できる方の値が採用される。このように、左右相互の視差量の値も考慮して最終的に視差量を決定することが好ましい。これにより、サブ１撮影部２０５１およびサブ２撮影部２０５２の一方からの映像に部分的に障害（映像乱れ等）が発生した場合でも、差異計算部２０１５は、左右相互間の対称性に基づいて、視差量の算出への影響度を小さくすることができる。

画像生成部２０１６は、差異計算部２０１５が生成したデプスマップと、センター撮影部２０５０が撮影した映像とから、立体映像を構成する左右映像を生成する。具体的には、図２３に示すように、センター撮影部２０５０で撮影した映像（Ｃｅｎｔｅｒ）から、デプスマップを参照して、被写体又は映像部分ごとに、視差量に応じて左又は右に移動させることにより、右眼用映像（Ｌｅｆｔ）および左眼用映像（Ｒｉｇｈｔ）を生成する。図２３に示す例では、センター撮影部２０５０から生成された左眼用映像は、被写体である建築物がセンター映像における位置より、視差量の分だけ右側にずれている。一方、背景部分は、視差量が少ないため、センター撮影部２０５０による映像と同じである。同様に、右眼用映像は、被写体である建築物がセンター映像における位置より、視差量の分だけ左側にずれている。一方、背景部分は、同様の理由でセンター撮影部２０５０による映像と同じである。

＜視差情報を利用した映像撮影について＞
撮影制御部２０１７は、実施の形態１と同様の制御を行う。つまり、センター撮影部２０５０は、立体映像の基本となる映像を主に撮影し、サブ１撮影部２０５１、サブ２撮影部２０５２は、センター撮影部２０５０が撮影した映像に対する視差の情報を取得するための映像を撮影する。そのため、撮影制御部２０１７は、それぞれの用途に応じた好適な撮影制御を、光学制御部２００３、光学制御部２００７、光学制御部２０１１を通じて、第１光学部２０００、サブ１光学部２００４、サブ２光学部２００８に対して行う。例えば、実施の形態１と同様に露出の制御、オートフォーカス等がある。

さらに、本実施の形態では、撮影部が、センター撮影部２０５０、サブ１撮影部２０５１、サブ２撮影部２０５２の３つとなったことから、撮影制御部２０１７はこれら３つの撮影部間の連携等についての制御も行う。特に、サブ１撮影部２０５１とサブ２撮影部２０５２は、立体映像生成時の左右それぞれの視差情報を取得するための映像を撮影する。そのため、サブ１撮影部２０５１とサブ２撮影部２０５２は、連携して対称となる制御を行うことが好ましい。撮影制御部２０１７は、サブ１撮影部２０５１とサブ２撮影部２０５２とを制御する際は、これらの制約を考慮した制御を行う。

水平方向情報を利用した立体映像の生成や、立体映像生成要否の判断等については、実施の形態１と同様のため説明を省略する。

＜立体映像の記録方式について＞
本実施の形態でも、実施の形態１と同様に複数の立体映像記録方式がある。以下、図２４を参照しながら、それぞれの記録方式について説明する。

図２４（ａ）は、画像生成部２０１６で生成された立体映像を構成する左右それぞれの映像（Ｌｅｆｔ Ｖｉｄｅｏ Ｓｔｒｅａｍ、Ｒｉｇｈｔ Ｖｉｄｅｏ Ｓｔｒｅａｍ）を映像圧縮部２０１９で符号化し、符号化されたデータを多重化して蓄積部２０２０に記録する方式である。この方式では、再生装置は、記録されたデータを左右それぞれのデータに分割し、その後それぞれを復号して再生することができれば、記録した立体映像を再生することが可能である。すなわち、本方式の利点としては、再生装置の構成を比較的簡単にすることができる点にある。

図２４（ｂ）は、立体映像の基本となるセンター撮影部２０５０によるセンター映像（Ｍａｉｎ Ｖｉｄｅｏ Ｓｔｒｅａｍ）と、センター映像に対する左右其々の映像のデプスマップ（視差量）とを記録する方式である。この方式では、映像圧縮部２０１９は、データとしてセンター撮影部２０５０による映像と、当該映像に対する左右それぞれのデプスマップを符号化する。その後、映像圧縮部２０１９は、それぞれの符号化されたデータを多重化して、蓄積部２０２０へ記録する。この場合、再生装置は、蓄積部２０２０からデータを読み出し、それをデータ種別ごとに分割し、分割したそれぞれのデータを復号する。再生装置はさらに、復号したセンター映像から、左右それぞれのデプスマップに基づいて立体映像を構成する左右それぞれの映像を生成し、表示する。本方式の利点としては、データ量が多い映像データを一つのみとし、左右其々の映像を生成するために必要なデプスマップを合わせて記録することで、記録データ量を抑制することができる点にある。

図２４（ｃ）は、立体映像の基本となるセンター撮影部２０５０による映像を記録する点は図２４（ｂ）と同様である。しかし、デプスマップ情報に代えて、センター撮影部２０５０による映像とサブ１撮影部２０５１、およびサブ２撮影部２０５２による映像との差分情報（差分画像）を記録する点が図２４（ｂ）に示す方式と異なる。この方式では、映像圧縮部２０１９は、センター撮影部２０５０による映像と、センター撮影部２０５０に対する左右それぞれの差分情報Δ（Ｃｓ／Ｒｓ）およびΔ（Ｃｓ／Ｌｓ）をそれぞれ符号化した後、これらを多重化して蓄積部２０２０に記録する。再生装置は、蓄積部２０２０に記録されたデータをデータ種別ごとに分割し、それぞれを複合化する。その後、再生装置は、差分情報Δ（Ｃｓ／Ｒｓ）およびΔ（Ｃｓ／Ｌｓ）からデプスマップを算出し、センター撮影部２０５０による映像から立体映像を構成する左右其々の映像を生成、表示する。本方式の利点は、再生装置が自身の表示ディスプレイの性能に応じて、デプスマップを生成し、立体映像を生成することができる。そのため、個々の再生条件に応じた立体映像の再生を実現することができる。

以上の構成により、本実施の形態による映像撮影装置は、センター撮影部２０５０で撮影した映像から、立体映像を構成する左右の映像を生成することができる。従来技術のように、一方の映像は実際に撮影された映像であるが、他方の映像は実際に撮影された映像に基づいて生成した映像である場合は、左右の映像の信頼性に大きな偏りが生じる。これに対して、本実施の形態では、左右映像の両者とも、撮影された基本映像により生成されている。そのため、立体映像としての左右対称性も考慮して映像を作ることができるため、左右のバランスがとれた、より自然な映像を生成することができる。

また、実施の形態１と同様に、全ての撮影部（撮影ユニット）を略等価な構成とする必要がないため、立体映像の基礎となる映像を撮影するセンター撮影部２０５０と、視差量を検出するための映像を撮影するサブ撮影部２０５１、２０５２とで、異なる構成とすることができる。特に、視差量を検出するためのサブ撮影部２０５１、２０５２は、センター撮影部２０５０と比較して簡略な構成で実現できる可能性があるため、より簡単な構成で立体映像撮影装置１８００を構成することができる。

なお、本実施の形態においても、上記の画素数合わせ部２０１４が出力する映像のサイズは一例であり、本発明はこれに限定されるものではない。上記以外のサイズの映像を扱うものであってもよい。

（実施の形態の変形例）
上記実施の形態１、および実施の形態２では、図１（ｂ）や図１８に示す映像撮影装置を例として説明したが、本発明の映像撮影装置はこれらの構成に限定されるものではない。映像撮影装置は、他の構成として、例えば図２５に示す構成を有していてもよい。

図２５（ａ）は、映像撮影装置前面から見た場合に、サブ撮影ユニット２５０３がメイン撮影ユニット２５０２よりも左側に配置された構成例を示している。この構成例では、サブ撮影ユニット２５０３は、サブレンズ支持部２５０１に支持され、本体から離れた位置に配置されている。この例における映像撮影装置は、実施の形態１とは逆に、メイン撮影部による映像を左側の映像とすることができる。

図２５（ｂ）は、図２５（ａ）に示す構成とは逆に、映像撮影装置前面から見た場合に、サブ撮影ユニット２５０４がメイン撮影ユニット２５０２よりも右側に配置された構成例を示している。この構成例では、サブ撮影ユニット２５０４は、サブレンズ支持部２５０２に支持され、本体から離れた位置に配置されている。この構成例によれば、実施の形態１における構成よりもメイン撮影ユニット２５０２とサブ撮影ユニット２５０４との間の距離が大きいため、映像撮影装置は、より視差の大きい映像を撮影することができる。

また、上記実施の形態１、および実施の形態２における、メイン撮影部（又はセンター撮影部）がズームレンズを有し、サブ撮影部が単焦点レンズを有する構成において、ズーム光学系の焦点距離を単焦点レンズの焦点距離に一致させて立体映像の撮影を行うように構成されていてもよい。この場合、立体映像の撮影は、メイン撮影部の光学倍率とサブ撮影部の光学倍率とが同じ状態で撮影されることとなる。立体映像の撮影を行わず、従来のように非立体映像の撮影を行う場合は、メイン撮影部がズームレンズを可動にした状態で撮影してもよい。このような構成により、立体映像の撮影はメイン撮影部の倍率とサブ撮影部の倍率とが等しい状態で行われることとなり、画像信号処理部は、画角合わせ等の処理を比較的簡単に実行することが可能となる。

また、立体映像撮影時にメイン撮影部がズームレンズを可動にして撮影する場合であっても、画像処理部の画角合わせ部が、サブ撮影部が撮影した映像から該当部分を抽出する際の拡大率（電子ズーム）が所定の範囲の場合（例えば、拡大率が４倍以下等の場合）にのみ立体映像を生成するものであってもよい。この拡大率が所定の範囲を超える場合は、立体映像の生成を停止し、メイン撮影部が撮影した従来の非立体映像を画像信号処理部が出力するように構成されていてもよい。これにより、拡大率が大きいために、算出された奥行き情報（デプスマップ）の信頼性が低い撮影部分では立体映像の生成が停止されることで、生成される立体映像の品質を比較的高品質に保つことが可能となる。

さらに、メイン撮影部がズームレンズを有し、サブ撮影部が単焦点レンズを有する構成において、奥行き情報（デプスマップ）を取得した場合、ズーム光学系または単焦点レンズ光学系の光学式絞りを除去した構成であってもよい。例えば、撮影された立体映像が、撮影装置より１ｍ以遠の被写体に対して、全画面で焦点が合っているとする。この場合、全画面で焦点が合っているので、画像処理により焦点ボケを持った映像を生成することができる。光学式絞り方式では、光学系の特性のため、ボケる深度領域は絞り量により一意的に決まるが、画像処理では鮮明にする深度領域とボケさせる深度領域を自由に制御することができる。例えば、鮮明にする深度領域の深度幅を光学式の場合よりも広くしたり、複数の深度領域で被写体を鮮明にすることができる。

また、メイン撮影部３５０又はサブ撮影部３５１の光軸方向を可動にするものであってもよい。つまり立体撮影における平行法と交差法の撮影を映像撮影装置が変更できるようにしてもよい。具体的には、サブ撮影部３５１を構成するレンズを含んだレンズ鏡筒および撮像部を制御されたモータ等によって駆動することによって光軸を変化させることができる。このような構成により、映像撮影装置は被写体や撮影条件に応じて平行法と交差法とを切り変えることができる。あるいは、交差法におけるクロスポイントの位置を動かすなどの制御を行うことができる。なお、モータ等による機械制御に代えて、電子制御によりこれを実現するものであってもよい。例えば、サブ撮影部３５１のレンズとしては、メイン撮影部３５０のレンズに比して、非常に広角の魚眼レンズ等が利用される。この場合、サブ撮影部３５１により撮影された映像は、通常のレンズで撮影された映像よりも広範囲（広角）であるため、メイン撮影部３５０が撮影した範囲の映像を含む。画角合わせ部は、メイン撮影部３５０で撮影された映像に基づいて、サブ撮影部３５１で撮影された映像から、交差法で撮影された場合に含まれる範囲を抽出する。魚眼レンズで撮影された映像は、周辺部が歪み易い特性がある。そのため、画角合わせ部はこの点も考慮して抽出時に同時に画像の歪み補正も行う。つまり、これにより、映像撮影装置は、メイン撮影部３５０とサブ撮影部３５１の光軸を機械的に変化させなくても、電子処理により平行法と交差法とを実現することが可能となる。なお、この場合は、サブ撮影部３５１の解像度を、メイン撮影部３５０の解像度よりも十分大きく（例えば、２倍以上に）しておくことが好ましい。これは、サブ撮影部３５１で撮影された映像は画角合わせ処理等により抽出されることが前提となるため、抽出される部分の解像度を少しでも高くするためである。ここでは、実施の形態１の構成について、魚眼レンズ等の広角レンズを用いる方法について説明したが、実施の形態２の構成（センターレンズ、第１サブレンズ、第２サブレンズ）を採用した場合についても、少なくとも３つのレンズのうちの２つのレンズの関係において、上記の方法を適用することが可能である。

さらに、差異計算部３１１、２０１５は、撮影画角内の被写体の位置と分布と被写体の輪郭とにより、奥行き情報（デプスマップ）の計算の精度、奥行き情報の算出刻みを変えてもよい。例えば、差異計算部３１１、２０１５は、ある被写体に対して奥行き情報の刻みを粗く設定し、その被写体内部の奥行き情報の刻みを細かく設定してもよい。すなわち、差異計算部３１１、２０１５は、奥行き情報を、撮影している画角、構図の内容に応じて被写体の内外で階層構造にしてもよい。

ステレオ画像の視差に関して、図１３を参照して説明したように、遠くの被写体の視差量は小さくなる。このため、例えば水平解像度が２８８ピクセルの画像に対して、視差量が３ピクセルの場合の被写体の距離の範囲（被写体距離領域）と、視差量が２ピクセルの場合の被写体距離領域と、視差量が１ピクセルの場合の被写体距離領域とを比較すると、視差量が小さいほど被写体距離領域が広がっていく。すなわち、遠くになるほど被写体距離の変化に対する視差量の変化の感度が小さくなる。これにより、遠くになるほど同じ視差量の被写体距離領域内の被写体は同じ奥行きとして認識され、いわゆる「カキワリ」効果を生じる。カキワリ効果とは、舞台道具の書き割りのように、映像のある部分が扁平に見える現象である。

そこで、映像の輪郭およびテクスチャーの特徴抽出を行い、輪郭線や面の傾きより奥行き変化が推定できる場合、この奥行き変化量を用いることにより、１ピクセルの視差量を例えば２等分あるいは４等分することができる。このように、視差量を２等分あるいは４等分することにより、視差の感度が２倍または４倍に拡大できるため、カキワリ効果を低減できる。

差異計算部３１１、２０１５は、これにより、奥行き情報の演算を高精度化でき、オブジェクト内の微妙な奥行き表現が可能になる。また、映像撮影装置は、生成される立体映像を特徴のある部分の奥行きを意図的に大きくしたり、小さくしたりといった変化を有する映像とすることも可能になる。さらに、別の活用方法として、映像撮影装置が、奥行き情報と主画像とにより、三角法の原理を用いて、任意視点での画像を計算して生成することもできる。

ところで、映像が立体情報を含む場合、映像撮影装置自体が記憶手段と学習手段をさらに備え、映像に関する学習と記憶とを積み重ねることにより、被写体と背景とにより構成される映像の構図を、人間のように理解することが可能となる。例えば、ある被写体の距離が分かれば、その大きさや輪郭、テクスチャー、色、動き（加速度や角速度情報を含む）より、その被写体が何であるかを同定することが可能となる。よって、クロマキー処理のように特定の色の被写体だけを抽出したりするだけでなく、特定の距離にある人や物（オブジェクト）の抽出、さらに、認識結果より特定の人や物の抽出が可能となる。映像が立体情報を持っていると、ＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）処理に展開でき、ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）、ＡＲ（Ａｕｇｕｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）、ＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）など、撮影映像とコンピュータで生成した映像データとの合成処理などができる。

また上記以外にも、例えば、映像の上方で無限遠に広がりがあるブルーの領域は青空である、映像の青空領域の中で白い領域は雲である、などと映像撮影装置に認識せることも可能である。同様に、映像の中央から下方にかけて広がりがある灰色領域は道路である、また道路上で透明部（ガラスウインドウ部）と、黒い丸いドーナツ状の黒い部分（タイヤ）を持った物体は自動車であるなどと映像撮影装置に認識させることができる。さらに、自動車の形をしていても、距離が分かれば、本物の自動車であるか、おもちゃの自動車であるかを映像撮影装置に判定することができる。このように、被写体である人や物の距離が分かると、その人や物の認識をより正確に映像撮影装置に判定させることができる。

なお、映像撮影装置自体が持つ記憶手段と学習手段には容量や処理能力の限界があるので、これらの記憶手段と学習手段をＷＥＢなどのネットワーク上に待たせて、より認識用のデータベースを持った高機能なクラウドサービス機能として実装してもよい。この場合は、映像撮影装置からネットワーク上のクラウドサーバーなどに撮影映像を送るとともに、認識したいことや知りたいことを問い合わせる構成とすればよい。

単体に、ネットワーク上のクラウドサーバーから映像撮影装置には、撮影映像が含む被写体や背景の意味データや、場所や人に関する過去から現在までの説明データを送信する。これにより、映像撮影装置をよりインテリジェントな端末として活用することができる。

なお、実施の形態１乃至実施の形態２では、映像撮影装置を用いて説明したが、本出願で説明する発明はこの態様に限定されるものではない。他の実現方法として、上記の映像装置で用いるプログラム等をソフトウェアにより実現することも可能である。

また、以上の各実施の形態では、立体映像を生成、記録する映像撮影装置を前提としたが、静止画像のみを生成する撮影装置においても、全く同様に上記の撮影方法および画像処理方法を適用することが可能である。

本発明は、映像または静止画像を撮影する撮影装置で利用することが可能である。

１００、１０１、１８００ 映像撮影装置
１０２、２００ 第１レンズ群
１０３、２０４ 第２レンズ群
１０４ モニター部
２０１、２０５、１９０１、１９０５、１９０９ ＣＣＤ
２０２、２０６、１９０２、１９０６、１９１０ Ａ／ＤＩＣ
２０３、２０７、１９０３、１９０７、１９１１ アクチュエータ
２０８、１９１２ ＣＰＵ
２０９、１９１３ ＲＡＭ
２１０、１９１４ ＲＯＭ
２１１、１９１９ 加速度センサ
２１２、１９１５ ディスプレイ
２１３、１９１６ Ｅｎｃｏｄｅｒ
２１４、１９１７ 記憶装置
２１５、１９１８ 入力装置
２５０ メイン撮影ユニット
２５１ サブ撮影ユニット
３００ 第１光学部
３０１、３０５、２００１、２００５、２００９ 撮像部
３０２、３０６、２００２、２００６、２０１０ Ａ／Ｄ変換部
３０３、３０７、２００３、２００７、２０１１ 光学制御部
３０４ 第２光学部
３０８、２０１２ 画像信号処理部
３０９、２０１３ 画角合わせ部
３１０、２０１４ 画素数合わせ部
３１１、２０１５ 差異計算部
３１２、２０１６ 画像生成部
３１３、２０１７ 撮影制御部
３１４、２０１８ 表示部
３１５、２０１９ 映像圧縮部
３１６、２０２０ 蓄積部
３１７、２０２１ 入力部
３１８、２０２２ 水平方向検出部
３５０ メイン撮影部
３５１ サブ撮影部
６００ 建物
１８０１、１９００ センターレンズ群
１８０２ 第１サブレンズ群
１８０３ 第２サブレンズ群
１８０４ 鏡筒部
１９５０ センター撮影ユニット
１９５１ サブ１撮影ユニット
１９５２ サブ２撮影ユニット
２０００ センター光学部
２００４ サブ１光学部
２００８ サブ２光学部
２０５０ センター撮影部
２０５１ サブ１撮影部
２０５２ サブ２撮影部
２５０１、２５０２ サブレンズ支持部

Claims (16)

1. 各々が被写体を撮影することができる第１の撮影部および第２の撮影部と、
   前記第１および第２の撮影部によってそれぞれ取得された第１および第２の画像に基づいて、前記第１および第２の画像間の視差量を示す情報を生成する信号処理部と、
   を備え、
   前記信号処理部は、前記第１および第２の画像の状態、および撮影条件の少なくとも一方に基づいて、前記第１および第２の画像に基づいて生成される立体画像の立体特性の程度または前記立体画像の出力要否を示す制御情報を生成し、前記制御情報と前記視差量を示す情報とを記録する、撮影装置。
2. 各々が被写体を撮影することができる第１の撮影部および第２の撮影部と、
   前記第１および第２の撮影部によってそれぞれ取得された第１および第２の画像に基づいて、前記第１および第２の画像間の視差量を示す情報を生成する信号処理部と、
   を備え、
   前記信号処理部は、前記第１および第２の画像の状態、および撮影条件の少なくとも一方に基づいて、前記視差量を示す情報を記録するか否かを決定する、撮影装置。
3. 各々が被写体を撮影することができる第１の撮影部および第２の撮影部と、
   前記第１および第２の撮影部によってそれぞれ取得された第１および第２の画像に基づいて、前記第１および第２の画像間の視差量を示す情報を生成する信号処理部であって、前記視差量を示す情報および前記第１の画像に基づいて生成される画像と前記第１の画像とから立体画像を生成することができる信号処理部と、
   を備え、
   前記信号処理部は、前記第１および第２の画像の状態、および撮影条件の少なくとも一方に基づいて、前記立体画像を生成するか否かを決定する、撮影装置。
4. 前記信号処理部は、前記制御情報と前記視差量を示す情報とを統合した統合データを記録する、請求項１に記載の撮影装置。
5. 前記信号処理部は、前記第１および第２の画像に基づいて、映像ストリームを生成し、前記統合データを前記映像ストリームの特定の位置に記録する、請求項４に記載の撮影装置。
6. 前記第１および第２の撮影部は、動画像を取得する、請求項１から３のいずれかに記載の撮影装置。
7. 前記第１の撮影部は光学ズーム機能を有し、前記第２の撮影部は光学ズーム機能を有していない、請求項１から４のいずれかに記載の撮影装置。
8. 前記第２の撮影部の画素数は、前記第１の撮影部の画素数よりも多い、請求項５に記載の撮影装置。
9. 前記第２の撮影部の口径は、前記第１の撮影部の口径よりも小さい、請求項５または６に記載の撮影装置。
10. 前記第１および第２の画像の状態は、前記第２の画像の一部であって前記第１の画像に相当する部分の画素数、または前記第１および第２の画像に含まれる被写体の視差量であり、
    前記撮影条件は、前記第１の撮影部のズーム倍率、または前記撮影装置の撮影時の傾きである、請求項５から７のいずれかに記載の撮影装置。
11. 前記信号処理部は、前記第２の画像の一部であって前記第１の画像に相当する部分の画素数、および前記第１の撮影部のズーム倍率が予め定められた範囲にある場合には、立体画像の撮影を指示する制御信号を出力し、それ以外の場合には、非立体画像の撮影を指示する制御信号を出力する、請求項８に記載の撮影装置。
12. 前記信号処理部は、前記第１および第２の画像の画角および画素数を合わせた２つの画像を生成し、前記２つの画像における画素ごとの視差量を計算することにより、前記視差量を示す情報を生成する、請求項１から８のいずれかに記載の撮影装置。
13. 前記信号処理部は、前記視差量を示す情報を用いて前記第１の画像を補正することによって第３の画像を生成し、前記第３の画像と前記第１の画像とから立体画像を生成する、請求項１から９のいずれかに記載の撮影装置。
14. ２つの撮影部を有する撮影装置によって取得された第１および第２の画像に基づいて、前記第１および第２の画像間の視差量を示す情報を生成するステップと、
    前記第１および第２の画像の状態、および撮影条件の少なくとも一方に基づいて、前記第１および第２の画像に基づいて生成される立体画像の立体特性の程度または前記立体画像の出力要否を示す制御情報を生成するステップと、
    前記制御情報と前記視差量を示す情報とを記録するステップと、
    を含む画像処理方法。
15. ２つの撮影部を有する撮影装置によって取得された第１および第２の画像に基づいて、前記第１および第２の画像間の視差量を示す情報を生成するステップと、
    前記第１および第２の画像の状態、および撮影条件の少なくとも一方に基づいて、前記視差量を示す情報を記録するか否かを決定するステップと、
    を含む画像処理方法。
16. ２つの撮影部を有する撮影装置によって取得された第１および第２の画像に基づいて、前記第１および第２の画像間の視差量を示す情報を生成するステップと、
    前記第１および第２の画像の状態、および撮影条件の少なくとも一方に基づいて、立体画像を生成するか否かを決定するステップと、
    前記視差量を示す情報および前記第１の画像に基づいて生成される画像と前記第１の画像とから立体画像を生成するステップと、
    を含む画像処理方法。

Images