JP5304721B2 - 立体映像撮像装置 - Google Patents

Description

本発明は、両眼視差による立体映像を知覚させるための映像を生成する立体映像撮像装に関する。

近年、両眼視差のある２つの映像のうち、右眼用映像を右眼に、左眼用映像を左眼に視認させることで、視聴者に立体映像（３Ｄ映像）を知覚させる技術が普及してきている。この立体映像を知覚させる右眼用映像と左眼用映像とを生成する立体映像撮像装置は、右眼用映像と左眼用映像とをそれぞれ生成するため、２つの撮像部を備えるものが多い。

しかし、２つの撮像部や撮像部を構成するレンズの形成精度や組立精度には個体差があり、２つの撮像部間で設計する際に設定した撮像軸と実際の撮像軸とのズレに差が生じたり、２つの撮像部間で倍率誤差が生じてしまい、生成される２つの映像データによって、観察者が立体映像を正しく結像できないといった問題が生じていた。ここで、撮像軸は、撮像方向を示し、撮像部で生成される映像の中心（映像中心）に相当する軸である。このような撮像軸のズレの差や倍率誤差は、ハードウェアを直接調整したり、取得した映像データの切り出し範囲を調整したりすることで校正（補正）することができる。

例えば、一方の撮像部で生成された映像データに対しては、その撮像部の実際の撮像軸を中心として切り出し範囲を設定し、他方の撮像部で生成された映像データに対しては、一方の撮像部の実際の撮像軸に対する他方の撮像部の実際の撮像軸のズレ分だけ切り出す際の中心（切り出し中心）をずらして切り出し範囲を設定する技術が開示されている（例えば、特許文献１）。

特開２００６−１６２９９１号公報

しかし、映像データから切り出し中心と切り出し範囲とを調整することで撮像軸のズレの差を校正する場合、切り出し範囲は映像データの範囲内に限定されるため、上述した特許文献１に記載されたような、片方の撮像部の映像データのみ切り出し中心をずらすと、ずらされた切り出し中心と映像データの範囲とによって切り出し範囲が制限されていた。

そこで本発明は、撮像部が生成する映像データを適切に切り出すことで、切り出した部分映像データの画質を維持することが可能な、立体映像撮像装置を提供することを目的としている。

上記課題を解決するために、本発明の立体映像撮像装置は、立体映像を知覚させるための両眼視差を有する右眼用映像データおよび左眼用映像データを生成する撮像部と、右眼用映像データおよび左眼用映像データの映像中心点をそれぞれ原点とした場合の、右眼用映像データに投影された指標を、右眼用映像データに投影された指標および左眼用映像データに投影された指標を結ぶ結線の中点を始点とし映像中心点を終点とする差分ベクトル分移動した右校正点の位置と、左眼用映像データに投影された指標を差分ベクトル分移動した左校正点の位置とを示す位置情報を保持する情報保持部と、位置情報に基づいて、右眼用映像データから右校正点を切出し中心とし、左眼用映像データから左校正点を切り出し中心として、大きさの等しい部分映像データをそれぞれ切り出す切出制御部と、を備えることを特徴とする。

上記撮像部は、右眼用映像データを生成するための撮像軸上、および左眼用映像データを生成するための撮像軸上に、撮像対象の拡大および縮小が可能なレンズをそれぞれ有し、情報保持部は、レンズを相異なる複数の倍率に設定したときの位置情報を、それぞれの倍率に関連付けて保持し、切出制御部は、現在のレンズの倍率を取得し、現在のレンズの倍率に関連付けられた位置情報に基づいて、右眼用映像データおよび左眼用映像データから大きさの等しい部分映像データをそれぞれ切り出してもよい。

上記撮像部は、右眼用映像データを生成するための撮像軸上、および左眼用映像データを生成するための撮像軸上に、撮像対象の拡大および縮小が可能なレンズをそれぞれ有し、情報保持部は、撮像部で生成される右眼用映像データおよび左眼用映像データに投影された同一の撮像対象の寸法比を示す比率情報を保持し、切出制御部は、保持された比率情報に示される比率と１との和を２で除算して得た平均値を、右眼用映像データおよび左眼用映像データのいずれか一方に乗じ、平均値を比率で除した値を、平均値を乗じていない映像データに乗じて、平均値を乗じた映像データおよび平均値を比率で除した値を乗じた映像データから、大きさの等しい部分映像データをそれぞれ切り出してもよい。

上記情報保持部は、レンズを相異なる複数の倍率に設定したときの比率情報を、それぞれの倍率に関連付けて保持し、切出制御部は、現在のレンズの倍率を取得し、現在のレンズの倍率に関連付けられた比率情報に基づいて、平均値を乗じた映像データおよび平均値を比率で除した値を乗じた映像データから、大きさの等しい部分映像データをそれぞれ切り出してもよい。

以上説明したように本発明は、撮像部が生成する映像データを適切に切り出すことで、切り出した部分映像データの画質を維持することが可能となる。

立体映像撮像装置の一例を示した外観図である。 立体映像撮像装置の概略的な構成を示した機能ブロック図である。 校正値生成部による位置情報の生成手段を説明するための説明図である。 校正値生成部による位置情報の生成手段を説明するための説明図である。 校正値生成部による位置情報の生成手段を説明するための説明図である。 切出処理部による撮像軸校正処理の詳細な動作を説明するための説明図である。 第２の実施形態にかかる立体映像撮像装置の概略的な構成を示した機能ブロック図である。 校正値生成部による比率情報の算出方法を説明するための説明図である。 切出処理部による拡縮校正処理の詳細な動作を説明するための説明図である。 切出処理部による拡縮校正処理の詳細な動作を説明するための説明図である。

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値等は、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。

（第１の実施形態：立体映像撮像装置１００）
図１は、第１の実施形態にかかる立体映像撮像装置１００の一例を示した外観図である。図１（ａ）は、立体映像撮像装置１００としてビデオカメラを、図１（ｂ）は、立体映像撮像装置１００として所謂デジタルスチルカメラを示している。立体映像撮像装置１００は、携帯性を有すものもあり、本体１０２と、２つの撮像レンズ１０４ａ、１０４ｂと、操作部１０６と、表示部（ビューファインダ）１０８を含んで構成される。

図１（ａ）に示す立体映像撮像装置１００としてのビデオカメラでは、表示部１０８が開閉式となっており、撮像時以外は、表示部１０８を畳んでコンパクト化することができる。ここではその表示部１０８の背面に撮像レンズ１０４ｂを設けることで、立体映像撮像装置１００の大型化を回避しつつ、両撮像レンズ１０４ａ、１０４ｂ間の基線長を十分に確保できるように構成されている。

立体映像撮像装置１００の撮像部は、図１に示すように、撮像者が立体映像撮像装置１００の本体１０２を水平に把持した際に、それぞれの撮像軸１１０ａ、１１０ｂが同じ水平面上において略平行または撮像方向で交わる。ここで、撮像軸１１０ａ、１１０ｂは、撮像方向を示し、撮像部で生成される映像の中心点（映像中心点）から撮像方向に延長する線である。

立体映像撮像装置１００は、２つの撮像レンズ１０４ａ、１０４ｂを通じて生成された、立体映像を知覚させるための両眼視差を有する２つの映像データ（右眼用映像データおよび左眼用映像データ）を、サイドバイサイド方式、トップアンドボトム方式、ラインシーケンシャル方式、フレームシーケンシャル方式等の立体映像を知覚させるための所定の方式で記録すると共に、操作部１０６を通じた撮像者の操作入力に応じてその撮像タイミングや画角を調整する。また、撮像者からの野外、屋内、夜景等の撮像モードの切り換え入力を受け付けてそれに対応した画像処理を実行する。

このような立体映像撮像装置１００は、一般的に撮像部を２つ備えているものが多く、一方の撮像部で右眼に視認させるための右眼用映像データを、他方の撮像部で左眼に視認させるための左眼用映像データを生成する。しかし、２つの撮像部やそれぞれに設けられた撮像レンズ１０４の形成精度や組立精度には個体差があり、２つの撮像部間で撮像軸のズレの差や倍率誤差が生じてしまい、何も処理を施さない場合、生成される２つの映像データによって立体映像を正しく結像できないといった問題が生じていた。そこで本実施形態の立体映像撮像装置１００では、撮像部が生成する映像データを適切に切り出すことで、切り出した部分映像データの画質を維持することが可能となる。以下、このような立体映像撮像装置１００について説明する。

図２は、立体映像撮像装置１００の概略的な構成を示した機能ブロック図である。ここでは、立体映像撮像装置１００として図１（ａ）に示すビデオカメラを挙げている。図２に示すように、立体映像撮像装置１００は、操作部１０６と、２つの撮像部１２０（図２中、１２０ａ、１２０ｂで示す）と、映像バッファ１２２と、データ処理部１２４と、切出処理部１２６と、映像合成部１２８と、表示部１０８、映像記憶部１３０と、情報保持部１３２と、中央制御部１３４と、を含んで構成される。図２中、実線はデータの流れを示し、破線は制御信号の流れを示している。

操作部１０６は、レリーズスイッチを含む操作キー、十字キー、ジョイスティック、表示部１０８の表示面に重畳されたタッチパネル等のスイッチから構成され、撮像者の操作入力を受け付ける。

撮像部１２０は、上述したように、それぞれの撮像軸１１０ａ、１１０ｂが略平行または撮像方向の任意の輻輳点で交わるように配置されている。そして、操作部１０６を通じた撮像者の操作入力に応じ、映像データの生成（録画）が選択された場合、撮像部１２０ａが右眼用映像データを、撮像部１２０ｂが左眼用映像データを、それぞれ生成し、その映像データを、映像バッファ１２２に出力する。

具体的に、撮像部１２０は、撮像レンズ１０４（図２中、１０４ａ、１０４ｂで示す）と、撮像対象の拡大および縮小が可能なズームレンズ１４０（変倍レンズ）、焦点調整に用いられるフォーカスレンズ１４２と、露光調整に用いられる絞り（アイリス）１４４と、撮像レンズ１０４を通じて入射した光束を電気データ（映像データ）に光電変換する撮像素子１４６と、後述する撮像制御部１５０の制御信号に応じて、ズームレンズ１４０、フォーカスレンズ１４２、絞り１４４および撮像素子１４６をそれぞれ駆動させる駆動部１４８とを含んで構成され、２つの撮像軸１１０ａ、１１０ｂそれぞれにおける２つの映像データを生成する。なお、本実施形態において、２つの撮像部１２０は連動しており、撮像制御部の制御信号に応じて、それぞれのズームレンズ１４０、フォーカスレンズ１４２、絞り１４４および撮像素子１４６の組合せを並行して（同期して）駆動する。

映像バッファ１２２は、フラッシュメモリ、ＲＡＭ等で構成され、一方の撮像部１２０ａが生成した右眼用映像データと、他方の撮像部１２０ｂが生成した左眼用映像データとを、それぞれフレーム単位で一時的に保持する。

データ処理部１２４は、映像バッファ１２２から出力された右眼用映像データおよび左眼用映像データに、Ｒ（Red）Ｇ（Green）Ｂ（Blue）処理（γ補正や色補正）、エンハンス処理、ノイズ低減処理等の映像信号処理を施す。

切出処理部１２６は、後述する切出制御部１５４の制御に応じて、データ処理部１２４で映像信号処理された後の映像データの一部を切り出して撮像軸を校正する撮像軸校正処理を遂行したり、拡縮（拡大または縮小）比を校正する拡縮校正処理をしたりした後、映像合成部１２８に出力する。切出処理部１２６の撮像軸校正処理や拡縮校正処理の詳細な動作については後に詳述する。なお、映像合成部１２８は、切出処理部１２６の前段にあってもよい。

映像合成部１２８は、切出処理部１２６から出力された右眼用映像データと左眼用映像データを併合し、例えば、サイドバイサイド方式、トップアンドボトム方式、ラインシーケンシャル方式、フレームシーケンシャル方式等の立体映像を知覚させるための所定の方式の合成データを生成し、表示部１０８や映像記憶部１３０に出力する。

表示部１０８は、液晶ディスプレイ、有機ＥＬ(Electro Luminescence)ディスプレイ等で構成され、ビデオカメラやデジタルスチルカメラに付属のディスプレイやビューファインダに限らず、その他の表示ディスプレイでもよい。映像合成部１２８が出力した合成データを表示する。この際、表示部１０８は、合成データを構成する右眼用映像データまたは左眼用映像データをそれぞれ表示してもよい。

また、表示部１０８が、例えば、偏光表示方式等に基づいて１ラインごとに偏光が異なっている場合、映像合成部１２８は、合成データをラインシーケンシャル方式で出力し、撮像者は偏光眼鏡等を装着して、右眼に右眼用映像のみを、左眼に左眼用映像のみをそれぞれ視認し、合成データを立体映像として知覚することとなる。なお、撮像者に立体映像を知覚させるように形成された表示部１０８である場合、表示方式として、ラインシーケンシャル方式に限られず、例えば、右眼用映像と左眼用映像とを１フレームごとに交互に表示し電子シャッター式眼鏡を通じて視認させるフレームシーケンシャル方式、レンティキュラレンズを介して右眼用映像と左眼用映像それぞれの光の進行方向を制御するレンティキュラ方式等を用いてもよい。

撮像者は、表示部１０８に表示された映像を視認しつつ操作部１０６を操作することで、被写体を所望する位置および占有面積で捉えることが可能となる。

映像記憶部１３０は、ＨＤＤ、フラッシュメモリ、不揮発性ＲＡＭ等で構成され、後述する記憶制御部１５６の制御信号に応じて、映像合成部１２８から出力された合成データを記憶する。また、映像記憶部１３０は、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disk）やＢＤ（Blu-ray Disc）といった光ディスク媒体や、ポータブルメモリカード等、着脱可能な記憶媒体に合成データを記憶させる装置として構成されてもよい。このとき、映像データをＭ−ＪＰＥＧ（Motion JPEG）やＭＰＥＧ（Moving Picture Experts Group）−２、Ｈ．２６４などの所定の符号化方式で符号化することもできる。

情報保持部１３２は、ＥＥＰＲＯＭ、ＰＲＯＭ、不揮発性ＲＡＭ等で構成され、後述する校正値生成部１５２が生成した位置情報を例えば工場出荷時に予め保持する。ここで情報保持部１３２は、ズームレンズ１４０およびフォーカスレンズ１４２を相異なる複数の倍率に設定したときの位置情報を、それぞれの倍率に関連付けて、予め保持している。位置情報は、右眼用映像データおよび左眼用映像データの映像中心点をそれぞれ原点とした場合の、右眼用映像データに投影された指標を差分ベクトル分移動した右校正点の位置と、左眼用映像データに投影された指標を差分ベクトル分移動した左校正点の位置を示すものである。ここで、差分ベクトルは、右眼用映像データに投影された指標および左眼用映像データに投影された指標を結ぶ結線の中点を始点とし映像中心点を終点とするベクトルである。校正値生成部１５２による位置情報の生成手段については、後に詳述する。

中央制御部１３４は、中央処理装置（ＣＰＵ）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路により、立体映像撮像装置１００全体を管理および制御する。また、本実施形態において、中央制御部１３４は、撮像制御部１５０、校正値生成部１５２、切出制御部１５４、記憶制御部１５６としても機能する。

撮像制御部１５０は、撮像者の操作入力、すなわち操作部１０６より供給される情報に応じて撮像部１２０を制御する。例えば、撮像制御部１５０は、適切な映像データが得られるように、ズームレンズ１４０、フォーカスレンズ１４２、絞り１４４および撮像素子１４６を駆動部１４８に駆動させる。また、撮像制御部１５０は、ズーム機能（倍率変更機能）を遂行させる場合、ズームレンズ１４０およびフォーカスレンズ１４２を移動させる。

校正値生成部１５２は、切出制御部１５４が撮像軸校正処理を行う際に利用する位置情報を生成し、情報保持部１３２に保持させる。

図３〜図５は、校正値生成部１５２による位置情報の生成手段を説明するための説明図である。上述したように、撮像レンズ１０４や、ズームレンズ１４０、フォーカスレンズ１４２を含んで構成される２つの撮像部１２０の形成精度や組立精度、レンズ駆動モータ等より構成される駆動部１４８には個体差がある。したがって、基準の撮像軸すなわち立体映像撮像装置１００を設計する際に設定した撮像軸（以下、単に基準軸と称する）と実際の撮像軸（以下、単に実撮像軸と称する）１１０ａ、１１０ｂとのズレが生じ、そのズレは撮像部１２０ごとに異なるため、２つの撮像部１２０間でそのズレに差が生じる。

そこで、一方の撮像部１２０ａの基準軸と実撮像軸とのズレと他方の撮像部１２０ｂの基準軸と実撮像軸とのズレとの差分を削減するために、校正値生成部１５２は、まず、右眼用映像データおよび左眼用映像データの映像中心点（実撮像軸を示す点）をそれぞれ原点とした場合の、右眼用映像データに投影された指標の位置と左眼用映像データに投影された指標の位置をそれぞれ算出する。具体的には、図３（ａ）、（ｂ）に示すように、撮像部１２０ａ、１２０ｂの基準軸１６０ａ、１６０ｂ上にそれぞれ図３（ｃ）に示すような指標１６２を設置する。そして、ズームレンズ１４０とフォーカスレンズ１４２とを所定の倍率に設定して撮像し、校正値生成部１５２は、撮像部１２０ａ、１２０ｂがそれぞれ生成した右眼用映像データおよび左眼用映像データの映像中心点をそれぞれ原点とした場合の、右眼用映像データに投影された指標の位置と、左眼用映像データに投影された指標の位置とを算出する。ここで、指標１６２は、基準軸１６０ａ、１６０ｂ上のどの位置に設置してもよく、また指標１６２は、「×」印を用いているが、これに限定されず、基準軸の位置を点として示すことができればどのような指標であってもよい。

このとき、撮像部１２０ａ、１２０ｂが生成した映像データが図４（ａ）に示すような右眼用映像データ１６４ａと左眼用映像データ１６４ｂである場合、撮像部１２０ａの実撮像軸を示す点である右眼用映像データ１６４ａにおける映像中心点Ｍ（右眼用映像データ１６４ａの垂直方向の中心線１６６ａと水平方向の中心線１６８ａの交点）に対して、右眼用映像データ１６４ａに投影された指標Ａは正面視右にずれていることが分かる。ここで、指標１６２は基準軸上に設置されているので、右眼用映像データ１６４ａにおける映像中心点Ｍに対して、右眼用映像データ１６４ａにおける基準軸を示す点が正面視右にずれている（正確には、撮像部１２０ａの実撮像軸が基準軸に対してずれている）と言い換えることができる。また、撮像部１２０ｂの実撮像軸を示す点である左眼用映像データ１６４ｂにおける映像中心点Ｎ（左眼用映像データ１６４ｂの垂直方向の中心線１６６ｂと水平方向の中心線１６８ｂの交点）に対して、左眼用映像データ１６４ｂに投影された指標Ｂは正面視左下にずれていることが分かる。ここでも、指標１６２は基準軸上に設置されているので、左眼用映像データ１６４ｂにおける映像中心点Ｎに対して、左眼用映像データ１６４ｂにおける基準軸を示す点が正面視左下にずれている（正確には、撮像部１２０ｂの実撮像軸が基準軸に対してずれている）と言い換えることができる。

そこで、校正値生成部１５２は、図４（ａ）に示す実撮像軸を示す点である右眼用映像データ１６４ａの映像中心点Ｍ（右眼用映像データ１６４ａの垂直方向の中心線１６６ａと水平方向の中心線１６８ａの交点）を原点とした場合の、右眼用映像データ１６４ａに投影された指標Ａ（基準軸を示す点）の位置を算出する。同様に、校正値生成部１５２は、図４（ａ）に示す実撮像軸を示す点である左眼用映像データ１６４ｂの映像中心点Ｎ（左眼用映像データ１６４ｂの垂直方向の中心線１６６ｂと水平方向の中心線１６８ｂの交点）を原点とした場合の、左眼用映像データ１６４ｂに投影された指標Ｂ（基準軸を示す点）の位置を算出する。ここで、原点を映像中心点として、投影された指標Ａおよび投影された指標Ｂの位置をｘｙ座標値（ｘ，ｙ）で表すと、右眼用映像データ１６４ａに投影された指標Ａ（以下、単に基準点Ａと称する）のｘｙ座標値が（ａｘ，ａｙ）、左眼用映像データ１６４ｂに投影された指標Ｂ（以下、単に基準点Ｂと称する）のｘｙ座標値が（ｂｘ，ｂｙ）となる。ただし、ｘ座標は画面水平方向の座標であり、ｙ座標は画面垂直方向の座標を言う。

そして、図４（ｂ）に示すように、校正値生成部１５２は、算出した基準点Ａおよび基準点Ｂを結ぶ結線Ｃの中点Ｄを始点とし映像中心点（原点）を終点とする差分ベクトルＥを導出する。ここで、基準点Ａのｘｙ座標値が（ａｘ，ａｙ）であり、基準点Ｂが（ｂｘ，ｂｙ）である場合、原点を映像中心点として、ｘｙ座標値（ｘ，ｙ）で表すと中点Ｄのｘｙ座標値は、（（ａｘ+ｂｘ）／２，（ａｙ＋ｂｙ）／２）で表すことができる。したがって、差分ベクトルＥは、ｘｙ座標値で表すと、（（ａｘ+ｂｘ）／２，（ａｙ＋ｂｙ）／２）を始点とし、原点（０，０）を終点とするベクトルであると言える。

校正値生成部１５２は、基準点Ａを差分ベクトルＥ分移動した右校正点の位置と、基準点Ｂを差分ベクトル分Ｅ移動した左校正点の位置とを示す位置情報を生成し、情報保持部１３２に保持させる。ここで、基準点Ａのｘｙ座標値が（ａｘ，ａｙ）であり、基準点Ｂが（ｂｘ，ｂｙ）であり、差分ベクトルＥの始点が（（ａｘ+ｂｘ）／２，（ａｙ＋ｂｙ）／２））であり、終点が原点（０，０）である場合、右校正点Ｆは、（ａｘ−（ａｘ+ｂｘ）／２，ａｙ−（ａｙ＋ｂｙ）／２））となり、左校正点Ｇは、（ｂｘ−（ａｘ+ｂｘ）／２，ｂｙ−（ａｙ＋ｂｙ）／２））となる。

また、校正値生成部１５２は、ズームレンズ１４０、フォーカスレンズ１４２の倍率を複数回、例えば３〜４回段階設定し、設定した相異なる複数の倍率で撮像した映像データ１６４の右校正点Ｆの位置および左校正点Ｇの位置を倍率ごとにそれぞれ算出する。

そして、校正値生成部１５２は、右校正点Ｆの位置および左校正点Ｇの位置を算出する際に利用した、映像データを撮像したときのズームレンズ１４０、フォーカスレンズ１４２の倍率に関連づけて、算出した右校正点Ｆの位置および左校正点Ｇの位置を示す位置情報を情報保持部１３２に保持させる。また校正値生成部１５２は、右校正点Ｆの位置および左校正点Ｇの位置を算出していない倍率についての位置情報を、情報保持部１３２に保持された３〜４点のズームレンズ１４０とフォーカスレンズ１４２の倍率における右校正点Ｆの位置を線形補間し、情報保持部１３２に保持された３〜４点のズームレンズ１４０とフォーカスレンズ１４２の倍率における左校正点Ｇの位置を線形補間することで求めている。なお、補間方法は線形補間に限定されず、スプライン関数を用いた補間等、他の補間処理でもよい。

なお、本実施形態において、校正値生成部１５２は、出荷前に予め位置情報を情報保持部１３２に保持させておき、位置情報を用いて映像データの切出し中心を校正させることで、出荷時には立体映像撮像装置１００で生成される右眼用映像データの基準軸と実撮像軸とのズレと、左眼用映像データの基準軸と実撮像軸とのズレとが大凡一致するようにする。

また、上記図３では指標１６２の設置位置は基準軸上であることを前提にしたが、かかる場合に限らず、図５に示すように、撮像部１２０ａと撮像部１２０ｂとの間の点であり、それぞれの撮像部１２０からの距離が等しい点Ｐを中心とした、点Ｐから輻輳点Ｑまでの距離を半径とした円の円周１７０上の点であって、かつ、撮像部１２０の画角内の点を指標１６２の設置位置とすることもできる。この場合、撮像部１２０ａで撮像する場合と、撮像部１２０ｂで撮像する場合とで、２回に分けて指標を設置する必要がなくなるため、操作性がよく、また、指標の設置誤差に基づく基準軸の両撮像部間のズレを低減することができる。

切出制御部１５４は、情報保持部１３２に保持された位置情報に基づいて、右眼用映像データ１６４ａから右校正点Ｆを切出し中心とし、左眼用映像データ１６４ｂから左校正点Ｇを切り出し中心として、大きさの等しい部分映像データをそれぞれ切り出すように、切出処理部１２６を制御する。

図６は、切出処理部１２６による撮像軸校正処理の詳細な動作を説明するための説明図である。図６（ａ）に示すように切出処理部１２６が右眼用映像データ１６４ａから部分映像データ１８０ａを切り出す場合、切出制御部１５４の制御に応じて、右校正点Ｆを切り出し中心として部分映像データ１８０ａを切り出す。同様に、切出処理部１２６が左眼用映像データ１６４ｂから部分映像データ１８０ｂを切り出す場合、切出制御部１５４の制御に応じて、左校正点Ｇを切り出し中心として部分映像データ１８０ｂを切り出す。ここで切出処理部１２６は、部分映像データ１８０ａと部分映像データ１８０ｂとのアスペクト比（例えば１６：９）と大きさを等しくして切り出す。

ここで、切出処理部１２６は切り出した部分映像データ１８０を映像合成部１２８の方式に従って拡縮する。例えば、撮像素子１４６が生成した右眼用映像データ１６４ａおよび左眼用映像データ１６４ｂの画素数が、３８４０×２１６０であり、映像合成部１２８の方式が１９２０×１０８０のサイドバイサイド方式である場合、切出処理部１２６は、右眼用映像データ１６４ａ、左眼用映像データ１６４ｂそれぞれから１９２０×１０８０の部分映像データ１８０ａ、部分映像データ１８０ｂを切出し、さらに水平方向の画素数を圧縮して１９２０×５４０の部分映像データ１８０ａ、部分映像データ１８０ｂを生成する。

一方、図６（ｂ）に示すように、切り出し中心を２つの映像データで独立してずらす場合（図６（ｂ）中、右校正点Ｆ’、左校正点Ｇ’を切り出し中心として部分映像データ１８２ａ、１８２ｂを切り出す場合）、切り出し範囲の縦方向の許容量または横方向の許容量が片方の映像データに制限されてしまう。図６（ｂ）に示す例では、左眼用映像データ１６４ｂによって部分映像データ１８２ｂの縦方向の切り出し範囲が制限され、部分映像データ１８２ｂの切り出し範囲の大きさに合わせるため部分映像データ１８２ａの切り出し範囲の大きさも制限され、結果、部分映像データ１８２ａ、１８２ｂが小さくなる。

本実施形態の切出制御部１５４は、図６（ａ）に示したように、２つの映像データ１６４（右眼用映像データ１６４ａおよび左眼用映像データ１６４ｂ）のいずれに対しても、撮像部１２０間の基準軸から実撮像軸のズレの差分を按分した分だけ切り出し中心をずらしているので、切り出し範囲の横方向の許容量および縦方向の許容量が２つの映像データ１６４で等しくなり、図６（ｂ）に示した切り出し中心を２つの映像データ１６４で独立してずらす場合と比較して切り出し中心と映像データ１６４の範囲との間隔を最大限確保でき、切り出し範囲を広くとることが可能となる。

記憶制御部１５６は、切出制御部１５４が切出処理部１２６に切り出させた部分映像データを映像記憶部１３０に記憶させる。

以上説明したように、本実施形態にかかる立体映像撮像装置１００は、撮像部が生成する映像データを適切に切り出すことで、切り出した部分映像データの画質を維持することが可能となる。

また、ここでは、立体映像撮像装置１００が２つの撮像部１２０を設けて映像データを生成する例（２眼カメラ）を挙げて説明したが、ミラー等の光学的手法を用いて１つの被写体を２つの視点から同時に撮像させる立体映像撮像用アダプタを１の撮像部の光学経路前方に位置させて映像データを生成することもできる。かかる場合であっても本実施形態の位置情報を利用して、撮像部が生成する映像データを適切に切り出すことで、切り出した部分映像データの画質を維持することが可能となる。

（第２の実施形態）
上述した第１の実施形態の立体映像撮像装置１００では、切出処理部１２６が映像データを切り出す際の切り出し中心および切り出し範囲を、切出制御部１５４が情報保持部１３２に保持された位置情報に基づいて調整することで、基準軸と実撮像軸とのズレの撮像部１２０間の差を削減することが可能となった。ここでは、さらに撮像部１２０間の実際の倍率誤差を用いて、生成した右眼用映像データと左眼用映像データとの倍率差を削減することができる立体映像撮像装置３００について説明する。

図７は、第２の実施形態にかかる立体映像撮像装置３００の概略的な構成を示した機能ブロック図である。図７に示すように、立体映像撮像装置３００は、操作部１０６と、２つの撮像部１２０（図７中、１２０ａ、１２０ｂで示す）と、映像バッファ１２２と、データ処理部１２４と、切出処理部３２６と、映像合成部１２８と、表示部１０８と、映像記憶部１３０と、情報保持部３３２と、中央制御部３３４と、を含んで構成される。また、中央制御部３３４は、撮像制御部１５０、校正値生成部３５２、切出制御部３５４、記憶制御部１５６としても機能する。上述した第１の実施形態における構成要素として既に述べた、操作部１０６と、２つの撮像部１２０と、映像バッファ１２２と、データ処理部１２４と、映像合成部１２８と、表示部１０８と、映像記憶部１３０と、撮像制御部１５０と、記憶制御部１５６とは、実質的に機能が同一なので重複説明を省略し、ここでは、構成が相違する、切出処理部３２６と、情報保持部３３２と、校正値生成部３５２と、切出制御部３５４とを主に説明する。

切出処理部３２６は、後述する切出制御部３５４の制御に応じて、データ処理部１２４で映像信号処理された後の映像データの一部を切り出して撮像軸校正処理を遂行したり、拡縮校正処理をしたりした後、映像合成部１２８に出力する。切出処理部３２６の撮像軸校正処理は、上述した第１の実施形態の撮像軸校正処理と実質的に同一であり、拡縮校正処理の詳細な動作については後に詳述する。また本実施形態において切出処理部３２６は、まず撮像軸校正処理を遂行し、続いて拡縮校正処理を遂行する。なお、撮像軸校正処理、拡縮校正処理の順序は特に限定するものではない。

情報保持部３３２は、情報保持部１３２同様、ＥＥＰＲＯＭ、ＰＲＯＭ、不揮発性ＲＡＭ等で構成され、上述した位置情報に加え、後述する校正値生成部３５２が生成した比率情報を例えば工場出荷時に予め保持する。ここで、比率情報は、相異なる複数の倍率に設定したときの２つの撮像部１２０ａ、１２０ｂで生成される右眼用映像データおよび左眼用映像データに投影された同一の撮像対象の寸法比を示し、ぞれぞれの倍率に関連付けて予め保持する。

中央制御部３３４の校正値生成部３５２は、切出制御部３５４が拡縮校正処理を行う際に利用する比率情報を生成し、情報保持部３３２に保持させる。

図８は、校正値生成部３５２による比率情報の算出方法を説明するための説明図である。上述したように、撮像レンズ１０４や、ズームレンズ１４０、フォーカスレンズ１４２を含んで構成される２つの撮像部１２０の形成精度や組立精度、レンズ駆動モータ等の駆動部１４８には個体差がある。したがって、設計値の倍率（以下、単に設定倍率と称する）と映像データにおける実際の倍率（以下、単に実倍率と称する）のズレが生じ、そのズレは撮像部１２０ごとに異なるため、２つの撮像部１２０間でそのズレに差（以下、寸法差と称する）が生じる。

そこで、校正値生成部３５２は、所定の設定倍率における２つの撮像部１２０間の寸法差を削減するための比率情報を算出する。まず、図８（ａ）に示す指標３６２を用いて、図８（ｂ）、（ｃ）に示すように、それぞれの撮像部１２０ａ、１２０ｂから等しい距離Ｒに、撮像部１２０ａ、１２０ｂの基準軸１６０ａ、１６０ｂに垂直となるように指標３６２を設置し、撮像部１２０ごとにその指標３６２を撮像する。ここで指標３６２として真円を利用することにより、基準軸１６０ａ、１６０ｂを中心とした回転や、基準軸１６０ａ、１６０ｂと直交する軸を中心とした回転による撮像部１２０と指標３６２の角度の差を吸収することができ、撮像部１２０間の寸法差を高精度に算出することが可能となる。

ここで、指標３６２は、基準軸１６０ａ、１６０ｂ上に設置しているが、これに限定されず、撮像部１２０からの距離が等しく、画角が等しい位置に設置すれば足りる。また、指標３６２は、真円を用いているが、これに限定されず、右眼用映像データおよび左眼用映像データに投影された同一の撮像対象の寸法比を算出できればどのような指標であってもよい。

校正値生成部３５２は、右眼用映像データに投影された指標の直径αと、左眼用映像データに投影された指標の直径βの比率β／αを寸法比として算出する。また、校正値生成部３５２は、設定倍率を複数回、例えば３〜４段階変更して撮像した映像データの寸法比をそれぞれ算出し、その寸法比を示す比率情報を撮像したときの設定倍率に関連づけて情報保持部３３２に保持させる。なお、ここで校正値生成部３５２は、寸法比を算出していない設定倍率についての比率情報を、情報保持部３３２に保持された３〜４点の設定倍率における寸法比を線形補間することで求めている。なお、補間方法は線形補間に限定されず、スプライン関数を用いた補間等、他の補間処理でもよい。

なお、本実施形態において、校正値生成部３５２は、出荷前に予め比率情報を情報保持部３３２に保持させておき、比率情報を用いて映像データを校正させることで、出荷時には立体映像撮像装置３００で生成される映像データの寸法差が２つの撮像部１２０間で大凡一致するようにする。

切出制御部３５４は、現在の設定倍率を取得し、現在の設定倍率に関連付けられた比率情報に示される比率β／αと１との和を２で除算して得た平均値を、直径αの指標が投影された映像データ（右眼用映像データ）に乗じ、平均値を比率β／αで除した値を、平均値を乗じない映像データすなわち直径βの指標が投影された映像データ（左眼用映像データ）に乗じて、平均値を乗じた映像データ（右眼用映像データ）および平均値を比率で除した値を乗じた映像データ（左眼用映像データ）から、大きさの等しい部分映像データをそれぞれ切り出すように、切出処理部３２６を制御する。

図９および図１０は、切出処理部３２６による拡縮校正処理の詳細な動作を説明するための説明図である。例えば、図９（ｂ）に示すように、右眼用映像データ３６４ａに投影された撮像対象の直径αが１、左眼用映像データ３６４ｂに投影された撮像対象の直径が２であった場合、図９（ａ）に示すように右眼用映像データ３６４ａを切り出した部分映像データ３６６のみを４倍に拡大すると、部分映像データ３６６の３／４の周囲の実情報量（画素）が欠落し、部分映像データ３６６の画質が粗くなる。ここで、実情報量とは、画素補間されていない場合の情報量を示す。したがって、左眼用映像データ３６４ｂと比較すると、拡大した部分映像データ３６８は、実情報量が１／４と少なくなり、拡大した部分映像データ３６８のみ画質劣化が生じてしまう。したがって、右眼で視認する部分映像データ３６８と左眼用映像データ３６４ｂとで画質に差が生じ（実情報量が１と１／４とになり）、最終的に視聴者が立体映像として知覚した場合に画質の劣化が著しくなってしまう。

一方、図９（ｃ）に示すように、右眼用映像データ３６４ａに投影された撮像対象の直径αと左眼用映像データ３６４ｂに投影された撮像対象の直径βを等しくすべく左眼用映像データ３６４ｂのみを縮小して縮小映像データ３７０とする場合、縮小した後に表示部１０８に表示させるのに必要な大きさとなるように拡大する必要があるため、左眼用映像データ３６４ｂの実情報量は削減されないものの、右眼用映像データ３６４ａを切り出した部分映像データ３６６の実情報量は１／４となってしまい、画質劣化が生じてしまう。

そこで切出処理部３２６は、図１０（ａ）に示すように右眼用映像データ３６４ａに投影された撮像対象の直径αが１、左眼用映像データ３６４ｂに投影された撮像対象の直径βが２であった場合（比率β／α＝２）、切出制御部３５４の制御に応じて、図１０（ｂ）に示すように右眼用映像データ３６４ａに（α＋β）／２αすなわち１．５を乗じた拡縮映像データ３７２ａを、左眼用映像データ３６４ｂに（α＋β）／２βすなわち０．７５を乗じた拡縮映像データ３７２ｂを生成すると、拡縮映像データ３７２ａ、３７２ｂともに実情報量の減少を１／２に抑えることができる。

そして図１０（ｃ）に示すように、切出処理部３２６は、左眼に視認させる映像データとして拡縮映像データ３７２ｂをそのまま映像合成部１２８に出力し、右眼に視認させる映像データとして拡縮映像データ３７２ａから拡縮映像データ３７２ｂと大きさの等しい部分映像データ３７４ａを切り出して映像合成部１２８に出力する。

このように、切出制御部３５４が、撮像対象の寸法比を按分して、２つの映像データ（右眼用映像データ３６４ａ、左眼用映像データ３６４ｂ）いずれにも拡縮校正処理を施すように切出処理部３２６を制御することで、片方の映像データのみを拡大することによって生じてしまう画質の両映像データ間の差をなくすることができ、また片方の映像データのみを縮小することによって生じてしまう著しい実情報量の減少も抑えることが可能となる。したがって、本実施形態の立体映像撮像装置３００は、映像データ間の情報の減少を抑制しつつ、画質を均一にすることができ、最終的な立体映像としての画質劣化を低減することが可能となる。

なお、本実施形態において切出処理部３２６は、切出制御部３５４の制御に応じて映像データに拡縮校正処理を施してから部分映像データを切り出しているが、これに限定されず、まず映像データから部分映像データを切り出し、その後、拡縮校正処理を行ってもよい。

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

例えば、基準軸と実撮像軸とのズレの撮像部１２０間の差分が許容範囲である場合、第１の実施形態に記載した撮像軸校正処理を遂行せず、第２の実施形態に記載した拡縮校正処理のみを遂行することもできる。

本発明は、立体映像を知覚させるための映像を生成する立体映像撮像装置に利用することができる。

１００、３００ …立体映像撮像装置
１０４ …撮像レンズ
１１０ａ、１１０ｂ …撮像軸
１２０（１２０ａ、１２０ｂ） …撮像部
１２６、３２６ …切出処理部
１３２、３３２ …情報保持部
１４０ …ズームレンズ（撮像対象を拡大および縮小が可能なレンズ）
１４２ …フォーカスレンズ
１５２、３５２ …校正値生成部
１５４、３５４ …切出制御部

Claims (4)

1. 立体映像を知覚させるための両眼視差を有する右眼用映像データおよび左眼用映像データを生成する撮像部と、
   前記右眼用映像データおよび左眼用映像データの映像中心点をそれぞれ原点とした場合の、前記右眼用映像データに投影された指標を、前記右眼用映像データに投影された指標および前記左眼用映像データに投影された指標を結ぶ結線の中点を始点とし前記映像中心点を終点とする差分ベクトル分移動した右校正点の位置と、前記左眼用映像データに投影された指標を前記差分ベクトル分移動した左校正点の位置とを示す位置情報を保持する情報保持部と、
   前記位置情報に基づいて、前記右眼用映像データから前記右校正点を切出し中心とし、前記左眼用映像データから前記左校正点を切り出し中心として、大きさの等しい部分映像データをそれぞれ切り出す切出制御部と、
   を備えることを特徴とする立体映像撮像装置。
2. 前記撮像部は、前記右眼用映像データを生成するための撮像軸上、および前記左眼用映像データを生成するための撮像軸上に、撮像対象の拡大および縮小が可能なレンズをそれぞれ有し、
   前記情報保持部は、前記レンズを相異なる複数の倍率に設定したときの位置情報を、それぞれの前記倍率に関連付けて保持し、
   前記切出制御部は、現在の前記レンズの倍率を取得し、前記現在のレンズの倍率に関連付けられた位置情報に基づいて、前記右眼用映像データおよび左眼用映像データから大きさの等しい部分映像データをそれぞれ切り出すことを特徴とする請求項１に記載の立体映像撮像装置。
3. 前記撮像部は、前記右眼用映像データを生成するための撮像軸上、および前記左眼用映像データを生成するための撮像軸上に、撮像対象の拡大および縮小が可能なレンズをそれぞれ有し、
   前記情報保持部は、前記撮像部で生成される前記右眼用映像データおよび左眼用映像データに投影された同一の撮像対象の寸法比を示す比率情報を保持し、
   前記切出制御部は、保持された前記比率情報に示される比率と１との和を２で除算して得た平均値を、前記右眼用映像データおよび左眼用映像データのいずれか一方に乗じ、前記平均値を前記比率で除した値を、前記平均値を乗じていない映像データに乗じて、前記平均値を乗じた映像データおよび前記平均値を前記比率で除した値を乗じた映像データから、大きさの等しい部分映像データをそれぞれ切り出すことを特徴とする請求項１に記載の立体映像撮像装置。
4. 前記情報保持部は、前記レンズを相異なる複数の倍率に設定したときの比率情報を、それぞれの前記倍率に関連付けて保持し、
   前記切出制御部は、現在の前記レンズの倍率を取得し、前記現在のレンズの倍率に関連付けられた比率情報に基づいて、前記平均値を乗じた映像データおよび前記平均値を前記比率で除した値を乗じた映像データから、大きさの等しい部分映像データをそれぞれ切り出すことを特徴とする請求項３に記載の立体映像撮像装置。

Images