JP5304760B2 - 立体映像撮像装置および立体映像撮像方法 - Google Patents

Description

本発明は、立体映像を知覚させるための立体映像データを生成する立体映像撮像装置および立体映像撮像方法に関する。

車載の撮像装置（ドライブレコーダ）は、車両に撮像装置を搭載し、様々な撮像対象を捉えた、加減速感（加速感と減速感）のある映像を生成したり、事故記録、事故防止等の目的で車内や車外の様子を撮像したりする。例えば、自動車のドア・ミラーやサイドミラーのミラー面の裏側に設置され、自動車の進行方向の被写体を撮像する単眼の撮像装置が提案されている（例えば、特許文献１）。

ところで、近年、ディスプレイ上に、水平視差（両眼視差）をユーザに認識させる２つの映像を表示し、ユーザに対してあたかも被写体が立体的に存在するように立体映像を知覚させる技術が脚光を浴びている。この立体映像を知覚させる２つの映像の映像データである立体映像データを生成する立体映像撮像装置や、生成された立体映像データに基づいて２つの映像を表示する立体映像表示装置も普及し始めている。

特開平５−３０１５４１号公報

車両等の移動体に立体映像撮像装置を搭載して車外を撮像した映像を視聴すると、あたかもユーザが実際に移動しているが如く感じられるが、実際にはユーザは動かずに映像を視聴しているため、映像から感じる加減速感に対して、体に加わらない加速度による加減速感が０であることに起因する加減速感の差によって生じる疲れや映像酔いにつながることがある。特に立体映像は、平面的に知覚される映像と比較して、映像から感じる加減速感をよりリアルに感じることができるため、その加減速感の程度に応じて、視聴時間の制限等の制約が望まれる場合があった。

一方で、大きな加減速感を表現する映像をつくることは、立体映像のダイナミックな効果をより効果的に引き出すことができる。しかし、そのために立体映像撮像装置を搭載した車両で大きな加速度とその変化を伴う走行を行う場合には、危険が伴うだけでなく、横揺れ等の不要な振れが含まれ、適切でない映像となる可能性があった。

そこで本発明は、このような課題に鑑み、映像から感じる加減速感を抑制または強調し、ユーザが所望する加減速感に調整した立体映像データを生成可能な、立体映像撮像装置および立体映像撮像方法を提供することを目的としている。

上記課題を解決するために、本発明の、両眼視差を有する左眼用映像データと右眼用映像データとを生成する立体映像撮像装置は、立体映像撮像装置の光軸方向の加速度である装置加速度を導出する加速度導出部と、左眼用映像データと右眼用映像データとを視認した場合の映像から知覚される光軸方向における立体映像撮像装置の加速度の目標値である目標加速度と、導出された装置加速度との差分値を導出し加速指令とする指令生成部と、加速指令に基づいて、立体映像撮像装置が光軸方向の前に加速しているかの如く画角を狭く動かす速さを調整し、立体映像撮像装置が光軸方向の後ろに加速しているかの如く画角を広く動かす速さを調整する画角変更部と、画角で被写体を撮像し、両眼視差を有する左眼用映像データと右眼用映像データとを生成する撮像部とを備えることを特徴とする。

指令生成部が生成する加速指令の符号を反転させる加減速反転部をさらに備えてもよい。

目標加速度は、導出された装置加速度に、低域通過フィルタを通過させた値であってもよい。

撮像部と被写体との距離である被写体距離を導出する距離導出部をさらに備え、画角変更部は、加速指令から移動距離を導出し、移動距離と、被写体距離との比に相当する角度分、画角を周期的に変更してもよい。

上記課題を解決するために、本発明の、立体映像撮像装置を用いて両眼視差を有する左眼用映像データと右眼用映像データとを生成する立体映像撮像方法は、立体映像撮像装置の光軸方向の加速度である装置加速度を導出し、左眼用映像データと右眼用映像データとを視認した場合の映像から知覚される光軸方向における立体映像撮像装置の加速度の目標値である目標加速度と、導出した装置加速度との差分値を導出し加速指令とし、加速指令に基づいて、立体映像撮像装置が光軸方向の前に加速しているかの如く画角を狭く動かす速さを調整し、立体映像撮像装置が光軸方向の後ろに加速しているかの如く画角を広く動かす速さを調整し、画角で被写体を撮像し、両眼視差を有する左眼用映像データと右眼用映像データとを生成することを特徴とする。

以上説明したように本発明では、映像から感じる加減速感を抑制または強調し、ユーザが所望する加減速感に調整した立体映像データを生成することが可能となる。

立体映像撮像装置の概略的な機能を示した機能ブロック図である。 立体映像撮像装置の一例を示した外観図である。 映像の撮像時および視認時の位置関係を説明するための説明図である。 望遠倍率毎の結像位置の座標の例を示す説明図である。 望遠倍率と映像の切取領域を説明するための説明図である。 移動距離と見え方の変化を説明するための説明図である。 車両の加速度の変化の一例を示す説明図である。 指令生成部の詳細な構成を説明するための機能ブロック図である。 目標加速度および加速指令を説明するための説明図である。 立体映像撮像方法の処理の流れを示すフローチャートである。

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値等は、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。

ドライブレコーダは、例えば、自体を搭載した車両から見える路面、ガードレール、周辺の景色、および前後を走行する他の車両等の被写体を撮像し、加減速感（加速感と減速感）のある映像を生成する用途に用いられる。このドライブレコーダとして立体映像撮像装置を用い、生成された映像を立体映像表示装置に表示した場合、ユーザは、被写体を立体的に知覚し、より臨場感のある立体映像を楽しむことができる。しかし、加減速感のある立体映像の知覚が長時間に及ぶと映像酔いや疲れを伴う場合がある。

そこで、本実施形態では、映像から感じる加減速感を抑制または強調し、ユーザが所望する加減速感に調整して撮像する立体映像撮像装置について詳述し、その後、立体映像撮像装置を用いた立体映像撮像方法について説明する。

（立体映像撮像装置１００）
図１は、立体映像撮像装置の概略的な機能を示した機能ブロック図であり、図２は、立体映像撮像装置の一例を示した外観図である。図１に示すように、立体映像撮像装置１００は、撮像部１１０（図中、１１０ａ、１１０ｂで示す）と、操作部１１２と、映像バッファ１１４と、データ処理部１１６と、映像併合部１１８と、映像圧縮部１２０と、映像記憶部１２２と、形式変換部１２４と、表示部１２６と、加速度導出部１２８と、指令生成部１３０と、画角メモリ１３２と、距離メモリ１３４と、中央制御部１３６とを含んで構成される。図１中、実線の矢印は、データの流れを、破線の矢印は、制御信号の流れを示す。ここでは、立体映像撮像装置１００として、ビデオカメラを挙げているが、かかる場合に限らず、撮像部１１０を備える、携帯電話、ＰＨＳ（Personal Handyphone System）、ＰＤＡ（Personal Digital Assistant）、カーナビゲーション等の電子機器を採用することもできる。

撮像部１１０は、図２に示すように、それぞれの光軸１４０ａ、１４０ｂが略平行となり、ユーザが立体映像撮像装置１００の本体を水平に把持した際に、その光軸１４０ａ、１４０ｂが同じ水平面に存在するように配置される２つの撮像部１１０ａ、１１０ｂで構成される。

撮像部１１０は、撮像レンズ１５０と、画角変更に用いられるズームレンズ１５２、露光調整に用いられる絞り（アイリス）１５４と焦点調整に用いられるフォーカスレンズ１５６と、撮像レンズ１５０を通じて入射した光束を映像データに光電変換する撮像素子１５８と、後述する撮像制御部１７０の制御信号に応じて、ズームレンズ１５２、絞り１５４、フォーカスレンズ１５６および撮像素子１５８をそれぞれ駆動させる駆動部１６０とを含んで構成され、撮像制御部１７０により制御された画角で被写体を撮像し、両眼視差を有する左眼用映像データと右眼用映像データとを生成する。撮像部１１０ａは、ユーザの左眼に知覚させるための左眼用映像データを生成し、撮像部１１０ｂは、ユーザの右眼に知覚させるための右眼用映像データを生成する。左眼用映像データと右眼用映像データとは、動画および静止画のいずれも生成可能である。

操作部１１２は、レリーズスイッチを含む操作キー、十字キー、ジョイスティック、ジョグダイヤル、後述する表示部１２６の表示面に設けられたタッチパネル等のスイッチから構成され、ユーザの操作入力を受け付ける。

映像バッファ１１４は、ＲＡＭ（Random Access Memory）等で構成され、撮像部１１０ａが生成した左眼用映像データと、撮像部１１０ｂが生成した右眼用映像データとを、それぞれフレーム単位で一時的に保持する。ここで、フレームは、映像を構成する時系列に並べられた静止画をいう。

データ処理部１１６は、撮像部１１０で生成された映像データ（左眼用映像データおよび右眼用映像データ）に対して、Ｒ（Red）Ｇ（Green）Ｂ（Blue）処理（映像データからＲＧＢ信号への変換、γ補正、色補正等）、エンハンス処理、ノイズ低減処理、ホワイトバランス調整処理等の映像信号処理を行う。また、データ処理部１１６が行うホワイトバランス調整や撮像制御部１７０が行うアイリス調整は、色合い、明るさ等が右眼用映像データと左眼用映像データとで異ならないように同じ調整値を用いる。また、データ処理部１１６は、撮像制御部１７０の制御に応じて、左眼用映像データおよび右眼用映像データの一部を抽出、拡大して、電子ズーム機能を遂行する。

映像併合部１１８は、左眼用映像データと右眼用映像データを、サイドバイサイド方式、トップアンドボトム方式、およびフレームシーケンシャル方式等の、立体映像における所定の収録方式で併合し、立体映像データを生成する。

映像圧縮部１２０は、立体映像データを、Ｍ−ＪＰＥＧ（Motion-JPEG）やＭＰＥＧ（Moving Picture Experts Group）−２、Ｈ．２６４などの所定の符号化方式で符号化した符号データとし、映像記憶部１２２に記憶させる。映像記憶部１２２としては、ＤＶＤ（Digital Versatile Disc）やＢＤ（Blu-ray Disc）といった光ディスク媒体や、ＲＡＭ、ＥＥＰＲＯＭ、不揮発性ＲＡＭ、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）等の媒体を適用することができ、立体映像撮像装置１００と一体に形成してもよいし、着脱可能な媒体であってもよい。

形式変換部１２４は、立体映像データをラインシーケンシャル方式、フレームシーケンシャル方式、その他の立体映像における所定の表示方式のデータである立体表示データに変換し、表示部１２６に出力する。また、ユーザが操作入力を通じて、表示部１２６に平面的な映像（２Ｄ映像）を表示させる指示を行った場合、形式変換部１２４は、立体映像データから左眼用映像データまたは右眼用映像データの予め定められたいずれか一方の映像データを抽出し、抽出した映像データ（２Ｄ映像データ）を表示部１２６に出力する。さらに、形式変換部１２４は、左眼用映像データと右眼用映像データとを、例えば、並列に並べて２画面表示する形式（サイドバイサイド形式）等に合成して、表示部１２６に出力してもよい。

表示部１２６は、液晶ディスプレイ、有機ＥＬ(Electro Luminescence)ディスプレイ等で構成され、データ処理部１１６が出力した映像データや、操作部１１２と連動した撮像状態を示す情報をＯＳＤ（On-Screen Display）として表示する。この場合、ユーザは、操作部１１２を操作することで、被写体を所望する配置および画面に対する占有面積で捉えることが可能となる。

また、表示部１２６は、例えば、偏光特性が１ライン毎に異なるように形成されており、立体表示データを表示する。ユーザは、表示部１２６に表示された立体表示データを左右で偏光特性が異なる眼鏡を通じて視認することで、立体映像を知覚することができる。

加速度導出部１２８は、立体映像撮像装置１００の、特に、光軸１４０ａ、１４０ｂ方向（前後方向）の加速度である装置加速度を導出する。加速度導出部１２８は、加速度センサで構成してもよいし、速度センサと微分器で構成してもよいし、位置センサと２つの微分器で構成してもよい。

指令生成部１３０は、左眼用映像データと右眼用映像データとを視認した場合の映像から知覚される光軸１４０ａ、１４０ｂ方向における立体映像撮像装置１００の加速度の目標値である目標加速度と、導出された装置加速度との差分値を導出し加速指令とする。指令生成部１３０の処理については、図８を用いて後に詳述する。

画角メモリ１３２は、ＲＡＭ、ＥＥＰＲＯＭ、不揮発性ＲＡＭ、フラッシュメモリ、ＨＤＤ等の記憶媒体であり、現在の撮像部１１０ａ、１１０ｂの画角を保持する。

距離メモリ１３４は、画角メモリ１３２同様、ＲＡＭ、ＥＥＰＲＯＭ、不揮発性ＲＡＭ、フラッシュメモリ、ＨＤＤ等の記憶媒体であり、後述する距離導出部が導出した、撮像部１１０ａ、１１０ｂと被写体との距離である被写体距離を保持する。被写体距離としては、予め設定された初期値や、ユーザの操作入力で設定された設定値を適用してもよい。

中央制御部１３６は、中央処理装置（ＣＰＵ）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路により、立体映像撮像装置１００全体を管理および制御する。また、本実施形態において、中央制御部１３６は、撮像制御部１７０、周期出力部１７２、画角変更部１７４、距離導出部１７６としても機能する。

撮像制御部１７０は、被写体に対して、焦点調整や露光調整等の撮像を制御する。具体的に、撮像制御部１７０は、撮像を制御するための制御指令を撮像部１１０の駆動部１６０に伝達し、駆動部１６０は、撮像制御部１７０からの制御指令に従って、絞り１５４やフォーカスレンズ１５６を調整する。さらに、撮像制御部１７０は、ズームレンズ１５２の位置を制御し、焦点距離を調節して光学ズーム機能を遂行したり、データ処理部１１６を通じて電子ズーム機能を遂行させたりして、画角変更部１７４が導出した画角に合わせて、撮像部１１０ａ、１１０ｂの画角を調整する。もしくは、撮像制御部１７０は、データ処理部１１６にて電子ズームを機能させる画角情報を提供する。ここで、電子ズーム機能は、映像データから画角に応じた大きさの領域を切り出し、切り出した領域を拡大する機能である。また、撮像制御部１７０は、フォーカスレンズ１５６の位置を示す位置情報を距離導出部１７６に出力する。

周期出力部１７２は、所定の周期、例えば、左眼用映像データおよび右眼用映像データのフレーム周期が到来する度に、その旨を示すフレーム信号を画角変更部１７４に出力する。なお、フレーム周期を基準とする場合、出力は数フレーム毎であってもよいし、１フレーム内で数回出力するものであってもよい。

図３は、映像の撮像時および視認時の位置関係を説明するための説明図である。特に、図３（ａ）は、撮像時の立体映像撮像装置１００と被写体２００との位置関係を上面視で示し、図３（ｂ）は、画角を変更していない映像の視認時の結像位置を上面視で示し、図３（ｃ）は、画角を変更した映像の視認時の結像位置を上面視で示す。ここでは、理解を容易にするため、それぞれの装置が仮に以下のような位置関係であったとして説明する。すなわち、図３（ａ）に示すように、撮像時において、立体映像撮像装置１００の撮像方向（光軸１４０ａ、１４０ｂの方向）をｘ軸、ｘ軸に直交する方向をｙ軸、撮像部１１０ａ、１１０ｂの中間点をｘ軸とｙ軸の交点とする。また、図３（ｂ）、（ｃ）に示すように、視認時において、視線方向をｘ軸、ｘ軸に直交する方向をｙ軸、人（ユーザ）の左眼と右眼の中間点をｘ軸とｙ軸の交点とする。立体映像を知覚させる映像を表示する立体映像表示装置２０２は、ｘ軸に垂直に、かつ表示画面中心がｘ軸上に位置するように配置されることとする。さらに、撮像部１１０ａ、１１０ｂ間の距離である基線長と、映像を視認するユーザの左眼と右眼の間の距離である眼間距離とは略等しくする。また、立体映像撮像装置１００の水平方向の画角は、ユーザの左眼と右眼それぞれの立体映像表示装置２０２に対する画角（以下、基準画角と称する）と、略等しくする。かかる基準画角は、立体映像表示装置２０２の大きさ（横幅）に眼間距離を加えた値と、ユーザの眼から立体映像表示装置２０２までの距離である視認距離とに基づいて導出される。このとき、撮像時における撮像部１１０ａと被写体２００とを結ぶ線と、視認時におけるユーザの左眼と立体映像として立体的に知覚される被写体２００の結像位置とを結ぶ線が、ｘ軸に対して同じ角度となるように、また、撮像時における撮像部１１０ｂと被写体２００とを結ぶ線と、視認時におけるユーザの右眼と立体映像として立体的に知覚される被写体２００の結像位置とを結ぶ線が、ｘ軸に対して同じ角度となるように、立体映像表示装置２０２の表示画面に左眼用映像と右眼用映像が表示されることとする。さらに、撮像部１１０ａの光軸１４０ａに相当する左眼用映像上の点（以下、左光軸点と称す）は、立体映像表示装置２０２の表示画面中心から左側に眼間距離の１/２の位置に、また、撮像部１１０ｂの光軸１４０ｂに相当する右眼用映像上の点（以下、右光軸点と称す）は、立体映像表示装置２０２の表示画面中心から右側に眼間距離の１/２の位置に、それぞれ表示されるものとする。

これらの条件で、図３（ａ）に示す座標（ｅ、ｆ）の位置にある被写体２００を撮像して生成した映像を立体映像表示装置２０２に表示すると、図３（ｂ）に示すように、被写体像２０４は、同じ座標（ｅ、ｆ）の位置にあるが如く立体的にユーザが認識できる立体映像となる（以後、この状態を結像する、または結像されると称する）。

このとき、立体映像撮像装置１００の画角を基準画角の１／２倍に変更する。すると、例えば、ｘ座標が１０ｍの位置にある被写体２００を撮像して生成した映像を立体映像表示装置２０２に表示すると、その被写体像２０４はｘ座標を１/２倍した５ｍの位置に結像される。また、立体映像表示装置２０２に表示された映像中の被写体２００の大きさは２倍となり、ユーザは、被写体２００が５ｍ近づいた結果、大きく見えるようになったと認識する。

一方、立体映像撮像装置１００の画角を基準画角の２倍に変更すると、例えば、ｘ座標が１０ｍの位置にある被写体２００を撮像して生成した映像を立体映像表示装置２０２に表示すると、その被写体像２０４はｘ座標を２倍した２０ｍの位置に結像される。また、立体映像表示装置２０２に表示された映像中の被写体２００の大きさは１／２倍となり、ユーザは、被写体２００が１０ｍ遠ざかった結果、小さく見えるようになったと認識する。

この画角の変更に伴う結像位置の変化について、具体的な数値の例を挙げて説明する。図４は、望遠倍率毎の結像位置の座標の例を示す説明図である。特に、図４（ａ）は、条件Ａ〜Ｆそれぞれにおける撮像部１１０ａ、１１０ｂ、被写体２００、および映像中の被写体２００の位置の座標の具体例を示し、図４（ｂ）は、その条件Ａ〜Ｆにおいて、画角を変更して望遠倍率を変えた場合の映像の位置の修正量や立体映像としてユーザが認識する位置（以後、結像位置と称する）等の具体例を示す。

ここでは、立体映像撮像装置１００の撮像部１１０ａ、１１０ｂの基線長を６２．５ｍｍ、視認距離が１７００ｍｍとする。また、図４（ａ）、（ｂ）に示す座標値ａ〜ｉ、ｋ、ｌ、ｎ〜ｑは、図３（ａ）〜（ｃ）に示す座標値ａ〜ｉ、ｋ、ｌ、ｎ〜ｑに対応する。撮像時において、撮像部１１０ａ、１１０ｂの位置をそれぞれ座標(ａ、ｂ)、(ｃ、ｄ)、被写体２００の位置を座標(ｅ、ｆ）とする。さらに、視認時において、撮像部１１０ａが生成した被写体２００の左眼用映像が座標(ｇ、ｈ)、撮像部１１０ｂが生成した右眼用映像が座標(ｇ、ｉ)の位置にそれぞれ映し出され、ユーザは、被写体像２０４を座標(ｐ、ｑ)の位置で結像する。図４（ａ）、（ｂ）における座標および修正量の数値の単位はｍｍとする。

ここでは、６つの条件Ａ〜Ｆについて、結像位置（ｐ、ｑ）を算出している。被写体２００の位置のｙ座標について、条件Ａ、Ｄは、１０００ｍｍの場合を、条件Ｂ、Ｅは、１５００ｍｍの場合を、条件Ｃ、Ｆは、２０００ｍｍの場合を、それぞれ示す。また、条件Ａ〜Ｃは、望遠倍率ｉを２倍（画角を基準画角の１／２倍）に変更する場合を、条件Ｄ〜Ｆは、望遠倍率ｉを１／２倍（画角を基準画角の２倍）に変更する場合を、それぞれ示す。さらに、どの条件でも一律に、被写体２００の実際の存在位置のｘ座標は１００００ｍｍとする。

撮像部１１０ａ、１１０ｂをｙ軸上に配置しているので座標値ａ、ｃは０となる。座標値ｂは、大きさは基線長の半分である正の値となり、座標値ｄは、大きさは基線長の半分である負の値となる。座標値ｅは、被写体２００が実際に存在している位置のｘ座標であり、同時に画角の変更前の結像位置のｘ座標でもあり、１００００ｍｍとなる。座標値ｆは、被写体２００のｙ座標で、上述したように条件Ａ〜Ｆによって個別に定められるとする。

座標値ｈ、ｊは以下の数式１、２で求められる。
ｈ＝（ｆ−ｂ）／ｅ×ｇ＋ｂ …（数式１）
ｉ＝（ｆ−ｂ）／ｅ×ｇ＋ｄ …（数式２）

望遠倍率ｊは、上述したように、条件Ａ〜Ｆによって個別に定められる。この望遠倍率ｊで撮像部１１０ａ、１１０ｂの画角を変更して撮像した映像を、立体映像表示装置２０２に表示させるとする。この場合、単純に望遠倍率ｉに従って、立体映像表示装置２０２の表示画面中心を拡縮の中心として、拡大または縮小された映像を立体映像表示装置２０２に映し出すと、図３（ｃ）に示すように、左眼用映像は座標（ｇ、ｋ）、右眼用映像は座標（ｇ、ｌ）の位置となる。このとき、座標値ｋ、ｌは以下の数式３、４で求められる。
ｋ＝ｈ×ｊ …（数式３）
ｌ＝ｉ×ｊ …（数式４）

本実施形態においては、上述したように、立体映像表示装置２０２が表示する映像上の左光軸点と右光軸点の位置は固定とし、立体映像撮像装置１００の画角が変更された場合も変更しない。しかし、数式３、４で示すように単純に表示画面中心を拡縮の中心として画角を変更しただけでは、左光軸点と右光軸点の位置が動いてしまう。そこで、左眼用映像および右眼用映像を表示する位置を画面水平方向に修正する。この修正量ｍは、以下の数式５で求められる。
ｍ＝ｂ×（ｊ−１） …（数式５）

この修正量ｍを用いて、左眼用映像および右眼用映像を表示する位置を修正する。修正後の位置を座標（ｇ、ｎ）、座標（ｇ、ｏ）とすると、座標値ｎ、ｏはそれぞれ以下の数式６、７で求められる。
ｎ＝ｋ＋ｍ …（数式６）
ｏ＝ｌ−ｍ …（数式７）

これは、無限遠にある被写体２００の結像位置を無限遠のまま維持するための修正であるが、このことによって立体映像全体の結像が破綻しなくなるだけでなく、有限距離の被写体２００に対しては以下の特徴を持たせることができる。すなわち、修正後の位置に表示された左眼用映像および右眼用映像を視認したユーザは、望遠倍率ｉが１より大きい場合近くに、１より小さい場合は遠くに、結像位置が移動したように知覚する。この新たな結像位置を座標（ｐ、ｑ）とすると、座標値ｐ、ｑは以下の数式８、９で求められる。
ｐ＝ｇ×（ｄ−ｂ）／（ｎ−ｂ−ｏ＋ｄ） …（数式８）
ｑ＝（ｏ−ｄ）／ｇ×ｐ＋ｄ …（数式９）

これらの計算の結果、図４（ａ）に示すように、画角変更前の結像位置のｘ座標が１００００ｍｍであるのに対して、図４（ｂ）に示すように、画角変更後の結像位置のｘ座標は、望遠倍率ｉが２倍の場合、１／２倍の５０００ｍｍに、望遠倍率ｉが１／２倍の場合、２倍の２００００ｍｍになる。

続いて、数式５〜７のように、修正量ｍを用いて、左眼用映像および右眼用映像を表示する位置を修正した理由について、図５を用いて補足説明する。

図５は、望遠倍率と映像の切取領域を説明するための説明図である。図５に示す、左光軸点２０６ａと右光軸点２０６ｂについて、立体映像表示装置２０２の表示画面上の位置を上述したように固定とするためには、望遠倍率に従って左眼用映像および右眼用映像を拡大または縮小する場合において、例えば、その拡大（縮小）中心を、それぞれ左光軸点２０６ａ、右光軸点２０６ｂとするとよい。例えば、電子ズームをする場合、データ処理部１１６は、図５中、左光軸点２０６ａ、右光軸点２０６ｂをそれぞれ拡大（縮小）中心とする、破線の矩形で示す領域を切り取ることとする。

図４を用いて説明した計算例では、まず、左眼用映像および右眼用映像を、その映像の映像中心を拡大（縮小）中心として拡大（縮小）した後、左光軸点２０６ａ、右光軸点２０６ｂの位置のずれを修正している。また、この拡大（縮小）中心は、左光軸点２０６ａ、右光軸点２０６ｂや映像中心に限られず、例えば、図５に示すように眼間距離に相当する間隔ａ離隔した２つの任意の点を拡大（縮小）中心とすることができる。このとき、上述した座標値ｎ、ｏの修正の如く、左光軸点２０６ａと右光軸点２０６ｂが、画角変更前と同じ位置に表示されるように、左眼用映像および右眼用映像を表示する位置を画面左右上下方向に修正しさえすれば足りる。

図４および図５を用いて説明したように、撮像制御部１７０が、光学ズーム機能や電子ズーム機能で画角を変更すると、画角の変更に従って被写体２００の結像位置も推移し、ユーザに与える加減速感を調整することができる。

また、図３を用いて説明した位置関係は、立体映像をより自然な大きさで知覚させるために有効であるが、かかる位置関係に限定されず、例えば、基線長が眼間距離よりも大きくまたは小さくしてもよいし、立体映像撮像装置１００の水平方向の画角は、基準画角より大きくまたは小さくしてもよい。なお、その場合であっても立体映像表示装置２０２が表示する左光軸点２０６ａと右光軸点２０６ｂの相対的な位置関係（左光軸点と右光軸点の間隔や相互の方向）は固定とし、立体映像撮像装置１００の画角が変更された場合も変更しないこととする。

画角変更部１７４は、加速指令に基づいて、立体映像撮像装置１００が光軸方向の前（近づく方）に加速しているかの如く、画角メモリ１３２に保持された現在の画角よりも、画角を狭く動かす速さを調整し、立体映像撮像装置１００が光軸方向の後ろ（遠ざかる方）に加速しているかの如く、画角メモリ１３２に保持された現在の画角よりも、画角を広く動かす速さを調整する。これを時間経過に伴って順次行うことにより、例えば固定した立体映像撮像装置１００から撮像した動かない被写体を所望の速度や加速度で接近したり遠ざかったりするが如く見える立体映像とすることができる。

本実施形態の立体映像撮像装置１００は、画角変更部１７４が加速指令に基づいて画角を変更し、ユーザが視認する映像中の被写体２００との距離感を変動させることで、加減速感を調整する。そのため、立体映像撮像装置１００は、実際の被写体２００の加減速よりもその加速度の絶対値や変化が小さく抑制された、または大きく強調された加減速感をユーザに感じさせることが可能な立体映像データを生成できる。本実施形態において、映像中の被写体から感じる加減速の感じ方を加減速感と称す。

例えば、立体映像撮像装置１００が加減速感を抑制した立体映像データを生成する場合、その立体映像データに基づく映像を視認した際、大きな加減速感による映像酔いや疲れの発生を抑えることが可能となる。また、立体映像撮像装置１００が加減速感を強調した立体映像データを生成する場合、撮像時に、立体映像撮像装置１００の加速度を過度に変化させなくても、より加減速感のあるダイナミックな立体映像データを生成することができる。

また、ユーザが地上に静止した状態で立体映像撮像装置１００を把持して撮像する場合、例えば、ユーザが操作入力を通じて、立体映像撮像装置１００を把持して撮像するモードである手持ちモードを指定すると、画角変更部１７４は、０ｍ／ｓ^２が目標加速度であったように画角を変更する。したがって、立体映像撮像装置１００の撮像前後方向の手振れ補正に適用することが可能となる。また、後述するＬＰＦの時定数を無限大として目標加速度を実質０としたり、後述する増幅器のゲインを調整して加速感が０に近づくようにしたりしてもよい。

このように、画角を変更することで加減速感を調整する機構は、特に、本実施形態のように、立体映像を知覚させる場合に効果的である。平面的に知覚される映像では、拡大や縮小に伴って、背景まで、被写体と共に近づいて見えたり遠ざかって見えたりして、加減速感の調整の効果が抑制される。立体映像では、平面的に知覚される映像に比べて、ユーザの視線が被写体２００に集中し易く、背景が気になり難いため、加減速感の調整の効果が顕著に表れる。

また、立体映像撮像装置１００が、より効果的に結像位置を調整し、加減速感を変更するためには、撮像部１１０ａ、１１０ｂと撮像されている主な被写体２００との距離である被写体距離が必要になる。

距離導出部１７６は、駆動部１６０を通じてフォーカスレンズ１５６の位置を示す位置情報を取得し、例えば、フォーカスレンズ１５６の位置と合焦距離とを対応付けたテーブルを参照して、合焦距離を被写体距離に変換し、距離メモリ１３４に保持させる。また、距離導出部１７６は、合焦情報に限らず、例えば、レーザ発光部とレーザ受光部を備え、距離導出部１７６は、レーザ発光部に、被写体２００にレーザ光を照射させると共にレーザ受光部で反射光を受光させ、レーザ光の反射に費やす時間（ＴＯＦ：Time Of Flight）を測定し、被写体距離を導出してもよい。レーザ光の代わりに音波、超音波、および電磁波等を用いることもできる。そして、画角変更部１７４は、指令生成部１３０が生成した加速指令に基づいて、周期的（例えばフレーム周期毎）にその１周期の時間で移動する移動距離を導出し、画角メモリ１３２に保持された現在の画角に対して、被写体距離と、移動距離との比に相当する角度分、画角を周期的（例えば、フレーム周期毎）に変更する。以下、図６、７を用いて、この移動距離について説明する。

図６は、移動距離と見え方の変化を説明するための説明図である。図６において、被写体２１０から距離Ｌだけ離れた位置２１２から被写体２１０を見ている状況下で、被写体２１０が移動距離ｄＬだけ位置２１２に近づくと、人の視野がほぼ変化しない中、被写体２１０の大きさは、破線２１４から実線２１６のように大きくなって知覚される。つまり、被写体２１０に対して、距離Ｌから移動距離ｄＬだけ近づいた位置で撮像したようにするためには、画角を（Ｌ−ｄＬ）／Ｌ倍（すなわち望遠倍率をＬ/（Ｌ−ｄＬ）倍）に小さくし、相対的に被写体２１０を大きく捉えればよい。また、被写体２１０に対して、距離ｄＬだけ遠ざかったように撮像するためには、画角メモリ１３２に保持された現在の画角に対して、新たな画角を（Ｌ＋ｄＬ）／Ｌ倍（すなわち望遠倍率をＬ/（Ｌ＋ｄＬ）倍）に大きくし、相対的に被写体２１０を小さく捉えればよい。

図７は、車両の加速度の変化の一例を示す説明図である。特に、図７（ａ）は、立体映像撮像装置１００を搭載した車両の走行における加速度曲線を示し、図７（ｂ）は、その速度曲線である。

例えば、ユーザが車両を運転するとき、概ね、以下の７つのステップを行っている。
ステップ１．アクセルペダルを徐々に踏み込んでいく（加速度も徐々に増加）。
ステップ２．アクセルペダルの踏み込み量を加速度が略一定となる位置に維持する（加速度は略一定となる）。
ステップ３．略一定速度となるようにアクセルペダルを徐々に緩める（加速度は徐々に減少して０ｍ／ｓ^２となる）。
ステップ４．加速度０ｍ／ｓ^２で、略一定速度で走行する。
ステップ５．ブレーキを踏み込み負の加速度が増加する（加速度は徐々に減少する）。
ステップ６．ブレーキの踏み込み量を調整して略一定の負の加速度を維持する。
ステップ７．ブレーキの踏み込みを徐々に緩め負の加速度が徐々に減少、速度が０ｍ／ｓになると共に加速度も０ｍ／ｓ^２になる。
このとき、ハッチングで示す領域２２０ａと領域２２０ｂとは面積が略等しい。この加速度や速度の変化は一例であるが、ユーザは、車両を概ねこのように加減速させている。

本実施形態の立体映像撮像装置１００は、立体映像撮像装置１００を搭載した車両が実際に加減速する加速度に、立体映像撮像装置１００が演出する追加分の加速度を付加することによって、あたかも実際の加速度よりも大きいもしくは小さい加速度で走行しているかのような映像を生成する。

具体的に、加減速感を抑制する場合、画角変更部１７４は、図７（ａ）に示す加速度の変化が、映像中の被写体２００では抑制されるように画角を導出する。加速指令は、目標加速度と実際の加速度との差分値であるため、その差分値を２回積分した値は、移動距離（距離の差分値）となる。そこで、画角変更部１７４は、周期出力部１７２が出力したフレーム信号に基づいて、フレーム周期が到来する度に、加速指令をフレーム周期で２回時間積分して、１フレーム当たりに、画角調整によって立体映像撮像装置１００が移動したとユーザに知覚させる移動距離ｄＬを導出する。具体的に、画角変更部１７４は、例えば、フレーム周期が到来した時刻の加速指令、または、フレーム周期が到来した時刻の加速指令とその直前にフレーム周期が到来した時刻の加速指令との平均値に基づいて移動距離ｄＬを導出する。また、より正確な移動距離ｄＬを求めるため、画角変更部１７４は、フレーム周期より短い周期毎に、その周期が到来した時刻の加速指令、または、その周期が到来した時刻の加速指令とその直前に周期が到来した時刻の加速指令との平均値に基づいて積分値を求め、求めた積分値を積算して移動距離ｄＬを導出してもよい。ここでは立体映像撮像装置１００が光軸方向に前進する方の移動距離ｄＬを正、後退する方の移動距離ｄＬを負とする。

そして、画角変更部１７４は、加速指令に基づいて移動距離ｄＬを導出すると、その移動距離ｄＬに基づいて、図６と同様に移動して見えるように、直前のフレーム周期に撮像したときの画角（画角メモリ１３２に保持された現在の画角）に対して、画角をＬ/（Ｌ＋ｄＬ）倍して新たな画角を導出する。

距離導出部１７６を備え、画角変更部１７４が画角の変更角度を被写体距離と移動距離に基づいて導出する構成により、画角変更部１７４は、立体映像撮像装置１００を目標加速度値と同じ加速度で移動させながら撮像した映像であるかのようにするための正確な画角を導出でき、立体映像撮像装置１００は、生成する立体映像データにおいて、ユーザが所望する加減速感をより正確に再現できる。

また、指令生成部１３０は、ＬＰＦ（低域通過フィルタ）１３０ａを備える。図８は、指令生成部１３０、２３０の詳細な構成を説明するための機能ブロック図である。特に、図８（ａ）は、本実施形態における指令生成部１３０を示し、図８（ｂ）は、他の指令生成部２３０を示す。図８（ａ）に示すように、指令生成部１３０は、ＬＰＦ１３０ａと、増幅器１３０ｂと、減算器１３０ｃと、スイッチ１３０ｄと、減算器１３０ｅと、増幅器１３０ｆとを含んで構成される。

ＬＰＦ１３０ａは、加速度導出部１２８が導出した装置加速度の高周波成分を除去する。増幅器１３０ｂは、加速度導出部１２８が導出した装置加速度の２倍に増幅する。減算器１３０ｃは、増幅器１３０ｂの出力値からＬＰＦ１３０ａの出力値を減算する。スイッチ１３０ｄは、中央制御部１３６の制御に応じて、抑制モードの場合、ＬＰＦ１３０ａからの出力値を減算器１３０ｅに出力し、強調モードの場合、減算器１３０ｃからの出力値を減算器１３０ｅに出力する。本実施形態において、加減速感を抑制する機能を実行するモードを抑制モードと称し、加減速感を強調する機能を実行するモードを強調モードと称する。

ＬＰＦ１３０ａからスイッチ１３０ｄに出力される値は、抑制モードにおける目標加速度であり、減算器１３０ｃからスイッチ１３０ｄに出力される値は、強調モードにおける目標加速度である。すなわち、ＬＰＦ１３０ａ、増幅器１３０ｂ、減算器１３０ｃは、目標加速度生成部１８０として機能する。また、スイッチ１３０ｄは、減算器１３０ｅへの出力値を切り換えることで、指令生成部１３０から出力される加速指令の正負の符号を反転させる。すなわち、スイッチ１３０ｄは、指令生成部１３０が生成する加速指令の符号を反転させる加減速反転部１８２ａとして機能する。

かかるＬＰＦ１３０ａを通過させるという簡易な構成により、実際の加速度制御に用いられるようなフィードフォワードやフィードバック等を組み合わせた複雑な制御に比べて、簡易な構成で、加減速感を抑制することが可能となる。また、ＬＰＦ１３０ａと加減速反転部１８２ａとを機能させることで、加減速感の強調も簡易な制御で実現可能となる。

減算器１３０ｅは、スイッチ１３０ｄからの出力値である装置加速度から加速度導出部１２８が出力した装置加速度を減算して差分値を導出する。

また、他の例として、指令生成部２３０は、図８（ｂ）に示すように、ＬＰＦ１３０ｇ、減算器１３０ｈ、増幅器１３０ｉで構成される。ＬＰＦ１３０ｇは、加速度導出部１２８が導出した装置加速度の高周波成分を除去する。減算器１３０ｈは、ＬＰＦ１３０ｇが出力した高周波数成分が除去された装置加速度から加速度導出部１２８が出力した装置加速度を減算して差分値を導出する。

図８（ｂ）に示す構成の場合、加減速反転部１８２ｂは、指令生成部２３０から出力された、高周波数成分が除去された装置加速度と元々の装置加速度との差分値を反転させることで、強調モードとする。また、抑制モードの場合、加減速反転部１８２ｂは、入力された差分値をそのまま出力する。

図９は、目標加速度および加速指令を説明するための説明図である。図９（ａ）〜（ｃ）、（ｅ）において、縦軸は加速度（または加速度の差分値）、横軸は時間を示す。図９（ｄ）、（ｆ）において、縦軸は速度、横軸は時間を示す。

図９（ａ）において、破線２２０ａは、装置加速度を示し、実線２２０ｂは、装置加速度をＬＰＦ１３０ａで遅延した出力（すなわち抑制モードにおける目標加速度）を示す。さらに、図９（ｂ）において、実線２２０ｃは、減算器１３０ｅから出力される差分値（すなわち加速指令）を示す。この差分値は、加速度の変化が大きいほど絶対値が大きくなる。図９（ｃ）において、破線２２０ｃは、装置加速度を示し、実線２２０ｄは、装置加速度に、図９（ｂ）で示した差分値を加えた、すなわち、抑制モードにおける加減速感を調整した後の、立体映像からユーザが知覚する加速度を示す。図９（ｄ）において、破線２２２ａは、装置加速度の積分値である、立体映像撮像装置１００の光軸方向の速度を示し、実線２２２ｂは、抑制モードにおける加減速感の調整後の、立体映像からユーザが知覚する速度を示す。

図９（ａ）に示す目標加速度（実線２２０ｂ）から装置加速度（破線２２０ａ）を減算すると、図９（ｂ）に示す差分値（実線２２０ｃ）が導出される。抑制モードにおいて、この差分値に基づいて、立体映像撮像装置１００が加減速感を調整することで、図９（ｃ）に示すように、立体映像からユーザが知覚する加速度の傾きが、調整前（破線２２０ｃ）に比べてなだらかとなる（実線２２０ｄ）。また、この場合、図９（ｄ）に示すように、立体映像からユーザが知覚する速度の傾きも、調整前（破線２２２ａ）に比べてなだらかとなる（実線２２２ｂ）。

さらに、立体映像撮像装置１００は、上述したように、強調モードを備え、立体映像において、加減速感を強調することもできる。

図９（ｅ）において、破線２２０ｅは、装置加速度を示し、実線２２０ｆは、強調モードにおける加減速感の調整後の、立体映像からユーザが知覚する加速度を示す。実線２２０ｆは、装置加速度に、図９（ｂ）で示した差分値を反転した値を加えたものとなる。また、図９（ｆ）において、破線２２２ｄは、装置加速度の積分値である、立体映像撮像装置１００の光軸方向の速度を示し、実線２２２ｃは、加減速感の調整後の、立体映像からユーザが知覚する速度を示す。

立体映像撮像装置１００が、強調モードにおいて、加減速感を調整することで、図９（ｅ）に示すように、立体映像からユーザが知覚する加速度の傾きが、調整前（破線２２０ｅ）に比べて急峻となる（実線２２０ｆ）。また、この場合、図９（ｆ）に示すように、ユーザが知覚する立体映像中の被写体２００の速度の傾きも、調整前（破線２２２ｄ）に比べて急峻となる（実線２２２ｃ）。

加減速反転部１８２ａが、加速指令の符号を反転させると、映像中の立体映像からユーザが知覚する加速度を目標加速度から、より乖離させることができる。例えば、加減速反転部１８２ａが加速指令の符号を反転させなければ抑制モードとなり加減速感が抑制され、加速指令の符号を反転させれば強調モードとなり加減速感が増すことになる。かかる加減速反転部１８２ａを備える構成により、立体映像撮像装置１００では、加減速感の抑制と強調の切り換えが容易となる。

さらに、増幅器１３０ｆは、ユーザの操作入力に従った中央制御部１３６の指示に応じて、減算器１３０ｅが導出した差分値を所定倍に増幅させる。増幅器１３０ｆを備える構成により、加減速感の抑制や強調の効果を弱めたり、逆に強めたりすることができる。また、かかる加減速感の抑制や強調の効果は、ＬＰＦ１３０ａの時定数を調整することでも達成できる。

本実施形態では、加速指令は、ＬＰＦ１３０ａや減算器１３０ｃから出力された目標加速度と、加速度導出部１２８が導出した装置加速度との差分値としたが、かかる場合に限定されず、ノイズ除去のためにスイッチ１３０ｄの後に微分器を備え、その微分器から出力された値を目標加速度としたり、出力特性が異なるＬＰＦやＨＰＦを複数組合せて、出力された値を目標加速度としたりする等、装置加速度の緩急度合いを反映できる他の出力値を目標加速度としてもよい。

以上、説明したように、本実施形態の立体映像撮像装置１００は、映像から感じる加減速感を抑制または強調し、ユーザが所望する加減速感に調整した立体映像データを生成することが可能となる。

（立体映像撮像方法）
さらに、上述した立体映像撮像装置１００を用いた立体映像撮像方法も提供される。図１０は、立体映像撮像方法の処理の流れを示すフローチャートである。

立体映像撮像装置１００を用いて撮像を行っている場合（Ｓ３００におけるＹＥＳ）、加速度導出部１２８は、装置加速度を導出し（Ｓ３０２）、指令生成部１３０は、目標加速度と、導出された装置加速度との差分値を導出し加速指令として画角変更部に出力する（Ｓ３０４）。このとき、加速指令は、抑制モードまたは強調モードに応じて符号が反転される。

画角変更部１７４は、加速指令を取得すると、加速指令に基づいて、立体映像撮像装置１００が光軸方向の前に加速しているかの如く画角を狭く動かす速さを調整し、立体映像撮像装置１００が光軸方向の後ろに加速しているかの如く画角を広く動かす速さを調整する（Ｓ３０６）。撮像制御部１７０は、光学ズーム機能や電子ズーム機能を遂行し、画角を、画角変更部１７４が導出した画角にそれぞれ制御する（Ｓ３０８）。

撮像部１１０ａ、１１０ｂは、撮像制御部１７０により制御された画角で被写体２００を撮像し、両眼視差を有する左眼用映像データと右眼用映像データとを生成する（Ｓ３１０）。映像併合部１１８は、右眼用映像データと左眼用映像データを立体映像における所定の収録方式で併合し、立体映像データを生成する（Ｓ３１２）。映像圧縮部１２０は、立体映像データを所定の符号化方式で符号化した符号データとし、映像記憶部１２２に記憶させる（Ｓ３１４）。

上述したように、本実施形態の立体映像撮像方法によれば、映像による加減速感を、実際の立体映像撮像装置１００の加減速よりも抑制または強調し、ユーザが所望する加減速感に調整した立体映像データを生成することが可能となる。

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

なお、本明細書の立体映像撮像方法における各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。

本発明は、立体映像を知覚させるための立体映像データを生成する立体映像撮像装置および立体映像撮像方法に利用することができる。

１００ …立体映像撮像装置
１１０ａ、１１０ｂ …撮像部
１２８ …加速度導出部
１３０、２３０ …指令生成部
１３０ａ …ＬＰＦ
１８２ａ、１８２ｂ …加減速反転部
１７４ …画角変更部
１７６ …距離導出部
２００ …被写体

Claims (5)

1. 両眼視差を有する左眼用映像データと右眼用映像データとを生成する立体映像撮像装置において、
   前記立体映像撮像装置の光軸方向の加速度である装置加速度を導出する加速度導出部と、
   前記左眼用映像データと右眼用映像データとを視認した場合の映像から知覚される前記光軸方向における前記立体映像撮像装置の加速度の目標値である目標加速度と、導出された前記装置加速度との差分値を導出し加速指令とする指令生成部と、
   前記加速指令に基づいて、前記立体映像撮像装置が前記光軸方向の前に加速しているかの如く画角を狭く動かす速さを調整し、前記立体映像撮像装置が前記光軸方向の後ろに加速しているかの如く画角を広く動かす速さを調整する画角変更部と、
   前記画角で被写体を撮像し、両眼視差を有する左眼用映像データと右眼用映像データとを生成する撮像部と、
   を備えることを特徴とする立体映像撮像装置。
2. 前記指令生成部が生成する加速指令の符号を反転させる加減速反転部をさらに備えることを特徴とする請求項１に記載の立体映像撮像装置。
3. 前記目標加速度は、前記導出された装置加速度に、低域通過フィルタを通過させた値であることを特徴とする請求項１または２に記載の立体映像撮像装置。
4. 前記撮像部と被写体との距離である被写体距離を導出する距離導出部をさらに備え、
   前記画角変更部は、前記加速指令から移動距離を導出し、前記移動距離と、前記被写体距離との比に相当する角度分、画角を周期的に変更することを特徴とする請求項１から３のいずれか１項に記載の立体映像撮像装置。
5. 立体映像撮像装置を用いて両眼視差を有する左眼用映像データと右眼用映像データとを生成する立体映像撮像方法であって、
   前記立体映像撮像装置の光軸方向の加速度である装置加速度を導出し、
   前記左眼用映像データと右眼用映像データとを視認した場合の映像から知覚される前記光軸方向における前記立体映像撮像装置の加速度の目標値である目標加速度と、導出した前記装置加速度との差分値を導出し加速指令とし、
   前記加速指令に基づいて、前記立体映像撮像装置が前記光軸方向の前に加速しているかの如く画角を狭く動かす速さを調整し、前記立体映像撮像装置が前記光軸方向の後ろに加速しているかの如く画角を広く動かす速さを調整し、
   前記画角で被写体を撮像し、前記両眼視差を有する左眼用映像データと右眼用映像データとを生成することを特徴とする立体映像撮像方法。

Images