WO2011024423A1

WO2011024423A1 - 立体映像表示制御装置及び立体映像撮像装置

Info

Publication number: WO2011024423A1
Application number: PCT/JP2010/005162
Authority: WO
Inventors: 忠義奥田
Original assignee: パナソニック株式会社
Priority date: 2009-08-28
Filing date: 2010-08-23
Publication date: 2011-03-03

Abstract

立体映像表示制御装置は、２つのカメラを含む複眼カメラによって撮影された立体映像情報と、立体映像情報が撮影されたときの２つのカメラの焦点距離に関する情報とを含む立体映像ストリームを取得する取得手段と、取得した立体映像ストリームに含まれる焦点距離に関する情報に基づいて、立体映像情報に含まれる左眼画像と右眼画像の表示画面内の表示位置を決定するためのオフセット量を調整する調整手段と、調整されたオフセット量に基づいて立体映像情報が表示されるように、立体映像情報を制御する表示制御手段とを備える。

Description

立体映像表示制御装置及び立体映像撮像装置

　本発明は、２つのカメラを持つ複眼カメラによって撮影された立体映像データを再生する立体映像表示制御装置に関する。さらに、本発明は、２つのカメラを用いて立体映像データを撮像する立体映像撮像装置に関する。

　立体映像データを再生させる技術として特許文献１に開示されたものがある。特許文献１は、立体映像表示装置において、表示画面サイズに応じて立体度を変化させることを開示している。一般に立体映像表示装置により再生される映像は、左眼カメラの光軸と右眼カメラの光軸とを撮影対称面上で交差させ、収束点であるクロスポイントを形成して、被写体の立体映像を撮影する複眼カメラにより撮影される。

特開２００４－１８００６９号公報

　複眼カメラが立体映像を撮影する場合、左右のカメラの焦点距離が調整されることがある。カメラの焦点距離が変わると、複眼カメラにおいてユーザの視野角と異なる画角で立体映像データが記録されてしまうことがある。そのように記録された立体映像データを、複眼カメラにおける左右のカメラ間の距離（固定値）に基づいて立体視可能に再生し、立体映像表示装置に表示すると、ユーザが視認する立体映像は違和感のある立体映像になってしまう。

　本発明は、上記課題を解決するためになされたものであり、撮影時のカメラの焦点距離の変化の影響を受けずに、ユーザにとって違和感のない立体映像の再生を可能とする立体映像表示制御装置及び立体映像撮像装置を提供することを目的とする。

　本発明の第１の態様において、２つのカメラを含む複眼カメラによって撮影された立体映像情報と、立体映像情報が撮影されたときの２つのカメラの焦点距離に関する情報と、を含む立体映像ストリームを取得する取得手段と、取得した立体映像ストリームに含まれる焦点距離に関する情報に基づいて、立体映像情報に含まれる左眼画像と右眼画像の表示画面内の表示位置を決定するためのオフセット量を調整する調整手段と、調整されたオフセット量に基づいて前記立体映像情報が表示されるように、立体映像情報を制御する表示制御手段と、を備える立体映像表示制御装置が提供される。

　本発明の第２の態様において、２つのカメラを含む複眼カメラによって撮影された立体映像情報を含む立体映像ストリームを取得する第１の取得手段と、立体映像情報を表示する表示装置の画面サイズを示す情報を取得する第２の取得手段と、取得した画面サイズを示す情報に基づいて、立体映像情報に含まれる左眼映像と右眼映像との表示画面内の表示位置を決定するためのオフセット量を調整する調整手段と、調整されたオフセット量に基づいて立体映像情報が表示されるように、立体映像情報を制御する表示制御手段と、を備える、立体映像表示制御装置が提供される。

　本発明の第３の態様において、第１のカメラと、第１のカメラの光軸と平行なまたは交差する光軸を有する第２のカメラと、第１及び第２のカメラで撮像された映像を映像情報として記録する記録手段とを備える立体映像撮像装置が提供される。記録手段は、フレーム毎の第１及び第２のカメラの焦点距離に関する情報を、映像情報の管理情報として記録する。
　本発明の立体映像は、立体視可能な動画像又は静止画像を指す。

　本発明によれば、撮影時の焦点距離に基づいて表示装置での表示時のオフセット（視差情報）を調整するため、撮影時のカメラの焦点距離の変化の影響を受けずに、ユーザにとって違和感のない立体映像を表示できる。

実施の形態の立体映像表示システムの構成を示す図立体映像表示制御装置の構成例を示す図立体映像表示装置の構成例を示す図（ａ）立体映像の撮影方法を説明するための図、（ｂ）立体映像の表示方法を説明するための図複眼カメラによって撮影された立体映像データの一例を説明するための図立体映像の表示方法を説明するための図立体映像の表示方法を説明するための図立体映像の撮影時の焦点距離に依存して立体映像の表示時のオフセットが変化することを説明した図立体映像ストリームの一例を示す図立体映像表示制御装置の動作例を示すフローチャート撮影された画像の立体映像表示装置への表示を説明するための図左眼画像と右眼画像の表示例を説明した図左眼画像と右眼画像のオフセット量の算出方法を説明するための図（ａ）クロスポイント（輻輳点）を有するカメラにより撮影された映像の視差ｄiを説明するための図、（ｂ）平行なカメラにより撮影された映像の視差ｄiを説明するための図撮像素子の横幅（Ｗ）、立体映像表示装置２の画面上での視差（オフセット）ｄs、立体映像表示装置の画面の横幅（Ｄ）、撮影される画面の横幅（Ｂ）を説明した図平行なカメラにより撮影された場合のオフセット量の算出方法を説明するための図主要被写体とクロスポイントの関係を示す図管理情報（クロスポイント情報、焦点距離情報、及び主要被写体距離情報）に基づいて調整されるオフセットの方向及び量を説明した図

実施の形態
　以下、添付の図面を参照して、立体映像表示制御装置の好ましい実施形態を説明する。

１．立体映像表示システム
　図１に、本実施形態の立体映像表示システムの構成を示す。立体映像表示システムは、立体映像表示制御装置１と立体映像表示装置２を含む。図２に、立体映像表示制御装置１の構成例を示す。図３に立体映像表示装置２の構成例を示す。立体映像表示制御装置１は、ＤＶＤプレーヤ、ＢＤプレーヤ、ハードディスクレコーダ、ＴＶ受像機のような映像信号を再生可能な装置である。立体映像表示装置２は、ディスプレイモニタ、ＴＶ受像機、ヘッドマウントディスプレイのような映像信号を表示可能な装置である。

　図１に示すように、立体映像表示制御装置１は、立体映像を表示する立体映像表示装置２と、立体映像ストリームが蓄積されているサーバ３と、光ディスク４と、アンテナ５及びメモリカード６とに接続されている。立体映像表示制御装置１は、サーバ３、光ディスク４、アンテナ５、またはメモリカード６から、立体映像を表示するための立体映像ストリームまたは立体映像ストリームを生成するための情報を取得する。

　図２を参照し、立体映像表示制御装置１の構成を具体的に説明する。立体映像表示制御装置１は、ディスクドライブ１１、チューナ１２、ネットワーク通信インタフェース１３、メモリデバイスインタフェース１４、データ伝送インタフェース１５、バッファメモリ１６、ＨＤドライブ１７、及びＬＳＩ１８（システムコントローラ）を備える。以下、各々の構成要素について具体的に説明する。

　ディスクドライブ１１は、光ピックアップを含み、光ディスク４から立体映像ストリームを読み出す。ディスクドライブ１１は、ＬＳＩ１８と接続されている。ディスクドライブ１１は、ＬＳＩ１８からの制御に応じて、光ディスク４から立体映像ストリームを読み出し、ＬＳＩ１８に送信する。

　チューナ１２は、アンテナ５を介して、立体映像ストリームを含む放送波を受信する。チューナ１２は、受信した放送波の内、ＬＳＩ１８によって指定された周波数の立体映像ストリームを取り出す。チューナ１２は、ＬＳＩ１８と接続されており、取り出した立体映像ストリームをＬＳＩ１８に送信する。

　ネットワーク通信インタフェース１３は、ネットワークを介してサーバ３と接続可能である。ネットワーク通信インタフェース１３は、サーバ３から送信された立体映像ストリームを取得する。

　メモリデバイスインタフェース１４は、メモリカード６を装着可能に構成されており、装着されたメモリカード６から立体映像ストリームを読み出すことが可能である。メモリデバイスインタフェース１４は、メモリカード６から読み出された立体映像ストリームを、ＬＳＩ１８に送信する。

　ＨＤドライブ１７は、ハードディスクなどの記録媒体を内蔵し、記録媒体から読み出されたデータをＬＳＩ１８に送信する。また、ＨＤドライブ１７は、ＬＳＩ１８から受信したデータを記録媒体に記録する。

　データ伝送インタフェース１５は、ＬＳＩ１８から送信されたデータを、外部の立体映像表示装置２に送信するためのインタフェースである。データ伝送インタフェース１５は、データ信号及びコントロール信号を、立体映像表示装置２との間で送受信可能に構成されている。したがって、ＬＳＩ１８は、データ伝送インタフェース１５を介して、立体映像表示装置２を制御することが可能である。データ伝送インタフェース１５は、例えば、ＨＤＭＩコネクタ等で実現可能である。なお、データ伝送インタフェース１５は、データ信号を立体映像表示装置２に送信できれば、どのような構成であってもかまわない。

　バッファメモリ１６は、ＬＳＩ１８が処理を行う際に、ワークメモリとして機能する。バッファメモリ１６は、例えば、ＤＲＡＭやＳＲＡＭなどで実現可能である。

　ＬＳＩ１８は、立体映像表示制御装置１の各部を制御するシステムコントローラである。ＬＳＩ１８は、マイクロコンピュータで実現してもよく、ハードワイヤードな回路で実現してもよい。

　ＬＳＩ１８の内部には、ＣＰＵ１８１、ストリームコントローラ１８２、デコーダ１８３、ＡＶ入出力回路１８４、システムバス１８５及びメモリコントローラ１８６が実装されている。

　ＣＰＵ１８１はＬＳＩ１８全体を制御する。ＬＳＩ１８の各部は、ＬＳＩ１８からの制御に基づいて各種制御を行なうように構成されている。また、ＣＰＵ１８１は外部との通信も制御する。例えば、ＣＰＵ１８１は、データ伝送インタフェース１５を介して立体映像表示装置２に要求信号を送信し、画面サイズに関する情報を取得することが可能である。ＣＰＵ１８１は、取得した画面サイズに関する情報を、メモリコントローラ１８６を介してバッファメモリ１６に記録する。また、ＣＰＵ１８１は、光ディスク４、アンテナ５、サーバ３またはメモリカード６から立体映像ストリームを取得する際、ディスクドライブ１１、チューナ１２、ネットワーク通信インタフェース１３またはメモリデバイスインタフェース１４それぞれに制御信号を送信する。これによって、ディスクドライブ１１、チューナ１２、ネットワーク通信インタフェース１３及びメモリデバイスインタフェース１４は、立体映像ストリームを記録メディアや放送局等から取得することができる。

　ストリームコントローラ１８２は、立体映像表示制御装置１と、サーバ３、光ディスク４、アンテナ５、メモリカード６及びアクティブシャッターメガネ７との間のデータの送受信を制御する。例えば、ＣＰＵ１８１は、サーバ３から取得した立体映像ストリームを、メモリコントローラ１８６に送信する。

　メモリコントローラ１８６は、ＬＳＩ１８の各部から送信されたデータを、バッファメモリ１６に書き込む。例えば、メモリコントローラ１８６は、ストリームコントローラ１８２から取得した立体映像ストリームを、バッファメモリ１６に記録する。また、メモリコントローラ１８６は、バッファメモリ１６に記録されたデータを、バッファメモリ１６から読み出す。そして、バッファメモリ１６は、読み出したデータをＬＳＩ１８の各部に送信する。

　デコーダ１８３は、メモリコントローラ１８６からデータを取得すると、取得したデータをデコードする。ここで、デコーダ１８３に入力されるデータは、ＣＰＵ１８１の制御に基づいている。具体的には、ＣＰＵ１８１は、メモリコントローラ１８６を制御して、バッファメモリ１６に記録された立体映像ストリームを読み出させる。そして、ＣＰＵ１８１は、読み出した立体映像ストリームをデコーダ１８３に送信するようメモリコントローラ１８６を制御する。これによって、メモリコントローラ１８６からデコーダ１８３に立体映像ストリームが入力される。

　具体的にデコーダ１８３は、入力された立体映像ストリームを立体映像データとその管理情報とに分離する。そして、デコーダ１８３は、管理情報をバッファメモリ１６に記録する。

　また、デコーダ１８３は、立体映像データに含まれるデコード情報に基づいて、圧縮された立体映像データをデコードする。なお、デコーダ１８３は、デコードした情報をメモリコントローラ１８６に送信する。メモリコントローラ１８６は、受信した立体映像データをバッファメモリ１６に記録する。

　ＡＶ入出力回路１８４は、バッファメモリ１６から、立体映像データ及びその管理情報、並びに画面サイズに関する情報を読み出して、立体映像表示装置２に表示させる表示画像を生成する。そして、ＡＶ入出力回路１８４は、生成した表示画像を、データ伝送インタフェース１５を介して立体映像表示装置２に送信する。

　なお、立体映像表示制御装置１の各部には電源（図示せず）が接続されており、電源から電力が供給されている。

　図３を参照し、立体映像表示装置２の構成を具体的に説明する。立体映像表示装置２はディスプレイ２４を備え、映像データを表示する。ディスプレイ２４は例えば、液晶ディスプレイ、プラズマディスプレイ又は有機ＥＬディスプレイで構成される。立体映像表示装置２は、立体映像表示制御装置１から送信された映像データを表示可能である。立体映像表示装置２は、立体映像表示制御装置１からの要求信号に基づき、画面サイズに関する情報を立体映像表示制御装置１に送信可能である。

　より具体的に、立体映像表示装置２は、コントローラ２２、メモリ２３、ディスプレイ２４、データ伝送インタフェース２１および通信インタフェース２５で構成されている。

　メモリ２３には、立体映像表示装置２の画面サイズに関する情報が予め記憶されている。メモリ２３は例えばフラッシュメモリやＦＲＡＭで実現可能である。

　コントローラ２２は、立体映像表示制御装置１から要求信号を受け付けると、メモリ２３に記憶された画面サイズに関する情報を読み出して、立体映像表示制御装置１に送信する。これによって、立体映像表示制御装置１は、立体映像表示装置２から画面サイズに関する情報を取得できる。なお、コントローラ２２は、例えば、マイクロプロセッサで実現できる。

　また、データ伝送インタフェース２１は、立体映像表示制御装置１とデータの送受信を行なうためのインタフェースである。データ伝送インタフェース２１は、例えば、ＨＤＭＩ（High Definition Multimedia Interface）コネクタ等で実現できる。

　通信インタフェース２５は、アクティブシャッターメガネ７と通信を行なうためのインタフェースである。通信インタフェース２５は、例えば、赤外線やＢｌｕｅｔｏｏｔｈなどの無線又は有線により、アクティブシャッターメガネ７との通信を確立する。

　図１に戻り、サーバ３は、立体映像ストリームが蓄積されているネットワークサーバである。サーバ３は、ネットワークに接続されており、家庭内におかれた立体映像表示制御装置１と接続可能である。サーバ３は、立体映像表示制御装置１からのアクセス要求に対応して、立体映像ストリームを立体映像表示制御装置１（ネットワーク通信インタフェース１３）に送信することが可能である。

　光ディスク４は、立体映像ストリームが記録された記録メディアである。光ディスク４は、立体映像表示制御装置１のディスクドライブ１１に挿入可能である。立体映像表示制御装置１（ディスクドライブ１１）は、光ディスク４に記録された立体映像ストリームを読み出すことが可能である。

　アンテナ５は、放送局の放送装置から放送された立体映像ストリームを含む放送波を受信するためのアンテナである。アンテナ５は、立体映像表示制御装置１（チューナ１２）に対して受信した立体映像ストリームを含む放送波を送信する。

　メモリカード６は、立体映像ストリームが記録された半導体メモリカード、又は半導体メモリを内部に有した記録媒体である。メモリカード６は、立体映像表示制御装置１（データ伝送インタフェース１５）に挿入可能である。なお、立体映像表示制御装置１（データ伝送インタフェース１５）は、メモリカード６に記録された立体映像ストリームを読み出すことが可能である。

　以上のように構成される立体映像表示システムにおいて、特に、立体映像表示制御装置１のＡＶ入出力回路１８４は、立体映像データ及び管理情報、並びに画面サイズに関する情報を読み出し、管理情報（カメラ間の距離情報及び焦点距離情報）３２及び画面サイズに関する情報に基づいて、立体映像データを画面内の表示位置（オフセット）を決定する。そして、ＡＶ入出力回路１８４は、決定されたオフセットに基づいて、立体映像データの表示位置を調整した表示画面のデータを、データ伝送インタフェース１５を介して立体映像表示装置２に出力する。

　なお、オフセットは、立体映像データの左眼画像と右眼画像との画面内での表示位置のずれ量を示す情報である。したがって、例えばオフセットが３０ピクセルであれば、ＡＶ入出力回路１８４は、左右の眼画像がそれらの画像の中心が６０ピクセル離れて表示装置に表示されるように表示画面を生成する。つまり、ＡＶ入出力回路１８４は、左眼画像を表示画面の中心に対して左へ３０ピクセルずらし、右眼画像を表示画面の中心に対して右へ３０ピクセルずらして、それぞれ表示画面を生成する。ＡＶ入出力回路１８４は、このようにして生成した表示画面を示すデータを、データ伝送インタフェース１５を介して立体映像表示装置２に送信する。これによって、立体映像表示装置２では、左眼画像を示す表示画面及び右眼画像を示す表示画面が順次表示される。

　以上のように、焦点距離情報に基づいてオフセットを求めることで（すなわち、オフセットを焦点距離情報に基づいて調整することで）、立体映像データに対する、より最適なオフセットを求めることができる。これによって、ユーザは、より違和感のない立体映像を視聴することができる。

２．立体映像の撮影及び表示
　本実施の形態の映像表示システムが処理対象とする立体映像データの撮影方法及び表示方法について説明する。

　２．１　立体映像の撮影方法
　図４（ａ）を参照して、立体映像の撮影方法について説明する。本実施の形態の立体映像表示システムが処理対象とする立体映像は複眼カメラ５０で撮影される。複眼カメラ５０は、左眼用カメラ５１と、右眼用カメラ５２と、立体映像記録回路５３とを含む。左眼用カメラ５１と右眼用カメラ５２は、それらの光軸が平行または交差するように配置される。複眼カメラ５０は、左眼用カメラ５１と右眼用カメラ５２により立体映像の撮影を行う際、両カメラ５１、５２の焦点距離を調整できる。

　複眼カメラ５０において、立体映像を撮影する場合、左右のカメラ５１、５２で交互に静止画像を撮影する。このようにして、複眼カメラ５０は、立体映像を表示するのに必要な、左眼用カメラ５１で撮影された左眼画像と、右眼用カメラ５２で撮影された右眼画像を順次生成する。例えば、図５に示すような左眼画像６１と右眼画像６２が生成される。

　複眼カメラ５０は、このようにして生成された左眼画像と右眼画像を、立体映像記録回路５３により立体映像データとして記録メディア（例えば、光ディスク、メモリカード、ハードディスク）に記録する。このようにして複眼カメラ５０は、立体映像を表示する際に必要な立体映像データを生成できる。

　特に、本実施の形態では、複眼カメラ５０（立体映像記録回路５３）は、立体映像データ撮影時における左右のカメラ５１、５２間の距離の情報、及び、撮影時における焦点距離の情報等を含む管理情報を、立体映像データに付加して、立体映像ストリームとして記録メディアに記録する。なお、カメラ５１、５２間の距離の情報及び撮影時における焦点距離の情報等はフレーム毎に記録されるのが好ましい。

　例えば、図５の例では、カメラ間の距離情報として”Ｄ”を立体映像データに付加して記録する。また、焦点距離情報として、”Ｘ（ｍｍ）”（又は、画角”Ｌ”度）を付加して記録する。さらに、クロスポイントとして、自装置からの距離“Ｋ（ｍ）”を付加して記録する（図５）。このようにして、複眼カメラ５０は立体映像ストリームを生成する。立体映像ストリームの具体的な構成は後述する。

　２．２　立体映像の表示方法
　立体映像の表示方法について説明する。本実施の形態の立体映像表示装置２は、図６（ａ）に示すようなアクティブシャッターメガネ７を用いて立体映像を視聴可能にするための映像を表示する。具体的には、図６（ｂ）に示すように、立体映像表示制御装置１は、立体映像表示装置２に対して、左眼用の画像（左眼画像）と右眼用の画像（右眼画像）が示す画面データを交互に出力する。立体映像表示装置２は、立体映像表示制御装置１から受信した画面データをディスプレイ２４の画面上に順次表示する。ユーザは、このようにしてディスプレイ２４に表示された映像を、アクティブシャッターメガネ７を介して視認することで立体映像を認識できる。

　特に、この表示動作において、本実施形態の立体映像表示制御装置１は、図４（ｂ）に示すように、左眼画像と右眼画像の表示画面内の表示位置（オフセット）を、画像の撮影時の焦点距離に基づいて調整する。このオフセットの調整動作の詳細は後述する。

　アクティブシャッターメガネ７は、ユーザの左右の何れかの視野を遮ることが可能なシャッタを備えている。アクティブシャッターメガネ７は、立体映像表示装置２に左眼画像が表示されると、ユーザの立体映像表示装置２に対する右眼の視野を遮る一方で、立体映像表示装置２に右眼画像が表示されると、ユーザの立体映像表示装置２に対する左眼の視野を遮る。つまり、図６（ｂ）に示すように、立体映像表示装置２に左眼画像を示す画面が表示されている場合は、ユーザは、左眼で映像を見ることになり、立体映像表示装置２に右眼画像を示す画面が表示されている場合は、ユーザは、右眼で映像を見ることになる。これによって、ユーザは、立体映像表示装置２に順次表示された画面を立体映像として認識できる。

３．無歪み条件
　図４を参照して、ユーザが立体映像を最適な状態で視認することができる無歪み条件を説明する。無歪み条件は下記の３つの条件を含む。
　１）複眼カメラ５０が立体映像を撮影した際の画角（θc）と、ユーザが立体映像表示装置２を視聴する際の画角（θd）とが一致。
　２）複眼カメラ５０が立体映像を撮影した際の左眼画像と右眼画像のオフセット（ｄc）と、立体映像表示装置２に立体映像を表示する際の左眼画像と右眼画像のオフセット（ｄｄ）とが一致。
　３）撮影レンズの光軸が平行であること

　例えば、立体映像データが、左右のカメラ５１、５２間の距離（ｄc）６５ｍｍ、焦点距離５０ｍｍで撮影された場合を想定する。左右のカメラ間の距離（ｄc）６５ｍｍは、人間の左右の目の間の距離（ｄｅ）（約６３ｍｍ～６８ｍｍ）に相当する値である。焦点距離５０ｍｍ（画角４６度）は、人間が普段見ている遠近感とほぼ等しい値である。このような立体映像データを立体映像表示装置２に表示する場合、以下のようにして、左眼画像及び右眼画像の画面内の表示位置を調整する。ここで、立体映像表示装置２の横方向の画面サイズＷおよび最適な視聴距離Ｌは人間の遠近感にほぼ等しくなる値に調整されているものとする。つまり、複眼カメラ５０が立体映像を撮影した際の画角（θc）４６度と、立体映像表示装置２の横方向の画面サイズＷおよび最適な視聴距離Ｌによって得られる画角（θｄ）とが一致することになる。

　このような場合、立体映像表示制御装置２は、左眼画像の画面内の表示位置を、画面の中心から左へ（ｄｃ／２）ｍｍ、つまり、３２．５ｍｍ分移動するよう調整する。また、立体映像表示制御装置２は、右眼画像の画面内の表示位置を、画面の中心から右へ（ｄｃ／２）ｍｍ、つまり、３２．５ｍｍ分移動するよう調整する。このようにして、立体映像データを撮影する際の左右のカメラ間の距離と、立体映像データを表示する際の左眼画像と右眼画像の位置関係を一致させる。つまり、撮影時の左右のカメラ５１、５２間の距離ｄｃと、左眼画像と右眼画像の画面内の表示位置の関係ｄｄとを一致させる。

　上記のようにすれば、複眼カメラ５０が立体映像を撮影した際の画角θcと、ユーザが立体映像表示装置２を視聴する際の画角θdを一致させることができ、かつ、複眼カメラ５０が立体映像を撮影した際の右眼画像と左眼画像のオフセットと、立体映像表示装置２に立体映像を表示する際のオフセットを一致させることができる。このような状況で立体映像を視聴した場合、ユーザはより最適な立体映像を視聴することができる。

　すなわち、本実施の形態は、複眼カメラ５０で焦点距離が変更された状態で立体映像が撮影された場合であっても、立体映像を表示する際に、上記条件に近い条件を得ることを可能にするものである。

　なお、上記の例では、アクティブシャッターメガネ７を使用する立体映像表示装置を説明した。しかし、この構成に限られず、左眼画像と右眼画像をディスプレイに表示する際、左眼画像と右眼画像の画面内の表示位置（オフセット）を調整して表示するものであればどのような表示装置でもよい。

　上記のとおり、本実施の形態では、複眼カメラ５０が立体映像を撮影する場合、２つのカメラ５１、５２の焦点距離が調整される。しかし、カメラ５１、５２の焦点距離が変わると、複眼カメラ５０においてユーザの視野角と異なる立体映像データが記録される。このような立体映像データを、複眼カメラ５０における左右のカメラ５１、５２間の距離（固定値）に基づいて表示装置に表示してしまうと、立体映像はユーザにとって違和感のあるものになってしまう。以下、図７を用いてこの例を具体的に説明する。

　例えば、図７（ａ）に示すように、ズーム側の焦点距離で立体映像が撮影され、図７（ｂ）に示すように、ワイド側の焦点距離で立体映像が撮影されたとする。この場合、図７（ａ）と図７（ｂ）の立体映像データは、左眼画像と右眼画像の位置関係（位置のずれ）が異なる。これは、撮影時の焦点距離（視野角）が異なるからである。例えば、図７（ａ）と図７（ｂ）に示すように、ズーム側で撮影した場合の左眼画像と右眼画像の位置のずれの方が、ワイド側で撮影した場合の左眼画像と右眼画像の位置のずれよりも大きい。

　このため、立体映像表示制御装置１において、左右のカメラ５１、５２間の距離だけに基づき、左眼画像と右眼画像の表示画面内の表示位置（オフセット）を調整した場合、ズーム側の立体映像データで調整される画面内の表示位置と、ワイド側の立体映像データで調整される画面内の表示位置とが同じになってしまう。この場合、ユーザは表示装置に表示された立体映像に違和感を覚える。この課題を解決するために、本実施形態の立体映像表示制御装置１は、画像の撮影時の焦点距離に基づいて、左眼画像と右眼画像の表示画面内の表示位置（オフセット）を調整する（詳細は後述）。

４．立体映像ストリーム
　本実施の形態の立体映像表示制御装置１が外部から取得する立体映像ストリームについて説明する。本実施の形態において、立体映像表示制御装置１が、サーバ３、光ディスク４、アンテナ５またはメモリカード６などから取得する立体映像ストリームは、立体映像データと、立体映像データの管理情報とで構成される。

　図８に立体映像ストリームの具体的な構成例を示す。同図に示すように、立体映像ストリームは、管理情報（左眼画像１）、左眼画像１、管理情報（右眼画像１）、右眼画像１、管理情報（左眼画像２）、左眼画像２、・・・のように、１フレーム毎に立体映像データの管理情報と、立体映像データ（左眼画像、右眼画像）とを記録するようにする。この構成によれば、１フレーム毎に、焦点距離情報に基づいて、ユーザに対する表示のさせ方を調整できるので、ユーザにとってより違和感のない立体映像を表示することができる。

　立体映像ストリームに含まれる立体映像データは、複眼カメラ５０の左右のカメラ５１、５２で撮影された映像を任意の圧縮方式で符号化した情報である。圧縮方式には、ＭＶＣ（Ｍｕｌｔｉ－ｖｉｅｗ　Ｖｉｄｅｏ　Ｃｏｄｉｎｇ）やＭＰＥＧ４－ＡＶＣが考えられるが、これらに限られない。なお、圧縮された立体映像データには、上記圧縮方式で圧縮されているため、デコードするために必要な情報（デコード情報）が付加されている。

　立体映像データの管理情報は、撮影時における左眼用カメラ５１の光軸と右眼用カメラ５２の光軸との間の距離に関する情報（以下「カメラ間の距離情報」という。）と、撮影時における左右のカメラ５１、５２の焦点距離に関する情報（以下「焦点距離情報」という。）と、カメラ５１、５２からクロスポイントまでの距離に関する情報「以下「クロスポイント情報」」と、主要被写体（代表的な撮影対象）までの距離に関する情報（以下「主要被写体距離情報」）と、を含む。クロスポイント（輻輳点）は、カメラ５１の光軸とカメラ５２の光軸とが交差する位置を指す。主要被写体までの距離は、焦点が合っている被写体までの距離を指す。

　管理情報の具体例を説明する。管理情報において、カメラ間の距離情報、クロスポイント情報、焦点距離情報及び主要被写体距離情報は、この順序で記録される。これは、複眼カメラ５０の構成上、カメラ間の距離及びクロスポイントを可変にして撮影することは難しく、焦点距離及び焦点を可変にして撮影することは容易なためである。

　なお、本実施の形態では、管理情報におけるカメラ間の距離情報は、長さ（例えば、５ｃｍ）の単位で表現する。しかし、これに限られず、例えば、カメラ間の距離情報を、カメラ５１、５２間の距離に対応する画像データのピクセル数で表現してもよい。

５．立体映像表示制御装置の動作
　図９のフローチャートを参照し、立体映像表示制御装置１の動作を説明する。以下、アンテナ５で得られた放送波に含まれる立体映像ストリームを立体映像表示装置２に表示させる場合を例にして説明を行なう。立体映像表示制御装置１は、アンテナ５から立体映像ストリームを取得するように設定されると、以下の動作を行う。

　まず、ＬＳＩ１８は、立体映像表示装置２に、立体映像表示装置２の画面サイズに関する情報を要求する要求信号を送信し、画面サイズに関する情報を取得し、取得した画面サイズに関する情報をバッファメモリ１６に記憶する（Ｓ１）。そして、ＬＳＩ１８は、チューナ１２を制御して、アンテナ５を介して得られた放送波から、立体映像ストリームを取得する（Ｓ２）。ＬＳＩ１８は、取得した立体映像ストリームをバッファメモリ１６に記録する（Ｓ３）。ＬＳＩ１８は、バッファメモリ１６に記録された立体映像ストリームを読み出し、立体映像ストリームを立体映像データ及び管理情報に分離する（Ｓ４）。ＬＳＩ１８は、分離した管理情報をバッファメモリ１６に記録する。一方でＬＳＩ１８は、分離した立体映像データをデコードし、デコードした立体映像データをバッファメモリ１６に記録する（Ｓ５）。ＬＳＩ１８は、バッファメモリ１６に記録された画面サイズに関する情報と管理情報に基づいて、立体映像データの左眼画像と右眼画像のオフセットを算出する（Ｓ６）。画面サイズに関する情報と管理情報（カメラ間距離、クロスポイント、焦点距離、主要被写体距離）に基づいた左眼画像と右眼画像のオフセットの算出方法については後述する。

　ＬＳＩ１８は、算出されたオフセットに基づいて、デコードされた立体映像データに含まれる左眼画像と右眼画像の表示画面を生成する（Ｓ７）。ＬＳＩ１８は、生成した左眼画像と右眼画像の表示画面を立体映像表示装置２に順次出力する（Ｓ８）。

　例えば、図１０のように、左眼画像と右眼画像を立体映像表示装置２の表示画面に表示させる場合、テレ側で撮影された立体映像と、ワイド側で撮影された立体映像とでは、調整量（オフセット量）が異なる。つまり、図１１（ａ）及び図１１（ｂ）に示すように、テレ側で撮影された立体映像のオフセット量Ｌtの方が、ワイド側で撮影された立体映像のオフセット量Ｌwよりも大きくなる。

　これによって立体映像表示制御装置１は、立体映像ストリームを違和感の少ない立体映像をユーザに視聴させることができる。

　なお、上記動作例は、本実施の形態の動作を理解しやすくするために動作順序を規定して説明しているが、実際には、それぞれの処理が並列に動作するよう構成されている。

　５．１　管理情報（カメラ間距離、クロスポイント、焦点距離、主要被写体距離）に基づくオフセットの方向及び量の違い
　以下、まず、セクション５．１．１で撮影環境の違いに応じた視差量の違いを説明した後、セクション５．１．２で撮影環境の違いに応じたオフセットの方向及び量の違いを説明する。

　５．１．１　撮影環境の違いに応じた視差量の違い
　視差量の違いを説明する前に、図１６を用いて、カメラに対して、クロスポイントよりも近い被写体と遠い被写体の間での、撮影される位置の違いを説明する。

　撮影対象（主要被写体）Ａがクロスポイントよりも近くに位置する場合において、仮想スクリーン上では、左眼用のカメラ５１で撮影する撮影対象Ａの左眼画像ＡＬが、右眼用のカメラ５２で撮影する撮影対象Ａの右眼画像ＡＲよりも、右に位置する。

　一方、撮影対象Ｂがクロスポイントよりも遠くに位置する場合において、仮想スクリーン上では、左眼用のカメラ５１で撮影する撮影対象Ｂの左眼画像ＢＬの方が、右眼用のカメラ５２で撮影する撮影対象Ｂの右眼画像ＢＲよりも、左に位置する。

　このような前提の下、図１７を用いて、撮影環境の違いに応じた視差量の違いを説明する。図１７は、管理情報（クロスポイント情報、焦点距離情報、及び主要被写体距離情報）に基づいて調整されるオフセットの方向及び量を説明した図である。

　図１７を見て分かるように視差量（実線矢印）は、撮影時点の焦点距離がワイド側かテレ側かに応じて変化する。例えば、ワイド側で撮影された場合、主要被写体の視差量は小さくなる。一方、テレ側で撮影された場合、主要被写体の視差量は大きくなる。

　なお、図示しないが、視差量の違いは、カメラ間の距離が狭いか広いかに応じても変化する。例えば、カメラ間の距離が狭い状態で撮影された場合、主要被写体の視差量は小さくなる。一方、カメラ間の距離が広い状態で撮影された場合、主要被写体の視差量は大きくなる。

　つまり、上記のように撮影状況（焦点距離、カメラ間距離、等）に応じて視差量が変化するので、この視差量の変化をキャンセルすれば、より無歪み条件に近い立体映像をユーザに提供できる。

　５．１．２　オフセット方向及び量
　本実施形態の立体映像表示制御装置１は、撮影状況に応じて変化する視差量に基づき、オフセットを調整する。例えば、主要被写体が、クロスポイントよりも近く（図１７（Ａ））、かつ、ワイド側で撮影された場合、左眼画像については、基準の焦点距離（５０ｍｍ）における視差量に近い視差量が得られるよう、右方向にオフセットをつける。

　また、主要被写体がクロスポイントよりも近く（図１７（Ａ））、かつ、テレ側で撮影された場合、左眼画像については、基準の焦点距離における視差量に近い視差量が得られるよう、左方向にオフセットをつける。

　一方、主要被写体がクロスポイントよりも遠く（図１７（Ｃ））、かつ、ワイド側で撮影された場合、左眼画像については、基準の焦点距離における視差量に近い視差量が得られるよう、左方向のオフセットをつける。

　また、主要被写体がクロスポイントよりも遠く（図１７（Ｃ））、かつ、テレ側で撮影された場合、左眼画像については、基準の焦点距離における視差量に近い視差量が得られるよう、右方向のオフセットをつける。

　つまり、ワイド側は、視差量が大きくなるように調整する。一方、テレ側は、視差量が小さくなるよう調整する。このように焦点距離に応じて左眼画像及び右眼画像にオフセットをつけることで、より無歪み条件に近い立体映像をユーザに提供できる。

　なお、右眼画像については、左眼画像と反対方向に、左眼画像と同量のオフセットをつける。また、主要被写体までの距離とクロスポイントまでの距離が等しい場合（図１７（Ｂ））、管理情報に基づく、オフセットの調整は行わない。また、カメラ間の距離の変化に対しては、カメラ間の距離が狭くなれば、視差量が大きくなるように、オフセットを調整する。一方、カメラ間の距離が広くなれば、視差量が小さくなるようにオフセットを調整する。

　５．１　焦点距離に基づいたオフセットの算出
　以下、画面サイズに関する情報と管理情報（クロスポイントまでの距離、カメラ間距離、焦点距離）に基づいた左眼画像と右眼画像のオフセットの量の算出方法について説明する。

　以下の説明では、図１２（ａ）、１２（ｂ）に示すように、複眼カメラのカメラ５１、５２からクロスポイント（光軸が交差する点）までの距離をＸ、カメラ５１とカメラ５２間の距離（基線長）をｄｃ、焦点距離をＦ、カメラ５１、５２の撮像素子の横幅をＤ、撮影距離をＡ、撮像された画面の横幅をＢ、輻輳角をα、水平画角をθとすると、以下の関係が成り立つ。
　　Ｘ＝ｄｃ｛２ｔａｎ(α／２)｝　　　　　　　　　　（１．１）
　　Ｂ＝２Ａｔａｎ（θ／２）　または　Ａ・Ｄ／Ｆ　　（１．２）

（１）カメラ５１、５２が輻輳角を有する場合
　１－１）撮影距離Ａ＞カメラからクロスポイントまでの距離Ｘの場合
　図１３（ａ）を参照し、カメラ５１、５２で撮影された映像の視差ｄｂは次式で与えられる。
　　ｄｂ＝ｄｃ（Ａ－Ｘ）／Ｘ　　　（２）

　また、立体映像表示装置２の画面上での視差（オフセット）ｄｄ（図１４参照）は、カメラで撮影された映像の視差ｄｂに、撮影された画面の横幅Ｂと、立体映像表示装置２の画面横幅Ｗとから次式で表される。
　　ｄｄ＝（撮影時の視差）×（立体映像表示装置２で表示する場合の倍率）
　　　　＝ｄｂ（Ｗ／Ｂ）　　　　　　　（３）

　よって、式（１．２）、（２）、（３）より立体映像表示装置２の画面上での視差（オフセット）ｄｄは次式で得られる。
　　ｄｄ＝ｄｃ（Ａ－Ｘ）／Ｘ×（Ｗ／Ｂ）
　　　　＝ｄｃ（Ａ－Ｘ）／Ｘ×Ｗ／｛２Ａｔａｎ（θ／２）｝
　　　　＝ｄｃ（Ａ－Ｘ）Ｗ／｛２ＸＡｔａｎ（θ／２）｝または
　　　　　ｄｃ（Ａ－Ｘ）Ｗ・Ｆ／（Ｘ・Ｄ・Ａ）　　　　　　　　（４）

　１－２）撮影距離Ａ＜カメラからクロスポイントまでの距離Ｘの場合
　図１３（ｂ）を参照し、カメラ５１、５２で撮影された映像の視差ｄｂは次式で得られる。
　　ｄｂ＝ｄｃ（Ｘ－Ａ）／Ｘ　　　（５）

　よって、立体映像表示装置２の画面上での視差ｄｄは次式で表される。
　　ｄｄ＝ｄｃ（Ｘ－Ａ）／Ｘ×（Ｗ／Ｂ）
　　　　＝ｄｃ（Ｘ－Ａ）／Ｘ×Ｗ／｛２Ａｔａｎ（θ／２）｝
　　　　＝ｄｃ（Ｘ－Ａ）Ｗ／｛２ＸＡｔａｎ（θ／２）｝または
　　　　　ｄｃ（Ｘ－Ａ）Ｗ・Ｆ／（Ｘ・Ｄ・Ａ）　　　　　　　　（６）

（２）カメラ５１、５２が平行に配置されている場合
　図１５を参照し、カメラ５１、５２で撮影された映像の視差ｄｂは次式となる。
　　ｄｂ＝ｄｃ　　　　　　　　（７）

　　ｄｄ＝ｄｃ（Ｗ／Ｂ）　　　（８）

　よって、式（１．２）、（７）、（８）より、立体映像表示装置２の画面上での視差ｄｄは次式で表される。
　　ｄｄ＝ｄｃ（Ｗ／Ｂ）
　　　　＝ｄｃ・Ｗ／｛２Ａｔａｎ（θ／２）｝または
　　　　　ｄｃ・Ｗ・Ｆ／（Ｄ・Ａ）　　　　　　　　　（９）

　したがって、輻輳角を有するカメラ及び平行なカメラの場合において、上式（４）、（６）、（９）のいずれかを用いて、立体映像表示装置２の画面上での視差（オフセット量）ｄｄを、画面サイズＷ、カメラ間距離ｄｃ、焦点距離Ｆに基づき求めることができる。換言すれば、本実施形態では、撮影時のカメラの視差（ｄｃ）を、焦点距離Ｆ及び画面サイズＷに基づき調整している。

　なお、カメラ５１、５２の撮像素子の幅Ｄ、撮影距離Ａ、カメラ５１、５２からクロスポイントまでの距離Ｘ、輻輳角α、水平画角θ等の情報は、立体映像ストリームの管理情報に記録されるのが好ましい。しかし、必ずしもこれらの情報が管理情報に記録される必要はない。管理情報から得られないパラメータについては、それらの値を所定値に設定して、立体映像表示装置２の画面上での視差（オフセット量）を計算してもよい。

　また、上述の算出式は一例であり、他の算出式を用いて立体映像表示装置２の画面上での視差（オフセット量）を求めることも可能である。

　また、焦点距離Ｆ及び画面サイズＷのいずれかのみに基づき立体映像表示装置２の画面上での視差（オフセット量）を調整してもよく、画面サイズＷ及びカメラ間距離ｄｃの双方を同時に考慮しなくてもよい。撮影時の焦点距離に基づいて立体映像表示装置２での表示時のオフセット（視差情報）を調整することで、撮影時のカメラの焦点距離の変化の影響を受けずに、ユーザにとって違和感のない立体映像を表示できる。また、画面サイズの変化によってもユーザの視野の画角が変化し、ユーザにとって違和感のある立体映像が表示される場合がある。よって、画面サイズＷのみを考慮し、立体映像表示装置２の画面上での視差を調整することでも、ユーザにとって違和感のない立体映像を表示できる。

６．まとめ
　本実施形態の立体映像表示制御装置１は、２つのカメラ５１、５２を含む複眼カメラ５０によって撮影された立体映像情報と、立体映像情報が撮影されたときの２つのカメラの焦点距離Ｆに関する情報と、を含む立体映像ストリームを取得するＬＳＩ１８と、取得した立体映像ストリームに含まれる焦点距離Ｆに関する情報に基づいて、立体映像情報に含まれる左眼画像と右眼画像の表示画面内の表示位置を決定するためのオフセット量を調整するＬＳＩ１８と、調整されたオフセット量に基づいて立体映像情報が表示されるように、立体映像情報を制御するＬＳＩ１８と、を備える。

　この構成により、複眼カメラで撮影された際の焦点距離の情報に応じて、左眼映像及び右眼映像を表示する際の表示画面内の表示位置を調整でき、撮影時のカメラの焦点距離の変化の影響を受けずに、ユーザにとって違和感のない立体映像を表示できる。

　また、本実施形態の複眼カメラ５０は、左眼用カメラ５１と、左眼用カメラ５１の光軸と平行なまたは交差する光軸を有する右眼用カメラ５２と、カメラ５１、５２で撮像された映像を映像情報として記録する立体映像記録回路５３とを備える。立体映像記録回路５３は、フレーム毎のカメラ５１、５２の焦点距離Ｆに関する情報を映像情報の管理情報として記録する。

　なお、映像ソースから立体映像表示制御装置１への３Ｄ映像の伝送方式は、サイドバイサイド方式及びトップアンドボトム方式のいずれでもよい。また、それ以外の方式でもよい。

　本発明の実施形態は上述の実施の形態に限定されず、その他様々な態様で実現可能である。

　本発明の立体映像表示制御装置は、ＤＶＤプレーヤやＢＤプレーヤなどの光ディスク再生装置やチューナを備えたテレビ受像機に適用することが可能である。

１　立体映像表示制御装置
２　立体映像表示装置
３　サーバ
４　光ディスク
５　アンテナ
６　メモリカード
７　アクティブシャッターメガネ
１１　ディスクドライブ
１２　チューナ
１３　ネットワーク通信インタフェース
１４　メモリデバイスインタフェース
１５　データ伝送インタフェース
１６　バッファメモリ
１７　ＨＤドライブ
１８　ＬＳＩ
５０　複眼カメラ
５１　左眼用カメラ
５２　右眼用カメラ
１８１　ＣＰＵ
１８２　ストリームコントローラ
１８３　デコーダ
１８４　ＡＶ入出力回路
１８５　システムバス
１８６　メモリコントローラ
２１　データ伝送インタフェース
２２　コントローラ
２３　メモリ
２４　ディスプレイ
２５　通信インタフェース

Claims

　２つのカメラを含む複眼カメラによって撮影された立体映像情報と、前記立体映像情報が撮影されたときの前記２つのカメラの焦点距離に関する情報と、を含む立体映像ストリームを取得する取得手段と、
　前記取得した立体映像ストリームに含まれる焦点距離に関する情報に基づいて、前記立体映像情報に含まれる左眼画像と右眼画像の表示画面内の表示位置を決定するためのオフセット量を調整する調整手段と、
　前記調整されたオフセット量に基づいて前記立体映像情報が表示されるように、前記立体映像情報を制御する表示制御手段と、
を備える立体映像表示制御装置。
　前記立体映像ストリームは、前記２つのカメラの光軸が交差する点であるクロスポイントに関する情報をさらに含み、
　前記調整手段は、前記焦点距離に関する情報と、前記クロスポイントに関する情報とに基づいて前記オフセット量を調整する、
請求項１に記載の立体映像表示制御装置。
　前記立体映像ストリームは、前記カメラ間の距離に関する情報をさらに含み、
　前記調整手段は、前記焦点距離に関する情報と、前記クロスポイントに関する情報と、前記カメラ間の距離に関する情報とに基づいて前記オフセット量を調整する、
請求項２に記載の立体映像表示制御装置。
　前記立体映像ストリームは、前記カメラ間の距離に関する情報をさらに含み、
　前記調整手段は、前記焦点距離に関する情報と、前記カメラ間の距離に関する情報とに基づいて前記オフセット量を調整する、
請求項１に記載の立体映像表示制御装置。
　２つのカメラを含む複眼カメラによって撮影された立体映像情報を含む立体映像ストリームを取得する第１の取得手段と、
　前記立体映像情報を表示する表示装置の画面サイズを示す情報を取得する第２の取得手段と、
　前記取得した画面サイズを示す情報に基づいて、前記立体映像情報に含まれる左眼映像と右眼映像との表示画面内の表示位置を決定するためのオフセット量を調整する調整手段と、
　前記調整されたオフセット量に基づいて前記立体映像情報が表示されるように、前記立体映像情報を制御する表示制御手段と、
を備える立体映像表示制御装置。
　前記立体映像ストリームは、前記２つのカメラ間の距離に関する情報をさらに含み、
　前記調整手段は、前記画面サイズに関する情報と、前記距離に関する情報とに基づいて、前記オフセット量を調整する、
請求項５に記載の立体映像表示制御装置。
　第１のカメラと、
　前記第１のカメラの光軸と平行なまたは交差する光軸を有する第２のカメラと、
　前記第１及び第２のカメラで撮像された映像を映像情報として記録する記録手段とを備え、
　前記記録手段は、フレーム毎の前記第１及び第２のカメラの焦点距離に関する情報を、前記映像情報の管理情報として記録する、
立体映像撮像装置。
　前記第２のカメラが前記第１のカメラの光軸と交差する光軸を有する場合に、前記記録手段は、さらに、前記第１のカメラの光軸と前記第２のカメラの光軸が交差する点であるクロスポイントに関する情報を前記映像情報の管理情報として記録する、
請求項７記載の立体映像撮像装置。
　前記記録手段は、さらに、前記第１及び第２のカメラ間の距離に関する情報を前記映像情報の管理情報として記録する、
請求項７記載の立体映像撮像装置。