JP5133472B2 - 立体映像出力装置及び立体映像出力方法 - Google Patents

Description

本発明は、立体映像（３次元映像（３Ｄ映像））の表示部に適切な立体感を有する立体映像を表示させるための技術に関する。

視差を有する第１視点画像（左目用画像と右目用画像とのうちの一方の画像）と第２視点画像（左目用画像と右目用画像とのうちの他方の画像）からなる立体映像を表示可能な表示装置が普及しつつある。

立体映像を構成する第１視点画像と第２視点画像の視差（以下、適宜「立体映像の視差」という）は、当該立体映像を表示する表示装置の表示部の画面サイズ（表示条件）等により変化する。例えば、表示部の画面サイズが大きくなると、視差も比例して大きくなる。視差が大きな立体映像は、人間が立体視する際、立体視が困難になる場合がある。

特許文献１、２は、撮像された立体映像に対して信号処理を施すことにより、表示部の画面サイズに応じて視差を補正した新たな映像を生成することを開示している。

特開２００６−１１５１９８号公報 特開２０１０−２０６７７４号公報

特許文献１、２のように信号処理により新たな画像を生成することは、誤差やオクルージョンを発生させる。そのため、特許文献１、２のような方法で、新たに生成した立体映像は不自然なものとなり、立体映像を視聴するユーザに適切な立体感を与えられない場合がある。

本発明は、立体映像の表示条件等が変化した場合でも、立体映像を視聴するユーザに適切な立体感を与えることが可能な技術を提供することを目的とする。

本発明における立体映像出力装置は、同一シーンを異なる位置で撮影した複数の画像の画像データを記憶する記憶部と、記憶部に記憶された複数の画像データから２つの画像データを立体視用の画像データとして選択する選択部と、記憶部に記憶される画像データに関する立体映像を表示する際の表示条件と立体映像を視聴する際の視聴条件との少なくとも一方を取得する取得部と、を備える。選択部は、取得部が取得した条件のうち少なくとも一つの条件が現在設定されている条件と異なる場合、２つの画像データを複数の画像データの中から選択し直して、出力する。

本発明における立体映像出力方法は、同一シーンを異なる位置で撮影した複数の画像の画像データであって、記憶部に記憶された画像データから２つの画像データを選択する立体映像出力方法である。この立体映像出力方法は、記憶部に記憶される画像データに関する画像を表示する際の表示条件と立体映像を視聴する際の視聴条件との少なくとも一方を取得し、取得した条件のうち少なくとも一つの条件が、現在設定されている条件と異なる場合、２つの画像データを複数の画像データの中から選択し直して、出力する。

本発明の立体映像出力装置においては、立体映像の表示条件や視聴条件が変更された場合、２つの画像データが複数の画像データの中から選択され直す。つまり、同一シーンを撮影した複数の画像の中から変更後の表示条件や視聴条件に応じた適切な画像データを用いて新たな立体映像を構成する。そのため、立体映像の表示条件等が変更された場合でも、立体映像を視聴するユーザに対して適切な立体感を与えることが可能となる。

実施形態１の３Ｄ映像処理装置の構成を示すブロック図である。 ＳＢ情報を説明するための図である。 記憶部の具体的構成を説明するための図である。 選択部の具体的動作の一例を説明するためのフローチャートである。 表示倍率が変更される動作を説明するための図である。図５（ａ）は、表示倍率が変更される前の状態を示す図である。図５（ｂ）は、表示倍率が変更された後の状態を示す図である。 視差角のヒストグラムを示す図である。図６（ａ）は、視差角が−１°から１°の範囲に入っている場合のヒストグラムを示す図である。図６（ｂ）は、視差角が−１°から１°の範囲に入っていない場合のヒストグラムを示す図である。 ２台のカメラの撮像素子上での視差の算出を説明するための図である。 ディスプレイ上での視差の算出を説明するための図である。 画像テーブルの構成及び視差角のヒストグラムを示す図である。図９（ａ）は視差角が−１°から１°の範囲に入っていない場合のヒストグラムを示す図である。図９（ｂ）は視差角が−１°から１°の範囲に入っていない場合のヒストグラムの別の例を示す図である。図９（ｃ）は視差角が−１°から１°の範囲に入っている場合のヒストグラムを示す図である。図９（ｄ）は画像テーブルの構成を示す図である。 実環境（画像撮影時）または３Ｄ映像において被写体を立体視したときの輻輳角を求める方法を説明するための図である。図１０（ａ）は、実環境において被写体を立体視したときの輻輳角を求める方法を説明するための図である。図１０（ｂ）は、３Ｄ映像において被写体を立体視したときの輻輳角を求める方法を説明するための図である。 実施形態２の３Ｄ映像処理装置の選択部の具体的な動作を説明するためのフローチャートである。 距離情報を説明するための図である。 ３Ｄ映像を複数のブロックに分割し、分割したブロック毎に求めた輻輳角を説明するための図である。図１３（ａ）は、実環境において求めた輻輳角βを説明する図である。図１３（ｂ）は、３Ｄ映像において求めた輻輳角β′を説明する図である。 実環境または３Ｄ映像において被写体を立体視したときの視野角を求める方法を説明するための図である。図１４（ａ）は、実環境において被写体を立体視したときの視野角を求める方法を説明するための図である。図１４（ｂ）は、３Ｄ映像において被写体を立体視したときの視野角を求める方法を説明するための図である。 実施形態３の３Ｄ映像処理装置の選択部の具体的な動作を説明するためのフローチャートである。 変形例１の３Ｄ映像処理装置の構成を示すブロック図である。 変形例２の３Ｄ映像処理装置の構成を示すブロック図である。 変形例３の３Ｄ映像処理装置における作用等を説明するための図である。図１８（ａ）は、状態１における視差角のヒストグラムを示す図である。図１８（ｂ）は、状態２における視差角のヒストグラムを示す図である。図１８（ｃ）は、ユーザが表示部を複数の視点から注視している状態を示す図である。

以下、本実施形態の３Ｄ映像処理装置について図面を参照しながら説明する。

（実施形態１）
１．構成
図１は、実施形態１の３Ｄ映像処理装置の構成を示すブロック図である。３Ｄ映像処理装置１は、インターフェース１０１、選択部１０２、メモリ１０３、記憶部１０４、調整部１０５、及び表示部１０６を有する。

インターフェース１０１は、ユーザからの入力を受け付ける。

インターフェース１０１は、ユーザから、表示部１０６に表示されている３Ｄ映像の表示条件に関する情報を受け取ることができる。表示条件に関する情報は、表示部１０６に３Ｄ映像を表示する際の当該３Ｄ映像の表示倍率に関する情報である。表示倍率に関する情報は、３Ｄ映像を表示デバイスに表示する際の当該３Ｄ映像の拡大縮小率に関する情報である。

また、インターフェース１０１は、表示部１０６に表示している３Ｄ映像の視聴条件を受け取ることもできる。視聴条件に関する情報は、表示部１０６の画面サイズ、表示部１０６からユーザまでの距離（視聴距離）、及びユーザの眼間距離に関する情報を含む。なお、表示部１０６がメガネ式の３Ｄ表示部である場合は、視聴条件に関する情報として、メガネのサイズを含んでもよい。

インターフェース１０１は、例えば押圧操作を受け付けることが可能なスイッチであっても構わないし、タッチ操作を受け付けることが可能なタッチパネルであっても構わない。つまり、ユーザからの操作を受けつけることが可能なデバイスであればどのようなものであっても構わない。

選択部１０２は、インターフェース１０１、表示部１０６及び記憶部１０４から得られる情報に基づいて、記憶部１０４に記録されている画像データ群の中から、表示部１０６に表示させる３Ｄ映像を構成する２つの画像データを選択する。選択部１０２は、選択した２つの画像データを指定する信号を記憶部１０４に出力する。選択部１０２における具体的な出力方法については後述する。選択部１０２は、マイコン等で構成できる。

メモリ１０３は、選択部１０２で使用するプログラムや、表示倍率等の情報を一時的に保存する。なお、メモリ１０３は、予め設定された表示倍率を保存し、選択部１０２からの要求に応じて出力してもよい。

記憶部１０４は、画像データや、撮影条件に関する情報を保存する。記憶部１０４は、ハードディスク、ＣＤ、ＤＶＤ、ＳＤカードなどの記憶媒体により構成できる。記憶部１０４は、選択部１０２から２つの画像データを指定する信号が入力されると、当該信号で指定された画像データを調整部１０５に出力する。

記憶部１０４は、具体的に画像データとして３次元画像データ１１０を記憶する。また、記憶部１０４は、撮影条件に関する情報として、ステレオベース情報（以下「ＳＢ情報」と称す）１１１、距離情報１１２及び画角情報１１３を記憶する。

３次元画像データ１１０は、同一のシーンを異なる条件で撮影した複数の画像データから構成される。例えば、３次元画像データ１１０は、図２に示すように、カメラＣａをａの位置（基準位置）、ｂの位置、ｃの位置、ｄの位置、ｅの位置…というように、水平方向において異なる位置で撮影した複数の画像データから構成される。これらの画像データは、複数のカメラを上記各位置に配置して撮影してもよいし、１台のカメラを水平方向に移動させて上記各位置で撮影してもよい。ユーザは、３次元画像データ１１０を構成する複数の画像データの中から２つの画像データを選択し、この選択した２つの画像データを表示部１０６で再生することで３Ｄ映像を視聴することができる。なお、３次元画像データ１１０を構成する複数の画像データの中から選択する２つの画像データの組合せが異なれば、基線長（ステレオベース、以下適宜「ＳＢ」と称す）も異なる。ＳＢとは、２つの画像を異なる位置で撮影した場合の一方の画像撮影時の焦点の位置と、他方の画像撮影時の焦点の位置との間の距離である。例えば、１つ目の画像を撮影した後でカメラを移動させて２つ目の画像を撮影した場合に、１つ目の画像を撮影したときの焦点の位置と２つ目の画像を撮影したときの焦点の位置との間の距離である。なお、ＳＢは、２つの画像を撮影したときの焦点間の距離でなくてもよい。例えば、ＳＢは、スライダで移動させた距離でもよいし、コンピュータビジョン技術によって画像から算出された距離でもよい。

３次元画像データ１１０は、同一の被写体が別々の視点から撮影されていれば、撮影時刻、画角、記録画素数などの撮影に関する設定が異なっていても構わない。これらの情報があれば、後で補正を行うことにより表示部１０６に表示させるための画像データを生成できるからである。３次元画像データ１１０には、ＳＢの基準とする１つの基準画像（データ）を設定してもよい。設定しない場合、適当な画像データ、例えば最初に記録されている画像データを基準画像データとしてもよい。

ＳＢ情報１１１は、３次元画像データ１１０を構成する複数の画像データのＳＢに関連する情報である。本実施形態の場合、ＳＢ情報１１１は基準位置から画像を撮影した位置までの距離を示す情報である。基準位置は、基準画像を撮影した位置である。

図２は、ＳＢ情報１１１を説明するための図である。

基準位置を図２に示すａの位置とすると、ａの位置で撮影した画像のＳＢ情報１１１は、０ｃｍとなる。ｂの位置で撮影した画像のＳＢ情報１１１は１ｃｍとなる。ｃの位置で撮影した画像のＳＢ情報１１１は、３ｃｍとなる。例えば、ａの位置で撮影した画像と、ｂの位置で撮影した画像のＳＢは、１ｃｍ−０ｃｍ＝１ｃｍとなる。また、ｂの位置で撮影した画像と、ｃの位置で撮影した画像のＳＢは３ｃｍ−１ｃｍ＝２ｃｍとなる。

距離情報１１２は、カメラから、撮影された画像に含まれる被写体までの距離に関する情報である。被写体までの距離として、同一シーンを撮影した一群の画像のうちの基準画像を撮影したときのカメラ位置からの距離を、基準画像及びそれ以外の画像においても設定してもよい。なお、距離情報１１２における被写体までの距離は、基準画像を撮影したときのカメラ位置からの距離でなくてもよい。例えば、カメラの横に測距センサーを置き、その測距センサーで計測された被写体までの距離でもよいし、ステレオマッチングなどのマッチング技術によって得られた被写体までの距離でもよい。記憶部１０４は、被写体までの距離に関する情報として、最も近い位置に存在する被写体までの距離（最近距離）と最も遠い位置に存在する被写体までの距離（最遠距離）を、例えば「最近距離〜最遠距離」というように、範囲で記憶している（図３では、例えば、２ｍ〜１０ｍ）。なお、距離情報１１２として、最近距離と最遠距離以外の距離を記憶させてもよい。また、距離情報１１２として、一つの被写体における最も近い位置に存在する部分までの距離（最近距離）と最も遠い位置に存在する部分までの距離（最遠距離）を記憶させてもよい。つまり、被写体の厚みを記憶させてもよい。例えば、被写体が人の場合、鼻までの距離と後頭部までの距離としてもよい。なお、被写体として意味のないもの、例えばブルーバック等については、距離情報を持たなくてもよい。

画角情報１１３は、３次元画像データ１１０の各画像データを撮影したカメラの画角に関する情報である。記憶させる画角は３５ｍｍカメラ換算を行った値であっても良いし、３５ｍｍカメラ換算を行っていない値でも良い。画角情報１１３にはセンササイズ情報も含まれる。

３次元画像データ１１０、ＳＢ情報１１１、距離情報１１２は、データベースに登録しておき、当該データベースから検索するようにしても良い。また、３次元画像データ１１０は、ＭＰＥＧのような動画フォーマットで保存されていても良い。さらに、３次元画像データ１１０は、ＭＰＦ（マルチピクチャフォーマット）のような画像フォーマットで保存されていても良い。ＭＰＦならば、撮影に関する様々な情報、例えば、基準画像に対する水平ずれ量を保存できる。そのため、これらの撮影に関する様々な情報を、調整部１０５での種々の調整に利用することができる。

図３は、記憶部１０４の具体的構成を説明するための図である。

３次元画像データ１１０は、複数の画像ファイル（画像データ）を含む画像ファイル群（画像データ群）である。本実施形態では、３次元画像データ１１０は、１０個のＪＰＥＧ形式の画像ファイルを含んでいる。各画像ファイルには、それぞれファイル名が与えられている。また、この画像ファイル群を構成する１０個の画像ファイルは同一のシーンにおいて撮影されたものである。１０個の画像ファイルは、ＳＢ情報１１１が異なる。選択部１０２は、２つの画像ファイルを選択する際、画像ファイルの組合せを変更することにより、ＳＢが異なる３Ｄ映像を選択する。画像テーブル１１５は、３次元画像データ１１０に関する情報であるＳＢ情報１１１、距離情報１１２、画角情報１１３、画像番号１１４を保存するデータベーステーブルである。なお、画像テーブル１１５には、３次元画像データ１１０との対応づけを行うための画像番号１１４が保存されている。

図１に戻り、調整部１０５は、記憶部１０４が出力する２つの画像データに対して、種々の画像処理を施す。調整部１０５は、例えば、２つの画像データに対して表示倍率に応じた拡大・縮小処理を施す。また、調整部１０５は、２つの画像データに対して、台形補正、パララックス調整などのアライメント調整、トリミングなどの画像処理を行う。調整部１０５は、画像処理を施した２つの画像データを表示部１０６に出力する。

調整部１０５は、表示条件に関する情報として回転に関する情報を取得した場合、当該回転に関する情報に応じて２つの画像データにトリミング処理を施して出力してもよい。

記憶部１０４に、撮影に用いたカメラのヨー角、ロー角、ピッチ角や水平ずれ量などの撮影情報を記憶させておき、調整部１０５は、それらの情報を利用して高精度な調整を行っても良い。

また、調整部１０５は、ユーザにより、インターフェース１０１を介して拡大・縮小するときの座標位置が指定された場合、その位置が当該画像の中心もしくは好適な位置になるように画像データに対して調整を施す。ユーザにより、座標位置が指定されていない場合やインターフェース１０１を介して座標位置を入力できない構成の場合、予め記憶部１０４に記憶させておき、調整部１０５は、メモリ１０３に予め保存されている値、もしくは撮影時に保存された値を用いて調整してもよい。

表示部１０６は、調整部１０５から出力された３次元画像データ１１０に基づいて、３Ｄ映像を表示する。表示部１０６は、３Ｄメガネを用いて視聴することにより３Ｄ映像を認識可能な３Ｄメガネ方式や、裸眼で３Ｄ映像を認識可能な裸眼式など、どのような表示方式のものでも構わない。例えば、表示部１０６は、３次元画像データ１１０の左目用画像データと右目用画像データを交互に表示するフレームシーケンシャル方式を採用し、３Ｄメガネを介して視聴されるものでもよい。この３Ｄメガネは、例えば、表示部１０６における表示に同期して左目用及び右目用のシャッターが開閉するアクティブシャッター方式のものでもよい。さらに、表示部１０６は、２視点のパララックスバリア方式の裸眼式のものでも構わない。

表示部１０６は、ＨＤＭＩを介して、表示条件を含む表示に関する情報を選択部１０２に受け渡すことができる。表示に関する情報とは、例えば、表示部１０６の画面サイズＷ０や表示解像度に関する情報である。表示に関する情報を表示部１０６が選択部１０２に受け渡せない場合、インターフェース１０１を介して、ユーザが当該表示に関する情報を入力するようにしても良い。また、撮影時に設定され、記憶部１０４に保存されている情報を選択部１０２が取得するようにしても良い。あるいは、決められた固定値を用いるようにしても良い。例えば表示部１０６が３Ｄ表示機能を有する小型のモバイル機器の場合は、表示部１０６の表示に関する情報が変更されることはない。そのため、メモリ１０３に表示に関する情報を保存しておき、この値を用いるようにしてもよい。

２．動作
選択部１０２の動作に関して説明する。

２−１．選択部の動作
図４は、選択部１０２の具体的な動作の一例を説明するためのフローチャートである。

まず、選択部１０２は、表示部１０６に表示する３Ｄ映像の表示倍率がインターフェース１０１から入力（変更）されたか否かを判定する（Ｓ１０１）。表示倍率の入力がない場合、そのまま待機する。一方、表示倍率がインターフェース１０１から入力された場合、ステップＳ１０２に移行する。

ここで、インターフェース１０１から表示倍率を入力する例について図５を参照して説明する。図５（ａ）は、インターフェース１０１を用いて表示倍率が入力される前の状態を示す図である。図５（ｂ）は、表示倍率が入力された後の状態を示す図である。例えば、図５（ａ）に示す状態で表示部１０６の画面がユーザによりタッチされると、図５（ｂ）に示すようにタッチされた部分が拡大して表示される。図５（ａ）、（ｂ）では、インターフェース１０１及び表示部１０６が一体で構成されている場合を示す。この場合、インターフェース１０１は、ユーザからのタッチ操作を受け付けるタッチパネルで構成される。また、表示に関する情報は、メモリ１０３に記憶されているものとする。

図５（ａ）に示すようにユーザが表示部１０６をタッチすると、インターフェース１０１は、当該タッチ動作に対応づけられた信号を選択部１０２に出力する。選択部１０２は、インターフェース１０１から信号が入力されると、当該信号に対応する表示倍率をメモリ１０３から得る。ここで、表示倍率を得る（変更する）ためのタッチ動作は例えば１点クリックとしてもよい。その場合、１点クリックが拡大と縮小のどちらを指示するものかを示す情報や、指示時における表示倍率に関する情報は、予め設定しておけばよい。なお、これらの情報は、インターフェース１０１等を介してユーザが指定できるようにしてもよい。図５では、インターフェース１０１がタッチパネルである場合を説明したが、インターフェース１０１は、マウス、ゲームコントローラ、リモコンなど、座標点と表示倍率を入力できるインターフェースであればどのようなものでもよい。

次に、選択部１０２は、表示条件及び視聴条件を取得する。具体的に選択部１０２は、表示条件に関する情報として、表示部１０６の画面サイズＷ０を取得し、視聴条件に関する情報として、視聴距離Ｌ、眼間距離Ｓを取得する（Ｓ１０２）。取得方法としては以下のように種々の方法がある。例えば、選択部１０２は、上記の情報をインターフェース１０１及び表示部１０６から取得してもよいし、メモリ１０３から取得してもよい。また、選択部１０２は、表示部１０６の画面の高さの３倍の値を視聴距離Ｌとしても良い。なお、メモリ１０３に視聴距離Ｌを記憶させておき、選択部１０２は、メモリ１０３に記憶されている視聴距離を取得しても良い。また、視聴距離Ｌは、インターフェース１０１を介してユーザによって入力されるように構成してもよい。また、選択部１０２は、人間の平均的な眼間距離である６．５ｃｍを眼間距離Ｓとして用いてもよい。また、３Ｄメガネを、眼間距離に関連する情報を取得可能なように構成しておき、選択部１０２は、３Ｄメガネから眼間距離に関連する情報を得て眼間距離を推測してもよい。

さらに、選択部１０２は、表示部１０６に現在表示している２つの画像を撮影したときの撮影条件を取得する（Ｓ１０３）。具体的に選択部１０２は、撮影条件として、２つの画像を撮影したカメラの焦点距離ｆ、ステレオベースＳＢ、カメラから被写体までの距離Ｒ、及びカメラにおける撮像素子のセンササイズｐｗを取得する。なお、撮影条件を、記憶部１０４やメモリ１０３に記憶させておき、選択部１０２は、記憶部１０４やメモリ１０３から撮影条件に関する情報を取得してもよい。

そして、選択部１０２は、ステップＳ１０１、Ｓ１０２、Ｓ１０３で取得した各種の情報に基づいて、現在、表示部１０６に表示している３Ｄ映像についての最大視差角及び最小視差角を求める（Ｓ１０４）。視差角の具体的な算出方法については後述する。

次に、選択部１０２は、算出した視差角が所定の安全条件を満たすか否かを判断する（Ｓ１０５）。一般的に飛出し側において１°、引込み側において−１°以内の視差角であれば、立体として違和感なく認識することができることが知られている。そのため、本実施形態では、選択部１０２は、最大視差角と最小視差角が−１°から１°の範囲に入っているかどうかを判断する。

図６は、選択部１０２において安全条件を満たしているか否かを判断する際に用いる視差角のヒストグラムを示す図である。図６（ａ）はステップＳ１０４で求めた最大視差角及び最小視差角が−１°から１°の範囲に入っている場合を示す図である。図６（ｂ）はステップＳ１０４で求めた最大視差角及び最小視差角が−１°から１°の範囲に入っていない場合を示す図である。

図６（ａ）に示す場合、最大視差角と最小視差角は−１°から１°の範囲に入っている。そのため、選択部１０２は、現在表示している２つの画像は安全条件を満たしていると判断し、そのまま動作を終了する。

一方、図６（ｂ）に示す場合、最大視差角と最小視差角は−１°から１°の範囲に入っていない。そのため、選択部１０２は、現在表示している２つの画像は安全条件を満たしていないと判断する。なお、選択部１０２は最大視差角と最小視差角だけでなく、視差の分布を示すヒストグラムの形状に基づいて安全条件を満たすか否かを判断してもよい。その場合、視差角は、ブロック単位、画素単位、あるいはサブ画素単位で算出すればよい。また、シーン内の被写体を認識し、その認識結果に基づいて判断結果を変えてもよい。例えば、顔検出により人間を検出することで判断結果を変えてもよい。

なお、安全条件は、調整部１０５においてパララックス調整などのアライメント調整を行うことにより、飛出し側の視差角が１°、引込み側の視差角を−１°以内に納めることができることとなる視差角条件であっても構わない。

現在表示している２つの画像が安全条件を満たさないと判断した場合、選択部１０２は、記憶部１０４に記録された画像データから新たに２つの画像を選択し（Ｓ１０６）、選択後の画像に基づいてステップＳ１０３、Ｓ１０４及びＳ１０５を実行する。なお、選択部１０２における２つの画像の選択方法については後述する。

現在表示している２つの画像が安全条件を満たしていると判断した場合、選択部１０２は上記選択した２つの画像を、調整部１０５を介して表示部１０６に出力する（Ｓ１０７）

２−２．選択部１０２における視差角の算出
選択部１０２における視差角の算出動作（ステップＳ１０４で行われる動作）について図７を参照しながら説明する。本実施形態においては、一例として、光軸が平行である２台のカメラ（平行式２眼カメラ）における視差角の計算方法を示す。

図７は、２台のカメラの撮像素子上での視差Ｑ’ｘの算出を説明するための図である。図７において、Ｒは被写体までの距離、ｆはカメラの焦点距離、ＳＢはカメラ間距離、ｐｗは撮像素子のセンササイズである。２台のカメラの光軸が平行な場合、撮像素子上での視差Ｑ′ｘは、被写体までの距離Ｒ、カメラの焦点距離ｆ、カメラ間距離ＳＢに基づいて、次式（数１）により求めることができる。

（数１） Ｑ’ｘ＝ｆ＊ＳＢ／Ｒ

図８は、ディスプレイ面上での視差Ｑｘの算出を説明するための図である。図８において、Ｌは視聴距離、Ｓは眼間距離、ｐｗは撮像素子のセンササイズ、W０は表示部１０６の画面サイズ、γは視差角、αはディスプレイ面上の被写体を注視したときの輻輳角（基準角）、βは３Ｄ映像において被写体を立体視したときの輻輳角である。図７で求めた視差は撮像素子上での視差Ｑ’ｘである。そのため、Ｑ’ｘを表示部１０６のディスプレイ面上における視差Ｑｘに変換する必要がある。ここで、３Ｄ映像を表示するディスプレイ面上での視差は、撮像素子のセンササイズｐｗに対する表示部１０６の画面サイズW０の比に、ユーザの指定した画像の拡大率Ｅを乗算した視差になる。この関係より、ディスプレイ面上の視差Ｑｘは、次式（数２）で表現される。

（数２） Ｑｘ＝Ｗ０／ｐｗ＊ｆ＊ＳＢ／Ｒ＊Ｅ

視差角γは、ディスプレイ面上の視差Ｑｘと視聴距離Ｌ、眼間距離Ｓによって求めることができる。

まず、ユーザがディスプレイ面上のある被写体を注視したときの輻輳角（基準角）αを次式（数３）により求める。

（数３） α＝ａｒｃｔａｎ(Ｓ／Ｌ)

次に、ユーザが３Ｄ映像において被写体を立体視したときの輻輳角βを次式（数４）により求める。

（数４） β＝ａｒｃｔａｎ（（Ｓ＋Ｑｘ）／Ｌ）

そして、視差角γを次式（数５）により求める。視差角γは、輻輳角（基準角）αに対する輻輳角βの差である。

（数５） γ＝α―β

なお視差角γの符号に関しては、３Ｄ映像において飛出すときの視差角と引込むときの視差角との区別が付けば、どちらが＋でも−でも構わない。図８では飛出し側の視差角を正、引込み側の視差角を負としたが、逆であっても構わない。

選択部１０２は、上記のように（数１）から（数５）を用いて２つの画像における視差角γを算出する。選択部１０２は、算出した視差角の中から最大視差角と最小視差角を求める。

２−３．選択部１０２における２つの画像の選択動作
選択部１０２における２つの画像の選択動作（ステップＳ１０６で行われる動作）について図面を参照しながら説明する。

図９は、ＳＢ情報１１１、距離情報１１２、画角情報１１３及び画像番号（画像名）１１４を記録したテーブル、及び複数の画像データの中から所定の画像データが選択されたときの視差角のヒストグラムを示す図である。図９（ａ）は視差角が−１°から１°の範囲に入っていない場合のヒストグラムを示す図である。図９（ｂ）は視差角が−１°から１°の範囲に入っていない場合のヒストグラムの別の例を示す図である。図９（ｃ）は視差角が−１°から１°の範囲に入っている場合のヒストグラムを示す図である。図９（ｄ）は画像テーブルの構成を示す。ここで、画像番号１１４は画像を識別するための情報である。

現在、００１．ｊｐｇと００４．ｊｐｇが選択部１０２により選択され、ステップＳ１０４において００１．ｊｐｇと００４．ｊｐｇとの間の視差角が算出されたとする。図９（ａ）に、このとき算出された視差角のヒストグラムを示す。図９（ａ）のヒストグラムでは、最大視差角及び最小視差角が−１°から１°の範囲に入っていない。そのため、選択部１０２は、００１．ｊｐｇと００４．ｊｐｇの組み合わせでは、視差角が安全条件を満たさないと判断し、ステップＳ１０５において新たな２つの画像データを選択することを決定する。

２つの画像データを選択するため、選択部１０２は、まず、００１．ｊｐｇ及び００４．ｊｐｇのＳＢ情報１１１を画像テーブル１１５から取得する。００１．ｊｐｇのＳＢ情報１１１が示す値は０ｃｍであり、００４．ｊｐｇのＳＢ情報１１１が示す値は３ｃｍである。選択部１０２は、００１．ｊｐｇのＳＢ情報１１１が示す値と００４．ｊｐｇのＳＢ情報１１１が示す値の差分を計算する。本例においては、差分は３ｃｍとなる。選択部１０２は、この差分の３ｃｍを００１．ｊｐｇと００４．ｊｐｇにおけるＳＢとして取得する。

次に、選択部１０２は、新たな２つの画像データとして、上記のようにして取得した００１．ｊｐｇと００４．ｊｐｇにおけるＳＢ（３ｃｍ）よりもＳＢが小さくなる画像データの組み合わせを選択する。例えば、任意の２つの画像データを仮に選択して、これらの画像におけるＳＢを上述のようにＳＢ情報１１１に基づいて算出し、この算出したＳＢが３ｃｍ以下であれば、この仮に選択した画像データを、視差角のヒストグラムを算出する対象の画像データとして選択する。これに対し、ＳＢが３ｃｍ以下でなければ、他の２つの画像データを仮に選択して、上述の動作を繰り返す。図９の例では、例えば、選択部１０２は、００２．ｊｐｇと００４．ｊｐｇを新たな２つとして選択する。この場合、００２．ｊｐｇのＳＢ情報１１１が示す値は１ｃｍであり、００４．ｊｐｇのＳＢ情報１１１が示す値は３ｃｍであるので、００２．ｊｐｇと００４．ｊｐｇのＳＢは２ｃｍとなる。選択部１０２は、視差角を算出する。この場合、図９（ｂ）に示すように、最大視差角及び最小視差角が−１°から１°の範囲に入っていない。そのため、再度、任意の２つの画像データを仮に選択して、上述の動作を繰り返す。例えば、選択部１０２は、００１．ｊｐｇと００２．ｊｐｇを新たな２つの画像データとして選択する。この場合、００１．ｊｐｇのＳＢ情報１１１が示す値は０ｃｍであり、００２．ｊｐｇのＳＢ情報１１１が示す値は１ｃｍであるので、００２．ｊｐｇと００４．ｊｐｇのＳＢは１ｃｍとなる。そこで、選択部１０２は、視差角を算出する。この場合、図９（ｃ）に示すように、最大視差角及び最小視差角が−１°から１°の範囲に入っている。そこで、選択部１０２は、この２つの画像データを、表示部１０６に表示する画像データとして選択する。なお、２つの画像データを仮に選択する順序は上述のような順序に限られない。

また、選択部１０２は、全ての画像についてＳＢを演算し、現在選択している２つの画像データにおけるＳＢよりも小さなＳＢとなる２つの組み合わせを全て求めた上で、視差角を算出してもよい。この場合、選択部１０２は、現在選択している２つの画像データにおけるＳＢよりも小さなＳＢとなる２つの画像データの組み合わせが複数存在する場合、そのうち最も大きなＳＢから順に視差角を算出して安全条件を満足しているか判定すればよい。この場合、立体感をできるだけ保持したまま安全条件を満たす２つの画像データを選択することができる。

３．まとめ
本実施形態における３Ｄ映像出力装置は、同一シーンを異なる位置で撮影した複数の画像の画像データを記憶する記憶部１０４と、記憶部１０４に記憶された複数の画像データから２つの画像データを立体視用の画像データとして選択する選択部１０２と、記憶部１０４に記憶される画像データに関する立体映像を表示する際の表示条件と映像を視聴する際の視聴条件との少なく一方を取得するインターフェース１０１と、を備える。選択部１０２は、インターフェース１０１が取得した条件のうち少なくとも一つの条件が現在設定されている条件と異なる場合、２つの画像データを複数の画像データの中から選択し直して、出力する。

本実施形態における３Ｄ映像出力方法は、同一シーンを異なる位置で撮影した複数の画像の画像データであって、記憶部１０４に記憶された画像データから２つの画像データを選択する立体映像出力方法である。この３Ｄ映像出力方法は、記憶部１０４に記憶される画像データに関する画像を表示する際の表示条件と立体映像を視聴する際の視聴条件との少なくとも一方を取得し、取得した条件のうち少なくとも一つの条件が、現在設定されている条件と異なる場合、２つの画像データを複数の画像データの中から選択し直して、出力する。

本実施形態によれば、３Ｄ映像の表示条件や視聴条件が変更された場合、２つの画像データが複数の画像データの中から選択され直す。つまり、同一シーンを撮影した複数の画像の中から変更後の表示条件や視聴条件に応じた適切な画像データを用いて新たな３Ｄ映像を構成する。そのため、３Ｄ映像の表示条件等が変更された場合でも、３Ｄ映像を視聴するユーザに対して適切な立体感を与えることが可能となる。

なお、特許文献１の技術では、新たな画像データを生成するので、画像処理に時間がかかる。また、高性能な装置が必要となる。しかし、本実施形態の３Ｄ映像出力装置によれば、新たな画像データを生成しないので、新たな画像データの生成処理が不要となるとともに、高性能な装置も必要ない。

図４のフローチャートでは、ステップＳ１０１において表示倍率が変更されたか否かを判定し、変更されたと判定したときに、ステップＳ１０２以降の処理が実行されるが、これに限らない。例えば、ステップＳ１０１において、表示倍率に代えて、視聴条件や表示条件が変更されたか否かを判定し、これらの条件のうちの少なくとも一つが変更された場合に、ステップＳ１０２以降の処理を実行するようにしてもよい。実施形態２、実施形態３においても同様である。

また、本実施形態における３Ｄ映像出力装置では、インターフェース１０１が取得する表示条件は、画像データに係る３Ｄ映像を表示する際の表示倍率に関する情報を少なくとも含む。選択部１０２は、インターフェース１０１が取得した表示条件に含まれる表示倍率に関する情報に基づいて、現在出力中の画像データにおける表示倍率とは異なる倍率を新たに取得したか否かを判断する。選択部１０２は、判断結果に基づいて、新たな２つの画像データを、記憶部１０４に記憶された複数の画像データから選択する。

また、選択部１０２は、インターフェース１０１が取得した表示条件に含まれる表示倍率が、現在出力中の画像データにおける表示倍率よりも大きな倍率であるときは、現在出力中の２つの画像データにおける視点間距離よりも小さい視点間距離となる２つの画像データを、記憶部１０４に記憶されている複数の画像データから選択する。

また、選択部１０２は、インターフェース１０１が取得した表示条件に含まれる表示倍率が、現在出力中の画像データにおける表示倍率よりも小さな倍率であるときは、現在出力中の２つの画像データにおける視点間距離よりも大きな視点間距離となる２つの画像データを、記憶部１０４に記憶されている複数の画像データから選択する。

また、インターフェース１０１は、表示条件及び視聴条件に加え、現在選択している２つの画像データが撮影されたときの撮影条件をさらに取得する。選択部１０２は、表示条件、撮影条件及び視聴条件に基づいて、現在選択している２つの画像データが立体視用の画像データとして視聴された場合に所定の安全条件が満たされるか否かを判定する。選択部１０２は、所定の安全条件が満たされない場合、現在選択している２つの画像データにおける視点間距離よりも小さい視点間距離となる２つの画像データを、記憶部１０４に記憶されている複数の画像データから再度選択する。

（実施形態２）
実施形態１では、２つの画像データの選択の判断を、選択された３Ｄ映像が、視差角に基づく安全条件を満たしているか否かにより行った。これに対し、本実施形態では、選択された３Ｄ映像が、空間再現条件を満たしているか否かにより、２つの画像データの選択の判断を行う。空間再現条件とは、実環境において被写体を立体視したときの形状と、３Ｄ映像において被写体を立体視したときの形状との相似性に関する条件である。

具体的に、本実施形態では、空間再現条件が満たされているか否かの判断を、実環境において被写体を立体視した際の輻輳角と、３Ｄ映像において被写体を立体視した際の輻輳角との比（以下適宜「空間再現率」という）が所定の条件を満たしているか否かに基づいて行う。輻輳角とは、ユーザの左目と被写体とを結んだ線と、ユーザの右目と被写体とを結んだ線とがなす角である。なお、実環境において被写体を立体視した際の輻輳角と、３Ｄ映像において被写体を立体視した際の輻輳角との比（空間再現率）は、実環境における被写体までの距離と、３Ｄ映像における被写体までの距離（飛出し・引込みを考慮した距離）の比に等しい。したがって、空間再現率は、「飛出し・引込み距離再現率」でもある。また、空間再現率は、実環境において被写体を立体視したときの立体的形状に対する、３Ｄ映像において被写体を立体視したときの立体的形状の歪の度合いを示す値と言うことができる。この場合、空間再現率が大きいほど歪が小さいことを示す。以下、本実施形態の３Ｄ映像処理装置について、詳しく説明する。

１．構成
３Ｄ映像処理装置の構成は、図１に示すものと同様である。そのため、相違点を中心に説明する。

図１０は、実環境または３Ｄ映像において被写体を立体視したときの輻輳角を求める方法を説明するための図である。図１０（ａ）は、実環境において被写体を立体視したときの輻輳角を求める方法を説明するための図である。図１０（ｂ）は、３Ｄ映像において被写体を立体視したときの輻輳角を求める方法を説明するための図である。図１０（ａ）において、Ｒは被写体までの距離、Ｓは眼間距離、β′は実環境において被写体を立体視したときの輻輳角である。図１０（ｂ）において、Ｌは視聴距離、Ｓは眼間距離、βは３Ｄ映像において被写体を立体視したときの輻輳角である。図１０（ｂ）では、被写体が飛び出し側にある場合を示している。

３Ｄ映像においては、表示条件や視聴条件を調整することにより、撮影時の被写体の立体感（実環境における被写体の立体感）をそのままあらわすことが可能である。例えば、ディスプレイ面上での視差を調整することにより、実環境において被写体を立体視した（観察（撮影）した）際の輻輳角β′と、３Ｄ映像において被写体を視聴した際の輻輳角βとを一致させることができる。輻輳角β′と輻輳角βを一致させることは、実環境における被写体までの距離と、３Ｄ映像における被写体までの距離を一致させることでもある。つまり、実環境における距離感を３Ｄ映像において再現することができる。

選択部１０２は、次式（数６）により、実環境において被写体を立体視した（観察（撮影）した）際の輻輳角β′を求める。
（数６） β′＝ａｒｃｔａｎ（Ｓ／Ｒ）

また、３Ｄ映像において被写体を立体視したときの輻輳角βを前述の（数４）により求める。

そして、３Ｄ映像において被写体を立体視したときの輻輳角β、実環境において被写体を立体視した際の輻輳角β′との比である空間再現率β／β′を求める。そして、選択した２つの画像が次式（数７）の条件を満たすか判定する。つまり、空間再現率β／β′が１であるか判定する。（数７）の条件を満たさない場合、空間再現率β／β′が１に最も近い２つを選択する。空間再現率β／β′が１に近いということは、３Ｄ映像において被写体を視聴した際の輻輳角βと、実環境において被写体を立体視した際の輻輳角β′とがほぼ同じ値であることを意味する。換言すれば、実際の被写体の形状と、表示部１０６に表示された被写体の形状とが近似しており、形状の歪が少ないことを意味する。

（数７） β／β′＝１

２．動作
選択部１０２の動作に関して説明する。

２−１．選択部の動作
図１１は、本実施形態における選択部１０２の具体的な動作を説明するためのフローチャートである。具体的な動作は、図４に示したフローチャートによる動作と殆ど同じであるので、違う部分を説明する。

本実施形態において、選択部１０２は、図４のステップＳ１０４及びＳ１０５に代えて、ステップＳ１０４Ａ及びＳ１０５Ａを実行する。

具体的に、選択部１０２は、ステップＳ１０１、Ｓ１０２、Ｓ１０３で取得した情報に基づいて、３Ｄ映像において被写体を立体視する際の輻輳角β（図１０（ｂ）参照）を（数４）により算出するとともに、実環境において被写体を立体視する際の輻輳角β′（図１０（ａ）参照）を算出する（Ｓ１０４Ａ）。

次に、選択部１０２は、算出した輻輳角β、β′が（数７）の条件を満たすか否かを判断する（Ｓ１０５Ａ）。（数７）の条件が満たされている場合、選択部１０２は、現在選択中の画像データを、記憶部１０４から調整部１０５に出力させるととともに、調整部１０５で所定の調整を行った後、表示部１０６に出力させる。一方、（数７）の条件が満たされていない場合、選択部１０２は、以前に選択した２つの画像データよりも（数７）の左辺の空間再現率β／β′が１に近づいているかを判断し、近づいていれば、現在選択している画像データが、最終的に選択される可能性があることを示す情報を、メモリ１０３に記憶させる。そして、選択部１０２は、上記ステップＳ１０５Ａの条件が満足されるまで、ステップＳ１０４Ａ以降を繰り返し実行する。全ての画像データの組が（数７）を満たさない場合、選択部１０２は、記憶部１０３に記憶させておいた、現在選択している画像データが、最終的に選択される可能性のある画像データであることを示す情報に基づいて、空間再現率β／β′が最も１に近い２つの画像データを選択する。

２−１−１選択部１０２における空間再現率の判断
選択部１０２において、空間再現率β／β′が（数７）の条件を満たすかを判断する際の動作（ステップＳ１０５Ａの動作）について、図面を参照しながら説明する。

図１２は、距離情報１１２を説明するための図である。距離情報１１２を求める際、画像は複数のブロックに分割され、距離情報１１２は、分割された各ブロック単位で求められる。図１２の例では、ブロック内に有意な物体が存在しない場合、距離情報１１２は０と求められる。

選択部１０２は、ステップＳ１０１、Ｓ１０２、Ｓ１０３で取得した、距離情報１１２等の情報に基づいて、図１３（ａ）、（ｂ）に示すように、分割されたブロック毎に、輻輳角β及び輻輳角β′を算出する。図１３（ａ）は、実環境において求めた輻輳角βを示し、図１３（ｂ）は、３Ｄ映像において求めた輻輳角β′を示す。そして、選択部１０２は、前記分割されたブロック毎に、対応する輻輳角βと輻輳角β′を用いて空間再現率β／β′を算出する。選択部１０２は、全てのブロックの空間再現率β／β′を加算してブロック数で除算することにより、空間再現率β／β′の平均値を算出する。選択部１０２は、この空間再現率β／β′の平均値に基づいて、ステップＳ１０５Ａの判断を行なう。なお、有意な距離情報１１２が１つしかない場合は、平均ではなく、その値を用いればよい。

本実施形態では、輻輳角βと輻輳角β′の関係を比の形式の空間再現率β／β′であらわし、空間再現率β／β′が１に近い所定の値以下となる、２つの画像データを選択するように構成した。しかし、本実施形態の思想は、比の形式に限定されない。例えば、輻輳角βと輻輳角β′の差分を求め、この差分が０に近い所定の値以下となる２つの画像データを選択するように構成してもよい。輻輳角βと輻輳角β′を比較することは、本質的に、実環境における被写体までの距離と、３Ｄ映像における被写体までの距離とを比較することである。したがって、実環境における被写体までの距離と、３Ｄ映像における被写体までの距離とを比較することができれば、輻輳角βと輻輳角β′をどのような形式で比較してもよい。

以上のようにして、選択部１０２は、空間再現条件を満たす２つの画像データを選択する。

３．まとめ

本実施形態の３Ｄ映像処理装置では、インターフェース１０１は、表示条件、視聴条件とともに、現在選択している２つの画像データが撮影されたときの撮影条件を取得する。選択部１０２は、表示条件、撮影条件及び視聴条件に基づいて、現在選択している２つの画像データが立体視用の画像データとして視聴された場合に所定の空間再現条件が満たされるか否かを判定する。選択部１０２は、所定の空間再現条件が満たされない場合、現在選択している２つの画像データにおける視点間距離よりも小さい視点間距離となる２つの画像データを、記憶部１０４に記憶されている複数の画像データから再度選択する。

また、選択部１０２は、表示条件、撮影条件及び視聴条件に基づいて、実環境において被写体を立体視したときの輻輳角と、表示部１０６のディスプレイ面（表示面）上に表示された立体映像において被写体を立体視したときの輻輳角との比を求め、この求めた比に基づいて、所定の空間再現条件が満たされるか否かを判定する。

なお、本実施形態では、（数７）の空間再現条件を満たすことを条件としたが、この空間再現条件と実施形態１で説明した安全条件（γが−１°から１°の範囲にあること）の両方を満たすことを条件としてもよい。

（実施形態３）
実施形態３では、実施形態２同様、空間再現条件を満たしているか否かにより２つの画像データの選択の判断を行なう。ただし、空間再現条件の内容が異なる。つまり、実施形態２では、空間再現率β／β′が１であるか否かにより判断を行なったが、実施形態３では、空間再現率β／β′に加え、実環境において被写体を立体視したときの視野角ω′と３Ｄ映像において被写体を立体視したときの視野角ωとの比ω／ω′を考慮して、空間再現条件を満たしているか否かの判定を行う。なお、以下、本実施形態では、空間再現率β／β′を「第１空間再現率β／β′」といい、上記比ω／ω′を「第２空間再現率ω／ω′」という。

ここで、実施形態２において、（数７）の左辺の空間再現率β／β′が１でなく例えば０．５であった場合、ユーザは、３Ｄ映像を立体視した際に、３Ｄ映像において表示された被写体までの距離を、実環境において立体視した際の被写体までの距離の半分と感じる。しかし、この場合でも、視聴者にとって、３Ｄ表示された被写体の横幅が、実環境における被写体の横幅の半分に知覚されれば、実環境において認識された立体的形状と、３Ｄ映像において認識された立体的形状との間で、相似性が維持される。そのため、被写体の空間サイズが半分になったように感じたとしても、３Ｄ映像上における被写体と実環境における被写体との間で立体的形状の相似性が確保されれば、視聴時における違和感が低減できる。つまり、ユーザにとっては、３Ｄ映像において被写体が再現されていると考えることもできる。例えば、２ｍ先に５０ｃｍ幅の被写体が存在するのも、１ｍ先に２５ｃｍ幅の被写体が存在するのも、ユーザにとっては同一の視野角が得られるため、違和感は少ない。

１．構成
３Ｄ映像処理装置の構成は、図１に示すものと同様である。そのため、相違点を中心に説明する。

図１４は、実環境または３Ｄ映像において被写体を立体視したときの視野角ωを求める方法を説明するための図である。図１４（ａ）は、実環境において被写体を立体視したときの視野角ωを求める方法を説明するための図である。図１４（ｂ）は、３Ｄ映像において被写体を立体視したときの視野角ω′を求める方法を説明するための図である。図１４（ａ）において、Ｒは被写体までの距離、ＳＢはステレオベース、ｘ′はディスプレイ面上での被写体の横幅を示している。図１４（ｂ）において、Ｌは視聴距離、Ｓは眼間距離、ｘは被写体のディスプレイ面上での被写体の横幅を示している。図１４（ｂ）では、被写体が飛び出し側にある場合を示している。

本実施形態では、選択部１０２は、（数８）が満たされるような２つの画像データを選択する。つまり、第１空間再現率β／β′と第２空間再現率ω／ω′とが等しくなる画像データを、選択部１０２は選択する。

（数８） β／β′＝ω／ω′

２．動作
選択部１０２の動作に関して説明する。

２−１．選択部の動作
図１５は、本実施形態における選択部１０２の具体的な動作を説明するためのフローチャートである。具体的な動作は、図４に示したフローチャートによる動作と殆ど同じであるので、違う部分を説明する。

本実施形態において、選択部１０２は、図４のステップＳ１０４及びＳ１０５に代えて、ステップＳ１０４Ｂ及びＳ１０５Ｂを実行する。

具体的に、選択部１０２は、ステップＳ１０１、Ｓ１０２、Ｓ１０３で取得した情報に基づいて、３Ｄ映像において被写体を立体視する際の輻輳角β（図１０（ｂ）参照）を（数４）により算出するとともに、実環境において被写体を立体視した際の輻輳角β′（図１０（ａ）参照）を算出する（Ｓ１０４Ｂ）。また、選択部１０２は、ステップＳ１０１、Ｓ１０２、Ｓ１０３で取得した情報に基づいて、３Ｄ映像において被写体を立体視する際の視野角ω（図１４（ｂ）参照）を算出するとともに、実環境において被写体を立体視した際の輻輳角ω′（図１４（ａ）参照）を算出する（Ｓ１０４Ｂ）

次に、選択部１０２は、（数８）の条件が満たされるか否かを判断する（Ｓ１０５Ｂ）。つまり、選択部１０２は、３Ｄ映像において被写体を立体視する際の輻輳角βと、実環境において被写体を立体視した際の輻輳角β′との比（第１空間再現率β／β′）が、３Ｄ映像において被写体を立体視する際の視野角ωと、実環境において被写体を立体視した際の輻輳角ω′との比（第２空間再現率ω／ω′）と、等しいか否かを判断する（Ｓ１０５Ｂ）。（数８）の条件が満たされている場合、選択部１０２は、現在選択中の画像データを、記憶部１０４から調整部１０５に出力させるととともに、調整部１０５で所定の調整を行った後、表示部１０６に出力させる。一方、（数８）の条件が満たされていない場合、選択部１０２は、現時点の（数８）の左辺の第１空間再現率β／β′の値と右辺の第２空間再現率ω／ω′の値が、以前に選択した２つの画像データよりも近いか否かを判断する。例えば、現時点の（数８）の左辺の第１空間再現率β／β′の値と右辺の第２空間再現率ω／ω′の値の差が、以前に選択した２つよりも小さいか否かを判断する。第１空間再現率β／β′の値と第２空間再現率ω／ω′の値の差がより小さくなっている場合、現在選択している画像データが、最終的に選択される可能性があることを示す情報をメモリ１０３に記憶させる。そして、選択部１０２は、上記ステップＳ１０５Ｂの条件が満足されるまで、ステップＳ１０４Ｂ以降を繰り返し実行する。全ての画像データの組が（数８）を満たさない場合、選択部１０２は、記憶部１０３に記憶させておいた、現在選択している画像データが、最終的に選択される可能性のある画像データであることを示す情報に基づいて、左辺の第１空間再現率β／β′の値と右辺の第２空間再現率ω／ω′の値が最も近い２つの画像データを選択する。

なお、選択部１０２は、実施形態２同様に、画像を分割し、分割したブロック全てについて、（数８）の左辺の第１空間再現率β／β′の平均及び右辺の第２空間再現率ω／ω′の平均をそれぞれ算出し、これに基づいて、左辺の第１空間再現率β／β′と右辺の第２空間再現率ω／ω′が等しいか判断してもよい。また、第１空間再現率β／β′と第２空間再現率ω／ω′の比較は、比の形で比較してもよいし、差分の形で比較してもよい。つまり、実環境においてユーザが認識する被写体の空間サイズと、３Ｄ映像においてユーザが認識する被写体の空間サイズとを比較することができれば、どのような形でも構わない。

なお、第１空間再現率β／β′の値と第２空間再現率ω／ω′の値が同じとなった場合あるいは近い場合でも、それらの値が極端に小さい場合には、ユーザが被写体のサイズに違和感を覚える可能性がある。そこで、第１空間再現率β／β′の値と第２空間再現率ω／ω′の値が同じとなった場合あるいは近い場合でも、第１空間再現率β／β′の値と第２空間再現率ω／ω′の値が例えば所定値以下であるときは、選択部１０２は、現在の選択されている２つの画像データにおけるＳＢよりも大きなＳＢを有する２つの画像データを新たに選択してもよい。

本実施形態では、（数８）の空間再現条件を満たすことを条件としたが、この空間再現条件と実施形態１で説明した安全条件（γが−１°から１°の範囲にあること）の両方を満たすことを条件としてもよい。

ここで、実際に３Ｄ映像を表示させる表示部１０６の画面サイズの制約等により実施形態２のように空間再現率β／β′＝１を満たすのは難しいことがある。このような場合においても、本実施形態によれば、（数８）を満足する画像データを選択することにより、視聴時における違和感を低減できる。

３．まとめ
本実施形態の３Ｄ映像処理装置では、特に、選択部１０２は、表示条件、撮影条件及び視聴条件に基づいて、実環境において被写体を立体視したときの輻輳角と、表示部１０６のディスプレイ面上に表示された立体映像において被写体を立体視したときの輻輳角との比を求める。さらに、３Ｄ映像処理装置は、実環境において被写体を立体視したときの視野角と、表示部１０６のディスプレイ面上に表示された立体映像において被写体を立体視したときの視野角との比を求め、求めた２つの比に基づいて、所定の空間再現条件が満たされるか否かを判定する。

（変形例）
１．変形例１
上記各実施形態における視聴距離は、実際に計測して得られる情報であっても構わない。この例について変形例１として説明する。

図１６は、変形例１における３Ｄ映像処理装置の構成を示すブロック図である。図１に示す３Ｄ映像処理装置と比較して、本変形例における３Ｄ映像処理装置は、新たに位置測距部２０１を備える。なお、図１と同様のものについてはその説明を省略し、同じ番号を付す。

位置測距部２０１は、３Ｄ映像を表示する表示部１０６からユーザまでの距離情報を取得することができる。位置測距部２０１は、例えば、表示部１０６の側面、上部、下部に取り付けられ、あるいは内蔵されている。表示部１０６が、３Ｄメガネにより視聴する方式のものである場合には、３Ｄメガネに位置測距部２０１を設けておき、位置測距部２０１は、３Ｄメガネと通信して、その３Ｄメガネと表示部１０６までの距離を取得する構成であってもよい。

位置測距部２０１は、例えば、表示部１０６にカメラが取り付けられている場合、そのカメラから得られる画像情報を基に視聴距離を算出してもよい。

３Ｄ映像処理装置が位置測距部２０１を備える場合、選択部１０２は３Ｄ映像処理装置の位置測距部２０１から得られる視聴距離を利用する。

２．変形例２
実施形態における３Ｄ映像処理装置は、ネットワークを介して通信可能なサーバとクライアントに分割して構成してもよい。この例について変形例２として説明する。

図１７は、変形例２の３Ｄ映像処理装置の構成を示すブロック図である。

本変形例の３Ｄ映像処理装置においては、インターフェース１０１、選択部１０２、メモリ１０３、調整部１０５及び表示部１０６の機能は、クライアントに実装される。また、記憶部１０４の機能は、サーバに実装される。クライアントと、サーバはネットワークＮＷを介して接続されている。クライアントは、サーバの処理能力や通信速度、形態や設置されている場所に応じて、サーバとの間の通信の方法を変更してもよい。

なお、図示しないが、インターフェース１０１、選択部１０２、メモリ１０３及び表示部１０６の機能をクライアント側で実装し、記憶部１０４及び調整部１０５の機能をサーバ側で実装する構成にしても構わない。

なお、クライアントの処理の一部をサーバに行わせてもよい。例えば、クライアントがモバイル端末の場合、サーバで画像サイズを縮小した後、画像データを受信するようにしてもよい。

３．変形例３
表示部１０６は３視点以上の多視点から視聴可能な多視点表示型の裸眼３Ｄ表示装置で構成されても構わない。この例について変形例３として説明する。

本変形例では、表示部１０６は、５視点での表示が可能なパララックスバリア方式により構成されており、例えば、ディスプレイ面上に複数のレンチキュラーレンズを有している。

図１８は、変形例３の３Ｄ映像処理装置における作用等を説明するための図である。図１８（ａ）は、状態１における視差角のヒストグラムを示す図である。図１８（ｂ）は、状態２における視差角のヒストグラムを示す図である。図１８（ｃ）は、ユーザが表示部を複数の視点から注視している状態を示す図である。具体的には、図１８（ｃ）は、表示部１０６の５視点のレンチキュラーレンズ１０６ａを介して３Ｄ映像がユーザに届く様子を説明している。ここで、５視点分の３Ｄ映像のうち１視点目の画像を第１視点画像、２視点目の画像を第２視点画像、・・・、５視点目の画像を第５視点画像と称す。また、図１８における状態１の位置で表示部１０６を立体視した際、ユーザは第１視点画像と第３視点画像を視聴すると仮定する。このとき、選択部１０２は、図１８（ａ）に示す視差角のヒストグラムを算出する。さらに、状態２の位置で表示部１０６を立体視した際、ユーザは第２視点画像と第４視点画像を視聴すると仮定する。このとき、選択部１０２は、図１８（ｂ）に示す視差角のヒストグラムを算出する。

選択部１０２は、全ての視点において安全条件を満たすように画像データを選択する。つまり、５視点分の画像データがある場合、いずれの視点においても、安全条件を満たすように、各視点毎に、５視点の画像データの中からいずれか２つの画像データを選択する。

上記のように構成することにより、ユーザは、表示部１０６に表示される画像をいずれの視点においても、安全条件が満たされた状態で視聴することが可能となる。
また、位置測距部などの測距方法で、ユーザが視聴している視点がわかっている場合は、その視点だけ安全条件を満たすように選択しても良い。ユーザが複数人いた場合、利用されている視点だけ安全条件を満たすように選択しても構わない。

（その他の実施形態）
上記実施形態で説明した３Ｄ映像処理装置において、各ブロックは、ＬＳＩなどの半導体装置により個別に１チップ化されても良いし、一部又は全部を含むように１チップ化されても良い。

なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。

さらに、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてあり得る。

また、上記実施形態の各処理をハードウェアにより実現してもよいし、ソフトウェア（ＯＳ（オペレーティングシステム）、ミドルウェア、あるいは、所定のライブラリとともに実現される場合を含む。）により実現してもよい。さらに、ソフトウェア及びハードウェアの混在処理により実現しても良い。なお、上記実施形態に係る立体撮像装置をハードウェアにより実現する場合、各処理を行うためのタイミング調整を行う必要があるのは言うまでもない。上記実施形態においては、説明の便宜のため、実際のハードウェア設計で生じる各種信号のタイミング調整の詳細については省略している。

また、上記実施形態における処理方法の実行順序は、必ずしも、上記実施形態の記載に制限されるものではなく、発明の要旨を逸脱しない範囲で入れ替えることができる。

また、上記実施形態では、２つの撮像部により、３Ｄ映像（ステレオ画像（左眼用画像及び右眼用画像））を取得（撮像）する場合について説明した。しかし、これに限定されない。例えば、１つの撮像素子により、左眼用画像と右眼用画像とを時分割で交互に取得するようにしてもよいし、また、１つの撮像素子の撮像素子面を２分割して、左眼用画像と右眼用画像とを取得するようにしてもよい。また、１つの撮像素子により、連続して撮影した画像を用いてもよい。また、複数の撮像素子により、連続して撮影した画像を用いてもよい。

また、上記実施形態で説明した選択部１０２は、立体表示装置、テレビ、情報携帯端末、パーソナルコンピュータ、デジタルスチルカメラ、ムービー、情報記録再生装置、映像記録再生装置等に搭載可能である。この場合、複数の３Ｄ映像の画像データは、上記装置に対して、外部から入力させるものであってもよい。

また、本発明の立体映像出力装置を具体化した上記実施形態の３Ｄ映像処理装置は表示部１０６を有しているが、本発明の立体映像出力装置は、表示部を有する装置にも、表示部を有さない装置にも適用可能である。例えば、本発明の立体映像出力装置は、表示部を有する立体表示装置、テレビ、情報携帯端末、パーソナルコンピュータ、デジタルスチルカメラ、ムービー等に適用可能であり、表示部を有さない情報記録再生装置、映像記録再生装置等にも適用可能である。

なお、本発明の具体的な構成は、前述の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更及び修正が可能である。

本発明に係る立体映像出力装置及び立体映像出力方法は、画像サイズ等に応じて適した２つの画像を選択することができるので、例えば、立体撮像を行うカメラ（撮像装置）、立体映像を表示する表示装置、立体映像を処理する画像処理装置など、立体映像を扱う幅広い機器に応用できる。

１０１ インターフェース
１０２ 選択部
１０３ メモリ
１０４ 記憶部
１０５ 調整部
１０６ 表示部
１１０ ３次元画像データ
１１１ ＳＢ情報
１１２ 距離情報
１１３ 画角情報
１１４ 画像番号
１１５ 画像テーブル
２０１ 位置測距部

Claims (9)

1. 同一シーンを異なる位置で撮影した複数の画像の画像データを記憶する記憶部と、
   前記記憶部に記憶された複数の画像データから２つの画像データを立体視用の画像データとして選択する選択部と、
   前記記憶部に記憶される画像データに関する立体映像を表示する際の表示条件と前記立体映像を視聴する際の視聴条件との少なく一方を取得する取得部と、を備え、
   前記選択部は、前記取得部が取得した条件のうち少なくとも一つの条件が現在設定されている条件と異なる場合、２つの画像データを前記複数の画像データの中から選択し直して、出力する、
   立体映像出力装置。
2. 前記取得部が取得する表示条件は、前記画像データに係る３Ｄ映像を表示する際の表示倍率に関する情報を少なくとも含み、
   前記選択部は、
   前記取得部が取得した表示条件に含まれる表示倍率に関する情報に基づいて、現在出力中の画像データにおける表示倍率とは異なる倍率を新たに取得したか否かを判断し、
   前記判断結果に基づいて、新たな２つの画像データを、前記記憶部に記憶された複数の画像データから選択する、
   請求項１に記載の立体映像出力装置。
3. 前記選択部は、前記取得部が取得した表示条件に含まれる表示倍率が、現在出力中の画像データにおける表示倍率よりも大きな倍率であるときは、現在出力中の２つの画像データにおける視点間距離よりも小さい視点間距離となる２つの画像データを、前記記憶部に記憶されている複数の画像データから選択する、
   請求項２に記載の立体映像出力装置。
4. 前記選択部は、前記取得部が取得した表示条件に含まれる表示倍率が、現在出力中の画像データにおける表示倍率よりも小さな倍率であるときは、現在出力中の２つの画像データにおける視点間距離よりも大きな視点間距離となる２つの画像データを、前記記憶部に記憶されている複数の画像データから選択する、
   請求項２に記載の立体映像出力装置。
5. 前記取得部は、前記表示条件及び前記視聴条件に加え、現在選択している２つの画像データが撮影されたときの撮影条件をさらに取得し、
   前記選択部は、
   前記表示条件、撮影条件及び視聴条件に基づいて、現在選択している２つの画像データが立体視用の画像データとして視聴された場合に所定の安全条件が満たされるか否かを判定し、
   前記所定の安全条件が満たされない場合、現在選択している２つの画像データにおける視点間距離よりも小さい視点間距離となる２つの画像データを、前記記憶部に記憶されている複数の画像データから再度選択する、
   請求項１に記載の立体映像出力装置。
6. 前記取得部は、前記表示条件及び前記視聴条件に加え、現在選択している２つの画像データが撮影されたときの撮影条件をさらに取得し、
   前記選択部は、
   前記表示条件、撮影条件及び視聴条件に基づいて、現在選択している２つの画像データが立体視用の画像データとして視聴された場合に所定の空間再現条件が満たされるか否かを判定し、
   前記所定の空間再現条件が満たされない場合、現在選択している２つの画像データにおける視点間距離よりも小さい視点間距離となる２つの画像データを、前記記憶部に記憶されている複数の画像データから再度選択する、
   請求項１に記載の立体映像出力装置。
7. 前記選択部は、
   前記表示条件、前記撮影条件及び視聴条件に基づいて、実環境において被写体を立体視したときの輻輳角と、表示部の表示面上に表示された立体映像において被写体を立体視したときの輻輳角との比を求め、この求めた比に基づいて、所定の空間再現条件が満たされるか否かを判定する、
   請求項６に記載の立体映像出力装置。
8. 前記選択部は、
   前記表示条件、前記撮影条件及び視聴条件に基づいて、実環境において被写体を立体視したときの輻輳角と、表示部の表示面上に表示された立体映像において被写体を立体視したときの輻輳角との比を求めるとともに、実環境において被写体を立体視したときの視野角と、前記表示部の表示面上に表示された立体映像において被写体を立体視したときの視野角との比を求め、
   前記求めた２つの比に基づいて、所定の空間再現条件が満たされるか否かを判定する、
   請求項６に記載の立体映像出力装置。
9. 同一シーンを異なる位置で撮影した複数の画像の画像データであって、記憶部に記憶された画像データから２つの画像データを選択する立体映像出力方法であって、
   前記記憶部に記憶される画像データに関する画像を表示する際の表示条件と前記立体映像を視聴する際の視聴条件との少なくとも一方を取得し、
   前記取得した条件のうち少なくとも一つの条件が、現在設定されている条件と異なる場合、２つの画像データを前記複数の画像データの中から選択し直して、出力する、
   立体映像出力方法。

Images