JPWO2012070103A1 - 立体画像表示装置および方法 - Google Patents

Abstract

実施形態によれば、多視点画像を表示する立体画像表示装置が提供される。該装置において、人物情報取得部は、立体映像を鑑賞する各人物の位置を含む人物情報を取得する。重み算出部は、前記人物情報と表示パラメーターに基づき、各人物に対して前記表示パラメーターに従った多視点画像を表示した場合に推定される立体視の良好度合いを表す重みを算出する。画像決定部は、前記重み算出部により算出された各人物の重みの総和が最大となる前記表示パラメーターを選択し、選択された表示パラメーターに従う多視点画像を出力する。画像表示部は、前記画像決定部から出力された多視点画像を表示する。

Description

本発明の実施形態は、立体画像表示装置および方法に関する。

専用眼鏡を使用しない立体画像表示装置は、立体視が可能な範囲(以下「視域」という)が限定されているため、視聴者と立体画像表示装置の相対位置関係によっては、良好な立体視が困難な場合がある。さらに、視聴者が当初は視域内に収まっていたとしても、視聴者の移動によって視域を外れてしまう場合もある。従って、視聴者の位置に応じて、立体視が可能なように立体画像表示の態様を変化させることが好ましい。

特開平８−３２８１７０号公報

さらに、複数人の視聴者が視聴しているなどの条件下であっても、これに応じて立体視が可能なように立体画像表示の態様を変化させることが好ましい。

実施形態によれば、多視点画像を表示する立体画像表示装置が提供される。該装置において、人物情報取得部は、立体映像を鑑賞する各人物の位置を含む人物情報を取得する。重み算出部は、前記人物情報と表示パラメーターに基づき、各人物に対して前記表示パラメーターに従った多視点画像を表示した場合に推定される立体視の良好度合いを表す重みを算出する。画像決定部は、前記重み算出部により算出された各人物の重みの総和が最大となる前記表示パラメーターを選択し、選択された表示パラメーターに従う多視点画像を出力する。画像表示部は、前記画像決定部から出力された多視点画像を表示する。

一実施形態に係る立体画像表示装置のブロック図である。 画像表示部の構造の一例を概略的に示した斜視図である。 重み算出部および画像決定部の概略構成を示すブロック図である。 人物情報取得部の構成を示すブロック図である。 重み算出部の構成を示すブロック図である。 立体視可能な領域の面積に基づく重みの算出を説明するための図である。 光線密度に基づく重みの算出を説明するための図である。 重み算出部により算出された重みのマップの例を示す図である。 画像決定部の構成を示すブロック図である。 視域に関して制御する表示パラメーターを説明するための図である。 視域に関して制御する表示パラメーターを説明するための図である。 隣りの視域について説明するための図である。 画素の並び（画素ピッチ）による制御を説明するための図である。 画像表示部の移動、回転、または変形による視域の制御を説明するための図である。 視差数が異なる場合の光線密度を説明するための図である。

図１に示すように、本実施形態に係る立体画像表示装置１０は、人物情報取得部１０１と、重み算出部１０２と、画像決定部１０３と、画像表示部１０４とを備え、視聴者の位置に応じて立体画像表示の態様を変化させることができ、例えば、複数の視聴者が同時に良好な立体映像を鑑賞可能にするものである。人物情報取得部１０１は、立体画像表示装置１０が表示する立体映像を鑑賞する視聴者（以下「人物」という）の位置を検出する。本実施形態では、対象とする視聴者が複数の場合にも対応するものであって、各人物の位置を検出する。人物情報取得部１０１は、検出された各人物の位置を表す人物情報を出力する。例えば、人物の位置をカメラ等の検出部により検出し、その結果から視聴者ｉと立体画像表示装置１０の相対位置座標（以下「位置座標（Ｘｉ，Ｙｉ））とを求めてもよい。重み算出部１０２は、人物情報取得部１０１により取得された各人物の位置を含む人物情報に基づき、各人物について、立体視の良好度合いを表す重みを算出する。画像決定部１０３は、重み算出部１０２により算出された各人物の重みの総和が最大となる表示パラメーターを選択し、選択された表示パラメーターに従う多視点画像を出力する。画像表示部１０４は、画像決定部１０３から出力された多視点画像を表示する。

画像表示部１０４は、画像決定部１０３によって生成された多視点画像を表示するデバイスである。図２は、画像表示部１０４の構造の一例を概略的に示した斜視図である。ここでは、視点数ｎ＝１８として説明する。図２に示されるように、画像表示部１０４は、表示素子アレイ１１４と、表示素子アレイ１１４の前面に配置された開口制御部１１５とを備える。表示素子アレイ１１４としては、例えばＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）を用いることができる。

開口制御部１１５は、透過する光線を制限して光線を所定方向に向けて出射させる光線制御素子である。開口制御部１１５としては、図２に示すように、レンチキュラーシートが用いられてもよい。レンチキュラーシートは、入射光線および射出光線を制御して光線を所定方向に向けるレンズセグメントのアレイ板である。開口制御部１１５として、光透過領域を適宜設けたスリットなどのアレイ板を用いることもできる。これら光透過領域およびレンズセグメントは、表示素子アレイ１１４からその前方に向けて発散される光線のうち特定の方向に向かう光線のみを選択的に出射する機能を有する。以下では、レンズセグメントおよび光透過領域をまとめて「光学的開口部」と称する。

開口制御部１１５として、例えば表示素子アレイ１１４における画面の垂直方向に母線を有するレンズのアレイ板であるレンチキュラーシートを用いる。レンズセグメントの各光学的開口部１１６、１１６、・・・が画素に対応して配置される。開口制御部１１５は、上述したレンチキュラーシートや光透過領域を集積したアレイ板に限らず、光透過領域の位置および形状を変えることができる光シャッタとしてＬＣＤを利用することもできる。

ここで、一般的なＦＰＤでは、１つの画素はＲＧＢ各色のサブ画素から構成される。１つの表示画素が１つのサブ画素に対応するものとする。図２の例では、表示画素アレイ１１４には、画素が正方形になるように縦横比が３：１にされた表示画素（サブ画素１４０、１４１、 ・・・）がマトリクス状に配列される。各サブ画素は、それぞれ、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のいずれかを担う。行方向については、各サブ画素を視差の数だけ行方向に並べた画素群に表示される画像、すなわち射出瞳（光学的開口部１１６）に対応したサブ画素単位で表示された視差画像の集合を要素画像と呼ぶ。なお、サブ画素は、Ｒ、Ｇ、Ｂに限定されるものではない。

列方向については、図２の例では、列方向に並ぶ６つのサブ画素の組で要素画像が構成されている。すなわち、行方向に１８画素、列方向に６画素で１つの要素画像１４１（図２内で枠を付して示す）を表示する。図２では、水平方向に１８視差を与える立体表示が可能となり、さらに列方向を６画素にすることで、要素画像、すなわち立体表示用の画素が正方形になる。なお、１つの有効画素内の水平方向における画素の位置は、開口制御部１１５と対応し、射出される光線の角度と相関を持つ。光線方向を表すアドレスを視差アドレスと呼ぶ。視差アドレスは、１実効画素内の水平方向における画素の位置に対応する。視差アドレスは、画面の右方向に向けて大きくなる。

開口制御部１１５における光学的開口部１１６、１１６、・・・は、要素画像の位置に対応して設けられる。図２の例では、光学的開口部１１６の幅（レンズピッチ）Ｐｓと１要素画像の幅とが一致させられている。

重み算出部１０２および画像決定部１０３の概略構成を図３に示す。重み算出部１０２は、人物情報取得部１０１により取得された各人物の位置を含む人物情報２００および画像を決定するパラメーター群２０１を入力し、各人物について立体視の良好度合いを表す重みを算出し、各人物の重みおよび対応する表示パラメーター２０３を出力する算出部３００を備える。

立体視の良好度合いを重みＷとすると、この重みＷは、立体画像表示装置１０に表示する多視点画像（即ち、表示する画素の並びの組み合わせ）や、立体画像表示装置１０のハードウェア設計に関係する表示パラメーター群２０１の表示パラメーターそれぞれについて人物情報２００に基づいて算出され、その値が大きいほど、立体視は良好なものとなる。重みＷは、少なくとも各人物の位置を反映しているが、どのように変化させるかは任意である。例えば、視聴者が選択可能な幾つかの視聴モードに対応するように重みＷを変化させてもよい。なお、表示する画素の並びの組合せ等、表示パラメーターにより制御可能な対象については後に詳しく説明する。

本実施形態では、立体視可能な表示領域の面積、光線密度、予め指定された位置に応じた重み（「位置重み」という）を算出する。このため、何らかの手段により各人物の位置情報を取得できることが必要である。また、本実施形態では、位置重みに加え、各人物の属性に応じた重み（「属性重み」という）を算出する。重みＷは、これら位置重みの値と属性重みの値とを合成することにより算出される。

画像決定部１０３は、各人物の重みおよび対応する表示パラメーター２０３を入力し、重み算出部１０２により算出された各人物の重みの総和が最大となる表示パラメーターを選択するパラメーター選択部３０１と、該パラメーター選択部３０１により選択された表示パラメーターに従う多視点画像を出力する画像出力部３０２とを備える。

以下、本実施形態に係る立体画像表示装置１０のより具体的な構成例について説明する。

人物情報取得部１０１の構成を図４に示す。人物情報取得部１０１は、カメラ画像等２０４を入力して各人物の位置を検出し、各人物の位置および属性を表す人物情報２００を出力する検出部３０３と、該検出部３０３からの出力に基づいて所定時間にわたり同一人物の位置の変化、すなわち各人物の移動を追跡する追跡部３０４とを備える。

位置検出に用いられる画像はカメラからの画像に限定されず、例えばレーダーから提供される信号を用いてもよい。また位置検出においては、顔、頭、人物全体、マーカーなど、人であると判定可能な任意の対象を検出してもよい。各人物の属性としては、各人物の名前、大人と子供の区別、視聴時間、リモコン保持者であるか否か等の情報が挙げられる。これらは何らかの手段によって検出され、あるいは視聴者等らが明示的に入力してもよい。

なお、人物情報取得部１０１が出力する各人物の位置情報について、カメラ座標系における座標値を実空間座標系における座標値に変換する人物位置変換部３０５を備えてもよい。また、人物位置変換部３０５を人物情報取得部１０１に設ける代わりに、これを重み算出部１０２に設けても良い。

重み算出部１０２の構成を図５に示す。重み算出部１０２は、人物情報２００と画像を決定するパラメーター群２０１とを入力し、各人物の重みおよび対応する表示パラメーター２０３を算出して出力する算出部３００を備える。算出部３００は、人物位置２０４および画像を決定するパラメーター群２０１に基づいて位置重みを算出する位置重み算出部３０６と、人物属性２０５から属性重みを算出する属性重み算出部３０７と、算出された位置重みと属性重みの和または積を計算する計算部３０８と、を備える。なお、いずれか一つの重みを用いる構成とする場合には、和または積の計算を省略することができる。

位置重み算出部３０６は、立体視可能なディスプレイの領域２０５、光線密度２０６、予め指定された位置の重み２０７等に基づいて位置重みを算出する。各人物の位置（即ち立体画像表示装置１０の表示画面との相対的位置）と多視点画像とによって立体視可能な領域２０５の面積が決定する。この面積が大きければ、位置重みの値も大きくなる。また、立体画像表示装置１０の表示画面からの距離と視点数とによって光線密度２０６が決定する。この光線密度２０６が密であれば、位置重みは大きくなる。予め指定された位置の重み２０７については、定常的に視聴をする位置に他の位置よりも大きな重みを与える。位置重み算出部３０６は、立体視可能なディスプレイの領域２０５、光線密度２０６、予め指定された位置の重み２０７等についてそれぞれ算出された重みの値の和または積を算出して出力する。なお、いずれか一つの重みを用いる構成とする場合には、位置の重みの和または積の計算を省略することができる。また、これら以外にも見えに関する重みを表現できる項を追加してもかまわない。

属性重み算出部３０７は、視聴時間または開始順序２０８、特定の人物２０９、リモコンの保持者２１０、人物間の位置関係２１１等の属性の値に基づいて属性重みを算出する。視聴時間または開始順序２０８については、長時間にわたり視聴している人物や、先に視聴を開始した人物が優先されるように重みの値を大きくする。同様に、特定の人物２０９や、リモコン保持者２１０が優先されるように重みの値を大きくする。人物間の位置関係２１１については、全員のなかで、ディスプレイの正面にいる人や近い人ほど重みの値を大きくする。属性重み算出部３０７は、視聴時間または開始順序２０８、特定の人物２０９、リモコンの保持者２１０、人物間の位置関係２１１等についてそれぞれ算出された重みの値の和または積を算出して出力する。なお、いずれか一つの重みを用いる構成とする場合には、和または積の計算は省略することができる。また、これら以外にも視聴者の属性に関する重みを表現できる項を追加してもかまわない。

さらに、計算部３０８は、位置重み算出部３０６から出力された位置重みの値と、属性重み算出部３０７から出力された属性重みの値との和または積を計算する。

なお、特定の人物２０９の情報のみに基づいてパラメーター選択を行う場合を除き、少なくとも位置重みの算出は必要である。また、画像を決定するパラメーター群２０１に含まれる複数の表示パラメーターのそれぞれについて各人物の重みを算出する。また、原則として全ての人物について重みを算出する（特定の人物２０９の情報のみに基づいてパラメーター選択を行う場合を除く）。

ここで、図６を参照し、立体視可能な領域２０５の面積に基づく重みの算出について説明する。「見え」の図は幾何的に求めることができ、計算可能である。人物２０と画像表示部１０４（ディスプレイ）の両端それぞれを結んだ線が視域設定距離で切り取る絵柄２１は、ディスプレイの「見え」と一致する。この図６の例では、絵柄２１における領域２２は立体視可能領域であり、領域２３は立体視不能領域である。絵柄２１の全領域の面積に占める立体視可能な領域２２の割合を重みとして算出することができる。例えば、立体視可能な領域２２の割合が１００％であれば、全てを立体視でき、最大値として例えば値「１」とする。

次に、光線密度２０６に基づく重みの算出について説明する。視差数をＮ、光線の広がりを２θ、ディスプレイ１０４から人物２０までの距離をＺ、人物２０の眼間距離をｄとするとき、

に従って光線密度２０６の重みを算出することができる。即ち、人物２０の目の位置における、光線幅ｌｅｎと眼間距離ｄの比率を光線密度２０６の重みとする。眼間距離ｄよりも光線幅ｌｅｎが狭い場合には、光線密度２０６の重みの値を「１」にする。

図８に、重み算出部１０２により算出された重みの値を実空間座標に配置したマップＭの例を示す。

次に、画像決定部１０３の構成を図９に示す。画像決定部１０３には、重み算出部から出力された各人物の重みおよび対応する表示パラメーター２０３が入力される。各人物の重みおよび対応する表示パラメーター２０３としては、１出力または多出力としてもよい。例えば、１出力の場合、各人物の重みの総和の最大値、特定の人物の重みの最大値、各人物の重みの平均値または中央値のうちの最大値が用いられてもよい。また、属性重みによって視聴者の優先順位をつけておき、ある順位以上の各人物の重みの総和の最大値、重みの平均値または中央値のうちの最大値が用いられてもよい。多出力の場合、各人物の重みの値の最大値が用いられてもよい。

画像決定部１０３の判定部３１０は、上記のような重みの値が所定の基準値以上であるか否かを判定する。多出力の場合、全員（あるいはＮ人以上）の重みの値が所定の基準値以上であるか否かが判定される。また、属性重みによって視聴者の優先順位をつけておき、ある順位以上の各人物のみで判定を行ってもかまわない。いずれの場合においても、基準値以上の重みに対応する表示パラメーター２１３を選択する。画像切替えの際の視認性を向上するための処理として、過去の表示パラメーター２１４に基づき、このたび選択された表示パラメーターと、過去の表示パラメーター２１４をブレンドしてゆっくり変化させる、変化を知覚しにくいシーンチェンジまたは画像の動きの激しいときに画像切替えを行うなどのブレンド／選択部３１１を備えてもよい。同様に、画像切替えの際の視認性を向上するための処理として、過去画像２１６に基づき、ブレンド／選択部３１１から出力された表示パラメーターに従う多視点画像（立体画像）２１５と過去画像２１６をブレンドしてゆっくり変化させるなどのブレンド／選択部３１２をさらに設けてもよい。ブレンド処理においては、一次遅れなどを吸収できることが好ましい。

なお、選択された表示パラメーターに従う多視点画像（立体画像）は、後述するように、ディスプレイ１０４の位置や向き等を物理的に変化させることによっても実現可能である。

画像決定部１０３の判定部３１０において、重みの値が基準値を下回る場合には、適切でない立体視を防止するために、二次元画像、黒画像（非表示）、無彩色画像等２１２を表示する（２Ｄ表示）。２Ｄ表示とする基準としては、重みの総和が小さい、見えない人がいる、特定の人物の見えに依存させるなどが挙げられる。この場合に、立体視が可能な位置に人物を誘導し、あるいは立体視が可能であることの警告を発する情報表示部３１１をさらに備えてもよい。

ここで、画像を決定するパラメーター群２０１について、各々の表示パラメーターによる制御の例について説明する。表示パラメーターとしては、視域に関して制御するものと、光線密度に関して制御するものとがある。視域に関して制御する表示パラメーターとしては、画像のシフト、画素並びのピッチ、レンズと画素の隙間(ギャップ)、ディスプレイの回転、変形、位置移動などが挙げられる。光線密度に関して制御する表示パラメーターとしては、レンズと画素の隙間(ギャップ)、視差数などが挙げられる。

図１０および図１１を参照して視域に関して制御する表示パラメーターについて説明する。表示画像を例えば右にシフトさせると、立体視が良好に行える場所、すなわち「視域」は、図１０に示す視域Ａから視域Ｂに変化する。これは、図１１の（ａ）と（ｃ）の比較から分かるように、光線Ｌが（ｃ）の場合では左に寄ることにより、視域も左に寄って視域Ｂに変化することによる。

画素２２とレンズ／スリット（光学的開口部１１６）２３との隙間を短くすると、図１１の（ａ）と（ｂ）の比較から分かるように、図１０に示す視域Ａから視域Ｃに変化する。この場合、視域が近くなるが光線密度は減ることになる。

なお、図１１に示すように、ディスプレイの画素２２には視差画像が順番に並ぶ。視差画像は、視点のずれた画像のことであり、例えば同図に示すように人物２０を複数のカメラ２１のそれぞれによって撮影した画像に相当する。画素２２（サブ画素１４０）からの光線はレンズ／スリット（光学的開口部１１６）２３を経て出射する。視域の形状は、図１１に示すθやηによって幾何的に求めることが可能である。

隣りの視域に関して図１２を参照して説明する。主に視聴を行う視域Ａの隣の視域Ｂは、（左端の画素，左端より１個右のレンズ）と、（右端より１個左の画素，右端のレンズ）の組合せによって形成される視域である。この視域Ｂをさらに左側や右側に移動することも可能である。

図１３を参照して、表示する画素の並び（表示ピッチ）による制御について説明する。画面の端（右端、左端）ほど、画素２２とレンズ２３の位置を相対的に多くずらすことにより視域を制御することができる。画素２２とレンズ２３の相対位置のずれ量を大きくすると、視域は、同図に示す視域Ａから視域Ｂに変化する。逆に、画素２２とレンズ２３の相対位置のずれ量を小さくすると、視域は、同図に示す視域Ａから視域Ｃに変化する。このように、視域の幅や近さを画素の並び（画素ピッチ）に関する表示パラメーターによって制御することが可能である。なお、もっとも視域の幅が広い場所を視域設定距離と呼ぶ。

図１４を参照して、画像表示部１０４の移動、回転、または変形による視域の制御について説明する。図１４の（ａ）に示すように、画像表示部１０４を回転することにより、基本時の視域Ａを視域Ｂに変化させることができる。同様に、画像表示部１０４を移動することにより、基本時の視域Ａを視域Ｃに変化させることができ、画像表示部１０４を変形することにより、基本時の視域Ａを視域Ｄに変化させることができる。表示パラメーターを変化させることにより、画像表示部１０４の移動、回転、または変形し、視域の制御を行うことができる。

光線密度に関して制御する表示パラメーターに関して、視差数が異なる場合の光線密度について図１５を参照して説明する。

例えば図１５の（ａ）に示す視差数が６の場合、同図から分かるように、相対的に人物３０よりもディスプレイ１０４に近い人物３１は、視差を与える光線の数が多くなり、立体視が良好なものとなる。また、図１５の（ｂ）に示す視差数が３の場合、（ａ）の場合よりも視差数が減って光線が疎になるので、等距離での立体視は困難になる。ディスプレイ１０４の各画素から出射する光線の光線密度は、レンズや隙間に応じて決まる角度θと、視差数と、人の位置とから算出することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

実施形態によれば、多視点画像を表示する立体画像表示装置が提供される。該装置において、人物情報取得部は、立体映像を鑑賞する各人物の位置を含む人物情報を取得する。重み算出部は、前記人物情報と表示パラメーターに基づき、各人物に対して前記表示パラメーターに従った多視点画像を表示した場合に推定される立体視の良好度合いを表す重みを算出する。画像決定部は、前記重み算出部により算出された各人物の重みに基づいて前記表示パラメーターを選択し、選択された表示パラメーターに従う多視点画像を出力する。画像表示部は、前記画像決定部から出力された多視点画像を表示する。

Claims (9)

1. 立体映像を鑑賞する各人物の位置を含む人物情報を取得する人物情報取得部と、
   前記人物情報と表示パラメーターに基づき、各人物に対して前記表示パラメーターに従った多視点画像を表示した場合に推定される立体視の良好度合いを表す重みを算出する重み算出部と、
   前記重み算出部により算出された各人物の重みの総和が最大となる前記表示パラメーターを選択し、選択された表示パラメーターに従う多視点画像を出力する画像決定部と、
   前記画像決定部から出力された多視点画像を表示する画像表示部と、
   を具備する立体画像表示装置。
2. 前記重み算出部は、各人物の位置において立体視可能な領域の面積に応じた重みを算出する請求項１記載の装置。
3. 前記重み算出部は、各人物の位置について前記画像表示部の各画素から出射する光線の光線密度に応じた重みを算出する請求項１記載の装置。
4. 前記重み算出部は、各人物の位置において立体視可能な領域の面積に応じた第１の重みと、各人物の位置における光線密度に応じた第２の重みとを算出し、前記第１の重みと前記第２の重みを用いた演算により各人物の重みを算出する請求項１記載の装置。
5. 前記重み算出部は、前記第１の重みと前記第２の重みの和または積によって前記各人物の重みを算出する請求項４記載の装置。
6. 前記人物情報取得部は、前記各人物を識別した識別情報をさらに取得し、
   前記重み算出部は、前記各人物の位置および前記識別情報に応じた重みを算出する請求項２〜４のいずれかに記載の装置。
7. 前記画像決定部は、前記総和が基準以上でない場合、２Ｄ画像を出力する請求項２〜４のいずれかに記載の装置。
8. 前記表示パラメーターは、前記画像表示部に表示する前記多視点画像の画素の並びを変化させるパラメーターを含む請求項１記載の装置。
9. 立体映像を鑑賞する各人物の位置を含む人物情報を取得することと、
   前記人物情報と表示パラメーターに基づき、各人物に対して前記表示パラメーターに従った多視点画像を表示した場合に推定される立体視の良好度合いを表す重みを算出することと、
   各人物の前記重みの総和が最大となる前記表示パラメーターを選択し、選択された表示パラメーターに従う多視点画像を出力することと、
   出力された前記多視点画像を表示することと、を含む立体画像表示方法。

Images