JP5167439B1 - 立体画像表示装置及び立体画像表示方法 - Google Patents

Abstract

３Ｄタブレット端末（１００）は、視差を伴う右目用画像及び左目用画像を含む立体画像を表示する視差画像表示部（１０９）と、右目用画像をユーザの右目に見せ、且つ左目用画像をユーザの左目に見せるように、視差画像表示部（１０９）上にストライプ状の視差バリアを表示する視差バリア表示部（１０５）と、視差画像表示部（１０９）に対するユーザの方位を取得するユーザ位置検出部（１０１）と、視差バリア表示部（１０５）が表示する視差バリアのストライプの方向を、ユーザの方位に略平行にする制御方向算出部（１０３）と、ユーザの方位と略直交する方向の視差を伴う立体画像を生成し、視差画像表示部（１０９）に表示させる視差画像生成部（１０７）とを備える。
【選択図】図１

Description

本発明は、オブジェクトの立体表示する立体画像表示装置に関する。

近年、モバイル分野における３Ｄ市場は急速に伸びており、全体に占める裸眼３Ｄ対応の割合は約１２％になると予測されている。裸眼３Ｄ対応モバイル端末は、２０１１年から２０１５年にかけて１３０００万台増が予測されており、将来性が見込まれるタブレットでも裸眼３Ｄの採用が進むと考えられる。

今後、タブレットが大型化すると、手に持って用いるスタイルのみならず、平置きにして用いるスタイルも考えられる。そうすると、平置きにしたタブレットに対し、いろいろな方向から裸眼３Ｄディスプレイを見るケースが起こりえる。

特許文献１には、第１の方向にマルチビュー指向性ディスプレイとして動作可能であり、且つ第１の方向と異なる第２の方向にマルチビュー指向性ディスプレイとして動作可能な３Ｄディスプレイに関する技術が開示されている。

特開２００６−０１８２８２号公報

視差バリア方式の裸眼３Ｄディスプレイを平置きして使用する場合、ディスプレイを平置きのまま回転させて斜め方向から見ると、視差画像が二重に見えて立体視できないという課題がある。

本発明は、このような課題に鑑みてなされたものであり、見る方向が変わっても立体視できる立体画像表示装置を提供することを目的とする。

本発明の一形態に係る立体画像表示装置は、視差を伴う右目用画像及び左目用画像を含む立体画像を表示する表示部と、前記右目用画像をユーザの右目に見せ、且つ前記左目用画像をユーザの左目に見せるように、前記表示部に重畳されるストライプ状の視差バリアと、前記表示部に対するユーザの方位を取得する取得部と、前記視差バリアのストライプの方向を、前記取得部で取得されたユーザの方位に略平行にする制御部と、前記取得部で取得されたユーザの方位と略直交する方向の視差を伴う前記右目用画像及び前記左目用画像を含む前記立体画像を生成し、前記表示部に表示させる生成部とを備える。

なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたは記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

本発明によれば、視差バリアのストライプの方向が常に最適に制御されるため、３Ｄディスプレイと両目との相対的な位置が変わっても常に安定して立体視させることができる立体画像表示装置を得ることができる。

図１は、本実施の形態に係る３Ｄタブレット端末の機能ブロック図である。 図２は、本実施の形態に係る３Ｄタブレット端末の外観図である。 図３Ａは、本実施の形態に係る３Ｄタブレット端末において、ユーザの方位と、視差バリアの方向と、立体画像の視差の方向との関係の一例を示す図である。 図３Ｂは、本実施の形態に係る３Ｄタブレット端末において、ユーザの方位と、視差バリアの方向と、立体画像の視差の方向との関係の他の例を示す図である。 図４は、視差バリア方式による立体視の原理図である。 図５は、視差バリア設計における原理図である。 図６は、画素と視差バリアとの配置図である。 図７Ａは、ディスプレイの画素セットの一例を示す図である。 図７Ｂは、図７Ａのディスプレイに視差バリアを重畳させた図である。 図８Ａは、ディスプレイの画素セットの他の例を示す図である。 図８Ｂは、図８Ａのディスプレイに視差バリアを重畳させた図である。 図９Ａは、画素を構成する複数の画素の配置の一例を示す図である。 図９Ｂは、画素を構成する複数の画素の配置の他の例を示す図である。 図１０Ａは、サブ画素が斜め配置された画素と視差バリアとの関係の一例を示す図である。 図１０Ｂは、サブ画素が斜め配置された画素と視差バリアとの関係の他の例を示す図である。 図１１は、ステレオカメラでユーザの目の検出方法を説明する図である。 図１２Ａは、ステレオカメラの一方で撮像された画像を示す図である。 図１２Ｂは、ステレオカメラの他方で撮像された画像を示す図である。 図１３は、カメラで撮像された画像中の垂直角及び水平角を示す図である。 図１４は、余弦定理の説明図である。 図１５は、ユーザ視点の方位図である。 図１６は、飛び出し立体視における視差量の概念図である。 図１７は、引っ込み立体視における視差量の概念図である。 図１８は、表示を複数の表示領域に分割した例を示す図である。 図１９は、撮像素子のピクセルとカメラの画角との関係を説明する図である。

本発明の一形態に係る立体画像表示装置は、視差を伴う右目用画像及び左目用画像を含む立体画像を表示する表示部と、前記右目用画像をユーザの右目に見せ、且つ前記左目用画像をユーザの左目に見せるように、前記表示部に重畳されるストライプ状の視差バリアと、前記表示部に対するユーザの方位を取得する取得部と、前記視差バリアのストライプの方向を、前記取得部で取得されたユーザの方位に略平行にする制御部と、前記取得部で取得されたユーザの方位と略直交する方向の視差を伴う前記右目用画像及び前記左目用画像を含む前記立体画像を生成し、前記表示部に表示させる生成部とを備える。

本発明の他の形態に係る立体画像表示装置は、視差を伴う右目用画像及び左目用画像を含む立体画像を表示する表示部と、前記右目用画像をユーザの右目に見せ、且つ前記左目用画像をユーザの左目に見せるように、前記表示部に重畳されるストライプ状の視差バリアと、前記表示部に対するユーザの方位を取得する取得部と、前記視差バリアのストライプの方向を、前記取得部で取得されたユーザの方位に略平行にする制御部と、前記制御部で前記ユーザの方位に略平行にされた前記視差バリアのストライプの方向と略直交する方向の視差を伴う前記右目用画像及び前記左目用画像を含む前記立体画像を生成し、前記表示部に表示させる生成部とを備える。

上記構成によれば、視差バリアのストライプの方向が常に最適に制御されるため、表示部と両目との相対的な位置が変わっても常に安定して立体視させることができる立体画像表示装置を得ることができる。

また、前記取得部は、前記表示部を含む平面上における方向であって、ユーザの両目を結ぶ仮想線の方向に直交する方向に平行な方向を、ユーザの方位として取得してもよい。

さらに、前記取得部は、ユーザの瞳孔間距離を取得してもよい。そして、前記生成部は、前記取得部で取得された瞳孔間距離に応じて、前記右目用画像及び前記左目用画像の視差量を調整してもよい。

例えば、前記取得部は、ユーザを撮像する撮像部を含み、前記撮像部で撮像された画像からユーザの方位を取得してもよい。

さらに、前記取得部は、ユーザの位置を特定する情報の入力を受け付ける入力部を含み、前記入力部に入力された情報に基づいて、ユーザの方位を取得してもよい。

例えば、前記表示部を構成する各画素は、複数のサブ画素で構成されてもよい。そして、前記複数のサブ画素の境界線は、隣接する画素の境界線に対して傾斜していてもよい。

例えば、前記表示部は、複数の表示領域を含んでもよい。前記取得部は、前記複数の表示領域それぞれに対するユーザの方位を取得してもよい。前記制御部は、前記複数の表示領域それぞれの視差バリアを、ストライプの方向が対応するユーザの方位に略平行にしてもよい。前記生成部は、前記複数の表示領域それぞれに対して、前記取得部で取得された対応するユーザの方位と略直交する方向の視差を伴う前記右目用画像及び前記左目用画像を含む立体画像を生成し、表示させてもよい。

さらに、前記取得部は、前記表示部の表示面に対するユーザの仰角を取得してもよい。そして、前記生成部は、前記取得部で取得されたユーザの仰角の方向からオブジェクトを見た前記立体画像を生成して、前記表示部に表示させてもよい。

本発明の一形態に係る立体画像表示方法は、視差を伴う右目用画像及び左目用画像を含む立体画像を表示する表示部と、前記右目用画像をユーザの右目に見せ、且つ前記左目用画像をユーザの左目に見せるように、前記表示部に重畳されるストライプ状の視差バリアとを備える立体画像表示装置に、前記立体画像を表示させる。具体的には、立体画像表示方法は、前記表示部に対するユーザの方位を取得する取得ステップと、前記視差バリアのストライプの方向を、前記取得ステップで取得されたユーザの方位に略平行にする制御ステップと、前記取得ステップで取得されたユーザの方位と略直交する方向の視差を伴う前記右目用画像及び前記左目用画像を含む前記立体画像を生成し、前記表示部に表示させる生成ステップとを含む。

本発明の他の形態に係る立体画像表示装置は、視差を伴う右目用画像及び左目用画像を含む立体画像を表示する表示部と、前記右目用画像をユーザの右目に見せ、且つ前記左目用画像をユーザの左目に見せるように、前記表示部に重畳されるストライプ状の視差バリアとを備える立体画像表示装置に、前記立体画像を表示させる方法である。具体的には、立体画像表示方法は、前記表示部に対するユーザの方位を取得する取得ステップと、前記視差バリアのストライプの方向を、前記取得ステップで取得されたユーザの方位に略平行にする制御ステップと、前記制御ステップで前記ユーザの方位に略平行にされた前記視差バリアのストライプの方向と略直交する方向の視差を伴う前記右目用画像及び前記左目用画像を含む前記立体画像を生成し、前記表示部に表示させる生成ステップとを含む。

なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたは記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

以下に、本発明の一実施の形態に係る立体画像表示装置の一例である３Ｄタブレット端末について、図面を参照しながら説明する。なお、以下で説明する実施の形態は、いずれも本発明の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

（実施の形態）
図１は、本実施の形態に係る３Ｄタブレット端末１００の機能ブロック図である。図２は、本実施の形態に係る３Ｄタブレット端末２００の外観図である。

３Ｄタブレット端末１００は、図１に示されるように、ユーザ位置検出部１０１と、制御方向算出部１０３と、視差バリア表示部１０５と、視差画像生成部１０７と、視差画像表示部１０９とを備える。

まず、ユーザ位置検出部（検出部）１０１は、撮像部（図２のカメラ２０１、２０２）から取得した画像より、ユーザの左右の目の空間位置座標を算出する。そして、ユーザ位置検出部１０１は、算出した左右の目の空間位置座標を、目位置情報１０２として制御方向算出部１０３に出力する。

制御方向算出部（制御部）１０３は、目位置情報１０２をユーザ位置検出部１０１から取得し、前述したように目位置情報１０２から、３Ｄタブレット端末１００の視差画像表示部１０９に対するユーザの方位を算出する。そして、制御方向算出部１０３は、算出したユーザの方位を、方位情報１０４（後述するターゲット角度１５０３に相当）として視差バリア表示部１０５と視差画像生成部１０７とに出力する。

なお、３Ｄタブレット端末１００のディスプレイに対するユーザの方位とは、３Ｄタブレット端末１００に対するユーザの位置を特定する情報であって、例えば、視差画像表示部１０９の表示面を含む平面上において、３Ｄタブレット端末１００とユーザとを結ぶ仮想線の方向であり、典型的には、３Ｄタブレット端末１００を見るユーザの両目を結ぶ仮想線の方向に直交する方向に平行な方向（後述するターゲット角度１５０３）である。すなわち、ユーザの方位とユーザの両目を結ぶ仮想線の方向とは、ねじれの位置にある。

視差バリア表示部（視差バリア）１０５は、視差画像表示部１０９に重畳され、ストライプ状の視差バリアを表示する。この視差バリアは、視差画像表示部１０９に表示される右目用画像をユーザの右目に見せ、左目用画像をユーザの左目に見せるために、マトリクス状に配置された複数の液晶素子のＯＮ（遮光）とＯＦＦ（透過）とを制御することによって実現される。

そして、視差バリア表示部１０５は、方位情報１０４を制御方向算出部１０３から取得し、方位情報１０４によって得られたユーザの方位に略平行な方向にストライプの方向が向くように、視差バリアの液晶素子をストライプ状にＯＮ／ＯＦＦ制御して表示させる。

同時に、視差画像生成部（生成部）１０７は、方位情報１０４を制御方向算出部１０３から取得し、元画像データ１０６を外部から取得する。そして、視差画像生成部１０７は、前述したように方位情報１０４によって得られたユーザの方位に略直交する方向の視差を伴う視差画像１０８と、視差量や視差画像１０８の配置を含む視差データ１１０とを算出し、視差画像表示部１０９に出力する。視差画像１０８は、視差を伴う右目用画像及び左目用画像を組み合わせて構成される立体画像である。

なお、図１の例において、視差バリア表示部１０５は、制御方向算出部１０３から取得した方位情報１０４を用いて、視差バリアのストライプの方向を決定している。同様に、視差画像生成部１０７は、制御方向算出部１０３から取得した方位情報１０４を用いて、視差の方向を決定している。しかしながら、各機能ブロックの動作の結果として、ユーザの方位と視差バリアのストライプの方向とが略平行になり、且つユーザの方位と視差の方向とが略直交（すなわち、ストライプの方向と視差の方向とが略直交）すれば、各機能ブロックがどのような情報を用いて処理を実行するかは、特に限定されない。

上記の他の例として、視差バリア表示部１０５は、上記と同様に方位情報１０４を用いて視差バリアのストライプの方向を決定し、決定したストライプの方向を視差画像生成部１０７に通知してもよい。そして、視差画像生成部１０７は、視差バリア表示部１０５から取得したストライプの方向を用いて、ストライプの方向に略直交（すなわち、ユーザの方位に略直交）する方向の視差を伴う視差画像１０８及び視差データ１１０を算出してもよい。

さらに他の例として、視差画像生成部１０７は、上記と同様に方位情報１０４を用いて視差の方向を決定し、決定した視差の方向を視差バリア表示部１０５に通知してもよい。そして、視差バリア表示部１０５は、視差画像生成部１０７から取得した視差の方向を用いて、ストライプの方向が視差の方向に略直交する（すなわち、ユーザの方位に略平行になる）ように視差バリアを表示してもよい。

なお、視差データ１１０の計算時に用いるユーザの瞳孔間距離は、例えば、目位置情報１０２から算出してもよいし、図示しない入力部でユーザからの瞳孔間距離等の入力を受け付けてもよいし、一般的な成人の平均瞳孔間距離（通常６ｃｍ）を利用してもよい。

視差画像表示部１０９は、視差画像１０８及び視差データ１１０を視差画像生成部１０７から取得し、視差データ１１０で示される視差画像１０８の配置と視差量とに従って、前述したように視差画像（立体画像）１０８を表示するディスプレイである。視差画像表示部１０９の具体的な構成は特に限定されないが、例えば、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、又は有機ＥＬ（ＥｌｅｃｔｒｏＬｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等を採用することができる。

次に、図３Ａ及び図３Ｂを参照して、本実施の形態に係る３Ｄタブレット端末において、ユーザの方位と、視差バリアの方向と、立体画像の視差の方向との関係について説明する。

まず、図３Ａの矢印３０１に示される方位（図３Ａの紙面上において、３Ｄタブレット端末の下側）が制御方向算出部１０３で算出された場合、視差バリア表示部１０５は、ストライプの方向が矢印３０１の向きに平行になる（すなわち、ストライプが上下方向に延びる）ように、視差バリア３０４を表示する。また、視差画像生成部１０７は、視差の方向が矢印３０１と直交する（すなわち、左右方向の視差を生じる）ように左目用画像３０２及び右目用画像３０３を生成し、視差画像表示部１０９に表示する。

同様に、図３Ｂの矢印３０５に示される方位（図３Ｂの紙面上において、３Ｄタブレット端末の右下側）が制御方向算出部１０３で算出された場合、視差バリア表示部１０５は、ストライプの方向が矢印３０５の向きに平行になる（すなわち、ストライプが左上から右下の方向に延びる）ように、視差バリア３０８を表示する。また、視差画像生成部１０７は、視差の方向が矢印３０５と直交する（すなわち、左下−右上の方向の視差を生じる）ように左目用画像３０６及び右目用画像３０７を生成し、視差画像表示部１０９に表示する。

なお、図３Ａの矢印３０１は、ユーザの両目を結ぶ仮想線に直交する方向に平行な方向である。すなわち、制御方向算出部１０３は、ユーザ位置検出部１０１で検出された目位置情報１０２に基づいてユーザの両目を結ぶ仮想線の方向を算出してもよい。そして、視差バリア表示部１０５は、ストライプの方向が仮想線の方向に直交する方向に平行になるように、視差バリア３０４を表示してもよい。同様に、視差画像生成部１０７は、視差の方向が仮想線の方向と平行になるような左目用画像３０２及び右目用画像３０３を生成し、視差画像表示部１０９に表示してもよい。図３Ｂの例も同様である。

また、制御方向算出部１０３は、さらに、ユーザの瞳孔間距離を算出してもよい。そして、視差画像生成部１０７は、制御方向算出部１０３で算出された瞳孔間距離に応じて、左目用画像３０２及び右目用画像３０３の視差量を調整してもよい。図３Ｂの例も同様である。

さらに、図３Ａにおいて、視差バリア３０４のストライプの方向は、矢印３０１の方向と厳密に平行である必要はなく、多少の誤差は許容される。すなわち、視差バリア３０４ストライプが矢印３０１の方向に略平行な方向に延びていればよい。図３Ｂについても同様である。

一例として、視差バリア３０４は、後述する図７Ｂ及び図８Ｂに示されるように、マトリクス状に配置された複数の液晶素子（液晶マトリクス）のＯＮ／ＯＦＦを制御することによって実現される。そこで、視差バリア表示部１０５は、例えば、上記の方法で実現できるストライプのうち、ユーザの方位と最も平行に近い方向のストライプを選択すればよい。そして、上記の処理によって実現されるストライプの方向とユーザの方位との関係は、「略平行」の範囲内に含まれるものとする。

同様に、左目用画像３０２及び右目用画像３０３の視差の方向は、矢印３０１の方向に厳密に直交している必要はなく、多少の誤差は許容される。すなわち、矢印３０１の方向に略直交する方向の視差を伴う左目用画像３０２及び右目用画像３０３を生成し、表示すればよい。図３Ｂについても同様である。

一例として、視差の方向（すなわち、後述する画素セットの向き）は、後述する図７Ａ及び図８Ａに示されるように、マトリクス状に配置された複数の画素の組み合わせによって実現される。そこで、視差画像生成部１０７は、例えば、上記の方法で実現できる画素セットの組み合わせのうち、ユーザの方位と最も垂直に近い方向の組み合わせを選択すればよい。そして、上記の処理によって実現される視差の方向とユーザの方位との関係は、「略直交」の範囲内に含まれるものとする。

この一連の動作により、ユーザの視点位置に応じた視差バリア制御と視差画像制御とを行うことができる。その結果、視差画像表示部１０９に表示される画像を見るユーザは、見る方向に制限されずに立体オブジェクトを立体視することが可能となる。

なお、図２に示される３Ｄタブレット端末２００は、例えば、１０．１インチ（１３６６×７６８ピクセル）の裸眼３Ｄディスプレイ２０３と、ステレオカメラを構成する一対のカメラ２０１、２０２とを備える。なお、図２に示される一対のカメラ２０１、２０２のカメラ間距離２０４は、１３０ｍｍである。

但し、３Ｄタブレット端末２００の具体的な構成は図２に限定されない。すなわち、一対のカメラ２０１、２０２の位置関係やカメラ間距離２０４、裸眼３Ｄディスプレイ２０３の大きさ等は、上記の例に限定されない。また、カメラは１つであってもよく、カメラで撮像された画像と、図示しない入力部で受け付けられた情報（例えば、ユーザが大人であるか、子供であるかを示す情報、或いはユーザの瞳孔間距離）とに基づいて、ユーザの方位や瞳孔間距離を算出してもよい。

なお、図１の３Ｄタブレット端末１００は、図２の３Ｄタブレット端末２００に対応する。また、図１の視差画像表示部１０９は、図２の裸眼３Ｄディスプレイ２０３に対応する。さらに、図１のユーザ位置検出部１０１及び図２のカメラ２０１、２０２は、視差画像表示部１０９（裸眼３Ｄディスプレイ２０３）に対するユーザの方位を取得する取得部として機能する。

以下、図４〜図１９を参照して、各構成要素の具体的な構成及び動作を説明する。

まず、視差バリア方式による裸眼立体視の原理（視差バリア表示部１０５及び視差画像表示部１０９）について、図４を参照しながら簡単に説明する。視差画像表示部１０９に相当する表示パネル４０４は、ＲＧＢの各色を表示できる複数の画素で構成される。また、複数の画素は、右目用画素（図４の“Ｒ”。以下「Ｒ画素」と表記する。）と左目画素（図４の“Ｌ”。以下「Ｌ画素」と表記する。）とを一組とした画素セット４０５、４０６、・・・の集合である。

すなわち、表示パネル４０４に表示される画像（立体画像）は、複数の右目用画素で構成される右目用画像と、複数の左目用画素で構成される左目用画像とで構成される。また、右目用画像と左目用画像とは、互いに視差を有する画像である。

また、視差バリア表示部１０５に相当する視差バリア４０３は、複数のバリア４０７、４０８、・・・で構成される。図４の例では、バリア４０７は画素セット４０５に対応し、バリア４０８は画素セット４０６に対応する。すなわち、画素セット４０５、４０６、・・・とバリア４０７、４０８、・・・とは、一対一で対応する。

これにより、ユーザの右目４０１は、バリア４０７、４０８により画素セット４０５、４０６それぞれのＬ画素が遮られ、Ｒ画素のみを視認できる。同様にユーザの左目４０２は、バリア４０７、４０８により画素セット４０５、４０６のＲ画素が遮られ、Ｌ画素のみを視認できる。

このように、視差バリア方式では、ユーザの左右の目にＲ画素又はＬ画素で構成される別々の画像を与えることができるため、ユーザは表示パネル４０４に表示される画像を立体視できることになる。

本発明において視差バリアの構成は重要であり、図５を参照しながら詳細に説明する。

図５に示されるように、ユーザの右目位置５０６及び左目位置５０７の間の瞳孔間距離を２Ｄ、ユーザと表示パネルとの間の視距離をＬ、ピクセルピッチをＰ、表示パネルと視差バリアとの間隔をＨと定義する。そうすると、視差バリア５０３、５０４の位置、表示パネルと視差バリアとの間隔Ｈは、計算により算出することができる。

左目位置５０７の座標（Ｄ，Ｌ）と、ピクセルピッチＰ単位でｘ軸上の離散的座標（ｎＰ，０）（−６８３≦ｎ≦６８３）で与えられる点とを結ぶ直線群を、左方向直線群５０２とする。同様に、右目位置５０６の座標（−Ｄ，Ｌ）と、ピクセルピッチＰ単位でｘ軸上の離散的座標（ｎＰ，０）（−６８３≦ｎ≦６８３）で与えられる点とを結ぶ直線群を、右方向直線群５０１とする。

左方向直線群５０２に含まれる各直線を式１とすると、左方向直線群５０２は、座標（Ｄ，Ｌ）を通るので式２となり、また座標（ｎＰ，０）を通るので式３となる。式２、式３から式４が導かれ、式１に式３、式４を当てはめると式５が求まる。同様に、右方向直線群５０１に含まれる各直線を式６とすると、右方向直線群５０１は、座標（−Ｄ，Ｌ）を通るので式７となり、また座標（ｎＰ，０）を通るので式８となる。式７、式８から式９が導かれ、式６に式８、式９を当てはめると式１０が求まる。

ここで左方向直線群５０２と右方向直線群５０１との交点５０５が視差バリアの位置を示すことになる。すなわち、視差バリアの交点５０５を求めるためには、左方向直線群５０２のうち座標（ｎＰ，０）を通る直線と、右方向直線群５０１のうち座標（（ｎ＋１）Ｐ，０）を通る直線との交点を求めればよい。そこで式５と式１０とにより式１１が導かれる。また、式１１から式１２が導かれる。

式１２を式５に代入すると式１３となる。そして、ｎ＝０のときについて求めると、式１４が算出される。すなわち、表示パネルと視差バリアとの間隔Ｈは、瞳孔間距離２Ｄの半分Ｄ、ピクセルピッチＰ、及び視距離Ｌの各パラメータによって決定されることが示される。

逆に製造上の理由などにより、表示パネルと視差バリアとの間隔Ｈが決まっている場合は、式１５により視距離Ｌが定まる。

以上のようにパラメータを設定することにより、視差バリアの各種パラメータを算出できる。なお、本実施の形態での視差バリアは、例えば図６に示すように、液晶マトリクス６０２で構成され、液晶ドット６０４毎にＯＮ／ＯＦＦを制御することを可能とする。

また、表示パネルは、例えば図６に示されるように、パラメータとして１３６６×７６８画素で１０．１インチのＬＣＤパネル６０１を用い、利用者の想定視距離を５０ｃｍ、利用者の想定瞳孔間距離を６ｃｍとする。

これより、ＬＣＤピクセル６０３のピクセルピッチＰは０．１６３７ｍｍとなり、視差バリア幅は０．１６３４７ｍｍとなり、表示パネルと視差バリアとの間隔Ｈは０．６８１ｍｍとなる。また、ＬＣＤピクセル６０３と液晶ドット６０４とは一対一に対応するので、液晶マトリクス６０２の中心をＬＣＤパネル６０１の中心と一致させるように配置する。

図７Ａ及び図７Ｂに示すように、ＬＣＤパネル７０１に対応する視差バリアの液晶マトリクス７０２のＯＮ／ＯＦＦを行うことで、視差バリアを形成することになる。

図７Ａに示されるＬＣＤパネル７０１には、上下方向に隣接するＲ画素（斜線ハッチングの画素）とＬ画素（ドットハッチング）とで画素セットが形成される。また、図７Ｂに示される液晶マトリクス７０２は、画素セットの境界を含む位置に、水平方向に３画素分、１行下に移動して水平方向に２画素分、さらに１行下に移動して水平方向に３画素分、・・・（以下、繰り返し）をＯＮ（遮光）することによって、視差バリアを形成している。すなわち、図７Ｂは、ストライプが左上から右下方向に延びる視差バリアの例を示している。

図８Ａに示されるＬＣＤパネル８０１には、左右方向に隣接するＬ画素（ドットハッチングの画素）とＲ画素（斜線ハッチング）とで画素セットが形成される。また、図８Ｂに示される液晶マトリクス８０２は、画素セットの境界を含む位置に、垂直方向に３画素分、１列左に移動して垂直方向に２画素分、さらに１列左に移動して垂直方向に３画素分、・・・（以下、繰り返し）をＯＮ（遮光）することによって、視差バリアを形成している。すなわち、図８Ｂは、ストライプが右上から左下方向に延びる視差バリアの例を示している。

ここで一般的なＬＣＤピクセルは、図９Ａの画素９０１のようなＲＧＢ配置となっていることが多い。すなわち、画素９０１を構成する複数のサブ画素（この例では、Ｒサブ画素、Ｇサブ画素、Ｂサブ画素の３つ）の境界線は、左右方向に隣接している。このようなＲＧＢ配置の上に視差バリアを形成するとモアレが発生し、色が分離してしまう現象が生じやすい。

そこで図９Ｂの画素９０２のように、ＲＧＢを斜め配置としてモアレを軽減しても良い。すなわち、図９Ｂの画素９０２は、各サブ画素（Ｒ、Ｇ、Ｂ）の境界線は、画素の境界線に対して傾斜（すなわち、鋭角に交わる）している。さらに、図９Ｂの各サブ画素は、画素９０２内の複数箇所（この例では２箇所）に分散配置されている。

図１０Ａ及び図１０Ｂは、サブ画素を斜め配置した画素と視差バリアとの関係を示す図である。図１０Ａ及び図１０Ｂに示されるように、ＬＣＤピクセル１０００、１００３は、視差バリアの液晶ドット１００１、１００２を重畳させても、全てのサブ画素（Ｒ、Ｇ、Ｂ）全てが見えることになり、モアレを防ぐことができる。

次に、ユーザ位置の検出方法（ユーザ位置検出部１０１及び制御方向算出部１０３の動作）について、図１１〜１３を用いて説明する。３Ｄタブレット端末１１００は、一対のカメラ１１０１、１１０２を備え、３Ｄタブレット端末１１００に表示される立体画像を視聴するユーザ１１０４を撮像する。

図１２Ａに示される画像１２００はカメラ１１０１で撮像され、図１２Ｂに示される画像１２１０はカメラ１１０２で撮像されたものとする。各画像１２００、１２１０に対して画像処理を行うことによって、ユーザの左右の目を抽出する。画像処理の方法は問わないが、例えば、形状認識アルゴリズムを用いて目と思われる部分を抽出する。抽出した結果、各画像の中央の画素位置１２０４、１２１４から各画像における左目１２０３、１２１３までのピクセル距離（１２０１、１２０２）、（１２１１、１２１２）を算出する。同様にして、各画像の中央の画素位置から各画像における右目までのピクセル距離も算出する。

予めキャリブレーションにより一対のカメラ１１０１、１１０２それぞれの特性を取得しておくことで、算出したピクセル距離を補正して図１３に示すようにカメラ位置１３００（カメラ１１０１、１１０２の位置）からターゲット１３０１（左目あるいは右目）への方向を求める。

このように、図１２Ａ及び図１２Ｂにおける各画像の上下方向は、図１３のＹ軸に対する角度である垂直角１３０３に対応し、左右方向は図１３のＸ軸に対する角度である水平角１３０２に対応する。また、図１２Ａ及び図１２Ｂにおける各画像の垂直方向（紙面奥から手前に向かう方向）は、図１３のＺ軸に対応する。このような対応によって、ピクセル距離に応じてカメラ位置１３００（カメラ１１０１、１１０２の位置）からターゲット１３０１（左目あるいは右目）を望む方向（角度）を求めることができる。すなわち、ピクセル距離１２０１からターゲット垂直角１３０４、ピクセル距離１２０２からターゲット水平角１３０５を求めることができる。

なお、ターゲット垂直角１３０４は、ターゲット１３０１からのＹ−Ｚ平面に対する垂線がＹ−Ｚ平面と交わる交点１３０６及びカメラ位置１３００を結ぶ線と、Ｚ軸とのなす角度である。同様に、ターゲット水平角１３０５は、ターゲット１３０１からのＺ−Ｘ平面に対する垂線がＺ−Ｘ平面と交わる交点１３０７及びカメラ位置１３００を結ぶ線と、Ｚ軸とのなす角度である。

ここでターゲット１３０１の空間位置座標の算出には、例えば三角測量法を用いる。図１４において、辺Ａ〜Ｃと角ａ〜ｃとの間には、式１６に示す余弦定理が成り立つ。

頂点１４０１をカメラ１１０１の位置、頂点１４０２をカメラ１１０２の位置、頂点１４００をターゲット１３０１からのＹ−Ｚ平面に対する垂線とＹ−Ｚ平面との交点とすると、角Ｃはカメラ１１０１、１１０２間の距離に相当する。なお、角ａ及び角ｂは前述したターゲット垂直角１３０４から算出することができる。そして、角ａ及び角ｂより、角ｃも求まる。このため、式１７、１８により、辺Ａ及び辺Ｂの長さ、つまりカメラ１１０１、１１０２から、ターゲット１３０１からの垂線とＹ−Ｚ平面との交点までの距離を算出することができる。これらから式１９、２０により、ターゲット１３０１のｙ座標及びｚ座標を算出することができる。また、前述したターゲット水平角１３０５をｄとおくと式２１よりターゲット１３０１のｘ座標を算出することができる。

以上からターゲット１３０１の空間位置座標を求めることができるので、同様にして、左右の目の空間位置座標を得る。

次に、ターゲット角度の算出について説明する。ターゲット角度とは、右目と左目とを結ぶ線分の中点からのＸ−Ｙ平面に対する垂線とＸ−Ｙ平面との交点及び空間位置座標の原点を結ぶ線と、Ｙ軸とのなす角度である。具体的には、図１５に示すように、取得した右目の空間位置座標１５０２（ｘｒ，ｙｒ，ｚｒ）と左目の空間位置座標１５０１（ｘｌ，ｙｌ，ｚｌ）とから右目及び左目を結ぶ線分の中点の空間位置座標１５０６（（ｘｒ＋ｘｌ）／２，（ｙｒ＋ｙｌ）／２，（ｚｒ＋ｚｌ）／２）を算出する。そして、空間位置座標１５０６からのＸ−Ｙ平面への垂線とＸ−Ｙ平面との交点１５０４及び空間位置座標の原点１５００を結ぶ線分１５０５と、Ｙ軸とのなす角度であるターゲット角度１５０３（Ｒ）を、式２２により求める。

このターゲット角度１５０３を用いて、視差バリアの向きと、立体画像の視差の方向とを、図３Ａ及び図３Ｂに示すように変更する。図３Ａ及び図３Ｂにおいて、矢印３０１、３０５によって示されるユーザの方位がターゲット角度１５０３で与えられ、これと視差バリア３０４、３０８が同一の方向を向くように制御する。また、左目用画像３０２及び右目用画像３０３の組と、左目用画像３０６及び右目用画像３０７の組とは、ターゲット角度１５０３に対して垂直な方向に視差を生じるように制御する。

なお、右目と左目とを結ぶ線分の中点の空間位置座標１５０６及び空間位置座標の原点１５００を結ぶ線分と、線分１５０５とのなす角度１５０７（Ｔ）を、式２３により求めてもよい。

この角度１５０７に応じて裸眼３Ｄディスプレイ２０３への表示内容を変更してもよい。例えば。ターゲット垂直角の方向に応じて、裸眼３Ｄディスプレイ２０３への表示内容をその方向から見た画像に変更するとよりリアリティを強調することができる。さらに、ターゲット垂直角の方向に応じて、メニューを変更するなど見る角度で異なるＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を提供することも可能となる。

図１５の角度１５０７は、裸眼３Ｄディスプレイ２０３（視差画像表示部１０９）を含む平面（Ｘ−Ｙ平面）とユーザの視線方向とのなす角（仰角）である。そして、裸眼３Ｄディスプレイ２０３には、仰角に応じたオブジェクトが立体表示される。すなわち、裸眼３Ｄディスプレイ２０３には、オブジェクトを仰角で示される方向から見た立体画像が表示される。

より具体的には、例えば、仰角が９０°（ユーザがＺ軸上から見る）の場合、裸眼３Ｄディスプレイ２０３にはオブジェクトを正面から見た立体画像が表示される。一方、仰角が４５°の場合、裸眼３Ｄディスプレイ２０３にはオブジェクトを斜め４５°から見た立体画像が表示される。

次に、表示する立体視オブジェクトの飛び出し量（Ｈ）あるいは引っ込み量（Ｈ’）と瞳孔間距離（Ｄ）と、視距離（Ｌ）とから左右の視差画像を生成する。具体的な視差画像の生成方法は、図１６及び図１７に示すように、視点位置Ａ及び視点位置Ｂから見た立体視オブジェクトＣを表現するための視差画像Ｐ及び視差画像Ｑを、ＯｐｅｎＧＬ（登録商標）などのグラフィックライブラリを利用して描画する。そして、飛び出し時には式２４、引っ込み時には式２５により視差量Ｓを求める。

得られた視差量Ｓを視点位置Ａ及び視点位置Ｂの中点から画面に垂直に引いた直線と画面との交点からの画面上のオフセットとして、左右に視差画像Ｐ及び視差画像Ｑを描画する。なお、視差量Ｓは連続的な値をとるのに対して、裸眼３Ｄディスプレイ２０３のピクセルピッチは固定である。そのため、裸眼３Ｄディスプレイ２０３のピクセルピッチを勘案して視差画像Ｐ及び視差画像Ｑの画面上の描画位置を決定する。このとき、図３Ａ及び図３Ｂに示すように、ターゲット角度によって与えられる方向と直交する方向に、視差量Ｓを設定する。

なお、ユーザ位置検出部１０１において複数人を検知し、制御方向算出部１０３で各人に対応した方位情報１０４を算出してもよい。視差バリア表示部１０５、視差画像生成部１０７、及び視差画像表示部１０９において、図１８に示すように、３Ｄタブレット端末１８００のディスプレイを、各ユーザＡ、Ｂ、Ｃ、Ｄに対応する表示領域１８１０、１８２０、１８３０、１８４０に分けて、それぞれに立体画像を表示させてもよい。

具体的には、図１に示されるユーザ位置検出部１０１及び制御方向算出部１０３は、複数の表示領域１８１０〜１８４０に対するユーザＡ〜Ｄの方位（図１８の矢印）を取得する。次に、視差バリア表示部１０５は、複数の表示領域１８１０〜１８４０それぞれの視差バリアを、ストライプの方向が対応するユーザの方位に略平行になるように表示する。また、視差画像生成部１０７は、複数の表示領域１８１０〜１８４０それぞれに対して、対応するユーザの方位と略直交する方向の視差を伴う立体画像を生成し、視差画像表示部１０９に表示させる。

その結果、ユーザＡに対応する表示領域１８１０には、ストライプが左上から右下に延びる視差バリア１８１１が重畳され、且つ左下及び右上にずれた右目用画像１８１２及び左目用画像１８１３が表示されている。

また、ユーザＢに対応する表示領域１８２０には、ストライプが右上から左下に延びる視差バリア１８２１が重畳され、且つ左上及び右下にずれた右目用画像１８２２及び左目用画像１８２３が表示されている。

また、ユーザＣに対応する表示領域１８３０には、ストライプが左右方向に延びる視差バリア１８３１が重畳され、且つ上下方向にずれた右目用画像１８３２及び左目用画像１８３３が表示されている。

さらに、ユーザＤに対応する表示領域１８４０には、ストライプが上下方向に延びる視差バリア１８４１が重畳され、且つ左右方向にずれた右目用画像１８４２及び左目用画像１８４３が表示されている。

ここで、図１９を用いて一対のカメラに組み込まれ各画像を取得する撮像素子のピクセルと、一対のカメラの画角との関係について説明する。一対のカメラは、撮像素子の前にレンズが配置され、撮像素子とレンズとの関係によって一対のカメラの画角が決められる。例えば、撮像素子のピクセル数が横方向にｂ０からｂ１３４３までの１３４４個あり、レンズに魚眼レンズなどを用いた場合、角度ａ０から角度ａ１３４３までの１８０度の画角を撮像できる。そうすると、撮像素子の横方向に１ピクセルあたり（１８０÷１３４４）度の分解能で各画像を取得することができることになる。

なお、カメラのようにユーザの視点位置を能動的に検出する手段を備えなくとも、例えば、３Ｄタブレット端末に対してユーザが自らの位置を入力するようにしてもよい。３Ｄタブレット端末のＬＣＤがタッチパネルを備えている場合には、ＬＣＤのユーザに近い位置をタップすることによってユーザの位置を３Ｄタブレット端末に入力することができる。また、３Ｄタブレット端末のＬＣＤがタッチパネルを備えていない場合には、既存のポインティング手段、例えば、カーソルキーやマウスやトラックボールなどによってＬＣＤのユーザに近い位置を指示することによってユーザの位置を３Ｄタブレット端末に入力することができる。

本発明の立体画像表示装置を大型端末に適用すると、テーブル上に平置きし、自由な角度から立体視することができる効果を有するので、大型の３Ｄタブレット端末などに有用である。

１００，２００，１１００，１８００ ３Ｄタブレット端末
１０１ ユーザ位置検出部
１０２ 目位置情報
１０３ 制御方向算出部
１０４ 方位情報
１０５ 視差バリア表示部
１０６ 元画像データ
１０７ 視差画像生成部
１０８ 視差画像
１０９ 視差画像表示部
１１０ 視差データ
２０１，２０２，１１０１，１１０２ カメラ
２０３ 裸眼３Ｄディスプレイ
２０４ カメラ間距離
３０１，３０５ 矢印
３０２，３０６，１８１３，１８２３，１８３３，１８４３ 左目用画像
３０３，３０７，１８１２，１８２２，１８３２，１８４２ 右目用画像
３０４，３０８，４０３，５０３，５０４，１８１１，１８２１，１８３１，１８４１ 視差バリア
４０１ 右目
４０２，１２０３，１２１３ 左目
４０４ 表示パネル
４０５，４０６ 画素セット
４０７，４０８ バリア
５０１ 右方向直線群
５０２ 左方向直線群
５０５，１３０６，１３０７，１５０４ 交点
５０６ 右目位置
５０７ 左目位置
６０１，７０１，８０１ ＬＣＤパネル
６０２，７０２，８０２ 液晶マトリクス
６０３，１０００，１００３ ＬＣＤピクセル
６０４，１００１，１００２ 液晶ドット
９０１，９０２ 画素
１１０４ ユーザ
１２００，１２１０ 画像
１２０１，１２０２，１２１１，１２１２ ピクセル距離
１２０４，１２１４ 画素位置
１３００ カメラ位置
１３０１ ターゲット
１３０２ 水平角
１３０３ 垂直角
１３０４ ターゲット垂直角
１３０５ ターゲット水平角
１４００，１４０１，１４０２ 頂点
１５００ 原点
１５０１，１５０２，１５０６ 空間位置座標
１５０３，１５０７ 角度
１５０５ 線分
１８１０，１８２０，１８３０，１８４０ 表示領域

Claims (10)

1. 視差を伴う右目用画像及び左目用画像を含む立体画像を表示する表示部と、
   前記右目用画像をユーザの右目に見せ、且つ前記左目用画像をユーザの左目に見せるように、前記表示部に重畳されるストライプ状の視差バリアと、
   前記表示部を含む面上において前記表示部とユーザとを結ぶ仮想線の方向である、ユーザの方位を取得する取得部と、
   前記取得部が取得した前記ユーザの方位に応じて、前記表示部を含む面に平行な面内で前記視差バリアのストライプの方向を変更することで、前記視差バリアのストライプの方向を、前記取得部で取得されたユーザの方位に略平行にする制御部と、
   前記取得部で取得されたユーザの方位と略直交する方向の視差を伴う前記右目用画像及び前記左目用画像を含む前記立体画像を生成し、前記表示部に表示させる生成部とを備える
   立体画像表示装置。
2. 視差を伴う右目用画像及び左目用画像を含む立体画像を表示する表示部と、
   前記右目用画像をユーザの右目に見せ、且つ前記左目用画像をユーザの左目に見せるように、前記表示部に重畳されるストライプ状の視差バリアと、
   前記表示部を含む面上において前記表示部とユーザとを結ぶ仮想線の方向である、ユーザの方位を取得する取得部と、
   前記取得部が取得した前記ユーザの方位に応じて、前記表示部を含む面に平行な面内で前記視差バリアのストライプの方向を変更することで、前記視差バリアのストライプの方向を、前記取得部で取得されたユーザの方位に略平行にする制御部と、
   前記制御部で前記ユーザの方位に略平行にされた前記視差バリアのストライプの方向と略直交する方向の視差を伴う前記右目用画像及び前記左目用画像を含む前記立体画像を生成し、前記表示部に表示させる生成部とを備える
   立体画像表示装置。
3. 前記取得部は、さらに、ユーザの瞳孔間距離を取得し、
   前記生成部は、前記取得部で取得された瞳孔間距離に応じて、前記右目用画像及び前記左目用画像の視差量を調整する
   請求項１又は２に記載の立体画像表示装置。
4. 前記取得部は、ユーザを撮像する撮像部を含み、前記撮像部で撮像された画像からユーザの方位を取得する
   請求項１〜３のいずれか１項に記載の立体画像表示装置。
5. 前記取得部は、さらに、ユーザの位置を特定する情報の入力を受け付ける入力部を含み、前記入力部に入力された情報に基づいて、ユーザの方位を取得する
   請求項１〜４のいずれか１項に記載の立体画像表示装置。
6. 前記表示部を構成する各画素は、複数のサブ画素で構成され、
   前記複数のサブ画素の境界線は、隣接する画素の境界線に対して傾斜している
   請求項１〜５のいずれか１項に記載の立体画像表示装置。
7. 前記表示部は、複数の表示領域を含み、
   前記取得部は、前記複数の表示領域それぞれに対するユーザの方位を取得し、
   前記制御部は、前記複数の表示領域それぞれの視差バリアを、ストライプの方向が対応するユーザの方位に略平行にし、
   前記生成部は、前記複数の表示領域それぞれに対して、前記取得部で取得された対応するユーザの方位と略直交する方向の視差を伴う前記右目用画像及び前記左目用画像を含む立体画像を生成し、表示させる
   請求項１〜６のいずれか１項に記載の立体画像表示装置。
8. 前記取得部は、さらに、前記表示部の表示面に対するユーザの仰角を取得し、
   前記生成部は、前記取得部で取得されたユーザの仰角の方向からオブジェクトを見た前記立体画像を生成して、前記表示部に表示させる
   請求項１〜７のいずれか１項に記載の立体画像表示装置。
9. 視差を伴う右目用画像及び左目用画像を含む立体画像を表示する表示部と、前記右目用画像をユーザの右目に見せ、且つ前記左目用画像をユーザの左目に見せるように、前記表示部に重畳されるストライプ状の視差バリアとを備える立体画像表示装置に、前記立体画像を表示させる立体画像表示方法であって、
   前記表示部を含む面上において前記表示部とユーザとを結ぶ仮想線の方向である、ユーザの方位を取得する取得ステップと、
   前記取得部が取得した前記ユーザの方位に応じて、前記表示部を含む面に平行な面内で前記視差バリアのストライプの方向を変更することで、前記視差バリアのストライプの方向を、前記取得ステップで取得されたユーザの方位に略平行にする制御ステップと、
   前記取得ステップで取得されたユーザの方位と略直交する方向の視差を伴う前記右目用画像及び前記左目用画像を含む前記立体画像を生成し、前記表示部に表示させる生成ステップとを含む
   立体画像表示方法。
10. 視差を伴う右目用画像及び左目用画像を含む立体画像を表示する表示部と、前記右目用画像をユーザの右目に見せ、且つ前記左目用画像をユーザの左目に見せるように、前記表示部に重畳されるストライプ状の視差バリアとを備える立体画像表示装置に、前記立体画像を表示させる立体画像表示方法であって、
    前記表示部を含む面上において前記表示部とユーザとを結ぶ仮想線の方向である、ユーザの方位を取得する取得ステップと、
    前記取得部が取得した前記ユーザの方位に応じて、前記表示部を含む面に平行な面内で前記視差バリアのストライプの方向を変更することで、前記視差バリアのストライプの方向を、前記取得ステップで取得されたユーザの方位に略平行にする制御ステップと、
    前記制御ステップで前記ユーザの方位に略平行にされた前記視差バリアのストライプの方向と略直交する方向の視差を伴う前記右目用画像及び前記左目用画像を含む前記立体画像を生成し、前記表示部に表示させる生成ステップとを含む
    立体画像表示方法。

Images