JPWO2012131887A1 - 三次元映像表示装置 - Google Patents

Abstract

三次元画像表示装置においては、観察者の位置に応じて、光学的開口部に割り当てられるサブ画素領域が定められ、サブ画素領域は、互いに隣接するサブ画素領域の境界でサブ画素を区分したサブ画素セグメントを含み、前記サブ画素セグメントは、互いに隣接するサブ画素領域に対応し、互いに隣接する光学的開口部を経由して観察され、前記サブ画素セグメントを構成するサブ画素には、互いに隣接するサブ画素領域に属する視差情報が混合されて表示される。

Description

実施の形態は、三次元映像表示装置に関する。

動画表示が可能な三次元映像表示装置、所謂、三次元ディスプレイには、種々の方式が知られている。近年、特にフラットパネルタイプで、且つ、専用のメガネ等を必要としない方式での三次元ディスプレイの開発が望まれている。専用のメガネを必要としないタイプの三次元映像表示装置には、直視型或いは投影型の液晶表示装置又はプラズマ表示装置等のように画素位置が固定されている表示パネル（表示装置）の直前に光線制御素子が設置され、表示パネルからの光線の射出方向が制御されて観察者に向けられる方式がある。

この方式における光線制御素子は、光線制御素子上の同一箇所を見ても見る角度により異なる映像が見えるように光線を制御する機能を有している。具体的には、左右視差（所謂水平視差）のみを与える場合には、光線制御素子として、スリットのアレイ（視差バリア）或いはかまぼこレンズのアレイ（レンチキュラーシート）が用いられ、上下視差（垂直視差）をも与える場合には、光線制御素子としてピンホールアレイ或いはレンズアレイが用いられる。

光線制御素子を用いる三次元ディスプレイの方式は、さらに２眼式、多眼式、超多眼式（多眼式の超多眼条件）、インテグラル・イメージング方式（以下、単にＩＩとも称する。）等に分類される。２眼式では、事前に定めた観察位置（視点位置）において両眼視差を両眼に与えて立体視を観察させている。多眼式、超多眼式等の方式（単に多眼方式と称する。）では、視点位置を複数にすることで、見える範囲を広げると同時に側面が見える（運動視差を与える）ようにしている。ＩＩ方式は、１００年程度前に発明され、三次元写真に応用されるインテグラル・フォトグラフィ（ＩＰ）の原理に基づいており、ＩＩ方式の三次元映像表示装置は、下記特許文献１で知られている。多眼方式やＩＩ方式で観察される三次元映像は、程度の差はあるが運動視差を伴うことから、２眼式の立体映像と区別して三次元映像と呼ばれている。

特許第３８９２８０８号

光線制御素子と平面表示装置とが組み合わされた三次元映像表示装置では、一般に視点位置を仮定して設計する手法が採用されている。しかし、このように視点位置を仮定して設計する手法では、視点位置が限られる問題がある。また、視点位置を仮定しないで設計する手法では、視域がやや狭くなる問題がある。従って、表示される画像が工夫されることで、視点位置の制約がなくされて、しかも、最大限に視域が確保されることが望まれている。

実施の形態によれば、
第１の方向と前記第１の方向に直交する第２の方向とに沿ってサブ画素がマトリクス状に配列された表示部と、
前記表示部に対向して設置されて前記表示部からの光線を制御する光線制御素子であって、前記光線制御素子が前記第１及び第２の方向にマトリクス状に設けられた複数の第１タイプの光学的開口部、または前記第２の方向に沿って略直線状に延出され、前記第１の方向に沿って配列されている複数の第２タイプの光学的開口部のいずれかで構成されている光線制御素子と、
を備え、前記サブ画素に前記光学的開口部を経由して観察される視差画像情報を表示することにより、観察位置において三次元画像を視認することができる三次元画像表示装置において、
前記観察位置に応じて、前記光学的開口部に割り当てられるサブ画素領域を定めること、
前記サブ画素領域に含まれる、互いに隣接する前記サブ画素領域の境界で前記サブ画素を区分したサブ画素セグメントを特定し、
前記互いに隣接するサブ画素領域に対応し、互いに隣接する光学的開口部を経由して観察される前記サブ画素セグメントを構成するサブ画素には、前記互いに隣接するサブ画素領域に属する視差情報を混合させたサブ画素表示情報を生成する、
画像表示方法が提供される。

図１は、実施の形態に係る裸眼式（メガネなし方式）で三次元画像を観察可能な三次元画像表示装置の構造を概略的に示す斜視図である。 図２は、一般的な三次元画像表示装置における三次元画像を観察可能な光線軌跡を概略的に示す模示図である。 図３は、図２に示した三次元画像表示装置であって、三次元画像を観察することを説明する為の多眼方式の第１の比較例に係る模式図である。 図４は、図２に示した三次元画像表示装置であって、三次元画像を観察することを説明する為のＩＩ方式の第２の比較例に係る模式図である。 図５は、図４のＩＩ方式の三次元画像表示装置における光線軌跡を概略的に示す模示図である。 図６は、図２に示した三次元画像表示装置であって、三次元画像を観察することを説明する為のＩＩ方式の第３の比較例に係る模式図である。 図７は、図６に示した三次元画像表示装置であって、三次元画像を観察することを説明する為のＩＩ方式の第３の比較例に係る模式図である。 図８は、第１または第２の比較例に係るサブ画素と開口ピッチとの関係を示す模式図である。 図９は、第３の比較例に係るサブ画素の配分を説明する模式図である。 図１０は、この実施の形態に係る三次元画像表示装置に適用するサブ画素の配分及び配分されたサブ画素に与えるサブ画素情報を説明する模式図である。 図１１はこの実施の形態に係る三次元画像表示装置に適用するサブ画素の配分及び配分されたサブ画素に与えるサブ画素情報を説明する模式図である。 図１２Ａは、この実施の形態に係る三次元画像表示装置において、観察者がある視距離で定められた基準面に位置される場合における水平面内のサブ画素領域を示す模式図である。 図１２Ｂは、この実施の形態に係る三次元画像表示装置において、観察者がある視距離で定められた基準面に位置される場合における垂直面内におけるサブ画素領域を示す模式図である。 図１２Ｃは、図１２Ａ及び図１２Ｂに示すように観察者が位置される際における表示パネル及びこの表示パネルに表示されるあるサブ画素領域を示す模式図である。 図１３Ａは、この実施の形態に係る三次元画像表示装置において、観察者が図１２の視距離よりも遠ざかって位置される場合における水平面内のサブ画素領域を示す模式図である。 図１３Ｂは、この実施の形態に係る三次元画像表示装置において、観察者が図１２の視距離よりも遠ざかって位置される場合における垂直面内におけるサブ画素領域を示す模式図である。 図１３Ｃは、図１３Ａ及び図１３Ｂに示すように観察者が位置される際における表示パネル及びこの表示パネルに拡張されて表示されるあるサブ画素領域を示す模式図である。 図１４Ａは、この実施の形態に係る三次元画像表示装置において、観察者が図１２の視距離で定められた基準面上でシフトされる場合における水平面内のサブ画素領域を示す模式図である。 図１４Ｂは、この実施の形態に係る三次元画像表示装置において、観察者が図１２の視距離で定められた基準面上でシフトされる場合における垂直面内におけるサブ画素領域を示す模式図である。 図１４Ｃは、図１４Ａ及び図１４Ｂに示すように観察者が基準面上でシフトされる際にこの表示パネルにシフトされて表示されるあるサブ画素領域を示す模式図である。 図１５は、他の実施の形態に係る裸眼式（メガネなし方式）で三次元画像を観察可能な三次元画像表示装置の構造を概略的に示す斜視図である。ｓ 図１６Ａは、図１５に示される三次元画像表示装置において、観察者がある視距離で定められた基準面に位置される場合における水平面内のサブ画素領域を示す模式図である。 図１６Ｂは、図１５に示される三次元画像表示装置において、観察者がある視距離で定められた基準面に位置される場合における垂直面内におけるサブ画素領域を示す模式図である。 図１６Ｃは、図１６Ａ及び図１６Ｂに示すように観察者が位置される際における表示パネル及びこの表示パネルに斜め表示されるあるサブ画素領域を示す模式図である。 図１７Ａは、図１５に示される三次元画像表示装置において、観察者が図１６の視距離で定められた基準面よりも遠ざかって位置される場合における水平面内のサブ画素領域を示す模式図である。 図１７Ｂは、図１５に示される三次元画像表示装置において、観察者が図１６の視距離で定められた基準面よりも遠ざかって位置される場合における垂直面内におけるサブ画素領域を示す模式図である。 図１７Ｃは、図１７Ａ及び図１７Ｂに示すように観察者が位置される際における表示パネル及びこの表示パネルに拡張されて表示されるあるサブ画素領域を示す模式図である。 図１８Ａは、図１５に示される三次元画像表示装置において、観察者が図１６の視距離で定められた基準面よりも表示パネルに近づいた場合における垂直面内のサブ画素領域を示す模式図である。 図１８Ｂは、図１８Ａに示すように観察者が位置される際における表示パネルで表示領域が変化されるあるサブ画素領域を示す模式図である。 図１９Ａは、図１５に示された三次元画像表示装置において、観察者が図１６の視距離で定められた基準面上でシフトされる場合における水平面内のサブ画素領域を示す模式図である。 図１９Ｂは、図１５に示された三次元画像表示装置において、観察者が図１６の視距離で定められた基準面上でシフトされる場合における垂直面内におけるサブ画素領域を示す模式図である。 図１９Ｃは、図１９Ａ及び図１９Ｂに示すように観察者が基準面上でシフトされる際にこの表示パネルにシフトされて表示されるあるサブ画素領域を示す模式図である。 図２０Ａは、図１５に示された三次元画像表示装置において、観察者が図１６の視距離で定められた基準面上でシフトされる場合における水平面内のサブ画素領域を示す模式図である。 図２０Ｂは、図１５に示された三次元画像表示装置において、観察者が図１６の視距離で定められた基準面上でシフトされる場合における垂直面内におけるサブ画素領域を示す模式図である。 図２０Ｃは、図２０Ａ及び図２０Ｂに示すように観察者が基準面上でシフトされる際にこの表示パネルにシフトされて表示されるあるサブ画素領域を示す模式図である。 図２１Ａは、図１５に示される三次元画像表示装置において、観察者が図１６の視距離で定められた基準面上で垂直方向にシフト場合における垂直面内のサブ画素領域を示す模式図である。 図２１Ｂは、図２１Ａに示すように観察者がシフトされる際における表示パネルで表示領域が変化されるあるサブ画素領域を示す模式図である。 図２２は、図１５に示される三次元画像表示装置における表示パネルのあるサブ画素領域及びそのサブ画素領域における画素情報が混合される割合を示す模式図である。 図２３は、図１及び図１５に示される三次元画像表示装置の実施の形態に係る表示パネルドライバの画像処理部を概略的に示すブロック図である。 図２４は、図１及び図１５に示される三次元画像表示装置の他の実施の形態に係る表示パネルドライバの画像処理部を概略的に示すブロック図である。

以下、図面を参照して実施の形態に係る三次元映像表示装置について説明する。

図１は、一般的な裸眼式（メガネなし方式）、すなわち、多眼方式やＩＩ方式で三次元画像を観察可能な三次元画像表示装置の構造を概略的に示している。この三次元画像表示装置は、直視型或いは投影型の液晶表示装置又はプラズマ表示装置等のように画素位置が固定されている表示パネル（２次元画像表示装置）１を備え、この表示パネル１の直前に間隙(ギャップ）ｇを空けて光線制御素子２が設置されて全体がフラットなパネルタイプに構成されている。このフラットパネルタイプの三次元画像表示装置では、表示パネル１から光線が射出され、この光線の射出方向が光線制御素子２によって制御されて観察者に向けられている。表示パネル１には、良く知られるようにサブ画素（ＲＧＢのサブ画素）がマトリックス状（行列）に配列されている。光線制御素子２は、光線制御素子上の同一箇所を見ても見る角度により異なる映像が見えるように、例えば、図２に示されるように、光学的開口部３の背面にはそれぞれ複数のサブ画素からなるサブ画素領域４が設けられる。これによって、符号Ｖ１a、Ｖ１ｂ及びＶ１ｃで示されるように観察位置に応じて光学的開口部３を経由して異なるサブ画素を視認し、観察者が光線制御素子２を介して観察位置に応じた表示画像を視認することによって三次元画像を表示装置の前方或いは後方で観察することができる。ちなみに、サブ画素領域４のサブ画素に同じ画像を表示すると、観察位置が変化しても表示画像が変わらなくなり、二次元画像を観察させることができる。

このような三次元画像表示装置の視域は、全ての光学的開口部３について観察位置に応じた表示画像を視認することができる範囲、すなわち、光学的開口部３を経由してサブ画素領域４が観察される視域が重畳した範囲６として規定される。すなわち、サブ画素領域４が決まれば、三次元画像表示装置の視域が決まる。

図１に示される三次元映像表示装置は、左右視差（所謂水平視差）のみが与えられて三次元映像が観察される方式であることから、光線制御素子２としてレンチキュラーシートが用いられている。レンチキュラーシートは、良く知られるように、かまぼこレンズのアレイで構成されている。各かまぼこレンズは、物理光学的には、光線を制御してその通過を許すことから光学的開口部３と称することができる。この複数のかまぼこレンズ（光学的開口部３）が夫々略第２の方向に、より具体的には、略垂直方向(図１のフラットパネルの短辺に相当する方向）に、直線的に延出され、複数のかまぼこレンズ（光学的開口部３）が第２の方向と直交する第１の方向(図１のフラットパネルの長辺に相当する方向）に沿って、より具体的には、水平方向に沿って、アレイ状に配列されている。

ここで、左右視差（所謂水平視差）のみが与えられる方式では、レンチキュラーシートに代えて、光学的開口部３でもある視差バリアとしてスリットアレイが採用されても良い。このスリットアレイ（視差バリア）は、第２の方向に、より具体的には、略垂直方向に、直線的に光学的開口部３としてのスリットが延出され、複数のスリットが第１の方向に沿って、より具体的には、水平方向に沿って、アレイ状に配列されている。

また、左右視差（所謂水平視差）のみでなく、上下視差（垂直視差）をも与えて上下方向からも方向に応じた立体視を与えることができる三次元映像表示装置では、光線制御素子として複数のピンホール（光学的開口部３）が配列されたピンホールアレイ或いは複数のレンズセグメント（光学的開口部３）が配列されたレンズアレイが用いられる。ピンホールアレイ或いはレンズアレイによる垂直方向視差の付与は、水平方向視差の付与と同様であるので、以下の説明において、水平方向視差の付与の説明が垂直方向視差の付与も説明を兼ねるものとしてその説明を省略する。

図１、図２に示される三次元映像表示装置は、ＩＩ方式或いは多眼方式で三次元映像を表示することができる。但し、図３を参照して説明する多眼方式或いは図４から図７を参照して説明するＩＩ方式とでは、以下に説明するように設計手法及び画像表示手法が異なっていることに注意されたい。

尚、以下の説明において、多眼方式は、単なる多眼の方式のみを意味せず、２眼式を除く多眼式に加えて超多眼式（多眼式において超多眼条件を備えた方式）をも含むものとする。また、図８から図２４を参照して説明されているこの実施の形態に係る三次元映像表示装置及び三次元映像を表示する方法は、視差番号で特定される複数の視点位置から撮影された多視点画像が取得されて三次元映像の為の画素情報（要素画像）に変換され、表示パネル１のサブ画素領域にその画素情報が与えられて表示されている。従って、この多視点画像が表示される観点からは、多眼方式及びＩＩ方式に明確に区別することなく適用可能である点に注意されたい。従って、図８から図２４に示される実施の形態では、多眼方式及びＩＩ方式に区別することなく記載されている点に注意されたい。

図１に示される三次元映像表示装置は、好ましくは、表示パネル１の前方の観察者(図示せず）の位置を検出する観察位置を取得する位置センサ５を備えている。この位置センサ５からのセンサ信号は、表示パネルドライバ８に与えられて観察者の位置を特定するｘ、ｙ、ｚ座標で与えられる観察者座標に変換される。そして、表示パネルドライバ８は、観察者の位置に応じてサブ画素表示領域４を決め、これに従ってサブ画素に与える画素情報を生成して表示パネル１の画素領域にその画素情報を与え、観察者に対して３次元映像を観察するに最適な視域を与えている。観察者の位置（ｘ、ｙ、ｚ)の基準位置を（０、０、Ｌ）としたときに、観察者が観察距離Ｌを基準とした面内（ｚ＝Ｌ）で視点をシフトする（ｘ≠０、またはｙ≠０）場合に限らず、ｚがＬより前方へ（ｚ＜Ｌ）或いは、後方へ（ｚ＞Ｌ）向けて移動し、また、移動した位置の面内で視点をシフト（ｘ≠０、またはｙ≠０）する場合にあっても、ｚ＝Ｌで観察者が３次元映像を観察する場合と同様に、観察者の位置に応じてサブ画素領域４を決め、３次元映像を観察するに最適な視域を平面パネル１に与えることができる。

表示ドライバ８は、位置センサ５による観察者の位置が最適観察位置となるように表示パネル１のサブ画素領域４を設ける。より詳細には、そのサブ画素領域のサブ画素に視差番号で特定される視差情報が与えられて最適画像が表示パネル１に表示される。サブ画素領域の境界に属するサブ画素には、後に述べるように隣接するサブ画素領域のサブ画素に与えられる２つの視差情報が混合されて与えられる。ここで、混合される割合は、サブ画素領域の境界に属するサブ画素が隣接するサブ画素領域に属するように分けられて生じる２つのセグメントの面積或いは幅に応じて定められる。ここで、サブ画素領域の境界に属するサブ画素が隣接するサブ画素領域の一方にのみ属する場合には、他方のサブ画素領域のサブ画素に与えられる１つの視差情報の混合割合がゼロとなる。

尚、上述したサブ画素のセグメントは、明瞭に区分される領域として定まらず、単にサブ画素領域の幅或いは大きさから定まる概念上の領域である点に注意されたい。また、位置センサ５は、実施の形態の必須の構成要素ではなく、この位置センサ５に代えて外部から位置情報として固定位置（表示パネル１からの最適距離或いは観察者情報）が入力装置、例えば、三次元映像表示装置のリモコン(図示せず）で与えられても良く、この入力位置情報に応じてそのサブ画素領域のサブ画素に視差番号で特定される視差情報が与えられて最適画像が表示パネル１に表示されても良い。

図２には、図１に示されている一般的な三次元画像表示装置における水平面内における光線軌跡の一例が実線で、中央と両端の光学的開口部３の視域が破線で示されている。一例としたのは、該当する位置に物理的な画素がある場合として描いているからであり、本願では、サブ画素領域４が観察位置に応じて設けられることから、サブ画素領域３の該当する位置にサブ画素がある場合もない場合もある。図２に示される三次元画像表示装置おいては、ある開口ピッチＰｅで配列されている光学的開口部３とサブ画素領域４とが水平平面内において配置されている様子が示されている。表示パネル１は、表示パネル１で定められている画素ピッチで配置された複数のサブ画素（例えば、複数のＲ、Ｇ、Ｂのサブ画素）で構成され、各光学的開口部３に対応して各サブ画素領域４に区分されている。ここで、ある光学的開口部３に割り当てられるあるサブ画素領域４は、隣接して配置される光学的開口部３に対応するように隣接するある範囲（第１の比較例１及び第２の比較例２では、各サブ画素領域４が図３や図４に示すように整数個ｎ、例えば、５個）に設定されているサブ画素で構成されている。図６及び図７を参照する第３の比較例３では、各サブ画素領域４が図３に示すように開口ピッチＰｅに相当する領域ピッチＰで出現する整数個ｎのサブ画素から構成される複数のサブ画素領域４中に領域ピッチＰを乱すように、ある周期で或いは規則性を有して（ｎ＋１）個のサブ画素から構成される特異サブ画素領域４Ｐが挿入されている。後に説明されるように、比較例に対比されるように、この実施の形態では、図９に示されるように実質的に（ｎ＋１）個のサブ画素から構成される特異サブ画素領域４Ｐがある周期で或いは規則性を有して挿入されていると同様に視域を広げることができるように、サブ画素領域４の境界のサブ画素がサブ画素の一部（一方のセグメント）及び残る部分（残存セグメント）に分けられている。また、そのサブ画素の一部（一方のセグメント）の一方が一方のサブ画素領域４に属するように配分され、残る部分（残存セグメント）が他方のサブ画素領域４に属するように配分されている。従って、図９に示されるようにこの実施の形態では、光学開口部３の開口ピッチＰｅ（固定ピッチ）に対応して一定のサブ画素領域ピッチＰでサブ画素領域４が配置されている。図１２Ａから図１４Ｃを参照して説明されるように、観察者が平面パネル１に略平行な面内で移動（シフト）されると、光学開口部３に対してこのサブ画素領域４が相対的にシフトされる。また、観察者が平面パネル１に向かって近づくように或いは平面パネル１から離れるように移動（シフト）されると、このサブ画素領域４のピッチＰは、観察者位置に応じてその幅が可変される。このサブ画素の一部（一方のセグメント）及び残る部分（残存セグメント）の幅の比率は、例えば、サブ画素の１／４に設定され、かつ、サブ画素を構成するサブ画素の基本の数を５とすると、一定の周期で、例えば、（５×４＋１）サブ画素毎に同様のサブ画素の一部（一方のセグメント）及び残る部分（残存セグメント）の幅の比率が表れることとなる。

図３は、この実施の形態の理解を助ける為の一般的な多眼方式の第１の比較例１を示している。図３に示す第１の比較例１では、各サブ画素領域４が視差番号(-２〜２）を有するｎ個のサブ画素で構成され、表示パネル１の表示面上の領域には、このｎ個のサブ画素で構成される通常のサブ画素領域４が繰り返し配置されている。

このような比較例１に係る多眼方式の三次元映像表示装置では、以下のようにして各ディメンションが設定される。図２に示すように表示パネル（表示装置）１の表示面から光学的開口部３の主点（レンチュキュラーレンズの主点）までの距離ｇ及び光学的開口部３の主点から視域基準面（視域面）までの距離Ｌとする。ここで、図２で示したように、有限の距離Ｌで全レンズからの光線群が視域基準面（視域面）で重畳するためには、サブ画素幅（pp＝１）で規格化した光学的開口部のピッチＰｅ（固定値）と、ある１つの光学的開口部３に対応したサブ画素領域４の平均幅Ｐとの関係は、
Ｐｅ＝Ｐ×Ｌ／（Ｌ＋ｇ） ・・・（１）
を充足することが必要とされる。

二眼式から発展した多眼式或いは稠密多眼式では、有限の距離Ｌで全ての光学的開口部３から射出される互いに対応する光線から構成される光線群が同一の領域に、眼間間隔（ＩＰＤ）或いは眼間間隔の１／ｘ倍の間隔を空けて入射（集光）されるように設計される。例えば、図２において光学的開口部３の主点を通る主光線（実線で示される。）から構成される光線群が視域基準面（視域面）に集光される。

比較例１では、視域基準面（視域面）が固定とされるに対して、この比較例に対しされる後に詳述する実施の形態においては、観察者がこの視域基準面（視域面）を基準として前後に移動（シフト）されてこのシフトに応じて観察位置が変化される系においては、（１）式において、シフト量Δｚが導入されて（１）式は、
Ｐｅ＝Ｐ×（Ｌref＋Δｚ)／｛（Ｌref＋Δｚ)＋ｇ｝ ・・・（１−１）
に変形される。従って、後に詳述する実施の形態においては、観察者までの距離（Ｌref＋Δｚ)に応じてサブ画素領域４の幅Ｐが可変とされる。距離Ｌrefは、視域基準面までの基準距離である。比較例１では、幅Ｐは、距離Ｌrefにおいて、画素ピッチ（画素幅にも相当する。）ｐｐの整数倍に定められたとしても、実施の形態では、幅Ｐは、画素ピッチ（画素幅にも相当する。）ｐｐの整数倍に限られず、非整数倍で定められる。

ここで、画素ピッチ（画素幅にも相当する。）がｐｐ（規格化でｐｐ＝１）であるとすると、
ｐｐ：ｇ＝ＩＰＤ／ｘ：Ｌ （１≦ｘ） ・・・（２）
Ｐ＝ｎ・ｐｐ （ｎは整数）
Ｐ＝ｎ （ｎは整数、規格化でｐｐ＝１） ・・・（３）
従って、（１）及び（３）式より
Ｐｅ＝Ｐ×Ｌ／（Ｌ＋ｇ）＝ｎ×Ｌ／（Ｌ＋ｇ） ・・・（４）
となる。すなわち、比較例１に係る多眼方式では、サブ画素領域の幅Ｐは、画素幅ｐｐ（規格化ｐｐ＝１）のｎ倍（ｎは整数）とし、光学的開口部のピッチＰｅを規格化した画素幅を有するサブ画素のｎ倍の幅（Ｐ＝ｎ）よりＬ／（Ｌ＋ｇ）倍だけ狭く設計している（Ｐｅ≠Ｐ）。この距離Ｌは、視域最適化距離に相当し、（２）〜（４）の設計を採用している方式が多眼方式と称せれている。

この設計では、距離Ｌで眼間距離に集光点が発生するために、開口部に割り当てられている画素数ｎが比較的少なくても（例えば、２（＝ｎ）でも）、両眼視差により立体視が可能となる。しかしながら、図３に示すように整数個のサブ画素のみからなるサブ画素領域４のみを表示パネル１に表示することを前提とする多眼方式においては、視域を広げた観察距離Ｌが固定であるという問題が生ずる。しかし、（１−１）式に従い、図９及び図１０を参照して詳細に説明するようにサブ画素領域４が非整数個のサブ画素領域で形成されてサブ画素幅Ｐが定められている本願の実施の形態では、この多眼方式における視域最適距離が固定される問題を解決することができる。

多眼方式に比較してより実際の物体からの光線に近い光線を再現する方式としてＩＩ方式がある。ＩＩ方式では、物体からの光を再生することに主眼を置いているために、図４及び図５に示すように観察距離Ｌの視域面で集光点を発生させることはしないが、視域を広げた観察距離Ｌは任意に制御することができる。図４及び図５に示される第２の比較例２に係るＩＩ方式では、各光学的開口部３に対応して各サブ画素領域４（一例として視差番号-２〜２を有するサブ画素で構成される。）が同様に定められ、このサブ画素領域４がサブ画素領域として表示パネル４上に区分して表示さる。光学的開口部３は、同様に一定(固定）のピッチＰｅで配置され、サブ画素の幅ｐｐで規格化（ｐｐ＝１）した光学的開口部のピッチＰｅは、特許文献１に記載されるように、例えば、
Ｐｅ＝ｎ・ｐｐ
Ｐｅ＝ｎ （ｐｐ＝１） ・・・（５）
に設定される。このＩＩ方式における設計方法の一例では、光学的開口部３のピッチＰｅは、基本的には、サブ画素の幅ｐｐの整数倍に設定される。この設定によってサブ画素領域の幅Ｐも、多眼方式と同様に、Ｐ＝ｎ＝５とすると、視域は狭いものの、図５に符号Ｖ１ｄで示されるように観察位置に応じて三次元映像が観察される。

一方、上述した多眼方式における説明と同様に、図６及び図７に示されるように、通常のサブ画素領域４及び特異サブ画素領域４Ｐを構成する画素の数をｎ及び（ｎ＋１）の２値に設定し、（ｎ＋１）画素からなるサブ画素領域４の発生頻度ｍ（０≦ｍ＜１）を調節することで、有限の距離Ｌについて（１）式を満たすことができる。

この第３の比較例３では、上述したと同様に、ｎ画素で構成される通常のサブ画素領域４の繰り返し領域に（ｎ＋１）画素が挿入されて一対の互いに隣接する特異サブ画素領域４Ｐが表示パネル１上にある周期或いはある定まった配置で配置されている。

すなわち（１）及び（５）式より、
Ｐ＝（Ｌ＋ｇ）／Ｌ×Ｐｅ
＝（Ｌ＋ｇ）／Ｌ×ｎ
＝ｎ×（１−ｍ）＋（ｎ＋１）×ｍ
ここで、両辺をｎで割ると、
（Ｌ＋ｇ）／Ｌ＝（ｎ＋ｍ）／ｎ ・・・（６）
を満たすようにｍを設定すればよいこととなる。

（４）及び（５）式より、サブ画素領域の幅Ｐを
Ｐ≠ｎ ・・・（７）
に設計すると、（１）式或いは（１−１）式を満たすことで、図７に示すように視域が図５に比べて拡大される。この拡大された視域内の観察位置で符号Ｖ１ｄ、Ｖ１e及びＶ１ｆで示されるように異なる３次元映像を見ることができる。

このように、観察距離Ｌで集光点を設けない方式（一例として集光点が無限遠に設定される。）は、この明細書において、ＩＩ方式と称する。多眼方式との比較から明らかなように、多眼方式では、光学的開口部３を通る光線から構成される光線群が視域基準面に集光されるのに対して、ＩＩ方式では、光学的開口部３を通る光線から構成される光線群が視域基準面で集光しない（（５）式に基づいて集光点を無限遠に設定した場合は、図４のように平行に射出される。）
ここで、第２の比較例２として記載するように、サブ画素領域を構成する画素数をｎのみにすると、全てのレンズから出る光線が重畳する距離は、観察距離Ｌとは異なり無限遠になることから、観察距離Ｌにおける視域は狭くなる。よって、比較例３として記載するように、ｎと（ｎ＋１）の２値に設定、即ち、（６）式を充足するように設定してそのサブ画素領域の平均値Ｐが（１）式を満たすようにすることで、有限の観察距離Ｌで視域（３Ｄ画像が見える範囲）を最大にすることができる。ここで、視域角度２θ、観察距離Ｌでの視域の幅ＶＷＬは以下で定義される。

２θ＝２×ａｔａｎ（Ｐ×ｐｐ／２／ｇ）
＝２×ａｔａｎ（ＶＷＬ／２／Ｌ） ・・・（８）
ところが視域最適化を適用した状態では、視域幅が（８）式で与えられる値より若干狭くなることが明らかになっている。この比較例３における問題は、後に説明する実施の形態では、この視域の狭さを解消することができる。ＩＩ方式において、この視域最適化によって視域が狭くなる現象について次に説明する。

始めに、多眼方式の視域について説明する。図３には、多眼方式の装置におけるＰ＝ｎ＝５の場合について、一部のレンズとサブ画素を拡大して光線軌跡を示している。領域幅Ｐに比べて開口ピッチＰｅを若干小さい値にすることにより、観察距離Ｌで画素から出た光線が集光される。この光線が集光する様子は、サブ画素領域４の右端の画素（視差画像番号２）について示している。ここで、同一の視差画像番号、例えば、視差画像番号２が振られたサブ画素は、単一の視点画像（ある視点から撮影した画像）に由来することを意味している。視点画像が平行投影画像の場合は、同一の視差画像番号が振られていることは、同一の方向から撮影された画像であることを意味する。視点画像が透視投影画像の場合は、同一の視差画像番号が振られていることは、同一の位置から撮影された画像であることを意味する。いずれにしろ、同一の視差画像番号が振られたサブ画素と光学的開口部３の主点とを結んだ方向の交点が視点画像の取得位置に基本的に相当している。しかしながら、交点は、様々な画像処理を施す場合には、意図的に取得位置からずらされる場合もあることに注意されたい。図示はされていないが、他の視差画像番号が振られた光線も同様にそれぞれ観察距離Ｌで、（２）式で定まる間隔で集光点を形成している。

一方、図４には、（５）式を満たしたＩＩ方式の装置において、Ｐ＝ｎ＝５の場合について、一部のレンズとサブ画素を拡大した光線軌跡を示している。サブ画素領域の右端の画素（視差画像番号２）からの光線は、観察距離Ｌでも間隔Ｐｅを維持したまま基準面に入射されている。この光線軌跡は、視点画像を平行光線で取得する必要があることを意味している。図８に示されるように、他の視差画像番号が振られた光線もそれぞれ観察距離Ｌで、間隔Ｐｅで視域基準面に入射される。すなわち、レンズからの光線が観察距離Ｌで入射する範囲は、互いに間隔Ｐｅだけずれて基準面に入射され、この結果、図５に示すように視域ＶＡが非常に狭くなってしまう。図４と同様の構成のまま、視域最適化を施し、図６のように（ｎ＋１）画素からなる特異サブ画素領域が挿入した光線軌跡が図７に示されている。（ｎ＋１）画素からなる特異サブ画素領域４の両側において、サブ画素領域から射出される光線の方向をずらすことができる。図７には、（ｎ＋１）画素からなる特異サブ画素領域４の左側のサブ画素領域４からの光線に比較して右側のサブ画素領域４からの光線（破線で示されている。）がより左向きに射出している様子が示されている。結果として、図７に示されるように、視域を広げることができる。

基本のサブ画素領域４がｎ画素（例えば、視差番号-２〜２までの５画素）で構成されていると、サブ画素領域４からの光線が視域基準面に入射される入射範囲は、光学的開口部３の間隔Ｐｅだけ次々にシフトされることとなる。ここで、視域基準面上における入射位置範囲の設計値（ＶＷＬ）からのずれの絶対値（｜ＶＷＬｓｈｉｆｔ｜）が、
｜ＶＷＬｓｈｉｆｔ｜＞｜Ｐ×ｐｐ×（Ｌ／ｇ）×１／２｜
となった場合に、（ｎ＋１）画素（ここでは６画素）からなるサブ画素領域が生じると、観察距離Ｌで１画素に相当する範囲（ｐｐ×Ｌ／ｇ）だけ、光学的開口部３の間隔Ｐｅによる入射範囲のシフトを打ち消す方向にシフトされる。このシフトを繰り返すことにより視域を広げることができる半面、１視差分が光線の入射範囲のシフトで消費され、残りの（ｎ−１）視差分が視域として利用されることとなる。すなわち、（８）式で定義される視域幅ＶＷＬのうち、実効的に視域として利用されるのは、ＶＷＬ×（ｎ−１）／ｎとなる。

発明者は、以上の視域が狭くなるメカニズムを明らかにしたうえで、次の対策を加えた実施の形態が視域狭小を防止するに有効であることを確認している。即ち、全レンズからの光線の視域基準面への入射範囲をサブ画素単位で制御するのではなく、サブ画素に表示する画像情報で制御することに着目し、結果として、より高い精度で視域を制御することができる。より詳細には、既に説明したようにサブ画素を画素セグメントに分離し、当該セグメントで構成される画素には、混合した明度（画像情報）を与えている。この着想を適用した実施の形態と既存の方法との差異を明確にするべく、図８〜図１０には、図１と（１）式から定まるサブ画素領域４の幅Ｐと、サブ画素ピッチｐｐとの関係が模式的に示されている。

これまで説明したように、観察距離Ｌrefを固定し、仮に多眼方式で設計したとしても、観察者が観察距離Ｌrefを前後に外れた際にその観察距離Ｌで視域を最大にしようとするともはや（３）式を満たすことはできない。よって、以後は多眼方式、ＩＩ方式問わず、（３）式を満たさない観察位置において視域を最大にするための処理について述べる。

図８は、サブ画素領域４の幅Ｐがサブ画素ピッチｐｐの整数倍で構成される典型的な画像表示装置における光線軌跡を示している。サブ画素領域４の境界は、サブ画素の境界に一致する。サブ画素領域４からの光線は、対向する光学的開口部３に殆どが向けられ、この光学的開口部３を介して観察者に向けられている。全てのサブ画素領域４は、光学的開口部３の夫々に対応関係にあり、図８では光学的開口部のピッチＰｅがサブ画素ピッチｐｐのｎ倍より僅かに狭く設定されていることから、有限の距離で光線が集光していると思われるが、これが観察位置Ｌに一致しているとは限らない。

図９及び図１０は、図８に示す構造から定まる集光する距離、すなわち、Ｐ＝ｎで決まる視域が最大になる距離より短い観察距離Ｌで視域最適化を適用した実施の形態を示している（ＩＩ方式の設計の一例では、集光点が無限遠に設定されるので、有限の距離は全てこれに該当する。有限の距離に集光点が設定される多眼方式では、その距離より手前の距離が該当する）。説明の簡略化のために、この実施の形態では、サブ画素領域４の幅ＰがＰ＝５．２５(説明の便宜上無単位とする。）であるとした場合の領域幅とこれによる光学的開口部ごとの理想的な視域を破線で示した。Ｐ＝５に設定した場合より、サブ画素領域４の幅Ｐは、開口ピッチＰｅよりさらに大きくなり（Ｐ＞Ｐeとなる。）、より近い距離で視域が最大にされる。このとき、各サブ画素領域４は、図８に示すように整数個のサブ画素で構成するのではなく、視域最適化処理によって、表示パネル１の領域は、図９に通常サブ画素領域４に実質的に特異サブ画素領域４Ｐが周期的に挿入されることで、実線で示すような特性を実現し、破線で示した特性に近づける。一方、本願では、図１０に示すようにサブ画素幅Ｐの非整数倍のサブ画素領域４に破線２０で示す区分を、５つのサブ画素に加えて１つのサブ画素の一部（セグメント）、或いは、４つのサブ画素に加えて１つのサブ画素の一部（セグメント）及び残る部分（残存するセグメント）で構成することにより、等ピッチＰでの配置、すなわち、破線で示した特性を実現する。よって、特異サブ画素領域４Ｐが周期的に挿入されたときより高精度に、近い距離で視域を広くすることができる。サブ画素領域４の境界に位置するサブ画素Ｘａについては、物理的にはこれ以上分割できないが、分割できたと仮定して（セグメント）、そのセグメントが存在した場合に表示されるべき画素情報をセグメントの割合で混合された画素情報が与えられて表示される。

より具体的には、図９において、符号Ｘａ２で特定されるサブ画素に着目すると、理想的には、サブ画素の半分の画素セグメント（０．５の割合）は、符号２４で示すサブ画素領域４に含まれ。ここには視差番号-２が割り当てられる。一方、残る半分の画素セグメント（残る０．５の割合）は、符号２３で示す隣接するサブ画素領域４に含まれ、ここには、視差画像番号３が割り当てられる。ところが、視域最適化処理においては、Ｓｂ＞Ｓｃの場合は、サブ画素領域２３に、Ｓｂ＜Ｓｃの場合は、サブ画素領域２４に含むとように、いずれかのサブ画素領域に含まれるように判定する（図９とは異なるが、Ｓｂ＞ＳとＳｂ＜Ｓｃで場合分けしても良い）。 図９においては、左端に位置するサブ画素領域４の左端がサブ画素領域の幅Ｐの始点に定められ、サブ画素領域４の幅ＰがＰ＝５．２５に定められている。この図９に示す例を参照してより具体的に説明する。サブ画素領域の境界に位置するサブ画素のうち、図面中最も左の第１の画素Ｘａ１は、Ｓｂ：Ｓｃ＝０．２５：０．７５で区分されていることから、この第１のサブ画素Ｘａ１は、右のサブ画素領域４(right)に属する。その次の第２の画素Ｘａ２は、上述したようにＳｂ：Ｓｃ＝０．５：０．５で区分されていることから、この第２の画素Ｘａ２は、右のサブ画素領域４(right)に属する。更に、その次の第３の画素Ｘａは、Ｓｂ：Ｓｃ＝０．７５：０．２５に区分され、距離Ｓｂ及び距離Ｓｃの大小関係が逆転するので、この第３の画素Ｘａ３は、左のサブ画素領域４(left)に属する。このようにサブ画素領域４が選定される結果、光線の入射範囲は、距離Ｌに定められた視域基準面で略一致される。

実施の形態に係る図１０は、上述した実施の形態がサブ画素の境界Ｐの位置に応じてどちらのサブ画素領域に属するかを２値化判定していたのに対し、サブ画素の境界Ｐの位置に応じた割合で、両方のサブ画素領域に属する視差情報を混ぜて表示する手法を一般化して説明する為の模式図を示している。図８及び図９と同様の構造において、この実施の形態においては、構造から定まる視域が最大になる距離より短い距離Ｌに実施の形態に係る手法を適用している。図１０を参照する説明を簡略化するために、このサブ画素領域ＰがＰ＝５．２５に設定されるものとする。

図１０において、サブ画素領域４の境界に位置するサブ画素Ｘａについては、サブ画素領域４の境界と該当するサブ画素Ｘａとの相対関係によって、二つのサブ画素領域４のそれぞれに所属した場合におけるサブ画素Ｘａにおける画像を図９で説明したように混ぜる割合が定められる。すなわち、サブ画素Ｘａが二つのサブ画素領域４のそれぞれに所属しているとし、その混ぜる割合を、サブ画素をさらに分割したサブ画素Ｘａのセグメントの幅もしくは面積として定められる。図１０に示す配分例においては、左端に位置するサブ画素領域４の左端がサブ画素領域の幅Ｐの始点に定められ、サブ画素領域４の幅ＰがＰ＝５．２５に定められている。図１０においては、光学的開口３（ｈ）〜３（ｍ）が示され、この光学的開口３（ｈ）〜３（ｍ）に対応するサブ画素領域４がある。また、サブ画素領域４の境界には、サブ画素Ｘａ１からＸａ６がある。そして、サブ画素Ｘａ１からＸａ６には、下記に説明されるように括弧内に視差情報(ここで、数字は、視差番号を示し、添え字は、対応する光学的開口部を示している。）が混ぜられる旨が示されている。一例として、サブ画素Ｘａ１（３ｈ＋（−２ｉ））では、視差番号３の視差情報が光学開口３（ｈ）を経由することを前提とするとともに視差番号（−２）の視差情報が光学開口３（ｉ）を経由することを前提とすることを意味している。同様に、サブ画素Ｘａ５（４ｌ＋（−１ｍ））は、視差番号４の視差情報が光学開口３（ｌ）を経由することを前提とするとともに視差番号（−１）の視差情報が光学開口３（ｍ）を経由することを前提としていることを意味している。

この図１０に示す実施の形態では、サブ画素領域の境界に位置するサブ画素Ｘａのうち、図面中最も左の第１の画素Ｘａ１（３ｈ＋（−２ｉ））は、Ｓｂ：Ｓｃ＝０．２５：０．７５で区分されていることから、この第１のサブ画素Ｘａ１が左のサブ画素領域４(left)に所属しているとする場合に、サブ画素領域４(left)内において第１のサブ画素Ｘａ１に与えられるべき視差情報３（開口３ｈを経由することを前提とした情報）と、右のサブ画素領域４(right)に所属しているとした場合にサブ画素領域４(right)内において第１のサブ画素Ｘａ１に与えられるべき視差情報−２（開口３ｉを経由することを前提とした情報）の割合が０．２５：０．７５、またはこれに視感度等を考慮した割合に設定され、この割合で混合される。その次の第２の画素Ｘａ２（３ｉ＋（−２ｊ））は、Ｓｂ：Ｓｃ＝０．５：０．５で区分されていることから、同様に、この第２のサブ画素Ｘａ２が左のサブ画素領域４(left)に所属しているとする場合に、サブ画素領域４(left)内において第２のサブ画素Ｘａ２に与えられるべき視差情報３（開口ｉを経由することを前提とした情報）と、右のサブ画素領域４(right)に所属しているとした場合にサブ画素領域４(right)内において第２のサブ画素Ｘａ２に与えられるべき視差情報−２（開口ｊを経由することを前提とした情報）の割合が０．５：０．５、またはこれに視感度等を考慮した割合に設定され、この割合で混合される。このような設定によって、光線の入射範囲は距離Ｌで一致するとともに、視域最適化適用時に視域幅が（ｎ−１）／ｎ倍に狭くなる現象も回避することができる。

図９から明らかなように、視域最適化時に（ｎ＋１）画素からなるサブ画素領域４に相当する位置に近いほど、サブ画素領域４の境界と実際の画素の境界が乖離することから（サブ画素領域４の境界がサブ画素の中央にくる）、視域を狭くする影響が大きいこととなる。この事実を考慮すると、視域最適化を適用した場合に（ｎ＋１）画素からなるサブ画素領域４が発生する位置からごく近傍のサブ画素Ｘａについてのみ、サブ画素領域４の境界と該当するサブ画素Ｘａの相対関係を反映して、二つのサブ画素領域のそれぞれに所属した場合の画像を混ぜるだけでも、視域を広げる効果を得ることができる。

図８〜図１０で説明したように、この実施の形態に係るＩＩ方式（（７）式の関係を有する方式）のみならず、多眼方式（（３）式の関係を有する方式）にあっても適用することができる。すなわち、多眼方式にあっては、構造から決まる設定距離が視距離に一致しておりＩＩ式では異なっているが、これらの構造から決まる設定距離からはずれた観察距離Ｌにおいて、実施の形態に係る手法によって視域を広げることができる。また、（３）式で決まる関係において観察距離Ｌにいる観察者が、左右に移動し、これに応じて視域を連続的に（サブ画素単位より細かく）シフトさせたい場合には、本願の手法が多眼方式において有用である。図８でｎ＝５だった場合と比較する為に、ｎ＝５のまま、サブ画素領域の幅Ｐを０．５サブ画素幅だけシフトさせた状態が図１１に示されている。図１１には、図１０に示すと同様の符号を付していることから、図１１に示す実施の形態に関しては、その説明を省略する。

図１〜図１１においける実施の形態の説明では、第1の方向（水平方向、またはディスプレイ長辺方向）の面内(水平面内）についてのみ着目してサブ画素領域での画像表示を説明している。しかし、実際の光学的開口部３は、図１に示すように、第1の方向と略直交する第２の方向(垂直方向、またはディスプレイ短辺方向）に延伸されている。また、光学的開口部３の延伸方向がサブ画素の形成方向とある角度をなしている場合がある。このように光学的開口部３が延伸されていることを考慮した実施の形態について詳しく説明する。

図１に示された装置では、光学的開口部３が第２の方向(垂直方向）に延伸されている。サブ画素の形成方向も、一般的なフラットパネルディスプレイでは、第２の方向に延伸され、サブ画素領域４も第２の方向に延伸される。第２の方向の延伸されていることを考慮する場合には、既に述べた第１の方向に関する概念を第２の方向に適用してサブ画素領域４に画素情報を表示すれば良いこととなる。

図１２Ａ〜１２Ｃには、垂直に延伸した光学的開口部３を有する光線制御子２を備える表示装置において、サブ画素領域３が概略的に示されている。図１２Ａ及び１２Ｂに示すように、観察者３０が表示装置から基準距離Ｌ０だけ離れた面内の基準位置に位置されている。ここで、図１２Ａには、水平断面内(第１の方向に沿った断面内）の光線軌跡を模示的に示し、図１２Ｂは、垂直断面内(第２の方向に沿った断面内）の光線軌跡を模示的に示している。また、図１２Ｃには、装置前面の光線制御素子２が取り除かれた状態におけるサブ画素領域３の形状が透視的に示されている。一つの光線制御素子３に該当するサブ画素領域３は、第２の方向に延伸される長方形状に形成される。第２の方向に延伸するサブ画素領域３に関しては、視域を最大にする距離Ｌ０で（３）式の関係を満たし、かつ、そのサブ画素領域３が画素境界に一致している場合のみ、上述した実施の形態の適用は不要である。視域を最大にしたい位置は、構造より既定される集光点の形成範囲より左右にずらしたい場合を含め、その他の場合は上述した実施の形態における処理の適用により視域を最大にすることができる。

図１３Ａ〜図１３Ｃは、より近い観察位置で視域を最大にしたい場合、すなわち、観察者３０が装置に近づいて観察距離Ｌ０より観察距離Ｌ１が短くなった場合における光線軌跡を示している。この観察者３０の位置は、図１に示す位置センサ５によって検出され、（１）式に従って図１３Ｃに示すようにサブ画素領域３の幅Ｐが大きく設定される。従って、サブ画素領域４の境界が実際のサブ画素の境界に一致しなくなり、視域を最大にしたい場合は、上述したようにサブ画素領域４の境界画素がセグメントに分割されてサブ画素領域４の幅Ｐが拡大される。

図１４Ａから図１４Ｃには、例えば、図１２Ａに位置している観察者が図１４Ａの水平断面図において右に移動した場合を示している。同様に、観察者３０の右への移動は、図１に示す位置センサ５によって検出される。この観察者の基準位置からのシフトΔｘに対して、サブ画素領域４のシフトΔｘｐは、
Δｘｐ＝ｇ／Ｌ×Δｘ ・・・（９）
で与えられ、図１４Ｃに示すようにサブ画素領域４のシフト方向は、観察者の移動方向と逆方向となる。もし、多眼方式にて、P＝ｎに設定されていたとしても、この観察者３０のシフトによって、図１１で既に説明したように、サブ画素領域４の境界が実際のサブ画素の境界に一致しなくなり、サブ画素領域４の境界画素がセグメントに分割されて上述した（１）式でサブ画素領域４の幅Ｐが設定される。

図１５は、更に他の実施の形態に係る３次元画像表示装置を示している。この図１５に示す装置では、光線制御素子２の光学的開口部３が第１の方向（水平方向）に対して角度φを成すように配列されている。図１６Ａ及び図１６Ｂには、図１５に示す装置において、第１の方向（水平方向）に対して角度φを成して延伸した光学的開口部２を有する光線制御子２からの光線軌跡が示されている。この図１６Ａ及び１６Ｂに示される装置では、図１６Ｃに示されるように第１の方向に対してある角度を成すようにサブ画素領域４が延伸されている。ここで、図１６Ａは、水平断面図内における表示装置からの光線軌跡を示し、図１６Ｂは、垂直断面図内における表示装置からの光線軌跡を示し、図１６Ｃは、表示装置前面の光線制御素子２を取り除いた状態でのサブ画素領域３の形状を透視的に示している。一つの光線制御素子４に対応するサブ画素領域３は、平行四辺形をしていることから、サブ画素領域４が画素境界に一致することは決してない。よって、サブ画素領域４の境界画素がセグメントに分割されて、上述した（１）式でサブ画素領域４の幅Ｐにより導出された面積Ｓを用いて、視域の最大化が実現される。これについては、図２２を用いて後段でより詳しく述べる。

図１７Ａ〜１７Ｃには、より近い観察位置で視域を最大にしたい場合、すなわち、観察者３０が装置に近づいて観察距離Ｌ０より観察距離Ｌ１が短くなった場合における光線軌跡を示している。この観察者３０の位置は、図１に示す位置センサ５によって検出され、（１）式に従ってサブ画素領域３の幅Ｐが大きくなり、図１７Ｃに示すようにサブ画素領域３の傾きも変化されることによって、視域を最大にすることができる。

図１８Ａ及び１８Ｂは、図１７Ｃに示すサブ画素領域４の変化をより詳しく説明するための模式図を示している。図１８Ａは、表示の垂直面内の光線軌跡を示し、図１８Ｂは、サブ画素領域４を拡大して模示的に示している。図１８Ａ及び１８Ｂおける、白丸は、観察者３０が無限遠に位置している際における表示パネル１において観察されるあるサブ画素領域の位置を示しその下の双方向矢印は、白丸を決めた際の観察位置を中心として視域を最大にするためのサブ画素領域の範囲を示す。黒丸は、図１７Ａ及び図１７Ｂに示すように観察者３０が実線で示す位置に移動した際に同一の光学的開口部３を経由して、観察される表示パネル１における位置を、その下の双方向矢印は、その観察位置を中心として視域を最大にするためのサブ画素領域の範囲を示している。ここで、レンズの傾きをφ、視距離をLとすると、サブ画素領域４の傾きαは次のように求まる。

透視度を考慮しない場合（観察者３０が無限遠に位置している場合）は、傾きαは、φに一致するが、有限の観察距離から観察する場合は、透視度を考慮すると、経由した光学的開口部の真後ろではなく、上または下にずれた位置を観察することとなる。有限の距離Ｌから観察した場合に、仮定した光学的開口部から透視度を考慮して視域を最大にするために設定するべきサブ画素領域３の範囲は、観察位置のｙ方向のずれｓを考慮して黒丸の下に示した矢印の範囲になる。このとき、
（ｙｄ＋ｓ）：ｙｄ＝（Ｌ＋ｇ）：Ｌ＝ｔａｎα：ｔａｎφ・・・（１０）
の関係が成立する。この関係に従って、サブ画素領域を変形させることで、短視距離でも垂直方向（第２の方向）で視域が狭くなる現象を抑えることができる。距離Ｌが大きい場合に、ｓ≒０となり、α≒φとなる。距離Ｌが小さい場合に、s＞０となり、α＜φとなる（より垂直になる）。ここでは、サブ画素領域の傾きの初期値を無限遠から見た場合である角φとして計算しているが、有限の観察距離Ｌから、傾きφのサブ画素領域で視域が最大になるようにレンズの傾きを微調整したうえで、そこから視距離が前後に変化した場合のαを（１０）式で与えても良い。

図１８Ｂに示したように、該当するサブ画素領域は、第１の方向(水平方向）だけではなく、第２の方向(垂直方向）に距離ｓだけシフトされることから、このシフトに応じて、視差画像を距離ｓだけシフトさせてもよいが、第２の方向にはもともと視差を与えていないのでシフトされても違和感は少ない。

図１９Ｃには、例えば観察者が図１９Ａに示す水平断面内において右に移動した場合のサブ画素領域４が矢印shift（ｘ）だけシフトされことを示している。ここで、図１９Ｂに示されるように観察者は、垂直方向には、シフトされないものとする。図１９Ｃに示されるサブ画素領域４のシフトshift（ｘ）は、（９）式で与えられる。

図２０Ａ〜２０Ｃには、観察者３０が第２の方向(垂直方向）を含む面内において、矢印で示すようにシフトした際の表示パネル１上におけるサブ画素領域４のシフトを示している。図２０Ａは、第１の方向を含む面内(水平面内）における光線軌跡を示し、図２０Ｂは、第２の方向(垂直方向）を含む面内（垂直面内）における光線軌跡を示している。図２０Ｂに示すように観察者３０が第２の方向にシフトされると、視域を最大化したい位置が、図２０Ｃに示すように第１の方向(水平方向）にサブ画素領域４がシフトされる。

図２１Ａ及び２１Ｂは、図２０Ｃに示すサブ画素領域４の変化をより詳しく説明するための模式図を示している。図２１Ａは、表示の垂直面内の光線軌跡を示し、図２１Ｂは、サブ画素領域４を拡大して模示的に示している。図２１Ａ及び２１Ｂおける、白丸は、図２０Ｂ及び図２１Ａに示すように観察者３０が破線で示す基準位置に位置している際に表示パネル１において観察されるあるサブ画素領域の位置を示しその下の双方向矢印は、白丸を決めた際の観察位置を中心として視域を最大にするためのサブ画素領域の範囲を示す。黒丸は、図２０Ｂ及び図２１Ａに示すように観察者３０が実線で示す位置に移動した際に同一の光学的開口部３を経由して、観察される表示パネル１における位置を、その表示パネル１に沿って示した双方向の矢印は、その観察位置を中心として視域を最大にするためのサブ画素領域の範囲を示している。ここで、レンズの傾きをφ、視距離をLとすると、サブ画素領域のシフト量uは次のように求められる。

図２１Ｂ及び図２１Ａに示す基準座標位置からの観察では、シフト量ｕを０とする。ここで、基準座標位置からから距離Δｙだけ観察位置が第二の方向（垂直方向）にシフトされる場合、観察者３０が観察する白丸に相当する画像は、黒丸で示されるようにシフトされて経由した光学的開口部３の真後ろではなく、上または下（ここでは下）にずれた位置で画像を観察することとなる。ここで、白丸で示した位置（ｙ座標＝０）を観察する光学的開口部３に対応した、初期のサブ画素領域３の範囲を白丸の下に示した矢印３６で示す。有限の距離Ｌで観察位置がΔｙだけずれた位置から観察した場合には、先ほどの光学的開口部３から透視度を考慮して設定するべきサブ画素領域３の幅は、矢印３６で示す幅から黒丸の下に示した矢印の範囲３８になる。ｙ方向のずれをｔとしたときにシフト量ｕは、
ｔ：ｙｏ＝ｇ：Ｌ ・・・（１１）
ｕ＝ｔ／ｔａｎφ ・・・（１２）
で与えられる。この関係に従って、サブ画素領域４を第１の方向にシフトさせることで、観察位置が第2の方向にずれたときに視域が狭くなる現象を抑えることができる。

図２２には、サブ画素領域４における具体的なマッピングの一例が示されている。サブ画素は、通常の平面パネルと同様に行列に沿った水平及び垂直方向（第１及び第２の方向に）に配列され、第１の方向と第２の方向との辺の長さの比は１：３に定められている。光学的開口部の傾きαを、α＝ａｔａｎ（１／２）としたときに、図２２では、光学的開口部ｈと光学的開口部ｉとに応じて４視差が画素に割り振られている。光学的開口部３に対する相対位置から、視差番号は、非整数（視差番号０．０００００〜視差番号３．６６６７０）で示されているが、これはＰｅ＝６であるのに対し、視差が４であることから、視差番号が、４／６＝２／３ずつずれて割り当てられているためである。また、太線で囲んだ領域は、サブ画素領域の境界が画素をまたいでいるために本願の実施の形態を適用すべき領域で、図２２では、視域最適化処理によって、サブ画素及びサブ画素のセグメント領域が符号ｈ或いは符号ｉで指定される光学的開口部３のいずれかに属するかを一義的に決められている。図２２には、上記実施の形態の手法を適用した例を拡大して示され、２つのサブ画素４２、４４の境界は、サブ画素領域の境界に一致せず、サブ画素領域の境界は、サブ画素４２、４４上を破線で示すように横切っている。ここでは、符号ｈで示される光学的開口部３に属する視差番号の画像情報、符号ｉで示される光学的開口部３に属する視差番号の画像情報をこの境界で分けられた面積に応じて混ぜて表示している。数字に添えたアルファベットは、その視差番号がどちらの光学的開口部３に属しているかを示している。また、符号Ｓｏ、Ｓｐ、Ｓｑ、Ｓｒは、面積を示している。一例として、符号Ｓｏ及びＳｐで示されるセグメント領域で構成される画素は、視差番号ｈで示される光学的開口部３に属する視差番号の画像情報と視差番号ｉで示される光学的開口部３に属する視差番号の画像情報とが面積Ｓｏ、Ｓｐの割合で混合されて表示されことを示している。

ここでは単純に面積で示したが、視感度を考慮することが好ましい。さらには、より多い視差情報を必要とする（ここでは面積ｑに割り当てられた視差番号４．３３３３など）という点で画像処理負荷が高まるという課題がある場合は、隣接した視差番号３．６６７０が代用されても、一定の効果が得られる。

以上、一例について述べたが、図１に示したように第２の方向に延伸した光学的開口部を設けつつ、サブ画素が例えばデルタ配列のように、行毎に第１の方向の座標がずれるような場合も、この実施の形態を適用するのが有効である。すなわち、サブ画素領域３とサブ画素の物理的な境界が一致しない場合全てに有用である。

図１に示される表示パネルドライバ８は、図２３或いは図２４に示すように画像処理部を備えて構成される。図２３では、図２４に示される観察位置を取得する観察位置取得部５２を備えていない点が異なっていることから、図２４を参照してこの画像処理部を説明する。

観察者３０の位置は、図１に示す位置センサ５から信号が観察位置取得部５２で処理されてｘ、ｙ及びｚの座標信号に変換される。この観察者３０の座標信号は、観察位置の信号を保持する観察位置保持部５４に与えられる。図２３に示す監察位置保持部５４では、予め外部からリモコン等で複数の位置、例えば、リビングにおいて、ソファーの位置が標準位置として登録され、それ以外、例えば、ダイニングの椅子の位置から視聴等の異なる位置が登録され、これらの位置を座標信号の情報として選択することが可能としている。

また、画像処理部は、三次元表示装置の特性を定める各種のパラメータ、例えば、ギャップｇ、開口ピッチＰｅ、画素ピッチｐｐ及び光学開口の傾きΦ又はこれらに類するパラメータ情報を保持する三次元表示装置情報保持部５６が設けられている。観察位置保持部５４に保持された観察者の位置情報及び三次元表示装置情報保持部５６に保持された三次元画像表示装置の特性を定めるパラメータ情報から、光学的開口部３に割り当てられるサブ画素領域４の幅Ｐが式（１）、より具体的には、式（１−１）からサブ画素領域算出部５８において算出され、また、図１２Ａから図１４Ｃ並びに図１６Ａから図２２を参照して説明したサブ画素領域４の傾き及びシフト量等のパラメータが算出される。サブ画素領域情報算出部５８が算出したサブ画素領域に関するサブ画素領域４の幅Ｐ等のパラメータは、各サブ画素に表示する視差画像情報を生成する三次元画像情報生成部６２に与えられる。この三次元画像情報生成部６２には、視差画像を保持している視差画像保持部６０から供給される視差画像データが与えられ、この視差画像データは、パラメータで処理されて図２２に示すように実際にサブ画素として表示される画素情報に変換されて画素信号として表示部２に供給される。その結果、観察者３０の位置に応じて最適な映像が表示パネル２に表示されて三次元映像が三次元映像装置によって観察可能に表示される。

位置情報は、センサ５で検出されるリアルタイムに計測した位置情報であっても良く、複数人数が観察する場合は、複数人数が視域内に入っても、サイドローブと呼ばれる、サブ画素領域の画像情報が隣接した光学的開口部から観察されることによる擬似的な視域に入っても良い。いずれにしろ、検出した位置情報を反映して、複数人数にとって視域が確保される状態を実現することが好ましい。ここで、多人数視聴である旨は、監察位置保持部５４に与えられてサブ画素領域４の幅Ｐが決められ、また、三次元画像生成部６２において、サブ画素領域４の境界に位置する画素Ｘａには、隣接した光学的開口部３を経由したことを仮定した情報をサブ画素領域の境界と画素の中心との相対関係を反映した割合で混ぜられることが好ましい。

この発明は、上記実施形態そのままに限定されるものでなく、実施段階では、その要旨を逸脱しない範囲で構成要素を変形して具体化できる。特に、図を含めて一次元の方向についてのみ説明したが、二次元に展開しても良い。また、上記実施形態に開示されている複数の構成要素の適宜な組合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素からいくつかの構成要素を削除してもよい。更に、異なる実施形態に亘る構成要素を適宜組み合わせてもよい。

上述したように、光線制御素子と平面表示装置を組み合わせた、メガネ無しで三次元映像を観察可能な三次元映像表示装置において、表示画像を工夫することで、視点位置の制約をなくしながらも、最大限に視域を確保した三次元映像表示装置が提供される。

実施の形態によれば、
第１の方向と前記第１の方向に直交する第２の方向とに沿ってサブ画素がマトリクス状に配列された表示部と、
前記表示部に対向して設置されて前記表示部からの光線を制御する光線制御素子であって、前記光線制御素子が前記第１及び第２の方向にマトリクス状に設けられた複数の第１タイプの光学的開口部、または前記第２の方向に沿って略直線状に延出され、前記第１の方向に沿って配列されている複数の第２タイプの光学的開口部のいずれかで構成されている光線制御素子と、
を備え、前記サブ画素に前記光学的開口部を経由して観察される視差画像情報を表示することにより、観察位置において三次元画像を視認することができる三次元画像表示装置において、
観察位置に関する位置情報及び当該三次元表示装置の特性を定めるパラメータ情報から、前記光学的開口部の夫々に割り当てられるサブ画素領域の幅、傾き及びシフト量を算出し、
前記サブ画素領域に含まれる、互いに隣接する前記サブ画素領域の境界で、前記サブ画素を区分しているサブ画素セグメントを特定し、
前記互いに隣接するサブ画素領域に対応し、互いに隣接する光学的開口部を経由して観察される前記サブ画素セグメントを構成するサブ画素に与えられるサブ画素表示情報であって、前記互いに隣接するサブ画素領域に属する視差情報を混合させたサブ画素表示情報を生成する、
前記観察位置において三次元画像を視認させる三次元画像表示方法が提供される。

Claims (14)

1. 第１の方向と前記第１の方向に直交する第２の方向とに沿ってサブ画素がマトリクス状に配列された表示部と、
   前記表示部に対向して設置されて前記表示部からの光線を制御する光線制御素子であって、前記光線制御素子が前記第１及び第２の方向にマトリクス状に設けられた複数の第１タイプの光学的開口部、または前記第２の方向に沿って略直線状に延出され、前記第１の方向に沿って配列されている複数の第２タイプの光学的開口部のいずれかで構成されている光線制御素子と、
   を備え、前記サブ画素に前記光学的開口部を経由して観察される視差画像情報を表示することにより、観察位置において三次元画像を視認することができる三次元画像表示装置において、
   前記観察位置に応じて、前記光学的開口部に割り当てられるサブ画素領域を定めること、
   前記サブ画素領域に含まれる、互いに隣接する前記サブ画素領域の境界で前記サブ画素を区分したサブ画素セグメントを特定し、
   前記互いに隣接するサブ画素領域に対応し、互いに隣接する光学的開口部を経由して観察される前記サブ画素セグメントを構成するサブ画素には、前記互いに隣接するサブ画素領域に属する視差情報を混合させたサブ画素表示情報を生成する、
   画像表示方法。
2. 前記サブ画素領域は、前記第１の方向に沿う整数個のサブ画素及びサブ画素セグメントの組み合わせで構成されて、この第１の方向にはこのサブ画素領域の幅の非整数倍の幅を有する請求項１に記載の画像表示方法。
3. 前記サブ画素セグメントは、前記第１の方向又は前記第１及び第２の方向に沿って一定幅を有するようにある周期で繰りかえされる請求項２に記載の画像表示方法。
4. 前記サブ画素領域は、前記サブ画素の幅の整数倍の領域幅を有し、互いに隣接する前記サブ画素領域の境界は、前記サブ画素に定められている請求項１に記載の画像表示方法。
5. 前記光学的開口部は、前記第１の方向或いは前記第２の方向に対してある角度を成すように前記第２の方向に沿って略直線状に延出され、この角度を成す延出方向が前記サブ画素を斜めに横切っている請求項１に記載の画像表示方法。
6. 前記光学的開口部に割り当てられる前記サブ画素領域の幅を前記サブ画素幅で規格化した値Ｐは、前記観察位置からの光線制御素子までの距離Ｌ、前記開口部のピッチをサブ画素幅で規格化して表したＰｅ、前記表示部の面と前記光線制御子の面との間の距離ｇより、
   Ｌ：（Ｌ＋ｇ）＝Ｐｅ：Ｐ
   を満たすように定める請求項１に記載の画像表示方法。
7. 三次元画像が見える範囲の角度２θは、前記サブ画素ピッチをｐｐ、観察距離Ｌでの視域幅をＶＷとしたときに、
   ｔａｎθ＝（ｐｐ×Ｐ／２）／ｇ＝（ＶＷ／２／Ｌ）
   で与えられ、前記二つのサブ画素領域の境界に位置する前記サブ画素には、角度２θだけ離れた方向から観察されるように視差画像情報が混ぜて表示される請求項１に記載の画像表示方法。
8. 第１の方向と前記第１の方向に直交する第２の方向とに沿ってサブ画素がマトリクス状に配列された表示部と、
   前記表示部に対向して設置されて前記表示部からの光線を制御する光線制御素子であって、前記光線制御素子が前記第１及び第２の方向にマトリクス状に設けられた複数の第１タイプの光学的開口部、または前記第２の方向に沿って略直線状に延出され、前記第１の方向に沿って配列されている複数の第２タイプの光学的開口部のいずれかで構成されている光線制御素子と、
   観察位置に応じて、前記光学的開口部に割り当てられるサブ画素領域が定められ、サブ画素領域は、互いに隣接するサブ画素領域の境界でサブ画素を区分したサブ画素セグメントを含み、前記サブ画素セグメントは、前記互いに隣接するサブ画素領域に対応し、互いに隣接する光学的開口部を経由して観察され、前記サブ画素セグメントを構成するサブ画素には、前記互いに隣接するサブ画素領域に属する視差情報が混合されて表示させるようにサブ画素表示情報を生成する生成部と、
   を備え、前記サブ画素に前記光学的開口部を経由して観察される視差画像情報を表示することにより、前記観察位置において三次元画像を視認することができる三次元画像表示装置。
9. 前記サブ画素領域は、前記第１の方向に沿う整数個のサブ画素及びサブ画素セグメントの組み合わせで構成されて、この第１の方向にはこのサブ画素領域の幅の非整数倍の幅を有する請求項８に記載の三次元画像表示装置。
10. 前記サブ画素セグメントは、前記第１の方向又は前記第１及び第２の方向に沿って一定幅を有するようにある周期で繰りかえされる請求項９に記載の三次元画像表示装置。
11. 前記サブ画素領域は、前記サブ画素の幅の整数倍の領域幅を有し、互いに隣接する前記サブ画素領域の境界は、前記サブ画素に定められている請求項８に記載の三次元画像表示装置。
12. 前記光学的開口部は、前記第１の方向或いは前記第２の方向に対してある角度を成すように前記第２の方向に沿って略直線状に延出され、この角度を成す延出方向が前記サブ画素を斜めに横切っている請求項８に記載の三次元画像表示装置。
13. 前記光学的開口部に割り当てられる前記サブ画素領域の幅を前記サブ画素幅で規格化した値Ｐは、前記観察位置からの光線制御素子までの距離Ｌ、前記開口部のピッチをサブ画素幅で規格化して表したＰｅ、前記表示部の面と前記光線制御子の面との間の距離ｇより、
    Ｌ：（Ｌ＋ｇ）＝Ｐｅ：Ｐ
    を満たすように定める請求項８に記載の三次元画像表示装置。
14. 三次元画像が見える範囲の角度２θは、前記サブ画素ピッチをｐｐ、観察距離Ｌでの視域幅をＶＷとしたときに、
    ｔａｎθ＝（ｐｐ×Ｐ／２）／ｇ＝（ＶＷ／２／Ｌ）
    で与えられ、前記二つのサブ画素領域の境界に位置する前記サブ画素には、角度２θだけ離れた方向から観察されるように視差画像情報が混ぜて表示される請求項８に記載の三次元画像表示装置。

Images