以下、図面を参照して、本技術を適用した実施の形態について説明する。
〈第1の実施の形態〉
[表示装置の構成例]
図1は、本技術を適用した表示装置の一実施の形態の構成例を示す図である。
この表示装置11は、複数視点の視差画像を用いて被写体を立体表示させる表示装置である。表示装置11は、撮像部21、検出部22、割り当て制御部23、記録部24、生成部25、表示制御部26、および表示部27から構成される。
撮像部21は、表示装置11周辺のユーザの画像、例えば表示部27のほぼ正面から、表示部27に表示された画像を観察するユーザの画像(以下、周辺画像と称する)を撮像し、検出部22に供給する。
検出部22は、撮像部21から供給された周辺画像からユーザの眼を検出し、その検出結果を割り当て制御部23に供給する。また、検出部22は、視点位置算出部31を備えており、視点位置算出部31は、周辺画像に基づいて、表示部27に対するユーザの視点位置を算出し、割り当て制御部23に供給する。
割り当て制御部23は、検出部22からの検出結果やユーザの視点位置に基づいて、表示部27の表示面上の各領域に、複数の視差画像を割り当てる。割り当て制御部23は、判定部32、視認位置算出部33、および境界位置算出部34を備えている。
判定部32は、検出部22からの視点位置に基づいて、複数の視差画像による被写体の立体表示(3D表示)が可能か否かを判定し、割り当て制御部23は、その判定結果に応じて生成部25での画像生成を制御する。
視認位置算出部33は、検出部22からの視点位置に基づいて、ユーザにより視認されている表示部27の表示面上の画素内の位置を視認位置として算出する。境界位置算出部34は、視認位置に基づいて、表示部27の表示面上の各領域に複数の視差画像を割り当てる。
記録部24は、立体画像を構成する複数の視差画像を記録しており、必要に応じて視差画像を生成部25に供給する。生成部25は、割り当て制御部23の制御にしたがって、記録部24からの視差画像に基づいて、それらの視差画像を空間分割して合成した合成画像を生成し、表示制御部26に供給する。また、生成部25は、割り当て制御部23の制御にしたがって、記録部24からの視差画像のうちの何れかを、そのまま表示制御部26に供給する。
表示制御部26は、生成部25からの合成画像を表示部27に供給して表示させることで、視差画像上の被写体を立体表示させたり、生成部25からの視差画像を表示部27に供給して表示させたりする。表示部27は、裸眼方式により立体画像を表示可能な液晶表示パネルなどからなり、表示制御部26から供給された合成画像や視差画像を表示する。
[表示部の構成例]
また、図1の表示部27は、例えば図2に示すように構成される。
すなわち、表示部27は、バックライト61、光変調パネル62、およびバリア素子63から構成される。
バックライト61は、例えばLED(Light Emitting Diode)光源や導光板などからなり、画像を表示させるための光を射出し、光変調パネル62に入射させる。
光変調パネル62は、例えば液晶層やR,G,Bの各色のカラーフィルタなどからなり、バックライト61から入射した光を透過させることで、画像を表示させる。このとき、光変調パネル62は、光変調パネル62に設けられた画素ごとに、光の透過率を変化させることで、画像の各画素の階調表示を行なう。
より詳細には、光変調パネル62は、透明基板71、透明基板72、および液晶層73を備えており、液晶層73は、互いに対向するように配置された平板状の透明基板71と透明基板72の間に形成されている。液晶層73には、画像が表示される画素としての透過部が設けられており、画像の表示時において、透明基板71と透明基板72に設けられている電極に電圧が印加されると、バックライト61から透過部に入射した光の透過率が印加された電圧に応じて変化する。
また、バリア素子63は、偏光板やスイッチ液晶層などからなり、光変調パネル62から入射した光の一部を遮光し、残りの一部を透過させることで、各視差画像を光学的に分離させる。バリア素子63は、透明基板74、透明基板75、およびスイッチ液晶層76を備えており、スイッチ液晶層76は、互いに対向するように配置された平板状の透明基板74と透明基板75の間に形成されている。
透明基板74と透明基板75には、電極が形成されており、これらの電極の一部または全部に電圧が印加されると、スイッチ液晶層76内の液晶分子の配向方向が変化し、これにより、スイッチ液晶層76にはパララックスバリアが形成される。
図2の例では、光変調パネル62から入射した光を透過させる開口部81−1乃至開口部81−3と、光変調パネル62から入射した光を遮光する遮蔽部82−1乃至遮蔽部82−3とからなるパララックスバリアが、スイッチ液晶層76に形成されている。
なお、以下、開口部81−1乃至開口部81−3を特に区別する必要のない場合、単に開口部81とも称し、遮蔽部82−1乃至遮蔽部82−3を特に区別する必要のない場合、単に遮蔽部82とも称する。また、被写体を立体表示する合成画像が光変調パネル62に表示される場合には、バリア素子63にパララックスバリアが形成されるが、2D画像である視差画像が光変調パネル62に表示される場合には、バリア素子63にパララックスバリアは形成されない。
図2のように構成される表示部27では、ユーザはバリア素子63側から光変調パネル62に表示される画像を観察する。特に、合成画像の表示時には、バックライト61から射出され、光変調パネル62およびバリア素子63を透過した光が、ユーザの右眼ERまたは左眼ELに入射する。このとき、ユーザの右眼ERと左眼ELには、バリア素子63で分離された異なる光が入射するので、右眼ERと左眼ELで互いに視差を有する異なる視差画像が観察される。
なお、図2では、視差画像を光学的に分離する分離部の例としてバリア素子63について説明したが、分離部はパララックスバリアに限らず、レンチキュラレンズなどとされてもよい。また、分離部としてのパララックスバリアは、可変式のバリアに限らず、遮蔽板等に開口部が設けられた固定式のバリアとされてもよい。
さらに、バリア素子63は、光変調パネル62とバックライト61の間に配置されるようにしてもよい。
[適視距離からの立体画像の観察について]
ところで、表示装置11に4つの異なる視点の視差画像を合成して得られた合成画像を表示し、ユーザが表示部27から所定の距離だけ離れた位置から表示部27を観察する場合について考える。
例えば図3に示すように、ユーザの右眼ERと左眼ELの中間位置をユーザの視点位置とし、ユーザの視点位置がバリア素子63の表面から距離Z0(以下、適視距離Z0と称する)だけ離れた位置にあるとする。また、右眼ERと左眼ELとの距離(以下、眼間距離Eと称する)が65mmであるとする。なお、一般的な大人の眼間距離は約65mmである。
また、光変調パネル62の表示面上には、4つの視点の視差画像のそれぞれが表示される画素である、チャンネルCH0乃至チャンネルCH3の4つの各チャンネルの画素からなるブロック領域が、図中、横方向に並ぶように設けられている。
なお、図3では、光変調パネル62における1つの四角形は1つの画素を表しており、それらの画素の図中、下側には、各画素が属すチャンネルの番号が示されている。また、図中、横方向および縦方向をそれぞれx方向およびy方向とし、x方向およびy方向に垂直な方向をz方向とする。ここで、x方向はユーザの右眼ERと左眼ELが並ぶ方向、つまり光変調パネル62に表示される視差画像の視差方向であり、y方向は光変調パネル62の表示面と垂直な方向である。
図3では、ブロック領域内において、図中、右側から左側までチャンネルCH0の画素、チャンネルCH1の画素、チャンネルCH2の画素、およびチャンネルCH3の画素が順番に並んでいる。
また、ブロック領域において、例えばz方向には、同じチャンネルの画素が並んでいる。そして、光変調パネル62の表示面上には、このようなブロック領域がx方向に連続して並んでいる。以下、1つのブロック領域内において、同じチャンネルの画素からなる領域をチャンネル領域とも称することとする。
また、バリア素子63には、1つのブロック領域に対して、パララックスバリアを構成する1つの開口部81が設けられている。したがって、視点P0乃至視点P3の視差画像のそれぞれが、チャンネルCH0乃至チャンネルCH3の画素のそれぞれに表示されると、それらの各視点の視差画像は、バリア素子63により光学的に分離される。
すなわち、バリア素子63から適視距離Z0だけ離れたxz平面上において、チャンネルCH3の各画素から射出され、開口部81を通過した光は領域CR0に到達し、チャンネルCH2の各画素から射出され、開口部81を通過した光は領域CR1に到達する。同様に、チャンネルCH1の各画素から射出され、開口部81を通過した光は領域CR2に到達し、チャンネルCH0の各画素から射出され、開口部81を通過した光は領域CR3に到達する。
なお、図中、上側においてx方向に並ぶ数字0乃至数字3は、その数字が記された領域に到達する光が発せられた画素のチャンネル番号を示している。例えば、領域CR0の図中、上側に記された数字「3」は、領域CR0には、チャンネルCH3の画素からの光が到達することを表している。
ここで、領域CR0乃至領域CR3の各領域のx方向の幅は眼間距離E(=65mm)となる。したがって、バリア素子63から適視距離Z0だけ離れたxz平面上に位置するユーザの左右の眼には、1視点分だけずれた異なる視点の視差画像が観察されることになる。例えば、図3の例では、ユーザの右眼ERは領域CR2内に位置し、左眼ELは領域CR1内に位置するから、ユーザの右眼ERおよび左眼ELには、それぞれ視点P1の視差画像、および視点P2の視差画像が観察されることになる。その結果、ユーザにそれらの視差画像上の被写体が立体的に知覚される。
また、例えばこの状態からユーザの視点位置が図中、左方向に眼間距離Eだけ移動すると、ユーザの右眼ERおよび左眼ELには、それぞれ視点P0の視差画像、および視点P1の視差画像が観察されることになる。
[パララックスバリアの設計について]
このように、適視距離Z0だけ離れた位置から表示部27を観察するユーザに、各開口部81を介して同じチャンネルの画素が視認されるようにするには、開口部81間の距離や、開口部81から光変調パネル62までの距離などを適切に定める必要がある。
例えば、図3の例では、ユーザの左右の眼には、光変調パネル62上の互いに隣接する画素が開口部81を介して観察される。このような場合、適視距離Z0=900mmであるとすると、図4に示すように、開口部81から光変調パネル62までの距離D1と、開口部81間の距離D2が定められる。なお、図中、横方向および縦方向はx方向およびy方向を示している。
図4の左側において、開口部81の中心を通るy方向に平行な直線を直線A11とし、ユーザの片方の眼が点PE11にあるとする。ここで、点PE11は、直線A11からx方向に距離X1だけ離れており、かつ開口部81からy方向に適視距離Z0だけ離れた位置にある。また、バリア素子63の図中、下側にある各四角形は、光変調パネル62上の画素を表している。
例えば、図中、左側に示すようにユーザの眼の位置PE11から、開口部81を介して1つの画素G11が視認されるとする。各画素間の距離をD3とすると、この画素G11の中心は、直線A11から(D3)/2だけ離れた位置にある。
ここで、バリア素子63から光変調パネル62の各画素までの間がガラス材で満たされており、点PE11からこのガラス材へと進む光の相対屈折率がk1であるとすると、X1:Z0=(D3)/2:D1/k1であるので、D1=Z0×((D3)/2)×k1/X1となる。例えば、Z0=900mm,D3=0.05435mm,X1=32.5mm,k1=1.5であるとすると、これらの値からD1=900×((0.05435)/2)×1.5/32.5=1.1288mmとなる。
また、図中、右側に示すように、ユーザの眼が直線A11上の点PE12にあるとする。この場合、光変調パネル62は4視点用であるから、点PE12から図中、左側の開口部81を介して見える光変調パネル62の位置と、その開口部81の右側に隣接する開口部81を介して見える光変調パネル62の位置とは4画素分だけ離れているはずである。
したがって、Z0:D2=(Z0+(D1/k1)):4×D3が成立するので、D2=Z0×D3×4/(Z0+(D1/k1))により、開口部81間の距離D2が求まる。ここで、Z0=900mm,D3=0.05435mm,D1=1.1288mm,k1=1.5であるとすると、これらの値からD2=900×0.05435×4/(900+(1.1288/1.5))=0.2172184mmとなる。
[適視距離の半分の距離からの観察について]
ところで、例えば図5に示すように、ユーザの視点位置が、表示部27からy方向に上述した適視距離の半分の距離Z0/2だけ離れた位置にあるとする。
この場合、表示部27の光変調パネル62上の1点からの光には、ユーザの右眼ERの位置を通って領域CR2の左端に到達する光と、左眼ELの位置を通って領域CR1の右端に到達する光とがある。表示部27から適視距離Z0だけ離れたxz平面上において、これらの光の到達点間のx方向の距離は眼間距離Eの2倍の距離となる。つまり、2視点分だけずれが生じている。
そのため、例えばユーザの右眼ERから所定の開口部81を介してブロック領域のチャンネルCH1の画素が見えている状態では、ユーザの左眼ELからは、同じ開口部81を介してブロック領域のチャンネルCH3の画素が見えていることになる。
また、ユーザの視点位置が同じでも、例えば図6に示すように、ユーザが適視距離Z0の半分の距離から表示部27を観察すると、表示部27の各領域(ブロック領域)によって、ユーザの眼の位置を通る光が到達するxz平面上の領域が異なる。なお、図6においては、図3における場合と同様に、表示部27から適視距離Z0だけ離れたxz平面上の領域には、その領域に到達する光が発せられた画素のチャンネル番号が記されている。
例えば、図6の状態では、矢印Q11に示すように、光変調パネル62の図中、左端にある、いくつかのブロック領域からなる領域では、ユーザの右眼ERには開口部81を介してチャンネルCH2の画素が視認されることになる。つまりチャンネルCH2の画素から発せられた光が、開口部81を介してユーザの右眼ERに入射する。
また、光変調パネル62の図中、左端から2番目にある、いくつかのブロック領域からなる領域では、ユーザの右眼ERには開口部81を介してチャンネルCH1の画素が視認される。さらに、光変調パネル62の図中、左端から3番目、および右端にある、いくつかのブロック領域からなる領域では、ユーザの右眼ERには開口部81を介して、それぞれチャンネルCH0の画素、およびチャンネルCH3の画素が視認される。
なお、矢印Q11に示される四角形は、光変調パネル62上の各領域を表しており、それらの領域内の数字は、ユーザの右眼ERにより視認される画素のチャンネル番号を示している。また、各領域を表す四角形の図中、上側の曲線は、各領域の画素から発せられ、ユーザの右眼ERに到達する光の輝度分布を示している。例えば、光変調パネル62上のチャンネル番号「3」が記された領域の左端では、チャンネルCH3の画素からの光とチャンネルCH0の画素からの光とが、同じ輝度でユーザの右眼ERに入射する。
同様に、矢印Q12に示すように、光変調パネル62の図中、左端にある、いくつかのブロック領域からなる領域では、ユーザの左眼ELには開口部81を介してチャンネルCH0の画素が視認される。
また、光変調パネル62の図中、左端から2番目にある、いくつかのブロック領域からなる領域では、ユーザの左眼ELには開口部81を介してチャンネルCH3の画素が視認される。さらに、光変調パネル62の図中、左端から3番目、および右端にある、いくつかのブロック領域からなる領域では、ユーザの左眼ELには開口部81を介して、それぞれチャンネルCH2の画素、およびチャンネルCH1の画素が視認される。
なお、矢印Q12に示される四角形は、光変調パネル62上の各領域を表しており、それらの領域内の数字は、ユーザの左眼ELにより視認される画素のチャンネル番号を示している。また、各領域を表す四角形の図中、上側の曲線は、各領域の画素から発せられ、ユーザの左眼ELに到達する光の輝度分布を示している。
[表示装置による画像の表示について]
このように、適視距離Z0の約半分の距離から表示部27を観察すると、ユーザの右眼と左眼により視認されるブロック領域内の画素は、2画素分の距離だけ離れた位置にある画素となる。
そのため、右眼用と左眼用の視差画像を表示部27に表示させる場合に、各チャンネルの画素に適切に右眼用または左眼用の視差画像を表示させ、ユーザが適視距離Z0の約半分の距離から視差画像を観察すれば、クロストークの発生を抑制することができる。
例えば、図3に示した状態では、ユーザの右眼ERはチャンネルCH1の画素を観察しており、ユーザの左眼ELはチャンネルCH2の画素を観察している。この状態から、例えばユーザが図3中、右方向にわずかに移動したとする。そうすると、チャンネルCH1の画素とチャンネルCH2の画素は互いに隣接しているから、ユーザの右眼ERには、これまで見えていたチャンネルCH1の画素だけでなく、左眼ELで見えていたチャンネルCH2の画素も見えてしまい、クロストークが発生する。すなわち、左右の視差画像上の被写体が2重に見えてしまう。
これに対して、例えば図6に示した状態で、光変調パネル62の図中、中央からやや左側にあるブロック領域のチャンネルCH1に右眼用の視差画像を表示させ、同じブロック領域のチャンネルCH3に左眼用の視差画像を表示させたとする。
この場合、ユーザの右眼ERには右眼用の視差画像が観察され、ユーザの左眼ELには左眼用の視差画像が観察されることになる。この状態からユーザが図中、右方向にわずかに移動しても、チャンネルCH1とチャンネルCH3の画素は2画素分だけ離れているので、ユーザの右眼ERに左眼用の視差画像が観察されることはない。
さらに、ユーザの視点位置の移動に応じて、クロストークが発生する前に各チャンネルの画素における視差画像の表示の切り替えを行なえば、各領域における左右の視差画像の表示の切り替えをユーザに感じさせることなく、より自然な画像の提示が可能となる。
このように、ユーザの視点位置に応じて、各チャンネルの画素に適切に右眼用または左眼用の視差画像を表示させ、ユーザが通常の適視距離の約半分の距離から観察すれば、クロストークの発生を抑制し、より高品質な画像を提示することが可能である。以下、このような立体画像の表示方式を、半視距離表示方式と称することとする。
[半視距離表示方式における表示制御について]
次に、左眼用と右眼用の視差画像に基づいて、半視距離表示方式により立体画像を表示させる具体的な制御について説明する。
例えば、図7に示すように、ユーザが所定の位置にいる場合に、ユーザの右眼に光変調パネル62の図中、左端の領域B11内のチャンネルCH2の画素が視認されているとする。また、光変調パネル62の領域B12、領域B13、および領域B14では、それぞれユーザの右眼によりチャンネルCH1の画素、チャンネルCH0の画素、およびチャンネルCH3の画素が視認されているとする。
この場合、光変調パネル62の領域B11乃至領域B14では、ユーザの左眼には、それぞれチャンネルCH0の画素、チャンネルCH3の画素、チャンネルCH2の画素、およびチャンネルCH1の画素が視認される。
なお、これらの領域B11乃至領域B14は、複数のブロック領域からなる領域である。このような状態で、表示装置11は領域B11乃至領域B14について、それらの領域内のブロック領域のうち、ユーザにより視認される画素からの光の輝度が最も高くなるブロック領域の位置を特定し、それらの位置を境界位置LB11乃至境界位置LB14とする。
すなわち、境界位置LB11は、領域B11内のブロック領域のうち、視認される画素からの光の輝度が最も高いブロック領域の位置である。同様に、境界位置LB12乃至境界位置LB14のそれぞれは、領域B12乃至領域B14のそれぞれにあるブロック領域のうち、視認される画素からの光の輝度が最も高いブロック領域のそれぞれの位置である。
このようにして境界位置が特定されると、表示装置11は光変調パネル62上の境界位置LB11乃至境界位置LB14により分割される各領域に対して、各チャンネルへの左右の視差画像の割り当てを行なう。
具体的には、領域B11の左端から境界位置LB11までの間にある各ブロック領域では、チャンネルCH2とチャンネルCH3の画素に右眼用の視差画像が割り当てられ、チャンネルCH0とチャンネルCH1の画素に左眼用の視差画像が割り当てられる。
同様に、境界位置LB11から境界位置LB12までの間にある各ブロック領域では、チャンネルCH1とチャンネルCH2の画素に右眼用の視差画像が割り当てられ、チャンネルCH0とチャンネルCH3の画素に左眼用の視差画像が割り当てられる。また、境界位置LB12から境界位置LB13までの間にある各ブロック領域では、チャンネルCH0とチャンネルCH1の画素に右眼用の視差画像が割り当てられ、チャンネルCH2とチャンネルCH3の画素に左眼用の視差画像が割り当てられる。
さらに、境界位置LB13から境界位置LB14までの間にある各ブロック領域では、チャンネルCH0とチャンネルCH3の画素に右眼用の視差画像が割り当てられ、チャンネルCH1とチャンネルCH2の画素に左眼用の視差画像が割り当てられる。また、境界位置LB14から領域B14の右端までの間にある各ブロック領域では、チャンネルCH2とチャンネルCH3の画素に右眼用の視差画像が割り当てられ、チャンネルCH0とチャンネルCH1の画素に左眼用の視差画像が割り当てられる。
そして、このようなブロック領域における各チャンネルへの視差画像の割り当てにしたがって合成画像が生成され、生成された合成画像が光変調パネル62に表示される。
さらに、この状態からユーザの視点位置が移動すると、各ブロック領域内でユーザにより視認される画素のチャンネルが変化するので、視点位置の変化に追従して境界位置LB11乃至境界位置LB14の位置も移動する。そして、境界位置LB11乃至境界位置LB14の移動に応じて、ブロック領域内の各チャンネルの画素に対する視差画像の割り当てが変更される。
なお、以下、光変調パネル62において、連続して並ぶいくつかのブロック領域からなる領域であって、同じチャンネルの画素に同じ視差画像が割り当てられるブロック領域からなる領域を、連続ブロック領域とも称することとする。
例えば、図7の例では、境界位置LB11から境界位置LB12までの間にある各ブロック領域からなる領域や、境界位置LB12から境界位置LB13までの間にある各ブロック領域からなる領域が1つの連続ブロック領域とされる。つまり、図7では、境界位置LB11乃至境界位置LB14のそれぞれが、連続ブロック領域の境界となる。
連続ブロック領域の境界位置は、上述したように、ユーザにより視認される画素からの光の輝度が最も高くなるブロック領域の位置であるが、例えば図8に示すように境界位置では、最も輝度が高い画素と異なるチャンネルの画素は、相対的に最も輝度が低くなる。
なお、図8において、横軸はユーザのx方向の視点位置を示しており、縦軸はそれらの位置における、所定ブロック領域内の各チャンネルの画素からの光の透過率、つまり各チャンネルの画素からの光の輝度を示している。
図8は、特定のブロック領域に注目した場合に、ユーザの視点位置が各位置にあるときに、ユーザの眼に入射する各チャンネルの画素からの光の輝度を示している。図8では、二点鎖線、一点鎖線、点線、および実線のそれぞれは、チャンネルCH0乃至チャンネルCH3の画素からの光の輝度を示している。
この例では、ユーザの眼が位置LB21乃至位置LB24のそれぞれにある場合に、ユーザにより観察される所定の画素からの光の輝度が最大となっている。そのため、例えばユーザの右眼が位置LB22にある場合、注目しているブロック領域のチャンネルCH1の画素のほぼ中央がユーザの右眼に観察されるので、このブロック領域が連続ブロック領域の境界位置となる。
したがって、ユーザの右眼が位置LB22よりもわずかに図中、左側にある場合、注目しているブロック領域では、チャンネルCH0とチャンネルCH1の画素に右眼用の視差画像が表示されることになる。そして、この状態からユーザの右眼が位置LB22よりもわずかに図中、右側の位置に移動すると、注目しているブロック領域では、チャンネルCH1とチャンネルCH2の画素に右眼用の視差画像が表示されるようになる。
すなわち、ユーザの視点位置の移動にともなって、注目しているブロック領域では、右眼用の視差画像の表示が、チャンネルCH0とチャンネルCH1から、チャンネルCH1とチャンネルCH2へと切り替わることになる。つまり、ユーザの視点位置の移動によって、異なるチャンネルの画素からの光がユーザの右眼により知覚されるようになる。
しかし、位置LB22近傍では、チャンネルCH1の画素の輝度に対して、他のチャンネルCH0とチャンネルCH2の画素の輝度が相対的に最も低くなっている。したがって、位置LB22近傍では、ユーザの右眼により観察されるのは、殆どチャンネルCH1の画素からの光であり、他の画素の輝度が最も低い状態で、視差画像の割り当てがチャンネルCH0からチャンネルCH2に切り替わることになる。これにより、ユーザに違和感を与えることなく、高品質な画像を提示することが可能となる。
ところで、連続ブロック領域の境界位置は、ユーザにより視認される画素からの光の輝度が最も高くなるブロック領域の位置である。ここで、輝度が最も高くなるブロック領域とは、ユーザにより画素の略中央が視認されているブロック領域である。
表示部27の端部では、バリア素子63と光変調パネル62との間にあるガラスの見かけ上の厚みが薄くなるという現象が起こることが知られている。そのため、ユーザの視点位置に基づいて、連続ブロック領域の境界位置を求める場合には、光の入射角と屈折角の厳密式を用いて、ブロック領域ごとにどのチャンネルの画素のどの位置がユーザにより視認されているかを正確に求めることが望ましい。
例えば、図9に示すように、所定の光線H11が空気中を通って、厚さD21のガラス材に入射し、光変調パネル62の表面に到達したとする。また、光線H11のガラス材への入射位置を通り、ガラス材の表面に垂直な直線を直線A21とする。
このとき、空気中を伝播する光線H11のガラス材への入射角度T1に対して、光線H11のガラス材への入射後の光路と、直線A21とのなす角度T2は、光線H11が空気中からガラス材へと進むときの相対屈折率k11と入射角度T1とから求まる。すなわち、角度T2=asin(sin(T1/k11))である。
また、角度T2が求まると、ガラス材の見かけの厚みD22と角度T2とにより、直線A21から、光線H11の光変調パネル62の表面への入射位置までの距離x11が求まる。すなわち、距離x11=D22×tan(T2)である。
このようにして距離x11を求めることで、各ブロック領域について、ユーザにより視認される画素上の正確な位置(以下、画素の視認位置とも称する)を求めることができる。
具体的には、例えば図10に示すように、図中、横方向、つまり光変調パネル62の表示面と平行な方向をx方向とし、図中、縦方向、つまり光変調パネル62の表示面と垂直な方向をy方向として、xy座標系上の所定位置がユーザの眼の位置CPであるとする。
また、バリア素子63の中央にある開口部81を0番目の開口部81として、その開口部81から図中、左方向にn番目にある開口部81をn番目の開口部81とし、0番目の開口部81から図中、右方向にn番目にある開口部81を−n番目の開口部81とする。
ここで、n番目の開口部81(以下、番号nの開口部81とも称する)について、その開口部81からユーザによりブロック領域内のどのチャンネルの画素が視認されるかを求めることを考える。まず、位置CPの座標と、開口部81の中心位置の座標とから、位置CPからの光線のn番目の開口部81への入射角度T11が求まる。すなわち、入射角度T11は、y方向に平行な直線L21と、位置CPからの光線とのなす角度である。
入射角度T11が求まると、位置CPから開口部81に入射し、光変調パネル62へと進む光線、つまりその光線の光路を示す直線L22と、直線L21とのなす角度T12とが求まる。すなわち、図9を参照して説明したように、入射角度T11と、開口部81から光変調パネル62の画素までの間のガラス材の屈折率k11とから、角度T12=asin(sin(T11/k11))が求まる。
すると、直線L22を表す式(例えば、y=ax+b)が求まるので、光線の光路を表す直線L22が光変調パネル62の画素と交わる点の座標を求めれば、どのチャンネルの画素のどの位置がユーザにより視認されるかを求めることができる。図10では、位置CPからの光線は、画素G31に到達しており、この画素G31がユーザにより視認されることが分かる。
また、ユーザにより視認される画素内の位置、つまり画素におけるユーザの視認位置は、画素の中心位置が0とされて、−0.5から0.5までの間の値とされる。例えば、画素の図中、右端の位置が−0.5とされ、画素の図中、左端の位置が0.5とされる。
このようにして、ユーザの右眼と左眼について、ブロック領域(開口部81)ごとにユーザにより視認される画素(以下、視認画素とも称する)のチャンネルmと、その視認画素上の視認位置とを求めると、例えば図11の右側に示す結果が得られる。
なお、図11の右側において、横軸は開口部81の番号nを示しており、縦軸は視認画素のチャンネル番号または視認位置を示している。
図11では、折れ線C11は、ユーザの右眼から見える各ブロック領域の視認画素のチャンネル番号を示しており、折れ線C12は、ユーザの右眼から見える各ブロック領域の視認画素における視認位置を示している。
ここで0番目の開口部81から、n番目(但し、1≦n)の開口部81に向かう方向を+x方向とし、+x方向と反対方向を−x方向とする。この場合、例えば0番目の開口部81に対して+x方向側に隣接するいくつかの開口部81を観察するユーザの右眼には、それらの開口部81を介してチャンネルCH1の画素が視認されることが分かる。また、チャンネルCH1の画素が視認される連続して並ぶ開口部81のほぼ中央にある開口部81では、その開口部81を介して、チャンネルCH1の画素のほぼ中央が、ユーザの右眼で観察されていることが分かる。
このような折れ線C11から、矢印Q21に示すように、光変調パネル62の表示面上の各領域において、ユーザの右眼によりどのチャンネルの画素が観察されるかが分かる。なお、矢印Q21に示される横長の四角形は、ユーザから見える光変調パネル62の表示面全体を表しており、その四角形内の縦長の長方形内の数字は、その長方形の領域を観察するユーザの右眼により視認される画素のチャンネル番号を示している。
したがって、光変調パネル62の表示面の図中、右端の領域、つまり+x方向側の端の領域では、ユーザの右眼にはチャンネルCH2の画素が観察され、その領域に対して図中、左側に隣接する領域では、ユーザの右眼にはチャンネルCH1の画素が観察される。また、光変調パネル62の表示面の中央からやや−x方向側に位置する領域では、ユーザの右眼にはチャンネルCH0の画素が観察され、その領域の左側に隣接する領域では、ユーザの右眼にはチャンネルCH3の画素が観察される。
また、折れ線C12から、ユーザの右眼位置から見た各視認画素の視認位置が分かるので、視認位置が0となるブロック領域(開口部81)の位置を連続ブロック領域の境界位置とすれば、矢印Q21に示すように境界位置LB51乃至境界位置LB54が定まる。
境界位置LB51乃至境界位置LB54により分割されて得られる各連続ブロック領域では、その連続ブロック領域内で視認画素とされる2つのチャンネルの画素に、右眼用の視差画像が割り当てられる。
すなわち、例えば光変調パネル62の−x方向側の端から境界位置LB51までの間にある各ブロック領域では、チャンネルCH2とチャンネルCH3の画素に、右眼用の視差画像が割り当てられる。また、境界位置LB51から境界位置LB52までの間では、チャンネルCH0とチャンネルCH3の画素に右眼用の視差画像が割り当てられ、境界位置LB52から境界位置LB53までの間では、チャンネルCH0とチャンネルCH1の画素に右眼用の視差画像が割り当てられる。
さらに、境界位置LB53から境界位置LB54までの間では、チャンネルCH1とチャンネルCH2の画素に右眼用の視差画像が割り当てられ、境界位置LB54から光変調パネル62の+x方向側の端までの間では、チャンネルCH2とチャンネルCH3の画素に右眼用の視差画像が割り当てられる。
右眼における場合と同様に、図11において、折れ線C13は、ユーザの左眼から見える各ブロック領域の視認画素のチャンネル番号を示しており、折れ線C14は、ユーザの左眼から見える各ブロック領域の視認画素における視認位置を示している。例えば、0番目の開口部81に対して+x方向側に隣接するいくつかの開口部81を観察するユーザの左眼には、それらの開口部81を介してチャンネルCH3の画素が視認されることが分かる。
このような折れ線C13から、矢印Q22に示すように、光変調パネル62の表示面上の各領域において、ユーザの左眼によりどのチャンネルの画素が観察されるかが分かる。なお、矢印Q22に示される横長の四角形は、光変調パネル62の表示面全体を表しており、その四角形内の縦長の長方形内の数字は、その長方形の領域を観察するユーザの左眼により視認される画素のチャンネル番号を示している。
したがって、光変調パネル62の表示面の図中、右端の領域から左端の領域まで順番に、ユーザの左眼によって、チャンネルCH0、チャンネルCH3、チャンネルCH2、およびチャンネルCH1の画素が観察される領域が並んでいることが分かる。
また、折れ線C14から、ユーザの左眼位置から見た各視認画素の視認位置が分かるので、視認位置が0となるブロック領域(開口部81)の位置を連続ブロック領域の境界位置とすれば、矢印Q22に示すように境界位置LB61乃至境界位置LB64が定まる。
境界位置LB61乃至境界位置LB64により分割されて得られる各連続ブロック領域では、その連続ブロック領域内で視認画素とされる2つのチャンネルの画素に、左眼用の視差画像が割り当てられる。
すなわち、光変調パネル62の−x方向側の端から境界位置LB61までの間にある各ブロック領域では、チャンネルCH0とチャンネルCH1の画素に、左眼用の視差画像が割り当てられる。また、境界位置LB61から境界位置LB62までの間では、チャンネルCH1とチャンネルCH2の画素に左眼用の視差画像が割り当てられ、境界位置LB62から境界位置LB63までの間では、チャンネルCH2とチャンネルCH3の画素に左眼用の視差画像が割り当てられる。
さらに、境界位置LB63から境界位置LB64までの間では、チャンネルCH0とチャンネルCH3の画素に左眼用の視差画像が割り当てられ、境界位置LB64から光変調パネル62の+x方向側の端までの間では、チャンネルCH0とチャンネルCH1の画素に左眼用の視差画像が割り当てられる。
このように、各開口部81(ブロック領域)について、視認画素のチャンネル番号と、その視認画素における視認位置とが求まると、連続ブロック領域の境界位置が定まる。これにより、各連続ブロック領域に属すブロック領域ごとに、左右の視差画像を割り当てるチャンネルが定まる。
但し、連続ブロック領域の境界位置は、右眼から見たときの境界位置と、左眼から見たときの境界位置とが同じ位置となるのが理想的であるが、実際にはユーザの右眼と左眼の位置は異なる位置にあるので、それらの境界位置にずれが生じる。
例えば、ユーザの視点位置が番号0の開口部81の略正面に位置し、かつ表示部27から視点位置までの距離が適視距離Z0の略半分である場合でも、図12に示すようにユーザの右眼と左眼を基準とした境界位置のずれは、中央から離れた位置ほど大きくなる。
なお、図12において、横軸は開口部81の番号nを示しており、縦軸は視認画素のチャンネル番号または視認位置を示している。
図12では、折れ線C21は、ユーザの右眼から見える各ブロック領域の視認画素のチャンネル番号を示しており、折れ線C22は、ユーザの右眼から見える各ブロック領域の視認画素における視認位置を示している。また、直線LB71乃至直線LB74は、それぞれ折れ線C22から定まる連続ブロック領域の境界位置を示している。
さらに、折れ線C23は、ユーザの左眼から見える各ブロック領域の視認画素のチャンネル番号を示しており、折れ線C24は、ユーザの左眼から見える各ブロック領域の視認画素における視認位置を示している。また、直線LB81乃至直線LB84は、それぞれ折れ線C24から定まる連続ブロック領域の境界位置を示している。
なお、以下、直線LB71乃至直線LB74を境界位置LB71乃至境界位置LB74とも称し、直線LB81乃至直線LB84を境界位置LB81乃至境界位置LB84とも称する。
図12の例では、左眼を基準とした境界位置LB81乃至境界位置LB84のそれぞれが、右眼を基準とした境界位置LB71乃至境界位置LB74に対応するが、それらの境界位置のずれは、光変調パネル62の中央から遠い位置にある境界位置ほど大きい。
このようなずれが生じると、ブロック領域における各チャンネルの画素への視差画像の割り当てに矛盾が生じてしまう。
例えば、右眼を基準として、境界位置LB71から境界位置LB72までの間のブロック領域で、チャンネルCH0とチャンネルCH3の画素に右眼用の視差画像を割り当てるとする。また、左眼を基準として、光変調パネル62の−x方向側の端から境界位置LB81までの間のブロック領域で、チャンネルCH0とチャンネルCH1の画素に左眼用の視差画像を割り当てるとする。
そうすると、境界位置LB71から境界位置LB81までの間のブロック領域では、チャンネルCH0の画素に対して、右眼用の視差画像と左眼用の視差画像の両方が割り当てられることになってしまう。
そこで、表示装置11では、境界位置LB71乃至境界位置LB74のそれぞれと、境界位置LB81乃至境界位置LB84のそれぞれとの中間位置(平均位置)を、最終的な境界位置である境界位置LB91乃至境界位置LB94とする。
これにより、例えば図中、下側に示すように、境界位置LB91乃至境界位置LB94で分割される領域を連続ブロック領域として、各ブロック領域で視差画像の割り当てが行なわれる。なお、図中、下側には、各領域で右眼用および左眼用の視差画像が割り当てられる画素のチャンネル番号が記されている。
例えば、境界位置LB91から境界位置LB92までの間では、ブロック領域内のチャンネルCH0とチャンネルCH3の画素に右眼用の視差画像が割り当てられ、チャンネルCH1とチャンネルCH2の画素に左眼用の視差画像が割り当てられる。
また、境界位置LB92から境界位置LB93の間では、ブロック領域内のチャンネルCH0とチャンネルCH1の画素に右眼用の視差画像が割り当てられ、チャンネルCH2とチャンネルCH3の画素に左眼用の視差画像が割り当てられる。
なお、右眼を基準とする境界位置と左眼を基準とする境界位置との中間位置を、最終的な連続ブロック領域の境界位置とすると、境界位置近傍では右眼または左眼を基準とした視差画像の割り当てと多少のずれが生じるが、特に視差画像の立体視に影響は生じない。
但し、ユーザの視点位置が、半視距離表示方式における最適な視距離であるZ0/2からずれてくると、すなわち、例えばユーザの視点位置が表示部27に近付いたり、遠ざかったりすると、次第に右眼を基準とする境界位置と左眼を基準とする境界位置とのずれが大きくなる。
そうすると、例えば図13に示すように、いくつかのブロック領域において、ユーザの右眼と左眼とで同じチャンネルの画素が視認画素として観察されてしまう。なお、図13において、横軸は開口部81の番号nを示しており、縦軸は視認画素のチャンネル番号または視認位置を示している。
図13では、折れ線C31は、ユーザの右眼から見える各ブロック領域の視認画素のチャンネル番号を示しており、折れ線C32は、ユーザの右眼から見える各ブロック領域の視認画素における視認位置を示している。また、折れ線C33は、ユーザの左眼から見える各ブロック領域の視認画素のチャンネル番号を示しており、折れ線C34は、ユーザの左眼から見える各ブロック領域の視認画素における視認位置を示している。
この例では、折れ線C31と折れ線C33の一部が重なっており、これらの部分ではブロック領域において、ユーザの右眼と左眼とで同じチャンネルの画素が視認画素として観察される。そのため、右眼を基準として求めた境界位置と、左眼を基準として求めた境界位置との中間位置を最終的な連続ブロック領域の境界位置としても、所定のブロック領域では、同じチャンネルに右眼用と左眼用の両方の視差画像を割り当てなくてはならなくなる。つまり、ユーザが被写体を立体的に観察できなくなり、右眼用の視差画像と左眼用の視差画像とを用いた立体表示が不可能となる。
このように、所定の視点位置において、開口部81(ブロック領域)ごとに、ブロック領域内の視認画素を求めると、その結果から、ユーザが現視点位置から表示部27を観察する場合に、視差画像の立体視が可能であるかを特定することができる。
したがって、各視点位置について、ブロック領域ごとに視認画素を求める演算を行なえば、例えば図14に示すように、xy平面上において立体表示(立体視)が可能な領域と不可能な領域とを求めることができる。なお、図14において、横方向および縦方向はx方向およびy方向を示している。
図14の例では、表示部27の周囲の領域のうち、斜線の施された領域WR11は、視差画像の立体表示が可能な領域を示している。そこで、表示装置11は、半視距離表示方式により視差画像の立体表示を行なう場合において、領域WR11内にある領域WR12を視差画像の立体表示が可能な領域とする。そして、表示装置11は、ユーザの視点位置が領域WR12内にある場合、左右の視差画像に基づいて被写体を立体表示させ、ユーザの視点位置が領域WR12外にある場合、左右の何れか一方の視差画像を表示する。
このようにユーザの視点位置に応じて、3D表示と2D表示を切り替えることで、ユーザに違和感のない自然な画像を提示することができる。
[表示処理の説明]
次に、表示装置11の具体的な動作について説明する。
表示装置11は、右眼用の視差画像と左眼用の視差画像からなる立体画像が指定され、これらの視差画像の半視距離表示方式による表示が指示されると、表示処理を行って、視差画像を立体表示させる。以下、図15のフローチャートを参照して、表示装置11による表示処理について説明する。
ステップS11において、撮像部21は、表示部27の周囲の領域の画像を周辺画像として撮像し、検出部22に供給する。
ステップS12において、検出部22は、撮像部21から供給された周辺画像に基づいて、ユーザの眼を検出する。例えば検出部22は、周辺画像からユーザの顔を検出し、検出された顔の領域から、さらにユーザの眼を検出する。
ステップS13において、検出部22は周辺画像からユーザの眼が検出されたか否かを判定する。
ステップS13において、ユーザの眼が検出されたと判定された場合、ステップS14において、視点位置算出部31は、検出されたユーザの眼の位置から、ユーザの視点位置を算出し、割り当て制御部23に供給する。例えば視点位置算出部31は、xy平面上におけるユーザの左右の眼の中間の位置を、視点位置として求める。
ステップS15において、割り当て制御部23の判定部32は、視点位置算出部31から供給されたユーザの視点位置に基づいて、視差画像の立体表示が可能であるか否かを判定する。
例えば判定部32は、図14に示した立体表示可能な領域WR12を特定するための領域情報を予め記録しており、記録している領域情報に基づいて、ユーザの視点位置が領域WR12内の位置であるか否かを特定することで、立体表示が可能であるかを判定する。したがって、例えばユーザの視点位置が領域WR12内の位置である場合、立体表示が可能であると判定される。
ステップS15において、立体表示が可能であると判定された場合、ステップS16において、視認位置算出部33は、視点位置算出部31から供給されたユーザの視点位置に基づいて、開口部81ごとに視認画素および視認位置を算出する。
すなわち、視認位置算出部33は、視点位置から定まるユーザの右眼位置と左眼位置とについて、図10を参照して説明した演算を行なって、開口部81(ブロック領域)ごとに、その開口部81を介して観察される視認画素と、その視認画素における視認位置を算出する。これにより、例えば図11に示した演算結果が得られる。すなわち、各ブロック領域について、ユーザの右眼または左眼から観察される画素(視認画素)のチャンネル番号と、その画素上のユーザにより観察される位置(視認位置)が求まる。
ステップS17において、境界位置算出部34は、各ブロック領域についての視認位置の算出結果に基づいて、連続ブロック領域の境界位置を算出する。
具体的には境界位置算出部34は、右眼位置について求められた各ブロック領域の視認位置の算出結果に基づいて、視認位置が「0」となる位置を、右眼を基準とする境界位置とする。すなわち、開口部81を介して、右眼により画素の中央が観察されるブロック領域の位置が、右眼を基準とする境界位置とされる。同様に、境界位置算出部34は、左眼位置について求められた各ブロック領域の視認位置の算出結果に基づいて、視認位置が「0」となる位置を、左眼を基準とする境界位置とする。
そして、境界位置算出部34は、右眼を基準とする境界位置と、それらの境界位置に対応する、左眼を基準とする境界位置との中間の位置を、最終的な連続ブロック領域の境界位置とする。ここで、右眼を基準とする境界位置に対応する、左眼を基準とする境界位置とは、右眼を基準とする境界位置に最も近い位置にある、左眼を基準とする境界位置である。
このような演算により、例えば図12に示した境界位置LB91乃至境界位置LB94が求められる。
ステップS18において、境界位置算出部34は、連続ブロック領域の境界位置の算出結果に基づいて、各ブロック領域の画素に右眼用または左眼用の視差画像を割り当てる。
図12の例では、例えば光変調パネル62の表示面上のブロック領域のうち、境界位置LB91から境界位置LB92の間にあるブロック領域では、チャンネルCH0とチャンネルCH3の画素(チャンネル領域)に対して、右眼用の視差画像が割り当てられる。また、境界位置LB91から境界位置LB92の間にあるブロック領域において、チャンネルCH1とチャンネルCH2の画素に対して、左眼用の視差画像が割り当てられる。
より具体的には、例えば図16に示すように、光変調パネル62上の4つの画素からなる領域がブロック領域BR1およびブロック領域BR2とされたとする。なお、図16において、横方向はx方向を示している。
図16では、矢印Q41乃至矢印Q43により示される長方形は、右眼用の視差画像、左眼用の視差画像、および光変調パネル62を表している。また、それらの長方形内の1つの四角形は1つの画素を表しており、各画素内の文字「R」,「G」,「B」は、それぞれ画素の色を表している。
例えば、光変調パネル62上の画素G51乃至画素G54が含まれる領域が、ブロック領域BR1とされており、画素G55乃至画素G58が含まれる領域が、ブロック領域BR2とされている。ここで、例えば画素G51は、R(赤)のカラーフィルタが設けられた、Rの光のみを透過させる画素であり、画素G52は、G(緑)のカラーフィルタが設けられた、Gの光のみを透過させる画素である。
また、光変調パネル62上の各画素の図中、下側には、それらの画素のチャンネル番号が記されている。例えば、画素G51はチャンネルCH0の画素であり、画素G52は、チャンネルCH1の画素である。
さらに、図中、横方向において光変調パネル62上の各画素と同じ位置には、それらの画素と同じ位置にある、右眼用および左眼用の視差画像の画素が示されている。
一般的に、画像上の画素は、R,G,Bの各色の値をもつため、互いに隣接するR,G,Bの領域が1つの画素とされ、R,G,Bの各色の領域がサブピクセル(サブ画素)として扱われることが多い。
具体的には、例えば右眼用の視差画像の図中、左端の連続するR,G,Bの3つの画素からなる領域が一般的には1つの画素(以下、適宜、RGB画素とも称する)とされ、各色の画素G61や画素G62がサブピクセルとして扱われることが多い。しかし、ここでは、これらの画素G61や画素G62を1つの画素と呼ぶこととする。
同様に、例えば一般的に、画素G51乃至画素G53からなる3つの色の領域が1つの画素として扱われることがあるが、ここでは画素G51乃至画素G53のそれぞれを、1つの画素として扱うこととする。
例えば、ブロック領域BR1とブロック領域BR2において、境界位置算出部34により、チャンネルCH0とチャンネルCH1の画素に右眼用の視差画像が割り当てられ、チャンネルCH2とチャンネルCH3の画素に左眼用の視差画像が割り当てられたとする。
このとき、境界位置算出部34は、右眼用の視差画像の画素G61と画素G62を、それらの画素と同じ位置にある光変調パネル62上の画素G51と画素G52に割り当てる。また、境界位置算出部34は、左眼用の視差画像の画素G71と画素G72を、それらの画素と同じ位置にある光変調パネル62上の画素G53と画素G54に割り当てる。
同様に、境界位置算出部34は、右眼用の視差画像の画素G63と画素G64を、画素G55と画素G56に割り当て、左眼用の視差画像の画素G73と画素G74を、画素G57と画素G58に割り当てる。
このように、ブロック領域の所定のチャンネルに右眼用または左眼用の視差画像が割り当てられたとき、より詳細には、そのチャンネルの画素には、その画素と同じ位置にある右眼用または左眼用の視差画像の画素が割り当てられる。
このようにして、ブロック領域ごとに、各チャンネルの画素に対して右眼用または左眼用の視差画像を割り当てると、境界位置算出部34はその割り当て結果を生成部25に供給し、合成画像の生成を指示する。
ステップS19において、生成部25は、境界位置算出部34から供給された割り当て結果と、記録部24から読み出した右眼用および左眼用の視差画像とに基づいて、合成画像を生成し、表示制御部26に供給する。例えば、図16に示した割り当てが行なわれた場合、生成部25は、右眼用の視差画像の画素G61と画素G62が、画素G51と画素G52に表示され、左眼用の視差画像の画素G71と画素G72が、画素G53と画素G54に表示されるように、合成画像を生成する。
なお、視差画像を記録部24から取得するのではなく、外部の装置から視差画像を取得したり、視差画像を受信したりするようにしてもよい。
ステップS20において、表示制御部26は、生成部25から供給された合成画像を表示部27に供給して表示させる。
例えば、表示部27は、供給された合成画像に基づいてバックライト61から光を射出させるとともに、光変調パネル62に電圧を印加させてバックライト61からの光の透過率を画素ごとに制御する。また、表示部27はバリア素子63に電圧を印加させて開口部81と遮蔽部82とからなるパララックスバリアを形成させる。
これにより、バックライト61から光変調パネル62の各画素を透過した光は、パララックスバリアにより光学的に分離され、分離された一部の光がユーザの右眼または左眼に入射して、ユーザにより視差画像上の被写体が立体的に観察される。すなわち、合成画像上の右眼用の視差画像の領域がユーザの右眼により観察され、合成画像上の左眼用の視差画像の領域がユーザの左眼により観察される。
このとき、例えば左右の視差画像に付随する音声がある場合には、表示装置11は、合成画像の表示に合わせて、付随する音声を図示せぬスピーカから出力させる。
ステップS21において、表示装置11は、表示装置11の電源をオフするか否かを判定する。例えば、ユーザの操作により電源のオフが指示された場合、電源をオフすると判定される。
ステップS21において、電源をオフしないと判定された場合、処理はステップS11に戻り、上述した処理が繰り返される。すなわち、ユーザの視点位置の移動に応じて、ブロック領域内の各チャンネルの画素に対する視差画像の割り当てが変更され、新たな割り当てにしたがって生成された合成画像が表示される。
これに対して、ステップS21において、電源をオフすると判定された場合、表示装置11は各部の処理を停止させて電源をオフし、表示処理は終了する。
また、ステップS15において、立体表示が可能でないと判定された場合、割り当て制御部23は、生成部25に2次元の視差画像の表示を指示し、処理はステップS22へと進む。
ステップS22において、生成部25は、割り当て制御部23からの指示に応じて、2次元の視差画像を表示させる。すなわち、生成部25は、記録部24から右眼用または左眼用の何れかの視差画像を読み出して、読み出した視差画像をそのまま表示制御部26に供給する。
すると、表示制御部26は、生成部25から供給された視差画像を表示部27に供給し、視差画像を表示させる。このとき、例えばバリア素子63は、パララックスバリアを形成せず、表示部27は視差画像をそのまま表示させる。また、表示部27に設けられるパララックスバリアが固定式のものである場合でも、表示部27に視差画像をそのまま表示させることで、視差画像が2次元表示(2D表示)される。
ステップS22において視差画像が表示されると、その後、処理はステップS21へと進み、上述した処理が行われる。
また、ステップS13において、ユーザの眼が検出されなかったと判定された場合、検出部22は、眼が検出されなかった旨の検出結果を割り当て制御部23に供給し、処理はステップS23に進む。
ステップS23において、割り当て制御部23は、ユーザの眼が検出されていない状態となってから、一定時間が経過したか否かを判定する。
ステップS23において、一定時間が経過していないと判定された場合、処理はステップS22に進み、上述した処理が行われる。すなわち、表示部27に視差画像が2次元表示される。
これに対して、ステップS23において、一定時間経過したと判定された場合、ステップS24において、割り当て制御部23は、生成部25を制御して画像が表示されない状態とさせる。生成部25は、割り当て制御部23の制御にしたがって、画像の表示制御部26への供給を停止する。これにより、表示部27には、画像が表示されない状態となる。つまり、消画された状態となる。
なお、視差画像に付随する音声がある場合、消画された状態で音声のみが継続して再生されるようにしてもよいし、音声も消音されるようにしてもよい。このように、一定時間、ユーザの眼が検出されなかった場合、ユーザは視差画像を見ていないはずであるので、消画することで消費電力を抑えることができる。
ステップS24において消画された状態とされると、その後、処理はステップS21に進み、上述した処理が行われて表示処理は終了する。
以上のようにして、表示装置11は、ユーザの視点位置に基づいて、ブロック領域ごとに視認画素と視認位置を算出し、その算出結果に基づいて、ブロック領域の各チャンネルの画素に、右眼用または左眼用の視差画像を割り当てて合成画像を生成する。
このとき、ブロック領域のx方向に隣接して並ぶ少なくとも2つの画素に、右眼用または左眼用の視差画像のうちの同じ視差画像が割り当てられるようにすることで、より簡単にクロストークの発生を抑制し、より高品位な画像を提示することができるようになる。
また、ユーザの視点位置の移動に応じて、ブロック領域内の各チャンネルの画素に対する視差画像の割り当てを変化させることで、各チャンネルにおける視差画像の表示の切り替えをユーザに感じさせることなく、より自然で高品位な画像を提示することができる。
なお、以上において説明した表示処理では、判定部32が立体表示可能な領域を特定するための領域情報を予め記録していると説明したが、そのような領域情報を予め記録せずに、視認画素の算出結果から、立体表示可能かを判定するようにしてもよい。
そのような場合、判定部32は、視認位置算出部33により算出された、各ブロック領域の視認画素の算出結果を用いる。すなわち、判定部32は、右眼を基準とする視認画素と、左眼を基準とする視認画素とが、同じチャンネルの画素となるブロック領域がある場合、立体表示が可能でないと判定する。
〈変形例1〉
また、以上においては、表示装置11が単独で半視距離表示方式による立体表示を行なうと説明したが、いくつかの装置からなる表示システムにより、半視距離表示方式での立体表示が行なわれるようにしてもよい。
そのような場合、表示システムは、例えば図17に示すように構成される。
すなわち、図17の表示システムは、撮像装置121、画像処理装置122、および表示装置123から構成される。なお、図17において、図1における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
撮像装置121は、表示装置123の周囲の画像を周辺画像として撮像し、画像処理装置122に供給する。画像処理装置122は、撮像装置121からの周辺画像を用いて合成画像を生成し、表示装置123に供給する。
画像処理装置122は、検出部22、割り当て制御部23、記録部24、および生成部25から構成される。検出部22は、撮像装置121からの周辺画像からユーザの眼を検出して、その検出結果を割り当て制御部23に供給し、割り当て制御部23は、検出部22からの検出結果に基づいて、ブロック領域の各チャンネルの画素への視差画像の割り当てを行なう。
また、生成部25は、割り当て制御部23の制御にしたがって記録部24に記録された左右の眼の視差画像から合成画像を生成し、表示装置123に供給する。
表示装置123は、例えば表示部27および表示制御部26と同様の機能を有する、立体画像を表示可能な表示装置であり、生成部25から供給された合成画像に基づいて、視差画像上の被写体を立体表示する。
〈変形例2〉
さらに、以上においては、表示部27が4視点の視差画像を立体表示可能な表示装置である場合を例として説明したが、表示部27は、5以上の複数視点の視差画像を立体表示可能な表示装置であってもよい。
例えば、表示部27が6視点の視差画像を立体表示可能である場合、図18に示すように、6つの異なるチャンネルの画素からなる領域がブロック領域とされ、そのブロック領域に対して1つの開口部81が設けられる。なお、図18において、図3における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
図18の例では、6つの異なるチャンネルの画素G91乃至画素G96を含む領域が、1つのブロック領域とされている。
この場合、視差画像を立体視可能なユーザの視点位置は、互いに3画素だけ離れた位置にある画素が、ユーザの右眼および左眼を基準とした視認画素となるような位置とされる。図18の例では、ユーザの右眼ERにより画素G95が視認されており、ユーザの左眼ELにより画素G92が視認されている。
また、視差画像の割り当て時には、少なくとも連続して並ぶ3つのチャンネルの画素に、右眼用または左眼用の何れかの視差画像が割り当てられる。例えば、図18では画素G91乃至画素G93に左眼用の視差画像が割り当てられ、画素G94乃至画素G96に右眼用の視差画像が割り当てられる。
このように、複数視点の視差画像を立体表示可能な表示部では、右眼と左眼の視認画素が、2画素以上離れた画素となるようにすることで、視差方向に連続して並ぶ2以上の画素に同じ視点の視差画像を割り当てることができる。これにより、簡単にクロストークの発生を抑制し、より高品質な視差画像を提示することができるようになる。
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
図19は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
コンピュータにおいて、CPU(Central Processing Unit)201,ROM(Read Only Memory)202,RAM(Random Access Memory)203は、バス204により相互に接続されている。
バス204には、さらに、入出力インターフェース205が接続されている。入出力インターフェース205には、キーボード、マウス、マイクロホンなどよりなる入力部206、ディスプレイ、スピーカなどよりなる出力部207、ハードディスクや不揮発性のメモリなどよりなる記録部208、ネットワークインターフェースなどよりなる通信部209、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア211を駆動するドライブ210が接続されている。
以上のように構成されるコンピュータでは、CPU201が、例えば、記録部208に記録されているプログラムを、入出力インターフェース205及びバス204を介して、RAM203にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ(CPU201)が実行するプログラムは、例えば、磁気ディスク(フレキシブルディスクを含む)、光ディスク(CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等)、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア211に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
そして、プログラムは、リムーバブルメディア211をドライブ210に装着することにより、入出力インターフェース205を介して、記録部208にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部209で受信し、記録部208にインストールすることができる。その他、プログラムは、ROM202や記録部208に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
さらに、本技術は、以下の構成とすることも可能である。
[1]
3以上の複数のチャンネルの画素からなるブロック領域が複数設けられた表示部と、
前記ブロック領域内の各チャンネルの画素に表示された画像を分離させる分離部と、
前記表示部を観察するユーザの視点位置に応じて、前記ブロック領域内の互いに隣接する複数の画素からなり、異なる2以上のチャンネルの画素からなる第1の領域に視差画像が表示され、前記視差画像と視差を有する他の視差画像が前記ブロック領域内の前記第1の領域とは異なる第2の領域に表示されるように、前記ブロック領域内の各チャンネルの画素に複数の視差画像の何れかを割り当てる割り当て制御部と、
前記割り当て制御部による割り当てにしたがって複数の視差画像を合成し、合成画像を生成する生成部と
を備える表示装置。
[2]
前記複数の前記視差画像は、右眼用の前記視差画像と左眼用の前記視差画像である
[1]に記載の表示装置。
[3]
所定の視点位置から前記ユーザが前記表示部を観察した場合、前記ブロック領域によって異なるチャンネルの画素が観察される
[2]に記載の表示装置。
[4]
前記割り当て制御部は、
前記視点位置に基づいて、前記ブロック領域ごとに、前記ユーザにより観察される前記ブロック領域内の視認画素上の視認位置を求める視認位置算出部と、
前記視認位置が前記視認画素の略中央となる前記ブロック領域の位置を境界位置として算出するとともに、前記境界位置から、前記境界位置に最も近い他の境界位置までの間にある前記ブロック領域に対して、それらの前記ブロック領域の同じチャンネルの画素に同じ前記視差画像を割り当てる境界位置算出部と
を備える[3]に記載の表示装置。
[5]
前記境界位置算出部は、前記境界位置から前記他の境界位置までの間にある前記ブロック領域に対して、前記境界位置にある前記ブロック領域の前記視認画素のチャンネル、および前記他の境界位置にある前記ブロック領域の前記視認画素のチャンネルと同じチャンネルの画素に、同じ前記視差画像を割り当てる
[4]に記載の表示装置。
[6]
前記境界位置算出部は、前記ユーザの右眼を基準として算出された前記境界位置と、前記ユーザの左眼を基準として算出された前記境界位置との中間の位置を、最終的な前記境界位置とする
[4]または[5]に記載の表示装置。
[7]
前記割り当て制御部は、前記視点位置が予め定められた領域外にある場合、前記右眼用または前記左眼用の前記視差画像のうちの何れかを、前記表示部に表示させる
[2]乃至[4]の何れかに記載の表示装置。