以下、図面を参照して、ここで開示する技術の実施の形態について説明する。
最初に多視点の画像による立体表示について説明する。
図1は、4視点の画像による立体表示の例を説明する図である。この表示装置においては、画面Wの水平方向に、第1視点用の画像、第2視点用の画像、第3視点用の画像及び第4視点用の画像を表示するサブピクセルが交互に配置されている。第1視点用の画像乃至第4視点用の画像を表示する4つのサブピクセルは、4つの画像を合成した合成画像の最小の表示単位である表示画素を構成する。画面Wには、このような表示画素がマトリクス状に複数配置されており、これら複数の表示画素によって、全体としての合成画像が形成されている。
なお、画像を構成する画素は、原則として、例えば、赤色のサブピクセル、緑色のサブピクセル、青色のサブピクセルの組み合わせを意味するが、サブピクセルを考慮する技術を説明する際に画素とサブピクセルを混同しやすい。本明細書では、サブピクセルと画素との区別を明確にするため、複数のサブピクセルの組み合わせを、適宜、表示画素と称することにする。
画面Wと観察者Hとの間には、第1視点用の画像乃至第4視点用の画像をそれぞれ空間的に分離するパララックスバリアBが配置されている。パララックスバリアBには、例えば、各表示画素に対応した複数のスリットSが設けられており、各表示画素内に表示される第1視点用の画像乃至第4視点用の画像を分離して観察者Hに表示するようになっている。
図2は、画面W上に表示された合成画像の一部を示す平面図である。図2(a)は合成画像の平面図であり、図2(b)はパララックスバリアBを介して見た第4視点用の画像の平面図である。
図2(a)に示されるように、4つの画像は、それぞれ1列毎(1サブピクセル毎)に交互に表示されている。同図において、共通の数字nで表示された複数のサブピクセルは同一の視点(n番目の視点)の画像を表示するサブピクセルである。図1に示した4つの画像は、それぞれ垂直方向に配列された1列分のサブピクセルによって形成される画像を示している。これらは水平方向に複数配列されることで、全体としての画像を形成する。
図2において「r」「g」「b」は、それぞれ赤色、緑色、青色のサブピクセルである。第1視点用の画像乃至第4視点用の画像は、それぞれ赤色、緑色、青色の3つのサブピクセルを含む複数の表示画素によって構成されている。例えば、第4視点用の画像は、図2(b)に示すように、4サブピクセル毎に配置される赤色、緑色、青色の3つのサブピクセルを含む表示画素Pによって構成されている。そして、マトリクス状に配置された複数の表示画素Pによって、全体としての第4視点用の画像が形成されている。
図2に示される方式は、各画像を構成するサブピクセルを縦方向に一直線に並べて表示させるものであり、ストレートバリア方式と称される。しかしながら、ストレートバリア方式の場合、表示画素Pは、3つのサブピクセルが3サブピクセル毎に配置されているため、通常の2次元画像を表示する場合に比べて表示画素全体が水平方向に4倍に(4画素分の大きさに)広がった状態となり、細かい形状を表示する場合に十分な再現性が得られない。
例えば、4つの画像を水平方向及び垂直方向の双方において交互に配置し、それに対応させてパララックスバリアBを水平方向に対して斜めに配置するステップバリア方式も用いられている。
図3は、ステップバリア方式を用いた合成画像の一部を示す平面図である。図3(a)は合成画像の平面図であり、図3(b)はパララックスバリアBを介して見た第4視点用の画像の平面図である。
図3に示されるように、4つの画像はそれぞれ1サブピクセル毎に水平方向及び垂直方向に交互に表示されており、パララックスバリアBを介して見た場合に、赤色、緑色、青色の3つのサブピクセルが水平方向に対して斜め方向にステップ状に配置されるようになっている。また、パララックスバリアBのスリットは、斜め方向に配列した赤色、緑色、青色のサブピクセルの配列に対応して斜め方向にステップ状に配置されており、パララックスバリアBを介して見た第4視点用の画像に他の視点の画像が表示されないようになっている。
ここでは、パララックスバリアとしてスリットを用いる例について説明したが、例えば、レンチキュラーレンズや液晶レンズなどを用いることも可能である。
このようにして、多視点の画像による立体表示が行われる。
ところで、一般的な従来の液晶ディスプレイなどでは、ストライプ配列の画素が用いられることが多い。ストライプ配列の画素では、例えば、R,G,B(赤色、緑色、青色)の各サブピクセルが縦長の矩形とされており、それら3つのサブピクセルを縦方向または横方向に並べることで1つの表示画素が構成される。
一方、近年では、スクエア配列の画素が用いられることもある。スクエア配列の画素では、例えば、R,G,B,W(赤色、緑色、青色、白色)の各サブピクセルが正方形とされており、それら4つのサブピクセルを、2行2列(いわゆる田の字型)に並べることで1つの表示画素が構成される。スクエア配列の画素を用いることにより、例えば、個々の表示画素の輝度値を高めるようにすることができる。
例えば、ストライプ配列の画素を、スクエア配列の画素に変換する技術も提案されている。すなわち、ストライプ配列において対応する位置の表示画素を構成する3つのサブピクセルを取得して解析することにより、スクエア配列における表示画素を構成する4つのサブピクセルが生成されることで、ストライプ配列の画素がスクエア配列の画素に変換される。
スクエア配列の画素を用いて多視点の画像を用いた立体表示を行う場合、パララックスバリアの形状に合わせて1つの表示画素を構成する4つのサブピクセルを並び替える必要がある。
例えば、ストライプ配列の画素により構成される画像であって、3つのサブピクセルが横方向に1列に配置された表示画素によって構成される2次元画像を、スクエア配列の画素により構成される画像であって、立体表示における第n番目の視点の画像に変換する場合を考える。
図4と図5は、第1視点用の画像乃至第7視点用の画像により立体表示が行われる場合の例を示す図である。
図4には、ストライプ配列の画素により構成される画像であって、3つのサブピクセルが横方向(水平方向)に1列に配置された表示画素によって構成される2次元画像が示されている。図4では、7つの視点に対応する各画像が画像51乃至画像57により示されている。すなわち、画像51は第1視点用画像とされ、画像52は第2視点用画像とされ、・・・画像57は第7視点用画像とされる。
第1視点用の画像乃至第7視点用の画像により立体表示を行う場合、画像51乃至画像57を合成して1画面の画像とする必要がある。そして、合成された画像におけるスクエア配列の表示画素を構成する各サブピクセルを、第1視点用の画像乃至第7視点用の画像を構成するストライプ配列の表示画素を構成する各サブピクセルから生成する必要がある。
図5は、画像51乃至画像57を合成して得られる1画面の画像80の例を示している。画像80は、4つのサブピクセルから成るスクエア配列の表示画素により構成される画像とされる。上述したように、スクエア配列の表示画素を用いて多視点の画像を用いた立体表示を行う場合、パララックスバリアの形状に合わせて1つの表示画素を構成する4つのサブピクセルを並び替える必要がある。図5の例では、通常、サブピクセルを田の字型に組み合わせて構成される1つの表示画素が、サブピクセルを縦一列に組み合わせて構成されるように並べ替えられている。
図5に示される矩形の領域91は、7視点分の表示画素が表示される単位領域を表している。領域91の中の表示画素81−1は、第1視点用画像の画素であって、画面の左上端に配置される表示画素を表している。なお、領域91の中の表示画素81−1の右横に配置された4つのサブピクセルによって、第2視点用画像の画素であって、画面の左上端に配置される表示画素が構成されることになる。さらに、その右横の4つのサブピクセルによって、第3視点用画像の画素であって、画面の左上端に配置される表示画素が構成されることになる。このように、領域91の中に第1視点用の画像乃至第7視点用の画像の表示画素がそれぞれ1つずつ配置される。
また、図5において、領域91の下にもやはり領域91と同じ形状/大きさの単位領域が存在することになり、表示画素81−2は、第1視点用画像の画素であって、画面の左端の上から2番目に配置される表示画素とされる。
同様に、表示画素81−3は、第1視点用画像の画素であって、画面の左端の上から3番目に配置される表示画素とされ、表示画素81−4は、第1視点用画像の画素であって、画面の左下端に配置される表示画素とされる。
つまり、図5の領域91の下には、領域91と同じ形状/大きさの単位領域が3つ存在することになり、それぞれの単位領域に、7視点分の表示画素が表示されることになる。
また、図5の領域91の右には、領域91と同じ形状/大きさの単位領域が縦方向(垂直方向)1列に4つ存在することになり、それぞれの単位領域に、7視点分の表示画素が表示されることになる。表示画素82−1乃至表示画素82−4は、それぞれの単位領域に表示される第1視点用画像の画素とされる。
図5の表示画素81−1を構成する各サブピクセルは、図4の表示画素61−1を構成する各サブピクセルを取得し、それらのサブピクセルの値(輝度値など)を解析することにより生成される。同様に、図5の表示画素81−2を構成する各サブピクセルは、図4の表示画素61−2を構成する各サブピクセルに基づいて生成される。そして、図5の表示画素81−3を構成する各サブピクセルは、図4の表示画素61−3を構成する各サブピクセルに基づいて生成され、図5の表示画素81−4を構成する各サブピクセルは、図4の表示画素61−4を構成する各サブピクセルに基づいて生成されることになる。
このように、図5の画像80の各画素は、図4の画像51乃至画像57において対応する位置の画素に基づいて生成される。
また、図4の画像から図5の画像が生成される際に、ストライプ配列の画素を、スクエア配列の画素に変換することになるが、変換前と変換後において画像の解像度は変更されない。
すなわち、図4の画像51乃至画像57は、それぞれ垂直方向に8画素(表示画素)、水平方向に8画素(表示画素)で構成されている。つまり、図4の画像51乃至画像57は、それぞれ3つのサブピクセルで構成されるストライプ配列の表示画素を、8×8個含んで構成される。
図5の画像80も、やはり4つのサブピクセルで構成されるスクエア配列の画素を、8×8個含んで構成される。つまり、図5に示される画像を表示するディスプレイは、水平方向に2個のサブピクセル、垂直方向に2個のサブピクセルで構成される表示画素を、8×8個含んで構成される画像を表示することができる。ただし、図5の場合、上述したように、通常、サブピクセルを田の字型に組み合わせて構成される1つの表示画素が、サブピクセルを縦一列に組み合わせて構成されるように並べ替えられている。従って、図5に表示される画像を表示するディスプレイなどは、本来、8×8の解像度を有しているが、サブピクセルが並べ替えられたことにより、水平方向の解像度が2倍となり、垂直方向の解像度が1/2となっている。
このように、多視点の画像を用いて立体表示を行う際に、ストライプ配列の画素を、スクエア配列の画素に変換する場合、変換前の画像の画素と、変換後の画像の画素とが1対1に対応しない場合がある。
例えば、図4の画像51においては、図5の表示画素82−1乃至表示画素82−4に対応する位置の表示画素を特定できない。この場合、図4の画像51の左から4番目の表示画素の一部と左から5番目の表示画素の一部とを、図5の表示画素82−1乃至表示画素82−4に対応させざるを得ない。
このような場合、従来の方式ではストライプ配列の画素を、スクエア配列の画素に変換することができない。
そこで、本技術では、図5の表示画素82−1乃至表示画素82−4を生成する場合、図4の画像51の左から4番目の表示画素の一部と左から5番目の表示画素の一部とで構成される仮想表示画素を生成する。例えば、図4の画像51の表示画素が左から順番にR,G,Bのサブピクセルで構成されている場合、画像51の左から4番目の表示画素のGのサブピクセル、Bのサブピクセル、および、左から5番目の表示画素のRのサブピクセル、Gのサブピクセルを含む仮想表示画素62−1乃至仮想表示画素62−4を生成する。ただし、仮想表示画素62−1乃至仮想表示画素62−4のGのサブピクセルは、それぞれ左から4番目の表示画素のGのサブピクセルの半分と、左から5番目の表示画素のGのサブピクセルの半分によって構成されることになる。
本技術では、例えば、仮想表示画素62−1のRのサブピクセル、すなわち、画像51の左から5番目の表示画素のRのサブピクセルを、変換前の表示画素のRのサブピクセルとみなす。また、仮想表示画素62−1のBのサブピクセル、すなわち、画像51の左から4番目の表示画素のBのサブピクセルを、変換前の表示画素のBのサブピクセルとみなす。そして、本技術では、画像51の左から4番目の表示画素のGのサブピクセルの値と、左から5番目の表示画素のGのサブピクセルの値の平均値として得られるサブピクセルを変換前の表示画素のGのサブピクセルとみなす。
そして、変換前のR,G,Bの各サブピクセルの値に基づいて、変換後のR,G,B,Wの各サブピクセルの値が求められ、表示画素82−1が生成されることになる。
表示画素82−2乃至表示画素82−4も同様にして生成される。
ここでは、画像51の左から4番目の表示画素のGのサブピクセルの値と、左から5番目の表示画素のGのサブピクセルの値の平均値として得られるサブピクセルを変換前の表示画素のGのサブピクセルとみなすと説明したが、それ以外の方式が用いられても構わない。
例えば、画像51の左から4番目の表示画素のGのサブピクセルの値と、左から5番目の表示画素のGのサブピクセルの値のうち、大きい値として得られるサブピクセルを変換前の表示画素のGのサブピクセルとみなすようにしてもよい。
あるいはまた、例えば、画像51の左から4番目の表示画素のGのサブピクセルの値と、左から5番目の表示画素のGのサブピクセルの値のうち、小さい値として得られるサブピクセルを変換前の表示画素のGのサブピクセルとみなすようにしてもよい。
なお、図5における表示画素83−1乃至表示画素83−4は、図4の画像51における表示画素63−1乃至表示画素63−4に基づいて生成されるが、図5における表示画素83−1乃至表示画素83−4の右側は、図4において対応する画素を取得できない。このため、表示画素83−1乃至表示画素83−4の右側は、例えば、サブピクセルを黒色(OFF)とする。
このようにして、図4の画像51から、図5の画像80における第1視点用の画像の画素が12個生成されることになる。同様に、図4の画像52から、図5の画像80における第2視点用の画像の画素が12個生成されることになる。また、図4の画像53から、図5の画像80における第3視点用の画像の画素が12個生成されることになり、・・・図4の画像57から、図5の画像80における第7視点用の画像の画素が12個生成されることになる。
本技術では、このようにして多視点の画像を用いた立体表示のための画像が生成され、この際、ストライプ配列の画素がスクエア配列に変換される。
図4と図5においては、ストレートバリア方式での表示を前提とした例について説明したが、本技術をステップバリア方式での表示に適用することも可能である。
例えば、図6に示されるような形状のステップバリアを考える。図6は、ステップバリア方式での表示における第1視点用画像の画素の表示位置を示す図である。図中黒い正方形の位置に第1視点用画像の表示画素を構成するサブピクセルがそれぞれ配置される。図6において、表示画素はスクエア配列の画素とされ、例えば、R,G,B,Wの4つサブピクセルで構成され、図中垂直方向に並んだ2つのサブピクセル、および、その右下に垂直方向に並んだ2つのサブピクセルによって1つの表示画素が構成される。
図7と図8は、第1視点用の画像乃至第7視点用の画像により立体表示が行われる場合であって、図6に示されるような形状のステップバリア方式での表示について説明する図である。図7と図8は、特に、第1視点用の画像に注目した図である。
図7には、ストライプ配列の画素により構成される画像であって、3つのサブピクセルが横方向に1列に配置された表示画素によって構成される2次元画像が示され、この画像101は、第1視点用画像とされる。
図8は、第1視点用の画像乃至第7視点用の画像を合成して得られる1画面の画像200の例を示している。画像200は、4つのサブピクセルから成るスクエア配列の画素により構成される画像とされる。上述したように、スクエア配列の画素を用いて多視点の画像を用いた立体表示を行う場合、パララックスバリアの形状に合わせて1つの表示画素を構成する4つのサブピクセルを並び替える必要がある。図8の例では、通常、サブピクセルを田の字型に組み合わせて構成される1つの表示画素が、サブピクセルをステップ形状に組み合わせて構成されるように並べ替えられている。
図8に示される矩形の領域291は、7視点分の表示画素が表示される単位領域を表している。領域291の中の表示画素201−1は、第1視点用画像の画素であって、画面の左上端に配置される表示画素を表している。なお、領域291の中の表示画素201−1の右横に配置されたステップ形状の4つのサブピクセルによって、第2視点用画像の画素であって、画面の左上端に配置される表示画素が構成されることになる。さらに、その右横のステップ形状の4つのサブピクセルによって、第3視点用画像の画素であって、画面の左上端に配置される表示画素が構成されることになる。このように、領域291の中に第1視点用の画像乃至第7視点用の画像の表示画素がそれぞれ1つずつ配置される。
また、図8において、領域291の右下にもやはり領域291と同じ形状/大きさの単位領域が存在することになり、表示画素201−2は、第1視点用画像の画素であって、画面の左側の上から2番目に配置される表示画素とされる。
同様に、表示画素201−3は、第1視点用画像の画素であって、画面の左側の上から3番目に配置される表示画素とされ、表示画素201−4は、第1視点用画像の画素であって、画面の左側の上から4番目に配置される表示画素とされる。
つまり、図8の領域291の右下方向には、領域291と同じ形状/大きさの単位領域が3つ存在することになり、それぞれの単位領域に、7視点分の表示画素が表示されることになる。
また、図8の領域291の右には、領域291と同じ形状/大きさの単位領域が存在し、その単位領域にやはり7視点分の表示画素が表示されることになり、表示画素202−1は、その単位領域に表示される第1視点用画像の画素とされる。同様に、表示画素202−2乃至表示画素202−4、および、表示画素203−1は、それぞれの領域における第1視点用の画像の表示画素とされる。
図8の表示画素201−1を構成する各サブピクセルは、図7の表示画素111−1を構成する各サブピクセルを取得し、それらのサブピクセルの値(輝度値など)を解析することにより生成される。同様に、図8の表示画素201−2を構成する各サブピクセルは、図7の表示画素111−2を構成する各サブピクセルに基づいて生成される。そして、図8の表示画素201−3を構成する各サブピクセルは、図7の表示画素111−3を構成する各サブピクセルに基づいて生成され、図8の表示画素201−4を構成する各サブピクセルは、図7の表示画素111−4を構成する各サブピクセルに基づいて生成されることになる。
このように、図8の画像200の各画素は、図7の画像101などにおいて対応する位置の画素に基づいて生成される。
また、図7の画像から図8の画像が生成される際に、ストライプ配列の画素を、スクエア配列の画素に変換することになるが、変換前と変換後において画像の解像度は変更されない。
すなわち、図7の画像101は、それぞれ垂直方向に8画素(表示画素)、水平方向に8画素(表示画素)で構成されている。つまり、図7の画像101は、それぞれ3つのサブピクセルで構成されるストライプ配列の表示画素を、8×8個含んで構成される。
図8の画像200も、やはり4つのサブピクセルで構成されるスクエア配列の表示画素を、8×8個含んで構成される。つまり、図8に示される画像を表示するディスプレイは、水平方向に2個のサブピクセル、垂直方向に2個のサブピクセルで構成される表示画素を、8×8個含んで構成される画像を表示することができる。ただし、図8の場合、上述したように、通常、サブピクセルを田の字型に組み合わせて構成される1つの表示画素が、サブピクセルをステップ形状に組み合わせて構成されるように並べ替えられている。従って、図8に表示される画像を表示するディスプレイなどは、本来、8×8の解像度を有しているが、サブピクセルが並べ替えられたことにより、水平方向の解像度が2倍となり、垂直方向の解像度が1/2となっている。
このように、多視点の画像を用いて立体表示を行う際に、ストライプ配列の画素を、スクエア配列の画素に変換する場合、変換前の画像の画素と、変換後の画像の画素とが1対1に対応しない場合がある。
例えば、図7の画像101には、図8の表示画素202−1乃至表示画素202−4に対応する位置の表示画素を特定できない。この場合、例えば、図7の画像101の左から4番目の表示画素の一部と左から5番目の表示画素の一部とを、図8の表示画素202−1に対応させざるを得ない。
このような場合、従来の方式ではストライプ配列の画素を、スクエア配列の画素に変換することができない。
そこで、本技術では、図4と図5を参照して上述した場合と同様に、例えば、図8の表示画素202−1を生成する場合、図7の画像101の左から4番目の表示画素の一部と左から5番目の表示画素の一部とで構成される仮想表示画素を生成する。例えば、図7の画像101の表示画素が左から順番にR,G,Bのサブピクセルで構成されている場合、画像101の左から4番目の表示画素のGのサブピクセル、Bのサブピクセル、および、左から5番目の表示画素のRのサブピクセル、Gのサブピクセルを含む仮想表示画素112−1を生成する。ただし、仮想表示画素112−1のGのサブピクセルは、それぞれ左から4番目の表示画素のGのサブピクセルの半分と、左から5番目の表示画素のGのサブピクセルの半分によって構成されることになる。
同様にして、仮想表示画素112−2乃至仮想表示画素112−4も生成される。
上述した場合と同様、本技術では、例えば、仮想表示画素112−1のRのサブピクセル、すなわち、画像101の左から5番目の表示画素のRのサブピクセルを、変換前の表示画素のRのサブピクセルとみなす。また、仮想表示画素112−1のBのサブピクセル、すなわち、画像101の左から4番目の表示画素のBのサブピクセルを、変換前の表示画素のBのサブピクセルとみなす。そして、本技術では、画像101の左から4番目の表示画素のGのサブピクセルの値と、左から5番目の表示画素のGのサブピクセルの値の平均値として得られるサブピクセルを変換前の表示画素のGのサブピクセルとみなす。
そして、変換前のR,G,Bの各サブピクセルの値に基づいて、変換後のR,G,B,Wの各サブピクセルの値が求められ、表示画素202−1が生成されることになる。
表示画素202−2乃至表示画素202−4も同様にして生成される。
ここでは、画像101の左から4番目の表示画素のGのサブピクセルの値と、左から5番目の表示画素のGのサブピクセルの値の平均値として得られるサブピクセルを変換前の表示画素のGのサブピクセルとみなすと説明したが、それ以外の方式が用いられても構わない。
例えば、画像101の左から4番目の表示画素のGのサブピクセルの値と、左から5番目の表示画素のGのサブピクセルの値のうち、大きい値として得られるサブピクセルを変換前の表示画素のGのサブピクセルとみなすようにしてもよい。
あるいはまた、例えば、画像101の左から4番目の表示画素のGのサブピクセルの値と、左から5番目の表示画素のGのサブピクセルの値のうち、小さい値として得られるサブピクセルを変換前の表示画素のGのサブピクセルとみなすようにしてもよい。
なお、図8における表示画素203−1は、図7の画像101における表示画素113−1に基づいて生成される。また、図8において、グレー表示されるようにハッチングされた正方形は、対応する画素を取得できないため、黒色で表示されるサブピクセルを表している。
図9と図10は、第1視点用の画像乃至第7視点用の画像により立体表示が行われる場合であって、図6に示されるような形状のステップバリア方式での表示について説明するさらに別の図である。図9と図10は、特に、第2視点用の画像に注目した図である。
図9には、ストライプ配列の画素により構成される画像であって、3つのサブピクセルが横方向に1列に配置された表示画素によって構成される2次元画像が示され、この画像102は、第2視点用画像とされる。
いまの場合、例えば、図10の表示画素211−1を生成するとき、図9の画像102の左から1番目の表示画素の一部と左から2番目の表示画素の一部とで構成される仮想表示画素を生成する。例えば、画像102の左から1番目の表示画素のGのサブピクセル、Bのサブピクセル、および、左から2番目の表示画素のRのサブピクセル、Gのサブピクセルを含む仮想表示画素121−1を生成する。ただし、仮想表示画素121−1のGのサブピクセルは、それぞれ左から1番目の表示画素のGのサブピクセルの半分と、左から2番目の表示画素のGのサブピクセルの半分によって構成されることになる。
同様にして、仮想表示画素121−2乃至仮想表示画素121−4も生成される。
上述した場合と同様、本技術では、例えば、仮想表示画素121−1のRのサブピクセル、すなわち、画像102の左から2番目の表示画素のRのサブピクセルを、変換前の表示画素のRのサブピクセルとみなす。また、仮想表示画素121−1のBのサブピクセル、すなわち、画像102の左から1番目の表示画素のBのサブピクセルを、変換前の表示画素のBのサブピクセルとみなす。そして、本技術では、画像102の左から1番目の表示画素のGのサブピクセルの値と、左から2番目の表示画素のGのサブピクセルの値の平均値として得られるサブピクセルを変換前の表示画素のGのサブピクセルとみなす。
また、仮想表示画素121−1のGのサブピクセルについては、2つのサブピクセルの値のうち、大きい値として得られるサブピクセルを変換前の表示画素のGのサブピクセルとみなすようにしてもよいし、小さい値として得られるサブピクセルを変換前の表示画素のGのサブピクセルとみなすようにしてもよい。
そして、変換前のR,G,Bの各サブピクセルの値に基づいて、変換後のR,G,B,Wの各サブピクセルの値が求められ、表示画素211−1が生成されることになる。
表示画素211−2乃至表示画素211−4も同様にして生成される。
また、図10の表示画素212−1乃至表示画素212−4は、図9の表示画素122−1乃至表示画素122−4に基づいて生成される。図10の表示画素213−1は、図9の表示画素123−1に基づいて生成される。さらに、図10において、グレー表示されるようにハッチングされた正方形は、対応する画素を取得できないため、黒色で表示されるサブピクセルを表している。
図11と図12は、第1視点用の画像乃至第7視点用の画像により立体表示が行われる場合であって、図6に示されるような形状のステップバリア方式での表示について説明するさらに別の図である。図11と図12は、特に、第3視点用の画像に注目した図である。
図11には、ストライプ配列の画素により構成される画像であって、3つのサブピクセルが横方向に1列に配置された表示画素によって構成される2次元画像が示され、この画像103は、第3視点用画像とされる。
いまの場合、例えば、図12の表示画素222−1を生成するとき、図11の画像103の左から5番目の表示画素の一部と左から6番目の表示画素の一部とで構成される仮想表示画素を生成する。例えば、画像103の左から5番目の表示画素のGのサブピクセル、Bのサブピクセル、および、左から6番目の表示画素のRのサブピクセル、Gのサブピクセルを含む仮想表示画素132−1を生成する。ただし、仮想表示画素132−1のGのサブピクセルは、それぞれ左から5番目の表示画素のGのサブピクセルの半分と、左から6番目の表示画素のGのサブピクセルの半分によって構成されることになる。
同様にして、仮想表示画素132−2と仮想表示画素132−3も生成される。
上述した場合と同様、本技術では、例えば、仮想表示画素132−1のRのサブピクセル、すなわち、画像103の左から6番目の表示画素のRのサブピクセルを、変換前の表示画素のRのサブピクセルとみなす。また、仮想表示画素132−1のBのサブピクセル、すなわち、画像103の左から5番目の表示画素のBのサブピクセルを、変換前の表示画素のBのサブピクセルとみなす。そして、本技術では、画像103の左から5番目の表示画素のGのサブピクセルの値と、左から6番目の表示画素のGのサブピクセルの値の平均値として得られるサブピクセルを変換前の表示画素のGのサブピクセルとみなす。
また、仮想表示画素132−1のGのサブピクセルについては、2つのサブピクセルの値のうち、大きい値として得られるサブピクセルを変換前の表示画素のGのサブピクセルとみなすようにしてもよいし、小さい値として得られるサブピクセルを変換前の表示画素のGのサブピクセルとみなすようにしてもよい。
そして、変換前のR,G,Bの各サブピクセルの値に基づいて、変換後のR,G,B,Wの各サブピクセルの値が求められ、表示画素222−1が生成されることになる。
表示画素222−2と表示画素222−3も同様にして生成される。
また、図12の表示画素221−1乃至表示画素221−4は、図11の表示画素131−1乃至表示画素131−4に基づいて生成される。図12の表示画素223−1は、図11の仮想表示画素133−1に基づいて生成される。さらに、図12において、グレー表示されるようにハッチングされた正方形は、対応する画素を取得できないため、黒色で表示されるサブピクセルを表している。
図13と図14は、第1視点用の画像乃至第7視点用の画像により立体表示が行われる場合であって、図6に示されるような形状のステップバリア方式での表示について説明するさらに別の図である。図13と図14は、特に、第4視点用の画像に注目した図である。
図13には、ストライプ配列の画素により構成される画像であって、3つのサブピクセルが横方向に1列に配置された表示画素によって構成される2次元画像が示され、この画像104は、第4視点用画像とされる。
いまの場合、例えば、図14の表示画素231−1を生成するとき、図13の画像104の左から2番目の表示画素の一部と左から3番目の表示画素の一部とで構成される仮想表示画素を生成する。例えば、画像104の左から2番目の表示画素のGのサブピクセル、Bのサブピクセル、および、左から3番目の表示画素のRのサブピクセル、Gのサブピクセルを含む仮想表示画素141−1を生成する。ただし、仮想表示画素141−1のGのサブピクセルは、それぞれ左から2番目の表示画素のGのサブピクセルの半分と、左から3番目の表示画素のGのサブピクセルの半分によって構成されることになる。
同様にして、仮想表示画素141−2乃至仮想表示画素141−4も生成される。
上述した場合と同様、本技術では、例えば、仮想表示画素141−1のRのサブピクセル、すなわち、画像104の左から3番目の表示画素のRのサブピクセルを、変換前の表示画素のRのサブピクセルとみなす。また、仮想表示画素141−1のBのサブピクセル、すなわち、画像104の左から2番目の表示画素のBのサブピクセルを、変換前の表示画素のBのサブピクセルとみなす。そして、本技術では、画像104の左から2番目の表示画素のGのサブピクセルの値と、左から3番目の表示画素のGのサブピクセルの値の平均値として得られるサブピクセルを変換前の表示画素のGのサブピクセルとみなす。
また、仮想表示画素141−1のGのサブピクセルについては、2つのサブピクセルの値のうち、大きい値として得られるサブピクセルを変換前の表示画素のGのサブピクセルとみなすようにしてもよいし、小さい値として得られるサブピクセルを変換前の表示画素のGのサブピクセルとみなすようにしてもよい。
そして、変換前のR,G,Bの各サブピクセルの値に基づいて、変換後のR,G,B,Wの各サブピクセルの値が求められ、表示画素231−1が生成されることになる。
表示画素231−2乃至表示画素231−4も同様にして生成される。
また、図14の表示画素232−1乃至表示画素232−3は、図13の表示画素142−1乃至表示画素142−3に基づいて生成される。図14の表示画素233−1と表示画素233−2は、図13の表示画素143−1と表示画素143−2に基づいて生成される。さらに、図14において、グレー表示されるようにハッチングされた正方形は、対応する画素を取得できないため、黒色で表示されるサブピクセルを表している。
図15と図16は、第1視点用の画像乃至第7視点用の画像により立体表示が行われる場合であって、図6に示されるような形状のステップバリア方式での表示について説明するさらに別の図である。図15と図16は、特に、第5視点用の画像に注目した図である。
図15には、ストライプ配列の画素により構成される画像であって、3つのサブピクセルが横方向に1列に配置された表示画素によって構成される2次元画像が示され、この画像105は、第5視点用画像とされる。
いまの場合、例えば、図16の表示画素242−1を生成するとき、図15の画像105の左から6番目の表示画素の一部と左から7番目の表示画素の一部とで構成される仮想表示画素を生成する。例えば、画像105の左から6番目の表示画素のGのサブピクセル、Bのサブピクセル、および、左から7番目の表示画素のRのサブピクセル、Gのサブピクセルを含む仮想表示画素152−1を生成する。ただし、仮想表示画素152−1のGのサブピクセルは、それぞれ左から6番目の表示画素のGのサブピクセルの半分と、左から7番目の表示画素のGのサブピクセルの半分によって構成されることになる。
同様にして、仮想表示画素152−2も生成される。
上述した場合と同様、本技術では、例えば、仮想表示画素152−1のRのサブピクセルを、変換前の表示画素のRのサブピクセルとみなす。また、仮想表示画素152−1のBのサブピクセルを、変換前の表示画素のBのサブピクセルとみなす。そして、本技術では、画像105の左から6番目の表示画素のGのサブピクセルの値と、左から7番目の表示画素のGのサブピクセルの値の平均値として得られるサブピクセルを変換前の表示画素のGのサブピクセルとみなす。
また、仮想表示画素152−1のGのサブピクセルについては、2つのサブピクセルの値のうち、大きい値として得られるサブピクセルを変換前の表示画素のGのサブピクセルとみなすようにしてもよいし、小さい値として得られるサブピクセルを変換前の表示画素のGのサブピクセルとみなすようにしてもよい。
そして、変換前のR,G,Bの各サブピクセルの値に基づいて、変換後のR,G,B,Wの各サブピクセルの値が求められ、表示画素242−1が生成されることになる。
表示画素242−2も同様にして生成される。
また、図16の表示画素241−1乃至表示画素241−4は、図15の表示画素151−1乃至表示画素151−4に基づいて生成される。図16の表示画素243−1と表示画素243−2は、図15の仮想表示画素153−1と仮想表示画素153−2に基づいて生成される。さらに、図16において、グレー表示されるようにハッチングされた正方形は、対応する画素を取得できないため、黒色で表示されるサブピクセルを表している。
図17と図18は、第1視点用の画像乃至第7視点用の画像により立体表示が行われる場合であって、図6に示されるような形状のステップバリア方式での表示について説明するさらに別の図である。図17と図18は、特に、第6視点用の画像に注目した図である。
図17には、ストライプ配列の画素により構成される画像であって、3つのサブピクセルが横方向に1列に配置された表示画素によって構成される2次元画像が示され、この画像106は、第6視点用画像とされる。
いまの場合、例えば、図18の表示画素251−1を生成するとき、図17の画像106の左か3番目の表示画素の一部と左から4番目の表示画素の一部とで構成される仮想表示画素を生成する。例えば、画像106の左から3番目の表示画素のGのサブピクセル、Bのサブピクセル、および、左から4番目の表示画素のRのサブピクセル、Gのサブピクセルを含む仮想表示画素161−1を生成する。ただし、仮想表示画素161−1のGのサブピクセルは、それぞれ左から3番目の表示画素のGのサブピクセルの半分と、左から4番目の表示画素のGのサブピクセルの半分によって構成されることになる。
同様にして、仮想表示画素161−2乃至仮想表示画素161−4も生成される。
上述した場合と同様、本技術では、例えば、仮想表示画素161−1のRのサブピクセルを、変換前の表示画素のRのサブピクセルとみなす。また、仮想表示画素161−1のBのサブピクセルを、変換前の表示画素のBのサブピクセルとみなす。そして、本技術では、画像106の左から3番目の表示画素のGのサブピクセルの値と、左から4番目の表示画素のGのサブピクセルの値の平均値として得られるサブピクセルを変換前の表示画素のGのサブピクセルとみなす。
また、仮想表示画素161−1のGのサブピクセルについては、2つのサブピクセルの値のうち、大きい値として得られるサブピクセルを変換前の表示画素のGのサブピクセルとみなすようにしてもよいし、小さい値として得られるサブピクセルを変換前の表示画素のGのサブピクセルとみなすようにしてもよい。
そして、変換前のR,G,Bの各サブピクセルの値に基づいて、変換後のR,G,B,Wの各サブピクセルの値が求められ、表示画素202−1が生成されることになる。
表示画素251−2乃至表示画素251−4も同様にして生成される。
また、図18の表示画素252−1と表示画素252−2、図17の表示画素162−1と表示画素162−2に基づいて生成される。図18の表示画素253−1乃至表示画素253−3は、図17の表示画素163−1乃至表示画素163−3に基づいて生成される。さらに、図18において、グレー表示されるようにハッチングされた正方形は、対応する画素を取得できないため、黒色で表示されるサブピクセルを表している。
図19と図20は、第1視点用の画像乃至第7視点用の画像により立体表示が行われる場合であって、図6に示されるような形状のステップバリア方式での表示について説明するさらに別の図である。図19と図20は、特に、第7視点用の画像に注目した図である。
図19には、ストライプ配列の画素により構成される画像であって、3つのサブピクセルが横方向に1列に配置された表示画素によって構成される2次元画像が示され、この画像107は、第7視点用画像とされる。
いまの場合、例えば、図20の表示画素262−1を生成するとき、図19の画像107の左から7番目の表示画素の一部と左から8番目の表示画素の一部とで構成される仮想表示画素を生成する。例えば、画像107の左から7番目の表示画素のGのサブピクセル、Bのサブピクセル、および、左から8番目の表示画素のRのサブピクセル、Gのサブピクセルを含む仮想表示画素172−1を生成する。ただし、仮想表示画素172−1のGのサブピクセルは、それぞれ左から7番目の表示画素のGのサブピクセルの半分と、左から8番目の表示画素のGのサブピクセルの半分によって構成されることになる。
上述した場合と同様、本技術では、例えば、仮想表示画素172−1のRのサブピクセルを、変換前の表示画素のRのサブピクセルとみなす。また、仮想表示画素172−1のBのサブピクセルを、変換前の表示画素のBのサブピクセルとみなす。そして、本技術では、画像107の左から7番目の表示画素のGのサブピクセルの値と、左から8番目の表示画素のGのサブピクセルの値の平均値として得られるサブピクセルを変換前の表示画素のGのサブピクセルとみなす。
また、仮想表示画素172−1のGのサブピクセルについては、2つのサブピクセルの値のうち、大きい値として得られるサブピクセルを変換前の表示画素のGのサブピクセルとみなすようにしてもよいし、小さい値として得られるサブピクセルを変換前の表示画素のGのサブピクセルとみなすようにしてもよい。
そして、変換前のR,G,Bの各サブピクセルの値に基づいて、変換後のR,G,B,Wの各サブピクセルの値が求められ、表示画素262−1が生成されることになる。
また、図20の表示画素261−1は、図19の表示画素171−1に基づいて生成される。図20の表示画素263−1乃至表示画素263−3は、図19の仮想表示画素173−1乃至仮想表示画素173−3に基づいて生成される。さらに、図20において、グレー表示されるようにハッチングされた正方形は、対応する画素を取得できないため、黒色で表示されるサブピクセルを表している。
このように、第1視点用の画像乃至第7視点用の画像101乃至107の画素が合成されて多視点の画像200が生成される。例えば、図8、図10、図12、図14、図16、図18、および図20に示される画像200は、1つの画面の画像として合成されることになる。本技術では、このようにして多視点の画像を用いた立体表示のための画像が生成され、この際、ストライプ配列の画素がスクエア配列に変換される。
本技術では、上述したように、ストライプ配列の画素を、スクエア配列の画素に変換するとき、ストライプ配列の画素と、スクエア配列の画素の配置のずれを考慮してサブピクセルが生成される。従って、例えば、視差を有する画像における画素の配列の変換の際に、画質の劣化を抑えて変換することができる。
図4乃至図20を参照して上述した方式によりストライプ配列の画素をスクエア配列に変換した場合、上述したように、サブピクセルが並べ替えられたことにより、水平方向の解像度が2倍となり、垂直方向の解像度が1/2となっている。従って、変換前の画像の垂直方向の1つの表示画素に基づいて、変換後の画像の垂直方向の2つ表示画素が生成されることになる。
このことは、変換後の画像の垂直方向の1つの表示画素が、変換前の画像の垂直方向の2つの表示画素に対応付けられることを意味する。図4乃至図20を参照して上述した方式では、変換前の画像の垂直方向の2つの表示画素のうち、図中上側に位置する1つの表示画素(または仮想表示画素)の各サブピクセルの値に基づいて、変換後の1つの表示画素の各サブピクセルの値が求められるものとして説明した。しかし、変換前の画像の垂直方向の2つ(またはそれ以上)の表示画素のうち、図中下側に位置する1つの表示画素(または仮想表示画素)の各サブピクセルの値に基づいて、変換後の1つの表示画素の各サブピクセルの値が求められるようにすることも可能である。
例えば、図8に示される第1視点用の表示画素201−1の各サブピクセルの値が、図21に示される表示画素181−1の各サブピクセルの値に基づいて求められるようにしてもよい。図21には、表示画素181−1のみが示されているが、図8に示される第1視点用の表示画素は、同様に、変換前の画像の垂直方向の2つの表示画素のうち、図中下側に位置する1つの表示画素に基づいて生成される。
また、以上においては、ストライプ配列の1つの表示画素(または1つの仮想表示画素)を、スクエア配列の1つの表示画素に変換する例について説明した。しかし、例えば、ストライプ配列の2つの表示画素(または2つの仮想表示画素)を、スクエア配列の2つの表示画素に変換するようにしてもよい。
例えば、図22に示される第1視点用の画像101の表示画素群185−1に基づいて、図23に示される第1視点用の画像乃至第7視点用の画像を合成して得られる1画面の画像200の第1視点用の表示画素群281−1が生成されるようにしてもよい。すなわち、図22の表示画素群185−1に含まれる6つのサブピクセルの値に基づいて、図23の表示画素群281−1に含まれる8つのサブピクセルの値が求められるようにしてもよい。
この場合、例えば、変換前の画像の表示画素群に含まれる6つのサブピクセルと、変換前の画像の表示画素群に含まれる8つのサブピクセルとを予め対応付けておき、対応するサブピクセルの値に基づいて変換後の各サブピクセルの値が演算される。あるいはまた、変換前の画像の表示画素群に含まれる各サブピクセルの値を、色(R,G,B)毎に平均し、それら平均値に基づいて変換後の各サブピクセルの値が演算されるようにしてもよい。さらに、変換前の画像の表示画素群に含まれる各サブピクセルの値について、色(R,G,B)毎に最大値、または最小値を選択し、それら最大値または最小値に基づいて変換後の各サブピクセルの値が演算されるようにしてもよい。
あるいはまた、変換前の画像におけるストライプ配列の画素のサブピクセルが、不規則な形状で抽出されるようにしても構わない。例えば、図8に示される第1視点用の表示画素201−1の各サブピクセルの値が、図24に示されるように、枠191内のサブピクセルの値に基づいて求められるようにしてもよい。
この場合、例えば、図中左上端(第1行第1列目)のRのサブピクセルを変換前の表示画素のRのサブピクセルとみなし、第2行第3列目のBのサブピクセルを変換前の表示画素のBのサブピクセルとみなす。そして、第1行第2列目のサブピクセルと第2行第2列目のサブピクセルの値を平均して得られるサブピクセルを変換前の表示画素のGのサブピクセルとみなす。なお、Gのサブピクセルについては、2つのサブピクセルの値のうち、大きい値(または小さい値)として得られるサブピクセルを変換前の表示画素のGのサブピクセルとみなすようにしてもよい。
あるいはまた、図25に示される第2視点用の画像102の仮想表示画素群192−2に基づいて、図26に示される第1視点用の画像乃至第7視点用の画像を合成して得られる1画面の画像200の第2視点用の表示画素群292−1が生成されるようにしてもよい。
この場合、例えば、図25の画像102の第1行目左から1番目の表示画素の一部および第1行目左から2番目の表示画素の一部、並びに、第2行目左から1番目の表示画素の一部および第2行目左から2番目の表示画素の一部で構成される仮想表示画素群192−2が生成される。
ただし、仮想表示画素群192−1の第1行目のGのサブピクセルは、第1行目左から1番目の表示画素のGのサブピクセルの半分と、第1行目左から2番目の表示画素のGのサブピクセルの半分によって構成されることになる。また、仮想表示画素群192−1の第2行目のGのサブピクセルは、第2行目左から1番目の表示画素のGのサブピクセルの半分と、第2行目左から2番目の表示画素のGのサブピクセルの半分によって構成されることになる。
図25と図26の場合、例えば、仮想表示画素群192−1の画像102の第1行目左から1番目の表示画素のGのサブピクセルの値と、第1行目左から2番目の表示画素のGのサブピクセルの値の平均値として得られるサブピクセルを変換前の表示画素群の第1行目のGのサブピクセルとみなす。また、仮想表示画素群192−1の画像102の第2行目左から1番目の表示画素のGのサブピクセルの値と、第2行目左から2番目の表示画素のGのサブピクセルの値の平均値として得られるサブピクセルを変換前の表示画素群の第2行目のGのサブピクセルとみなす。
また、仮想表示画素192−1の第1行目と第2行目のGのサブピクセルについては、それぞれ2つのサブピクセルの値のうち、大きい値として得られるサブピクセルを変換前の表示画素のGのサブピクセルとみなすようにしてもよいし、小さい値として得られるサブピクセルを変換前の表示画素のGのサブピクセルとみなすようにしてもよい。
このようにして、仮想表示画素群192−1の各サブピクセルの値を特定し、図22と図23を参照して上述した場合と同様にして、図26の表示画素群292−1に含まれる8つのサブピクセルの値が求められるようにしてもよい。
このようにすることで、より高い精度でストライプ配列の画素により構成される画像をスクエア配列の画素により構成される画像に変換することができる。
以上においては、ストレートバリア方式とステップバリア方式の場合の例について説明したが、パララックスバリアの光学開口が斜め方向に延びるようにした、斜めバリア方式にも本技術を適用することができる。
図27は、本技術を適用した多視点立体表示システムの一実施の形態に係る構成例を示すブロック図である。同図の例では、画像処理装置401とディスプレイ402により多視点立体表示システム400が構成されている。
画像処理装置401は、例えば、図4乃至図26を参照して上述したように、複数の視点用の画像を合成して1画面の画像を生成するようになされている。また、この際、ストライプ配列の画素により構成される画像をスクエア配列の画素により構成される画像に変換するようになされている。
ディスプレイ402は、立体表示を可能とするディスプレイとされ、例えば、図1を参照して上述したように、画面Wと観察者Hとの間に各視点用の画像をそれぞれ空間的に分離するパララックスバリアを有する構成とされる。例えば、パララックスバリアとしてスリット、レンチキュラーレンズ、液晶レンズなどが用いられる。
また、パララックスバリアは、ストレートバリア方式、ステップバリア方式、斜めバリア方式のいずれであってもよい。
図27の画像処理装置401は、データ取得部411、視差画像生成部412、および視差画像合成部413により構成されている。
データ取得部411は、例えば、多視点の画像を生成するために必要となる画像データを取得する。データ取得部411は、例えば、記録媒体に記録されているデータを取得するものであってもよいし、ネットワークを介して他の機器からデータを取得するものであってもよい。
視差画像生成部412は、データ取得部411により取得された画像データに基づいて、複数の視点用の画像データを生成する。視差画像生成部412は、例えば、図7、図9、図11、図13、図15、図17、図19に示した第1視点用の画像101乃至第7視点用の画像107の画像データを生成する。
視差画像合成部413は、複数の視点用の画像を合成して1画面の画像を生成する。視差画像合成部413は、例えば、図8、図10、図12、図14、図16、図18、および図20に示される画像200を、1つの画面の画像として合成する。
図28は、図27の視差画像合成部413の詳細な構成例を示すブロック図である。同図に示されるように、視差画像合成部413は、画素変換部431−1、画素変換部431−2、画素変換部431−3、・・・、および合成部432を有する構成とされる。なお、画素変換部は、視差画像生成部412において生成される画像データの視点の数に対応する数だけ設けられる。例えば、視差画像生成部412において、第1視点用の画像乃至第N視点用の画像の画像データが生成される場合、画素変換部431−1、画素変換部431−2、画素変換部431−3、・・・画素変換部431−Nが設けられる。
画素変換部431−1、画素変換部431−2、画素変換部431−3、・・・画素変換部431−Nのそれぞれは同様の構成を有しており、図28には、画素変換部431−1の詳細な構成が示されている。この例では、画素変換部431−1は、変換方式決定部441、変換前サブピクセル抽出部442、サブピクセル値決定部443、変換後サブピクセル生成部444を有する構成とされている。
なお、画素変換部431−1、画素変換部431−2、画素変換部431−3、・・・画素変換部431−Nをそれぞれ区別する必要がない場合、まとめて画素変換部431と記述することにする。
変換方式決定部441は、例えば、ディスプレイ402のパララックスバリアの形状(ストレートバリア方式、ステップバリア方式、斜めバリア方式など)を特定する。また、変換方式決定部441は、変換前後の画素間の対応関係を特定する。例えば、図7乃至図20を参照して上述したように変換前後の画素を対応付けるのか、図21を参照して上述したように変換前後の画素を対応付けるのか、図22と図23を参照して上述したように変換前後の画素を対応付けるのか、図24を参照して上述したように変換前後の画素を対応付けるのかを特定する。あるいはまた、図25と図26を参照して上述したように変換前後の画素を対応付けるのかを特定する。
変換前サブピクセル抽出部442は、変換方式決定部441により特定されたパララックスバリアの形状、および変換前後の画素間の対応関係に基づいて、これから変換する画素に対応するサブピクセルを変換前の画像から抽出する。
サブピクセル値決定部443は、変換前のサブピクセルの値を決定する。
例えば、変換前サブピクセル抽出部442により図7の表示画素111−1が抽出された場合、サブピクセル値決定部443は、表示画素111−1を構成するRのサブピクセルの値、Gのサブピクセルの値、および、Bのサブピクセルの値を、それぞれ変換前のサブピクセルの値として決定する。
また、例えば、変換前サブピクセル抽出部442により図7の仮想表示画素112−1が抽出された場合、サブピクセル値決定部443は、まず、画像101の左から第4番目の表示画素のBのサブピクセルの値、および、左から第5番目の表示画素のRのサブピクセルの値を、それぞれ変換前のサブピクセルの値として決定する。さらに、サブピクセル値決定部443は、画像101の左から4番目の表示画素のGのサブピクセルの値と、左から5番目の表示画素のGのサブピクセルの値の平均値を変換前のサブピクセルの値として決定する。なお、左から4番目の表示画素のGのサブピクセルの値と、左から5番目の表示画素のGのサブピクセルの値のうち、大きい方(または小さい方)の値が変換前のサブピクセルの値として決定されるようにしてもよい。
さらに、例えば、変換前サブピクセル抽出部442により図24に示される枠191内のサブピクセルが抽出される場合、サブピクセル値決定部443は、まず、図中左上端(第1行第1列目)のRのサブピクセルの値、第2行第3列目のBのサブピクセルの値を変換前のサブピクセルの値として決定する。そして、サブピクセル値決定部443は、第1行第2列目のサブピクセルと第2行第2列目のサブピクセルの値を平均して得られる値を変換前のサブピクセルの値として決定する。なお、Gのサブピクセルについては、2つのサブピクセルの値のうち、大きい値(または小さい値)として得られるサブピクセルの値が変換前のサブピクセルの値として決定されるようにしてもよい。
変換後サブピクセル生成部444は、サブピクセル値決定部443により決定された変換前のサブピクセルの値に基づいて、変換後のサブピクセルの値を演算し、変換後の画像の各表示画素を生成する。
このようにして、画素変換部431−1によって第1視点用画像の表示画素のみで合成される画像が生成される。
例えば、視差画像生成部412において、第1視点用の画像乃至第N視点用の画像の画像データが生成される場合、次のようになる。画素変換部431−1によって第1視点用画像の表示画素のみで合成される画像(例えば、図8に示される画像200)が生成される。同様に、画素変換部431−2によって第2視点用画像の表示画素のみで合成される画像(例えば、図10に示される画像200)が生成され、・・・画素変換部431−7によって第7視点用画像の表示画素のみで合成される画像(例えば、図20に示される画像200)が生成される。
そして、合成部432が、画素変換部431−1、画素変換部431−2、画素変換部431−3、・・・から出力される各画像を合成して1画面の画像を生成する。
次に、図29のフローチャートを参照して、図27の多視点立体表示システム400による多視点立体表示処理の例について説明する。
ステップS21において、画像処理装置401の視差画像生成部412は、視差画像生成処理を実行する。
ここで、図30のフローチャートを参照して、図29のステップS21の視差画像生成処理の詳細な例について説明する。
ステップS41において、視差画像生成部412は、元となる画像を取得する。このとき、例えば、データ取得部411を介して、多視点の画像を生成するために必要となる画像データが取得される。
ステップS42において、画像の視点を特定するための変数nの値が1にセットされる。
ステップS43において、視差画像生成部412は、ステップS41の処理で取得された画像に基づいて、第n番目の視点用の平面画像を生成する。
ステップS44において、変数nが生成すべき画像の視点の数Nと等しいか否かが判定される。変数nの値がNと等しくないと判定された場合、処理は、ステップS45に進み、変数nの値が1だけインクリメントされる。その後、処理は、ステップS43に戻り、それ以降の処理が繰り返し実行される。
ステップS44において、変数nが生成すべき画像の視点の数Nと等しいと判定された場合、処理は、ステップS46に進む。
ステップS46において、視差画像生成部412は、各視点用の画像データを出力する。これにより、第1視点用の画像乃至第N視点用の画像の画像データが出力される。例えば、図7、図9、図11、図13、図15、図17、図19に示した第1視点用の画像101乃至第7視点用の画像107の画像データが生成されて出力されることになる。
このようにして、視差画像生成処理が実行される。
図29に戻って、ステップS21の処理の後、処理は、ステップS22に進む。
ステップS22において、画像処理装置401の視差画像合成部413は、視差画像合成処理を実行する。
ここで、図31のフローチャートを参照して、図29のステップS22の視差画像合成処理の詳細な例について説明する。
ステップS61において、視差画像合成部413の画素変換部431−1、画素変換部431−2、・・・画素変換部431−Nは、図32を参照して後述する画素変換処理を実行する。これにより、例えば、図8、図10、図12、図14、図16、図18、および図20に示される画像200がそれぞれ生成される。
ステップS62において、視差画像合成部413の合成部432は、ステップS62の処理で生成された各視点用の画像を合成して1画面の画像を生成する。
このようにして、視差画像合成処理が実行される。
図29に戻って、ステップS22の処理の後、処理は、ステップS23に進む。ステップS23において、ステップS22の処理で生成された画像がディスプレイ402に表示される。これにより、観察者に立体画像が提示されることになる。
このようにして、多視点立体表示処理が実行される。
次に、図32のフローチャートを参照して、図31のステップS61の画素変換処理の詳細な例について説明する。この処理は、例えば、画素変換部431−1、・・・画素変換部431−Nのそれぞれによって並行して実行される。すなわち、画素変換部431−1、・・・画素変換部431−Nのそれぞれによって、第1視点用の画像、・・・第N視点用の画像に対応する処理が実行される。
ステップS81において、画素変換部431の変換方式決定部441は、変換方式を決定する。このとき、変換方式決定部441は、例えば、ディスプレイ402のパララックスバリアの形状(ストレートバリア方式、ステップバリア方式、斜めバリア方式など)を特定する。また、変換方式決定部441は、変換前後の画素間の対応関係を特定する。例えば、図7乃至図20を参照して上述したように変換前後の画素を対応付けるのか、図21を参照して上述したように変換前後の画素を対応付けるのか、図22と図23を参照して上述したように変換前後の画素を対応付けるのか、図24を参照して上述したように変換前後の画素を対応付けるのかを特定する。あるいはまた、図25と図26を参照して上述したように変換前後の画素を対応付けるのかを特定する。
ステップS82において、ステップS81の処理に伴って特定された変換前後の画素の対応関係に基づいて、変換前後のサブピクセルの位置を特定する。
ステップS83において、画素変換部431の変換前サブピクセル抽出部442は、ステップS82の処理の結果特定された位置のサブピクセルであって、これから変換する画素に対応するサブピクセル(変換前のサブピクセル)を変換前の画像から抽出する。
ステップS84において、サブピクセル値決定部443は、変換前のサブピクセルの値を決定する。
このとき、例えば、変換前サブピクセル抽出部442により図7の表示画素111−1が抽出された場合、サブピクセル値決定部443は、表示画素111−1を構成するRのサブピクセルの値、Gのサブピクセルの値、および、Bのサブピクセルの値を、それぞれ変換前のサブピクセルの値として決定する。
また、例えば、変換前サブピクセル抽出部442により図7の仮想表示画素112−1が抽出された場合、サブピクセル値決定部443は、まず、画像101の左から第4番目の表示画素のBのサブピクセルの値、および、左から第5番目の表示画素のBのサブピクセルの値を、それぞれ変換前のサブピクセルの値として決定する。さらに、サブピクセル値決定部443は、画像101の左から4番目の表示画素のGのサブピクセルの値と、左から5番目の表示画素のGのサブピクセルの値の平均値を変換前のサブピクセルの値として決定する。なお、左から4番目の表示画素のGのサブピクセルの値と、左から5番目の表示画素のGのサブピクセルの値のうち、大きい方(または小さい方)の値が変換前のサブピクセルの値として決定されるようにしてもよい。
さらに、例えば、変換前サブピクセル抽出部442により図24に示される枠191内のサブピクセルが抽出される場合、サブピクセル値決定部443は、まず、図中左上端(第1行第1列目)のRのサブピクセルの値、第2行第3列目のBのサブピクセルの値を変換前のサブピクセルの値として決定する。そして、サブピクセル値決定部443は、第1行第2列目のサブピクセルと第2行第2列目のサブピクセルの値を平均して得られる値を変換前のサブピクセルの値として決定する。なお、Gのサブピクセルについては、2つのサブピクセルの値のうち、大きい値(または小さい値)として得られるサブピクセルの値が変換前のサブピクセルの値として決定されるようにしてもよい。
ステップS85において、変換後サブピクセル生成部444は、ステップS84の処理でサブピクセル値決定部443により決定された変換前のサブピクセルの値に基づいて、変換後のサブピクセルの値を演算し、変換後の画像の各表示画素を生成する。
ステップS86において、当該視点用の画像について全画素分の処理がなされたか否かが判定され、まだ、全画素分の処理がなされていないと判定された場合、処理は、ステップS82に戻り、それ以降の処理が繰り返し実行される。
ステップS86において、当該視点用の画像について全画素分の処理がなされたと判定された場合、処理は、終了する。
このようにして、画素変換処理が実行される。
図33は、本技術を適用した多視点立体表示システムの一実施の形態に係る別の構成例を示すブロック図である。画像処理装置401とディスプレイ402により多視点立体表示システム400が構成されているが、図33の例の場合、画像処理装置401は、視差画像生成部412、および視差画像合成部413により構成されている。このように、例えば、データ取得部411を設けることなく、視差画像生成部が独自に各視点用の画像を生成する構成とされてもよい。
図34は、本技術を適用した多視点立体表示システムの一実施の形態に係るさらに別の構成例を示すブロック図である。画像処理装置401とディスプレイ402により多視点立体表示システム400が構成されているが、図34の例の場合、画像処理装置401は、データ取得部411、および視差画像合成部413により構成されている。このように、例えば、データ取得部411により、各視点用の画像が直接取得される構成とされてもよい。
なお、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば図35に示されるような汎用のパーソナルコンピュータ700などに、ネットワークや記録媒体からインストールされる。
図35において、CPU(Central Processing Unit)701は、ROM(Read Only Memory)702に記憶されているプログラム、または記憶部708からRAM(Random Access Memory)703にロードされたプログラムに従って各種の処理を実行する。RAM703にはまた、CPU701が各種の処理を実行する上において必要なデータなども適宜記憶される。
CPU701、ROM702、およびRAM703は、バス704を介して相互に接続されている。このバス704にはまた、入出力インタフェース705も接続されている。
入出力インタフェース705には、キーボード、マウスなどよりなる入力部706、LCD(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部707、ハードディスクなどより構成される記憶部708、モデム、LANカードなどのネットワークインタフェースカードなどより構成される通信部709が接続されている。通信部709は、インターネットを含むネットワークを介しての通信処理を行う。
入出力インタフェース705にはまた、必要に応じてドライブ710が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア711が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部708にインストールされる。
上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、インターネットなどのネットワークや、リムーバブルメディア711などからなる記録媒体からインストールされる。
なお、この記録媒体は、図35に示される、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク(フロッピディスク(登録商標)を含む)、光ディスク(CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む)、光磁気ディスク(MD(Mini-Disk)(登録商標)を含む)、もしくは半導体メモリなどよりなるリムーバブルメディア711により構成されるものだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM702や、記憶部708に含まれるハードディスクなどで構成されるものも含む。
なお、本明細書において上述した一連の処理は、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
なお、本技術は以下のような構成も取ることができる。
(1)
複数の視点の平面画像のそれぞれを構成する画素の配列を変換するとともに、前記画素の配列が変換された複数の視点の平面画像を合成して立体表示用画像を生成する変換合成部を備え、
前記変換合成部は、
複数の視点の平面画像のそれぞれを構成する画素のサブピクセルである視点画像サブピクセルと、前記立体表示用画像を構成する画素のサブピクセルである立体表示サブピクセルとを対応づける対応制御部と、
前記視点毎に、前記平面画像から抽出された前記視点画像サブピクセルに基づいて、変換前のサブピクセルの値を前記サブピクセルの色毎に決定するサブピクセル値決定部と、
前記決定された変換前のサブピクセルの値に基づいて、変換後のサブピクセルの値を求めることで当該視点画像サブピクセルに対応付けられた立体表示サブピクセルを生成するサブピクセル生成部とを備える
表示制御装置。
(2)
前記変換合成部は、
3色のサブピクセルで構成されるストライプ配列の画素を、4色のサブピクセルで構成されるスクエア配列の画素に変換する
(1)に記載の表示制御装置。
(3)
前記立体表示用画像は、前記平面画像に対して水平方向の解像度が2倍とされ、垂直方向の解像度が1/2とされる
(1)または(2)に記載の表示制御装置。
(4)
前記サブピクセル値決定部は、
前記対応制御部により対応づけられた前記視点画像サブピクセルにおいて、1色につき2つ以上のサブピクセルが含まれている場合、前記2つ以上のサブピクセルの値に所定の演算を施すことにより得られた値を、当該色に係る変換前のサブピクセルの値として決定する
(1)乃至(3)のいずれかに記載の表示制御装置。
(5)
前記サブピクセル値決定部は、
前記対応制御部により対応づけられた前記視点画像サブピクセルにおいて、1色につき2つのサブピクセルが含まれている場合、前記2つのサブピクセルの値のうち大きい値を、当該色に係る変換前のサブピクセルの値として決定する
(1)乃至(4)のいずれかに記載の表示制御装置。
(6)
前記サブピクセル値決定部は、
前記対応制御部により対応づけられた前記視点画像サブピクセルにおいて、1色につき2つのサブピクセルが含まれている場合、前記2つのサブピクセルの値のうち小さい値を、当該色に係る変換前のサブピクセルの値として決定する
(1)乃至(5)のいずれかに記載の表示制御装置。
(7)
前記変換合成部により合成された立体表示用画像を、所定の形状を有するパララックスバリアを介して観察することで、立体画像が観察される
(1)乃至(6)のいずれかに記載の表示制御装置。
(8)
変換合成部が、複数の視点の平面画像のそれぞれを構成する画素の配列を変換するとともに、前記画素の配列が変換された複数の視点の平面画像を合成して立体表示用画像を生成するステップを含み、
立体表示用画像を生成するステップでは、
複数の視点の平面画像のそれぞれを構成する画素のサブピクセルである視点画像サブピクセルと、前記立体表示用画像を構成する画素のサブピクセルである立体表示サブピクセルとが対応づけられ、
前記視点毎に、前記平面画像から抽出された前記視点画像サブピクセルに基づいて、変換前のサブピクセルの値が前記サブピクセルの色毎に決定され、
前記決定された変換前のサブピクセルの値に基づいて、変換後のサブピクセルの値を求めることで当該視点画像サブピクセルに対応付けられた立体表示サブピクセルが生成される
表示制御方法。
(9)
複数の視点の平面画像のそれぞれを構成する画素の配列を変換するとともに、前記画素の配列が変換された複数の視点の平面画像を合成して立体表示用画像を生成する変換合成部を有する表示制御部と、
前記表示制御部によって生成された立体表示用画像を表示する表示部と、
前記表示された前記立体表示用画像において、異なる視点の前記画像が観察者の異なる眼で観察されるように、各視点の前記画像を光学的に分離する分離部とを備え、
前記変換合成部は、
複数の視点の平面画像のそれぞれを構成する画素のサブピクセルである視点画像サブピクセルと、前記立体表示用画像を構成する画素のサブピクセルである立体表示サブピクセルとを対応づける対応制御部と、
前記視点毎に、前記平面画像から抽出された前記視点画像サブピクセルに基づいて、変換前のサブピクセルの値を前記サブピクセルの色毎に決定するサブピクセル値決定部と、
前記決定された変換前のサブピクセルの値に基づいて、変換後のサブピクセルの値を求めることで当該視点画像サブピクセルに対応付けられた立体表示サブピクセルを生成するサブピクセル生成部とを備える表示制御部と、
前記表示制御部によって生成された立体表示用画像を表示する表示部と、
前記表示された前記立体表示用画像において、異なる視点の前記画像が観察者の異なる眼で観察されるように、各視点の前記画像を光学的に分離する分離部と
を備える表示装置。
(10)
前記分離部を構成する光学分離素子として液晶レンズが用いられる
(9)に記載の表示装置。