JPWO2004043079A1 - 立体映像処理方法及び立体映像表示装置 - Google Patents

Abstract

複数の視点映像から各視点映像ごとにピクセル単位となる３色のドットを抽出する立体映像処理方法である。各視点映像から抽出したピクセル単位となる３色のドットの集まりをピクセルグループとする。太線で囲まれた２１個のドット群が１つのピクセルグループを構成している。各ピクセルグループに開口（１）が対応し、ある観察位置からは、視点４の左上のピクセルを構成する｛４；１１；Ｒ｝、｛４；１１；Ｇ｝、｛４；１１；Ｂ｝の３色のドットが同時に観察される。観察位置の移動に従って、同じピクセル座標１１で｛３；１１；Ｒ｝、｛３；１１；Ｇ｝、｛３；１１；Ｂ｝というように視点の異なるピクセルを観察する。そして、ピクセルグループの表示ピッチの縦横比が１対１に最も近くなるようにピクセルグループにおけるピクセルの配置を設定している。これにより、視点数が多くなった場合でも水平方向解像度の低下を緩和し得るので、画質向上が期待できる。

Description

この発明は、特殊な眼鏡を必要とせずに立体視が行なえる立体映像表示装置及び立体映像処理方法に関する。

従来より、特殊な眼鏡を必要とせずに立体映像表示を実現する方法しとて、パララックスバリア方式やレンチキュラーレンズ方式等が知られているが、これらの方式は両眼視差を有する右眼用映像と左眼用映像とを、例えば縦ストライプ状に画面に交互に表示し、この表示画像をパララックスバリアやレンチキュラーレンズ等で分離して観察者の右眼と左眼に各々導くことで立体視を行わせるものである。
図１１は、４眼式立体視方式の立体映像表示装置の原理を例示した説明図である。画面１１の水平方向に両眼視差を有する映像▲１▼と映像▲２▼と映像▲３▼と映像▲４▼とが所定ピッチで並び、この「映像▲１▼映像▲２▼映像▲３▼映像▲４▼」の単位映像グループが繰り返し存在している。映像分離手段１２の開口１２ａは各単位映像グループに対応して存在しており、各単位映像グループである「映像▲１▼映像▲２▼映像▲３▼映像▲４▼」を分離して観察者に与える。
図１２は７眼式立体視方式の画素の並び方及び表示画素データを示している。図において太線で囲まれた２１個の画素（ドット）群が１つのピクセルグループを構成しており、これに３つのピンホール（開口）が対応し、ある観察位置からは、視点１の左上の絵素（ピクセル）を構成する｛１；１１；Ｒ｝、｛１；１１；Ｇ｝、｛１；１１；Ｂ｝の３色のドットが同時に観察される。ここで、｛ｉ；ｊｋ；Ｃ｝は、それぞれ｛視点；ピクセル座標；色｝を表す。そして、観察位置の移動に従って、同じピクセル座標１１について｛２；１１；Ｇ｝、｛２；１１；Ｂ｝、｛２；１１；Ｒ｝・・・というように視点の異なるピクセルを観察することになる。
図１２（ａ）に示した画素の並び方及び表示画素データを採用する立体映像処理方法では、水平方向のピクセル数だけが１／７に劣化することになる。これはピクセルの水平ピッチが７倍になるということで、水平ピッチの垂直ピッチに対する比の値は７になる。
この考え方を斜め方向にピンホールが並ぶ映像分離手段（図示せず）を用いる７眼式の立体画像表示装置に応用すると、図１２（ｂ）に示すようになる。ピクセルグループは同じであるが、グループ内の視点番号の並びが変わる。ここでも同じように水平方向のピクセル数が劣化する。このように水平方向にのみ視差がある場合は、通常水平方向のみピクセル数が劣化するものである。なお、複数のピンホールを斜めに配置する立体映像表示装置として特許第３０９６６１３号が知られている。
一般的な映像表示装置は、隣接する赤、緑、青の３色の画素（ドット）がひとつの絵素（ピクセル）を構成する。パララックスバリア方式や、特許文献１に開示された立体映像表示装置では、図１２に示したごとく、本来同じピクセルを構成するドットがそれぞれ異なる視点の画像を表示することになり、また、視点数が多くなると、各視点のピクセルを構成するドットの組み合わせにおいて、水平方向解像度の低下が避けられないなど、不満が生じてくる。また、立体映像表示装置にとって適した映像処理方法を提案するものはなかった。

この発明は、上記の事情に鑑み、改善された立体映像処理方法及び立体映像表示装置を提供することを目的とする。
この発明の立体映像処理方法は、上記の課題を解決するために、複数の視点映像から各視点映像ごとに絵素単位となる複数画素を抽出する立体映像処理方法であって、各視点映像から抽出した絵素単位となる複数画素のデータの集まりを絵素グループとし、立体映像表示装置の画面上での前記絵素グループの表示ピッチの縦横比が、１対１に最も近くなるように前記絵素グループにおける絵素単位の配置を設定することを特徴とする。
上記の構成であれば、立体映像表示装置の画面上での前記絵素グループの表示ピッチの縦横比が１対１に最も近くなるように前記絵素グループにおける絵素単位の配置が設定されるため、各視点の絵素を構成する画素同士が近づくなど好適となり、視点数が多くなった場合でも水平方向解像度の低下を緩和し得るので、画質向上が期待できる。
また、この発明の立体映像処理方法は、複数の視点映像から各視点映像ごとに絵素単位となる複数画素を抽出する立体映像処理方法であって、各視点映像から抽出した絵素単位となる複数画素のデータの集まりを絵素グループとし、立体映像表示装置の画面上での前記絵素グループの表示ピッチの縦横比が、１対２から２対１の範囲となるように前記絵素グループにおける絵素単位の配置を設定することを特徴とする。
かかる構成においても、立体映像表示装置の画面上での前記絵素グループの表示ピッチの縦横比が１対２から２対１の範囲となるように前記絵素グループにおける絵素単位の配置が設定されるため、各視点の絵素を構成する画素同士が近づくなど好適となり、また、視点数が多くなった場合でも水平方向解像度の低下を緩和し得る。
各視点映像から抽出した絵素単位となる複数画素のデータをビットマップ上に斜め配置してもよい。また、各視点映像から抽出した絵素単位となる複数画素のデータを立体映像表示装置の画面上で斜めに並ぶように供給してもよい。また、各視点映像から抽出した絵素単位となる複数画素のデータを立体映像表示装置の画面上で斜めに並ぶように映像信号化して供給するようにしてもよい。
表示絵素数が水平Ｍ×垂直Ｎであり、視点数をＬとし、１絵素を構成する画素数をｋとし、各視点映像の絵素数を水平ｋＭ／Ｌ×垂直Ｎ／ｋとして各視点映像の対応する映像領域ごとに各視点映像から必要な画素のデータを抽出してもよい。これによれば、各視点映像の画素の座標が立体用映像には承継されないが、各視点映像で捨てられる画素がないため、映像生成の無駄を排除できる。また、各視点映像の絵素数が水平ｋＭ／Ｌ×垂直Ｎ／ｋで、且つ、画像縦横比が表示画像の縦横比と一致するように、画像取得系で取得した画像を処理し、各視点映像を取得するようにしてもよい。これによれば表示画像の歪みを防止できる。また、画像取得系の画像縦横比を表示画像の縦横比と一致させ、各視点映像を取得するようにしてもよい。これによれば、表示画像の歪みを防止できる。
表示の絵素数が水平Ｍ×垂直Ｎであり、視点数をＬとし、１絵素を構成する画素数をｋとし、各視点映像の絵素数を水平ｋＭ／Ｌ×垂直Ｎ／ｋとして取得した各視点映像を、水平Ｍ×垂直Ｎに拡大処理し、対応する映像領域ごとに各視点映像から必要な画素のデータを抽出生成するようにしてもよい。これによれば、表示画像の歪みを防止できる。また、この処理方法では、合成時に使用するメモリは増加するが、画像取得系の負担は、当初から表示画像（合成画像）サイズで取得するのに比べて少ない。
各視点映像を左右に１画素乃至数画素大きなものとし、画面左右に発生することとなる無データ箇所に、前記大きくした画素から抽出したデータを用いるようにしてもよい。或いは、画面左右に発生することとなる無データ箇所に、黒データを用いるようにしてもよい。或いは、近接する同じ視点の画素のコピーデータを用いるようにしてもよい。
また、垂直方向の視差も有した立体視用映像を生成するようにしてもよい。
また、この発明の立体映像表示装置は、映像が表示される画面と、各視点映像の画素が観察できる位置を分離する分離手段とを備えた立体映像表示装置において、上述したいずれかの立体映像処理方法によって得られた映像を画面に表示すると画面上での表示絵素グループのピッチの縦横比が１対１乃至略１対１となるように画面画素ピッチの縦横比が設定されていることを特徴とする。視点数をＬとし、１絵素を構成する画素数をｋとすると、表示画素のピッチがｋ（横）：Ｌ（縦）に設定され、表示絵素グループの縦横比が、横：縦＝１：１となるように構成されていてもよい。
以上の構成において、赤色用画素行、緑色用画素行、青用画素行が垂直方向に順繰りに配置されていてもよく、これによれば、絵素を構成する画素の色の並びが一致することになり、画面エッジの画質が向上する。また、この発明の立体映像表示装置は、映像が表示される画面と、各視点映像の画素が観察できる位置を分離する分離手段とを備えた立体映像表示装置において、視点数をＬとし、画面画素ピッチの縦横比がｋＬ対１乃至略ｋＬ対１に設定され、各視点映像の画素データが水平方向に順繰りに設定された映像の供給を受けて映像表示を行い、画面上での表示絵素グループのピッチの縦横比が１対１乃至略１対１となるように構成されたことを特徴とする。かかる構成において、視点映像の数に対応した数の同一色の画素が連続して配置されているのがよく、これによれば、絵素を構成する画素の色の並びが一致することになり、画面エッジの画質が向上する。

図１はこの発明の実施形態を示す図であって、画面上での画素の色並び、画素領域の大きさ、画素に表示される映像を示した説明図である。図２は図１における画面の色並びを示した説明図である。図３は表示画像を複数枚の原画像から合成する処理を示した説明図である。図４はこの発明の実施形態を示す図であって、表示画像を複数枚の原画像から合成する処理を示した説明図である。図５はこの発明の実施形態を示す図であって、画面上での画素の色並び、画素領域の大きさ、画素に表示される映像を示した説明図である。図６はこの発明の実施形態を示す図であって、画面上での画素の色並び、画素領域の大きさ、画素に表示される映像を示した説明図である。図７はこの発明の実施形態を示す図であって、画面上での画素の色並び、画素領域の大きさ、画素に表示される映像を示した説明図である。図８はこの発明の実施形態を示す図であって、画面上での画素の色並び、画素領域の大きさ、画素に表示される映像を示した説明図である。図９はこの発明の実施形態を示す図であって、画面上での画素の色並び、画素領域の大きさ、画素に表示される映像を示した説明図である。図１０はこの発明の実施形態を示す図であって、画面上での画素の色並び、画素領域の大きさ、画素に表示される映像を示した説明図である。図１１は多眼式立体映像表示装置の基本構成を示した説明図である。図１２（ａ）及び（ｂ）はそれぞれ従来例を示す図であって、画面上での画素の色並び、画素領域の大きさ、画素に表示される映像を示した説明図である。図１３はこの発明の実施形態を示す図であって、表示画像を複数枚の原画像から合成する処理を示した説明図である。図１４はこの発明の実施形態を示す図であって、表示画像を複数枚の原画像から合成する処理を示した説明図である。図１５はこの発明の実施形態を示す図であって、表示画像を複数枚の原画像から合成する処理を示した説明図である。図１６はこの発明の実施形態を示す図であって、画面上での画素の色並び、画素領域の大きさ、画素に表示される映像を示した説明図である。図１７はこの発明の実施形態を示す図であって、画面上での画素の色並び、画素領域の大きさ、画素に表示される映像を示した説明図である。図１８はこの発明の実施形態を示す図であって、画面上での画素の色並び、画素領域の大きさ、画素に表示される映像を示した説明図である。図１９はこの発明の実施形態を示す図であって、画面上での画素の色並び、画素領域の大きさ、画素に表示される映像を示した説明図である。図２０はこの発明の実施形態を示す図であって、画面上での画素の色並び、画素領域の大きさ、画素に表示される映像を示した説明図である。図２１はこの発明の実施形態を示す図であって、画面上での画素の色並び、画素領域の大きさ、画素に表示される映像を示した説明図である。図２２は図１４の処理を表した説明図である。

以下、この発明の実施形態の立体映像処理方法及び立体映像表示装置を図１乃至図９、図１３乃至図２２に基づいて説明していく。なお、立体映像表示装置の全体構成は従来項で述べた図１１の構成を採用できるものであり、説明の重複による冗長をさけるため、全体構成の説明は省略している。
図１は、立体映像表示装置の画面上での画素（ドット）の色並び（Ｒ，Ｇ，Ｂ列）、画素領域の大きさ、画素に表示される映像を示しており、ここでは、各視点映像の数を７とし（７眼式）、各視点映像の対応する映像領域ごとに各視点映像から抽出した絵素（ピクセル）単位となる赤、緑、青（ＲＧＢ）の画素のデータを斜め配置のドットに与え、例えば図において点線で示す開口１により映像分離を行なう。太線で囲まれた２１個のドット群が１つのピクセルグループを構成しており、これに前記開口１が対応し、ある観察位置からは、視点１の左上のピクセルを構成する｛１；１１；Ｒ｝、｛１；１１；Ｇ｝、｛１；１１；Ｂ｝の３色のドットが同時に観察される。ここで、｛ｉ；ｊｋ；Ｃ｝はそれぞれ｛視点；ピクセル座標；色｝を表す。そして、観察位置の移動に従って、同じピクセル座標１１で｛２；１１；Ｇ｝、｛２；１１；Ｂ｝、｛２；１１；Ｒ｝・・・というように視点の異なるピクセルを観察する。
画面（ディスプレイ）には平面画像の表示を最適に行うものを用いている。ここでは一例として、ピクセル数が水平３８４０×垂直２４００の液晶パネルを用いるものとする。各ピクセルは赤、緑、青の３色のドットの組み合わせにより成り、図２に示しているごとく、縦方向には同じ色のドットが並んでおり、このドットピッチの縦横比は３対１であり、平面画像表示におけるピクセルの水平ピッチと垂直ピッチは等しいものとなる。つまりピクセルピッチの縦横比は１対１となり、これが平面画像表示において望まれる値とされる。
ここで、従来項の図１２で示した立体映像処理方法によるピクセルグループの水平個数及び垂直個数は、ピクセル数が水平３８４０×垂直２４００である画面上で、以下に示すごとく存在することになる。なお、括弧内は例値である。
視点数 Ｌ （７）
表示領域のピクセル数 水平Ｍ×垂直Ｎ （３８４０×２４００）
ピクセルグループの水平個数 Ｍ／Ｌ （≒５４８）
ピクセルグループの垂直個数 Ｎ （２４００）
これに対し、図１に示すようにピクセルグループを選択するこの実施形態の立体映像処理方法であれば、ピクセル数の劣化を垂直方向に分散させることができる。ここでは斜め方向に並ぶ３ドットを組み合わせて１つのピクセルを構成しているため、ピクセルグループの垂直ピッチが３倍になり、水平ピッチが７／３倍となる。水平ピッチの垂直ピッチに対する比の値は７／９となり、本来の平面画像表示におけるピクセルの水平ピッチの垂直ピッチに対する比の値である１に近づいたものとなる。
これを一般的に表すと次のようになる。カッコ内は実施例の値である。
視点数 Ｌ （７）
表示領域のピクセル数 水平Ｍ×垂直Ｎ （３８４０×２４００）
１ピクセルを構成するドット数 ｋ （３）
ピクセルグループの水平個数 Ｍ×ｋ／Ｌ （≒１６４６）
ピクセルグループの垂直個数 Ｎ／ｋ （８００）
以上説明したように、立体映像表示装置の画面上での前記表示ピクセルグループのピッチの縦横比が１対１に最も近くなるように表示ピクセルの配置が設定されるため、各視点のピクセルを構成するドット同士が近づくなど好適となり、視点数が多くなった場合でも水平方向解像度の低下を緩和し得るので、画質向上が期待できる。
ここで、上記表示画像をＬ枚の原画像から合成する処理を考える。まず、図３に示すように、表示画像のピクセル数Ｍ×Ｎ（３８４０×２４００）に対して、各々の原画像（カメラ撮像画像等）のピクセル数もＭ×Ｎ（３８４０×２４００）とし、必要なドットだけを選択して合成する方法がある。この方法は、ドットの座標が正確に継承されるが、捨てられるドットが存在するため画像の生成に無駄が生じる。ピクセル座標が“−”となっているドットが捨てられるドットである。このような立体映像処理方法に対して改善された立体映像処理方法を図４に基づいて説明する。
図４に示している方法では、原画像（カメラ撮像画像等）のピクセル数をｋＭ／Ｌ×Ｎ／ｋ（１６４６×８００）とし、ドットを適切に並べ替えながら合成している。この方法ではドットの座標が正確に継承されていないが、捨てられるドットがないため、画像生成の無駄がない。なお、画像取得系の画像縦横比をＭ：Ｎとすると、画像の歪みが生じない。これは、絵素ピッチの縦横比が１：１の場合であり、より一般的には、画像取得系の画像縦横比を表示画像の縦横比と一致させると、画像の歪みが生じない。画像取得系の画像縦横比とは、例えば実写カメラのＣＣＤの縦横比や、コンピュータグラフィックスにおけるレンダリング時の画像縦横比のことである。
画面左右には情報のないドットが発生するが、以下のように処理すればよい。▲１▼各視点映像を必要ドットよりも左右に１ドット乃至数ドット大きなものとし、画面左右に発生することとなる無データ箇所に、前記大きくしたドットから抽出したデータを配置する。例えば、前記大きくしたドットのピクセル座標を「１０」とすると、合成画像の左上の無データ箇所には、｛７；１０；Ｒ｝、｛７；１０；Ｇ｝、｛６；１０；Ｒ｝が配置される。▲２▼画面左右に発生することとなる無データ箇所に、黒データを配置する（非点灯，光不透過）。▲３▼近接する同じ視点のドットのコピーデータを配置する。図の例では、｛７；１１；Ｒ｝、｛７；１１；Ｇ｝、｛６；１１；Ｒ｝が配置される。
図５には、ドットピッチの縦横比が３対１でない立体映像表示装置を示している。ドットピッチの縦横比が３対１である場合、上述した立体映像処理方法により、表示ピクセルグループの水平ピッチの垂直ピッチに対する比の値は７／９となる。これに対し、図５では、ドットピッチの縦横比が７対３となるようにしている。これにより、表示ピクセルグループの水平ピッチの垂直ピッチに対する比の値Ｐｈ／Ｐｖが、平面画像表示において望まれる値「１」と等しくなる。Ｐｈ／Ｐｖが「１」となることで、撮像時の絵素ピッチの縦横比を１：１とすることができ、既存の機器やコンピュータプログラムをそのまま使うことができる。
図６には図１に示した色並びとは異なる色並びを有する立体映像表示装置を示している。図１の立体画像表示装置では赤色列、緑色列、青色列が水平方向に順繰りに配置されるのに対し、赤色行、緑色行、青色行が垂直方向に順繰りに配置されている。かかる構成であれば、ピクセルを構成するドットの色の並び順が一致するため、エッジの表示に対する画質が向上する。
図７には他の実施形態の７眼式の立体映像表示装置を示している。この立体映像表示装置では、画面のドットピッチの縦横比を２１対１（ｋＬ：１）にしている。そして、水平方向に並ぶ２１ドットでひとつのピクセルグループを構成する。これにより、ピクセルグループの水平ピッチの垂直ピッチに対する比の値が、平面画像表示において望まれる値「１」と等しくなる。なお、このようなドットピッチを採用する場合には、ピクセルグループの選択の仕方が変わることになる。また、視点数によってドットピッチの縦横比は変わる。
図８は図７と同様の７眼式の立体画像表示装置であるが、ドットの色並びが異なる。図のように左から７ドットを赤、次の７ドットを緑、残りの７ドットを青としている。これにより、ピクセルを構成するドットの色の並び順が一致するため、エッジの表示に対する画質が向上する。
図９において、同図（ａ）に示す表示ピクセルグループにおけるピクセル配置と、同図（ｂ）に示す表示ピクセルグループにおけるピクセル配置とは異なっている。なお、いずれも２眼式で斜めドット方式（斜めバリア方式）としている。ここで示す立体映像処理方法は、２眼式で斜めドット方式の立体映像表示装置のピクセルピッチ（ドットピッチ）に鑑み、その画面上での表示ピクセルグループ（図の太線参照）のピッチの縦横比が１対１に最も近くなるように表示ピクセルグループにおけるピクセルの配置を図９（ａ）と図９（ｂ）のいずれかに切り替えることができるようにしている。例えば、図９（ａ）と図９（ｂ）のいずれの映像生成も可能である映像処理装置とされ、この映像処理装置に接続される立体映像表示装置として、液晶表示パネルやプラズマディスプレイを購入する場合でそれらのピクセルピッチが互いに異なる場合でも、図９（ａ）と図９（ｂ）のどちらかの映像生成を行なうことで表示ピクセルグループのピッチの縦横比を１対１に近づけることができる。
図１０には垂直方向にも視差を持たせる場合の構成例を示している。水平と垂直の視点間の距離が同じになるように、水平と垂直のドットピッチを等しくしている。そして、水平方向の眼数を多くとるために、ドットは垂直方向に同じ色を配列している。このように構成することで、水平６眼式、垂直２眼式のときに、ピクセルグループの水平ピッチの垂直ピッチに対する比の値が１になる。ピクセルを構成するドットの色の並び順も一致することになる。なお、必ずしも水平と垂直の視点間の距離が同じになる必要はない。
図１３は図４に示す方法の変形例であって画像歪みの無い例を示している。この例は、表示の絵素数が水平Ｍ（３８４０）×垂直Ｎ（２４００）であり、視点数をＬ（７）とし、１絵素を構成する画素数をｋ（３）とし、各視点映像の絵素数を水平ｋＭ／Ｌ（１６４６）×垂直Ｎ／ｋ（８００）として各視点映像の対応する映像領域ごとに各視点映像から必要な画素のデータを抽出する方法であり、且つ、画像取得系の画像の縦横比を表示画像の縦横比（２４００（縦）：３８４０（横））と一致させ、各視点映像を取得している。上記の場合、各カメラのピクセルの縦横比は、１：１ではなく、横：縦＝７：９となる。
上記のごとく、画像取得系において適切な画素数及び画像縦横比が得られればよいのであるが、得られない場合には、各視点映像に対して伸縮処理を施すことで画像歪みを防止できる。通常のカメラの画素は横：縦＝１：１（正方形）であるので、伸縮処理を施すのがよい。
図１４は、伸縮処理の一例を示している。この例は、表示の絵素数が水平Ｍ（３８４０）×垂直Ｎ（２４００）であり、視点数をＬ（７）とし、１絵素を構成する画素数をｋ（３）とし、各視点映像の絵素数を水平ｋＭ／Ｌ（１６４６）×垂直Ｎ／ｋ（８００）とする。そして、画像取得系で取得した画像（画素数１６４６（横）×８００（縦），画像の横と縦の比１６４６（横）×８００（縦））を、その画像の横と縦の比が表示画像における横と縦の比（３８４０（横）：２４００（縦））と一致するように処理し、各視点映像を取得する。
上記処理を図２２を用いて更に説明する。なお、この図２２においては、カメラ（画像取得系で取得した画像）の画素数を１０２４（横）×７６８（縦）、視点数を８としている。各カメラの画像を、水平方向に９／８倍すると、１１５２（横）×７６８（縦）の画像が得られる。これを等倍して１５００（横）×１０００（縦）の画像を得る。この８枚の画像によって表示画像を生成すると、表示画像の絵素数が水平（Ｍ＝４０００）となり（１５００×８／３＝４０００）、垂直（Ｎ＝３０００）となる（１０００×３）。表示装置の画面は４（横）：３（縦）であり、ピクセルのピッチは１：１である。
図１５は、図３の処理例の改良であって、カメラ画像を表示画像（合成画像）のサイズに変換してから間引きによる合成を行っている。この例は、表示の絵素数が水平Ｍ（３８４０）×垂直Ｎ（２４００）であり、視点数をＬ（７）とし、１絵素を構成する画素数をｋ（３）とし、取得した各視点映像（水平ｋＭ／Ｌ（１６４６）×垂直Ｎ／ｋ（８００））を、水平Ｍ（３８４０）×垂直Ｎ（２４００）に拡大処理し、対応する映像領域ごとに各視点映像から必要な画素のデータを抽出生成する。この処理方法では、合成時に使用するメモリは増加するが、画像取得系（カメラやコンピュータグラフィックス処理）の負担は、図３のような当初から表示画像（合成画像）サイズで取得するのに比べて少ない。
図１６は画面（カラーフィルタ）が横ストライプである場合の表示画像の配置例を示している。表示画像の配置は縦ストライプ配置であり、縦方向に各視点のＲ画素、Ｇ画素、Ｂ画素が形成される。各画素のピッチの縦横比は、１（横）：３（縦）であり、ピクセルグループの縦横比は、横：縦＝７：９となる。
図１７は画面（カラーフィルタ）が横ストライプである場合の表示画像の配置例を示している。表示画像の配置は縦ストライプ配置であり、縦方向に各視点のＲ画素、Ｇ画素、Ｂ画素が形成される。各画素のピッチの縦横比は、３（横）：７（縦）であり、ピクセルグループの縦横比は、横：縦＝１：１となる。これを一般的に表すと、各画素のピッチは、ｋ（横）：Ｌ（縦）であり、ピクセルグループの縦横比は、横：縦＝１：１となる。なお、Ｌは視点数、ｋは１ピクセルを構成するドット数である。
図１８は画面（カラーフィルタ）がダイアゴナルである場合の表示画像の配置例を示している。表示画像の配置は縦ストライプ配置であり、縦方向に各視点のＲ画素、Ｇ画素、Ｂ画素が形成される。各画素のピッチの縦横比は、１（横）：３（縦）であり、ピクセルグループの縦横比は、横：縦＝７：９となる。
図１９は画面（カラーフィルタ）がダイアゴナルである場合の表示画像の配置例を示している。表示画像の配置は縦ストライプ配置であり、縦方向に各視点のＲ画素、Ｇ画素、Ｂ画素が形成される。各画素のピッチの縦横比は、３（横）：７（縦）であり、ピクセルグループの縦横比は、横：縦＝１：１となる。これを一般的に表すと、各画素のピッチは、ｋ（横）：Ｌ（縦）であり、ピクセルグループの縦横比は、横：縦＝１：１となる。なお、Ｌは視点数、ｋは１ピクセルを構成するドット数である。
図２０は画面（カラーフィルタ）がダイアゴナルである場合の表示画像の配置例を示している。表示画像の配置は斜め配置であり、斜め方向に各視点のＲ画素、Ｇ画素、Ｂ画素が形成される。各画素のピッチの縦横比は、１（横）：３（縦）であり、ピクセルグループの縦横比は、横：縦＝７：９となる。
図２１は画面（カラーフィルタ）がダイアゴナルである場合の表示画像の配置例を示している。表示画像の配置は斜め配置であり、斜め方向に各視点のＲ画素、Ｇ画素、Ｂ画素が形成される。各画素のピッチの縦横比は、３（横）：７（縦）であり、ピクセルグループの縦横比は、横：縦＝１：１となる。これを一般的に表すと、各画素のピッチは、ｋ（横）：Ｌ（縦）であり、ピクセルグループの縦横比は、横：縦＝１：１となる。なお、Ｌは視点数、ｋは１ピクセルを構成するドット数である。
なお、映像分離の要素としては、ピンホールなどの開口に限らず、レンズ素子を用いてもよいものである。また、光源側に映像分離手段を配置する構成としてもよいものである。また、１絵素（ピクセル）を構成する画素がＲＧＢ（Ｋ＝３）であるとしたが、１絵素を構成する画素がＲＧＧＢの場合にはＫ＝４として処理すればよい。
以上説明したように、この発明によれば、各視点の絵素を構成する画素同士が近づくなど好適となり、また、視点数が多くなった場合でも水平方向解像度の低下を緩和し得るので、画質向上が期待できる等の諸効果を奏する。

Claims (18)

1. 複数の視点映像から各視点映像ごとに絵素単位となる複数画素を抽出する立体映像処理方法であって、各視点映像から抽出した絵素単位となる複数画素のデータの集まりを絵素グループとし、立体映像表示装置の画面上での前記絵素グループの表示ピッチの縦横比が、１対１に最も近くなるように前記絵素グループにおける絵素単位の配置を設定することを特徴とする立体映像処理方法。
2. 複数の視点映像から各視点映像ごとに絵素単位となる複数画素を抽出する立体映像処理方法であって、各視点映像から抽出した絵素単位となる複数画素のデータの集まりを絵素グループとし、立体映像表示装置の画面上での前記絵素グループの表示ピッチの縦横比が、１対２から２対１の範囲となるように前記絵素グループにおける絵素単位の配置を設定することを特徴とする立体映像処理方法。
3. 請求項１又は請求項２に記載の立体映像処理方法において、各視点映像から抽出した絵素単位となる複数画素のデータをビットマップ上に斜め配置することを特徴とする立体映像処理方法。
4. 請求項１又は請求項２に記載の立体映像処理方法において、各視点映像から抽出した絵素単位となる複数画素のデータを立体映像表示装置の画面上で斜めに並ぶように供給することを特徴とする立体映像処理方法。
5. 請求項１又は請求項２に記載の立体映像処理方法において、各視点映像から抽出した絵素単位となる複数画素のデータを立体映像表示装置の画面上で斜めに並ぶように映像信号化して供給することを特徴とする立体映像処理方法。
6. 請求項１乃至請求項５のいずれかに記載の立体映像処理方法において、表示の絵素数が水平Ｍ×垂直Ｎであり、視点数をＬとし、１絵素を構成する画素数をｋとし、各視点映像の絵素数を水平ｋＭ／Ｌ×垂直Ｎ／ｋとして各視点映像の対応する映像領域ごとに各視点映像から必要な画素のデータを抽出することを特徴とする立体映像処理方法。
7. 請求項６に記載の立体映像処理方法において、各視点映像の絵素数が水平ｋＭ／Ｌ×垂直Ｎ／ｋで、且つ、画像縦横比が表示画像の縦横比と一致するように、画像取得系で取得した画像を処理し、各視点映像を取得することを特徴とする立体映像処理方法。
8. 請求項６に記載の立体映像処理方法において、画像取得系の画像縦横比を表示画像の縦横比と一致させ、各視点映像を取得することを特徴とする立体映像処理方法。
9. 請求項１乃至請求項５のいずれかに記載の立体映像処理方法において、表示の絵素数が水平Ｍ×垂直Ｎであり、視点数をＬとし、１絵素を構成する画素数をｋとし、各視点映像の絵素数を水平ｋＭ／Ｌ×垂直Ｎ／ｋとして取得した各視点映像を、水平Ｍ×垂直Ｎに拡大処理し、対応する映像領域ごとに各視点映像から必要な画素のデータを抽出生成することを特徴とする立体映像処理方法。
10. 請求項６乃至請求項９のいずれかに記載の立体映像処理方法において、各視点映像を左右に１画素乃至数画素大きなものとし、画面左右に発生することとなる無データ箇所に、前記大きくした画素から抽出したデータを用いることを特徴とする立体映像処理方法。
11. 請求項６乃至請求項９のいずれかに記載の立体映像処理方法において、画面左右に発生することとなる無データ箇所に、黒データを用いることを特徴とする立体映像処理方法。
12. 請求項６乃至請求項９のいずれかに記載の立体映像処理方法において、画面左右に発生することとなる無データ箇所に、近接する同じ視点の画素のコピーデータを用いることを特徴とする立体映像処理方法。
13. 請求項１又は請求項２のいずれかに記載の立体映像処理方法において、垂直方向の視差も有した立体視用映像を生成することを特徴とする立体映像処理方法。
14. 映像が表示される画面と、各視点映像の画素が観察できる位置を分離する分離手段とを備えた立体映像表示装置において、請求項１乃至請求項１３に記載のいずれかの立体映像処理方法によって得られた映像を画面に表示すると画面上での表示絵素グループのピッチの縦横比が１対１乃至略１対１となるように画面画素ピッチの縦横比が設定されていることを特徴とする立体映像表示装置。
15. 請求項１４に記載の立体映像表示装置において、視点数をＬとし、１絵素を構成する画素数をｋとすると、表示画素のピッチがｋ（横）：Ｌ（縦）に設定され、表示絵素グループの縦横比が、横：縦＝１：１となるように構成されたことを特徴とする立体映像表示装置。
16. 映像が表示される画面と、各視点映像の画素が観察できる位置を分離する分離手段とを備えた立体映像表示装置において、表示画素のピッチをｋ、視点数をＬとし、画面画素ピッチの縦横比がｋＬ対１乃至略ｋＬ対１に設定され、各視点映像の画素データが水平方向に順繰りに設定された映像の供給を受けて映像表示を行い、画面上での表示絵素グループのピッチの縦横比が１対１乃至略１対１となるように構成されたことを特徴とする立体映像表示装置。
17. 請求項１乃至請求項１５のいずれかに記載の立体映像表示装置において、赤色用画素行、緑色用画素行、青色用画素行が垂直方向に順繰りに配置されていることを特徴とする立体映像表示装置。
18. 請求項１６に記載の立体映像表示装置において、視点映像の数に対応した数の同一色の画素が連続して配置されていることを特徴とする立体映像表示装置。

Images