WO2004043079A1 - 立体映像処理方法及び立体映像表示装置 - Google Patents

Description

明 細 書 立体映像処理方法及び立体映像表示装置 技術分野

この発明は、 特殊な眼鏡を必要とせずに立体視が行なえる立体映像表 示装置及び立体映像処理方法に関する。 背景技術

従来より、 特殊な眼鏡を必要とせずに立体映像表示を実現する方法し とて、 パララックスバリァ方式やレンチキュラーレンズ方式等が知られ ているが、 これらの方式は両眼視差を有するお眼用映像と左眼用映像と を、 例えば縦ストライプ状に画面に交互に表示し、 この表示画像をパラ ラックスバリァゃレンチキユラ一レンズ等で分離して観察者の右眼と左 眼に各々導く ことで立体視を行わせるものである。

図 1 1 は、 4眼式立体視方式の立体映像表示装置の原理を例示した説 明図である。 画面 1 1の水平方向に両眼視差を有する映像①と映像②と 映像③と映像④とが所定ピッチで並び、 この 「映像①映像②映像③映像 ④」 の単位映像グループが繰り返し存在している。 映像分離手段 1 2の 開口 1 2 aは各単位映像グループに対応して存在しており、 各単位映像 グループである 「映像①映像②映像③映像④」 を分離して観察者に与え る。

図 1 2は 7眼式立体視方式の画素の並び方及び表示画素データを示し ている。 図において太線で囲まれた 2 "I個の画素 （ドッ ト） 群が 1 つの ピクセルグループを構成しており、 これに 3つのピンホール （開口） が 対応し、 ある観察位置からは、 視点 1 の左上の絵素 （ピクセル） を構成 する { 1 ; 1 1 ; R} 、 { 1 ； 1 1 ； G} { 1 ; 1 1 ; B} の 3色の ドッ 卜が同時に観察される。 ここで、 { i ； j k ； C} は、 それぞれ {視点 ； ピクセル座標 ；色 } を表す。 そして、 観察位置の移動に従って、 同じピクセル座標 1 1 について { 2 ； 1 1 ； G} 、 { 2 ； 1 1 ； B} 、 {2 ； 1 1 ； R} ·■■ というように視点の異なるピクセルを観察する ことになる。

図 1 2 ( a) に示した画素の並び方及び表示画素データを採用する立 体映像処理方法では、 水平方向のピクセル数だけが 1 / 7に劣化するこ とになる。 これはピクセルの水平ピッチが 7倍になるということで、 水 平ピッチの垂直ピッチに対する比の値は 7になる。

この考え方を斜め方向にピンホールが並ぶ映像分離手段 （図示せず） を用いる 7眼式の立体画像表示装置に応用すると、 図 1 2 ( b) に示す ようになる。 ピクセルグループは同じであるが、 グループ内の視点番号 の並びが変わる。 ここでも同じように水平方向のピクセル数が劣化する。 このように水平方向にのみ視差がある場合は、 通常水平方向のみピクセ ル数が劣化するものである。 なお、 複数のピンホールを斜めに配置する 立体映像表示装置として特許第 30966 1 3号が知られている。

一般的な映像表示装置は、 隣接する赤、 緑、 青の 3色の画素 （ドッ ト） がひとつの絵素 （ピクセル） を構成する。 パララックスバリア方式 や、 特許文献 1 に開示された立体映像表示装置では、 図 1 2に示したご とく、 本来同じピクセルを構成する ドッ 卜がそれぞれ異なる視点の画像 を表示することになリ、 また、 視点数が多くなると、 各視点のピクセル を構成する ドッ 卜の組み合わせにおいて、 水平方向解像度の低下が避け られないなど、 不満が生じてくる。 また、 立体映像表示装置にとって適 した映像処理方法を提案するものはなかった。 発明の開示

この発明は、 上記の事情に鑑み、 改善された立体映像処理方法及び立 体映像表示装置を提供することを目的とする。

この発明の立体映像処理方法は、 上記の課題を解決するために、 複数 の視点映像から各視点映像ごとに絵素単位となる複数画素を抽出する立 体映像処理方法であって、 各視点映像から抽出した絵素単位となる複数 画素のデータの集まりを絵素グループとし、 立体映像表示装置の画面上 での前記絵素グループの表示ピッチの縦横比が、 1対 1 に最も近くなる ように前記絵素グループにおける絵素単位の配置を設定することを特徴 とする。

上記の構成であれば、 立体映像表示装置の画面上での前記絵素グルー プの表示ピッチの縦横比が 1 対 1 に最も近くなるように前記絵素グルー プにおける絵素単位の配置が設定されるため、 各視点の絵素を構成する 画素同士が近づくなど好適となり、 視点数が多くなった場合でも水平方 向解像度の低下を緩和し得るので、 画質向上が期待できる。

また、 この発明の立体映像処理方法は、 複数の視点映像から各視点映 像ごとに絵素単位となる複数画素を抽出する立体映像処理方法であって、 各視点映像から抽出した絵素単位となる複数画素のデータの集まリを絵 素グループとし、 立体映像表示装置の画面上での前記絵素グループの表 示ピッチの縦横比が、 1 対 2から 2対 1 の範囲となるように前記絵素グ ループにおける絵素単位の配置を設定することを特徴とする。

かかる構成においても、 立体映像表示装置の画面上での前記絵素グル ープの表示ピッチの縦横比が 1 対 2から 2対 1 の範囲となるように前記 絵素グループにおける絵素単位の配置が設定されるため、 各視点の絵素 を構成する画素同士が近づくなど好適となり、 また、 視点数が多くなつ た場合でも水平方向解像度の低下を緩和し得る。 各視点映像から抽出した絵素単位となる複数画素のデータをビッ 卜 マップ上に斜め配置してもよい。 また、 各視点映像から抽出した絵素単 位となる複数画素のデータを立体映像表示装置の画面上で斜めに並ぶよ うに供給してもよい。 また、 各視点映像から抽出した絵素単位となる複 数画素のデータを立体映像表示装置の画面上で斜めに並ぶように映像信 号化して供給するようにしてもよい。

表示絵素数が水平 M x垂直 Nであり、 視点数をしとし、 1絵素を構成 する画素数を kとし、 各視点映像の絵素数を水平 k M / L x垂直 N / k として各視点映像の対応する映像領域ごとに各視点映像から必要な画素 のデータを抽出してもよい。 これによれば、 各視点映像の画素の座標が 立体用映像には承継されないが、 各視点映像で捨てられる画素がないた め、 映像生成の無駄を排除できる。 また、 各視点映像の絵素数が水平 k M / L x垂直 N / kで、 且つ、 画像縦横比が表示画像の縦横比と一致す るように、 画像取得系で取得した画像を処理し、 各視点映像を取得する ようにしてもよい。 これによれば表示画像の歪みを防止できる。 また、 画像取得系の画像縦横比を表示画像の縦横比と一致させ、 各視点映像を 取得するようにしてもよい。 これによれば、 表示画像の歪みを防止でき る。

表示の絵素数が水平 M X垂直 Nであり、 視点数をしとし、 1絵素を構 成する画素数を kとし、 各視点映像の絵素数を水平 k M / L X垂直 N Z kとして取得した各視点映像を、 水平 M X垂直 Nに拡大処理し、 対応す る映像領域ごとに各視点映像から必要な画素のデータを抽出生成するよ うにしてもよい。 これによれば、 表示画像の歪みを防止できる。 また、 この処理方法では、 合成時に使用するメモリは増加するが、 画像取得系 の負担は、 当初から表示画像 （合成画像） サイズで取得するのに比べて 少ない。 各視点映像を左右に 1画素乃至数画素大きなものとし、 画面左右に発 生することとなる無データ箇所に、 前記大きく した画素から抽出したデ —タを用いるようにしてもよい。 或いは、 画面左右に発生することとな る無データ箇所に、 黒データを用いるようにしてもよい。 或いは、 近接 する同じ視点の画素のコピーデータを用いるようにしてもよい。

また、 垂直方向の視差も有した立体視用映像を生成するようにしても よい。

また、 この発明の立体映像表示装置は、 映像が表示される画面と、 各 視点映像の画素が観察できる位置を分離する分離手段とを備えた立体映 像表示装置において、 上述したいずれかの立体映像処理方法によって得 られた映像を画面に表示すると画面上での表示絵素グループのピッチの 縦横比が 1対 1 乃至略 1 対 1 となるように画面画素ピッチの縦横比が設 定されていることを特徴とする。 視点数を Lとし、 1絵素を構成する画 素数を kとすると、 表示画素のピッチが k (横） ： L (縦） に設定され、 表示絵素グループの縦横比が、 横：縦 = 1 ： 1 となるように構成されて いてもよい。

以上の構成において、 赤色用画素行、 緑色用画素行、 青用画素行が垂 直方向に順繰りに配置されていてもよく、 これによれば、 絵素を構成す る画素の色の並びが一致することになリ、 画面エツジの画質が向上する。 また、 この発明の立体映像表示装置は、 映像が表示される画面と、 各視 点映像の画素が観察できる位置を分離する分離手段とを備えた立体映像 表示装置において、 視点数をしとし、 画面画素ピッチの縦横比が k L対 1 乃至略 k L対 1 に設定され、 各視点映像の画素データが水平方向に順 繰りに設定された映像の供給を受けて映像表示を行い、 画面上での表示 絵素グループのピッチの縦横比が 1対 1 乃至略 1 対 1 となるように構成 されたことを特徴とする。 かかる構成において、 視点映像の数に対応し た数の同一色の画素が連続して配置されているのがよく、 これによれば、 絵素を構成する画素の色の並びが一致することになり、 画面エッジの画 質が向上する。 図面の簡単な説明

図 1 はこの発明の実施形態を示す図であって、 画面上での画素の色並び、 画素領域の大きさ、 画素に表示される映像を示した説明図である。 図 2 は図 1 における画面の色並びを示した説明図である。 図 3は表示画像を 複数枚の原画像から合成する処理を示した説明図である。 図 4はこの発 明の実施形態を示す図であって、 表示画像を複数枚の原画像から合成す る処理を示した説明図である。 図 5はこの発明の実施形態を示す図であ つて、 画面上での画素の色並び、 画素領域の大きさ、 画素に表示される 映像を示した説明図である。 図 6はこの発明の実施形態を示す図であつ て、 画面上での画素の色並び、 画素領域の大きさ、 画素に表示される映 像を示した説明図である。 図 7はこの発明の実施形態を示す図であって、 画面 ±での画素の色並び、 画素領域の大きさ、 画素に表示される映像を 示した説明図である。 図 8はこの発明の実施形態を示す図であって、 画 面上での画素の色並び、 画素領域の大きさ、 画素に表示される映像を示 した説明図である。 図 9はこの発明の実施形態を示す図であって、 画面 上での画素の色並び、 画素領域の大きさ、 画素に表示される映像を示し た説明図である。 図 1 0はこの発明の実施形態を示す図であって、 画面 上での画素の色並び、 画素領域の大きさ、 画素に表示される映像を示し た説明図である。 図 1 1 は多眼式立体映像表示装置の基本構成を示した 説明図である。 図 1 2 ( a ) 及び （ b ) はそれぞれ従来例を示す図であ つて、 画面上での画素の色並び、 画素領域の大きさ、 画素に表示される 映像を示した説明図である。 図 1 3はこの発明の実施形態を示す図であ つて、 表示画像を複数枚の原画像から合成する処理を示した説明図であ る。 図 1 4はこの発明の実施形態を示す図であって、 表示画像を複数枚 の原画像から合成する処理を示した説明図である。 図 1 5はこの発明の 実施形態を示す図であって、 表示画像を複数枚の原画像から合成する処 理を示した説明図である。 図 1 6はこの発明の実施形態を示す図であつ て、 画面上での画素の色並び、 画素領域の大きさ、 画素に表示される映 像を示した説明図である。 図 1 7はこの発明の実施形態を示す図であつ て、 画面上での画素の色並び、 画素領域の大きさ、 画素に表示される映 像を示した説明図である。 図 1 8はこの発明の実施形態を示す図であつ て、 画面上での画素の色並び、 画素領域の大きさ、 画素に表示される映 像を示した説明図である。 図 1 9はこの発明の実施形態を示す図であつ て、 画面上での画素の色並び、 画素領域の大きさ、 画素に表示される映 像を示した説明図である。 図 2 0はこの発明の実施形態を示す図であつ て、 画面上での画素の色並び、 画素領域の大きさ、 画素に表示される映 像を示した説明図である。 図 2 1 はこの発明の実施形態を示す図であつ て、 画面上での画素の色並び、 画素領域の大きさ、 画素に表示される映 像を示した説明図である。 図 2 2は図 1 4の処理を表した説明図である。 発明を実施するための最良の形態

以下、 この発明の実施形態の立体映像処理方法及び立体映像表示装置 を図 1乃至図 9、 図 1 3乃至図 2 2に基づいて説明していく。 なお、 立 体映像表示装置の全体構成は従来項で述べた図 1 1の構成を採用できる ものであり、 説明の重複による冗長をさけるため、 全体構成の説明は省 略している。

図 1 は、 立体映像表示装置の画面上での画素 （ドッ ト） の色並び （R， G , B列） 、 画素領域の大きさ、 画素に表示される映像を示しており、 ここでは、 各視点映像の数を 7とし （7眼式） 、 各視点映像の対応する 映像領域ごとに各視点映像から抽出した絵素 （ピクセル） 単位となる赤、 緑、 青 （RG B) の画素のデータを斜め配置の ドッ トに与え、 例えば図 において点線で示す開口 1 により映像分離を行なう。 太線で囲まれた 2 1個の ドッ ト群が 1 つのピクセルグループを構成しており、 これに前記 開口 1 が対応し、 ある観察位置からは、 視点 1 の左上のピクセルを構成 する { 1 ; 1 1 ; R} 、 { 1 ; 1 1 ; G} 、 { 1 ; 1 1 ; B} の 3色の ドッ 卜が同時に観察される。 ここで、 { i ； j k ； C} はそれぞれ {視 点 ； ピクセル座標； 色 } を表す。 そして、 観察位置の移動に従って、 同 じピクセル座標 1 1 で { 2 ; 1 1 ; G} 、 { 2 ； 1 1 ； B } _% { 2 ； 1 1 ； R} ■■■ というように視点の異なるピクセルを観察する。

画面 （ディスプレイ） には平面画像の表示を最適に行うものを用いて いる。 ここでは一例として、 ピクセル数が水平 3 840 X垂直 2 400 の液晶パネルを用いるものとする。 各ピクセルは赤、 緑、 青の 3色の ド ッ 卜の組み合わせにより成り、 図 2に示しているごとく、 縦方向には同 じ色の ドッ 卜が並んでおり、 このドッ 卜ピッチの縦横比は 3対 1 であり、 平面画像表示におけるピクセルの水平ピッチと垂直ピッチは等しいもの となる。 つまりピクセルピッチの縦横比は 1 対 1 となり、 これが平面画 像表示において望まれる値とされる。

ここで、 従来項の図 1 2で示した立体映像処理方法によるピクセルグ ループの水平個数及び垂直個数は、 ピクセル数が水平 3 8 40 X垂直 2 400である画面上で、 以下に示すごとく存在することになる。 なお、 括弧内は例値である。

視点数 L (7)

表示領域のピクセル数 水平 MX垂直 N (3 840 x 2400) ピクセルグループの水平個数 M/L (= 548) ピクセルグループの垂直個数 N (2400)

これに対し、 図 1 に示すようにピクセルグループを選択するこの実施 形態の立体映像処理方法であれば、 ピクセル数の劣化を垂直方向に分散 させることができる。 ここでは斜め方向に並ぶ 3 ドッ 卜を組み合わせて 1つのピクセルを構成しているため、 ピクセルグループの垂直ピッチが 3倍になり、 水平ピッチが 7/3倍となる。 水平ピッチの垂直ピッチに 対する比の値は 7/9となり、 本来の平面画像表示におけるピクセルの 水平ピッチの垂直ピッチに対する比の値である 1 に近づいたものとなる。

これを一般的に表すと次のようになる。 力ッコ内は実施例の値である。 視点数 L (7)

表示領域のピクセル数 水平 MX垂直 N (3840 x 2400) 1 ピクセルを構成する ドッ ト数 k (3)

ピクセルグループの水平個数 Mx k/L (= 1 646 )

ピクセルグループの垂直個数 N/k (800)

以上説明したように、 立体映像表示装置の画面上での前記表示ピクセ ルグループのピッチの縦横比が 1対 1 に最も近くなるように表示ピクセ ルの配置が設定されるため、 各視点のピクセルを構成する ドッ 卜同士が 近づくなど好適となり、 視点数が多くなつた場合でも水平方向解像度の 低下を緩和し得るので、 画質向上が期待できる。

ここで、 上記表示画像を L枚の原画像から合成する処理を考える。 ま ず、 図 3に示すように、 表示画像のピクセル数 M X N (3840 X 24 00) に対して、 各々の原画像 （カメラ撮像画像等） のピクセル数も M X N (3840 x 2400) とし、 必要なドッ トだけを選択して合成す る方法がある。 この方法は、 ドッ トの座標が正確に継承されるが、 捨て られる ドッ トが存在するため画像の生成に無駄が生じる。 ピクセル座標 が "一" となっている ドッ トが捨てられる ドッ トである。 このような立 体映像処理方法に対して改善された立体映像処理方法を図 4に基づいて 説明する。

図 4に示している方法では、 原画像 （カメラ撮像画像等） のピクセル 数を k MZL x NZk ( 1 646 X 800) とし、 ドッ トを適切に並べ 替えながら合成している。 この方法ではドッ トの座標が正確に継承され ていないが、 捨てられる ドッ トがないため、 画像生成の無駄がない。 な お、 画像取得系の画像縦横比を M ： Nとすると、 画像の歪みが生じない。 これは、 絵素ピッチの縦横比が 1 ： 1の場合であり、 よリー般的には、 画像取得系の画像縦横比を表示画像の縦横比と一致させると、 画像の歪 みが生じない。 画像取得系の画像縦横比とは、 例えば実写カメラの CC Dの縦横比や、 コンピュータグラフィックスにおけるレンダリング時の 画像縦横比のことである。

画面左右には情報のないドッ 卜が発生するが、 以下のように処理すれ ばよい。 ①各視点映像を必要ドッ 卜よりも左右に 1 ドッ 卜乃至数ドッ 卜 大きなものとし、 画面左右に発生することとなる無データ箇所に、 前記 大きく した ドッ トから抽出したデータを配置する。 例えば、 前記大きく した ドッ トのピクセル座標を 「 1 0」 とすると、 合成画像の左上の無デ —タ箇所には、 {7 ; 1 0 ; R} 、 {7 ; 1 0 ; G} 、 { 6 ； 1 0 ； R} が配置される。 ②画面左右に発生することとなる無データ箇所に、 黒データを配置する （非点灯， 光不透過） 。 ③近接する同じ視点の ドッ 卜のコピーデータを配置する。 図の例では、 {7 ； 1 1 ； R} 、 {7 ； 1 1 ; G} 、 {6 ； 1 1 ； R} が配置される。

図 5には、 ドッ トピッチの縦横比が 3対 1 でない立体映像表示装置を 示している。 ドッ トピッチの縦横比が 3対 1 である場合、 上述した立体 映像処理方法により、 表示ピクセルグループの水平ピッチの垂直ピッチ に対する比の値は 7/9となる。 これに対し、 図 5では、 ドッ トピッチ の縦横比が 7対 3となるようにしている。 これにより、 表示ピクセルグ ループの水平ピッチの垂直ピッチに対する比の値 P h / P Vが、 平面画 像表示において望まれる値 「 1 」 と等しくなる。 ？ カ 「 1 」 と なることで、 撮像時の絵素ピッチの縦横比を 1 ： 1 とすることができ、 既存の機器やコンピュータプログラムをそのまま使うことができる。 図 6には図 1 に示した色並びとは異なる色並びを有する立体映像表示 装置を示している。 図 1 の立体画像表示装置では赤色列、 緑色列、 青色 列が水平方向に順繰りに配置されるのに対し、 赤色行、 緑色行、 青色行 が垂直方向に順繰りに配置されている。 かかる構成であれば、 ピクセル を構成する ドッ トの色の並び順が一致するため、 エッジの表示に対する 画質が向上する。

図 7には他の実施形態の 7眼式の立体映像表示装置を示している。 こ の立体映像表示装置では、 画面のドッ トピッチの縦横比を 2 1 対 1 ( k L ： 1 ) にしている。 そして、 水平方向に並ぶ 2 1 ドッ トでひとつのピ クセルグループを構成する。 これにより、 ピクセルグループの水平ピッ チの垂直ピッチに対する比の値が、 平面画像表示において望まれる値

「 1 」 と等しくなる。 なお、 このようなドッ トピッチを採用する場合に は、 ピクセルグループの選択の仕方が変わることになる。 また、 視点数 によって ドッ トピッチの縦横比は変わる。

図 8は図 7と同様の 7眼式の立体画像表示装置であるが、 ドッ トの色 並びが異なる。 図のように左から 7 ドッ 卜を赤、 次の 7 ドッ トを緑、 残 りの 7 ドッ トを青としている。 これにより、 ピクセルを構成する ドッ ト の色の並び順が一致するため、 エッジの表示に対する画質が向上する。 図 9において、 同図 （ a ) に示す表示ピクセルグループにおけるピク セル配置と、 同図 （ b ) に示す表示ピクセルグループにおけるピクセル 配置とは異なっている。 なお、 いずれも 2眼式で斜めドッ ト方式 （斜め バリア方式） と している。 ここで示す立体映像処理方法は、 2眼式で斜 めドッ ト方式の立体映像表示装置のピクセルピッチ （ドッ トピッチ） に 鑑み、 その画面上での表示ピクセルグループ （図の太線参照） のピッチ の縦横比が 1対 1 に最も近くなるように表示ピクセルグループにおける ピクセルの配置を図 9 ( a) と図 9 ( b ) のいずれかに切り替えること ができるようにしている。 例えば、 図 9 (a ) と図 9 ( b ) のいずれの 映像生成も可能である映像処理装置とされ、 この映像処理装置に接続さ れる立体映像表示装置と.して、 液晶表示パネルやプラズマディスプレイ を購入する場合でそれらのピクセルピッチが互いに異なる場合でも、 図 9 ( a) と図 9 (b) のどちらかの映像生成を行なうことで表示ピクセ ルグループのピッチの縦横比を 1対 1 に近づけることができる。

図 1 0には垂直方向にも視差を持たせる場合の構成例を示している。 水平と垂直の視点間の距離が同じになるように、 水平と垂直のドッ 卜ピ ツチを等しく している。 そして、 水平方向の眼数を多く とるために、 ド ッ トは垂直方向に同じ色を配列している。 このように構成することで、 水平 6眼式、 垂直 2眼式のときに、 ピクセルグループの水平ピッチの垂 直ピッチに対する比の値が 1 になる。 ピクセルを構成する ドッ 卜の色の 並び順も一致することになる。 なお、 必ずしも水平と垂直の視点間の距 離が同じになる必要はない。

図 1 3は図 4に示す方法の変形例であって画像歪みの無い例を示して いる。 この例は、 表示の絵素数が水平 M (3840) X垂直 N (240 0) であり、 視点数を L (7) とし、 1絵素を構成する画素数を k (3) とし、 各視点映像の絵素数を水平 k M/L ( 1 646) X垂直 N /k (800) として各視点映像の対応する映像領域ごとに各視点映像 から必要な画素のデータを抽出する方法であり、 且つ、 画像取得系の画 像の縦横比を表示画像の縦横比 （ 2400 (縦） ： 3840 (横） ） と 一致させ、 各視点映像を取得している。 上記の場合、 各カメラのピクセ ルの縦横比は、 1 ： 1ではなく、 横：縦 = 7 ： 9となる。

上記のごとく、 画像取得系において適切な画素数及び画像縦横比が得 られればよいのであるが、 得られない場合には、 各視点映像に対して伸 縮処理を施すことで画像歪みを防止できる。 通常のカメラの画素は横 ： 縦 = 1 ： 1 (正方形） であるので、 伸縮処理を施すのがよい。

図 1 4は、 伸縮処理の一例を示している。 この例は、 表示の絵素数が 水平 M (3840) X垂直 N (2400) であり、 視点数を L (7 ) と し、 1絵素を構成する画素数を k (3) とし、 各視点映像の絵素数を水 平 k MZL ( 1 646) X垂直 N/ k (800) とする。 そして、 画像 取得系で取得した画像 （画素数 1 646 (横） X 800 (縦） ， 画像の 横と縦の比 1 646 (横） X 800 (縦） ） を、 その画像の横と縦の比 が表示画像における横と縦の比 （3840 (横） ： 2400 (縦） ） と 一致するように処理し、 各視点映像を取得する。

上記処理を図 22を用いて更に説明する。 なお、 この図 22において は、 カメラ （画像取得系で取得した画像） の画素数を 1 024 (横） X 768 (縦） 、 視点数を 8としている。 各カメラの画像を、 水平方向に 9 8倍すると、 1 1 52 (横） X 768 (縦） の画像が得られる。 こ れを等倍して 1 500 (横） X 1 000 (縦） の画像を得る。 この 8枚 の画像によって表示画像を生成すると、 表示画像の絵素数が水平 （M = 4000) となり （ 1 500 x 8/3 = 4000) 、 垂直 （ N = 300 0) となる （ 1 000 X 3) 。 表示装置の画面は 4 (横） ： 3 (縦） で あり、 ピクセルのピッチは 1 ： 1である。

図 1 5は、 図 3の処理例の改良であって、 カメラ画像を表示画像 （合 成画像） のサイズに変換してから間引きによる合成を行っている。 この 例は、 表示の絵素数が水平 M (3840) X垂直 N (2400) であり、 視点数を L ( 7 ) とし、 1絵素を構成する画素数を k ( 3 ) とし、 取得 した各視点映像 （水平 k M / L ( 1 6 4 6 ) X垂直 N / k ( 8 0 0 ) ) を、 水平 M ( 3 8 4 0 ) X垂直 N ( 2 4 0 0 ) に拡大処理し、 対応する 映像領域ごとに各視点映像から必要な画素のデータを抽出生成する。 こ の処理方法では、 合成時に使用するメモリは増加するが、 画像取得系 (カメラやコンピュータグラフィックス処理） の負担は、 図 3のような 当初から表示画像 （合成画像） サイズで取得するのに比べて少ない。 図 1 6は画面 （カラーフィルタ） が横ストライプである場合の表示画 像の配置例を示している。 表示画像の配置は縦ス 卜ライプ配置であり、 縦方向に各視点の R画素、 G画素、 B画素が形成される。 各画素のピッ チの縦横比は、 1 (横） ： 3 (縦） であり、 ピクセルグループの縦横比 は、 横 ： 縦 = 7 ： 9となる。

図 1 7は画面 （カラ一フィルタ） が横ストライプである場合の表示画 像の配置例を示している。 表示画像の配置は縦ス 卜ライプ配置であり、 縦方向に各視点の R画素、 G画素、 B画素が形成される。 各画素のピッ チの縦横比は、 3 (横） ： 7 (縦） であり、 ピクセルグループの縦横比 は、 横 ： 縦 = 1 ： 1 となる。 これを一般的に表すと、 各画素のピッチは、 k (横） ： L (縦） であり、 ピクセルグループの縦横比は、 横 ： 縦 = 1 : 1 となる。 なお、 Lは視点数、 kは 1 ピクセルを構成する ドッ ト 数である。

図 1 8は画面 （カラ一フィルタ） がダイァゴナルである場合の表示画 像の配置例を示している。 表示画像の配置は縦ス 卜ライプ配置であり、 縦方向に各視点の R画素、 G画素、 B画素が形成される。 各画素のピッ チの縦横比は、 1 (横） ： 3 (縦） であり、 ピクセルグループの縦横比 は、 横：縦 = 7 ： 9となる。

図 1 9は画面 （カラーフィルタ） がダイァゴナルである場合の表示画 像の配置例を示している。 表示画像の配置は縦ス トライプ配置であり、 縦方向に各視点の R画素、 G画素、 B画素が形成される。 各画素のピッ チの縦横比は、 3 (横） ： 7 (縦） であり、 ピクセルグループの縦横比 は、 横 ： 縦 = 1 ： 1 となる。 これを一般的に表すと、 各画素のピッチは、 k (横） ： L (縦） であり、 ピクセルグループの縦横比は、 横 ： 縦 = 1 ： 1 となる。 なお、 Lは視点数、 kは 1 ピクセルを構成する ドッ ト 数である。

図 2 0は画面 （カラーフィルタ） がダイァゴナルである場合の表示画 像の配置例を示している。 表示画像の配置は斜め配置であり、 斜め方向 に各視点の R画素、 G画素、 B画素が形成される。 各画素のピッチの縦 横比は、 1 (横） ： 3 (縦） であり、 ピクセルグループの縦横比は、 横 ： 縦 = 7 ： 9となる。

図 2 1 は画面 （カラーフィルタ） がダイァゴナルである場合の表示画 像の配置例を示している。 表示画像の配置は斜め配置であり、 斜め方向 に各視点の R画素、 G画素、 B画素が形成される。 各画素のピッチの縦 横比は、 3 (横） ： 7 (縦） であり、 ピクセルグループの縦横比は、 横 ：縦 = 1 ： 1 となる。 これを一般的に表すと、 各画素のピッチは、 k (横） ： し （縦） であり、 ピクセルグループの縦横比は、 横：縦 = 1 ： 1 となる。 なお、 Lは視点数、 kは 1 ピクセルを構成する ドッ ト数で ある。

なお、 映像分離の要素としては、 ピンホールなどの開口に限らず、 レ ンズ素子を用いてもよいものである。 また、 光源側に映像分離手段を配 置する構成としてもよいものである。 また、 1絵素 （ピクセル） を構成 する画素が R G B ( K = 3 ) であるとしたが、 1絵素を構成する画素が R G G Βの場合には Κ = 4として処理すればよい。

以上説明したように、 この発明によれば、 各視点の絵素を構成する画 素同士が近づくなど好適となり、 また、 視点数が多くなつた場合でも水 平方向解像度の低下を緩和し得るので、 画質向上が期待できる等の諸効 果を奏する。

Claims

1 . 複数の視点映像から各視点映像ごとに絵素単位となる複数画素を 抽出する立体映像処理方法であって、 各視点映像から抽出した絵素単位 となる複数画素のデータの集まりを絵素グループとし、 立体映像表示装 置の画面上での前記絵素グループの表示ピッチの縦横比が、 1 対 1 に最 青

も近くなるように前記絵素グループにおける絵素単位の配置を設定する ことを特徴とする立体映像処理方法。

の

2 . 複数の視点映像から各視点映像ごとに絵素単位となる複数画素を 抽出する立体映像処理方法であって、 各視点映像から抽出した絵素単位 囲

となる複数画素のデータの集まりを絵素グループとし、 立体映像表示装 置の画面上での前記絵素グループの表示ピッチの縦横比が、 1 対 2から 2対 1 の範囲となるように前記絵素グループにおける絵素単位の配置を 設定することを特徴とする立体映像処理方法。

3 . 請求項 1 又は請求項 2に記載の立体映像処理方法において、 各視 点映像から抽出した絵素単位となる複数画素のデータをビッ トマツプ上 に斜め配置することを特徴とする立体映像処理方法。

4 . 請求項 1 又は請求項 2に記載の立体映像処理方法において、 各視 点映像から抽出した絵素単位となる複数画素のデータを立体映像表示装 置の画面上で斜めに並ぶように供給することを特徴とする立体映像処理 方法。

5 . 請求項 1 又は請求項 2に記載の立体映像処理方法において、 各視 点映像から抽出した絵素単位となる複数画素のデータを立体映像表示装 置の画面上で斜めに並ぶように映像信号化して供給することを特徴とす る立体映像処理方法。

6 . 請求項 1 乃至請求項 5のいずれかに記載の立体映像処理方法にお いて、 表示の絵素数が水平 MX垂直 Nであり、 視点数を Lとし、 1絵素 を構成する画素数を kとし、 各視点映像の絵素数を水平 k M/L X垂直 N/kとして各視点映像の対応する映像領域ごとに各視点映像から必要 な画素のデータを抽出することを特徴とする立体映像処理方法。

7. 請求項 6に記載の立体映像処理方法において、 各視点映像の絵素 数が水平 k M/L x垂直 N/kで、 且つ、 画像縦横比が表示画像の縦横 比と一致するように、 画像取得系で取得した画像を処理し、 各視点映像 を取得することを特徴とする立体映像処理方法。

8. 請求項 6に記載の立体映像処理方法において、 画像取得系の画像 縦横比を表示画像の縦横比と一致させ、 各視点映像を取得することを特 徴とする立体映像処理方法。

9. 請求項 1乃至請求項 5のいずれかに記載の立体映像処理方法にお いて、 表示の絵素数が水平 MX垂直 Nであり、 視点数をしと し、 1絵素 を構成する画素数を kとし、 各視点映像の絵素数を水平 k M/ L X垂直 N/kとして取得した各視点映像を、 水平 MX垂直 Nに拡大処理し、 対 応する映像領域ごとに各視点映像から必要な画素のデータを抽出生成す ることを特徴とする立体映像処理方法。

1 0. 請求項 6乃至請求項 9のいずれかに記載の立体映像処理方法に おいて、 各視点映像を左おに 1画素乃至数画素大きなものとし、 画面左 右に発生することとなる無データ箇所に、 前記大きく した画素から抽出 したデータを用いることを特徴とする立体映像処理方法。

1 1 . 請求項 6乃至請求項 9のいずれかに記載の立体映像処理方法に おいて、 画面左右に発生することとなる無データ箇所に、 黒データを用 いることを特徴とする立体映像処理方法。

1 2. 請求項 6乃至請求項 9のいずれかに記載の立体映像処理方法に おいて、 画面左右に発生することとなる無データ箇所に、 近接する同じ 視点の画素のコピーデータを用いることを特徴とする立体映像処理方法。

1 3 . 請求項 1 又は請求項 2のいずれかに記載の立体映像処理方法に おいて、 垂直方向の視差も有した立体視用映像を生成することを特徴と する立体映像処理方法。

1 . 映像が表示される画面と、 各視点映像の画素が観察できる位置 を分離する分離手段とを備えた立体映像表示装置において、 請求項 1 乃 至請求項 1 3に記載のいずれかの立体映像処理方法によって得られた映 像を画面に表示すると画面上での表示絵素グループのピッチの縦横比が 1対 1 乃至略 1 対 1 となるように画面画素ピッチの縦横比が設定されて いることを特徴とする立体映像表示装置。

1 5 . 請求項 1 4に記載の立体映像表示装置において、 視点数をしと し、 1絵素を構成する画素数を kとすると、 表示画素のピッチが k (横） ： L (縦） に設定され、 表示絵素グループの縦横比が、 横 ：縦 = 1 ： 1 となるように構成されたことを特徴とする立体映像表示装置。 1 6 . 映像が表示される画面と、 各視点映像の画素が観察できる位置 を分離する分離手段とを備えた立体映像表示装置において、 表示画素の ピッチを k、 視点数を Lとし、 画面画素ピッチの縦横比が k L対 1 乃至 略 k L対 1 に設定され、 各視点映像の画素データが水平方向に順繰りに 設定された映像の供給を受けて映像表示を行い、 画面上での表示絵素グ ループのピッチの縦横比が 1 対 1 乃至略 1対 1 となるように構成された ことを特徴とする立体映像表示装置。

1 7 . 請求項 1乃至請求項 1 5のいずれかに記載の立体映像表示装置 において、 赤色用画素行、 録色用画素行、 青色用画素行が垂直方向に順 繰りに配置されていることを特徴とする立体映像表示装置。

1 8 . 請求項 1 6に記載の立体映像表示装置において、 視点映像の数 に対応した数の同一色の画素が連続して配置されていることを特徴とす る立体映像表示装置。