WO2006035884A1 - 立体画像用データの構造及びその記録方法並びにその表示再生方法 - Google Patents

Abstract

　立体画像を表示する装置は、表示面及び表示面内に配列された画素の水平ピッチの整数ｎ倍に等しい水平ピッチである光学的開口部が直線状に延びる視差バリアを備えている。この視差バリアにより、表示面の水平にｎ個おきの画素からの光線が平行光線として再生され、表示面が想定視距離によって幅が定められる要素画像に分割され、水平方向視差があり垂直方向視差がない立体画像が視域内に表示される。立体表示画像の為の画像データは、効率的で画質劣化が少なく圧縮率の高い保存形式で記録する為に同一視差方向の平行光線を構成する組の画素の画像データを集積した、ｎ枚より多く縦横画素数の異なる各視差成分画像を、第ｎ隣接視差方向となる１枚乃至数枚ずつ組み合わせることによりすべて同一縦横画素数のｎ枚の連結画像に変換して記録される。

Description

明 細 書

立体画像用データの構造及びその記録方法並びにその表示再生方法 技術分野

[0001] 本発明は、立体画像用データの構造及びその記録方法並びにその表示再生方法 に係り、特に、圧縮に適する立体表示画像を記録する立体画像用データの構造及 びその記録方法並びにその表示再生方法に関する

背景技術

[0002] 動画の立体表示が可能な立体視画像表示装置、所謂、 3次元ディスプレイには、 種々の方式が知られている。近年、立体視画像表示装置では、特に、フラットパネル タイプで、且つ、専用の眼鏡等を必要としない方式の要望が高くなつている。直視型 或いは投影型の液晶表示装置及びプラズマ表示装置等のフラットパネルタイプ表示 装置では、その表示面における画素位置は、固定され、この表示パネルの直前に表 示パネルからの光線を制御して観察者に向ける視差バリアが設置される方式が立体 視画像表示装置を比較的容易に実現できるとされて 、る。

[0003] 視差バリアは、一般的にはパララタスノリアとも称せられ、視差バリア上の同一位置 を観察した場合でも、角度により異なる画像が見えるように光線が制御される。具体 的には、左右の視差、即ち、水平視差のみが与えられる場合には、スリット或いはレ ンチキユラ一シート、即ち、シリンドリカルレンズアレイが用いられ、上下の視差、即ち 、垂直視差も含める場合には、ピンホールアレイ或いはレンズアレイが用いられる。視 差バリアを用いる方式にも、さらに 2眼式、多眼式、超多眼式、即ち、超多眼条件が 与えられた多眼式、インテグラルフォトグラフィー（以下、単に IPとも云う）に分類され る。これらの基本的な原理は、 100年程度前に発明され立体写真に用いられてきた ものと実質上同一である。

[0004] 通常、 IP方式においても、また、多眼方式においても、視距離が有限であるため、 その視距離に透視投影画像が実際に見えるように表示画像が作成される。水平視差 のみで、垂直視差のない IP方式、即ち、 1次元 IP方式力 ID04 Digest 1438 (2004) に開示されている。この 1次元 IP方式では、視差バリアの水平方向ピッチが画素の水 平方向ピッチの整数倍 (n倍）に設定された場合、平行光線の組が生じる（以下、この 1次元 IP方式は、平行光線 1次元 IPとも云う）。従って、平行光線の 1組を構成する画 素列を集積した視差成分画像は、垂直方向がある一定視距離の透視投影であり、水 平方向が平行投影である画像である。垂直方向が透視投影で、水平方向が平行投 影である各視差成分画像を画素列ごとに分割し、インターリーブ状に合成配置すれ ば視差合成画像が作成され、これを表示面に表示して視差バリアを通して観察する と、正しい投影、即ち、水平方向 ·垂直方向とも透視投影の立体像が得られる。具体 的な方法は、 SID04 Digest 1438 (2004)、特願 2003— 90738及び特願 2003— 315 356などに開示されている。多眼方式では、単純な透視投影による画像を画素列ご とに分割しインターリーブ状に合成配置することにより、正しい投影の立体像が得ら れる。

[0005] 尚、垂直及び水平方向に応じて投影方法或いは投影中心距離を異ならせるような 撮像装置は、平行投影の場合に被写体と同サイズのカメラ、或いは、レンズが必要と されるため、実現が困難である。従って、撮像により、平行投影データを得るためには 、透視投影の撮像データから平行投影データに変換する方法が現実的であり、 EPI (ェピポーラ面）を用いた補間による方法である光線空間法などが知られている。

[0006] 平行光線 1次元 IP方式は、 2眼方式に比べ見やす 、と 、うメリットがあるが、投影方 法並びに分割配置方法にぉ 、て画像フォーマットが複雑である。 2眼及び多眼は、 最も単純な立体画像を表示する立体画像表示方式であるため画像フォーマットも単 純で、各視点画像は、全て同一縦横画素数で作成され、 2眼なら 2枚、 9眼なら 9枚の 視差成分画像が画素列毎に分割され、表示面に表示される画像形式である視差合 成画像に合成されれば良いこととなる。しかし、平行光線 1次元 IP方式では、略同一 解像度を与える多眼方式に比較し、視差成分画像の枚数が多くなり、各視差成分画 像の横画素数 (立体画像の表示に使用する水平範囲)も視差方向により異なり、画 像フォーマットが複雑となって 、る。

[0007] 多眼方式においても、また、平行光線 1次元 IP方式においても、各視差情報がサ ブ画素単位で割り当てられる場合には、視差合成画像の形式の画像が JPEG或いは MPEG等の符号化方法により非可逆的に圧縮されると、視差情報が混合され、展開 時に画質が劣化する問題がある。特に、色モアレ防止のためにカラーフィルタ等の色 配列がモザイク配列されている場合には、色情報も混合し、展開時に画質がさらに劣 化する問題がある。可逆圧縮の場合は、劣化の問題はないが、圧縮率が非可逆圧 縮に比べ力なり悪いという問題がある。また、視差成分画像を個別に非可逆圧縮 '展 開する方法は、多眼では、容易であるが、平行光線 1次元 IP方式では、視差成分画 像の数が多ぐその横画素数も異なることから、合理的な方法ではない。

[0008] 上述のように、従来の平行光線 1次元 IP方式の立体表示画像記録方法にあっては 、圧縮率及び展開時の画質劣化に問題がある。

発明の開示

[0009] この発明の目的は、平行光線 1次元 IP方式にお!、て、効率的で画質劣化が少な ぐ圧縮率の高い立体表示画像記録方法を提供することにある。

[0010] この発明によれば、

第 1水平ピッチで画素が水平方向に配列され、立体表示の為の視差合成画像が表 示される表示面を有する表示部と、

この表示面に対向して配置され、前記水平ピッチの整数 n倍に等しい第 2の水平ピ ツチで水平方向に配置されて 、る直線状光学的開口部を有する視差バリアであって 、前記表示面上の前記水平方向に沿う n個間隔の画素力 の光線を平行光線として 視域に向ける視差バリアと、

を具備し、水平方向に視差に与え、垂直方向に視差を与えないで視域に立体画像 を表示させる立体画像表示装置に為の立体画像用データの構造であって、 前記視域内の同一視差方向の平行光線を前記画素に生成させる画素列が集積さ れて!ヽる n枚或 ヽは n枚より多 ヽ、縦横画素数の異なる視差成分画像データから成り 、第 n隣接視差方向となる 1以上の前記視差成分画像が組み合わされた実質的に同 一縦横画素数の n枚の連結画像を視差合成画像への変換単位とすることを特徴とす る立体画像用データの構造が提供される。

[0011] また、この発明によれば、

第 1水平ピッチで画素が水平方向に配列され、立体表示の為の視差合成画像が 表示される表示面を有する表示部と、 この表示面に対向して配置され、前記水平ピッチの整数 n倍に等しい第 2の水平ピ ツチで水平方向に配置されて 、る直線状光学的開口部を有する視差バリアであって 、前記表示面上の前記水平方向に沿う n個間隔の画素力 の光線を平行光線として 視域に向ける視差バリアと、

を具備し、水平方向に視差に与え、垂直方向に視差を与えないで視域に立体画像 を表示させる立体画像表示装置に為の立体画像用データを記録する方法であつて 前記視域内の同一視差方向の平行光線を前記画素に生成させる画素列が集積さ れて!ヽる n枚或 ヽは n枚より多 ヽ、縦横画素数の異なる視差成分画像データを用意し 第 n隣接視差方向となる 1以上の前記視差成分画像が組み合わされた実質的に同 一縦横画素数の n枚の連結画像を視差合成画像への変換単位として記録することを 特徴とする立体画像用データの記録方法が提供される。

図面の簡単な説明

[図 1]図 1は、この発明の一実施の形態に係る立体表示画像の記録方法及び再生方 法が適用される立体画像表示装置の全体の概略を示す斜視図である。

[図 2A]図 2Aは、図 1に示される視差バリアとしてのレンチキュラーシートを概略的に 示す斜視図である。

圆 2B]図 2Bは、図 1に示される視差バリアとしてのスリット板を概略的に示す斜視図 である。

[図 3]図 3 (a)、（b)及び (c)は、この発明の一実施の形態に係る立体表示画像の記 録方法及び再生方法が適用される立体画像表示装置の前面を概略的に示す平面 図、この発明の一実施の形態に係る立体表示画像の記録方法及び再生方法が適用 される立体画像表示装置の水平面内における光学系の配置並びに作図線を示す模 式図、及びこの発明の一実施の形態に係る立体画像表示装置の表示部を基準とす る視域空間における垂直面内の画角を概略的に示している。

[図 4]図 4 (a)、（b)及び (c)は、この発明の 1実施の形態に係る平行光線 1次元 IP方 式における視差成分画像に基づく視差合成画像の構成方法を示す説明図である。 [図 5]図 5 (a)、（b)及び (c)は、この発明の 1実施の形態に係る撮影時に取得された 視差成分画像を概略的に示す説明図、図 5 (a)に示された視差成分画像を視差合 成画像へ配分する方法を概略的に示す説明図及び図 5 (a)に示された視差成分画 像を視差合成画像へ配分する方法を概略的に示す説明図である。

[図 6]図 6は、この発明の立体表示画像の記録方法及び再生方法が適用される立体 画像表示装置の一部分の構成を概略的に示す斜視図である。

[図 7]図 7は、図 6に示される表示画面における画素配列の一例を拡大して概略的に 示す平面図である。

[図 8]図 8は、図 6に示される表示画面における画素配列の他の部分の例を拡大して 概略的に示す平面図である。

[図 9]図 9は、この発明の立体表示画像の記録方法及び再生方法が適用される立体 画像表示装置における表示部の水平断面を概略的に示す模式図である。

[図 10]図 10は、この発明の立体表示画像の記録方法及び再生方法が適用される立 体画像表示装置における表示部の水平断面を概略的に示す模式図である。

[図 11]図 11は、この発明の立体表示画像の記録方法及び再生方法において、表示 装置の表示面内に画像を配置する方法を概念的に説明する為の立体画像表示装 置の表示部を概略的に示す正面図である。

[図 12]図 12は、この発明の一実施形態に係る立体表示画像の記録方法に適用され る立体表示画像を記録するのに適した同一縦横画素数の連結画像の配列を示す平 面図である。

[図 13]図 13は、この発明の実施形態に係る立体表示画像記録方法における各視差 成分画像を概略的に示す平面図である。

[図 14]図 14は、図 13に示される各視差成分画像を獲得するための撮影方法を説明 する為の模式図である。

[図 15]図 15は、この発明の実施形態による立体表示画像記録方法における各視差 成分画像のデータ範囲と視差合成画像内の配置位置を示す表である。

[図 16]図 16は、この発明の実施形態の変形例に係る立体表示画像記録方法におけ る全連結画像の形式を概略的に示す平面図である。 [図 17]図 17は、この発明の他の実施形態に係る立体表示画像記録方法における全 連結画像の形式を概略的に示す平面図である。

[図 18]図 18は、この発明のまた他の実施形態に係る立体表示画像記録方法におけ る全連結画像の形式を概略的に示す平面図である。

[図 19]図 19は、この発明の更に他の実施形態に係る立体表示画像記録方法におけ る各視差成分画像を示す図である。

[図 20]図 20は、図 19を参照して説明する立体表示画像記録方法における各視差成 分画像のデータ範囲と視差合成画像内の配置位置を示す表である。

[図 21]図 21は、図 19及び図 20に示す視差成分画像を組み合わせた 18枚の連結画 像を示す平面図である。

[図 22]図 22は、図 21に示す連結画像を連結した全連結画像の一例を示す平面図 である。

[図 23]図 23は、図 22に示す全連結画像の変形例を示す平面図である。

[図 24]図 24は、図 22に示す全連結画像の他の変形例を示す平面図である。

[図 25]図 25は、図 22に示す全連結画像の更に他の変形例を示す平面図である。

[図 26]図 26は、図 22に示す全連結画像の更に他の変形例を示す平面図である。

[図 27]図 27は、図 22に示す全連結画像の更にまた他の変形例を示す平面図である

[図 28]図 28は、この発明の更に他の実施形態に係る立体表示画像記録方法におけ る 32枚の連結画像を示す平面図である。

[図 29]図 29は、図 28に示される連結画像における各視差成分画像のデータ範囲と 視差合成画像内の配置位置を示す表である。

[図 30]図 30は、図 28に示す連結画像を連結した全連結画像を示す平面図である。

[図 31]図 31は、図 30に示される全連結画像の他の変形例に係る全連結画像を示す 平面図である。

[図 32]図 32は、この発明の更にまた他の実施形態に係る立体表示画像記録方法に おける各視差成分画像のデータ範囲と視差合成画像内の配置位置を示す表である [図 33]図 33は、図 32に示す視差成分画像を組み合わせた 9枚の連結画像を示す平 面図である。

[図 34]図 34は、図 33に示す連結画像を組み合わせた全連結画像の変形例を示す 斜視図である。

[図 35]図 35は、この発明の上述した実施形態に係る立体表示画像記録方法で作ら れた連結画像或いは、全連結画像を非可逆圧縮して記録し、読み出し '展開し並べ 替えて再生する記録 ·再生方法の概略を示して!/、る。

[図 36A]図 36Aは、比較例に係る立体表示画像記録方法で作られた連結画像或!、 は全連結画像を非可逆圧縮して記録し、読み出し '展開し並べ替えて再生する記録 •再生方法の概略を示すフローチャートである。

[図 36B]図 36Bは、比較例に係る立体表示画像記録方法で作られた連結画像或!、 は全連結画像を非可逆圧縮して記録し、読み出し '展開し並べ替えて再生する記録 •再生方法の概略を示フローチャートである。

[図 37]この発明の 1実施の形態に係る連結画像群の視差合成画像への配分方法を 概略的に示す説明図である。

[図 38]図 38 (a)、（b)及び (c)は、この発明の 1実施の形態に係る全連結画像カも視 差合成画像への変換方法を説明する為の全連結画像を示す模式図、図 38 (a)に示 される全連結画像から変換された視差合成画像を示す模式図、及びこの発明の 1実 施の形態の変形例に係る全連結画像を視差合成画像へ変換する際の中間の画像 形式を示す模式図である。

[図 39A]図 39Aは、この発明の 1実施の形態に係る視差成分画像の一例を示す図で ある。

[図 39B]図 39Bは、この発明の 1実施の形態に係る全連結画像の一例を示す図であ る。

発明を実施するための最良の形態

[0013] 以下、図面を参照して、この発明の一実施の形態に係る立体表示画像の記録方法 及び再生方法を説明する。

[0014] 始めに、図 1〜図 11を参照して、 IP方式に係る表示装置及び表示方法について説 明する。

[0015] 図 1は、立体画像表示装置の全体を概略的に示す斜視図である。図 1に示す立体 画像を表示する表示装置は、平面画像としての視差合成画像を表示する平面型表 示部 331を備えている。この平面型表示部 331の前面には、この表示部 331からの 光線を制御する視差バリア 332として図 2Aに示すレンチキュラーシート 334或いは 図 2Bに示すスリット板 333が配置されている。ここで、レンチキュラーシート 334或い はスリット板 333は、総称して視差バリア 332と称する。ここで、視差バリアは、光学的 開口を備え、視差バリアがレンチキュラーシート 334であれば、光学的開口は、各シリ ンドリカルレンズに相当し、視差バリアがスリット板 333であれば、光学的開口は、スリ ット板 333に設けられたスリットに相当する。この視差バリア 332の光学的開口は、立 体画像が表示される視域に向けられる表示部 331からの光線を実質的に制限し、表 示部 331上に表示される 2次元的な画像を構成する各要素画像に対応して設けられ ている。従って、表示部 331上に表示される視差合成画像は、視差バリア 332の光 学的開口の数に対応した数の要素画像カゝら構成されている。その結果、要素画像が 夫々視差バリア 332の光学的開口を介して視域内の空間に向けて投影されることに よって立体画像が立体画像表示装置の前面或いは背面に表示される。

[0016] 尚、立体画像表示装置においては、必要に応じて拡散シート 301が平面画像表示 部 331と視差バリア 332との間に設けられても良い。また、視差バリア 322が、平面画 像表示部 331の背面側に設置されて 、てもよ 、。

[0017] この立体画像表示装置は、 1次元 IP方式であって、この 1次元 IP方式においては、 想定視距離 L上の視点 343から見ると、水平視差 341が与えられるが、垂直視差 34 2が与えられていない立体画像が観察される。ここで、図 3 (a)は、立体画像表示装 置の前面を示し、図 3 (b)は、立体画像表示装置の水平面内における光学系の配置 並びに要素画像平均幅 Pe、第 2水平ピッチ (視差バリアの開口部の水平ピッチ) Ps、 視距離 L、視域幅 Wの関係を示す作図線 (直線群 346)を示し、図 3 (c)は、図 3 (a) に示す立体画像表示装置の表示部 331を基準とする視域空間における垂直面内の 画角を概略的に示している。

[0018] 図 1及び図 3 (b)に示すように、立体画像表示装置は、上述したように液晶表示素 子等の平面画像を表示する平面型表示部 331及び光学的開口を有する視差バリア 332を備えている。視差バリア 332は、図 2A及び 2Bに示すような垂直方向に光学的 開口が直線状に伸び水平方向に周期的に配列される形状のレンチユキユラ一シート 334或いはスリット板 333で構成される。投射型の表示装置にあっては、この視差バ リア 332は、曲面鏡アレイなどで構成される。この立体画像表示装置においては、水 平方向の視角 341及び垂直方向の視角 342の範囲内において、眼の位置力も視差 バリア 332を介して表示装置 331が観察されて表示部 331の前面及び背面に立体 像を観察することができる。ここでは、平面画像表示部 331の画素数は、正方形とな る最小単位の画素群で数えた場合の一例として横方向（水平方向）が 1920であり、 縦方向（垂直方向）が 1200である。ここで、各最小単位の画素群は、赤 (R)、緑 (G) 、青（B)の画素を含んでいるものとする。尚、この明細書において「画素」とは、表示 面の 1フレーム内で独立に輝度を制御できる最小単位を意味し、通常の直視透過型 液晶パネルにおける赤 (R)、緑 (G)、青 (B)のサブ画素が「画素」に該当することに 注意されたい。

[0019] 図 3 (b)において、視差バリア 332から視距離面 343までの間の距離 (想定視距離) L、視差バリアピッチ (視差バリア 332の光学的開口の水平ピッチ) Ps、視差バリアギ ヤップ dが定められれば、各要素画像の幅が定められる。即ち、要素画像の平均ピッ チ Peは、視距離面 343上の視点力もアパーチャ、即ち、視差バリア 332の光学的開 口の中心に向かう直線に沿つてアパーチャ中心を表示装置の表示面上に投影した 点の間隔により決定される。符号 346は、視点位置と各アパーチャ中心とを結ぶ線を 示し、視域幅 Wは、表示装置の表示面上で要素画像が互いに重なり合わないとの条 件から決定される。既に説明したように、要素画像とは、視差バリア 332のある光学的 開口を通過して視差バリア 332と視距離面 343上との間の視域に向けられる光線束 を発生する画素の集合によって表示される 2次元的な合成画像、即ち、視差合成画 像の一部に相当する。複数の要素画像が表示部 331に表示されてこれが投影される ことによって立体画像が表示される。

[0020] この視差合成画像は、図 3 (a)に示す駆動回路 310からの表示信号で表示装置 33 1が駆動されて表示装置 331に表示される。この駆動回路 310は、後に説明する視 差成分画像群から構成される連結画像を圧縮して立体画像データとして記憶する記 憶部 312をその周辺装置として具備している。また、駆動回路 310は、この記憶部 31 2からの圧縮立体画像データを展開して連結画像に変換し、さらに連結画像から視 差合成画像に変換し、画素データを抽出する画像処理部 314をその周辺装置として 具備している。

[0021] アパーチャの水平ピッチ Psが画素ピッチ Ppの整数倍に定められている平行光線 1 次元 IP方式にぉ 、ては、各アパーチャに対応して定められる立体画像の表示に寄 与する要素画像の平均ピッチ Peは、画素ピッチ Ppの整数倍とはならず、この整数倍 の値に端数を伴う。アパーチャの水平ピッチ Psが画素ピッチ Ppの整数倍に定められ ていない。即ち、水平ピッチ Psで配列されたアパーチャは、平行光線群を形成しない 。広義の 1次元 IP方式にあっては、一般的に要素画像の平均ピッチ Peは、同様に画 素ピッチ Ppの整数倍力もずれた端数を伴う。これに対して、多眼方式では、要素画 像の平均ピッチ Peは、画素ピッチ Ppの整数倍に定められる。 1次元 IP方式において 、アパーチャの水平ピッチ Psを画素ピッチ Ppで除した整数を「視差数」と呼ぶことに する。

[0022] 各要素画像は、図 4 (a)、図 4 (b)、図 4 (c)及び図 5を参照して説明するように各平 行光線群の方向に対応する視差成分画像 426から抜き出された画素列の集合で構 成される。また、明らかなように 1枚の立体画像を表示する為の視差合成画像は、要 素画像の集合 (要素画像アレイとも称する）でもあり、この要素画像を構成する多数の 視差成分画像 426の集合、即ち、インターリーブ状に合成された多数の視差成分画 像 426の集合でもある。

[0023] 図 4 (a)、図 4 (b)及び図 4 (c)は、平行光線 1次元 IP方式における視差成分画像に 基づく視差合成画像の構成方法を示している。図 4 (a)に示されるように、表示される 物体、即ち、被写体 421は、実際に立体画像表示装置の視差バリア 332が置かれる 面に配置される投影面 422に投影される。 1次元 IPにおいては、垂直方向が透視投 影となり、水平方向が平行投影となるように、投影面 422に平行な面で、且つ、視距 離 Lの面の中央に定められ投影中心線 423に向カゝぅ投影線 425に向けて投影される 。この投影では、投影線が水平方向では互いに交わらないが、垂直方向では投影中 心線で交わる。この投影法により、投影面 422上に、垂直方向が透視投影され、水平 方向が平行投影された図 4 (b)に示されるような被写体の像 424が作成される。図 4 ( b)に示される被写体の像 424は、図 4 (a)においては、符号 1で示される投影方向 42 8に投影される像に相当し、 1次元 IPにあっては、図 4 (a)に示されるように複数の方 向に投影される被写体の像 424が必要とされる。

[0024] 投影面 422上に垂直方向が透視投影され、水平方向が平行投影される一方向分 の画像に相当する投影画像すなわち視差成分画像 426は、図 4 (b)に示すように、 垂直方向に沿う各画素列に分割され、各光学的開口、即ち、アパーチャに対応させ る各要素画像に分配され、視差合成画像 427内に配置される。視差成分画像 426 は、表示装置の表示面 427における長さでいえば、アパーチャピッチ Ps、即ち、光学 的開口のピッチ Psの間隔 (視差数と同じ数のサブ画素列間隔)だけ間隔が空けられ 、互いに分離して配置される。

[0025] 各視差成分画像の必要解像度は、視差合成画像の 1Z (視差数)である。表示装 置の表示面のカラー配列がモザイク配列である場合は、視差合成画像に対する各視 差成分画像の水平解像度を 3Z (視差数)、垂直解像度を 1Z3にすると都合がよい 。但し、視差成分画像は視差数が 9でない限りアスペクト比が 1でなくなる図 5は、視 差数 18の例であり、視差合成画像の水平画素数 5760 (サブ画素数）に対し、視差 成分画像の水平画素数は 1Z6の 960 (サブ画素数)である。図 5 (a)及び図 5 (b)に 示すように撮影時に取得された視差成分画像 426 (カメラ画像にも相当する。 )の各 RGBサブ画素は横方向（行方向）に配列されている力 各 RGBのサブ画素からのサ ブ画素データは、視差合成画像において縦方向（列方向）に、例えば、縦方向に沿う サブ画素に RGBサブ画素データが（縦方向に沿う GBR或いは BRGサブ画素データ の順序でも良 ヽ）並べ替えられて縦方向に沿う画素列に配分される。この変換配分 によって、水平視差のみを持つ 1次元 IP方式における立体画像の表示における水平 方向の解像度を高めることがでる。視差成分画像の水平隣接画素 (RGBの 1組と水 平隣接する RGBの 1組)は、視差合成画像上において視差数と同じ数のサブ画素数 だけ分離されて配置される。このような操作が他の投影方向 428についても夫々繰り 返されて図 5 (c)に示すように表示面 427に表示される 2次元画像としての視差合成 画像全体が完成される。投影方向 428は、図 4 (a)には、 一 4, —3, —2, —1, 1, 2 , 3, 4の 8方向のみが示されている力 視距離により数 10方向が必要とされ、図 5乃 至図 18に示す視差数 18の例では、 30方向が必要とされる。但し、投影された画像、 即ち、視差成分画像 426は、視差合成画像の画素列数の 3, (視差数)がとりうる最 大の画素列数であるが、そのうち投影方向毎にそれぞれ必要な範囲の列のみ作成 すれば良ぐ必要な範囲は、図 13を参照して説明する範囲となる。

[0026] 図 4 (a)に示される各投影方向は、視差番号で特定される視差成分画像 426を観 察する視差方向に対応し、各方向は、等角度と成すようには定められず、図 14を参 照して説明するように視距離面上で投影中心 (カメラ位置に相当する。）の間隔が等 間隔になるように設定される。即ち、カメラを投影中心線 423上で等間隔に平行移動 (向きは一定)して撮影することによって、投影中心の間隔が等間隔に設定される。

[0027] 図 6は、立体画像表示装置の一部分の構成を概略的に示す斜視図である。液晶パ ネルなどの平面状の視差画像表示部の表示面の前面に、視差バリア 332として光学 開口が垂直方向に延びるシリンドリカルレンズからなるレンチキュラーシート 334が配 置されている場合を示している。この視差バリア 332の光学開口は、図 6に示されるよ うに直線状に延出される場合に限らず、斜め、或いは、階段状に配置形成されも良 い。図 6に示されるように表示装置の表示面には、縦横比が 3 : 1の画素 34が横方向 及び縦方向に夫々直線状にマトリクス状に配置され、各画素 34は、同一行及び列内 で横方向に赤 (R)、緑 (G)、青 (B)が交互に並ぶように配列されている。この色配列 は、一般にモザイク配列と呼ばれる。

[0028] 図 7は、図 6に示される表示面における画素配列の一例を拡大して示す平面図で ある。この図 7において、画素 34の列上に付された— 9から 9までの数字は、図 4を参 照して説明した視差成分画像を特定する視差番号を表し、隣接する視差番号は、隣 接列に割当てられている。図 7に示される配列においては、列に沿った画素 34の縦 周期は、行に沿った画素の横周期 Ppの 3倍に定められている。

[0029] 図 6に示される表示画面では、 18列 6行の画素 34で 1実効画素 43 (この 1実効画 素 43は、図 6において黒枠で示されている）、或いは、 18列 3行の画素 34で 1実効 画素が構成される。このような表示部の構造では、水平方向に 18視差を与える立体 画像表示が可能となる。

[0030] 平行光線 1次元 IP方式においては、画素ピッチの整数倍、例えば、 18画素ピッチ が視差バリアピッチ Psに等しく定められ、視差バリア 332の光学開口を介して射出さ れる光線には、平行光線の組が生ずる。このような設計においては、 18画素幅よりわ ずかに大きい間隔 (例えば、 18. 02)で要素画像境界が生じるが、実効画素が画素 単位で定められることから、図 7および図 8に示されるように、実効画素の幅は表示面 内の位置に依存して 18列分或いは 19列分に定められる。即ち、要素画像ピッチの 平均値が 18画素幅より大きぐ且つ、視差バリア 332の横ピッチが 18画素幅に定め られる。

[0031] 図 9及び図 10は、立体画像表示装置における表示部の水平断面を概略的に示し ている。図 9及び図 10に示すようにスリット板 333及びレンチキュラーシート 334のレ ンチキユラ一レンズの水平方向のピッチ Ps (周期）は、正確に整数画素分（nX Pp、 n は整数）に定められている。即ち、各スリット間の中心を通る中心軸 351又は隣接す るレンチキュラーレンズの境界を通る基準軸 352は、画素境界を通り、中心軸 351或 いは基準軸 352間に相当する領域には、整数個の画素が配置され、中心軸 351或 いは基準軸 352の水平方向のピッチ Ps (周期）は、一定に定められている。図 9或い は図 10に示す例では、このピッチ Psは、 18画素分に定められている。表示装置の表 示面 331と視差バリア 333、 334との間のギャップ dは、ガラス基板、或いは、レンズ 材質の屈折率を考慮して実効的に約 2mmに定められている。このように、視差バリア 332のピッチ Psが画素間ピッチ Ppの整数倍となる方式は、すでに説明したように 1次 元 IPに相当する。尚、要素画像ピッチ Peが画素間ピッチ Ppの整数倍となっているも のは、一般的に多眼式に分類される。

[0032] 図 11は、平行光線 1次元 IP方式において、表示装置の表示面内に画像を配置す る方法を概念的に説明する為の立体画像表示装置の表示部を示す正面図である。 表示装置の表示面は、各アパーチャ (視差バリア 332の開口部）に対応する要素画 像 370に区分され、この要素画像 370は、既に説明したように夫々 18列又は 19列の 画素列から構成されている。アパーチャ数 (光学的開口数)は、視差成分画像の水平 画素（ここではサブ画素ではない)数と同じく 320であり、要素画像の数も 320となる。 視差合成画像 426の画素列は、 5760 (サブ画素数)である。図 11においては、 320 個のアパーチャを要素画素 370に対比して説明する為に符号 364で示す図面中の 領域にアパーチャ番号 (要素画像番号)を付して 、る。領域 364に記述されるァパー チヤ番号の範囲（合計 320個のアパーチャの番号の範囲）は、 #ー160〜 # 1、 # 1〜 # 160である。図 11において、各画素列 365には、視差成分画像 426を特定す る視差番号 (この例では、視差番号— 15〜― 1、 1〜15の 30方向分）が符号 363で 示す図面中の領域に項目として示されている。

[0033] 図 11から明らかなようにアパーチャ番号 # 1の要素画像 370は、視差番号— 9〜― 1及び視差番号 1〜9で特定される 18視差成分画像 426の列力もなり、アパーチャ番 号 # 159の要素画像は、視差番号 15〜一 1及び視差番号 1〜3で特定される 1 8視差成分画像 426の列から構成される。要素画像平均幅 Peが 18画素列の幅より わずかに大きいため、要素画像境界を最も近い画素列境界に合わせる（通常の A— D変換方法）とすると、アパーチャに対する要素画像の画素列数は、大部分のァパー チヤにおいて 18列であるが、画素列数が 19列になつて!、るアパーチャも生ずる（図 7 及び図 6の説明を参照されたい。 )₀画素列数が 19列になるアパーチャ番号を境に、 要素画像内の視差番号範囲カ^つずつシフトされる。具体的には、視距離が 1000m mに設定される場合には、画素列数が 19列になっているアパーチャ番号は、 # 14、 # 42、 # 70、 # 98、 # 125、 # 153及びそのアパーチャ番号にマイナスを付した番 号が該当する。従って、アパーチャ番号 #—160および # 160の要素画像は、はみ 出した 6列分少ない 12列カゝら構成される。

[0034] 次に、表示部 331に表示される視差合成画像を、圧縮に適した形式に変換した画 像データの構成について、図 12〜図 25を参照して説明する。

[0035] 図 12は、この発明の一実施形態に係る立体表示画像の記録方法に適用される、 立体表示画像の記録に適した同一縦横画素数の n枚 (この例では、 n= 18)の連結 画像 2を示している。ここで nは、視差数に相当していることから、以下の説明におい て、視差数 nと称する。その夫々の連結画像 2は、 1枚、或いは、数枚の視差成分画 像 426 ( + 15〜+ 1,— 1〜― 15)の組み合わせによって構成されて!、る。これら n枚 の連結画像 2は、表示部 331に表示される 1枚の視差合成画像 426に容易に変換で きるようにフォーマットされたデータ構造である。図 4 (a)〜図 4 (c)及び図 5 (a)〜図 5 (c)を参照して説明した視差成分画像の分割配置と同様な分割配置方法によってこ の連結画像 2を表示部 331上に配分することによって視差合成画像に変換すること ができ、この変換方法は、図 37に示されている。視域の右端のカメラ画像（#—9)を 含む連結画像を、視差合成画像の左端 1列目から、 18サブ画素間隔で、サブ画素 を縦に並べ替えながら右端まで配置し、視域の右端から 2番目のカメラ画像（#—8) を含む連結画像を、視差合成画像の左端 2列目から、 18サブ画素間隔で、サブ画 素を縦に並べ替えながら右端まで配置し、（· · ·以下同様に繰り返し）、最後に視域の 左端のカメラ画像 ( # 9)を含む連結画像を含む連結画像を、視差合成画像の左端 1 8列目から、 18サブ画素間隔で、サブ画素を縦に並べ替えながら、右端まで配置す る。即ち、 18枚の連結画像は、多眼方式の 18視点画像と全く同じ処理で扱え、全く 同じインターリーブ処理により視差合成画像に変換できる。ここで、図 12に示される 連結画像 2の配列の形態で記憶媒体に記録され、或いは、図 12に示される連結画 像 2の配列が 1フレームとしてフレーム内圧縮され、或いは、同様に他の連結画像 2 の配列としての他のフレームとの間での相関が取られてフレーム間圧縮される。

[0036] 尚、図 12中の番号（15〜1, 1〜一 15)は、視差成分画像 426の番号 (カメラ番号 と同じ)を示している。従って、以下の説明において、連結画像 2を特定するに際して は、視差成分画像 426の番号（15〜1, 1 15)の組み合わせで説明されること に注意されたい。例えば、図 12において、図中左上端に位置される連結画像 2は、 連結画像（一 9, + 10)として特定され、また、中段右端の連結画像 2は、連結画像（ + 3)として特定されるものとする。

[0037] 平行光線が水平方向に射出される 1次元 IP方式では、表示面内に配列された画素

(この例ではサブ画素）の水平ピッチの整数倍、例えば、 18倍に等しい水平ピッチで 光学的開口部（レンチキュラー板の各シリンドリカルレンズ）が配置されるように直線 状に延びる視差バリア 332 (レンチキュラー板）が表示パネルの前面に配置されてい る。そして、 1次元 IP方式においては、表示面の水平方向に沿ってその整数倍として の 18個の間隔を開けた画素からの光線が平行光線として視野領域に向けられて立 体像が再生される。同一視差方向の平行光線を構成する画素の組の画像データを 集積した各視差成分画像 426は、例えば、 18枚より多く 30枚に定められ、図 13に示 すように # -15〜 # -1及び # + 1〜 # + 15の視差成分画像 426は、夫々その水平 方向の画素数 (使用画素範囲）が異なっている。図 13は、合計 30枚の各視差成分 画像 426を含むカメラ画像の使用画素範囲のサイズを示している。ここで、実線は、 視差成分画像 426の使用画素範囲を示し、破線は、立体表示時の表示解像度に等 L ヽカメラ画像サイズ (撮像時の投影面に対応する縦横画素数)を示して ヽる。この 縦横画素数は、横 320 X縦 400画素（サブ画素ではない）に定められている。各視 差成分画像 426は、縦画素数は、全て同一であるが、横画素数は、夫々異なり、具 体的な値 (横 320画素のうち使用画素範囲）が図 15に示されている。視距離におい て立体像の観察可能な観察者位置 (視域）は、 30カメラのうち中央の 18カメラの位置 する幅に相当する力 この視域に入る範囲が使用画素範囲である。尚、図 13の形式 の実際の画像の例を図 39Aに示している。

図 13に示される連結画像 2を構成する視差成分画像 426は、図 14に示されるよう な投影面 422 (被写体 421に合わせる焦点の面に相当）から視距離 Lだけ離間して 配置されたカメラによって、共通の投影面範囲に撮影された画像から分離されて得ら れる。すべてのカメラは平行に向いており、かつ共通投影面であることから、あおりレ ンズ撮影あるいは広角撮影後の切り出しという撮影方法となる。図 14においては、各 カメラの撮影位置は、図 13に付されたカメラ番号（# 1〜# 15, # -1〜# -15)で示さ れている。カメラ番号 (視差方向番号）は、図 2のように、 nが偶数の場合は 0番を除き 、表示面 422の正面中央に対して対称に正負の番号を付するものとする。カメラが被 写体 421から視距離 Lだけ離間した水平方向の撮影基準線上を等間隔で移動され て同一投影面範囲で被写体 421を撮影すると、被写体 421を含む空間の領域が撮 影される。カメラ番号 # 1及びカメラ番号 # -1では、水平方向の撮影基準線上の略 中央に位置することから、このカメラ番号 # 1及びカメラ番号 # -1で撮影された撮影 画像は、全範囲が立体画像表示時の視域内に入り、カメラ番号 # 1及びカメラ番号 # -1の全画素範囲が # -1及び # + 1の視差成分画像 426として利用される。カメラ 番号が増加或いは減少するに従って、投影面 422への撮影画像のうち視域に入らな い範囲が増加し、視差成分画像 426としての使用画素範囲が減少され、撮影画像中 に占める視差成分画像 426として利用されない不要画素範囲が増加される。例えば 、カメラ番号 # 9及びカメラ番号 #-9で撮影された撮影画像は、画角はほとんど変わ らないが、視域に入る範囲が約 1Z2となり、視差成分画像 426は、撮影画像の略 1 Z2の横画素範囲となり、その他は、視域内に表示されるべき立体表示に関しては不 要画素範囲となる。図 13は、撮影画像と視差成分画像 426との関係を示し、この図 1 3に示されるようにカメラ番号が増加或いは減少するに従って撮影画像力 分離され る視差成分画像 426として使用される横画素範囲が減少され、不要画素範囲が増加 される。カメラが水平方向の撮影基準線上を等間隔で移動される場合には、撮影画 像から分離される視差成分画像 426として使用される画素範囲及び視差成分画像 4 26として利用されない不要画素範囲との間には、図 13に示されるように互いにその 画素範囲に関して相補的な関係にある視差成分画像 426範囲及び不要範囲が生じ ている。例えば、カメラ番号 #-5で撮影された撮影画像には、視差成分画像 426範 囲及び不要範囲が生ずるが、この不要範囲は、カメラ番号 #-14で撮影された撮影 画像の視差成分画像 426範囲に等しくなる。従って、カメラ番号 #-5及び #-14で 撮影された撮影画像の視差成分画像 426の組み合わせは、カメラ番号 # 1で撮影さ れた撮影画像の視差成分画像 426の縦横画素数に等しくなる。

図 12に示される連結画像 2は、図 13に示される撮影画像から分離される視差成分 画像 426が組み合わされて同一の縦横画素数に定められている。図 13に示される 各視差成分画像 426のサイズ (縦横画素数)の比較カゝら明らかなように、第 18隣接 視差方向となる 1枚乃至数枚ずつ組み合わせると、すべて同一縦横画素数の 18枚 の連結画像 2に変換することが出来る。例えば、図 12の左上に示される連結画像 2 は、視差方向の番号が 18だけ離れているー9番と 10番の組み合わせに相当し、右 上の連結画像 2は、視差方向の番号が 18だけ離れて!/、る 4番と 15番の組み合わ せに相当する。視域端側に位置されるカメラ番号で撮影された撮影画像カゝら分離さ れた視差成分画像 426が他の視差成分画像 426に組み合わされるが、視差成分画 像 426の絵柄も比較的、特に、視差が小さい画像であれば、連結画像内での連続性 が高くなる。したがって、連結画像を非可逆圧縮し展開しても、連結部分での画質劣 化が少なくすむ。一部の連結画像 2 (18枚中番号 #-3〜# 3の 6枚）は、 1枚の視差 成分画像 426からのみ構成されている。また、各連結画像 2は、縦横画素数が全く同 一であることから、多眼方式の表示装置における多眼データと全く同様に処理するこ とが出来る利点もある。

[0040] 図 15は、各視差成分画像 426の具体的な横画素数 (水平画素（サブ画素でない） 範囲)及び視差合成画像上での配置 (水平画素 (サブ画素)範囲)を示す表である。 これは、図 11を例にすでに説明したように、想定視距離 Lにより決定される要素画像 平均幅（ 18画素幅よりわずかに大き 、）から計算によって作成される。この図 15に示 される表力も明らかなように視差方向を特定する視差番号— 15番（図 14における力 メラ番号一 15番に相当）の画像は、図 13に示すカメラ撮影画像において、横 320画 素列のうち 2列目力ら 8列目の画素の領域のみのサイズであり、 7画素幅分に相当し ている。この 7画素幅のデータ力 視差合成画像（5760サブ画素幅）の 13列目力も 1 21列目のサブ画素列範囲に、 18サブ画素おきに分割され、視差成分画像において 横に並んで 、た RGBの 3サブ画素が縦に並べ替えられて配置される。同様に視差 方向— 11番の視差画像は、図 13に示すカメラ撮影画像において、横 320画素列の うち 2列目から 119列目の画素の領域のみのサイズであり、 118画素幅分に相当して V、る。この 118画素幅のデータが表示部 331上に表示される視差合成画像（5760サ ブ画素幅）の 17列目から 2123列目のサブ画素列範囲に、 18サブ画素おきに分割さ れ、 RGBが縦に並べ替えられて配置される。図 12に示される連結画像 2は、一例と して視差番号一 15及び視差番号 4が組みあわされているが、視差番号一 15及び視 差番号 4の組み合わせに係る領域幅 (横画素数)の合計は、 7 + 313 = 320である。 また、図 12に示される連結画像 2は、視差番号一 11及び視差番号 8が組みあわされ ているが、視差番号一 11及び視差番号 8の組み合わせに係る領域幅の合計は、 11 8 + 202 = 320である。同様に、視差番号一 14及び視差番号 5の組み合わせに係る 領域幅の合計は、 35 + 285 = 320であり、同様に他の組み合わせに係る領域幅は、 すべてその合計幅が 320となっている。

[0041] 上述した説明において、各視差成分画像 426は、垂直方向が想定視距離 L、或い は、その近傍の視距離に対応した透視投影でありかつ水平方向が平行投影である 画像であることが設計上正しいことになるが、垂直方向及び水平方向とも透視投影で あっても、立体像の歪が目立たない場合には許容される。

[0042] 図 16は、図 12に示される 18枚の連結画像 2を更に直線に沿って連結して 1枚の全 連結画像とした例を示している。この全連結画像は、隣接視差方向を含む連結画像 2が水平方向に隣接するように連結して構成される。この例では、表示面の正面に近 い 18視差方向の両端の視差方向（一 9番と 9番）を含む 2枚の連結画像 2が全連結 画像の両端に配置されている。この形式は、多眼方式の表示装置における多眼デー タと略同様の処理に適用するに好適な構造に相当して 、る。

[0043] 図 17に示すように、図 12に示される 18枚の同一縦横画素数を有する連結画像 2 が水平方向及び垂直方向に組み合わされてタイル状に配置されて互いに連結され ても良い。このタイル状の全連結画像は、立体像表示時に表示面に表示される視差 合成画像と同一縦横画素数になるように定められても良 ヽ。このように最終表示画像 である視差合成画像と同一の縦横画素数であれば、 MPEG2等の規格に沿う形式 で圧縮記録が可能となる。即ち、図 17に示されるタイル状全連結画像がフレームとし て用意され、複数のフレームで立体視可能な動画を再生するような場合において、フ レーム間圧縮並びにフレーム内圧縮を適用することが出来る。各視差成分画像 426 の左右端は、立体表示時に画面端或いは視域端のいずれかに相当し、各連結画像 内での視差成分画像連結部分は視域端、連結画像同士の連結部分は画面端に相 当している。非可逆圧縮では、一定のブロックサイズごとに符号ィ匕が行われる力 連 結画像同士の連結部分は多くの場合ブロック境界に一致する。また、各連結画像内 での視差成分画像連結部分はブロック境界に一致しな 、場合が多 ヽが、視域端 (隣 接ローブとの境界)ではもともと立体像自体が分裂して正常に見えな 、ため、画質が 劣化しても問題ない。したがって、全連結画像を非可逆圧縮し展開しても、連結部分 での画質劣化の立体像に対する影響が抑えられる。図 17の全連結画像から視差合 成画像への変換も図 37と同様である力 これは図 38 (a)に示した全連結画像から図 38 (b)に示される視差合成画像への変換のように、同じ縦横画素数の画像間の 1対 1写像となる。この変換の際に、図 38 (a)に示した全連結画像の 3段構造の各段の中 で同じ行番号を取り出して 3行にまとめ、順に書き出した図 38 (b)に示す画像形式を 経由すると、図 38 (c)に示す画像形式から図 38 (b)に示される視差合成画像への変 換が 3行内で閉じた 1対 1写像となるため、処理系によっては、図 38 (a)に示した全連 結画像から図 38 (c)に示す画像形式に変換してから図 38 (c)に示す画像形式を図 38 (b)に示される視差合成画像に変換する手順のほうがよい場合もある。なお、図 1 7の形式の実際の画像の例を図 39Bに示している。

[0044] 図 18に示すように、更に、全連結画像は、連結画像 2が垂直方向に 1段ごとに反転 して連結して構成されても良い。このように多段に連結される場合には、相関が比較 的高い画面が上下に配置され、互いに連結されることが好ましい。このような配置に よれば、非可逆圧縮記録時における画質劣化が少ないまま、フレーム間圧縮並びに フレーム内圧縮を適用することが出来るが、視差合成画像への変換処理は多少複雑 になる。

[0045] 図 19は、図 13と同様に視差成分画像 426が n= 18であり、想定視距離 Lが図 13 に示す視差成分画像 426とは異なる場合におけるカメラ画像から抽出される視差成 分画像 426の例を示している。図 20にも示すように、視差方向は、合計 40である。例 えば、視差番号が 18ずつ離れた、視差番号 20、視差番号 2及び視差番号 17 の 3枚の視差成分画像の領域幅 (横画素数)の合計は、 14 + 251 + 55 = 320であり 、同様に 18隣接視差方向の合計幅は、全て 320となる。図 20の表は、図 15に示す 表と同一の項目を備えていることから、その説明を省略する。

[0046] 図 21は、図 19及び図 20に示す視差成分画像 426を組み合わせた 18枚の連結画 像 2を示している。この連結画像 2は、 1枚の視差成分画像 426のみで構成される連 結画像 2がなぐ 2又は 3枚の視差成分画像 426から成っている。 18枚中 4枚の連結 画像 2は、 3枚の視差成分画像 426から構成され、他の連結画像 2は、 2枚の視差成 分画像 426から構成される。このように、視差数が同じ (表示装置として同一構成の） 場合に、想定視距離を変化させると、視差方向数が増減し、画素数範囲も変動する 力 連結画像は同じ 18枚にまとめられる。したがって、図 37に示すような圧縮後の読 み出し'展開処理は不変である。

[0047] 図 22は、図 21に示す連結画像 2において、隣接視差成分画像 426の左端が互い に連結され、或いは、隣接視差成分画像 426の右端が互いに連結されるように連結 画像 2を 1つおきに左右反転して連結し、このような連結によって全連結画像を構成 した例である。視差方向番号の数字が裏返しで示されて！/ヽる連結画像 2が反転され ている連結画像に相当している。各連結画像 2の左右端は、立体表示時の画面端で あり、隣接カメラであれば相関が高い (要素画像内の隣接列)ため、このように反転さ せて接続すれば、非可逆圧縮した場合の画質劣化が少ないまま、フレーム間圧縮並 びにフレーム内圧縮を適用することが出来る力 視差合成画像への変換処理は多少 複雑になる。

[0048] 図 23は、左右反転連結した図 22に示される全連結画像を、 3段に分けて、視差合 成画像と同一縦横画素数にタイル状に配列した例を示している。全連結画像は、こ の図 23に示すように視差合成画像と同一縦横画素数にタイル状に配列することによ り、 MPEG2などの規格に合う形式での圧縮記録等が可能となる。図 23の配置は、 図 24に示すように図 22に示される配列の中段を上下反転しても良い。

[0049] 図 25は、図 23よりも全体の対称性が高くなるように配列を変更した例を示している 。図 25においては、このように全連結画像に対称性を与えることによって、中央の 2 枚の連結画像 2のみが反転されないままに連結されることとなる。

[0050] 図 26に示されるように、図 25に示される全連結画像において、その中段の連結画 像が上下反転されて全連結画像が構成されても良い。また、図 27に示されるように、 図 26に示される全連結画像において、更に中段全体が左右に反転されても良い。

[0051] 以上のように、視差数が 3の倍数の場合は、全連結画像を 3段構造にすることにより 視差合成画像と同一縦横画素数となる。 3の倍数でない場合に 3段構造にすると、連 結画像のうち 2枚のみが分断されることになる力 これによる立体像の画質劣化は多 くの場合軽微である。分断位置に視差成分画像境界がうまく合うように選ぶ、或いは 、分断位置の視差成分画像を視域外のカメラ番号の画像になるように選ぶ、などの 方法によりさらに影響を軽微にできる。

[0052] 図 28は、視差数が 32であり、 56枚の視差成分画像 426を組み合わせた 32枚の連 結画像 2の各縦横画素数 (サブ画素でな ヽ）が横 300 X縦 800であり、視差合成画 像の縦横画素数 (サブ画素でな!、）が横 3200 X縦 2400である場合の連結画像 2を 示している。図 28においては、視差成分画像の視差番号のみを示し、視差成分画像 同士の境界線 (縦線）は省略されている。図 29は、図 28に示される連結画像 2を示 す配置表を示している。図 29に示される表は、図 16及び図 20の表と同様の欄を有 する表であるのでその説明は省略する。

[0053] 図 28に示される各連結画像 2は、図 30に示されるように全連結画像に組み合わさ れる。この全連結画像の縦横画素数は、横 2400 X縦 3200となる。全連結画像が視 差合成画像と同じ縦横画素数に合わされる場合には、図 31に示されるようにさらに 全連結画像が 90度回転されても良い。

[0054] 図 32は、他の実施の形態に係る配置表を示している。この配置表は、視差数が 9 であり、 25枚の視差成分画像 426を組み合わせた 9枚の連結画像 2の各縦横画素 数 (サブ画素でな ヽ）が横 640 X縦 400であり、視差合成画像の縦横画素数 (サブ画 素でない）が横 1920 X縦 1200である場合に該当している。図 32から明らかなように 、視差数が奇数の場合は、視差番号 0番が含められる。図 32に示される連結画像は 、図 33に示されるように連結された全連結画像が形成される。図 33においては、視 差成分画像の視差番号のみを示し、視差成分画像同士の境界線 (縦線）は省略され ている。

[0055] 図 34に示されるように全連結画像が平面的に配列される場合に限らず、光線空間 法により定義される直方体状の光線空間として連結された状態に構成されても良い。 この直方体上の仮想空間上で、圧縮記録や補間などの処理が可能である。

[0056] 図 35を参照して立体表示画像の記録.再生方法について説明する。図 35は、この 発明の上述した実施形態に係る立体表示画像記録方法で作られた連結画像 2、或 いは、全連結画像を非可逆圧縮して記録し、読み出し '展開し並べ替えて再生する 記録 ·再生方法の概略を示して 、る。図 14を参照して説明したように始めに各カメラ 位置（15〜1, 1〜一 15)において、立体画像として表示されるべき被写体 421が 撮影されて図 13に破線で示されるようなカメラ画像が獲得される。このカメラ画像から 図 13に実線で示されるような視差成分画像 421が抽出される (ステップ S10)。この 視差成分画像 421から図 13に示すように視差数と同じ番号だけ離れた視差番号の 視差成分画像 421が組み合わされて連結画像が作られ、この連結画像が組み合せ 配列されて図 12、図 16、図 17及び図 18に示すように全連結画像が形成される (ステ ップ S 12)。この全連結画像は、 JPEGなどの高圧縮率の非可逆符号ィ匕方式により圧 縮される。表示すべき立体画像が動画である場合には、 MPEGなどの高圧縮率の 非可逆符号ィ匕方式により時間的に隣接する他の全連結画像と当該全連結画像との 相関が取られて同様に圧縮されても良い。圧縮された全連結画像のデータは、記憶 媒体或 、は図 3 (a)に示される記憶部 312に記憶されて保存される (ステップ S 14)。

[0057] 再生に際しては、図 3 (a)に示される画像処理部 314で圧縮された全連結画像が伸 長されて連結画像の配列に相当する全連結画像に展開される (ステップ S16)。この 全連結画像の連結画像から光学的開口（アパーチャ）に対応させる視差成分画像 4 26の画素列データが取り出されて図 4 (b)及び図 4 (c)に示すように所定ピッチでそ の画素列データがフレームメモリ（図示せず）に並べ替えられる。全ての連結画像か ら視差成分画像 426の画素列データが取り出されてフレームメモリ上に並べ替えられ ると、図 4 (c)に示すような視差合成画像の全体が完成される (ステップ S 18)。この視 差合成画像は、表示部 331に表示されて視域に向けて立体画像が表示される (ステ ップ S20)。なお、遠隔サーノくからの配信 (ストリーミング)の場合は、記憶部と画像処 理部は互いに遠隔地にある。

[0058] 図 36A及び図 36Bは、比較例 1及び 2に係る立体表示画像記録方法で作られた連 結画像 2、或いは、全連結画像を非可逆圧縮して記録し、読み出し '展開し並べ替え て再生する記録'再生方法の概略を示している。図 36A及び図 36Bにおいては、図 35に示したと同一の符号を付してその説明を省略する。

[0059] 図 36Aにおける方法においては、視差成分画像が直接圧縮されて保存されている

(ステップ S22)。また、図 36Bにおける方法においては、ステップ S24において視差 成分画像から視差合成画像が形成され、その後、この視差合成画像が圧縮されて保 存される (ステップ S24, S26) ₀読み出し及び展開に際しては、圧縮された視差合成 画像が展開されてそのまま表示部 331に表示される。

[0060] 図 35と図 36A及び図 36Bとの比較から明らかなように、図 35に示す方法において は、互いに同一縦横画素数の連結画像 2に変換した上で圧縮することにより、想定 視距離を変化させた場合の視差方向数増減や画素数範囲変動にも影響されず、画 質劣化が最小限に防止される。特に、連結画像 2が互いに相関を有するような配置 及び組み合わせを採用することにより、より圧縮率を高めることができる。 [0061] 図 36Aに示される方法では、各視差成分画像 426が個別に圧縮されている。この ような方法は、多眼方式に適用される場合には、特に問題ないが、平行光線 1次元 I P方式では、視差方向数が多く縦横画素数もまちまちである上、想定視距離を変化さ せた場合の視差方向数増減や画素数範囲変動にも影響されるため、この方法は適 さないこととなる。図 36Bは、視差合成画像の形式で圧縮する方法であるが、多眼' 平行光線 1次元 IPの!、ずれの場合も非可逆圧縮では画質が劣化し、可逆圧縮では 圧縮率が悪化してしまう。

[0062] 以上のように、本発明によれば、平行光線 1次元 IP方式にお!、て、効率的で画質 劣化が少なく圧縮率の高い記録及び再生が可能となる。本発明による立体画像用デ ータ構造並びに記録方法は、一般的な MPEGデータなどと同様、記録媒体への記 録に限らず、有線'無線の通信手段を利用した配信、いわゆるストリーミング等にも適 用可能である。

[0063] この発明の立体表示画像の記録方法及び再生方法によれば、平行光線 1次元 IP 方式にお 、て、効率的で画質劣化が少なく圧縮率の高!、記録及び再生が可能とな る。

[0064] 尚、この発明は、上記実施形態そのままに限定されるものでなぐ実施段階では、 その要旨を逸脱しない範囲で構成要素を変形して具体ィ匕できる。

[0065] また、上記実施形態に開示されている複数の構成要素の適宜な組合せにより種々 の発明を形成できる。例えば、実施形態に示される全構成要素からいくつかの構成 要素を削除しても良い。更に、異なる実施形態に亘る構成要素を適宜組み合わせて も良い。

産業上の利用可能性

[0066] この発明によれば、平行光線 1次元 IP方式にお!、て、効率的で画質劣化が少な く圧縮率の高い記録及び再生が可能となる立体表示画像の記録方法及び再生方法 が提供される。

Claims

請求の範囲

[1] 第 1水平ピッチで画素が水平方向に配列され、立体表示の為の視差合成画像が 表示される表示面を有する表示部と、この表示面に対向して配置され、前記水平ピッ チの整数 n倍に等 ヽ第 2の水平ピッチで水平方向に配置されて ヽる直線状光学的 開口部を有する視差バリアであって、前記表示面上の前記水平方向に沿う n個間隔 の画素力 の光線を平行光線として視域に向ける視差バリアと、を具備し、水平方向 に視差に与え、垂直方向に視差を与えないで視域に立体画像を表示させる立体画 像表示装置の為の立体画像用データの構造であって、前記視域内の同一視差方向 の平行光線を前記画素に生成させる画素列が集積されている n枚或いは n枚より多 い、縦横画素数の異なる視差成分画像データから成り、第 n隣接視差方向となる 1以 上の前記視差成分画像が組み合わされた実質的に同一縦横画素数の n枚の連結画 像を視差合成画像への変換単位とする立体画像用データの構造。

[2] 第 1水平ピッチで画素が水平方向に配列され、立体表示の為の視差合成画像が 表示される表示面を有する表示部と、この表示面に対向して配置され、前記水平ピッ チの整数 n倍に等 ヽ第 2の水平ピッチで水平方向に配置されて ヽる直線状光学的 開口部を有する視差バリアであって、前記表示面上の前記水平方向に沿う n個間隔 の画素力 の光線を平行光線として視域に向ける視差バリアと、を具備し、水平方向 に視差に与え、垂直方向に視差を与えないで視域に立体画像を表示させる立体画 像表示装置の為の立体画像用データを記録する方法であって、

前記視域内の同一視差方向の平行光線を前記画素に生成させる画素列が集積さ れて!ヽる n枚或 ヽは n枚より多 ヽ、縦横画素数の異なる視差成分画像データを用意し 第 n隣接視差方向となる 1以上の前記視差成分画像が組み合わされた実質的に同 一縦横画素数の n枚の連結画像を視差合成画像への変換単位として記録する立体 画像用データの記録方法。

[3] 前記各視差成分画像の垂直方向が略前記視距離に対応した透視投影であり、 且つ、水平方向が平行投影であることを特徴とする請求項 2に記載の立体画像用デ ータの記録方法。

[4] 前記各視差成分画像の垂直方向及び水平方向とも透視投影であることを特徴と する請求項 2に記載の立体画像用データの記録方法。

[5] 前記 n枚の連結画像をさらに連結した 1枚の全連結画像として記録することを特徴 とする請求項 2に記載の立体画像用データの記録方法。

[6] 前記全連結画像は、隣接視差方向を含む連結画像が水平方向に隣接するように 連結して構成される請求項 5に記載の立体画像用データの記録方法。

[7] 前記全連結画像は、隣接視差方向を含む連結画像が水平方向に隣接するように 連結して構成され、前記表示面の正面に近!ヽ n視差方向の両端の視差方向を含む 2 枚の連結画像が全連結画像の両端に配置される請求項 6に記載の立体画像用デー タの記録方法。

[8] 前記全連結画像は、隣接視差成分画像の左端が互いに隣接し、或いは、右端が 互 ヽに隣接して接続されるように連結画像が 1つおきに左右反転して連結されて ヽる 請求項 5に記載の立体画像用データの記録方法。

[9] 前記全連結画像は、前記連結画像を水平方向及び垂直方向にタイル状に連結 して構成される請求項 2に記載の立体画像用データの記録方法。

[10] 前記全連結画像は、前記連結画像を垂直方向に 1段ごとに反転して連結して構 成される請求項 9に記載の立体画像用データの記録方法。

[11] 前記全連結画像は、立体像表示時に表示面に表示される視差合成画像と同一 縦横画素数である請求項 2に記載の立体画像用データの記録方法。

[12] 前記全連結画像は、光線空間法により定義される直方体状の光線空間として構 成されることを特徴とする請求項 5に記載の立体画像用データの記録方法。

[13] 前記連結画像、或いは、前記全連結画像が非可逆圧縮して記録されることを特 徴とする請求項 2乃至 12に記載の立体画像用データの記録方法。

[14] 第 1水平ピッチで画素が水平方向に配列され、立体表示の為の視差合成画像が 表示される表示面を有する表示部と、この表示面に対向して配置され、前記水平ピッ チの整数 n倍に等 ヽ第 2の水平ピッチで水平方向に配置されて ヽる直線状光学的 開口部を有する視差バリアであって、前記表示面上の前記水平方向に沿う n個間隔 の画素力 の光線を平行光線として視域に向ける視差バリアと、を具備する立体画 像表示装置に水平方向に視差に与え、垂直方向に視差を与えないで視域に立体画 像を表示させる表示再生方法にぉ 、て、

前記視域内の同一視差方向の平行光線を前記画素に生成させる画素列が集積さ れて!ヽる n枚或 ヽは n枚より多 ヽ、縦横画素数の異なる視差成分画像データを用意し 第 n隣接視差方向となる 1以上の前記視差成分画像が組み合わされた実質的に同 一縦横画素数の n枚の連結画像として記録し、

この n枚の連結画像を視差合成画像へ変換して前記表示部に視差合成画像を表 示する立体画像の表示再生方法。

第 1水平ピッチで画素が水平方向に配列され、立体表示の為の視差合成画像が 表示される表示面を有する表示部と、この表示面に対向して配置され、前記水平ピッ チの整数 n倍に等 ヽ第 2の水平ピッチで水平方向に配置されて ヽる直線状光学的 開口部を有する視差バリアであって、前記表示面上の前記水平方向に沿う n個間隔 の画素力 の光線を平行光線として視域に向ける視差バリアと、を具備する立体画 像表示装置に水平方向に視差に与え、垂直方向に視差を与えないで視域に立体画 像を表示させる表示再生方法にぉ 、て、

前記視域内の同一視差方向の平行光線を前記画素に生成させる画素列が集積さ れて!ヽる n枚或 ヽは n枚より多 ヽ、縦横画素数の異なる視差成分画像データを用意し 第 n隣接視差方向となる 1以上の前記視差成分画像が組み合わされた実質的に同 一縦横画素数の n枚の連結画像とした画像群をさらに連結した 1枚の全連結画像とし て記録し、

この 1枚の全連結画像を視差合成画像へ変換して前記表示部に視差合成画像を 表示する立体画像の表示再生方法。