JP4392060B2

JP4392060B2 - 視差深度依存画素シフト

Info

Publication number: JP4392060B2
Application number: JP52262497A
Authority: JP
Inventors: パトリックフランシスカスポーラスメーイエルス
Original assignee: Koninklijke Philips NV; Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 1995-12-19
Filing date: 1996-12-09
Publication date: 2009-12-24
Anticipated expiration: 2016-12-09
Also published as: DE69621778D1; KR100445209B1; EP0809913B1; KR19980702317A; EP0809913A2; DE69621778T2; WO1997023097A3; TW382093B; US5929859A; JPH11501188A; WO1997023097A2

Description

【０００１】
発明の詳細な説明
本発明は、入力手段、出力手段、メモリおよびプロセッサを備え、入力手段が、入力映像の入力画素群の各入力画素値および入力画素深度を受信して受信入力画素値をメモリに蓄積する手段を備え、プロセッサが、各入力画素深度の関数として出力画素に視差的に関係した少なくとも１入力画素の入力画素値から出力画素の各出力画素値を取出して出力映像の出力画素群を生ぜしめるように動作し、出力手段が出力画素値を出力し、視差変換により入力映像に関連した少なくとも１出力映像を発生させる映像処理システムに関するものである。
【０００２】
本発明は、さらに、当該プロセッサが、入力画素群の各入力画素値を受信するための入力端と、出力映像の出力画素群の各出力画素値を出力するための出力端とを備えて、出力画素に視差的に関係した少なくとも１入力画素の入力画素値から各出力画素値を取出すことにより出力画素を生ぜしめるように動作する、少なくとも１出力映像に入力映像を視差的に変換するプロセッサに関するものである。
【０００３】
二次元表示面に映像を表示する場合に深度感覚を提供する本発明は、特に仮想現実用途やコンピュータゲームで急速に成長したものである。深度キューの提供については、対象物（オブジェクト）の輝度レベルや大きさなど種々の形態が知られている。特に、ステレオプシス、すなわち、立体視映像は、深度感覚を提供するための技術として多大の注目を浴びている。立体視映像は、同じ光景をわずかに離れた２個所から視た二つの二次元映像を人に与えることによって呼び起される。かかる２映像の一方は左眼に示され、他方は右眼に示される。かかる２映像は、互いに視差的に関係している。「視差」なる語は、対象物に対して一直線上にない異なる２点から見た対象物の見掛けの位置ずれあるいは見掛けの方向差を表わす。視差は、光景中の対象物の深度を人に感じさせることになる。
【０００４】
両眼のそれぞれに対して一つの二次元入力映像から別々の出力映像を発生させるシステムが米国特許第５，３７９，３６９号から知られている。この周知のシステムでは、二次元入力映像は、両眼の中間点に対応する１点から視た対象物を表わす。左眼映像は、左眼の視点に対応する点から視た対象物の二次元表現である。右眼映像は、右眼の視点に対応する点から視た対象物の二次元表現である。典型的には、二次元入力映像は、画素群の密集配置の形で与えられ、例えば、カメラやコンピュータ・グラフィックを用いて得られている。入力映像の画素群のそれぞれについては、付加的深度情報を用い得る。上述した周知のシステムでは、深度情報は、例えば、二次元入力映像の画素群の輝度レベルに基づき、二次元入力映像自身から取出される。両眼の視点と両眼の中間点とから同一対象物を視た場合の視差に基づき、左眼映像と右眼映像との画素群は、画素群をシフトさせることにより入力映像の画素群から取出される。両眼を結ぶ線に平行に座標系の水平軸を選べば、水平シフトだけが起る。画素のシフト量は、深度情報によって決まる。典型的には、入力映像から視差的に関係した映像群を発生させるのに適した図形処理システムは、二次元入力映像を付加的深度情報とともに蓄積するために、図形メモリなどのメモリを備えている。二次元入力映像および深度情報は、通例、適用プログラムによって与えられる。典型的には、二次元入力映像および深度情報の復写も、映像処理システムで用いるためにメモリに蓄積されている。映像処理システムは、二次元入力映像および深度情報から若干の二次元出力映像を発生させる。出力映像群は、入力映像に視差的に関係している。その発生は、二次元入力映像の画素群の深度依存シフトを行なうことによって達成される。その二次元出力映像は、図形メモリに蓄積される。Ｄ／Ａ変換器を用いれば、二次元出力映像は、適切な両眼視表示システムを用いて表示される。両眼視映像の表示に対しては、多くの表示技術が知られている。時間平行技術を用いれば、一つもしくは二つの表示面に両出力映像が同時に表示される。例えば、両映像を補色フィルタを用いて一表示面に重ねて表示することができる。観察者は、投写フィルタに適したフィルタ付眼鏡を装着する。その替わりに、両映像を一表示面に並べて表示し、各映像を適正な眼に向けるビュワーを用いて観視する。他の例として、２表示面を用いて異なった２偏光画像を表示し、対応した偏光眼鏡を介して眺める。その替わりに、各眼に別個の表示をする頭載装置を用いて両映像を提示することもできる。また、時間多重技術を用いて、左右の映像を一表示面に交互に表示することもできる。一例として、一方の映像をモニタの偶数走査線に書き、他方の映像を奇数走査線に書き、他方の映像を奇数走査線に書く。シャッタシステムを用いて、右眼映像が表示されているときに左眼を閉鎖し、左眼映像が表示されているときに右眼を閉鎖する。シャッタシステムは、観察者が着けた眼鏡に取付けることができる。その替わりに、制御可能の偏光器を用いたシャッタを表示面の前に置き、観察者は、偏光眼鏡をつけた搭載装置を着用する。
【０００５】
かかる周知の映像処理システムは、ゲーム・コンピュータやＰＣなどの消費者用製品に用いるには比較的高価であり、そのうえに、控え目の品質しか得られない。
本発明の目的は、高品質の視差的に関係した映像群の発生を可能にする前述した種類のしっかりとした、経済効率のよい映像処理システムを提供することにある。
【０００６】
かかる目的を達成するために、本発明による映像処理システムは、入力手段が、入力画素深度を入力画素シフトに変換して、その入力画素シフトの表現メモリに蓄積する深度変換器を備え、プロセッサが、入力画素に対応した蓄積画素シフト表現に基づいて、出力画素と入力画素との間の視差的関係を決めるように構成されていることを特徴とする。
【０００７】
画素シフト領域は典型的には画素深度領域より狭い。画素深度の替わりに画素シフトを蓄積すれば、蓄積必要量が減少する。そのうえに、もしくは、その替わりに、画素のシフトを一層弁別可能にする画素深度領域は増大するが、蓄積必要量は増大しない。一例として、１６ビットの画素深度を用いたシステムについては画素シフト情報の４ビット乃至６ビットだけを蓄積すれば十分である。さらに、深度変換器が行なう予備処理によってプロセッサへの負荷が減少するので、経済効率のよいプロセッサを用いて、入力映像から出力映像を「オンザフライ」で取出し得るようになる。好ましくは、深度変換器が、プロセッサによる処理より前に、連続した多数の画素群を変換して蓄積するようにする。都合よく、かかる多数の画素群には、映像の全画素、映像の走査線の全画素、あるいは、最大画素シフトに対応する画素量が含まれる（例えば、最大１６画素位置に亘って画素をシフトさせ得る場合には、プロセッサにより処理する前に、少なくとも１６画素を深度変換器により処理する）。
【０００８】
本発明による映像処理システムの一実施例は、画素シフトを最大で所定のＮ画素位置に制限したプロセッサが、画素値を蓄積するのに少なくともＮ位置を設けたスライド・バッファを備えて順次の入力画素群を処理し、前記処理がメモリからの各入力画素値を、対応した入力画素シフトに応じてオフセットされた入力位置でスライド・バッファに復写し、スライド・バッファの出力位置から画素値を読出すことによって出力画素値を出力し、スライド・バッファをシフトさせることを備えたことを特徴とする。
【０００９】
出力映像の画素群は、その出力映像を蓄積する必要なく、小さいスライド・バッファのみを用いて生ぜしめることができる。これは、また、プロセッサの動作を簡単にして、プロセッサをしっかり、経済効率よく使用するのに役立つ。
【００１０】
本発明による映像処理システムの一実施例は、前景および背景の入力画素が同一出力画素に視差的に関係している場合には、前景入力画素を選んでさらに処理するスライド・バッファの位置が全て塞がっているか否かを指示する指示器をプロセッサが備え、スライド・バッファの位置が塞がっていない場合に入力画素値をスライド・バッファの位置に復写するだけで前記選択を行なうように動作することを特徴とする。
【００１１】
入力画素は、その画素が表わす対象物が、焦点面の前後のいずれに位置するかに応じて、いずれの方向にもシフトすることができる。そのうえに、シフトされる画素位置の量は、対象物の深度によって決まる。したがって、複数入力画素が同一出力画素までシフトすることになる。これは、入力映像に適合した観察点からすれば、種々の深度の対象物が重ならない、もしくは、部分的にしか重ならないのに対し、出力映像に適合した観察点からすれば、かかる対象物が重なり合うことを考慮すれば判ることである。従来周知の映像処理システムでは、他の入力画素がすでに復写されている出力画素位置まで入力画素がシフトされる度毎に、含まれた両方の入力画素の対応する深度情報が、前景入力画素が選択されていることを確かめるのに用いられる。本発明者の洞察したところでは、指示器を備えたバッファを用いれば、出力画素のバッファ位置がすでに塞がっているか否かを確めるだけで、所望の入力画素を選択することができ、それ以上深度情報は必要とはならない。
【００１２】
本発明による映像処理システムの一実施例は、前景および背景の入力画素が同一出力画素に視差的に関係している場合には、前景入力画素を選んでさらに処理するプロセッサが、スライド・バッファの位置が全て塞がっているか否かを指示する指示器を備え、所定の処理方向における入力映像の列の入力画素を処理するように構成され、入力映像に適合した入力観察点に対する出力映像に適合した出力観察点の相対位置に応じて入力端画素値をスライド・バッファの位置に選択的に復写する選択器を備え、その選択器が、入力観察点から出力観察点への方向が処理方向と同じ場合には、塞がっている位置とは無関係の入力画素値を復写し、入力観察点から出力観察点への方向が処理方向とは反対の場合には、位置が塞がっていないことを指示器が指示する入力画素値を復写するように動作することを特徴とする。
【００１３】
本発明者の洞察したところでは、入力観察点から出力観察点への方向が処理方向と同じ場合には、自動的に前景入力画素が選択される。両方の方向が相反すれば、出力画素のバッファ位置がすでに塞がっているか否かを確かめるだけで所望の入力画素を選択することができる。選択器により、入力および出力の両観察点の相対位置に応じて適切な入力画素をプロセッサが効率よく選択し得るようになる。
【００１４】
本発明による映像処理システムの一実施例は、入力画素が所定出力画素に視差的に関係していない場合には、入力画素値の再生によって出力画素の各出力画素値を生ぜしめるための復写器をプロセッサが備えたプロセッサが、スライド・バッファの位置が塞がっているか否かを指示する指示器を備え、スライド・バッファから予め出力した画素値を再生するように復写器が動作することを特徴とする。
【００１５】
入力画素群が同一出力画素までシフトされるのとは対照的に、ある出力画素位置にまでシフトされる入力画素がない、ということもあり得る。これは、入力映像に適合した観察点からすれば、深度の異なる対象物が部分的に重なり合うことがあり得るのに対し、出力映像に適合した観察点からすれば、対象物の重なり合いが少ない（部分的にぼけた背景対象物の大部分がよく見える）ことを考慮すれば、よく判ることである。このようにして起り得る「隙間」は、出力画素を予め復写することによって満たされる。出力観察点から入力観察点への方向が処理方向と同じであるのが好適である。このようにして、典型的には、背景入力画素が再生されて、背景対象物の判明した部分を表わす。
【００１６】
本発明による映像処理システムの一実施例は、入力画素シフトが、出力映像の画素位置間の位置に対応した入力画素のシフトを指示する副画素シフトを備え、プロセッサが、近傍画素の画素値を混ぜる混合器を備え、その混合器の荷重率が近傍画素の副画素シフトによって決まることを特徴とする。
【００１７】
近傍画素群の混合に副画素シフトを用いれば、さもなければ一連のシフトした平行平面の印象を与えたような、はっきり判る深度依存のジャンプはシフトに生じない高品質の出力が得られる。
【００１８】
本発明による映像処理システムの実施例は、深度変換器が、入力画素深度を入力画素シフトに変換するための表を備えていることを特徴とする。表を用いるのは、例えば４ビット乃至６ビットの画素シフトに１６ビットを用いて表わすような画素深度を変換するのに有効な方法である。
【００１９】
本発明による映像処理システムの一実施例は、深度変換器が、少なくとも１入力画素の入力画素シフトを入力画素シフト表現に圧縮する圧縮手段を備え、プロセッサが、その入力画素シフト表現を対応した入力画素の入力画素シフトに圧縮解凍する圧縮解凍手段を備えたことを特徴とする。画素シフトを圧縮すれば、蓄積必要量は一層減少する。
【００２０】
本発明による映像処理システムの一実施例は、出力映像を発生させるようにプロセッサが動作する入力映像が出力映像の一つを構成することを特徴とする。
【００２１】
出力映像の一つを入力映像として提示すれば、発生させる必要のある映像が一つ減る。一つの入力映像から取出した２出力映像を用いる通常の両眼視映像については、左もしくは右の映像を入力映像として映像処理システムに呈示する。他方の出力映像は、視差変換により入力映像から取出す。
【００２２】
本発明による映像処理システムの一実施例は、視差変換により同一入力映像に関係した少なくとも２出力映像を発生させるようにプロセッサが動作する入力映像に適合した入力観察点が、出力映像にそれぞれ適合した出力映像観察点間に水平には存在しないことを特徴とする。
【００２３】
このようにして、入力映像から各出力映像を取出すのに、同じ映像処理を用いることができる。
本発明による映像処理システムの一実施例は、入力観察点から出力観察点への方向が入力映像の列の入力画素群をプロセッサが処理する方向とは逆であることを特徴とする。このようにして、映像処理が簡単化される。
【００２４】
本発明による映像処理システムの一実施例は、当該システムが表示面に出力映像を表示するための表示システムを備えた映像処理システムにおいて、プロセッサが出力画素群を供給するために表示システムに直接に接続されていることを特徴とする。これは、プロセッサからの出力を蓄積するための付加的図形メモリの使用を回避するものである。
【００２５】
本発明の目的を達成するために、本発明によるプロセッサは、当該プロセッサが、所定の最大Ｎ画素位置に制限された入力画素の各入力画素シフトの表現を受信するための入力端を備え、画素値を蓄積するための少なくともＮ位置を設けたスライド・バッファを備えて、順次の入力画素群を処理するように動作し、前記処理が、対応する入力画素シフトに応じてオフセットされた位置でスライド・バッファにメモリからの各入力画素値を復写し、スライド・バッファの出力位置から画素値を読取ることによって出力画素を出力し、スライド・バッファをシフトさせることを含んでいることを特徴とする。
【００２６】
本発明のかかる面は、添付図面に示された実施例から明らかであり、実施例を参照して説明される。
【００２７】
図１は、本発明による映像処理システムを有利に使用した従来システムのブロック線図である。この従来システムは、二次元映像１１０を蓄積するために、図形メモリのようなメモリ１００を備えている。入力映像１１０は、行および列に分割された画素群の集団からなっている。各画素には画素値が与えられている。画素値を表わす種々の方法が、ＲＧＢ（赤、緑、青）やＹＵＶの符号のように周知されている。画素値は、例えば、画素当り１６ビットか２４ビットを用いて全部蓄積される。替わりに、色ルックアップ表（ＣＬＵＴ）計画が、より少ない、例えば８ビットを用いて画素値を符号化するのに用いられる。画素値に加えて、各画素については、深度値が入力深度１２０としてメモリ１００に蓄積される。深度値は、例えば、画素当り１６ビットを用いて蓄積される。要すれば、入力深度１２０の蓄積に別のメモリを用いることができる。ゲーム・コンピュータやパーソナル・コンピュータでは、メモリ１５０に蓄積された三次元モデル１４０から情報を取出す三次元表現過程１３０によって入力映像１１０および入力深度が普通に発生させられる。典型的には、メモリ１５０は、コンピュータの主メモリの一部をなす。メモリ１５０は、ＲＡＭ，ＲＯＭ，磁気的もしくは光学的な背後蓄積器など任意の適切な蓄積手段で形成することができる。三次元表現過程１３０は、典型的には、コンピュータの主ＣＰＵを用い、あるいは、図形処理器や加速器によって実施される。入力映像１１０および入力深度１２０は、他の方法でも供給し、あるいは、発生させ得ることが判る。例えば、遠隔通信手段、音声／映像放送、ケーブル回線網などの通信手段を入力映像１１０および入力深度１２０の供給に用いることができる。三次元表現過程１３０の替わりに、他の手段を映像および深度情報の発生に用いることができる。一例として、異なる位置にある２台のカメラを、それぞれ別の眼を表わすようにして用いることができる。カメラによって得た二つの二次元映像から、一映像に深度情報を加えたものを形成することができる。その際、深度情報は、従来の一つだけの二次元映像の供給に加えて、好ましくは両立させて、供給することができ、従来の二次元表示システムもしくは両眼視像表示システムを用いて光景を観察し得るようにする。
【００２８】
プロセッサ１６０は、少なくとも一出力映像の発生に入力映像１１０および入力深度１２０を使用する。図１に示す例では、左映像１７０および右映像１８０を発生させる。左映像１７０は、観察者の左眼に一致した観察点から視たとおりの三次元光景の二次元表現を表わす。同様に、右映像１８０は、観察者の右眼に一致した観察点から視たとおりの三次元光景の二次元表現を表わす。典型的には、プロセッサ１６０が、図形メモリのようなメモリ１９０に出力映像を建設する。通常、Ｄ／Ａ変換器は、両眼視像表示器のような適切な表示器２１０に出力映像を提示する。プロセッサ１６０が、この情報の供給に画素レベルで時間同期せずに入力映像および入力深度について動作し得るようにするために、典型的には、入力映像１１０および入力深度のそれぞれ復写となる入力映像２２０および入力深度２３０を蓄積するためにメモリ２１０を使用する。その際、プロセッサ１６０は、入力映像１１０および入力深度１２０を供給する三次元表現過程１３０から独立して、入力映像２２０および入力深度２３０について動作する。適時に、例えば、完全な新映像が生ぜしめられてしまったときに、入力映像１１０および入力深度１２０は、それぞれ入力映像２２０および入力深度２３０に復写される。メモリ１００とメモリ２１０とが一つのメモリ・ブロックに物理的に結合した状態では、復写は、例えば指針記録器を再割当てすることにより、物理的にデータを復写することなく、復写を行なうことができる。
【００２９】
入力映像の出力映像への視差変換は、三次元対象物の相対的な変位と組合わされている。かかる変位は、例えば、観察者の位置の光景に対する変化、観察者の光景に対する方角の変化、対象物の相対速度による相対的な位置の変化、あるいは、これらの変化の組合わせの結果として起る。
【００３０】
図２Ａは、斜視的投映を示す。図示のものは、ｘ軸２００、ｙ軸２１０およびｚ軸２２０を有する三次元座標系である。二次元映像は、行および列に配置した個々に分離した画素群の集団からなっている。この資料における画素群は、本発明による映像処理によって考慮される最小の存在である。映像における特定行の各画素は、個々に分離した一連の位置の一つに過ぎないとそれぞれ見倣すことができる。画素群の各行は、ｘ軸２００に平行に延在するので、行中の個々の画素は、それぞれのｘ座標に基づいて弁別される。画素群の各列は、ｘ軸２００に垂直な方向に向いたｙ軸２１０に平行に延在している。光景の深度は、ｘ軸２００とｙ軸２１０との両方に垂直に延在するｚ軸２２０に沿って測定する。特定の画素に対する光景の深度を表わすために、各画素に各ｚ座標値が割当てられている。画素群の視差的シフトを説明するために、座標系の原点Ｏ＝（０，０，０）および方角は、点Ｐ＝（ｘ，ｙ，ｚ）が表わす三次元対象物が観察点Ｏ₁＝（Ｄ，０，０）から視られるように選定される。平面ｚ＝ｚ_pは、焦点面２４０（観察者の眼が焦点を結ぶ平面）となるように選定する。通常、表示面の平面は、焦点面に一致するように選定する。観察点Ｏ₁から視た二次元映像は、三次元対象物の焦点面への投映によって形成され、焦点面は投映面とも呼ばれる。点Ｐは、Ｐ₁＝（ｘ_p，ｙ_p，ｚ_p）に投映される。
【００３１】
図２Ｂは、図２Ａの平面ｙ＝０への投映を示す。Ｐは、Ｐ′＝（ｘ，０，ｚ）およびＰ″＝（Ｄ，０，ｚ）に投映される。三角形Ｏ₁，Ｐ′，Ｐ″から、ｘ_p＝Ｄ＋（ｘ−Ｄ）・ｚ_p／ｚとして、つぎのようになる。
ｚ_p／ｚ＝（ｘ_p−Ｄ）／（ｘ−Ｄ）
【００３２】
図２Ｃは、図２Ａの平面ｘ＝Ｄへの投映を示す。Ｐは、Ｐ′＝（Ｄ，ｙ，ｚ）およびＰ″＝（Ｄ，０，ｚ）に投映される。三角形Ｏ₁，Ｐ′，Ｐ″から、ｙ_p＝ｙ・ｚ_p／ｚとして、つぎのようになる。
ｚ_p／ｚ＝ｙ_p／ｙ
【００３３】
これは、Ｐ₁＝（Ｄ＋（ｘ−Ｄ）・ｚ_p／ｚ，ｙ・ｚ_p／ｚ，ｚ_p）を与える。同様に、Ｐ₂＝（−Ｄ＋（ｘ＋Ｄ）・ｚ_p／ｚ，ｙ・ｚ_p／ｚ・ｚ_p）。同様の式が〔ＩＥＥＥコンピュータグラフィックスおよび応用誌、個別指導編：時間多重両眼視コンピュータ・グラフィック、１９９２年３月号〕に与えられている。これらの式から、観察点群を通る線に平行にｘ軸を選べば、Ｐ₁およびＰ₂のｙ座標は同じになる。したがって、Ｏ₁から視た映像から、Ｑ₂から視た映像を取出すと、垂直方向の視差は生じない。一般に、ｘ軸をこのように選べば、視差の計算が簡単になる。出力映像の画素群は、入力映像から取出すことができる。入力映像はＯ₁から視たとおりの映像に対応し、出力映像はＯ₂から視たとおりの映像に対応するものとする。さらに、入力画素ｐ_i＝（ｘ_i，ｙ_i）については、Ｐ_iを取出す三次元点Ｐ（ｘ，ｙ_i，ｚ_i）の深度Ｚ_iとともに、その画素値が与えられるものとする。ｙ₀＝ｙ_iとした対応する出力画素Ｐ₀＝（ｘ₀，ｙ₀）は、同じ三次元点Ｐ（ｘ，ｙ_i，ｚ_i）に関係している。これはつぎの二式を与える。
ｘ_i＝Ｄ＋（ｘ−Ｄ）・ｚ_p／ｚ_i
ｘ₀＝−Ｄ＋（ｘ＋Ｄ）・ｚ_p／ｚ_i
【００３４】
これは、ｘ0が、つぎのようにして、ｘiから取出し得ることを意味する。
ｘ0＝ｘi−２Ｄ＋２Ｄ・ｚp／ｚi＝ｘi＋２Ｄ（ｚp／ｚi−１）
したがって、出力映像は、つぎの（１）式による（ｘ方向のみの）水平シフトｄを行なうことにより入力映像から取出し得る。
ｄ＝２Ｄ（ｚp／ｚ−１）（１）
この式から、シフトは深度の逆数に比例することが判る。この式において、２Ｄは観察点Ｏ1とＯ2との間のオフセットに対応する。これは、また、可能な（許容）最遠点（ｚ＝∞）における視差に対応する。通常、最大視差は、観察点間のオフセットより小さく制限されている。これは、２Ｄに対してより小さい値を選ぶことによって達成される。普通の１７インチの表示面に対しては、２Ｄを８画素に選ぶことにより好結果が得られる。両眼はｚpの平面内で収斂するので、この平面内では対象物に視差は生じないことに留意すべきである。可能な最大深度を有する対象物は、２Ｄのシフトを有している。（１／２）ｚpの深度を有する対象物は、（最大深度を有する対象物の視差とは反対の方向に）−２Ｄのシフトを有する。好ましくは、最小深度を（１／２）ｚpに制限し、その結果、いずれの方向の最大シフトも同じになるようにする。深度ｚpは、種々の方法で表わすことができる。例えば、線形尺度の１６ビット符号化を用い、可能な最小深度を有する対象物の深度を（６０進法の）００００Ｈで符号化し、可能な最大深度を有する対象物の深度をＦＦＦＨで符号化する。当業者は、望むならば、他の適切な表現を選択し得るであろう。
【００３５】
上述したように、シフトの絶対方向は、対象物が焦点面の前後のいずれにあるかによって影響される。シフトの絶対方向も、映像の観察点の水平相対位置によって決まることにも留意すべきである。上述した例では、出力映像の観察点Ｏ₂は、入力映像の観察点Ｏ₁の左にある。観察点を交換すれば、シフトは、（式中のＤを−Ｄに置換して）反対方向になる。かかる場合には、可能な最大深度を有する対象物は−２Ｄのシフトを有し、（１／２）ｚ_pの深度を有する対象物は２Ｄのシフトを有する。８画素に対応する２Ｄを選べば、いずれかの水平方向に８画素シフトが生ずる。したがって、そのシフトを蓄積するのに４ビットを必要とする。
【００３６】
図３Ａは、観察点Ｏ₁から視た、入力映像に対応する光景を示すものであり、その光景では、対象物３００が、さらに隔った対象物３１０に部分的に重なっている。簡明のために、図にはｙ座標は示されていない。その重なりにより、入力映像は、観察映像３２０で示すように、対象物３００の全画素と画素群３１０の一部のみとを含んでいる。図３Ｂは、観察点Ｏ₂から見た、出力映像に対応する同じ光景を示すものである。図３Ｂから判るように、重なりが増大している。図３Ｂの出力映像３３０が図３Ａの入力映像から取出される場合には、その重なりは、前景対象物３００に対応する入力画素と同じ出力画素位置にシフトした背景対象物３１０に対応する入力画素によって反射される。重なりの領域には、出力映像の画素値に対する複数候補が存在する。明らかに、最低深度ｚを有する対象物に属する入力画素の入力画素値は、対象物が不透明の場合には、背景対象物の一部を隠す近隣対象物を反射する出力映像の重なり領域を占めなければならない。その替わりに、出力映像の重なり領域における画素値は、異なった対象物に属する画素値を混ぜることによって得られる。重なりは、異なったシフトの結果生じた異なる深度を有する対象物によって起ることに留意すべきである。焦点面に対する対象物の位置は余り関係しない。
【００３７】
同じ出力画素位置にシフトした入力映像の異なった画素群と対照して、図４は、出力映像４３０における位置を満たす入力画素が存在しない、という事実により、「隙間」が出力映像４３０に生ずる例を示したものである。図４Ａは、入力映像４２０では、背景対象物４１０が、少なくとも部分的に、前景対象物４００によって覆われていることを示す。図４Ｂでは観察点Ｏ₂から視ると、出力映像４３０に表わされているように、対象物４００と４１０との間には、重なりが起こらない（もしくは、小さい重なりしか起こらない）。かかる隙間は、その隙間の左右にある水平方向で近接した画素値の補間によって得た画素値を置換することにより除去することができる。その替わりとして簡単に、利用し得る近傍画素の画素値を最大のＺ値で置換する。かかる置換は、観察者が前景対象物の背後から現れる背景対象物を監視する場合の実際の生活経験に適合している。
【００３８】
隙間の除去や多数候補中の画素値の選択に適用したと同様の考慮は、画素集団の境界におけるエッジ効果に当てはまる。かかるエッジ効果の解答は、結局表示されるのより大きい画素集団の処理となる。
【００３９】
図５は、本発明による映像処理システム１０のブロック線図である。この映像処理システム１０は、図１に同一数字１０で指示したシステムの機能を備えている。この映像処理システム１０は、入力映像の入力画素群を受信するための入力手段５００を備えている。この入力手段５００は、メモリやプロセッサの入力端に対する通常の態様で実施される。各入力画素については、入力手段５００に蓄積する。そのうえに、入力手段５００は、各入力画素について各入力画素深度を受信する。深度変換器５２０は、上述の（１）式に従い、受信した深度を画素シフトに変換する。一般に、（１）式に従って行に沿った画素シフトは、正確には画素位置に対応しないことが判るであろう。この喰い違いの理由は、単純に、画素集団の行中には個々に分離した有限個数の画素位置しかないことである。個々に分離した画素位置を得るためには、（１）式によって表わされるシフトの結果として得られる画素シフトを上下に丸め、あるいは、切り詰めることができる。深度変換器５２０は、従来のハードウエアもしくはソフトウエアの手段を用いて実現することができる。典型的には、深度変換器５２０は、例えば１６ビットの大きい領域をもった深度値を、例えば４ビットの遙に小さい領域のシフト値に変換する。この変換に表を用いれば好都合である。一例として、その表は、それぞれが異なるシフト値に対応する１６個の入口を備えている。例えば、入口１は７画素位置のシフトに対応し、入口２は６画素位置のシフトに対応し、----、入口７は１画素位置のシフトに対応し、入口８は無シフトに対応し、入口９は逆方向の１画素位置のシフトに対応し、入口１０は逆方向の２画素位置のシフトに対応し、----、入口１６は逆方向の８画素位置のシフトに対応する。この例では、整数番号の非対称性により、負シフトより一つ少ない正シフトを用いている。各入口については、シフト値に対応する上側深度値が蓄積される。入口深度に対して、丁度その入口深度を含む入口に位置決めすることにより、対応するシフトも位置決めされる。深度変換器５２０が深度関連情報をシフト関連情報に変換することが判るであろう。情報自体は種々の形態をとり得る。例えば、望むならば、ある用途では、Ｚ値の形で、もしくは１／Ｚ値として深度関連情報を供給することができる。特に、表の使用は深度変換器の柔軟な実用を可能にしている。種々の形態の情報を深度変換器によって支持する必要がある場合には、ＥＥＰＲＯＭのような非揮発性メモリに変換表を蓄積するのが有利である。その替わりに、表をＲＡＭのような揮発性メモリに蓄積して、例えば、ソフトウエア駆動器により、そのメモリに負荷するようにすることもできる。変換器５２０は、発生した画素シフトをメモリ５１０と同様のメモリに蓄積するのが好適である。
【００４０】
映像処理システム１０は、さらに、プロセッサ５３０を備えている。プロセッサ５３０は、入力映像の入力画素群から出力映像の出力画素群を生ぜしめる。出力画素の値は、出力画素の位置に視差的に関係する若干の入力画素の値から形成される。プロセッサ５３０は、蓄積した画素シフトを用いて、いずれの入力画素が所定の出力画素に関係しているかを決定する。一例として、出力映像の所定行および画素位置ｉ（列番号）における出力画素を形成するには、プロセッサ５３０は、同じ行の入力画素群を験す。かかる入力画素群については、画素位置が画素シフトに結びつく。その結びつきの結果が画素位置ｉ（もしくは、以下に詳細に説明するように、画素位置ｉの近く）になると、かかる入力画素が出力画素に視差的に関係することになる。一例として、対応する入力画素シフト３を有する位置ｉ−３の入力画素、対応する入力画素シフト０を有する位置ｉの入力画素、および、対応する入力画素シフト−４を有する位置ｉ＋４の入力画素が、全て出力映像行の画素位置ｉに対応する位置までシフトし、したがって、この画素位置に視差的に関係することになる。
【００４１】
映像処理システム１０は、さらに、生ぜしめられた出力画素の値を出力するための出力手段５４０を備えている。出力手段５４０は、メモリもしくはプロセッサの出力のために通常の態様で実施される。（深度変換器５２０を含む）入力手段５００、メモリ５１０、プロセッサ５３０および出力手段５４０は、全て、一つのＩＣ上に集積することができる。
【００４２】
本発明の他の実施例では、深度変換器５２０が、若干の入力画素に関係する入力画素シフトを入力画素シフト表現に圧縮するための圧縮器５５０を備えている。ついで、その表現は、各入力画素に対する全シフト値を蓄積する替わりに、メモリ５１０に蓄積される。好ましくは、入力画素シフトを圧縮するのにランレングス符号化技術を用いる。多くの対象物の深度は、わずかしか変化しない。その結果として、同一対象物に関係した多数の近傍画素群は同じシフト値を有することになる。ランレングス符号化を用いれば、同じ画素シフト値を有する順次の画素群は、一つのランレングス項で表わされ、その項が、そのシフト値とその値を有する順次の画素の個数（ランレングス）とを特定する。好都合にも、画素シフト値をさらに圧縮するには、デルタ・ランレングス符号化が用いられる。通常、対象物の深度は徐々に変化する。その結果として、画素シフト値が変化し（その結果新たなランレングス項が生じ）た場合に、画素シフト値の変化は、以前の変化と同じになり勝ちになる。画素シフト値の（デルタと呼ばれる）差異は、したがって、範囲が小さくなり勝ちである。デルタ・ランレングス符号化を用いれば、（通常以前の変化点から開始される長さとして指示される）シフト値がどこまで変化するのかの指示に加えて、かかるデルタ値が維持される。多くの場合、切片の長さを符号化するには５ビットを用いれば十分であることが判っている。５ビットあれば、同じシフト値を有する２乃至３３連続画素位置の切片の表現が可能となる。明らかに、零レングスの切片は符号化する必要がない。１画素だけの切片は別々に取扱う。正常な切片に対しては、余分の２ビットがデルタ値の符号化に用いられる。これは７ビットの全符号を与える。デルタ値が、２ビットを用いて指示し得る以上に変化する状態に対しては、全データ値を与える替わりに符号が用いられる。ここに呈示した例では、７ビットまでがそのために留保される。この第２の形態では、切片長の符号化に利用し得る予備ビットがない。したがって、第２の符号が１ビット切片のみを指示するのに用いられる。第１符号を使用し得るべきデルタ値に長過ぎるジャンプが生じ、新たな切片が１ビットより長い状態では、まず、切片の最初の画素に適切なデルタ値を与えるために、まず第２の符号が用いられ、切片の残余の長さを与えるための第１の符号が後に続く。両方の符号を弁別するためには、選択ビットが用いられる。選択ビットの値“０”は、引続く７ビットが第１符号に対して記載されたとおりに符号化されることを指示し、選択ビットの値“１”は、引続く７ビットが第２符号に対して記載されたとおりに符号化されることを指示する。つぎの表は、かかる符号化を要約したものである。
【００４３】
【表１】

【００４４】
プロセッサ５３０は、蓄積した画素シフト表現から原画素シフトを回復させるために相補圧縮解凍器５６０を用いている。カウンタ、レジスタ、減算器、比較器なの従来技術が圧縮器５５０および圧縮解凍器５６０の実施に用いられる。
【００４５】
図６は、プロセッサ５３０が画素値を蓄積するためにスライド・バッファ６００を備えた本発明の他の実施例を示す。異なるシフト値の最大個数が、可能な左へのシフト、可能な右へのシフトおよびシフト皆無を含めてＮに制限される場合には、バッファ６００は、画素値を蓄積するために少なくともＮ位置を備える。プロセッサ５３０は、対応する画素シフトに応じて入力画素値をバッファ６００に蓄積するが、これは、入力画素を任意のバッファ位置に蓄積し得ることを意味する。プロセッサ５３０は、入力画素がバッファ６００のどのアドレスに蓄積されるべきかを決定するためのアドレスリゾルバ６１０を備えている。このアドレスは、対応する入力画素シフトをバッファ６００の中間アドレスに加算することによって解決される。かかる場合に、シフトされる必要がない入力画素は、バッファ６００の中間位置のアドレスが割当てられる。最大シフトの結果は、入力画素がバッファ６００の最低もしくは最高の位置アドレスを割当てられることになる。入力画素が処理されて、バッファ６００に複写される度毎に、画素値がバッファ６００から除去される。その画素値は、バッファ６００の周知の出力位置から除去される。入力画素を処理した後に、バッファ６００の内容が位置一つ分だけシフトされる。一例として、入力画素群が行毎に順次に処理されて、順次の各入力画素が一つだけ高い列番号の位置に対応するものとする。さらに、これは、画素群を左から右に処理することに対応するものとする。正のシフト値は左へのシフトを指示し、負のシフト値は右へのシフトを指示する。この例の順次の処理においては、各位置が位置一つ分だけ下にシフトする。その結果として、バッファ６００の中間アドレスは、その入力画素はシフトされる必要がないものとして、従前どおり次の入力画素に対応する。バッファのシフト期間中もしくはシフトに先立ち、最低アドレスをもった位置である出力位置に蓄積された値が、バッファから出力される。スライド・バッファ６００も、他の技術を用いて実施されることが判る。例えば、バッファのシフト期間中にバッファに蓄積された各値の物理的複写は、論理的シフト動作のみを行なうことにより、例えば、周期的バッファを管理するために周知の態様で指針を調整することにより、避けることができる。
【００４６】
本発明の他の実施例では、プロセッサ５３０は、スライド・バッファ６００の位置が画素値よって塞がれているか否かを指示するための指示器６２０を備えている。画素がスライド・バッファ６００の位置に蓄積される度毎に、プロセッサ５３０は、位置が塞がっていることを指示器６２０に指示させる。スライド・バッファ６００がシフトされる度毎に、プロセッサ５３０は、位置が塞がっていないことを指示器６２０に指示させる。上述の例では、スライド・バッファ６００をシフトさせた結果は、最高位置が自由になる。指示器６２０は、その指示器が実際のバッファ位置に同期した状態にあることを確かめるために、スライド・バッファがシフトされる度毎にさらに更新される。指示器６２０は、レジスタを用いて実施され、レジスタの各ビット位置がバッファ位置に対応するようにすることができる。各ビットは、対応するバッファ位置が塞がっているか否かを指示する。その替わりに、指示器６２０は、スライド・バッファ６００と結合することができる。例えば、スライド・バッファ６００の各位置は、画素値がバッファ位置の残余の部分に蓄積されるか否かを指示する余分の少なくとも１ビットを蓄積することができよう。有効な画素値として用いられずに保留されている値は、バッファ位置が自由であることを指示するのに用いることができる。前景対象物に対応する画素と背景対象物に対応する画素とが出力映像の同じ位置にシフトされる状況おいては、プロセッサ５３０が、スライド・バッファ６００に蓄積されるべき前景画素を選択する。プロセッサ５３０は、位置が塞がっていないことを指示器６２０が指示した場合に、スライド・バッファ６００の位置に入力画素を複写することのみにより、その選択を行なう。図７Ａは、すべて焦点面２４０の前で、入力観察点Ｏ₁および出力観察点Ｏ₂に比べて異なる位置に位置した３対称物７００，７０２および７０４を示す。また、入力映像中にある各投影７１０，７１２および７１４と出力映像中にある各投影７２０，７２２および７２４とが示されている。図７Ｂは、同様に、すべて、焦点面２４０の後で、各観察点に比べて異なる位置に位置した３対象物７３０，７３２，７３４を示す。また、入力映像中にある各投影７４０，７４２および７４４と出力映像中にある各投影７５０，７５２および７５４とが示されている。最先の対称物画素は、単純に、位置がすでに塞がっているか否かに基づいて画素を選択することによって選択され得る、という概念は、画素は絶対的にいずれの方向にもシフトさせ得るにも拘らず、入力映像と出力映像との所定の組に対しては、前景画素に対する背景画素の相対シフトはつねに同じ方向にある、という洞察に基づいている。図７Ａに示すように、焦点面２４０の前にある対象物については、映像切片７２０，７２２および７２４で表わされる出力映像は、各入力映像切片７１０，７１２および７１４から、切片が観察点の左にあるか、右にあるかには拘わりなく、切片画素群を右にシフトさせることによって取出し得ることは明らかである。同様に、図７Ｂに示すように、焦点面２４０の後にある対象物については、映像切片７５０，７５２および７５４で表わされる出力映像は、各入力映像切片７４０，７４２および７４４から、切片画素群を左にシフトさせることによって取出し得ることは明らかである。すでに前述したように、シフトの量は、画素に組合わされた深度によって決まる。一例として、連続した５画素ｐ１----ｐ５は、ｐ１を順列の最も左の画素、ｐ５を順列の最も右の画素として順次に処理されるものとする。さらに、全５画素は、それぞれ対応する５画素シフト：ｐ１：＋２；ｐ２：＋１；ｐ３：０；ｐ４：−１；ｐ５：−２に反射されるままに、同じ出力画素位置ｐ３までシフトされるものとする。図７に示したとおりの状況を再現すると、ｐ１が最前の画素であり、ｐ５が最後の画素であったことをこれが意味するのは明らかである。最前の画素を表示するのが望ましい。入力画素群を左から右へ処理することにより、これは、入力画素ｐ１を出力画素ｐ３に複写するとともに、入力画素ｐ２，ｐ３，ｐ４およびｐ５は複写せず（これら４画素を効果的に捨てて）達成される。これは、出力位置ｐ３がすでに複写された入力画素で塞がれているか否かを験すことによって達成される。そうであった場合には、塞いでいる画素のみが、最も前に出ていたので、そこに存在し得る。図７では、出力映像の観察点が入力映像の観察点の左にある。出力映像の観察点が入力映像の観察点の右にあり（その結果、画素シフトが反対方向になり、ｐ５が最前の入力画素となることを意味し）、画素群が右から左に処理される場合には、同じ結果が達成される。
【００４７】
出力映像の観察点が入力映像の観察点の右にある場合には、もっと簡単に、画素群を左から右に処理し、その位置が塞がっていると否とには無関係に、つねに入力画素を複写することによって同一結果が達成されることが判る。この状態では、ｐ５が最前の入力画素となる。位置がすでに塞がっているか否かを験さずに複写すれば、最前の画素が背景画素群の先頭に自動的に複写される。出力映像の観察点が入力映像の観察点の左にあって、画素群が右から左に処理される場合には、同じ原理が適用される。
【００４８】
簡単な複写計略により前景画素の必要な選択を達成する上述の洞察をつぎの表に要約しておく。
【００４９】
【表２】

【００５０】
本発明の他の実施例では、プロセッサ５３０が入力画素群を所定方向に処理する。上述の洞察に基づけば、プロセッサ５３０は、入力映像の観察点に対する出力映像の観察点の相対位置に応じて、バッファ６００の位置に入力画素値を選択的に複写するための選択器６３０を備えている。上述の表にも示されているように、入力観察点から出力観察点への方向が処理方向と同じ場合には、入力画素を常時複写することによって所望の結果が達成される。しかしながら、両方の方向が互いに逆の場合には、位置が空いている場合にのみ複写することによって所望の結果が達成される。選択器６３０は、入力観察点から出力観察点への方向に関する情報を受信する入力端を有している。この情報をプロセッサの所定処理方向と比較することにより、選択器６３０は、適切な複写計略を実行する。
【００５１】
本発明によるシステムを用いれば、一つの入力映像から若干の出力映像を取出すことが可能になるのが判る。従来の両眼視装置では、時間中の任意の時点で２出力映像のみが使用者に呈示される。複数の出力映像が発生する状態では、入力映像がすでに出力映像の一つを構成しているのが望ましい。これは、出力映像の一つを発生させる必要がないので、処理を簡単にする。入力映像の観察点が出力映像の観察点の間にないのも有利である。これにより、確実に、複写計略が両映像に対して同じになる。これに加えて入力映像について、観察点が、出力映像の観察点に比べて同じ方向で常時ずれていることが保証されれば、前述の表に示した４条件の一つしか支持する必要がなくなる。
【００５２】
好ましくは、プロセッサ５３０が表示システムに直接に接続される。図１を顧みれば、これは、メモリ１９０が不要になることを意味する。このメモリは、スライド・バッファ６００の有効利用によって除去することができ、深度変換器５２０によって行われる予備処理は、余分の映像蓄積を要せずに出力映像群を「オンザフライ」で発生させ得るようにする。
【００５３】
前述したように、深度依存シフトの結果として「隙間」が現れることがある。出力映像の若干の画素位置については、（他の除去した対象物が近傍対象物の「蔭」から外れたことを表わして）入力画素は利用し得ない。かかる場合には、最も遠く外れた近隣対象の一つを複写することにより隙間を満たすのが好ましい。本発明の他の実施例では、図６のプロセッサ５３０が近隣画素を複写するための複写器６４０を備えている。隙間は、画素値が出力位置から出力されるべき時点で、指示器６２０が指示するとおりに、バッファ６００の出力位置か空であった場合に、生じている。したがって、通常、複写器６４０は、以前に出力された画素値か、次に出力されようとしている画素値かを再生しなければならない。その選択は、含まれている入力画素群の対応する深度情報に基づくべきである。しかしながら、複写器６４０は、出力位置が空いていることを指示器が指示した場合に、以前に出力した画素値を単に再生することによって、所望の結果を達成している。かかる簡単な扱い方で所望の結果を達成するという概念は、画素は、絶対的に、入力映像と出力映像との所定の組合わせに対して、いずれの方向にもシフトし得るにも拘らず、前景画素に対する背景画素の相対シフトは、つねに同じ方向である、という、重なりの取扱いに用いたのと同じ洞察に基づいている。焦点面２４０の前の対象物について図７Ａに示したように、映像切片７２０，７２２および７２４によって表わされる出力映像は、切片が観察点の左にあるか、右にあるかには拘わりなく、切片画素群を右にシフトさせることにより、入力映像切片７１０，７１２および７１４からそれぞれ取出し得ることは明らかである。同様に、焦点面２４０の後の対象物について図７Ｂに示したように、映像切片７５０，７５２および７５４によって表わされる出力映像は、切片画素群を左にシフトさせることにより、入力映像切片７４０，７４２および７４４から取出し得ることは明らかである。すでに前述したように、シフトの量は、画素に組合わせた深度によって決まる。これらの観察を結び合わせると、前景対象物に比べて背景対象物が左にシフトされることは明らかである（両方の対象物がともに焦点面７４０の前にある場合には、実際に両方の対象物が右にシフトされることに留意すべきであり、その場合に、前景対象物がさらに右に動き、背景対象物の左に相対的な動きを与える）。その結果として、隙間は、前景対象物の左縁に現われ得るだけである。これは、映像を左から右に処理して、隙間が検出されると、先行画素値を再生することにより、隙間が所望の背景画素で満たされ得ることを意味する。出力観察点が入力観察点の右にあって、画素群が右から左に処理される場合には、同じ計略が適用されることが判る。したがって、入力観察点から出力観察点への方向は、入力映像の行の入力画素群をプロセッサが処理する方向とは反対になるのが好ましい。
【００５４】
予防処置を講じないと、対象物の縁の周囲にアーチファクトが生ずることに留意すべきである。例えば、入力映像において、背景対象物の左縁が前景対象物で覆われ、シフトによって背景映像の左縁が見えて来た場合には、背景映像の画素は複写に利用し得ない。簡単なシステムでは、利用し得る以前の画素（この場合、適切な背景画素ではない）はとにかく複写することができ、その結果、小さいアーチファクトが生ずる。もっと進んだシステムでは、三次元モデルから取出し、もしくは、同じ行や隣の行からの近傍画素群を混合することなどにより、背景画素を別個に発生させることができる。
【００５５】
前述したように、バッファ６００に画素を蓄積するためのバッファ位置は、入力画素のシフトと結びついて入力画素の入力位置から決まる。そのシフトは、（１）式を用いて計算される。画素は、蓄積して、個々に分離した画素位置で示され得るだけであるから、計算されたシフトは、典型的には、切り詰められ、もしくは、丸められる。実験は、その結果として、観察者が異なったシフトを有する平面を経験することになることを示している。かかるアーチファクトを解決するために、本発明の他の実施例では副画素シフトも用いている。シフト情報を２ビット拡大して４個の副画素シフト位置を用いると、良好な結果を与えるようになった。以前のように、この副画素シフト情報は、画素の値を蓄積するためのアドレスを決める必要がない。副画素シフト情報は、表示の品質の改良に用いられる。その目的で、プロセッサ５３０は、さらに、近傍画素の画素値を混ぜるための混合器を備えている。その混合の荷重率は、混合される画素群の副画素シフト情報によって決まる。その一例を図８に示すが、同図には、画素位置８０２，８０４，８０６，８０８，８１０，８１２および８１４からなる行８００の一部を示してある。（1）式により計算した視差的シフトにより、入力映像における位置８０２の入力画素の値は、順次の画素位置８０８と８１０との間にある位置８１６に描かれる。同様に、位置８０４の入力画素の値は、順次の画素位置８１０と８１２との間にある位置８１８に描かれる。位置８０８から位置８１６までの距離をα₁で表わす。かかるα₁は、位置８０２の入力画素の副画素シフトに相当する。同様に、α₂は、位置８１０から位置８１８までの距離を表わし、位置８０４の入力画素の副画素シフトに相当する。さらに、入力映像における（すなわち、シフトに先立つ）位置８０２の入力画素の入力画素値をｃ₁で表わし、位置８０４の入力画素の入力画素値をｃ₂で表わす。出力映像における出力画素８１０、すなわち、シフトが行われた後には、荷重和により位置８０２および８０４における入力画素群で決まる出力画素値を割当てられる。出力映像における出力画素８１０に割当てられる値ｃ₃は、つぎの式によって計算される。
ｃ₃＝｛（１−α₁）ｃ₁＋α₂ｃ₂｝／｛１−α₁＋α₂｝
（１−α₁）およびα₂の項は、副画素シフトに基づいた荷重率である。１−α₁＋α₂の項は、画素の全荷重が維持されていることを確実にする。多くの場合、順次の画素群の副画素シフトはわずかしか変化せず、したがって、１−α₁＋α₂は１に近づき勝ちであるから、この項も、簡単なシステムでは消去することができる。混合には、含まれている画素群の画素値ともども副画素シフト値も必要であることは明らかである。そのために、プロセッサ５３０は、バッファ６００と同数の位置を有する副画素ソフト・バッファ６６０を備えている。バッファ６００に蓄積した各画素値については、対応する副画素シフトを副画素シフト・バッファ６６０に蓄積する。望ましくは、副画素シフト・バッファ６６０は、バッファ６００と同じ態様で管理する。これは、両方のバッファを結びつけることによって有利に達成される。
【００５６】
画素値を蓄積するための蓄積必要量を減少させるには、画素値を色ルックアップ表（ＣＬＬＰ）計略を用いて符号化する。その場合には、画素群を混合する前に復号を行なうのが望ましい。その目的で、プロセッサ５３０は、復号を行なうためのＣＬＵＴ６７０を備えている。
【００５７】
副画素シフトの切り詰め（もしくは丸め）によって、小さいアーチファクトが生ずることがあることに留意すべきである。一例として、同一行の順次の列位置における前景対象物の画素群の深度が著しく変化し、その結果、順次の画素位置に対するシフトが増大するものとし、例えば、入力画素位置ｉおよび順次の画素群について、それぞれのシフトｘ，ｘ＋１／４，ｘ＋１／２，ｘ＋３／４，ｘ＋１およびｘ＋１１／４が計算される。副画素シフトを切り詰めることにより、これは、入力映像の画素ｉの値が、同一行における出力映像の画素位置ｉ＋ｘに複写されることを意味する。順次の６画素について、これをつぎの表に示す。
【００５８】
【表３】

【００５９】
これは、出力映像における画素ｉ＋４＋ｘについて“隙間”が生ずる結果となった。原理的には、背景対象物の画素をこの位置にシフトさせることができる。このように背景画素が前景対象物を「突き破る」のを避けるためには、付加的手段をとることができる。例えば、順次の画素の切り詰めたシフトが増大（して若干の画素を跳ばすことを指示）する場合には、跳ばした画素位置に以前の背景画素を複写することができる。
【００６０】
本発明によるシステムは、人物が光景中を運航し得る「バーチュアル・リアリティ（仮想現実）」に用いることもできる。かかるシステムについては、入力映像を光景の第１映像とするのが好ましい。ついで、多数の順次の映像が、三次元モデルからの替わりにその入力映像から取出す。これは、予定数の映像に対して、もしくは使用者が予定の距離より大きく（例えば入力映像の周わりのシフト領域の外まで）移動するまで繰返される。
【００６１】
本発明によるシステムにおいては、二次元入力映像および深度情報が、典型的には、三次元座標系に基づいて生ぜしめられた三次元モデルに適用される表現過程によって発生する。実時間用途の高品質両眼視映像を、かかる表現過程を二つ並列に移動させることによって発生させ得ることは判る。しかしながら、表現過程は、通例、動き映像、陰影と物陰、異なった視点等を取扱うために、献身的で高価なハードウエアを必要とするので、これは高価な解答である。同様な考慮は、三次元の光景における動きの印象を与えるための一連の二次元映像の発生に適用される。例えば、表示面に示した仮想実現の光景を使用者が運航しているときには、順次の系列におけるそれぞれ次の映像は、わずかに異なった視点からの光景を示すべきであり、したがって、完全に新しい表現過程が含まれる。一般に、これは、実時間用途には、膨大な計算能力を必要とする。本発明によるシステムでは、唯一つの表現過程もしくは、それを縮尺したものが、光景毎の深度情報を伴った一つの基本映像を発生させるのに用いることができ、その場合、本発明による図形処理が、深度情報を有する入力映像から出力映像を取出すのに用いられる。
【００６２】
【図面の簡単な説明】
【図１】図１は、映像処理システムを含めた従来システムのブロック線図である。
【図２】図２は、斜視投映を示す線図である。
【図３】図３は、異なった位置から視たときに増大した対象物の重なりを説明する線図である。
【図４】図４は、異なった位置から対象物を視たときの隙間の出現を説明する線図である。
【図５】図５は、本発明による映像処理システムを示すブロック線図である。
【図６】図６は、本発明による映像処理システムの実施例を示すブロック線図である。
【図７】図７は、対象物の相対シフトを説明する線図である。
【図８】図８は、副画素位置へのシフトを説明する線図である。

Claims

視差変換により入力映像に関連した少なくとも１つの出力映像を発生させる映像処理システムであって、この映像処理システムが、入力手段、出力手段、メモリおよびプロセッサを備え、
前記入力手段は、入力映像の入力画素群の各入力画素値および入力画素深度を受信して受信入力画素値を前記メモリに蓄積する手段を備え、
前記プロセッサは、各入力画素深度の関数として出力画素に視差的に関係した少なくとも１つの入力画素の入力画素値から出力画素の各出力画素値を取出して出力映像の出力画素群を発生させるように動作するものであり、
前記出力手段は出力画素値を出力する手段を有している映像処理システムにおいて、
前記入力手段が、入力画素深度を入力画素シフトに変換し、最大入力画素シフトが、何れの方向においても同じとなるとともに、可能な最大深度に対応する画素シフト値により決定されるようにするとともに、入力画素シフトの表現をメモリに蓄積する深度変換器を備え、
前記プロセッサが、入力画素に対応した蓄積入力画素のシフト表現に基づいて、出力画素と入力画素との間の視差的関係を決めるように構成されていることを特徴とする映像処理システム。
画素シフトを最大で所定のＮ画素位置に制限した請求項１記載の映像処理システムにおいて、プロセッサが、画素値を蓄積するのに少なくともＮ位置を設けたスライド・バッファを備えて順次の入力画素群を処理し、前記処理がメモリからの各入力画素値を、対応した入力画素シフトに応じてオフセットされた入力位置でスライド・バッファに複写し、スライド・バッファの出力位置から画素値を読出すことによって出力画素値を出力し、スライド・バッファをシフトさせることを備えたことを特徴とする映像処理システム。
前景および背景の入力画素が同一出力画素に視差的に関係している場合には、前景入力画素を選んでさらに処理する請求項２記載の映像処理システムにおいて、スライド・バッファの位置が塞がっているか否かを指示する指示器をプロセッサが備え、スライド・バッファの位置が塞がっていない場合に入力画素値をスライド・バッファの位置に複写するだけで前記選択を行うように動作することを特徴とする映像処理システム。
前景および背景の入力画素が同一出力画素に視差的に関係している場合には、前景入力画素を選んでさらに処理する請求項２記載の映像処理システムにおいて、プロセッサが、スライド・バッファの位置が塞がっているか否かを指示する指示器を備え、所定の処理方向における入力映像の列の入力画素を処理するように構成され、入力映像に適合した入力観察点に対する出力映像に適合した出力観察点の相対位置に応じて入力端画素値をスライド・バッファの位置に選択的に複写する選択器を備え、その選択器が、入力観察点から出力観察点への方向が処理方向と同じ場合には、塞がっている位置とは無関係の入力画素値を複写し、入力観察点から出力観察点への方向が処理方向とは反対の場合には、位置が塞がっていないことを指示器が指示する入力画素値を複写するように動作することを特徴とする映像処理システム。
入力画素のいずれもが所定出力画素に視差的に関係していない場合には、入力画素値の再生によって出力画素の各出力画素値を生ぜしめるための複写器をプロセッサが備えた請求項２記載の映像処理システムにおいて、プロセッサが、スライド・バッファの位置が塞がっているか否かを指示する指示器を備え、スライド・バッファの所定出力位置が塞がっていないことを指示器が指示した場合には、スライド・バッファから予め出力した画素値を再生するように複写器が動作することを特徴とする映像処理システム。
請求項１〜５のいずれか一項に記載の映像処理システムにおいて、入力画素シフトが、出力映像の画素位置間の位置に対応した入力画素のシフトを指示する副画素シフトを備え、プロセッサが、近傍画素の画素値を混ぜる混合器を備え、その混合器の荷重率が近傍画素の副画素シフトによって決まるようにしたことを特徴とする映像処理システム。
請求項１〜６のいずれか一項に記載の映像処理システムにおいて、深度変換器が、入力画素深度を入力画素シフトに変換するための表を備えていることを特徴とする映像処理システム。
請求項１〜７のいずれか一項に記載の映像処理システムにおいて、深度変換器が、少なくとも１入力画素の入力画素シフトを入力画素シフト表現に圧縮する圧縮手段を備え、プロセッサが、その入力画素シフト表現を対応した入力画素の入力画素シフトに圧縮解凍する圧縮解凍手段を備えたことを特徴とする映像処理システム。
視差変換により同一入力映像に関係した少なくとも２出力映像を発生させるようにプロセッサが動作するようにした請求項１〜８のいずれか一項に記載の映像処理システムにおいて、入力映像が出力映像の一つを構成するようにしたことを特徴とする映像処理システム。
視差変換により同一入力映像に関係した少なくとも２出力映像を発生させるようにプロセッサが動作するようにした請求項１〜９のいずれか一項に記載の映像処理システムにおいて、入力映像に適合した入力観察点が、出力映像にそれぞれ適合した出力映像観察点間に水平には存在しないようにしたことを特徴とする映像処理システム。
請求項10記載の映像処理システムにおいて、入力観察点から出力観察点への方向が入力映像の列の入力画素群をプロセッサが処理する方向とは逆であることを特徴とする映像処理システム。
映像処理システムが表示面に出力映像を表示するための表示システムを備えた請求項１〜１１のいずれか一項に記載の当該映像処理システムにおいて、プロセッサが出力画素群を供給するために表示システムに直接に接続されていることを特徴とする映像処理システム。
入力映像を少なくとも１つの出力映像に視差的に変換するプロセッサであって、当該プロセッサが、入力画素群の各入力画素値を受信するための入力端と、出力映像の出力画素群の各出力画素値を出力するための出力端とを備えて、出力画素に視差的に関係した少なくとも１つの入力画素の入力画素値から各出力画素値を取出すことにより出力画素を生ぜしめ動作をするプロセッサにおいて、
当該プロセッサが、入力画素の各入力画素シフトの表現を受信するための入力端を備え、この入力画素シフトは何れの方向においても同じであり、しかも可能な最大深度に対応する所定の最大Ｎ個の画素位置に制限されているようにし、
前記プロセッサが、画素値を蓄積するための少なくともＮ個の位置を設けたスライド・バッファを備えており、
前記プロセッサは、順次の入力画素を処理する動作をするものであり、この処理は、対応する入力画素シフトに応じてオフセットされた位置でスライド・バッファにメモリからの各入力画素値を複写する工程と、
スライド・バッファの出力位置から画素値を読取ることによって出力画素を出力する工程と、
スライド・バッファをシフトさせる工程と
を含んでいることを特徴とするプロセッサ。
前景および背景の入力画素が同一出力画素に視差的に関係している場合には、プロセッサが前景入力画素を選択してさらに処理する請求項13記載のプロセッサにおいて、当該プロセッサが、スライド・バッファの位置が塞がっているか否かを指示する指示器を備えて、スライド・バッファの位置が塞がっていないことを指示器が指示した場合には、スライド・バッファの位置に入力画素値を複写することのみにより選択を行うように動作することを特徴とするプロセッサ。
前景および背景の入力画素が同一出力画素に視差的に関係している場合には、プロセッサが前景入力画素を選択してさらに処理する請求項13記載のプロセッサにおいて、当該プロセッサが、スライド・バッファの位置が塞がっているか否かを指示する指示器を備え、所定の処理方向における入力映像の列の入力画素群を処理するように構成され、入力映像に適合した入力観察点に対する出力映像に適合した出力観察点の相対位置に応じて、スライド・バッファの位置に入力画素値を選択的に複写するための選択器を備え、その選択器が、入力観察点から出力観察点への方向が処理方向と同じ場合には、スライド・バッファの位置には無関係に入力画素値を複写し、入力観察点から出力観察点への方向が処理方向とは逆の場合には、スライド・バッファの位置が塞がっていないことを指示器が指示したときの入力画素値を複写することを特徴とするプロセッサ。
入力画素のいずれもが所定出力画素に視差的に関係していない場合には、入力画素値の再生によって出力画素の各出力画素値を生ぜしめるための複写器を当該プロセッサが備えた請求項13記載のプロセッサにおいて、当該プロセッサが、スライド・バッファの位置が塞がっているか否かを指示するための指示器を備え、スライド・バッファの所定出力位置が塞がっていないことを指示器が指示した場合には、スライド・バッファから予め出力した画素値を再生するように複写器が動作することを特徴とするプロセッサ。
請求項13〜16のいずれか一項に記載のプロセッサにおいて、入力画素シフトが、出力映像の画素位置間の位置への対応する入力画素のシフトを指示する副画素シフトを備え、当該プロセッサが近傍画素群の画素値を混ぜるための混合器を備え、混合の荷重率が近傍画素群の副画素シフトによって決まることを特徴とするプロセッサ。