JP4663201B2 - 方法、システム及び装置 - Google Patents

Description

【０００１】
【技術分野】
本発明は、第１画像のブロックを第２画像の領域と突き合わせるために使用されるべき最適な候補値を選択する方法に係り、該方法が、
（ａ）第２画像の突き合わされるべき領域を決定するための候補値の集合を作成し、
（ｂ）上記集合の各候補値に関して、第２画像の突き合わされるべき領域を当該候補値に基づいて決定すると共に、第１画像の上記ブロックを該領域と突き合わせて整合エラーを算出し、
（ｃ）前記集合から上記の算出された整合エラーに基づいて前記最適な候補値を選択する、
各ステップを有するような方法に関する。
【０００２】
同様に、本発明は第１画像のブロックを第２画像の領域と突き合わせるために使用されるべき最適な候補値を選択するシステムに係り、該システムが、
− 第２画像の突き合わされるべき領域を決定するための候補値の集合を作成するように構成された収集器と、
− 上記集合の各候補値に関して、第２画像の突き合わされるべき領域を当該候補値に基づいて決定すると共に、第１画像の上記ブロックを該領域と突き合わせて整合エラーを算出するように構成された整合器と、
− 前記集合から上記の算出された整合エラーに基づいて前記最適な候補値を選択するように構成された選択器と、
を有するようなシステムにも関する。
【０００３】
本発明は、更に、種々の画像を有するビデオ信号を処理する装置にも関する。
【０００４】
【背景技術】
冒頭に記載したような型式の方法は、本出願人による国際特許出願公開第WO99/40726号（出願人整理番号：PHN17017）から既知である。画像における動き及び深さを決定するためのブロックに基づく技術によれば、該画像は例えば等しい寸法の長方形のような多数のブロックに分割される。次いで、該画像は他の画像における個々のブロックを突き合わせることにより該他の画像と比較される。
【０００５】
ブロックの第２画像との突き合わせは、動きベクトル及び深さに関する多数の候補値を選択し、次いで、各候補値に関して当該ブロックが第２画像における領域にどの程度対応するかについて決定することにより実行される。この突き合わせにおけるズレの程度が計算される。このズレは、上記候補値に属する整合エラーと呼ばれる。最適な候補値は、相対的に小さな整合エラーを有する候補値である。適した候補値は、なかでも、第１画像の隣接するブロックの深さ又は動きベクトルである。何故なら、これらは現ブロックと略同一の特徴を有する傾向にあるからである。ブロックはピクセルを有しているので、上記整合エラーは、第１画像のブロックにおける及び第２画像内の領域における対応するピクセルに基づいて決定することができる。この目的のためには、平均二乗誤差（ＭＳＥ）を決定する等の数学的技法が適している。
【０００６】
或るオブジェクトの点が第１画像においては確かに見えるが、第２画像では見えないことが起こり得る。第２のオブジェクトが、第２画像から見て、該第２オブジェクトが第１オブジェクトを部分的に又は完全に覆うような位置を有することがあり得る。このことは、第１画像のブロックが、該ブロックの多数のピクセルが整合されるべき領域において見えないために、第２画像において完全には見付けることができないことを意味する。
【０００７】
前記既知の方法の欠点は、上記整合エラーが第１画像の当該ブロックの全ピクセルにわたって、及び突き合わされるべき領域において見えないピクセルに対しても計算されるということである。この場合、これらのピクセルは他の点に対応するピクセルと比較されてしまう。これらが非常に相違する場合（例えば、輝度が変化するため）、このことは非常に大きな整合エラーを生じさせるであろう。この場合、余り大きな整合エラーのために候補値が拒絶されても、この候補値が当該ブロックの可視領域に関する最適な候補値を確かに形成しているというようなことが起こり得る。
【０００８】
【発明の開示】
本発明の目的は、冒頭に述べたような型式の方法であって、最適な候補値に対する一層良好な選択がなされるような方法を提供することにある。
【０００９】
この目的は、本発明によれば、前記ブロックがピクセルにより形成され、前記第１画像のブロックにおける、前記第２画像の突き合わされるべき領域において見えるピクセルの選択が実行され、整合エラーの算出が該選択に基づくものであることにより達成される。上記整合エラーの算出に関して見えないピクセルを使用しないことにより、不整合による大きな整合エラーが発生するのを防止することができる。
【００１０】
上記方法の一実施例においては、上記選択は、前記第１画像の前記ブロックのピクセルに関して、これらピクセルの位置が前記第２画像の前記突き合わされるべき領域において何の位置であるかを決定すると共に、前記第１画像の前記ブロックのうちの前記第２画像の前記突き合わされるべき領域において同一の位置で見付けられる他のピクセルとの比較に基づいてピクセルを選択することにより実行される。
【００１１】
本方法の他の実施例においては、上記選択は深さに基づいて実行される。この実施例は、上記比較が簡単且つ高速に実行することができる点で有利である。
【００１２】
また、本発明の目的は導入部で述べたような型式のシステムであって、最適候補値の一層良好な選択がなされるようなシステムを提供することにもある。
【００１３】
この目的は、本発明によるシステムによれば、前記ブロックがピクセルにより形成され、前記整合器が前記第１画像のブロックにおける前記第２画像の前記突き合わされるべき領域において見えるピクセルの選択を実行するように構成され、該整合器が該選択に基づいて整合エラーを算出するように構成されることにより達成される。
【００１４】
該システムの一実施例においては、上記整合器は、前記第１画像の前記ブロックのピクセルに関して、これらピクセルが前記第２画像の前記突き合わされるべき領域内において何の位置を有するかを決定すると共に、前記第１画像の前記ブロックのうちの前記第２画像の前記突き合わされるべき領域において同一の位置を有する他のピクセルとの比較に基づいてピクセルを選択するように構成される。
【００１５】
該システムの他の実施例においては、上記比較は深さに基づいて実行される。
【００１６】
また、本発明の目的は、導入部に記載したような型式の装置であって、ビデオ信号の一層良好な処理が得られるような装置を提供することにもある。
【００１７】
この目的は、本発明による装置によれば、該装置が、
− 第１画像のブロックを第２画像の領域と突き合わせるために使用されるべき最適候補値を選択する前記発明によるシステムであって、前記種々の画像のブロックに対して最適候補値を選択するように構成されたシステムと、
− 前記ビデオ信号を処理し、前記システムにより決定された得られた最適候補値に基づいて、向上されたビデオ信号を得る画像プロセッサと、
を有することにより達成される。
【００１８】
上記画像プロセッサは、前記発明によるシステムにより選択された最適候補値に基づいて上記画像を向上させる。このシステムによれば、最適候補値の一層良好な選択がなされるので、これは、他の装置によるよりも良好な向上された画像に繋がる。
【００１９】
或る実施例においては、当該装置は上記の向上されたビデオ信号を表示する表示システムを更に含む。
【００２０】
本発明の、これら及び他の態様は以下に記載される実施例（又は複数の実施例）から明らかとなり、斯かる実施例を参照して解説されるであろう。
【００２１】
【発明を実施するための最良の形態】
第１画像における動き及び深さを決定するための、ブロックに基づく技術においては、当該画像が多数のブロックに副分割される。これらのブロックは長方形であって等しい寸法とすることができるので、上記分割は簡単且つ高速に実施することができる（もっとも、他の例として任意の他の形状を使用するとこも可能である）。非長方形ブロックの使用は、この場合には任意のオブジェクトを一群のブロックにより覆うことができ、従って斯様なオブジェクトの動き又は深さを決定することができる点で有利である。当該画像をブロックに分割することにより、該画像を第２画像と、該第１画像のブロックを第２画像の領域と突き合わせることにより比較することが可能となる。これらブロックが十分に小さく選定されるなら、各ブロックが一様に移動し、且つ、或るブロックの深さは何処でも同一であると仮定することができる。この場合、第１の画像の或るブロックに対応するような第２画像の領域を探すことが可能である。これが見付かった場合、このブロックの上記２つの画像の間のズレ、従って該ブロックの動きを決定することができる。上記２つの画像が共に静止オブジェクトに関するものであれば、これは、該オブジェクトの深さを決定するために要する情報を提供する。
【００２２】
第１画像のブロックが第２画像の領域と完全に整合することはまれであろう。この問題は、深さに関する又は動きベクトルに関する候補値に基づいて、第１画像のブロックが第２画像において何処に位置されなければならないかを決定することにより解決することができる。次いで、これに対応する第２画像の領域が第１ブロックと突き合わされて、整合のズレの程度を計算することができる。このズレは、当該候補値の整合エラーと呼ばれる。最適候補値とは、相対的に小さな整合エラー、好ましくは最小の整合エラーを有する候補値である。
【００２３】
ブロックはピクセルからなるので、整合エラーは２つのブロック内の対応するピクセルに基づいて決定することができる。この目的のためには、平均二乗誤差（ＭＳＥ）の決定のような数学的技法が好適である。この技法によれば、動きベクトル（dx, dy）に関する整合エラーは、下記のように算出することができる。
【数１】

ここで、Ｍ及びＮはブロックのピクセルでの寸法であり、Ｕ_ｉ(m,n)は位置（ｍ，ｎ）における画像ｉでのピクセル輝度である。深さｄに関する整合エラーの算出も、同様な態様で行われる。
【００２４】
他の好適な数学的技法は、絶対差分の和（ＳＡＤ）を算出することである。これによれば、深さｄに関する整合エラーは下記のように算出することができる。
【数２】

ここで、（ｘ，ｙ）はブロックＢにおけるピクセルであり、Δｘ(d)は深さｄに関する候補値に基づくｘの変化である。
【００２５】
深さ又は動きベクトルに対する候補値の整合エラーの算出に関しては、上記平均二乗誤差及び絶対差分の和に加えて、平均絶対差分又は二乗誤差の和のような他の数学的技法も使用することができる。
【００２６】
実用上の理由、なかでも、ビデオ信号処理の間においては別個の画像を処理するには僅かな時間しかないので、通常は限られた数の候補値の集合が作成され、次いで、これら候補値が上述したように第２画像の領域を決定するために使用され、その後、第１画像のブロックが該領域と突き合わされる。隣接する他のブロックの深さ又は見付かった動きベクトルに関する値が選択され、多分、ランダム値又はこのブロック用の深さ若しくは動きベクトルに関する先に算出された値により加算される。当該集合の要素の整合エラーが算出された後、最適な候補値が最小の整合エラーを有する候補値として選択される。
【００２７】
上記の集合を作成するステップ、この集合の要素の整合エラーを算出するステップ及び最適候補値を選択するステップは、３つの別個のステップとして実行することもできるが、組み合わせで実行することもできる。選択された各候補値に関して上記整合エラーを直接算出することができ、その後、この整合エラーを“ランニングミニマム”と比較することができる。算出された整合エラーが、このランニングミニマムより小さいことが分かった場合、現候補値が仮の最適候補値として選択され、その整合エラーが新たなランニングミニマムとして選択される。当該集合内の全ての候補値が選択された後、斯様にして決定された仮の最適候補値が実際の最適候補値となる。
【００２８】
上述した方法は、何回も繰り返して、最適候補値の可能な最良の選択に到るようにすることができる。当該画像内で深さが決定される場合、該深さは最初はランダムに選択される。次いで、各繰り返しにおいて隣接するブロックの値が使用され、これらの値は先行する繰り返しの値とは異なり得る。最小の整合エラーを有するような新たに見付かった値が、次いで、他のブロックの整合エラーを計算するために使用される。これら値が最早変化しない場合、最終値が決定され、繰り返しが停止される。各繰り返しにより、最適候補用の現在値及び整合エラーは、各ブロックに関して保存されねばならない。
【００２９】
図１は、第１画像１０及び第２画像１１を示し、両者は第１オブジェクト１２及び第２オブジェクト１５の表現を含んでいる。オブジェクト１２及び１５の点は、第１画像１０及び第２画像１１においてピクセルとして見ることができる。可視度の程度は、第１画像１０又は第２画像１１を見る看者によって見られる、これらオブジェクトの深度によっても影響される。オブジェクト１２の点１３は、第１画像１０においても及び第２画像１１においても見ることができる。しかしながら、オブジェクト１２の点１４は、第１画像１０においてしか見ることができない。何故なら、第２画像１１から見ると、オブジェクト１５の点１６が、第２画像１１において該点１４と一致するからである。
【００３０】
第１画像１０のブロックが、第２画像１１の領域と突き合わされるべき場合に、第１画像の当該ブロック内に位置を有すると想定される点１４は、第２画像１１の上記領域ではたどることができないであろう。ブロックは、当該画像において見ることができるオブジェクトの点に対応するようなピクセルからなる。第１画像１０のブロックの第２画像１１の領域との突き合わせは、どれが、第１画像１０のブロック及び第２画像１１の領域において対応するピクセルであるかを決定することにより実行される。
【００３１】
図１において、点１４に対応する第１画像１０のブロックのピクセル１８が突き合わされる場合、その意図は、このピクセルが第２画像１１の領域の点１４に対応するピクセルと突き合わされるというものである。このピクセルはピクセル２０であるべきである。しかしながら、第２画像１１においては点１６も見える。点１６に対応するピクセルはピクセル２０である。該点１６は第２画像１１から見て点１４よりも短い距離を有しているから、ピクセル２０は点１６に対応し、点１４は見ることができない。
【００３２】
第１画像１０のブロックが第２画像１１の領域と突き合わされる場合、点１４に対応する第１画像１０の該ブロックのピクセル１８は、点１６に対応するような第２画像１１の領域のピクセル２０と突き合わされる。それらが非常に異なる場合（例えば点１４が暗く、点１６が明るい故に）、その結果は大きな整合エラーとなるであろう。
【００３３】
本発明による方法においては、第１画像１０のブロックの、第２画像１１の突き合わされるべき領域において見えるピクセルの選択がなされる。次いで、整合エラーは、この選択に基づいて計算される。点１４に対応するピクセルは第１画像１０のブロックでは見えるが、第２画像１１の突き合わされるべき領域では見えないから、このピクセルは選択されず、かくして整合エラーは、この点１４が破棄されている間に計算される。
【００３４】
これを可能にするために、上述した整合エラーの計算は、第１画像１０におけるピクセル（ｘ，ｙ）に対応する点が第２画像１１の突き合わされるべき領域で見える場合は値１を生成し、それ以外では値０を生成するような関数ｖ(x,y)を導入することにより適応化される。この場合、例えば絶対差分の和（ＳＡＤ）を計算する数学的技法による整合エラーの計算は、以下のようになされる。
【数３】

ここで、v(x,y)は上述した関数である。この関数は可視度マップとも呼ばれる。他の数学的技法に関しては、対比し得る修正を簡単に実現することができる。
【００３５】
ブロックＢの整合エラーは、該ブロックＢの全ての点(x,y)にわたって計算される。各点(x,y)に対して、第１及び第２画像１０及び１１における差分が計算される。この差分を当該点(x,y)用の可視度マップの値により乗算することにより、可視度マップが値１を示すような点(x,y)のみに対し整合エラーが計算される。
【００３６】
可視度マップを決定するために、第１画像１０のブロックのピクセルに関して、これらピクセルが第２画像１１の突き合わされるべき領域において何の位置を有するかが決定される。先ず、各ピクセルが三次元空間における何の点に対応するかが決定される。図１の例において、ピクセル１７に関しては該ピクセルが点１３に対応することが、ピクセル１８に関しては該ピクセルが点１４に対応することが、ピクセル１９に関しては該ピクセルが点１６に対応することが決定される。
【００３７】
例えば上記の決定された候補値に基づいて、第２画像１１におけるこれらのピクセルの位置が決定される。この目的のため、例えば、深さ又は動きベクトルに対して前もって決定された候補値を使用することができる。最適候補値を選択する方法を、先ず、整合エラーを計算するための前記関数の修正無しに適用することができ、これにより最適候補値が決定される。かくして、点１４及び点１６に関しては、これら点が第２画像１１の突き合わされるべき領域において同一の位置、即ちピクセル２０を有することが分かる。
【００３８】
ピクセル１８及び１９、又はこれらに対応する点１４及び１６を比較することにより、これらピクセル又は点のどれが、突き合わされるべき領域において見えるかを決定することができる。この比較は、好ましくは、深さに基づいて実施される。何故なら、近い点は離れた点を覆うので見えるからである。しかしながら、それにも拘わらず、遠くのピクセルが見えるほど、近くに位置するピクセルよりも該遠くのピクセルが明るいこともあり得る。近くのピクセルの代わりに遠くのピクセルが見えるように、該近くに位置するピクセルが透明であることもあり得る。図１においては、第２画像１１から見て、点１６は点１４よりも近くに位置し、従って点１６が選択されると思われる。次いで、この選択は、ピクセル１９に対する可視度マップの値を１に設定し、ピクセル１８に対するものを零に設定することにより確立される。
【００３９】
深さ又は動きベクトルに関する上記候補値は、確定的値の代わりに確立密度関数に関する特定の関数を有する確率的変数と考えることもできる。その場合、上述した方法は僅かに変更される。深さ又は動きの確立密度関数は、例えば、整合エラーを計算する前記関数を変更しないで上述した方法を実施することにより決定される。次いで、各ピクセルが上記三次元空間における何の点に最も対応しそうかが決定される。例えば、見いだされた候補値に基づいて、これらの点に関し、これら点が第２画像１１において何の位置を有するかが決定される。次いで、各ピクセルに関して、当該ピクセルが第２画像１１において見える確率が、例えば深さを規準として計算される。ここで、この確率に基づいて選択が実行される。この場合、見えるであろう最高の確率を有するピクセルが選択される。
【００４０】
この選択は可視度マップに配置される。第１の可能性は、或るピクセルが最高の確率を有する場合に該ピクセルの値を１に設定し、それ以外は０に設定することである。第２の可能性は、見えるピクセルの確率を可視度マップに含めることである。
【００４１】
該方法が何回か実行される場合、第１画像１０のブロックのピクセルが何の点と一致するかを決定する最初の反復においては未だ何の情報も得られない。従って、この反復では当該可視度マップの値は全てのピクセルに関して１に設定することができる。
【００４２】
図２は、種々の画像を有するようなビデオ信号４０を処理する装置を表している。該装置は画像プロセッサ４１を有し、該プロセッサはビデオ信号４０を処理して、向上されたビデオ信号を得るように構成されている。この向上されたビデオ信号は、次いで、表示スクリーン４２上に表示される。図２は、表示スクリーン４２を、画像プロセッサ４１を含むのと同一の装置の一部として示しているが、該表示スクリーン４２は当該装置とは独立に配置されてもよく、当該装置からネットワークを介して上記の向上されたビデオ信号を受信することができることは明らかであろう。
【００４３】
画像プロセッサ４１は、上記ビデオ信号４０内の個々の画像の動き及び深さに関する情報に基づいて該ビデオ信号４０を向上させることができる。例えば、画像プロセッサ４１はビデオ信号４０を処理し、これによりユーザが、一群のブロックにより決定される個々のオブジェクトを深さ情報に基づいて個別に回転し、かくして他の角度からの正しい再生を発生させることにより、他の角度から当該画像を見ることができるようにすることもできる。これは、例えば立体的な再生を提供することができる。例えば自動監視カメラ用に使用されるように、動き情報を移動物体を検出し及び印すために使用することもできる。このようにして得られた印を付けられたオブジェクトを持つビデオ信号は、これらのカメラのユーザにとり拡張性を提供する。何故なら、これらカメラは画像変化を一層速く検出することができるからである。
【００４４】
他の可能性のある用途においては、画像プロセッサ４１は、一層効率よく圧縮されたビデオ信号を生成することにより、例えばＭＰＥＧ等の圧縮フォーマットで供給されるビデオ信号４０を向上させる。この場合、一群のブロックを介して決定される、当該ビデオ信号４０の多数の画像内で発生する個々のオブジェクトは、該オブジェクトに関するピクセル情報を１回だけ記憶すると共に、このオブジェクトが発生する他の画像に対しても該オブジェクトの動きベクトル及び深さの情報のみを記憶することにより圧縮することができる。この情報は完全なオブジェクトのピクセル情報よりも少ない記憶容量しか必要としないので、斯かる方法のような方法は、大幅に向上された圧縮ビデオ信号を提供することができる。
【００４５】
明瞭化のために、下記の説明は第１ブロックの深さが決定される場合のみの当該システムの構成要素の機能についてのものであるが、上記のことから第１ブロックの動きは同様の方法においても決定することができることは明らかであろう。
【００４６】
当該装置は、更に、収集器４３、整合器４６及び選択器４７を含んでいる。収集器４３は、第２画像の突き合わされるべき領域を決定するための候補値の集合４５を作成するように構成されている。収集器４３により作成された集合４５は、なかでも、第１ブロックに隣接するブロックの先に決定された深さ含んでいる。通常、隣接するブロックの深さは殆ど相互差分を示さない。従って、第１ブロックに隣接するブロックの深さは、該第１ブロックの深さを決定するための良い開始点を形成し、依って該深さ用の候補値として使用される。この目的のため記憶システム４４が存在し、該記憶システムには該深さ及び以前に決定された深さを記憶することができ、かくして、収集器４３は候補値の集合４５を作成する際に、これら深さを使用することができる。
【００４７】
収集器４３は整合器４６に上記候補値の集合４５を伝送する。整合器４６は、該集合の各候補値に関して、該候補値に基づいて第２画像の突き合わされるべき領域を決定する。次いで、整合器４６は第１画像の当該ブロックと、この領域とを突き合わせる。そして、該整合器４６は、上述したようにして、関連する突き合わせ領域を計算する。この目的のため、平均二乗誤差、平均絶対差分、絶対差分の和又は二乗誤差の和のような前述した方法を実施することができる。
【００４８】
この実施例における整合器４６は、第１画像のブロックの、第２画像の突き合わされるべき領域において見えるピクセルの選択を実行するよう構成されている。当該装置の他の部分も該作業のために構成することができることは明らかであろう。
【００４９】
整合器４６は上記選択を、第１画像のブロックのピクセルに関して、これらピクセルが第２画像の突き合わされるべき領域において何の位置を有するかを決定することにより実行する。次いで、整合器４６は、第２画像の突き合わされる領域において同じ位置を有するピクセル、又はこれらピクセルに対応する点を比較する。そのようにして、該整合器４６は、これらピクセル又は点のうちのどれが、突き合わされるべき領域において見えるかを決定することができる。この比較は、最も近い点は一層遠くの点を覆うために見ることができるという理由で、好ましくは深さに基づいて実行される。次いで、前記選択が、見えるピクセルに対する可視度マップの値を１に設定し、見えないピクセル又は複数のピクセルに対しては０に設定することにより実行される。整合器４６は、図１を参照して説明したように、該可視度マップに基づいて整合エラーを計算する。
【００５０】
前記集合４５の候補値の整合エラーが算出された後、選択器４７は上記集合４５から、該算出された整合エラーに基づいて最適候補値４８を選択する。該最適候補値４８は、相対的に小さな整合エラーを有するような候補値である。次いで、選択器４７は該最適候補値４８を画像プロセッサ４１に送る。この処理の画像の種々のブロックに対する繰り返しは、この画像に関する深さ情報を提供する。このようにして提供された深さ情報に基づいて、画像プロセッサ４１はビデオ信号４０を処理して、向上されたビデオ信号を得ることができる。この向上されたビデオ信号は、次いで、表示スクリーン４２上に表示することができる。
【図面の簡単な説明】
【図１】 図１は、多数のオブジェクトの複数の画像の概念図である。
【図２】 図２は、ビデオ信号を処理するための本発明による装置の概念図である。

Claims (8)

1. 第１画像のブロックを第２画像の領域と突き合わせるために使用されるべき最適候補値を選択する方法であって、該方法が、
   （ａ）前記第２画像の突き合わされるべき領域を決定するための候補値の集合を作成するステップと、
   （ｂ）前記集合の各候補値に関して、前記候補値に基づいて前記第２画像の突き合わされるべき領域を決定すると共に、前記第１画像のブロックを該領域と突き合わせて整合エラーを算出するステップと、
   （ｃ）該算出された整合エラーに基づいて、前記集合から前記最適候補値を選択するステップと、
   を有するような方法において、
   前記ブロックはピクセルにより形成され、前記第１画像のブロックにおける、前記第２画像の前記突き合わされるべき領域において見える点に対応するピクセルの選択が実行され、前記整合エラーの算出が該選択に基づくものであることを特徴とする方法。
2. 請求項１に記載の方法において、前記選択は、前記第１画像の前記ブロックのピクセルに関して、これらピクセルの位置が前記第２画像の前記突き合わされるべき領域において何処であるかを決定すると共に、前記第１画像の前記ブロックのうちの前記第２画像の前記突き合わされるべき領域において同一の位置で見付けられる他のピクセルとの比較に基づいてピクセルを選択することにより実行されることを特徴とする方法。
3. 請求項２に記載の方法において、前記選択が奥行きに基づいて実行されることを特徴とする方法。
4. 第１画像のブロックを第２画像の領域と突き合わせるために使用されるべき最適候補値を選択するシステムであって、該システムが、
   − 前記第２画像の突き合わされるべき領域を決定するための候補値の集合を作成するよう構成された収集器と、
   − 前記集合の各候補値に関して、前記候補値に基づいて前記第２画像の突き合わされるべき領域を決定すると共に、前記第１画像のブロックを該領域と突き合わせて整合エラーを算出するように構成された整合器と、
   − 該算出された整合エラーに基づいて、前記集合から前記最適候補値を選択するよう構成された選択器と、
   を有するようなシステムにおいて、
   前記ブロックはピクセルにより形成され、前記整合器は前記第１画像のブロックにおける前記第２画像の前記突き合わされるべき領域において見える点に対応するピクセルの選択を実行するように構成され、該整合器は該選択に基づいて整合エラーを算出するように構成されていることを特徴とするシステム。
5. 請求項４に記載のシステムにおいて、前記整合器は、前記第１画像の前記ブロックのピクセルに関して、これらピクセルが前記第２画像の前記突き合わされるべき領域内において何の位置を有するかを決定すると共に、前記第１画像の前記ブロックのうちの前記第２画像の前記突き合わされるべき領域において同一の位置を有する他のピクセルとの比較に基づいてピクセルを選択するように構成されていることを特徴とするシステム。
6. 請求項５に記載のシステムにおいて、前記比較が奥行きに基づいてなされることを特徴とするシステム。
7. 種々の画像からなるビデオ信号を処理する装置において、該装置が、
   第１画像のブロックを第２画像の領域と突き合わせるために使用されるべき最適候補値を選択する請求項４、５又は６に記載のシステムであって、前記種々の画像のブロックに対して最適候補値を選択するように構成されたシステムと、
   前記ビデオ信号を処理し、前記システムにより決定された得られた最適候補値に基づいて、向上されたビデオ信号を得る画像プロセッサと、
   を有していることを特徴とする装置。
8. 請求項７に記載の装置において、該装置が前記向上されたビデオ信号を表示する表示システムを更に有していることを特徴とする装置。

Images