JP4302572B2

JP4302572B2 - 画像処理装置

Info

Publication number: JP4302572B2
Application number: JP2004119436A
Authority: JP
Inventors: キース，ジェイ．ハンナ，; ジェイムズ，アール．バージェン，; ラケシュクマー，; ハープリートソーフニー，; ジェフリールビン，; ショーンエム．アドキンス，
Original assignee: アイマックスコーポレイション
Priority date: 1998-08-28
Filing date: 2004-04-14
Publication date: 2009-07-29
Anticipated expiration: 2019-08-30
Also published as: WO2000013142A9; WO2000013142A1; US6490364B2; US20010019621A1; JP2003526829A; EP1110178A1; US20010036307A1; CA2342318A1; US6269175B1; US20030190072A1; JP2005244916A; US6430304B2

Description

本願は、合衆国法典第３５編の米国特許法第１１９条により、１９９８年８月２８日に出願された米国特許仮出願第６０／０９８，３６８号および１９９９年３月１０日に出願された米国特許仮特許出願第６０／１２３，６１５号の利益を享受するものである。これらの出願は共に、本願明細書に参照により引用されたものとする。

本願は、本願明細書に参照により組み込まれる、同日に出願された米国特許出願第号（代理人整理番号ＳＡＲ１３１６５）と関連する主題を含む。

本発明は、画像処理装置に関し、さらに詳しく言えば、本発明は、画質を高めるための装置に関する。

娯楽や他の応用において、視聴者がシーンを三次元で見ることができるように、シーンの高解像度のステレオ像を得ることは有益である。このような高解像度の像を得るために、従来技術で一般に行われている方法では、２以上の高解像度デバイスまたはカメラを互いに異なる位置に配置して用いる。第１の高解像度カメラが１つの画像または画像シーケンスを捕らえ、これと第１の高解像度カメラと異なる視点から捕らえた他の高解像度の画像とを１つにして、シーンのステレオ画像を作成する。

しかしながら、複数の高解像度カメラを用いてステレオ像を作成することは、困難かつ非常に高コストになることがある。シーンを録画するために用いる高解像度カメラの数は、ステレオ画像のシーンを発生させるコストに著しく寄与する。さらに、高解像度カメラは、大型で扱いにくい。実際、高解像度カメラは、シーンを撮影する場合にあちこちに動かしにくいものである。その結果、高解像度カメラの大きさが原因で、視点の一部が許容できないものとなることで、ステレオ画像を作成するために利用可能な視点が制限されることがある。

同様に、捕獲したディジタル像の収集が行われる他の応用では、単眼視または両眼視に高画質の像を発生させる必要がある。このような応用の例は、ビデオおよび他のディジタル像の解像度の強化、高度の焦点、被写界深度、色相および輝度／コントラスの強化の面からの質の強化、獲得したディジタル像およびビデオを基にした新規な視点からの合成像の作成である。

上記応用にはすべて、複数の同時間ディジタルセンサ（例えば、カメラ）および／または合成ディジタル像を作成するために時間的に引き離したセンサが含まれる。さまざまな応用は、以下の分類（これらに限定されるものではない）に沿って大別される。

１．同時刻に像を捕らえたカメラおよびまたは他のセンサから像の１以上のフレームを処理して高画質のディジタル画像を作成。合成フレームは、実際のセンサの１つの位置に設けられた高画質合成カメラの視野を表す。

２．時間と空間にわたって獲得したフレーム（時間にわたって複数のカメラ／センサが獲得するビデオ像）を処理して高画質ディジタル像を作成。合成フレームは、１以上の実際のセンサの位置に設けられた高画質合成カメラを表す。

３．時間と空間にわたって獲得したフレーム（時間にわたって複数のカメラ／センサが獲得するビデオ像）を処理して高画質ディジタル像を作成。合成フレームは、上記の実際のセンサ以外の位置に設けられた高画質合成カメラを表す。

従って、合成高解像度画像を作成して、１つのみの高解像度カメラを用いて画像の画質を高める装置が業界で望まれている。

従来技術に関連する欠点は、シーンの像により獲得された画像の流れの情報を正確に計算するための装置を提供する本発明により解消される。本発明は、画像の流れが計算される点に対してオフセットされるウィンドウ内で画像の流れを計算することにより、画像における各点の画像の流れの情報を計算する。さらに、画像の流れの計算は、像の複数のフレームに実行されるため、画像の流れを正確に計算でき、オクルージョン像を補正しやすくなる。

本発明の１つの例示的な実施形態において、画像の流れの計算に視差情報を計算させる。画像および視差（または流れ）の情報は、画像の解像度の強化、焦点、被写界深度、色相および輝度の強化などのさまざまな画像処理技術を高めるために用いられてよい。また、視差（または流れ）の情報は、原画像と組み合わせて用いてステレオ画像を形成する合成高解像度の画像を発生させるために用いられてよい。さらに詳しく言えば、この装置は、画像（例えば、ビデオフレームシーケンス）を発生させるための画像装置と、撮像されたシーンに関する情報を発生させるシーン感知装置とを備える。画像処理プロセッサが、シーン感知装置からの情報を用いて、画像装置により発生した画像を処理する。このような処理により、撮像されたシーンに関する視差情報を発生する。画像装置からの像および視差情報を用いて、上述した画像処理応用の任意の１つが高度化される

本発明は、ソフトウェアルーチンまたはソフトウェアとハードウェアとの組合せに組み込まれる方法を含む。本発明の方法は、第１の解像度をもつ画像データを供給するステップと、画像データにより表されるシーンに関する画像情報を供給するステップとを備える。画像のデータと情報は、例えば、合成視野をもつ合成画像を形成するために第１の画像データをワーピングすることにより処理され、ここでの合成画像の視点は画像データに表される視点とは異なるものである。合成画像および原画像を用いて、シーンに関する視差情報を計算する。原像と合成視野像からの複数のフレームを用いることで、本発明により視差の計算精度が高められる。

本発明の代替実施形態は、シーン感知装置以外にも複数のセンサを利用して、合成画像の画質を高めるために用いるより多くのシーンデータを提供し、第２の画像装置と共に変位装置を用いて、変位装置の位置にあるワーピングされた画像の視点を作成するステップと、第２の画像装置として範囲検出装置を用いて、画像奥行きの情報を提供するステップとを含むが、これに限定されるものではない。

本発明の他の代替実施形態は、複数の画像を整列して、整列画像を形成することと、複数のウィンドウを画定し、前記ウィンドウのそれぞれが、前記整列画像内の点を含む画像領域の境界を定めることと、前記点から前記ウィンドウの少なくとも１つをオフセットすることと、前記ウィンドウのそれぞれにおいて流れの推定を計算することと、最低誤差をもつ流れの推定を識別することと、前記最低誤差に関連する前記流れの推定を前記点の前記流れの情報とみなすこととを含む、複数の画像から画像の流れの情報を計算する方法である。

この実施形態において、前記流れの情報が視差情報を発生するように制約されて、前記ウィンドウの１つの中心が前記点にあり、前記ウィンドウのサイズが異なってもよい。また、前記複数の画像が複数の画像を備え、前記ウィンドウが前記整列画像において画定されてよく、前記複数の画像がタイリングされ、タイルの対が前記複数の画像を形成することを特徴としてもよく、前記複数の画像がそれぞれ同時に撮像されてもよい。更に、前記整列画像のそれぞれの流れの推定値を計算するステップと、最低誤差をもつ流れの推定値を識別するステップと、前記流れの推定値に応答して、第１の整列画像の誤った情報を識別するステップと、少なくとも１つの他の整列画像からの情報で、前記第１の整列画像にある前記誤った情報を修復するステップとをさらに含んでもよい。

本発明の更なる他の代替実施形態は、複数の画像を整列して、複数の整列画像を形成することと、前記整列画像のそれぞれの流れの推定を計算することと、最低誤差をもつ流れの推定を識別することと、前記流れの推定値に応答して、第１の整列画像の領域を識別することと、少なくとも１つの他の整列画像からの情報で、前記第１の整列画像にある前記領域の画質を高めることを含む、複数の画像内の領域の画質を高める方法である。

この実施形態において、前記流れの推定は視差推定を形成するように制約されてよい。また、前記計算ステップが、前記整列画像のそれぞれのエピポーラ制約を計算することと、整列画像から整列画像への画像変化を表す流れ領域を計算することとをさらに含んでよい。

本発明の更なる他の代替実施形態は、複数の画像を整列して、整列画像を形成することと、複数のウィンドウを画定し、前記ウィンドウのそれぞれが、前記整列画像内の点を含む画像領域の境界を定めることと、前記点から前記ウィンドウの少なくとも１つをオフセットすることと、前記ウィンドウのそれぞれにおいて流れの推定を計算することと、最低誤差をもつ流れの推定を識別することと、前記最低誤差に関連する前記流れの推定を前記点の前記流れの情報とみなすこととを含むステップを、プロセッサにより実行される場合、プロセッサに実行させる命令を含む複数の命令を格納したコンピュータ読取り可能な媒体である。

本発明の更なる他の代替実施形態は、複数の画像を整列して、複数の整列画像を形成することと、前記整列画像のそれぞれの流れの推定を計算することと、最低誤差をもつ流れの推定を識別することと、前記流れの推定値に応答して、第１の整列画像の領域を識別することと、少なくとも１つの他の整列画像からの情報で、前記第１の整列画像にある前記領域の画質を高めることとを含むステップを、プロセッサにより実行される場合、プロセッサに実行させる命令を含む複数の命令を格納したコンピュータ読取り可能な媒体である。

添付の図面を参照して以下の詳細な記載を考慮することにより、本発明の開示が容易に理解されよう。

理解しやすいように、図面に共通する同一の要素を示すのに、可能である限り同一の参照番号を用いている。

図１は、本発明の高解像度合成画像発生装置１００を示す。コンピュータ１０２に入力ビデオシーケンサ１１２が供給される。コンピュータ１０２は、中央演算処理装置（ＣＰＵ）１０４と、サポート回路１０６と、メモリ１０８とを備える。メモリ１０８内には、高解像度合成画像生成ルーチン１１０がある。高解像度合成画像生成ルーチン１１０は、別に、フロッピーディスク、ＣＤ、リモートメモリソースなどの別のソースから、またはネットワークを介して読取り可能である。さらに、コンピュータは、入出力部品１１８に結合される。動作を簡潔に記載すると、コンピュータ１０２に入力ビデオシーケンス１１２が供給され、高解像度合成画像生成ルーチン１１０の動作後、合成高解像度画像１１４を出力する。

以下ルーチン１１０と呼ぶ高解像度合成画像生成ルーチン１１０を、図２を参照してより詳細に理解することができる。ソフトウェアルーチン１１０として実行するように本発明のプロセスを記載するが、本願明細書に開示する方法のステップの一部がハードウェアにおいて実行され、さらにソフトウェアコントローラにより実行されるものであってよい。例えば、本発明は、コンピュータシステムにより実行されるソフトウェアにおいて、特定用途向け集積回路または他のタイプのハードウェアの実行のようなハードウェアにおいて、またはソフトウェアとハードウェアの組合せにおいて実行されてよい。従って、ルーチン１１０の各ステップも、同等の特定用途向けハードウェアデバイス（モジュール）またはソフトウェアと組み合わせて用いるハードウェアデバイスを持つように構成されるべきであることを留意されたい。

本発明の一例示的実施形態の高解像度合成画像生成ルーチン１１０は、第１の画像獲得装置２０６および第２の画像獲得装置２０８から入力１１２を受信する。第１の画像獲得装置２０６は、第１の視点２１６からシーン２００を見るのに対して、第２の画像獲得装置２０８は、第２の視点２１８からシーン２００を見る。第２の視点２１８は、第１の視点２１６を含むものであってよい（すなわち、第１および第２の画像獲得装置２０６および２０８が同じ位置からシーン２００を見るものであってよい）。また、遠隔位置２３４に配置された変位メカニズム２３２（例えば、ミラー）を用いて、第２の画像獲得装置２０８により捕獲されたデータを第２の画像獲得装置２０８が遠隔位置２３４に配置されているかのようにみせる。従って、シーンは直接ではなく、ミラー２３２から装置２０８により撮像される。第１の画像獲得装置２０６の画像解像度は、第２の画像獲得装置２０８よりも高い。第１の画像獲得装置２０６は、多数の異なるデータ出力形式をもつ多数の異なる装置を備えるものであってよく、当業者であれば、本願明細書の開示に記載されたプロセスを任意の数の装置およびデータ形式および／またはプロトコルに容易に適用することができるであろう。一実施形態において、第１の画像獲得装置２０６は、高解像度カメラ、すなわち、少なくとも８０００×６０００ピクセル／ｃｍ^２の解像度をもつカメラである。同様に第２の画像獲得装置２０８も多数の装置を備えるものであってよく、当業者であれば、ルーチン１１０を上述したさまざまな装置に容易に適用できるであろう。一実施形態において、第２の画像獲得装置２０６は、高解像度装置の解像度よりも低い解像度をもつカメラ、すなわち標準解像度のビデオカメラである。例えば、高解像度の像は、８０００×６０００ピクセル／ｃｍ^２のものであり、低解像度の画像は、１０００×１０００ピクセル／ｃｍ^２のものであってよい。

ルーチン１１０は、第１の画像獲得装置２０６から入力データを受信し、ステップ２０２で空間、明度および彩度の歪曲を補正する。彩度の歪曲は、例えば、レンズの歪曲により生じる。このような補正を行うと、ルーチン１１０で実行する次のステップの精度が高まるため望ましい。当業者には、レンズの歪曲関数を表すパラメータ関数を計算する方法が知られている。例えば、本願明細書に参照により内容全体を引用したものとするＨ．Ｓ．ＳａｗｈｎｅｙおよびＲ．Ｋｕｍａｒの“ＴｒｕｅＭｕｌｔｉ−ＩｍａｇｅＡｌｉｇｎｍｅｎｔａｎｄｉｔｓＡｐｐｌｉｃａｔｉｏｎｔｏＭｏｓａｉｃｉｎｇａｎｄＬｅｎｓＤｉｓｔｏｒｔｉｏｎ”，ＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎＣｏｎｆｅｒｅｎｃｅｐｒｏｃｅｅｄｉｎｇｓ，ｐａｇｅｓ４５０から４５６，１９９７に記載されている較正手法を用いて、ステップ２０２でパラメータを回復させる。

さらに、ステップ２０２では、彩度および明度の補正も実行される。これが必要な理由は、第２の画像獲得装置２０８からの画像データが第１の画像獲得装置２０６からのデータと併合され、例えば、シーンの色相および明度に対する装置の感度やレンズの口径食により何らかの違いがあれば、合成画像１１４に人為的な影響を与えるためである。装置毎の彩度および明度のマッピングが知られているように、装置（すなわち、第１の画像獲得装置２０６および第２の画像獲得装置２０８）を予備較正することにより補正が実行される。各装置から測定された彩度および明度は、参照テーブルまたはパラメータ関数として格納される。次いで、他の装置の色相と明度を適合させるために、参照テーブルまたはパラメータ式がアクセスされて色相と明度の補正を実行する。

ステップ２０４において、第２の画像獲得装置２０８からの入力データも、空間、明度および色相歪曲が補正される。ステップ２０２において実行される補正と同じプロセスの後に、ステップ２０４において低解像度の歪曲を補正するプロセスが続く。

明確にするために、高解像度および低解像度画像装置間、または複数の同じ解像度画像装置間の彩度および明度の補正は、固定パターンを用いた予備較正ステップまたはフレーム合成プロセスの一環であるオンライン計算のいずれかにより、視差または時間のオプティカルフロー計算に基づいて自動的に画像を整列することにより実行されてよい。以下に記載する方法を用いて対応するフレームを整列させた後、高度のアラインメント測定基準を用いて、アラインメント領域とミスアラインメント領域がラベル付けされる。十分に整列された２以上のカメラ間のピクセルを用いることにより、カメラ間の色相および明度の変換を表すパラメータ変換が計算される。各パラメータ変換が分かると、ソースのカラーピクセルが、オリジナルの目的のピクセルと完全に適合する目的のカラーピクセルに変換される。

ステップ２０２から補正された高解像度データは、ステップ２１０において引き続きフィルタリングおよびサブサンプリングされる。ステップ２１０の目的は、低解像度の画像の解像度に適合するように、高解像度の像の解像度を低下させることである。ステップ２１０は、高解像度の像に現れる特徴が低解像度の像に存在せず、奥行き復元プロセス（以下に図３に詳細に記載するステップ３０６）に誤差が生じることがあるため、必要なステップである。さらに詳しく言えば、これらの誤差が発生する原因は、奥行き復元プロセス３０６が高解像度の像と低解像度の像との間の一致を決定するためであり、一方の像に特徴があるのに対して、他方の像にはなければ、一致のプロセスが本質的に誤差が生じやすくなる。

ステップ２１０は、高解像度と低解像度の装置間の空間解像度の差を最初に計算することにより実行される。空間解像度の差から、高解像度の像にある高周波数成分を低下して、残存周波数成分が低解像度の像にある成分と適合させる畳み込みカーネルが計算される。これは、標準的なサンプリング理論（例えば、本願明細書に参照により内容全体を引用したものとするＰ．Ｊ．ＢｕｒｔおよびＥ．Ｈ．Ａｄｅｌｓｏｎの“ＴｈｅＬａｐｌａｃｉａｎＰｙｒａｍｉｄａｓａＣｏｍｐａｃｔＩｍａｇｅＣｏｄｅ”，ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＣｏｍｍｕｎｉｃａｔｉｏｎ，Ｖｏｌ．３１，ｐａｇｅｓ５３２から５４０，１９８３を参照）を用いて実行されてよい。

例えば、高解像度および低解像度の像が垂直方向と水平方向に２倍だけ空間解像度が異なれば、適切なフィルタカーネルは、［１，４，６，４，１］／１６である。このフィルタは最初垂直方向に適用され、次に水平方向に適用される。次いで、高解像度の画像が２倍サブサンプリングされて、高解像度の像から導き出された画像データの空間サンプリングが、低解像度の像のものに適合する。

ステップ２１０において、高解像度の画像データがフィルタリングされサブサンプリングされると、ステップ２１２において、各フレームで視差が計算されて、高解像度と低解像度データのセットの視点２１６および視点２１８間の関係を決定する。さらに詳しく言えば、ステップ２１２の視差計算により、シーン２００の視点に差があることで、視点２１６と視点２１８から取られた画像間の画像ピクセルの変位が計算される。

画像対は、左画像および右画像（視点２１６および２１８からの画像）のものであり、同時刻に捕らえられたステレオ対、２つの近接した時間間隔で捕らえられた画像対、または実質的に個々の物体動作が生じなかった間に異なる時刻で捕らえられた２つの画像を形成する。いずれの場合も、少なくとも２つの画像を用いて、より正確に言えば、例えば５つのような多数の画像を用いて、視差処理が行われる。

この視差情報は、シーン２００の異なる視点（２１６および２１８）をもつ少なくとも２つの入力画像間の関係に依存するため、最初に低解像度の画像の空間解像度で計算される。これは、ステップ２１０において上述したように、適切なフィルタリングおよびサブサンプリングプロセスを用いて、高解像度入力画像を再度サンプリングすることにより行われる。

一般的に言えば、入力画像の解像度は同じものであってよい。これは、より一般的な可変解像度の場合の特別な場合のものである。高解像度の画像がフィルタリングおよびサブサンプリングされて、低解像度の画像の解像度で表されると、いずれの場合でも視差計算技術は同一のものである。

ステップ２１２の計算は、較正情報の利用性および精度に関する仮定に応じて、多少制約を加えたアルゴリズムを用いて実行される。較正されていない極端な場合、アライメントが実行される各ピクセルに対して二次元流れベクトルが計算される。エピポーラ形状が安定で正確なことが分かっていれば、各画像点の単一の値に計算が低減する。画像の流れ情報を発生させるために用いられる計算は、視差の情報を発生させるために制限されてよい。以下に記載する技術は、流れの情報または視差の情報のいずれかに適用されるものであってよい。

多くの状況において、特に視差の大きさが大きい場合、ステップ２１２においていくつかの局所的なパラメータ表面に対して視差を計算することが好ましい。これは、「プレーン・プラス・パララックス」として知られる計算方法である。プレーン・プラス・パララックスの表示は、予測する必要があるピクセル量毎のサイズを小さくするために使用されてよい。例えば、シーン２００が多数のほぼ平面の小面をもつ都会の景色からなる場合、平面層と構造のさらなる平面以外の成分との組合せとして、ステップ２１２において視差が計算されてよい。プレーン・プラス・パララックス方法を実行するための手法が、１９９５年６月２２日に出願された米国特許出願第０８／４９３，６３２号、Ｒ．Ｋｕｍａｒ等の“ＤｉｒｅｃｔＲｅｃｏｖｅｒｙｏｆＳｈａｐｅＦｒｏｍＭｕｌｔｉｐｌｅＶｉｅｗｓ：ＡＰａｒａｌｌａｘＢａｓｅｄＡｐｐｒｏａｃｈ”，１２^ｔｈＩＣＰＲ，１９９４、ＨａｒｐｒｅｅｔＳａｗｈｎｅｙの“３ＤＧｅｏｍｅｔｒｙＦｒｏｍＰｌａｎａｒＰａｒａｌｌａｘ”，ＣＶＰＲ９４，Ｊｕｎｅ１９９４、およびＡ．ＳｈａｓｈｕａおよびＮ．Ｎａｖａｂの“ＲｅｌａｔｉｖｅＡｆｆｉｎｅＳｔｒｕｃｔｕｒｅ，ＴｈｅｏｒｙａｎｄＡｐｐｌｉｃａｔｉｏｎｔｏ３ＤＣｏｎｓｔｒｕｃｔｉｏｎＦｒｏｍ２ＤＶｉｅｗｓ”，ＩＥＥＥＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ，Ｊｕｎｅ１９９４に記載されており、これらの内容全体は本願明細書に参照により引用されたものとする。

プレーン・プラス・パララックス方法の代わりに、視差解析を実行する他のアルゴリズムが利用可能である。これらのアルゴリズムは、一般に、多解像度の画像ピラミッド表示を用いて、粗・微回帰推定プロセスを用いる。これらのアルゴリズムは、低い解像度での画像の変位の推定から開始して、これらの推定をワーピングを繰り返し、連続してより高い解像度レベルで残存変位を推定することにより精度を高める。これらの方法の主要な利点は、変位が大きい場合でも非常に効率的な計算を行うだけでなく、変位の推定におけるサブピクセルの精度が高いことである。多数の公開されている論文に、ステップ２１２の視差計算に用いられる基本的な技術が記載されている。このような技術の詳細は、１９９３年１１月２日に発行された米国特許第５，２５９，０４０号、Ｊ．Ｒ．Ｂｅｒｇｅｎ等の“ＨｉｅｒａｒｃｈｉｃａｌＭｏｄｅｌ−ＢａｓｅｄＭｏｔｉｏｎＥｓｔｉｍａｔｉｏｎ”，２^ｎｄＥｕｒｏｐｅａｎＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎ”，ｐａｇｅｓ２３７から２５２，１９９２、Ｋ．Ｊ．Ｈａｎｎａの“ＤｉｒｅｃｔＭｕｌｔｉ−ｒｅｓｏｌｕｔｉｏｎＥｓｔｉｍａｔｉｏｎｏｆＥｇｏ−ＭｏｔｉｏｎａｎｄＳｔｒｕｃｔｕｒｅＦｒｏｍＭｏｔｉｏｎ”，ＩＥＥＥＷｏｒｋｓｈｏｐｏｎＶｉｓｕａｌＭｏｔｉｏｎ，ｐａｇｅｓ１５６から１６２，１９９１、Ｋ．Ｊ．ＨａｎｎａおよびＮｅｉｌＥ．Ｏｋａｍｏｔｏの“ＣｏｍｂｉｎｉｎｇＳｔｅｒｅｏａｎｄＭｏｔｉｏｎＡｎａｌｙｓｉｓｆｏｒＤｉｒｅｃｔＥｓｔｉｍａｔｉｏｎｏｆＳｃｅｎｅＳｔｒｕｃｔｕｒｅ”，ＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎ，ｐａｇｅｓ３５７から３５６，１９９３、Ｒ．Ｋｕｍａｒ等の“ＤｉｒｅｃｔＲｅｃｏｖｅｒｙｏｆＳｈａｐｅｆｒｏｍＭｕｌｔｉｐｌｅＶｉｅｗｓ：ＡＰａｒａｌｌａｘＢａｓｅｄＡｐｐｒｏａｃｈ”，ＩＣＰＲ，ｐａｇｅｓ６８５から６８８，１９９４、およびＳ．ＡｙｅｒおよびＪ．Ｓ．Ｓａｗｈｎｅｙの“ＬａｙｅｒｅｄＲｅｐｒｅｓｅｎｔａｔｉｏｎｏｆＭｏｔｉｏｎＶｉｄｅｏＵｓｉｎｇＲｏｂｕｓｔＭａｘｉｍｕｍ−ＬｉｋｅｌｉｈｏｏｄＥｓｔｉｍａｔｉｏｎｏｆＭｉｘｔｕｒｅＭｏｄｅｌｓａｎｄＭＤＬＥｎｃｏｄｉｎｇ”，ＩｎｔｅｒｎａｔｉｏｎａＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎ，ｐａｇｅｓ７７７から７８４，１９９５に記載されており、これらの内容全体は本願明細書に参照により引用されたものとする。

ステップ２１２は、上述したプレーン・プラス・パララックス方法を用いて単に視差を計算することで十分なことがあるが、より強靭かつ高信頼性でステップ２１２の基本的な２フレームステレオ視差計算を行うために用いることが可能な技術が多数ある。これらの技術は、単体または組み合わせて実行されて、ステップ２１２の精度を高める。これらの技術は、図３のブロック図に示されており、増強ルーチン３０２、鮮鋭化３０４、残存視差を計算するルーチン３０６、オクルージョン検出３０８および動き解析３１０とからなる。

増強ルーチン３０２は、基本的な２フレームステレオ視差を強靭かつ高信頼性に計算する。１つのアプローチでは、画像がタイルに分割され、各タイル内ではパラメータ化は主要な平面と視差からなる。特に、主要な平面は、正面の平面である。各タイルの平面のパラメータ化は、大域回転および移動（定められたステレオの予備較正により分かるか、または直接方法を用いて解かれたもの）により制限される。

別の増強ルーチン３０２は、視差計算に誤差を生じさせる可能性のあるオクルージョン領域およびテクスチャのない領域を処理する。オクルージョン領域およびテクスチャのない領域を処理するために、ウィンドウのサイズを変化させて、低い空間周波数から高い空間周波数までのものを用いて、２つのフレームの奥行きマッチングが行われる。「ウィンドウ」とは、ウィンドウ内の点またはピクセルに対して視差情報を計算するように処理される画像の領域である。複数のウィンドウサイズが任意の所与の解像度レベルで用いられて、奥行き推定の一貫性および相関の質をテストする。奥行き推定は、少なくとも２つのウィンドウサイズで奥行きの推定が一貫性のある状態で許容可能な相関レベルが発生される場合のみ信頼性があるとされる。そうでなければ、許容不能な結果を生じるレベルの奥行きは更新されない。検討中のウィンドウが十分なテクスチャをもたなければ、奥行き推定は無視され、利用可能であればより大きなウィンドウサイズからの一貫性のある奥行き推定が好ましい。奥行きが不明確なままの領域はラベル付けされて、予備処理、すなわち前の合成フレームを用いて充填されるか、または低解像度データを用いた一時的な予測、すなわち合成画像１１４のラベル付けされた領域に充填するために低解像度データをアップサンプリングすることにより充填される。

複数のウィンドウは、それらのサイズの面からと奥行き／視差推定が実行されるピクセル／領域に対する相対位置の面から画定される。ウィンドウは、奥行き／視差が望まれるピクセルを中心としたウィンドウと、中心から外れたウィンドウの両方で画定される。一貫性のある奥行き推定に基づいてウィンドウを選択するさい、アラインメントの誤差を基にして選択が行われ、さらに詳しく言えば、アラインメント誤差を最小にして奥行き推定を一貫性のあるものにする視差情報を計算するために使用されるウィンドウが、画像の点の視差情報として選択される。マルチウィンドウの概念を図７に示す。図７は、処理される全画像領域７０２と、画像領域を処理するために用いられる複数のウィンドウ７００Ａ、７００Ｂ、７００Ｃ、７００Ｄ、７００Ｅを示す。各ウィンドウ７００ＡからＥは、視差情報が発生する画像点７０４を含む。ウィンドウ７００Ｅの中心は点７０４にあるのに対して、ウィンドウ７００ＡからＤの中心は点７０４にない（すなわち、ウィンドウは点７０４からオフセットされている）。各ウィンドウ７００ＡからＥに対して視差情報が計算されて、最小アラインメント誤差と一貫性のある奥行き推定をもつウィンドウに対応する視差情報が、画像点７０４の視差情報として選択される。ウィンドウ７００ＡからＥのサイズおよび形状は、例示的目的のみのものであって、画像処理に用いられることが可能なすべてのウィンドウ構造を含むものではない。例えば、座標軸（縦軸および横軸）と整列していないウィンドウも用いられる。特に、これらは対角線状のウィンドウであってよい。

増強ルーチン３０２を用いるためのさらなるアプローチとして、奥行き推定を最適化するさいに丁度可知差異（ＪＮＤ：ＪｕｓｔＮｏｔｉｃｅａｂｌｅＤｉｆｆｅｒｅｎｃｅ）モデルを用いる方法がある。例えば、通常、明度の差などの画像測定値が用いられて、奥行き表示の誤差の量を定める。しかしながら、これらの測定値は、人間である観察者が最も目に見える誤差の測定を試みるＪＮＤ測定値で補足されてよい。ＪＮＤ方法を用いるためのアプローチは、以下に詳細に記載される。

さらなる補強ルーチン３０２により、画像位置の対応を計算するためのアルゴリズムが提供される。最初に、最も広い可能な範囲で所与のカメラの回転および移動により、画像位置での最も可能性のある対応が定められた後、連続するより狭い範囲に対応する点位置で対応が継続的に検証される。隣接する範囲間で取り戻された対応間に一貫性があると、精度の高い対応が測定される。

別の増強ルーチン３０２により、合成された画像の周辺付近での空白領域が避けられる。高解像度の像は、異なる位置で現れるようにワーピングされるため、合成画像の画像境界はオリジナルの合成画像と対応しないことがある。このような領域は、潜在的に空白のまま残されることがある。３つのアプローチを用いることでこの問題が解消される。第１のアプローチは、問題の領域が表示されないように、オリジナルの高解像度の像の中心ウィンドウのみを表示することである。第２のアプローチは、前の合成フレームからのデータを用いて、境界にある領域に充填することである。第３のアプローチは、低解像度装置からのデータをフィルタリング、アップサンプリングして、画像の境界にあるデータを挿入することである。

さらなる増強ルーチン３０２により、全体的な３Ｄおよび局所的な（マルチ）平面制限を課すアルゴリズムが提供される。さらに詳しく言えば、このアプローチは、タイリングされたパラメータ（タイル全体に柔軟な制限をかけたもの）としてフレーム対間の流れと、滑らかな残存流れを表すことである。さらに、タイルまでも、タイル当りの僅かな数のパラメータ層の点で表すことができる。２つのフレーム（ステレオ）に全体的な３Ｄ制限がある場合、タイルは、１つのパッチ内に１つの平面よりも多い平面が存在する平坦な層として表される。

ステップ２１２の視差計算の質を高めるための別の方法は、鮮鋭化ルーチン３１４を用いることである。例えば、範囲の不連続な付近または他の高速移動では、通常、計算プロセス２１２において用いられる有限の空間補助により、中間推定された視差の領域がある。このような移動を明確に検出した後、視差領域を「鮮鋭化」することにより、これらの誤差が最小化される。このような基本的なプロセスを延長させたものとして、画像シーケンスのより早い（および潜在的にはより遅い）部分からの情報を用いて、高解像度の画像１１４の合成を高める。例えば、オクルージョン領域にある画像の詳細は、先行フレームまたは後続フレームにおいて高解像度装置から視覚化されてよい。このような情報を用いるためには、フレーム毎の動き情報の計算と、さらには視差の計算が必要になる。しかしながら、このさらなる計算は、全シーケンスの処理中に連続させることよりも誤差を補正することが必要とされる場合に実行される。

さらに、ステップ２１２の視差計算は、以下に記載する方法または残存視差３０６を計算する同等の方法を用いて、残存視差（奥行き）を計算することにより高められてよい。１つの方法として、時間を経過させて奥行きの一貫性をモニタし、例えば、高解像度の静止画像の場合に動きステレオシーケンスが利用可能な場合、奥行き／不一致計算をさらに制限する。同時刻に捕らえられた２つの画像内において、剛性制約が効果的であり、上記に略述した２フレームの奥行き計算に利用される。複数のステレオフレームでは、時間を経過させて対応するフレーム間のオプティカルフローが計算される。オプティカルフローは、新しいフレームにある奥行きの予測子として作用する。新しいフレーム内において、予測された奥行き推定からの柔軟な制約で制約されながら、対間で奥行き計算が達成される。これは、時間的に前後で実行されてよい。従って、推定が１つの時刻で利用できるが、別の時刻では利用できない任意の領域が、両方の時刻に対して充填される。

残存視差を計算する別の方法３０６は、複数のステレオ対、すなわち時間の経過とともに画像対全体に、奥行き／不一致の計算を同時に行うための剛性制約とともに、オプティカルフローの制約を用いることである。特に、シーン２００の大部分が動かなければ、一時的な剛性制約が、同時刻の２つのフレーム間の剛性制約とまったく同じ方法で奥行き計算においてパラメータ化される。シーン２００に個別に動く成分がある場合、時間を経過させたオプティカルフロー制約は、多時刻の奥行き計算の一環として柔軟な制約として用いられてよい。

残存視差を計算する別の方法３０６は、奥行きを時間を経過して一貫性のあるものとして制限して、アラインメントを向上させ、時間シーケンスにわたって一貫性を維持する。例えば、奥行きがある時刻で回復されると、次のフレーム時間の奥行きは、古いフレームと新しいフレーム間で回復されたカメラ回転および移動により奥行きをシフトすることで予測可能である。また、このアプローチは、識別された輪郭またはオクルージョン領域の位置を時を合わせて伝播することによっても行われて、視差または流れの計算を高めることができる。

所与の参照フレームにおいて一貫性のある奥行きマップを計算するために、時間にわたった複数のフレームが使用されてよい。１つの対（参照フレームに対して）にシーンのオクルージョン領域は、一般に、他の時刻で取られた別の画像対において目に見えるものである。従って、参照フレームの座標系において、複数のフレームからのマッチング領域を用いて、一貫性のある奥行き／視差マップを導出してよい。

残存視差を計算するためのさらなるアプローチ３０６は、瞬間の奥行きの解を求めるではなく、時間的に途切れのないステレオの解を直接求めて、次の制約を課して結果を滑らかにすることである。これは、組み合わせたエピポーラと流れの制約を用いて実行されてよい。例えば、前の合成フレームが利用可能であると仮定すると、新しく合成されたフレームに課せられる条件は、瞬間視差の計算と一貫性をもつものであり、前に発生したフレームに対して時間的に途切れがないことである。後者の条件は、前のフレームを基にした流れベースの予測を行い、誤差の予測部分と区別することにより課せられてよい。同様に、すでにシーケンスが生成されていれば、視差ベースのフレーム（すなわち、ワーピングされた高解像度の画像）が、フローベースの時間的に補間されたフレームと比較されてよい。このような比較は、問題領域を検出するか、または視差計算精度を高めるためのいずれかに用いられてよい。このアプローチは、剛性を仮定しないか、または構造／パワー制約と組み合わせて用いられてよい。後者の場合、流れベースの計算は、剛性部分が補償された後、残存の動きに対して動作可能である。この技術の延長の１つは、１つのフレームのすべてのファイルにわたった大域剛性動き制約と共に、フレームにわたった平面制約を適用することである。

さらなるアプローチでは、複数のフレームを用いて像の質を高めて、視差推定精度を高めると同時に、視覚の質が高い像を発生させる。このアプローチは以下の通りである。

＊画像が同じ座標系にあるように上述したオプティカルフローアプローチを用いて、フレームバッチ（１１枚はフレーム数の一例）を用いて時間にわたってアラインメントを実行
＊フレームバッチの明度を分類
＊ＳＥＬＥＣＴＩＯＮプロセスを実行。一例を挙げると、各ピクセルで分類されたリストにある上位２つと下位２つの明度をはねる。
＊ＣＯＭＢＩＮＡＴＩＯＮプロセスを実行。一例を挙げると、残存ピクセルを平均化する。

この結果は、高精度の画像である。このアプローチは、プレフィルタリングされた画像に実行され、生の明度画像には実行されないように行われる。プレフィルタの一例は、配向された帯域フィルタであり、例えば、ＪａｅＬｉｍの“Ｔｗｏ−ｄｉｍｅｎｓｉｏｎａｌｓｉｇｎａｌａｎｄｉｍａｇｅｐｒｏｃｅｓｓｉｎｇ”，１９９０，ｐｕｂｌｉｓｈｅｄｂｙＰｒｅｎｔｉｃｅ−Ｈａｌｌ，ＥｎｇｅｌｗｏｏｄＣｌｉｆｆｓ，ＮＪに記載されているものである。

さらに、合成画像１１４を用いて作成された三次元構造において、合成ステレオシーケンスが不安定である潜在的な問題を解消する残存視差を計算する方法３０６は、フレーム間の奥行きの変化量を制限することである。この問題を軽減するには、時間的な平滑化を用いて抽出した視差構造における時間的な変動を避けることが重要である。このような平滑化の単純な形態の１つは、前の推定を更新する場合に導入される変化量を制限するだけで得られる。これを体系立てて行うためには、フレーム間の動き解析と共にフレーム内の視差計算を実行する必要がある。

また、視差計算に関して上述したマルチウィンドウのアプローチも、時間にわたって流れおよび／または視差の計算に効果的である。本質的に、局所的変位ベクトル（時間にわたった流れベクトル）の一貫性および２フレームの視差／奥行きの計算の場合のように、フレーム対間の最小アラインメント誤差に関する規準に基づいて、ウィンドウの選択が行われる。

オクルージョン検出３０８は、合成する視野領域が高解像度カメラの位置から見えない場合に有益である。このような場合では、この領域における画像情報の異なるソースを用いる必要がある。これを行う前に、このような状況が発生したことを検出する必要がある。これは、画像の対応が双方向に計算される場合に求めた結果を比較することにより達成可能である。すなわち、オクルージョンが問題ではない領域においては、右左の対応の計算から推定された変位と左右の対応の計算から推定された変位が一致する。オクルージョン領域では、それらは一般に一致しない。これにより、オクルージョンされた領域を検出する方法が得られる。また、検出状態は、視差領域自体の構造からも予測可能である。これが時間にわたって安定になるまで、オクルージョンの疑いがある領域は、前のフレームにフラッギングされてよい。次いで、双方向技術が用いられて、この状態を確認する。

オクルージョン領域、より一般的には、原フレームと視差／フレームがワーピングされたフレーム間が照合しない領域は、原フレームとワーピングされたフレームに適用される高精度アラインメント測定法を用いて検出される。このような測定値を発生させるための一方法は、フレーム対間の正規化された相関を用いるものである。両フレームにおいて差異が少ない領域は、ワーピングされたフレームに影響を及ぼさないため無視される。正規化された相関は、多数の異なる画像表示にわたって定義され、それらの一部は、カラー、明度、配向されスケーリングされたフィルタの出力である。

動き解析３１０によっても、ステップ２１２の視差計算精度が高められる。動き解析３１０には、捕獲したシーケンス内でのフレーム毎の動きを解析することが含まれる。この情報を用いて、適時に一点では見えない領域が適時に別の点で見える（見えるようになる）ことがあるため、オクルージョン問題を解決することができる。さらに、時間的に不安定な問題は、シーケンスのいくつかのフレームにわたって一貫性のある三次元構造を必要とすることにより軽減される。

フレーム毎の動きの解析には、一般に、視点の変化（すなわち、カメラの移動）、三次元構造および対象物の移動による観測した画像の変化をいくつかの成分に解析する。この分解を実行しそれぞれの成分を推定するためのさまざまな技術がある。これらの技術には、直接カメラ動き推定、動き視差推定、同時動きおよび視差推定、および移動対象物または複数の深さ表面の表示に対する層の抽出が含まれる。これらの技術の主要な部分は、「プレーン・プラス・パララックス」表示である。このアプローチでは、視差構造は、平面（または他のパラメータ表面）の誘導された動きと局所表面構造が原因である誘導された動きの変動を表すピクセル当りの残存視差マップとして表される。計算的に、上述したように呼ばれる視差推定技術は、カメラの動きが固定されたステレオ基線により与えられると仮定される場合の動きの解析技術の本質的に特別な場合である。

ステップ２１２において視差領域が計算されると、それを用いてワーピングステップ２１４において高解像度の合成画像１１４を発生させる。図２および図４を同時に参照すると、ワーピングステップ２１４をさらに理解できよう。

概念的に、ワーピングプロセスには２つのステップが含まれる。視差補間ステップと画像ワーピングステップである。実際、これらの２つのステップは、通常、ステップ２１４で示されているように、１つの動作に組み合わされる。いずれの場合も、合成される予定の画像にある各ピクセルに対して、ステップ２１４の計算には、第１の画像獲得装置２０６からの高解像度のソース画像における位置を特定する変位ベクトルにアクセスするステップ（ステップ５０２）と、特定の位置の近傍にあるピクセルにアクセスするステップ（ステップ５０４）と、それらのピクセルに基づいて、合成画像１１４からなる合成ピクセルの補間値を計算するステップ（ステップ５０６）とが含まれる。ステップ２１４は、標的画像の最高解像度で実行されなければならない。また、合成画像１１４において所望の画質を維持するために、補間ステップ５０６は、少なくとも１つの双一次または双三次補間関数を用いて実行されなければならない。その結果得られた合成画像１１４は、見掛けの視点２３０を有する。見掛けの視点２３０は、第１の視点２１６以外のすべての視点からなるようにユーザにより選択されてよい。

さらに効率的なワーピングアルゴリズムでは、動き、視差、他の情報が利用される（ステップ５０８）。例えば、奥行き復元プロセスからの奥行きの不連続の位置を用いて、このような不連続なところにわたったワーピングにおける空間補間を防ぐことができる。このような補間は、このような領域にぼけを生じさせることがある。さらに、オクルージョン領域は、流れベースのワーピングを用いて前または後のフレームからの情報で充填される。プレーン・プラス・パララックスの記載において上述した技術は、ステップ５０８の実行に応用可能である。

また、合成画像の時間的なシンチレーションは、時間的な平滑化を課すために流れ情報を用いて低減されてよい（ステップ５１０）。このような流れ情報は、合成シーケンスにおけるフレーム間と、原画像と合成画像の間のものであってよい。また、シンチレーションは、高解像度の原フレームの対応領域との合成領域のピラミッドベースの見掛けの記述子を最大限にして適応させることで軽減される。これらは、時間にわたって平滑化されて、「テクスチャフリッカ」を低減する。

合成フレームにある時間的なフリッカは、１つのフレームだけからではなく、オリジナルの解像度フレームのウィンドウから合成フレームを作成することにより避けられる。例えば、高解像度の画像合成の応用では、例えば、５つのフレームからなるウィンドウが選択される。現在の低解像および高解像度のフレームを含むステレオ画像対の間で、視差／奥行きベースの対応が上述したように計算される。さらに、一般化されたウィンドウ内の現在の低解像度と前および後の高解像度フレーム間で、流れおよび視差ベースの対応が計算される（上述したように再び）。ウィンドウ内に現在の低解像度フレームと５つの高解像度フレームとの間に複数の対応マップがあると仮定すると、高品質のアラインメントマップが低解像度／高解像度フレームの各対に対して計算される。引き続き、複数の高解像度フレームをそれらの対応する対応マップでワーピングした後、ウィンドウ内にあるこれらのフレームを複合することにより、合成高解像度フレームが合成される。複合プロセスは、ピクセル毎のアラインメントの質と現在のフレームから適時の高解像度フレームの距離に正比例する重みを用いる。さらに外れたフレームは、近接したフレームよりも小さい重みが与えられる。

式１

ここで、ｗ_ｃ（ｐ；ｔ_ｋ）は、フレームｔおよびｔ_ｋ間のアラインメントの質の重みであり（質の測定値が所定のしきい値を下回れば、この変数はゼロに設定される）、ｗ_ｔ（ｔ_ｋ）は、フレームｔから離れた時間関数として低下する重みである。このプロセスにより充填されないまま残された任意のピクセルは、上述したようにオリジナルの（アップサンプリングされた）フレームから充填される。時間的なウィンドウの概念を図８に示す。

ビデオ強化の応用では、同じ方法が適用されて、時間の経過とともにフレームを結合する。上述したような流れ推定を用いて、時間とともに対応付けされる。次いで、上述したように、複数のフレームが質加重平均により結合される。

また、誤差領域が通常時間の経過とともに一貫性がある制約を用いて、時間的フリッカが低減される。例えば、２つのフレーム間のオクルージョン境界は、通常、僅かに異なる画像位置にあろうとも、後続のフレームに存在する。アラインメント測定基準の質が上述したように計算され、この質の測定基準自体が時間の経過とともに追跡されて、オクルージョン境界などの問題となる領域の動きを位置付ける。上述した流れ推定方法を用いて、質の測定基準と関連するオクルージョンの境界を追跡する。これらの境界が整列されると、上述したように計算された複合結果が処理されて、フリッカを軽減する。例えば、複合結果は、時間の経過とともに平滑化されてよい。

ワーピングステップ２１４はまた、小さなピクセル近傍以外に、画像パッチにわたって収集されたデータを用いて実行されてもよい。例えば、画像は、多数の別々の領域に分割されて、目標とする画像の範囲で覆われた領域に基づいて、リサンプリングが実行される（ステップ５１２）。

奥行きの復元は、各画像ピクセルでの完全に正確な奥行き推定値を発生しないことがある。これにより、所望の明度または彩度値およびオリジナルの高解像度の像から得られる値に差が生じる。次いで、ワーピングモジュールが選択されて、個別または組み合わせて、奥行き復元技術として以下の１以上のオプションを選択する（ステップ５１４）。
・アーチファクトをそのまま残す（ステップ５１６）
・低解像度画像からアップサンプリングされたデータを挿入（ステップ５１８）
・前に合成されたデータを使用（ステップ５２０）
・オペレータによる問題の手動補正（ステップ５２２）

適切な選択支の組合せを選択するために、丁度可知差異（ＪＮＤ）技術が用いられてよい。ＪＮＤ測定は合成されたシーケンスで実行され、低解像度の形態の合成データと低解像度カメラからのデータ間の差を計算する。さまざまなＪＮＤ測定が、１９８９年４月３日に出願された米国特許出願第０９／０５５，０７６号、１９９７年３月２８日に出願された同第０８／８２９，５４０号、１９９７年３月２８日に出願された同第０８／８２９，５１６号、１９９７年３月２８日に出願された同第０８／８２８，１６１号、米国特許第５，７３８，４３０号および同第５，６９４，４９１号に記載されており、これらの内容全体は本願明細書に参照により引用されたものとする。さらに、ＪＮＤは、合成された高解像度画像のデータと、ステップ２１２において視差計算から計算された流れ領域によりワーピングされた後に合成された前の高解像度画像との間で実行される。

図５には、ルーチン１１０の第２の実施形態が示されている。ルーチン１１０は、第１の画像獲得装置２０６と、第２の画像獲得装置２０８と、第３の低解像度画像獲得装置５０２からなる複数の画像獲得装置５０３から入力１１２を受信する。必要であれば、さらなる低解像度画像獲得装置が追加されてよい。第１、第２および第３の画像獲得装置２０６、２０８および５０２はそれぞれ、第１の視点２１６、第２の視点２１８および第３の視点５０４からシーン２００を見る。ルーチン１１０は、ステップ２０２、２０４、２１０、２１２および２１４を参照して上述したように、画像獲得装置２０６、２０８および５０２から入力データを受信し処理する。少なくとも第３の画像獲得装置５０２から受信したさらなる画像により、視差計算ステップ２１２およびワーピングステップ２１４中に、第２の画像獲得装置２０８から受信したデータと共に用いられるデータを与えられて、合成画像１１４の画質、特に、見掛けの視点２３０を画像獲得装置の１つを含まない配置する能力を高める（すなわち、用いる画像獲得装置の数が多いと、合成画像のオクルージョン領域またはテクスチャのない領域に補間および充填するために利用可能な低解像度データが増える）。

図６を参照することにより、ルーチン１１０の第３の実施形態がより詳細に理解されよう。ルーチン１１０は、第１の画像獲得装置２０６および第２の画像獲得装置２０８から入力１１２を受信し、低解像度画像獲得装置が、例えば、レーザレンジファインダであるレンジデータを捕獲する。第１の画像獲得装置２０６は、第１の視点２１６からシーン２００を見るのに対して、第２の画像獲得装置２０８は、第２の視点２１８からシーン２００を見る。ルーチン１１０は、第１の画像獲得装置２０６から入力データを受信し、上述したように、ステップ２０２において空間、明度および彩度の歪曲を補正する。

ステップ２０２において高解像度データが補正された後、ワーピングステップ２１４において、第２の画像獲得装置２０８から得られたレンジ（奥行き）データを用いて合成画像１４４が作成される。ワーピングステップ２１４が上述したように再度実行される。

本発明の開示を取り入れた実施形態を本願明細書に示し記載してきたが、当業者であれば、本発明のこれらの開示および趣旨を取り入れた他の多数の異なる実施形態を容易に考案できるであろう。

本発明の画像解析方法および装置を取り入れた画像装置のブロック図である。本発明の一実施形態を作成するために用いられる画像装置と画像解析方法のブロック図である。視差計算方法の流れ図である。画像ワーピング法の流れ図である。本発明の第２の実施形態を作成するために用いられる画像装置と画像解析方法のブロック図である。本発明の第３の実施形態を作成するために用いられる画像装置と画像解析方法のブロック図である。画像内の点の視差を計算するために用いられる複数のオフセットウィンドウの略図である。視差計算精度の品質測定値を計算するプロセスを示す図である。

Claims

画質を高める装置であって、
第１の解像度で画像を発生させる第１の画像装置と、
第２の解像度で画像を発生させる第２の画像装置と、
前記第１及び第２の画像装置で発生された前記画像を整列して複数の整列画像を形成し、前記整列画像のそれぞれの流れの推定を計算し、前記流れの推定を利用して、少なくとも１つの他の整列画像からの情報で、第１の整列画像の領域の画質を高める画像処理プロセッサと、
を備える装置。
前記画像処理プロセッサは、画像の流れを発生させる機器を備える、請求項１に記載の装置。
前記画像の流れを発生させる機器は、視差計算機である、請求項２に記載の装置。
前記視差計算機は、
画像をタイルに分割するモジュール、奥行きを相関させるモジュール、丁度可知差異を測定するモジュール、画像位置の対応を検証するモジュール及び空白領域を回避するモジュールからなる群から選択される一つ以上の増強モジュールを更に備える、請求項３に記載の装置。