JPH117531A - 多重視野間のステレオ対応を得るための最大フロー方法 - Google Patents
多重視野間のステレオ対応を得るための最大フロー方法Info
- Publication number
- JPH117531A JPH117531A JP10099215A JP9921598A JPH117531A JP H117531 A JPH117531 A JP H117531A JP 10099215 A JP10099215 A JP 10099215A JP 9921598 A JP9921598 A JP 9921598A JP H117531 A JPH117531 A JP H117531A
- Authority
- JP
- Japan
- Prior art keywords
- edge
- sink
- stereo
- source
- cut
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
(57)【要約】
【課題】 １つのシーンの、任意の複数の視野間のステ
レオ対応を生成する方法を提供する。 【解決手段】ステレオ対応問題を、グラフ論の最大フロ
ー問題に変換する。最大フロー問題が解かれると、その
最大フローに関連する最小カットが全画像の視差表面を
一度に与える。ステレオ解析のこの大局的な手法は従来
の逐次ラインステレオ法よりも正確、かつ、局所的相関
をもつ距離マップを得ることができる。さらに、距離マ
ップ面の最適性が保証され、標準ステレオ法において広
く用いられているダイナミックプログラミング方式の一
般化であることが示されている。演算結果によると、距
離評価が改善され、距離不連続の処理が改善されてい
る。最悪ランニング時間はO(n3d3)であるが、観察され
た平均ランニング時間は、nピクセルの画像サイズ、距
離解像度dに対して、O(nd1.4)である。
レオ対応を生成する方法を提供する。 【解決手段】ステレオ対応問題を、グラフ論の最大フロ
ー問題に変換する。最大フロー問題が解かれると、その
最大フローに関連する最小カットが全画像の視差表面を
一度に与える。ステレオ解析のこの大局的な手法は従来
の逐次ラインステレオ法よりも正確、かつ、局所的相関
をもつ距離マップを得ることができる。さらに、距離マ
ップ面の最適性が保証され、標準ステレオ法において広
く用いられているダイナミックプログラミング方式の一
般化であることが示されている。演算結果によると、距
離評価が改善され、距離不連続の処理が改善されてい
る。最悪ランニング時間はO(n3d3)であるが、観察され
た平均ランニング時間は、nピクセルの画像サイズ、距
離解像度dに対して、O(nd1.4)である。
Description
【０００１】
【発明が属する技術分野】本発明は機械ビジョンに関
し、特に、あるシーンの、任意の複数の視野間のステレ
オ対応を生成する方法に関する。
し、特に、あるシーンの、任意の複数の視野間のステレ
オ対応を生成する方法に関する。
【０００２】
【従来の技術】対象物表面の距離の変化に対応する、ス
テレオ画像対（以下、ステレオ対と記す）上の画像点の
変位は、エピポーラ線と呼ばれる直線に沿って生じるこ
とは公知である。従来、ステレオ対に関するこの拘束
は、ステレオ対のマッチング処理を、複数対のエピポー
ラ線のそれぞれについての独立なマッチングに分解する
ために広く用いられている。しかし、一連のエピポーラ
線列から一定の順序で間を置かずに選択されたエピポー
ラ線(consecutive epipolar line、以下、連続順序のエ
ピポーラ線と記す）に関連して得られる解（solution、
所定のアルゴリズムに従って演算して得られた距離情
報）は、かなり異なることがあり得ると共に、特に、対
象物の、エピポーラ線に垂直な境界（すなわち、水平エ
ピポーラ線に対して鉛直な境界）に影響を与える人工物
（誤りマッチングによる画像）を生成することがあり得
る。そのために、連続順序のエピポーラ線の解に関する
幾つかの試みがなされている。
テレオ画像対（以下、ステレオ対と記す）上の画像点の
変位は、エピポーラ線と呼ばれる直線に沿って生じるこ
とは公知である。従来、ステレオ対に関するこの拘束
は、ステレオ対のマッチング処理を、複数対のエピポー
ラ線のそれぞれについての独立なマッチングに分解する
ために広く用いられている。しかし、一連のエピポーラ
線列から一定の順序で間を置かずに選択されたエピポー
ラ線(consecutive epipolar line、以下、連続順序のエ
ピポーラ線と記す）に関連して得られる解（solution、
所定のアルゴリズムに従って演算して得られた距離情
報）は、かなり異なることがあり得ると共に、特に、対
象物の、エピポーラ線に垂直な境界（すなわち、水平エ
ピポーラ線に対して鉛直な境界）に影響を与える人工物
（誤りマッチングによる画像）を生成することがあり得
る。そのために、連続順序のエピポーラ線の解に関する
幾つかの試みがなされている。
【０００３】Y. OhtaおよびT. Kanadeの「ダイナミック
プログラミングを用いた走査線内および走査線間法によ
る立体視」（"Stereo by intra and inter-scanline us
ingdynamic programming"）IEEE Trans. Pattern Analy
sis and Machine Intelligence, 7(2): 139, 1996の論
文にはダイナミックプログラミング法を用いて、先ず、
エピポーラ線のマッチングをとり、次に、鉛直エッジを
基準として用いて得られた解を反復的に改良する方法が
記載されている。I.J.Cox, S.Hingorani, B.M.Maggsお
よびS.B.Raoによる論文「最大尤度ステレオアルゴリズ
ム」(A maximum likelihood stereo algorithm), Compu
ter Vision and Image Understanding, 63(3): 542-54
7, 1996,には、確率論的方法を用いて距離マップ特性を
改良するために、ダイナミックプログラミングによって
得られ個々のマッチングを関係づける方法が記載されて
いる。最後に、P.N.Belhumeurの論文「両眼立体視のベ
イズ統計手法」(A bayesian approach to binocular st
ereopsis),Int.J,Computer vision, 19(3):237-260, 19
96にはベイズ法が記載されている。しかし、不幸なこと
に、１対のエピポーラ線に適用されたダイナミックプロ
グラミングの最適性と簡素性を、複数対のエピポーラ線
の同時マッチングに直接拡張することはできない。その
ような複数対のエピポーラ線の同時マッチングの場合に
は、反復解法または近似解法のみが役立つ。このよう
に、従来のステレオ対応方法においては、２つのエピポ
ーラ線間のマッチングパスを見つけ出すためのダイナミ
ックプログラミング法を２つの全画面の同時マッチング
に拡張することはできないという問題点がある。しか
し、本発明者は、エピポーラ線のマッチングパスを見つ
けるという方法ではなく、最大フロー定理を用いてエピ
ポーラ線に無関係に全画面のマッチングをとる方法を発
明した。本発明の目的は、最大フロー定理を用いたステ
レオマッチング方法を提供することにある。
プログラミングを用いた走査線内および走査線間法によ
る立体視」（"Stereo by intra and inter-scanline us
ingdynamic programming"）IEEE Trans. Pattern Analy
sis and Machine Intelligence, 7(2): 139, 1996の論
文にはダイナミックプログラミング法を用いて、先ず、
エピポーラ線のマッチングをとり、次に、鉛直エッジを
基準として用いて得られた解を反復的に改良する方法が
記載されている。I.J.Cox, S.Hingorani, B.M.Maggsお
よびS.B.Raoによる論文「最大尤度ステレオアルゴリズ
ム」(A maximum likelihood stereo algorithm), Compu
ter Vision and Image Understanding, 63(3): 542-54
7, 1996,には、確率論的方法を用いて距離マップ特性を
改良するために、ダイナミックプログラミングによって
得られ個々のマッチングを関係づける方法が記載されて
いる。最後に、P.N.Belhumeurの論文「両眼立体視のベ
イズ統計手法」(A bayesian approach to binocular st
ereopsis),Int.J,Computer vision, 19(3):237-260, 19
96にはベイズ法が記載されている。しかし、不幸なこと
に、１対のエピポーラ線に適用されたダイナミックプロ
グラミングの最適性と簡素性を、複数対のエピポーラ線
の同時マッチングに直接拡張することはできない。その
ような複数対のエピポーラ線の同時マッチングの場合に
は、反復解法または近似解法のみが役立つ。このよう
に、従来のステレオ対応方法においては、２つのエピポ
ーラ線間のマッチングパスを見つけ出すためのダイナミ
ックプログラミング法を２つの全画面の同時マッチング
に拡張することはできないという問題点がある。しか
し、本発明者は、エピポーラ線のマッチングパスを見つ
けるという方法ではなく、最大フロー定理を用いてエピ
ポーラ線に無関係に全画面のマッチングをとる方法を発
明した。本発明の目的は、最大フロー定理を用いたステ
レオマッチング方法を提供することにある。
【０００４】
【課題を解決する手段】本発明の多重視野間のステレオ
対応を得る方法は、１つのシーンの、一連の多重視野画
像から該シーンの多重視野間のステレオ対応を得る方法
であって、画像面のx'座標、y'座標、および視差の集合
に対応する節点を有し、画像面のx'軸、y'軸、および視
差軸を座標軸とする３次元メッシV*を構成し、ソースと
シンクと３次元メッシV*の節点との集合Ｖを構成し、３
次元メッシV*内の節点を連結し、前記ソースを、前記視
差軸の方向に見て前記３次元メッシV*の前面に連結し、
および、前記シンクを、前記視差軸の方向に見て前記３
次元メッシV*の背面に連結してエッジの集合Ｅを生成
し、前記３次元メッシV*内のエッジにはマッチングコス
トを表すエッジ容量関数を設定し、前記ソースを前記３
次元メッシV*の前面に連結する少なくとも１つのエッジ
を含む任意のカットの容量が、前記ソースと前記シンク
とを分離するように前記３次元メッシV*を通過するカッ
トであって前記ソースと前記前面とを連結するエッジを
も前記シンクと前記背面とを連結するエッジをも含まな
い任意のカットの容量よりも大きくなるように、前記ソ
ースを前記３次元メッシV*の前面に連結する何れのエッ
ジの容量をも充分大きく設定し、前記シンクを前記３次
元メッシV*の背面に連結する少なくとも１つのエッジを
含む任意のカットの容量が、前記ソースと前記シンクと
を分離するように前記３次元メッシV*を通過するカット
であって前記ソースと前記前面とを連結するエッジをも
前記シンクと前記背面とを連結するエッジをも含まない
任意のカットの容量よりも大きくなるように、前記３次
元メッシV*の背面を前記シンクに連結する何れのエッジ
の容量をも充分大きく設定し、前記の処理によって生成
されたグラフＧ（Ｖ、Ｅ）における最大フローを求め、
最大フローから前記グラフＧ（Ｖ、Ｅ）における最小カ
ットを抽出し、最小カットから視差表面を計算する。
対応を得る方法は、１つのシーンの、一連の多重視野画
像から該シーンの多重視野間のステレオ対応を得る方法
であって、画像面のx'座標、y'座標、および視差の集合
に対応する節点を有し、画像面のx'軸、y'軸、および視
差軸を座標軸とする３次元メッシV*を構成し、ソースと
シンクと３次元メッシV*の節点との集合Ｖを構成し、３
次元メッシV*内の節点を連結し、前記ソースを、前記視
差軸の方向に見て前記３次元メッシV*の前面に連結し、
および、前記シンクを、前記視差軸の方向に見て前記３
次元メッシV*の背面に連結してエッジの集合Ｅを生成
し、前記３次元メッシV*内のエッジにはマッチングコス
トを表すエッジ容量関数を設定し、前記ソースを前記３
次元メッシV*の前面に連結する少なくとも１つのエッジ
を含む任意のカットの容量が、前記ソースと前記シンク
とを分離するように前記３次元メッシV*を通過するカッ
トであって前記ソースと前記前面とを連結するエッジを
も前記シンクと前記背面とを連結するエッジをも含まな
い任意のカットの容量よりも大きくなるように、前記ソ
ースを前記３次元メッシV*の前面に連結する何れのエッ
ジの容量をも充分大きく設定し、前記シンクを前記３次
元メッシV*の背面に連結する少なくとも１つのエッジを
含む任意のカットの容量が、前記ソースと前記シンクと
を分離するように前記３次元メッシV*を通過するカット
であって前記ソースと前記前面とを連結するエッジをも
前記シンクと前記背面とを連結するエッジをも含まない
任意のカットの容量よりも大きくなるように、前記３次
元メッシV*の背面を前記シンクに連結する何れのエッジ
の容量をも充分大きく設定し、前記の処理によって生成
されたグラフＧ（Ｖ、Ｅ）における最大フローを求め、
最大フローから前記グラフＧ（Ｖ、Ｅ）における最小カ
ットを抽出し、最小カットから視差表面を計算する。
【０００５】本発明に開示された方法によると、上記の
問題は解決され、従来の方法よりも一層進歩したステレ
オ対応が実現される。本発明による新しい方法は、シー
ンの2つまたはそれ以上の視野間のステレオ対応を行う
ために用いられる。この方法はグラフ理論の最大フロー
定理にしたがって定式化され、ステレオ対応問題を有効
に解決し、それによって、従来の逐次ライン（ライン・
バイ・ライン）ステレオ法に関連する問題の多くを軽減
する。
問題は解決され、従来の方法よりも一層進歩したステレ
オ対応が実現される。本発明による新しい方法は、シー
ンの2つまたはそれ以上の視野間のステレオ対応を行う
ために用いられる。この方法はグラフ理論の最大フロー
定理にしたがって定式化され、ステレオ対応問題を有効
に解決し、それによって、従来の逐次ライン（ライン・
バイ・ライン）ステレオ法に関連する問題の多くを軽減
する。
【０００６】画像のステレオマッチングとは、同一シー
ンの異なる画面中の点を対応づける(matching)処理であ
って、ステレオマッチング処理の結果として所謂距離マ
ップ（距離分布または距離写像）または視差マップ(dis
parity map、視差分布または、視差写像)が決定され
る。従来のステレオマッチング処理は、画像を記録する
複数のカメラが同一直線上にあること、すなわち、共通
のベースラインを共有することが必要であった。また、
従来のステレオ対応はエピポーラ線による逐次ライン方
式で行われていた。本発明は、２つまたはそれ以上の画
像が任意の視野から生成される場合にそれらの画像か
ら、対象物の同一の点に対応する、それらの画像上の点
を対応させる。すなわち、画像を記録するカメラの位置
は必ずしも同一直線上にない。
ンの異なる画面中の点を対応づける(matching)処理であ
って、ステレオマッチング処理の結果として所謂距離マ
ップ（距離分布または距離写像）または視差マップ(dis
parity map、視差分布または、視差写像)が決定され
る。従来のステレオマッチング処理は、画像を記録する
複数のカメラが同一直線上にあること、すなわち、共通
のベースラインを共有することが必要であった。また、
従来のステレオ対応はエピポーラ線による逐次ライン方
式で行われていた。本発明は、２つまたはそれ以上の画
像が任意の視野から生成される場合にそれらの画像か
ら、対象物の同一の点に対応する、それらの画像上の点
を対応させる。すなわち、画像を記録するカメラの位置
は必ずしも同一直線上にない。
【０００７】本発明の主要な長所は、全画像のマッチン
グを逐次ライン方式ではなく、一度に行うことができる
点にある。
グを逐次ライン方式ではなく、一度に行うことができる
点にある。
【０００８】本発明は、グラフ論の最大フロー最小カッ
ト法に基づいて１つのシーンの２つまたはそれ以上の視
野間のステレオ対応を行う。本発明によってステレオ対
応問題に対する従来の方法より効率的で、高速で、高品
質の解が得られる。
ト法に基づいて１つのシーンの２つまたはそれ以上の視
野間のステレオ対応を行う。本発明によってステレオ対
応問題に対する従来の方法より効率的で、高速で、高品
質の解が得られる。
【０００９】
【発明の実施の形態】次に、図面を参照して本発明の実
施の形態を説明する。標準的なステレオ配置は、同一の
シーンを異なる視点から見る２つのカメラから成る。幾
何学的配置方程式は任意の多重画像立体幾何学を記述し
て導き出される。光学系が、基線距離ｂによって水平方
向に分離され2カメラからなる最も簡単な場合におい
て、像点(x0',y0')に関連する、視差dにおける対応する
像点v(x0',y0',d)の組は、後述の式(13)から導かれるよ
うに v(x0',y0',d) = {I1(x0',y0'),I2(x0'+bd,y0')} (1) になる。ここで、I1(x0',y0')、I2(x0'+bd,y0')は、そ
れぞれカメラ１，２の画像の位置(x0',y0')、(x0'+bd,y
0')におけるピクセル強度である。v(x0',y0',d)から導
かれる 通常のマッチング・コスト関数はピクセル強度
の自乗差 cost(x0',y0',d) = (I1(x0',y0')-I2(x0'+bd,y0'))2 (2) の和である。
施の形態を説明する。標準的なステレオ配置は、同一の
シーンを異なる視点から見る２つのカメラから成る。幾
何学的配置方程式は任意の多重画像立体幾何学を記述し
て導き出される。光学系が、基線距離ｂによって水平方
向に分離され2カメラからなる最も簡単な場合におい
て、像点(x0',y0')に関連する、視差dにおける対応する
像点v(x0',y0',d)の組は、後述の式(13)から導かれるよ
うに v(x0',y0',d) = {I1(x0',y0'),I2(x0'+bd,y0')} (1) になる。ここで、I1(x0',y0')、I2(x0'+bd,y0')は、そ
れぞれカメラ１，２の画像の位置(x0',y0')、(x0'+bd,y
0')におけるピクセル強度である。v(x0',y0',d)から導
かれる 通常のマッチング・コスト関数はピクセル強度
の自乗差 cost(x0',y0',d) = (I1(x0',y0')-I2(x0'+bd,y0'))2 (2) の和である。
【００１０】以下の議論においては、簡単のために上記
のステレオ構成が用いられるけれど、本発明は、任意の
カメラ配置（すなわち、多重基線）のもとで撮られた多
重画像に関連するステレオを直接考察するために一般化
される。この方法は、勿論、従来の2画像、単一基線の
ステレオ方式を包括している。
のステレオ構成が用いられるけれど、本発明は、任意の
カメラ配置（すなわち、多重基線）のもとで撮られた多
重画像に関連するステレオを直接考察するために一般化
される。この方法は、勿論、従来の2画像、単一基線の
ステレオ方式を包括している。
【００１１】本発明の全体的な枠組みは図１１に記述さ
れている。３つのカメラＣ1、Ｃ2、Ｃ3は関連するステ
レオ対応のための画像Ｉ1、Ｉ2、Ｉ3を生成する。基準
カメラＣ0は、像点毎の視差マップ（場合によっては距
離マップ）を計算するための視野である。基準カメラＣ
0は関連する画像を生成しなくてもよい。その場合にお
いて基準カメラＣ0に関連する画像は、ステレオマッチ
ングの後に再構成される。図１２Ａ、図１２Ｂに記述さ
れているように、標準的な水平両眼ステレオは一般的な
枠組みのなかで簡単に記述される。この場合には、基準
視野Ｃ0は正確に第1カメラＣ1に一致する（図１２
Ａ）。また、基準視野をカメラＣ1とカメラＣ2から等距
離に置くことによってサイクロプ式のステレオ構成が作
られる（図１２Ｂ）。
れている。３つのカメラＣ1、Ｃ2、Ｃ3は関連するステ
レオ対応のための画像Ｉ1、Ｉ2、Ｉ3を生成する。基準
カメラＣ0は、像点毎の視差マップ（場合によっては距
離マップ）を計算するための視野である。基準カメラＣ
0は関連する画像を生成しなくてもよい。その場合にお
いて基準カメラＣ0に関連する画像は、ステレオマッチ
ングの後に再構成される。図１２Ａ、図１２Ｂに記述さ
れているように、標準的な水平両眼ステレオは一般的な
枠組みのなかで簡単に記述される。この場合には、基準
視野Ｃ0は正確に第1カメラＣ1に一致する（図１２
Ａ）。また、基準視野をカメラＣ1とカメラＣ2から等距
離に置くことによってサイクロプ式のステレオ構成が作
られる（図１２Ｂ）。
【００１２】ｎ個のカメラの組Ｃ1，．．．．，Ｃnはｎ
個の画像Ｉ1，．．．，Ｉnを生じる。世界座標系で記述
され、同次座標表示 Pw = [xw yw zw 1]T （３） をもつ点Pwは、次の関係によって、カメラｉの座標系の
同次座標Piに変換される。
個の画像Ｉ1，．．．，Ｉnを生じる。世界座標系で記述
され、同次座標表示 Pw = [xw yw zw 1]T （３） をもつ点Pwは、次の関係によって、カメラｉの座標系の
同次座標Piに変換される。
【００１３】Pi = WiPw （４） ただし、
【００１４】
【数３】 で、Ｒiは回転マトリクス、Ｔiは並進マトリクス、０T
はゼロベクトルである。ピンホールカメラ模型を仮定す
ると、点Piは次の関係による射影点piにおいて画像面上
に投影される。
はゼロベクトルである。ピンホールカメラ模型を仮定す
ると、点Piは次の関係による射影点piにおいて画像面上
に投影される。
【００１５】
【数４】 ただし、Ｊは次式で定義される射影マトリクスである。
【００１６】
【数５】 式（４）、（６）によって変換され、かつ、投影された
点ｐiから、対応する画像座標pi'は次の変換によって得
られる。
点ｐiから、対応する画像座標pi'は次の変換によって得
られる。
【００１７】pi' = H(pi) (8) ただし、Hは同次変換関数
【００１８】
【数６】 である。
【００１９】ステレオマッチング過程においては、ピク
セル強度Ｉ0の各画像点Ｐ0は距離zに依存し、または、
等価的に視差ｄ(ｄはz=1/dとして定義される)に依存
し、基準座標系Ｃ0によって次式で表される。
セル強度Ｉ0の各画像点Ｐ0は距離zに依存し、または、
等価的に視差ｄ(ｄはz=1/dとして定義される)に依存
し、基準座標系Ｃ0によって次式で表される。
【００２０】
【数７】 上式（１０）の距離ｚを用いた表現と視差ｄを用いた表
現は等価であるけれど、視差ｄを用いた表現によると無
限大の距離に到る点を表現することができる。したがっ
て、本実施形態においては、距離のかわりに視差を用い
る。
現は等価であるけれど、視差ｄを用いた表現によると無
限大の距離に到る点を表現することができる。したがっ
て、本実施形態においては、距離のかわりに視差を用い
る。
【００２１】この点Ｐ0から、上記のように定義された
方程式を用いて、任意のカメラ画像p i'に逆写像するこ
とができる。すなわち、 pi' = H(pi) = H(JPi) = H(JWiPw) = H(JW1W0 -1P0) (11)
方程式を用いて、任意のカメラ画像p i'に逆写像するこ
とができる。すなわち、 pi' = H(pi) = H(JPi) = H(JWiPw) = H(JW1W0 -1P0) (11)
【００２２】
【数８】 したがって、ステレオマッチングを行うためにすべての
カメラからピクセル強度情報を得ることができる。
カメラからピクセル強度情報を得ることができる。
【００２３】ステレオマッチングの間、各規準画像点(x
0',y0')および視差ｄはピクセル値のベクトルｖを構成
する再写像ピクセル値の組に関連する。ピクセル値ベク
トルｖは次のように定義され、マッチングコストを導き
出すために使用される。
0',y0')および視差ｄはピクセル値のベクトルｖを構成
する再写像ピクセル値の組に関連する。ピクセル値ベク
トルｖは次のように定義され、マッチングコストを導き
出すために使用される。
【００２４】
【数９】 カメラ配置が与えられているとき、そのカメラ配置に対
してエピポーラ面上でシーン点が動くとき、各画像点は
エピポーラ線と呼ばれる１本の線に沿って動くように制
限されていることは周知である。ステレオマッチングの
伝統的な手法においては、１つのステレオ画像内の１本
のエピポーラ線Ａは他のステレオ画像の対応するエピポ
ーラ線Ｂとステレオマッチングがとられる。その２つの
エピポーラ線間にとられるマッチングは、図１の向かっ
て左側の図に示されているように、可能なすべてのマッ
チ（ａ，ｂ）の格子内のパスとして表される。パスの許
容される出発点と最終点は太い黒線で示されている。こ
こでａ，ｂはそれぞれエピポーラ線Ａ，Ｂ上の点の座標
で、２つのエピポーラ線上にある。２つのエピポーラ線
上の互いに対応する部分要素の順序が入れ替わらないと
いう制限（順序制限）を導入すると、同図上で対応を示
す点列は図の左下から右上に単調に上昇する。同図の点
線の対角線は凹凸がないシーン面（視差一定）に対応す
る。このように、エピポーラ線に沿って点順序が保存さ
れるという順序制限の仮定をすると、このパス問題は、
ダイナミックプログラミングを用いて非常に効率よく解
くことができる。
してエピポーラ面上でシーン点が動くとき、各画像点は
エピポーラ線と呼ばれる１本の線に沿って動くように制
限されていることは周知である。ステレオマッチングの
伝統的な手法においては、１つのステレオ画像内の１本
のエピポーラ線Ａは他のステレオ画像の対応するエピポ
ーラ線Ｂとステレオマッチングがとられる。その２つの
エピポーラ線間にとられるマッチングは、図１の向かっ
て左側の図に示されているように、可能なすべてのマッ
チ（ａ，ｂ）の格子内のパスとして表される。パスの許
容される出発点と最終点は太い黒線で示されている。こ
こでａ，ｂはそれぞれエピポーラ線Ａ，Ｂ上の点の座標
で、２つのエピポーラ線上にある。２つのエピポーラ線
上の互いに対応する部分要素の順序が入れ替わらないと
いう制限（順序制限）を導入すると、同図上で対応を示
す点列は図の左下から右上に単調に上昇する。同図の点
線の対角線は凹凸がないシーン面（視差一定）に対応す
る。このように、エピポーラ線に沿って点順序が保存さ
れるという順序制限の仮定をすると、このパス問題は、
ダイナミックプログラミングを用いて非常に効率よく解
くことができる。
【００２５】図１の、特に向かって右側の図を参照する
と、マッチング格子（探索平面ともいう）は等価な形式
に変換されている。この場合には、可能なマッチ（対応
付け）は、（ａ，ｄ）の形式で表されている。ここで、
ａはエピポーラ線Ａ方向の位置であり、ｄは関連する視
差である。マッチ（ａ，ｄ）に対応する画像Ｂ中の座標
ｂは式（１）から容易に計算され（式１のx0'とx0'+bd
との関係から求められる）、コスト関数は式（２）から
直接求めることができる。
と、マッチング格子（探索平面ともいう）は等価な形式
に変換されている。この場合には、可能なマッチ（対応
付け）は、（ａ，ｄ）の形式で表されている。ここで、
ａはエピポーラ線Ａ方向の位置であり、ｄは関連する視
差である。マッチ（ａ，ｄ）に対応する画像Ｂ中の座標
ｂは式（１）から容易に計算され（式１のx0'とx0'+bd
との関係から求められる）、コスト関数は式（２）から
直接求めることができる。
【００２６】式（３）から式（１３）までの式によっ
て、複数カメラを用いて１対のエピポーラ線のマッチン
グを１度で行うことができる。このような、１対のエピ
ポーラ線の同時マッチングは、図２に示されているよう
に、エピポーラ線の全体を同時にマッチさせることによ
って、直ちに全画像のステレオ対応に拡張することがで
きる。この拡張によって１対のエピポーラ線のマッチン
グを定義する最小コストパス（図１のｄ曲線）は、エピ
ポーラ線の全対に亙ってまとめられて、単一の最小コス
ト表面（図２のｄ曲面）を形成する（図２は、図１の向
かって右側の図を紙面に垂直方向に配列した図であ
る）。この最小コスト表面は基準画像の総ての視差情報
を含んでいる。この構成の目標は、視差は局所的にはほ
ぼ等しくなる傾向にあるという視差の場の非常に重要な
属性の１つである局所的一致性 (localcoherency)）を
利用することである。局所的一致性とは視差は局所的に
はほぼ等しくなる傾向にあるということである。この属
性は、エピポーラ線に沿う点の順序制限を適用すること
によって間接的に用いらている。（順序制限は局所的一
致性を前提として成り立つから、順序制限を適用したこ
とは、エピポーラ線に沿う局所的一致性を用いたことに
なる。）しかし、局所的一致性は全方向、したがって、
エピポーラ線を横切る方向にも起こる。総てのエピポー
ラ線を一まとめにして、視差表面について解を求めるな
らば、局所的一致性を充分に利用して、すなわち、全方
向に利用して距離マップの品質を改良することができる
ことになる。さて、図２の可能な各マッチ（ａ，ｌ，
ｄ）は、図１と同様に、４連結（上下左右の４方向の近
傍に少なくとも１つの同一色の画素が存在する）であ
る。ここで、ｌは図１のグリッド面の番号である。局所
的一致性を充分に利用するためにはマッチ（ａ，ｌ，
ｄ）は、個々のエピポーラ線を関連付けるために６連結
でなければならない。しかし、不幸なことに、６連結に
することによってダイナミックプログラミングが使用不
可能になる。その理由は、解の視差表面を構成するため
の厳格な順序が存在しないからである。（図１の左側の
図に示されているように、１対のエピポーラ線間の順序
制限を前提すれば、視差曲線は、同図の左下から右上へ
対角線に沿って単調に増加する。このことは、ダイナミ
ックプログラミングを使用する上で非常に有利な条件に
なる。しかし、このようなエピポーラ線を配列して６連
結の探索空間内の視差表面を構成する場合には、視差表
面を構成するための厳格な順序が存在しないので、その
視差表面の形が単調に変化するということを前提にする
ことはできない。このことは、ダイナミックプログラミ
ングの使用を困難にする。）本発明は、図２の定式化に
ソースとシンクを加え、図３に示されている様にフロー
問題として解を処理することにより、視差表面について
の大局的な(global)な解を与える。以下、後述の図１３
の処理ステップを参照しながら本発明の方法を説明す
る。以下の記述において、（ステップｘ）は図１３に記
載されているステップｘを表す。
て、複数カメラを用いて１対のエピポーラ線のマッチン
グを１度で行うことができる。このような、１対のエピ
ポーラ線の同時マッチングは、図２に示されているよう
に、エピポーラ線の全体を同時にマッチさせることによ
って、直ちに全画像のステレオ対応に拡張することがで
きる。この拡張によって１対のエピポーラ線のマッチン
グを定義する最小コストパス（図１のｄ曲線）は、エピ
ポーラ線の全対に亙ってまとめられて、単一の最小コス
ト表面（図２のｄ曲面）を形成する（図２は、図１の向
かって右側の図を紙面に垂直方向に配列した図であ
る）。この最小コスト表面は基準画像の総ての視差情報
を含んでいる。この構成の目標は、視差は局所的にはほ
ぼ等しくなる傾向にあるという視差の場の非常に重要な
属性の１つである局所的一致性 (localcoherency)）を
利用することである。局所的一致性とは視差は局所的に
はほぼ等しくなる傾向にあるということである。この属
性は、エピポーラ線に沿う点の順序制限を適用すること
によって間接的に用いらている。（順序制限は局所的一
致性を前提として成り立つから、順序制限を適用したこ
とは、エピポーラ線に沿う局所的一致性を用いたことに
なる。）しかし、局所的一致性は全方向、したがって、
エピポーラ線を横切る方向にも起こる。総てのエピポー
ラ線を一まとめにして、視差表面について解を求めるな
らば、局所的一致性を充分に利用して、すなわち、全方
向に利用して距離マップの品質を改良することができる
ことになる。さて、図２の可能な各マッチ（ａ，ｌ，
ｄ）は、図１と同様に、４連結（上下左右の４方向の近
傍に少なくとも１つの同一色の画素が存在する）であ
る。ここで、ｌは図１のグリッド面の番号である。局所
的一致性を充分に利用するためにはマッチ（ａ，ｌ，
ｄ）は、個々のエピポーラ線を関連付けるために６連結
でなければならない。しかし、不幸なことに、６連結に
することによってダイナミックプログラミングが使用不
可能になる。その理由は、解の視差表面を構成するため
の厳格な順序が存在しないからである。（図１の左側の
図に示されているように、１対のエピポーラ線間の順序
制限を前提すれば、視差曲線は、同図の左下から右上へ
対角線に沿って単調に増加する。このことは、ダイナミ
ックプログラミングを使用する上で非常に有利な条件に
なる。しかし、このようなエピポーラ線を配列して６連
結の探索空間内の視差表面を構成する場合には、視差表
面を構成するための厳格な順序が存在しないので、その
視差表面の形が単調に変化するということを前提にする
ことはできない。このことは、ダイナミックプログラミ
ングの使用を困難にする。）本発明は、図２の定式化に
ソースとシンクを加え、図３に示されている様にフロー
問題として解を処理することにより、視差表面について
の大局的な(global)な解を与える。以下、後述の図１３
の処理ステップを参照しながら本発明の方法を説明す
る。以下の記述において、（ステップｘ）は図１３に記
載されているステップｘを表す。
【００２７】図３に示されているように、３Ｄメッシ
（３次元メッシ）を形成するグラフＧ＝（Ｖ，Ｅ）を考
える（ステップ１３０４）。節点（または頂点）の集合
Ｖは次式で定義される（ステップ１３０６）。
（３次元メッシ）を形成するグラフＧ＝（Ｖ，Ｅ）を考
える（ステップ１３０４）。節点（または頂点）の集合
Ｖは次式で定義される（ステップ１３０６）。
【００２８】Ｖ＝Ｖ*∪{s,t} (14) 式（１４）で、sはソース、tはシンク、Ｖ*は、x’軸、
y’軸、d軸を座標軸とする３Ｄメッシで、ｘ’、ｙ’は
画像面内の座標である。すなわち、 Ｖ* = {(x',y',d): x'∈[0...xmax'], y'∈[0...ymax'], d∈[0...dmax]} (15) ここで、（xmax'+1,ymax'+1）は画像サイズであり、d
max+1は距離解像度である。メッシは内部で６連結であ
り、ソースｓは、ｄ軸方向に見て３ＤメッシＶ*の前面
に接続し、３Ｄメッシの背面はシンクｔに接続されてい
る。エッジＥは次のように表される（ステップ１３０
８）。
y’軸、d軸を座標軸とする３Ｄメッシで、ｘ’、ｙ’は
画像面内の座標である。すなわち、 Ｖ* = {(x',y',d): x'∈[0...xmax'], y'∈[0...ymax'], d∈[0...dmax]} (15) ここで、（xmax'+1,ymax'+1）は画像サイズであり、d
max+1は距離解像度である。メッシは内部で６連結であ
り、ソースｓは、ｄ軸方向に見て３ＤメッシＶ*の前面
に接続し、３Ｄメッシの背面はシンクｔに接続されてい
る。エッジＥは次のように表される（ステップ１３０
８）。
【００２９】
【数１０】 ここで、(u,v)は３ＤメッシV*内の節点uと節点vとを接
続するエッジを表し、したがって、(s,(x',y',0))はソ
ースsと節点(x',y',0)とを接続するエッジを表す。同様
に((x',y',dmax),t)は節点(x',y',dmax)とシンクｔとを
接続するエッジを表す。V*×V*は３DメッシV*とV*との
積空間である。したがって、(u,v) ∈V*×V*は、エッジ
(u,v)が３DメッシV*内で独立に選ばれた節点u,v間を接
続するエッジであることを表す。‖u-v‖=1は隣接する
２つの節点u,vを接続するエッジの長さが１に等しいこ
とを表している。
続するエッジを表し、したがって、(s,(x',y',0))はソ
ースsと節点(x',y',0)とを接続するエッジを表す。同様
に((x',y',dmax),t)は節点(x',y',dmax)とシンクｔとを
接続するエッジを表す。V*×V*は３DメッシV*とV*との
積空間である。したがって、(u,v) ∈V*×V*は、エッジ
(u,v)が３DメッシV*内で独立に選ばれた節点u,v間を接
続するエッジであることを表す。‖u-v‖=1は隣接する
２つの節点u,vを接続するエッジの長さが１に等しいこ
とを表している。
【００３０】４連結ではなく６連結であるので、新方法
の各節点はエピポーラ線に沿うその両隣に接続するだけ
でなく、隣接するエピポーラ線を横切って接続されてい
る（図３参照）。この状況においてはダイナミックプロ
グラミングは役に立たないけれど、その代わり、ソース
とシンクとの間の最大フローを計算することができる。
最大フローに関連する最小カットは直接に視差表面を与
える。
の各節点はエピポーラ線に沿うその両隣に接続するだけ
でなく、隣接するエピポーラ線を横切って接続されてい
る（図３参照）。この状況においてはダイナミックプロ
グラミングは役に立たないけれど、その代わり、ソース
とシンクとの間の最大フローを計算することができる。
最大フローに関連する最小カットは直接に視差表面を与
える。
【００３１】この方法においては、エッジ容量はマッチ
ングコストを表す。ただし、ソースとシンクに接続され
たエッジは無限大容量をもつものとする。エッジ(u,v)
の容量は次のように定められる（ステップ１３１０）。
ングコストを表す。ただし、ソースとシンクに接続され
たエッジは無限大容量をもつものとする。エッジ(u,v)
の容量は次のように定められる（ステップ１３１０）。
【００３２】
【数１１】 ここでΔdはｄ方向を向くエッジ(u,v)の長さであり、Δ
x、Δyはx'y'面内のエッジ(u,v)のx'軸方向、ｙ'軸方向
の成分である。また、reg(u,v)はオクルージョンが存在
しない場合（すなわち、正則である場合）のマッチング
コストで、対象物の面の距離ｚまたは視差d=1/zの変化
に対応する。occ(u,v)はオクルージョンコスト（対象面
の凹凸に基くマッチングコスト）である。図３において
節点(x',y',d)を４つの黒い節点に連結するエッジはオ
クルージョンコストであり、灰色の節点へのリンクは正
則コスト（ノンオクルージョンコスト）である。式
（２）からreg(u,v)を次のように定義する。
x、Δyはx'y'面内のエッジ(u,v)のx'軸方向、ｙ'軸方向
の成分である。また、reg(u,v)はオクルージョンが存在
しない場合（すなわち、正則である場合）のマッチング
コストで、対象物の面の距離ｚまたは視差d=1/zの変化
に対応する。occ(u,v)はオクルージョンコスト（対象面
の凹凸に基くマッチングコスト）である。図３において
節点(x',y',d)を４つの黒い節点に連結するエッジはオ
クルージョンコストであり、灰色の節点へのリンクは正
則コスト（ノンオクルージョンコスト）である。式
（２）からreg(u,v)を次のように定義する。
【００３３】
【数１２】 一般に、オクルージョンコスト値が高い程、表面滑らか
さが高く、逆に、オクルージョンコスト値が低い程対象
表面の距離の不連続が大きくなる。実際には、occ(u,v)
は自然値 occ(u,v)=reg(u,v) (19) または０より大きい定数に設定される。オクルージョン
コストの値を極限値にすると、直観的に分かり易い結果
を生ずる。オクルージョンコストが∞に設定されると、
平らな視差表面を生じ、全画面は１つの視差値で特徴づ
けられる。もし、オクルージョンコストを０に設定する
ならば、画像の各ピクセルに独立に視差が与えられる。
その結果、視差表面に最大の不連続が生じる。
さが高く、逆に、オクルージョンコスト値が低い程対象
表面の距離の不連続が大きくなる。実際には、occ(u,v)
は自然値 occ(u,v)=reg(u,v) (19) または０より大きい定数に設定される。オクルージョン
コストの値を極限値にすると、直観的に分かり易い結果
を生ずる。オクルージョンコストが∞に設定されると、
平らな視差表面を生じ、全画面は１つの視差値で特徴づ
けられる。もし、オクルージョンコストを０に設定する
ならば、画像の各ピクセルに独立に視差が与えられる。
その結果、視差表面に最大の不連続が生じる。
【００３４】グラフ理論の最大フロー・最小カットの定
理によると、ひと度、最大フローfm axのグラフが算出さ
れると、その最大フローグラフのソースとシンクとを分
離するカットのうち、カット容量を最小にするカット
（最小カット）の容量Cminはfm axに等しくなる。したが
って、最小カットは特別なコスト関数に対して、ソース
とシンクとを分離する最適な仕方である。ソースは基準
カメラに最も近い点に接続され、シンクは最も離れた点
に接続されているので、最小カットは実効的に、視野体
積を前景と背景に分離してシーンの距離マップを形成す
る。最大フロー・最小カット定理を、ステレオ対応問題
を解くために応用することは従来技術においては考えら
れていない。最小カットによって、次に示されている性
質１に基いて各画像点の距離評価を生成することができ
る。
理によると、ひと度、最大フローfm axのグラフが算出さ
れると、その最大フローグラフのソースとシンクとを分
離するカットのうち、カット容量を最小にするカット
（最小カット）の容量Cminはfm axに等しくなる。したが
って、最小カットは特別なコスト関数に対して、ソース
とシンクとを分離する最適な仕方である。ソースは基準
カメラに最も近い点に接続され、シンクは最も離れた点
に接続されているので、最小カットは実効的に、視野体
積を前景と背景に分離してシーンの距離マップを形成す
る。最大フロー・最小カット定理を、ステレオ対応問題
を解くために応用することは従来技術においては考えら
れていない。最小カットによって、次に示されている性
質１に基いて各画像点の距離評価を生成することができ
る。
【００３５】性質１（距離マップとしてのカット） グラフＧ＝（Ｖ，Ｅ）におけるあるフローに関するある
カットをＣとする。総ての(x,y)に対してエッジ(x,y,d)
-(x,y,d+1)がＣの一部である少なくとも１つのdが存在
する。 証明 任意の(x,y)に対してソースｓからシンクｔへ
の、次のパスが存在する。
カットをＣとする。総ての(x,y)に対してエッジ(x,y,d)
-(x,y,d+1)がＣの一部である少なくとも１つのdが存在
する。 証明 任意の(x,y)に対してソースｓからシンクｔへ
の、次のパスが存在する。
【００３６】s→(x,y,0)→(x,y,1)〜(x,y,dmax)→t したがって、次のエッジの集合を含んでいる。
【００３７】
【数１３】 ここで、s→(x,y,0)はsを始点とし、(x,y,0) を終点と
するエッジであり、(x,y,d)→(x,y,d+1)は、(x,y,d)を
始点とし(x,y,d+1)を終点とするエッジであり、(x,y,d
max)→tは(x,y,dmax)を始点としtを終点とするエッジで
ある。グラフＧの任意のカットは式（２０）のパスを切
断することができる。s→(x,y,0)と (x,y,dmax)→tは無
限大の容量をもっているので、最小カットにはなり得な
い。したがって、最小カットは (x,y,d)−(x,y,d+1)の
型の少なくとも１つのエッジを含んでいる。
するエッジであり、(x,y,d)→(x,y,d+1)は、(x,y,d)を
始点とし(x,y,d+1)を終点とするエッジであり、(x,y,d
max)→tは(x,y,dmax)を始点としtを終点とするエッジで
ある。グラフＧの任意のカットは式（２０）のパスを切
断することができる。s→(x,y,0)と (x,y,dmax)→tは無
限大の容量をもっているので、最小カットにはなり得な
い。したがって、最小カットは (x,y,d)−(x,y,d+1)の
型の少なくとも１つのエッジを含んでいる。
【００３８】距離マップはグラフの最小カットに基づい
て次のように構成することができる。まず、グラフの最
大フローを演算し（ステップ１３２０）、該最大フロー
に関連する最小カットＣminを求める（ステップ１３３
０）。各点(x,y)に対する視差dは、(x,y,d)−(x,y,d+1)
の型のエッジのうち、最小カットＣminに属するエッジ
の視差ｄ（カットＣminに対して３Ｄメッシのソース側
の(x,y,d)−(x,y,d+1)型エッジのうちの最大のｄ）であ
る（ステップ１３４０）。このようにして、所望の大局
的な視差表面が得られる（ステップ１３５０）。
て次のように構成することができる。まず、グラフの最
大フローを演算し（ステップ１３２０）、該最大フロー
に関連する最小カットＣminを求める（ステップ１３３
０）。各点(x,y)に対する視差dは、(x,y,d)−(x,y,d+1)
の型のエッジのうち、最小カットＣminに属するエッジ
の視差ｄ（カットＣminに対して３Ｄメッシのソース側
の(x,y,d)−(x,y,d+1)型エッジのうちの最大のｄ）であ
る（ステップ１３４０）。このようにして、所望の大局
的な視差表面が得られる（ステップ１３５０）。
【００３９】図２と図３に表されているステレオマッチ
ング問題の間には重要な相違がある。図２の場合にはエ
ピポーラ線が単に１つずつ積層されているのみである。
この方式は２画像ステレオには役立つけれども、多重画
像ステレオ画像の場合には適切に拡張されない。その理
由は、エピポーラ線は、ただ１対のカメラに固有なもの
であるけれども、任意のカメラ配置は、エピポーラ線の
任意の組み合わせを作るからである。
ング問題の間には重要な相違がある。図２の場合にはエ
ピポーラ線が単に１つずつ積層されているのみである。
この方式は２画像ステレオには役立つけれども、多重画
像ステレオ画像の場合には適切に拡張されない。その理
由は、エピポーラ線は、ただ１対のカメラに固有なもの
であるけれども、任意のカメラ配置は、エピポーラ線の
任意の組み合わせを作るからである。
【００４０】この問題を解くために、本発明においては
順序制限はすべて除かれている。前記したように、局所
一致性は順序制限を非常によく近似する。新しい定式化
においては画像のどのような組をも積層するために選択
することができる。図３において、図２のように、エピ
ポーラ線の番号ｌと位置ａを用いる代わりに、画像座標
(x',y')を用いて点を指定したのはこの理由による。エ
ピポーラ線の図形的配置は、本発明においては、与えら
れた視差値ｄをもつ点のマッチングコストを計算するた
めに間接的に用いられるのみであって、マッチング処理
には実際的な制約を与えない。
順序制限はすべて除かれている。前記したように、局所
一致性は順序制限を非常によく近似する。新しい定式化
においては画像のどのような組をも積層するために選択
することができる。図３において、図２のように、エピ
ポーラ線の番号ｌと位置ａを用いる代わりに、画像座標
(x',y')を用いて点を指定したのはこの理由による。エ
ピポーラ線の図形的配置は、本発明においては、与えら
れた視差値ｄをもつ点のマッチングコストを計算するた
めに間接的に用いられるのみであって、マッチング処理
には実際的な制約を与えない。
【００４１】本実施形態においては、最大フロー問題を
解くために、T.H.Cormen, C.E.Leiserson, R.L.Rivest
著「アルゴリズム序論」McGraw-Hill, New York, 1990
に記載されている前フロー・押し出しアルゴリズム(pre
flow-push algorithm)が用いられた。グラフにおける節
点の数は画像ピクセル数に距離解像度を乗算した値に等
しい。ｎピクセルのサイズ、すなわち、ほぼ、n1/2× n
1/2の寸法、およびｄステップの距離解像度の画像に対
して節点数Ｖ＝ｎｄである。解くべきグラフは３次元メ
ッシで各節点は６連結であるから、エッジ数Ｅ≒６Ｖで
ある。このことは、実際にはO(VE2),O(V2E),O(V3)のオ
ーダーで最大フローを解くアルゴリズムはこの問題に関
しては等価であることを意味する。現在、前フロー・押
し出しlift-to-frontアルゴリズム（それは、オーダーO
(V3)で最大フローを解く）のみがテストされているが、
他のアルゴリズムも良好に働くと考えられる。
解くために、T.H.Cormen, C.E.Leiserson, R.L.Rivest
著「アルゴリズム序論」McGraw-Hill, New York, 1990
に記載されている前フロー・押し出しアルゴリズム(pre
flow-push algorithm)が用いられた。グラフにおける節
点の数は画像ピクセル数に距離解像度を乗算した値に等
しい。ｎピクセルのサイズ、すなわち、ほぼ、n1/2× n
1/2の寸法、およびｄステップの距離解像度の画像に対
して節点数Ｖ＝ｎｄである。解くべきグラフは３次元メ
ッシで各節点は６連結であるから、エッジ数Ｅ≒６Ｖで
ある。このことは、実際にはO(VE2),O(V2E),O(V3)のオ
ーダーで最大フローを解くアルゴリズムはこの問題に関
しては等価であることを意味する。現在、前フロー・押
し出しlift-to-frontアルゴリズム（それは、オーダーO
(V3)で最大フローを解く）のみがテストされているが、
他のアルゴリズムも良好に働くと考えられる。
【００４２】画像の次元(dimensions)で言い表すなら
ば、O(V3)はO(n3d3)である。分離したエピポーラ線につ
いての標準のダイナミックプログラミング方式において
は、必要な全ランニング時間はO(nd)である。これは、O
(n3d3)よりもずっと良いと思われるかもしらないが、グ
ラフのトポロジー、ソースおよびシンクの位置、エッジ
容量の性質はすべて、問題を容易に解決する傾向にあ
る。図４および図５には、画像サイズｎ（ピクセル）、
距離解像度ｄの関数として本発明の代表的な仕様が示さ
れている。平均のランニング時間はO(nd1.4)のオーダー
である。この平均のランニング時間は画像サイズｎ（ピ
クセル）について線形でダイナミックプログラミング方
式に比較して有利である。図４および図５の放出および
リフトは前フロー・押し出しアルゴリズムの基本操作で
ある。また、同図中のランタイムとは、前フロー・押し
出しアルゴリズムを走らせるコンピュータ時間である。
ば、O(V3)はO(n3d3)である。分離したエピポーラ線につ
いての標準のダイナミックプログラミング方式において
は、必要な全ランニング時間はO(nd)である。これは、O
(n3d3)よりもずっと良いと思われるかもしらないが、グ
ラフのトポロジー、ソースおよびシンクの位置、エッジ
容量の性質はすべて、問題を容易に解決する傾向にあ
る。図４および図５には、画像サイズｎ（ピクセル）、
距離解像度ｄの関数として本発明の代表的な仕様が示さ
れている。平均のランニング時間はO(nd1.4)のオーダー
である。この平均のランニング時間は画像サイズｎ（ピ
クセル）について線形でダイナミックプログラミング方
式に比較して有利である。図４および図５の放出および
リフトは前フロー・押し出しアルゴリズムの基本操作で
ある。また、同図中のランタイムとは、前フロー・押し
出しアルゴリズムを走らせるコンピュータ時間である。
【００４３】最大フロー法によって得られた視差マップ
の対称性を表示するために、図６に示されているよう
な、視差ｄを０、４、および８ピクセルに設定した乱数
ドットステレオグラムに最大フロー法を適用した。
の対称性を表示するために、図６に示されているよう
な、視差ｄを０、４、および８ピクセルに設定した乱数
ドットステレオグラムに最大フロー法を適用した。
【００４４】図６において、向かって左および向かって
右の画像の中央部は８ピクセルだけずれている。外側は
０ピクセル、中間部は４ピクセルずれている。もし、こ
れらの画像を統合して立体視を構成すると、３段の浮き
上がった４角形の平面が生成される筈である。
右の画像の中央部は８ピクセルだけずれている。外側は
０ピクセル、中間部は４ピクセルずれている。もし、こ
れらの画像を統合して立体視を構成すると、３段の浮き
上がった４角形の平面が生成される筈である。
【００４５】図６の画像から最大フロー法および標準的
なステレオマッピング法によって生成された視差マップ
は、それぞれ、図７Ａおよび図７Ｂに示されている。図
からわかるように、マップは、主に、距離の不連続のと
ころで異なっている。最大フロー法の特徴は全方向で同
様な境界を示すことである（図７Ａ参照）。一方、標準
的なステレオマッチング法は、解が水平方向の計算によ
って得られ、鉛直方向の情報の寄与がないことのため
に、水平方向と鉛直方向とで非常に異なった形状を生成
する（図７Ｂ参照）。
なステレオマッピング法によって生成された視差マップ
は、それぞれ、図７Ａおよび図７Ｂに示されている。図
からわかるように、マップは、主に、距離の不連続のと
ころで異なっている。最大フロー法の特徴は全方向で同
様な境界を示すことである（図７Ａ参照）。一方、標準
的なステレオマッチング法は、解が水平方向の計算によ
って得られ、鉛直方向の情報の寄与がないことのため
に、水平方向と鉛直方向とで非常に異なった形状を生成
する（図７Ｂ参照）。
【００４６】図９Ａ−９Ｄは、図８Ａ、図８Ｂの潅木画
像をステレオマッチングアルゴリズムに入力して得られ
た１組の視差マップである。最大フローマップは図９
Ａ、図９Ｃに示され、標準のステレオマップは図９Ｂ、
図９Ｄに示されている。図９Ａ、図９Ｂは３２視差ステ
ップ解像度で、図９Ｃ、図９Ｄは１２８視差ステップ解
像度である。図８Ａ、図８Ｂの焼き印画像（長方形の画
像）はノンオクルージョンマッチである。
像をステレオマッチングアルゴリズムに入力して得られ
た１組の視差マップである。最大フローマップは図９
Ａ、図９Ｃに示され、標準のステレオマップは図９Ｂ、
図９Ｄに示されている。図９Ａ、図９Ｂは３２視差ステ
ップ解像度で、図９Ｃ、図９Ｄは１２８視差ステップ解
像度である。図８Ａ、図８Ｂの焼き印画像（長方形の画
像）はノンオクルージョンマッチである。
【００４７】注意すべきことは、最大フローマップ（図
９Ａ、図９Ｃ）は鋭く、かつ正確な距離不連続を抽出す
る傾向があるが、標準のステレオマップ（図９Ｂ、図９
Ｄ）は鉛直な距離不連続に沿って不自然構造（誤差マッ
チ）を生じることである。距離解像度のレベルは滑らか
さの異なるレベルを示している。最大フロー法は滑らか
さレベルが高い場合においても、２つの潅木構造の間の
間隙に寄生水平ラインを生じない。
９Ａ、図９Ｃ）は鋭く、かつ正確な距離不連続を抽出す
る傾向があるが、標準のステレオマップ（図９Ｂ、図９
Ｄ）は鉛直な距離不連続に沿って不自然構造（誤差マッ
チ）を生じることである。距離解像度のレベルは滑らか
さの異なるレベルを示している。最大フロー法は滑らか
さレベルが高い場合においても、２つの潅木構造の間の
間隙に寄生水平ラインを生じない。
【００４８】最も簡単な場合には、オクルージョンコス
トが正則なノンオクルードコストに等しい場合である。
この場合には、オクルージョンを抑えて表面滑らかさを
強調するためにオクルージョンコストは非常に高い値に
設定される。逆の極限の場合には意味のある解(non tri
vial solution)を得るために、オクルージョンコストは
出来るだけ小さい値、すなわち、定数１に設定される。
図１０Ａ、図１０Ｂ、図１０Ｃには、オクルージョンコ
ストが変化したとき、得られる視差マップがどのように
影響を受けるかが示されている。図１０Ａはcost=c>1の
場合、図１０Ｂはc>cost>1の場合、図１０Ｃはcost=1の
場合である。ｃは定数である。cost（オクルージョンコ
スト）の低下は距離不連続を助長するように働くことが
示されている。予期されるように、容量（オクルージョ
ンコスト）の低下は距離不連続を助長するように働く。
その結果、表面の滑らかさを犠牲にして対象物の鋭いエ
ッジを生成する。しかし、本発明の方法によって得られ
る距離マップの距離不連続は、滑らかさレベルの与えら
れ値に対して、他の方法によって得られる画像の距離不
連続よりも鋭いという傾向があることが観察されてい
る。この点において、本発明の方法は大部分の他の方法
とは非常に異なっている。というのは、他の方法では、
滑らかさレベルが高くなると、それにによって距離不連
続が鈍らされ、または失われるからである。
トが正則なノンオクルードコストに等しい場合である。
この場合には、オクルージョンを抑えて表面滑らかさを
強調するためにオクルージョンコストは非常に高い値に
設定される。逆の極限の場合には意味のある解(non tri
vial solution)を得るために、オクルージョンコストは
出来るだけ小さい値、すなわち、定数１に設定される。
図１０Ａ、図１０Ｂ、図１０Ｃには、オクルージョンコ
ストが変化したとき、得られる視差マップがどのように
影響を受けるかが示されている。図１０Ａはcost=c>1の
場合、図１０Ｂはc>cost>1の場合、図１０Ｃはcost=1の
場合である。ｃは定数である。cost（オクルージョンコ
スト）の低下は距離不連続を助長するように働くことが
示されている。予期されるように、容量（オクルージョ
ンコスト）の低下は距離不連続を助長するように働く。
その結果、表面の滑らかさを犠牲にして対象物の鋭いエ
ッジを生成する。しかし、本発明の方法によって得られ
る距離マップの距離不連続は、滑らかさレベルの与えら
れ値に対して、他の方法によって得られる画像の距離不
連続よりも鋭いという傾向があることが観察されてい
る。この点において、本発明の方法は大部分の他の方法
とは非常に異なっている。というのは、他の方法では、
滑らかさレベルが高くなると、それにによって距離不連
続が鈍らされ、または失われるからである。
【００４９】上記の記述は、全体として多カメラ１シー
ンに関して述べられているが、本発明は、実際には、共
通のシーンの任意の画像の系列に適用することができ
る。本発明は、また、ある１瞬間、または、ある期間に
亙って１つ、または複数のカメラによって撮られた１連
の画像に対しても適用することができる。例えば、同期
した複数の静止カメラが同時に画像を撮る場合、また
は、単一のカメラで、ある期間に亙って画像を撮る場
合、例えば、１つまたは複数の静止カメラで画像を撮り
ながら運動しているカメラまたは動作中のビデオカメラ
で画像を撮る場合に本発明を適用することができる。
ンに関して述べられているが、本発明は、実際には、共
通のシーンの任意の画像の系列に適用することができ
る。本発明は、また、ある１瞬間、または、ある期間に
亙って１つ、または複数のカメラによって撮られた１連
の画像に対しても適用することができる。例えば、同期
した複数の静止カメラが同時に画像を撮る場合、また
は、単一のカメラで、ある期間に亙って画像を撮る場
合、例えば、１つまたは複数の静止カメラで画像を撮り
ながら運動しているカメラまたは動作中のビデオカメラ
で画像を撮る場合に本発明を適用することができる。
【００５０】最後に、ピクセル値（強度）を成分とする
ベクトルを用いて意味のあるマッチングコストを導き出
す方法を記す。もし、表面がランバート状であるならば
（すなわち、表面反射率が光の方向に依存しないなら
ば）、ピクセル値のベクトルv(x',y',d)の成分であるピ
クセル強度は相互に同一である。この場合には、マッチ
ングコストc(x',y',d)は、ｎ成分ベクトルv(x',y',d)の
分散として定義される。すなわち、
ベクトルを用いて意味のあるマッチングコストを導き出
す方法を記す。もし、表面がランバート状であるならば
（すなわち、表面反射率が光の方向に依存しないなら
ば）、ピクセル値のベクトルv(x',y',d)の成分であるピ
クセル強度は相互に同一である。この場合には、マッチ
ングコストc(x',y',d)は、ｎ成分ベクトルv(x',y',d)の
分散として定義される。すなわち、
【００５１】
【数１４】 図13を参照すると、本発明の方法の全体を記述するフロ
ーチャートが示されている。具体的な場合として同図を
参照すると、２つのカメラ（カメラ１およびカメラ２）
は本発明の方法の最大フローアルゴリズムに入力する入
力画像を生成する（ステップ１３０１，ステップ１３０
２）。節点(u)の集合（u∈Ｖ）を設定し（ステップ１３
０６）、節点(u),(v)をリンクしてエッジ（(u,v)∈Ｅ）
を設定し（ステップ１３０８）、すべてのエッジ(u,v)
の容量(c(u,v))を設定する（ステップ１３１０）。ステ
ップ１３０６，１３０８，１３１０は全体でグラフ生成
ステップ１３０４を構成する。
ーチャートが示されている。具体的な場合として同図を
参照すると、２つのカメラ（カメラ１およびカメラ２）
は本発明の方法の最大フローアルゴリズムに入力する入
力画像を生成する（ステップ１３０１，ステップ１３０
２）。節点(u)の集合（u∈Ｖ）を設定し（ステップ１３
０６）、節点(u),(v)をリンクしてエッジ（(u,v)∈Ｅ）
を設定し（ステップ１３０８）、すべてのエッジ(u,v)
の容量(c(u,v))を設定する（ステップ１３１０）。ステ
ップ１３０６，１３０８，１３１０は全体でグラフ生成
ステップ１３０４を構成する。
【００５２】次に、標準のフロー法（前フロー・押出し
法）を用いてグラフの最大フローが定められる（ステッ
プ１３２０）。決定された最大フローから最小カットが
抽出される（ステップ１３３０）。視差表面（距離マッ
プ）が、抽出された最小カットから計算される（１３４
０）。最終視差表面はステップ１３４０において計算さ
れた視差表面から求められる（ステップ１３５０）。こ
の視差表面が求めるステレオ対応である。
法）を用いてグラフの最大フローが定められる（ステッ
プ１３２０）。決定された最大フローから最小カットが
抽出される（ステップ１３３０）。視差表面（距離マッ
プ）が、抽出された最小カットから計算される（１３４
０）。最終視差表面はステップ１３４０において計算さ
れた視差表面から求められる（ステップ１３５０）。こ
の視差表面が求めるステレオ対応である。
【００５３】以上、１つのシーンの２つまたはそれ以上
の視野間のステレオ対応を行う方法の実施形態を記述し
説明した。しかし、前掲の特許請求の範囲によって限定
される本発明の精神と教示から逸脱することなく上記の
実施形態を変更することができることは勿論のことであ
る。
の視野間のステレオ対応を行う方法の実施形態を記述し
説明した。しかし、前掲の特許請求の範囲によって限定
される本発明の精神と教示から逸脱することなく上記の
実施形態を変更することができることは勿論のことであ
る。
【図１】カメラ配置が与えられているとき、各画像点は
エピポーラ線に沿って動くように制限されていることを
示す図である。向かって左側の図は、２つのエピポーラ
線間にとられるマッチングがエピポーラ線の格子内のパ
スとして表されることを示す。向かって右側の図は、可
能なマッチングが、エピポーラ線上の位置ａと視差ｄと
を座標とする平面の視差曲線として表されることを示し
ている。
エピポーラ線に沿って動くように制限されていることを
示す図である。向かって左側の図は、２つのエピポーラ
線間にとられるマッチングがエピポーラ線の格子内のパ
スとして表されることを示す。向かって右側の図は、可
能なマッチングが、エピポーラ線上の位置ａと視差ｄと
を座標とする平面の視差曲線として表されることを示し
ている。
【図２】図１の１対のエピポーラ線によるステレオ対応
を、エピポーラ線の全体に適用して全画像のステレオ対
応に拡張することができることを説明する図である。
を、エピポーラ線の全体に適用して全画像のステレオ対
応に拡張することができることを説明する図である。
【図３】図２の定式化にソースとシンクを加えた３Ｄメ
ッシを示す図である。
ッシを示す図である。
【図４】画像サイズｎ（ピクセル）の関数として本発明
の代表的な仕様を示す図である。
の代表的な仕様を示す図である。
【図５】画像サイズｎ（ピクセル）の関数として本発明
の代表的な仕様を示す図である。
の代表的な仕様を示す図である。
【図６】視差ｄを０、４、および８ピクセルに設定した
乱数ドットステレオグラムの一例を示す図である。
乱数ドットステレオグラムの一例を示す図である。
【図７】図６の画像から生成された視差マップを示す図
で、（Ａ）は最大フロー法によって生成された視差マッ
プ、（Ｂ）は標準的なステレオマッピング法によって生
成された視差マップである。
で、（Ａ）は最大フロー法によって生成された視差マッ
プ、（Ｂ）は標準的なステレオマッピング法によって生
成された視差マップである。
【図８】ステレオマッチングアルゴリズムに入力するた
めの1対の潅木画像を示す図である。
めの1対の潅木画像を示す図である。
【図９】図９は、図８の潅木画像をステレオマッチング
アルゴリズムに入力して得られた１組の視差マップで、
（Ａ）、（Ｃ）は最大フローマップで（Ｂ）、（Ｄ）は
標準のステレオマップである。（Ａ）、（Ｂ）の解像度
は３２視差ステップで、（Ｃ）、（Ｄ）の解像度は１２
８視差ステップである。
アルゴリズムに入力して得られた１組の視差マップで、
（Ａ）、（Ｃ）は最大フローマップで（Ｂ）、（Ｄ）は
標準のステレオマップである。（Ａ）、（Ｂ）の解像度
は３２視差ステップで、（Ｃ）、（Ｄ）の解像度は１２
８視差ステップである。
【図１０】図１０は、オクルージョンコストが変化した
とき、得られる視差マップがどのように影響を受けるか
を示す図で、（Ａ）はcost=c>1の場合、（Ｂ）はc>cost
>1の場合、（Ｃ）はcost=1の場合である。cost（オクル
ージョンコスト）の低下は距離不連続を助長するように
働くことが示されている。
とき、得られる視差マップがどのように影響を受けるか
を示す図で、（Ａ）はcost=c>1の場合、（Ｂ）はc>cost
>1の場合、（Ｃ）はcost=1の場合である。cost（オクル
ージョンコスト）の低下は距離不連続を助長するように
働くことが示されている。
【図１１】本発明の全体的な枠組みを示す図である。
【図１２】標準的な水平両眼ステレオの一般的な枠組み
を示す図で、（Ａ）は基準視野Ｃ 0が正確に第1カメラＣ
1に一致する場合を示し、（Ｂ）は、基準視野をカメラ
Ｃ1とカメラＣ2から等距離に置いた場合を示す。
を示す図で、（Ａ）は基準視野Ｃ 0が正確に第1カメラＣ
1に一致する場合を示し、（Ｂ）は、基準視野をカメラ
Ｃ1とカメラＣ2から等距離に置いた場合を示す。
【図１３】本発明の方法の全体を記述するフローチャー
トである。
トである。
Claims (8)
- 【請求項１】 １つのシーンの、一連の多重視野画像か
ら該シーンの多重視野間のステレオ対応を得る方法にお
いて、 画像面のx'座標、y'座標、および視差の集合に対応する
節点を有し、画像面のx'軸、y'軸、および視差軸を座標
軸とする３次元メッシV*を構成しソースとシンクと３次
元メッシV*の節点との集合Ｖを構成し、 ３次元メッシV*内の節点を連結し、前記ソースを、前記
視差軸の方向に見て前記３次元メッシV*の前面に連結
し、および、前記視差軸の方向に見て前記３次元メッシ
V*の背面を前記シンクに連結してエッジの集合Ｅを生成
し、 前記３次元メッシV*内のエッジにはマッチングコストを
表すエッジ容量関数を設定し、 前記ソースを前記３次元メッシV*の前面に連結する少な
くとも１つのエッジを含む任意のカットの容量が、前記
ソースと前記シンクとを分離するように前記３次元メッ
シV*を通過するカットであって前記ソースと前記前面と
を連結するエッジをも前記シンクと前記背面とを連結す
るエッジをも含まない任意のカットの容量よりも大きく
なるように、前記ソースを前記３次元メッシV*の前面に
連結する何れのエッジの容量をも充分大きく設定し、 前記シンクを前記３次元メッシV*の背面に連結する少な
くとも１つのエッジを含む任意のカットの容量が、前記
ソースと前記シンクとを分離するように前記３次元メッ
シV*を通過するカットであって前記ソースと前記前面と
を連結するエッジをも前記シンクと前記背面とを連結す
るエッジをも含まない任意のカットの容量よりも大きく
なるように、前記３次元メッシV*の背面を前記シンクに
連結する何れのエッジの容量をも充分大きく設定し、 前記の処理によって生成されたグラフＧ（Ｖ、Ｅ）にお
ける最大フローを求め、 前記最大フローから前記グラフＧ（Ｖ、Ｅ）における最
小カットを抽出し、 前記最小カットから視差表面を計算することを特徴とす
る、多重視野間のステレオ対応を得るための最大フロー
方法。 - 【請求項２】 前記３次元メッシV*が６連結である請求
項１に記載の方法。 - 【請求項３】 前記節点の集合Ｖは Ｖ＝Ｖ*∪{s,t} であり、前記３次元メッシＶ*は Ｖ* = {(x',y',d): x'∈[0...xmax'], y'∈[0...
ymax'], d∈[0...dmax]} であり、前記エッジの集合Ｅは 【数１】 であり、前記節点の集合Ｖの任意の節点u,vを接続する
エッジ(u,v)の容量関数c(u,v)は 【数２】 であり、上式において、(xmax'+1,ymax'+1)は画像のサ
イズであり、dmax'+1は距離解像度であり、‖u-v‖は隣
接する節点を接続するエッジの長さであり、s,tはそれ
ぞれソース、シンクであり、reg(u,v)はオクルージョン
がないことを特徴づける、エッジ(u,v)に設定するマッ
チングコストであり、occ(u,v)はエッジ(u,v)に設定す
るオクルージョンコストであり、Δdは視差軸方向を向
くエッジ(u,v)の長さであり、Δx、Δyは画像面内のエ
ッジ(u,v)のそれぞれx'成分、y'成分である、請求項１
に記載の方法。 - 【請求項４】 前記一連の多重視野画像を複数のカメラ
によって得る請求項１に記載の方法。 - 【請求項５】 前記一連の多重視野画像を２以上のカメ
ラによって単一の瞬間に得る、請求項１に記載の方法。 - 【請求項６】 前記一連の多重視野画像を１または複数
のカメラによってある時間幅の間に得る請求項１に記載
の方法。 - 【請求項７】 前記一連の多重視野画像を運動している
１または複数のカメラによって得る、請求項１に記載の
方法。 - 【請求項８】 前記一連の多重視野画像を運動している
１または複数のカメラによって得る、請求項１に記載の
方法。
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US4366597P | 1997-04-11 | 1997-04-11 | |
| US60/043665 | 1997-11-26 | ||
| US08/978,834 US6046763A (en) | 1997-04-11 | 1997-11-26 | Maximum flow method for stereo correspondence |
| US08/978834 | 1997-11-26 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH117531A true JPH117531A (ja) | 1999-01-12 |
| JP3180757B2 JP3180757B2 (ja) | 2001-06-25 |
Family
ID=26720687
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP09921598A Expired - Fee Related JP3180757B2 (ja) | 1997-04-11 | 1998-04-10 | 多重視野間のステレオ対応を得るための最大フロー方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US6046763A (ja) |
| EP (1) | EP0871144A3 (ja) |
| JP (1) | JP3180757B2 (ja) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006285415A (ja) * | 2005-03-31 | 2006-10-19 | Sony Corp | 画像処理方法、その装置およびプログラム |
| JP2008146647A (ja) * | 2006-12-05 | 2008-06-26 | Fujifilm Corp | 画像処理方法および装置 |
| JP2010079505A (ja) * | 2008-09-25 | 2010-04-08 | Kddi Corp | 画像生成装置及びプログラム |
| JP2010121945A (ja) * | 2008-11-17 | 2010-06-03 | Nippon Hoso Kyokai <Nhk> | ３次元形状生成装置 |
| JP2010531490A (ja) * | 2007-06-20 | 2010-09-24 | トムソン ライセンシング | 画像のステレオ・マッチングのためのシステム及び方法 |
| JP2011504262A (ja) * | 2007-11-09 | 2011-02-03 | トムソン ライセンシング | 領域ベースのフィルタリングを使用する奥行マップ抽出のためのシステムおよび方法 |
| WO2017130546A1 (ja) * | 2016-01-29 | 2017-08-03 | Ｎｅｃソリューションイノベータ株式会社 | 画像処理装置、画像処理方法、及びコンピュータ読み取り可能な記録媒体 |
Families Citing this family (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2767404B1 (fr) * | 1997-08-12 | 1999-10-22 | Matra Systemes Et Information | Procede de production de donnees cartographiques par stereovision |
| US6507661B1 (en) * | 1999-04-20 | 2003-01-14 | Nec Research Institute, Inc. | Method for estimating optical flow |
| US6868191B2 (en) * | 2000-06-28 | 2005-03-15 | Telefonaktiebolaget Lm Ericsson (Publ) | System and method for median fusion of depth maps |
| US20030206652A1 (en) * | 2000-06-28 | 2003-11-06 | David Nister | Depth map creation through hypothesis blending in a bayesian framework |
| US6751345B2 (en) | 2001-02-12 | 2004-06-15 | Koninklijke Philips Electronics N.V. | Method and apparatus for improving object boundaries extracted from stereoscopic images |
| US7444013B2 (en) * | 2001-08-10 | 2008-10-28 | Stmicroelectronics, Inc. | Method and apparatus for recovering depth using multi-plane stereo and spatial propagation |
| US7515173B2 (en) * | 2002-05-23 | 2009-04-07 | Microsoft Corporation | Head pose tracking system |
| US6847728B2 (en) * | 2002-12-09 | 2005-01-25 | Sarnoff Corporation | Dynamic depth recovery from multiple synchronized video streams |
| KR100503820B1 (ko) * | 2003-01-30 | 2005-07-27 | 학교법인 포항공과대학교 | 시스톨릭 어레이를 이용한 멀티레이어 실시간 입체 영상정합 시스템 및 방법 |
| US7428330B2 (en) * | 2003-05-02 | 2008-09-23 | Microsoft Corporation | Cyclopean virtual imaging via generalized probabilistic smoothing |
| US7809183B2 (en) * | 2003-10-08 | 2010-10-05 | Microsoft Corporation | Gaze manipulation |
| EP1694821B1 (en) * | 2003-12-11 | 2017-07-05 | Strider Labs, Inc. | Probable reconstruction of surfaces in occluded regions by computed symmetry |
| CA2511040A1 (en) * | 2004-09-23 | 2006-03-23 | The Governors Of The University Of Alberta | Method and system for real time image rendering |
| EP1964412B1 (en) * | 2005-12-21 | 2019-02-20 | Telecom Italia S.p.A. | Method for determining dense disparity fields in stereo vision |
| US8280149B2 (en) | 2007-09-11 | 2012-10-02 | Motorola Solutions, Inc. | Method and apparatus to facilitate processing a stereoscopic image using first and second images to facilitate computing a depth/disparity image |
| CN100592338C (zh) * | 2008-02-03 | 2010-02-24 | 四川虹微技术有限公司 | 多视角视频图像深度搜索方法及深度估计方法 |
| WO2009145749A1 (en) * | 2008-05-28 | 2009-12-03 | Thomson Licensing | System and method for depth extraction of images with forward and backward depth prediction |
| US9406132B2 (en) | 2010-07-16 | 2016-08-02 | Qualcomm Incorporated | Vision-based quality metric for three dimensional video |
| US8428342B2 (en) | 2010-08-12 | 2013-04-23 | At&T Intellectual Property I, L.P. | Apparatus and method for providing three dimensional media content |
| US9229106B2 (en) | 2010-08-13 | 2016-01-05 | Ryan Dotson | Enhancement of range measurement resolution using imagery |
| KR101792501B1 (ko) * | 2011-03-16 | 2017-11-21 | 한국전자통신연구원 | 특징기반의 스테레오 매칭 방법 및 장치 |
| US9228833B2 (en) * | 2012-06-28 | 2016-01-05 | GM Global Technology Operations LLC | Wide baseline binocular object matching method using minimal cost flow network |
| US9571819B1 (en) * | 2014-09-16 | 2017-02-14 | Google Inc. | Efficient dense stereo computation |
| CA2995857C (en) | 2015-11-05 | 2019-02-12 | Google Llc | Edge-aware bilateral image processing |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5383013A (en) * | 1992-09-18 | 1995-01-17 | Nec Research Institute, Inc. | Stereoscopic computer vision system |
| DE19548452C1 (de) * | 1995-12-22 | 1997-02-20 | Siemens Ag | Verfahren zur rechnergestützten Bewegungsschätzung für Bildpunkte zeitlich aufeinander folgender Bilder einer Videosequenz |
| US5917937A (en) * | 1997-04-15 | 1999-06-29 | Microsoft Corporation | Method for performing stereo matching to recover depths, colors and opacities of surface elements |
-
1997
- 1997-11-26 US US08/978,834 patent/US6046763A/en not_active Expired - Lifetime
-
1998
- 1998-04-09 EP EP98250129A patent/EP0871144A3/en not_active Withdrawn
- 1998-04-10 JP JP09921598A patent/JP3180757B2/ja not_active Expired - Fee Related
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006285415A (ja) * | 2005-03-31 | 2006-10-19 | Sony Corp | 画像処理方法、その装置およびプログラム |
| JP2008146647A (ja) * | 2006-12-05 | 2008-06-26 | Fujifilm Corp | 画像処理方法および装置 |
| JP2010531490A (ja) * | 2007-06-20 | 2010-09-24 | トムソン ライセンシング | 画像のステレオ・マッチングのためのシステム及び方法 |
| JP2011504262A (ja) * | 2007-11-09 | 2011-02-03 | トムソン ライセンシング | 領域ベースのフィルタリングを使用する奥行マップ抽出のためのシステムおよび方法 |
| US8411934B2 (en) | 2007-11-09 | 2013-04-02 | Thomson Licensing | System and method for depth map extraction using region-based filtering |
| JP2010079505A (ja) * | 2008-09-25 | 2010-04-08 | Kddi Corp | 画像生成装置及びプログラム |
| JP2010121945A (ja) * | 2008-11-17 | 2010-06-03 | Nippon Hoso Kyokai <Nhk> | ３次元形状生成装置 |
| WO2017130546A1 (ja) * | 2016-01-29 | 2017-08-03 | Ｎｅｃソリューションイノベータ株式会社 | 画像処理装置、画像処理方法、及びコンピュータ読み取り可能な記録媒体 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3180757B2 (ja) | 2001-06-25 |
| EP0871144A3 (en) | 2002-11-13 |
| EP0871144A2 (en) | 1998-10-14 |
| US6046763A (en) | 2000-04-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3180757B2 (ja) | 多重視野間のステレオ対応を得るための最大フロー方法 | |
| Roy et al. | A maximum-flow formulation of the n-camera stereo correspondence problem | |
| Roy | Stereo without epipolar lines: A maximum-flow formulation | |
| US8009897B2 (en) | Method and apparatus for image matching | |
| Mulligan et al. | Trinocular stereo: A real-time algorithm and its evaluation | |
| Cheng et al. | Spatio-temporally consistent novel view synthesis algorithm from video-plus-depth sequences for autostereoscopic displays | |
| Bhavsar et al. | Resolution enhancement in multi-image stereo | |
| JP2010502945A (ja) | 画像から奥行きマップを決定する方法、奥行きマップを決定する装置 | |
| Du et al. | Changing perspective in stereoscopic images | |
| KR20070009899A (ko) | 다중 스테레오 카메라를 이용한 3차원 모델링 장치 및 그방법 | |
| CN110853151A (zh) | 一种基于视频的三维立体点集恢复方法 | |
| WO2019082797A1 (ja) | 再構成方法および再構成装置 | |
| Ceulemans et al. | Robust multiview synthesis for wide-baseline camera arrays | |
| Liao et al. | Natural image stitching using depth maps | |
| Izquierdo et al. | Image-based rendering and 3D modeling: A complete framework | |
| Mulligan et al. | Stereo-based environment scanning for immersive telepresence | |
| KR19990070445A (ko) | 여러대의 카메라 입력 영상을 이용한 조밀한 깊이정보 추출방법및 그를 이용한 중간영상 합성방법 | |
| KR20160085708A (ko) | 멀티뷰 영상들에 대한 슈퍼픽셀들을 생성하기 위한 방법 및 장치 | |
| Kompatsiaris et al. | 3-D model-based segmentation of videoconference image sequences | |
| Seitner et al. | Trifocal system for high-quality inter-camera mapping and virtual view synthesis | |
| Agrawal et al. | Trinocular stereo using shortest paths and the ordering constraint | |
| Zhou et al. | New eye contact correction using radial basis function for wide baseline videoconference system | |
| Bokov et al. | Multilayer RGBD-Video Completion for Hole Filling in 3D-View Synthesis | |
| Dou et al. | High Quality Texture Mapping for Multi-view Reconstruction | |
| Wang et al. | Region-based stereo panorama disparity adjusting |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080420 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090420 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100420 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110420 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120420 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120420 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130420 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130420 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140420 Year of fee payment: 13 |
|
| LAPS | Cancellation because of no payment of annual fees |