JP3080141B2 - 三次元画像の評価方法 - Google Patents
三次元画像の評価方法Info
- Publication number
- JP3080141B2 JP3080141B2 JP08072356A JP7235696A JP3080141B2 JP 3080141 B2 JP3080141 B2 JP 3080141B2 JP 08072356 A JP08072356 A JP 08072356A JP 7235696 A JP7235696 A JP 7235696A JP 3080141 B2 JP3080141 B2 JP 3080141B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- amount
- sum
- histogram
- scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/147—Details of sensors, e.g. sensor lenses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/12—Acquisition of 3D measurements of objects
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Vascular Medicine (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【０００１】発明の属する技術分野 本発明は、コンピュータビジョン、より詳しくは、光景
に関する複数の二次元画像から前記光景に関する三次元
画像を抽出するためのコンピュータの利用乃至は対象物
の相異なる視点の方向における変化を知ることによる他
の利用方法に関する。
に関する複数の二次元画像から前記光景に関する三次元
画像を抽出するためのコンピュータの利用乃至は対象物
の相異なる視点の方向における変化を知ることによる他
の利用方法に関する。
【０００２】従来の技術 光景乃至は対象物に関する二次元画像から光景乃至は対
象物に関する三次元画像を再構築するための探索を行う
コンピュータビジョンシステムにおいて、重要なパラメ
ータは、当該光景の相異なる視野の視点における変化で
ある。当該光景の二つの画像が、例えばノイズから生じ
るような、エゴモーションと呼ばれる当該光景を記録す
るカメラの未知の回転及び翻訳を含む二つの視野を表し
ているとき、三次元画像を忠実に再構築するためには、
かなりのコンピューティングが含まれる。三次元画像の
忠実な再構築は、例えば、ナビゲーションにおける移動
量の評価、ビデオのモザイクがけ、対象物の二つの二次
元画像から三次元画像を抽出すること、光景の相違する
部分の多くの視野を積分して光景全体の一つの視野にす
ること、等多くの応用に有効であることが、ＡＲＡＰイ
メージアンダースタンディングワークショップ１９９４
のＰｒｏｃにおける“マルチビューからの形状の回復：
パララックスベースのアプローチ”と題されたＲ．Ｋｕ
ｍａｒ等の文献に記載されている。
象物に関する三次元画像を再構築するための探索を行う
コンピュータビジョンシステムにおいて、重要なパラメ
ータは、当該光景の相異なる視野の視点における変化で
ある。当該光景の二つの画像が、例えばノイズから生じ
るような、エゴモーションと呼ばれる当該光景を記録す
るカメラの未知の回転及び翻訳を含む二つの視野を表し
ているとき、三次元画像を忠実に再構築するためには、
かなりのコンピューティングが含まれる。三次元画像の
忠実な再構築は、例えば、ナビゲーションにおける移動
量の評価、ビデオのモザイクがけ、対象物の二つの二次
元画像から三次元画像を抽出すること、光景の相違する
部分の多くの視野を積分して光景全体の一つの視野にす
ること、等多くの応用に有効であることが、ＡＲＡＰイ
メージアンダースタンディングワークショップ１９９４
のＰｒｏｃにおける“マルチビューからの形状の回復：
パララックスベースのアプローチ”と題されたＲ．Ｋｕ
ｍａｒ等の文献に記載されている。
【０００３】一つの光景の二つの画像フレームからエゴ
モーションと構造フォームを評価する問題は、コンピュ
ータビジョンにおいて長く研究されてきた。初期の頃か
ら構造と動きのアルゴリズムを二つの明瞭な分類に分け
る試みがあった。第一は、フィーチャベースのものであ
り、これは、前記の二つの画像フレーム間には既知の数
のフィーチャ対応があると仮定するものである。理論的
には、構造と動きの問題を解決するためにフィーチャ対
応はほとんど必要無いが、このアプローチは大変ノイズ
に敏感であり、安定した解を得るためには実際多くの対
応が必要である。更に、フィーチャ対応を一概には認識
できず、これらを発見するのが困難であるケースがしば
しばである。第二のアプローチは、正確なフィーチャ対
応は必要でない構造と動きの評価の直接的方法の分類を
含む。このアプローチを用いた解法は、広く二つの主な
サブクラスに分類され得る。問題にアプローチする一つ
のサブクラスは、第一に、含まれるフレームの光の流れ
場の知識を開発することである。第二のサブクラスは、
コンピュータビジョン、第２巻、１９８８、５１−７６
頁における“動き回復の直接的方法”と題されたＢ．
Ｋ．Ｐ．ＨｏｒｎｅとＥ．Ｊ．Ｗｅｌｄｏｎ，Ｊｒの文
献に記載されているように、構造と動きの解を直接開発
するための明度変化の束縛式を開拓することである。
モーションと構造フォームを評価する問題は、コンピュ
ータビジョンにおいて長く研究されてきた。初期の頃か
ら構造と動きのアルゴリズムを二つの明瞭な分類に分け
る試みがあった。第一は、フィーチャベースのものであ
り、これは、前記の二つの画像フレーム間には既知の数
のフィーチャ対応があると仮定するものである。理論的
には、構造と動きの問題を解決するためにフィーチャ対
応はほとんど必要無いが、このアプローチは大変ノイズ
に敏感であり、安定した解を得るためには実際多くの対
応が必要である。更に、フィーチャ対応を一概には認識
できず、これらを発見するのが困難であるケースがしば
しばである。第二のアプローチは、正確なフィーチャ対
応は必要でない構造と動きの評価の直接的方法の分類を
含む。このアプローチを用いた解法は、広く二つの主な
サブクラスに分類され得る。問題にアプローチする一つ
のサブクラスは、第一に、含まれるフレームの光の流れ
場の知識を開発することである。第二のサブクラスは、
コンピュータビジョン、第２巻、１９８８、５１−７６
頁における“動き回復の直接的方法”と題されたＢ．
Ｋ．Ｐ．ＨｏｒｎｅとＥ．Ｊ．Ｗｅｌｄｏｎ，Ｊｒの文
献に記載されているように、構造と動きの解を直接開発
するための明度変化の束縛式を開拓することである。
【０００４】発明の概要 本発明は、その光景と関連付けた三次元回転空間内を探
索することに基づいた光景の一対の二次元画像又はカメ
ラフレーム間の回転するエゴモーションを評価するため
の直接的方法を含む。この方法は、各エゴモーションが
相互に関連して評価され得るような画像のプロパティが
存在し、その結果特定のエゴモーションが三次元画像表
現に用いるのに最適なものとして特定され得る場合にの
み可能である。
索することに基づいた光景の一対の二次元画像又はカメ
ラフレーム間の回転するエゴモーションを評価するため
の直接的方法を含む。この方法は、各エゴモーションが
相互に関連して評価され得るような画像のプロパティが
存在し、その結果特定のエゴモーションが三次元画像表
現に用いるのに最適なものとして特定され得る場合にの
み可能である。
【０００５】本発明の特徴は、対応すると想定され得る
表極線に沿って計算される画素密度のヒストグラムのプ
ロパティを新規に使用したことである。これらの有用な
プロパティは、第１に一定の画像明度の仮定に依存し、
その結果対応する表極線のヒストグラムはかみ合わない
（ふさぐのを無視）こと及び略対応する表極線のヒスト
グラムは類似しており、この類似は当該画像における空
間的相関を提供する機能となることを想定させる。画像
明度におけるバリエーションを補償するために用いら
れ、それによって上記想定を満足させ得るヒストグラム
の正規化のような有用な技術がある。
表極線に沿って計算される画素密度のヒストグラムのプ
ロパティを新規に使用したことである。これらの有用な
プロパティは、第１に一定の画像明度の仮定に依存し、
その結果対応する表極線のヒストグラムはかみ合わない
（ふさぐのを無視）こと及び略対応する表極線のヒスト
グラムは類似しており、この類似は当該画像における空
間的相関を提供する機能となることを想定させる。画像
明度におけるバリエーションを補償するために用いら
れ、それによって上記想定を満足させ得るヒストグラム
の正規化のような有用な技術がある。
【０００６】２つの表極線の２つのヒストグラム間の相
違は２つの表極線が真に対応する時に最小であり、２つ
の表極線間の誤整列の度合いに従って増加する、という
プロパティは、三次元表極線探索として通常の態様で評
価されるように２つの表極線間の回転運動を許す。
違は２つの表極線が真に対応する時に最小であり、２つ
の表極線間の誤整列の度合いに従って増加する、という
プロパティは、三次元表極線探索として通常の態様で評
価されるように２つの表極線間の回転運動を許す。
【０００７】従って、離間して配された２つの視点から
得られる同一のシーンの２つのカメラフレーム間の合計
は、以下のように、有効に評価され得る。第１に、純粋
な回転の総計は視点の相違に含まれると仮定され、その
仮定に基づいて、既知の方法によって２つのフレームの
ために表極線が引きだされる。各フレームのために、た
くさんの対応する表極線に沿った画素密度のヒストグラ
ムが引きだされる。２つのフレームから、選択された数
の表極線それぞれのために対応する表極線のヒストグラ
ム間の四角形の相違の合計が引きだされ、これは回転の
合計を特に想定するための有用な形状として役立つ。こ
のプロセスは回転の合計が相違するだけ繰り返され、ま
た適当な探索、例えば、グラジエント降下又はピラミッ
ド化が、有用な形状の最低値を提供する想定された回転
を発見するために実行される。そのように想定された回
転の合計は、シーンの三次元画像表現を引き出すために
フレームの以後のプロセスにおいて実際の回転の合計と
して扱われる。２つの視点の分離又は翻訳が重要である
段階において、回転の合計を求めるために上記手続きを
繰り返すことによって、分離又は翻訳の合計を近似する
ことが望ましい。第１に翻訳を評価し、その後にエゴモ
ーションの回転を評価するのが好ましい。
得られる同一のシーンの２つのカメラフレーム間の合計
は、以下のように、有効に評価され得る。第１に、純粋
な回転の総計は視点の相違に含まれると仮定され、その
仮定に基づいて、既知の方法によって２つのフレームの
ために表極線が引きだされる。各フレームのために、た
くさんの対応する表極線に沿った画素密度のヒストグラ
ムが引きだされる。２つのフレームから、選択された数
の表極線それぞれのために対応する表極線のヒストグラ
ム間の四角形の相違の合計が引きだされ、これは回転の
合計を特に想定するための有用な形状として役立つ。こ
のプロセスは回転の合計が相違するだけ繰り返され、ま
た適当な探索、例えば、グラジエント降下又はピラミッ
ド化が、有用な形状の最低値を提供する想定された回転
を発見するために実行される。そのように想定された回
転の合計は、シーンの三次元画像表現を引き出すために
フレームの以後のプロセスにおいて実際の回転の合計と
して扱われる。２つの視点の分離又は翻訳が重要である
段階において、回転の合計を求めるために上記手続きを
繰り返すことによって、分離又は翻訳の合計を近似する
ことが望ましい。第１に翻訳を評価し、その後にエゴモ
ーションの回転を評価するのが好ましい。
【０００８】本発明は、添付図面と共に以下の詳細な説
明からより良く理解されるであろう。
明からより良く理解されるであろう。
【０００９】発明の詳細な説明 本発明の実施形態を詳細に説明する前に、図１の助けを
借りて表極線幾何学におけるいくらかの背景を提供する
のが助けとなろう。この目的のため、まず、１つのシー
ンのわずかに相違するビュー間の表極線関係を述べる単
純な数学を概観していただきたい。斜め映写で、カメラ
Ａ（図示せず）の映写面１２における下記の数１式に示
す映写点は、異なる深さＺａを持つ三次元の点Ｐａ（Ｚ
ａ）の線１４の映写になり得る。
借りて表極線幾何学におけるいくらかの背景を提供する
のが助けとなろう。この目的のため、まず、１つのシー
ンのわずかに相違するビュー間の表極線関係を述べる単
純な数学を概観していただきたい。斜め映写で、カメラ
Ａ（図示せず）の映写面１２における下記の数１式に示
す映写点は、異なる深さＺａを持つ三次元の点Ｐａ（Ｚ
ａ）の線１４の映写になり得る。
【００１０】
【数１】 また、以下の数２式が導かれる。
【００１１】
【数２】 ここにｆは焦点距離、カメラＢ（図示せず）の映写面１
６に上記諸点を映写することは、表極線１８を構成する
下記数３式に示す一群の点を提供する。
６に上記諸点を映写することは、表極線１８を構成する
下記数３式に示す一群の点を提供する。
【００１２】
【数３】 また、以下の数４式が導かれる。
【００１３】
【数４】 ここにＴａｂは二つのカメラ間のコーディネイト変形を
表す。
表す。
【００１４】また、以下の数５式が導かれる。
【００１５】
【数５】 ここにｔｉｊは行列Ｔａｂの要素（ｉ，ｊ）である。そ
して、映写行列Ｊは以下の数６式で定義される。
して、映写行列Ｊは以下の数６式で定義される。
【００１６】
【数６】 また、以下の数７式が成り立つならば、数７式で定義さ
れるＰ は点Ｐの映写コーディネイト表現であり、Ｐｔ
は以下の数８式で定義される。
れるＰ は点Ｐの映写コーディネイト表現であり、Ｐｔ
は以下の数８式で定義される。
【００１７】
【数７】
【００１８】
【数８】 画像点Ｐ´ａの変位は、二つの要素に分解され得る。第
１の要素は変位の回転部分であり、以下の数９式で定義
される。
１の要素は変位の回転部分であり、以下の数９式で定義
される。
【００１９】
【数９】 また、第２の要素は表極線ベクトル、又は変位の翻訳部
分であり、以下の数１０式で定義される。
分であり、以下の数１０式で定義される。
【００２０】
【数１０】 ここに、ＺｍｉｎはＰａに期待される最小深さである。
これらの要素は以下の数１１式で定義される単純な関係
を引き出すために用いられる。
これらの要素は以下の数１１式で定義される単純な関係
を引き出すために用いられる。
【００２１】
【数１１】 ここに、ｃは表極線ベクトルに沿った不均衡である。方
程式（１）（２）は回転の変位は独立した距離であり、
翻訳の変位は、図２に示すように、距離に逆比例する合
計によって表極線に沿って点をシフトさせる。
程式（１）（２）は回転の変位は独立した距離であり、
翻訳の変位は、図２に示すように、距離に逆比例する合
計によって表極線に沿って点をシフトさせる。
【００２２】表極線幾何学のより詳細な議論はＰＲＯ
Ｃ．ＩＥＥＥ ３ｒｄ ワークショップ オン コンピ
ュータビジョンレプリゼンテーションアンドコントロー
ル、第２巻、１９８５、１６８−１７８頁における“表
極線画像解析：動きシーケンスの解析技術”と題された
Ｒ．Ｃ．ＢｏｌｌｅｓとＨ．Ｈ．Ｂａｋｅｒの文献に記
載されている。この背景をもって、本発明の理論的基礎
を置くことができる。
Ｃ．ＩＥＥＥ ３ｒｄ ワークショップ オン コンピ
ュータビジョンレプリゼンテーションアンドコントロー
ル、第２巻、１９８５、１６８−１７８頁における“表
極線画像解析：動きシーケンスの解析技術”と題された
Ｒ．Ｃ．ＢｏｌｌｅｓとＨ．Ｈ．Ｂａｋｅｒの文献に記
載されている。この背景をもって、本発明の理論的基礎
を置くことができる。
【００２３】先に述べたヒストグラムの第１のプロパテ
ィと一致するように、一定の明度の束縛の適用、即ち、
カメラの動きによっても画像点の明度が不変であるとい
うこと（１）及びかみ合いの数は小さいということ
（２）を仮定するならば、２つの表極線は本質的に等し
い画素密度を含み、それらの位置は深さによってのみ変
わるので、２つの対応する表極線の密度ヒストグラムは
同一になるということは明らかである。
ィと一致するように、一定の明度の束縛の適用、即ち、
カメラの動きによっても画像点の明度が不変であるとい
うこと（１）及びかみ合いの数は小さいということ
（２）を仮定するならば、２つの表極線は本質的に等し
い画素密度を含み、それらの位置は深さによってのみ変
わるので、２つの対応する表極線の密度ヒストグラムは
同一になるということは明らかである。
【００２４】図２に示すように、その回転あるいは翻訳
成分のいずれかにおいてカメラの動きが小さな変化を含
むケースを考える。その結果、方程式（３）における表
極線は、誤りとなるが、真の表極線に近いものとなる。
成分のいずれかにおいてカメラの動きが小さな変化を含
むケースを考える。その結果、方程式（３）における表
極線は、誤りとなるが、真の表極線に近いものとなる。
【００２５】このことは、先に述べたヒストグラムの第
２のプロパティの使用を用意させる。
２のプロパティの使用を用意させる。
【００２６】一定の明度の束縛の適用（１）及びかみ合
いの数は小さいということ（２）を仮定するならば、一
対の真に対応する表極線に空間的に近い２つの疑似表極
線の強度ヒストグラムは同様の（四角形の相違の合計と
いう意味）ヒストグラムを持つ。２つの疑似表極ヒスト
グラム間の相違は、表極線が真の表極形状に対応し、回
転誤差のサイズと共に漸次略増加する時、最小である。
このプロパティが自然画像に一般的に適用されること
は、以下のように、演繹される。画像強度は空間的に高
い相関を有することは良く知られている。図３に述べる
ように、カメラの変位Ｔａｂにおける小さな誤差は、画
像Ａにおける点Ｐ´ａを下記数１２式で示される真の表
極線に空間的に近い点に映写させる。
いの数は小さいということ（２）を仮定するならば、一
対の真に対応する表極線に空間的に近い２つの疑似表極
線の強度ヒストグラムは同様の（四角形の相違の合計と
いう意味）ヒストグラムを持つ。２つの疑似表極ヒスト
グラム間の相違は、表極線が真の表極形状に対応し、回
転誤差のサイズと共に漸次略増加する時、最小である。
このプロパティが自然画像に一般的に適用されること
は、以下のように、演繹される。画像強度は空間的に高
い相関を有することは良く知られている。図３に述べる
ように、カメラの変位Ｔａｂにおける小さな誤差は、画
像Ａにおける点Ｐ´ａを下記数１２式で示される真の表
極線に空間的に近い点に映写させる。
【００２７】
【数１２】 上記誤差が小さくなればなるほど、この点は下記数１３
式で示される点に近くなる。
式で示される点に近くなる。
【００２８】
【数１３】 局所の画像を結合させることは、誤差対応の強度値が真
の表極線のどこかに存在する真の強度値に近くなること
を保証する。
の表極線のどこかに存在する真の強度値に近くなること
を保証する。
【００２９】第２のプロパティを保持しない人工画像を
構成することは容易であるが、これらは決して自然のも
のではない。例えば、回転不変の円の画像は、回転のｚ
成分を評価させない。しかしながら、一般にこのプロパ
ティは画像の多くに保持されていると信じられている。
構成することは容易であるが、これらは決して自然のも
のではない。例えば、回転不変の円の画像は、回転のｚ
成分を評価させない。しかしながら、一般にこのプロパ
ティは画像の多くに保持されていると信じられている。
【００３０】回転誤差と翻訳誤差の両結果（それぞれ図
３Ａ、図３Ｂ）を比較することによって、翻訳誤差は、
通常、真の表極線からの変位は回転誤差のそれよりも少
ない。翻訳誤差からの変位の大きさは、当該シーンにお
ける対象物の最小深さによって、“逆スケール”である
が、回転誤差からの変位の大きさはそうではない（方程
式（１）と（２）を見よ）。
３Ａ、図３Ｂ）を比較することによって、翻訳誤差は、
通常、真の表極線からの変位は回転誤差のそれよりも少
ない。翻訳誤差からの変位の大きさは、当該シーンにお
ける対象物の最小深さによって、“逆スケール”である
が、回転誤差からの変位の大きさはそうではない（方程
式（１）と（２）を見よ）。
【００３１】これは、対象物が近すぎないならば、回転
誤差は常に翻訳誤差よりも大きなインパクトを持つこと
を意味する。全対象物が（無限の）背景にあるような限
界事例では、翻訳誤差は全く変位を生じない。
誤差は常に翻訳誤差よりも大きなインパクトを持つこと
を意味する。全対象物が（無限の）背景にあるような限
界事例では、翻訳誤差は全く変位を生じない。
【００３２】上記相関から重要な結論が引き出せる。翻
訳誤差が通常生じる真の表極線からの変位の合計は“無
視”し得るものである。このように、通常の事例では、
すべての点の変位は回転誤差により生じる。後で、通常
の事例について、適当なアプローチを試みる。
訳誤差が通常生じる真の表極線からの変位の合計は“無
視”し得るものである。このように、通常の事例では、
すべての点の変位は回転誤差により生じる。後で、通常
の事例について、適当なアプローチを試みる。
【００３３】この理論的背景を下に、本発明の方法につ
いて、以下に記載する。
いて、以下に記載する。
【００３４】図４は、離間して配された２つのカメラ又
はその２つのフレームを記録するために動かされた１つ
のカメラのいずれかにより撮られたひとつのシーンの２
つのフレーム間の未知の回転の合計を求めるための方法
を示すフローチャートである。この目的のため、より典
型的な事例であるが、一定の画像明度を想定する。フロ
ーチャートで述べられるように、第１のステップ４１
は、回転の近似値を想定し、これを元に、２つのフレー
ムの対応する表極線を引き出す。典型的にはフレームの
表極線の少なくとも４分の１、好ましくは当該フレーム
で用いられた略全表極線というように、沢山のそのよう
な表極線が引き出される。ノイズへの敏感さを減じると
いう理由から、引き出される表極線の数が増えれば、正
確さも増す。そして、第２のステップ４２として、２つ
のフレームの選択された対応する表極線対に沿って、画
素の明暗度のヒストグラムが用意される。続いて、第３
のステップ４３として、対応する表極線対それぞれのた
めに、そのような表極線対のヒストグラムから四角形の
相違の合計が分離抽出される。そして、ステップ４４と
して、すべての表極線対の四角形の相違の合計を総計し
たものが、回転の合計の有用な形状に用いるために求め
られる。このプロセスが、想定された相違する回転の合
計ごとに繰り返される。第２の有用な形状が第１のもの
よりも小さいならば、想定されたより大きい回転の合計
まで、繰り返される。第２の有用な形状が第１のものよ
りも大きいならば、元の合計よりも小さい想定された回
転の合計まで、繰り返される。グラジエント降下探索で
も同様に、このプロセスが、有用な形状の最小あるいは
最小近くで歩留まる回転が見出されるまで繰り返され
る。そのような最小で歩留まる回転の合計は、本質的に
回転の真の合計である。一旦回転の合計が既知となれ
ば、これは１つのシーンの２つのフレームに関する既知
の態様に当該シーンの極めて正確な３次元画像表現を構
成するために用いることができる。
はその２つのフレームを記録するために動かされた１つ
のカメラのいずれかにより撮られたひとつのシーンの２
つのフレーム間の未知の回転の合計を求めるための方法
を示すフローチャートである。この目的のため、より典
型的な事例であるが、一定の画像明度を想定する。フロ
ーチャートで述べられるように、第１のステップ４１
は、回転の近似値を想定し、これを元に、２つのフレー
ムの対応する表極線を引き出す。典型的にはフレームの
表極線の少なくとも４分の１、好ましくは当該フレーム
で用いられた略全表極線というように、沢山のそのよう
な表極線が引き出される。ノイズへの敏感さを減じると
いう理由から、引き出される表極線の数が増えれば、正
確さも増す。そして、第２のステップ４２として、２つ
のフレームの選択された対応する表極線対に沿って、画
素の明暗度のヒストグラムが用意される。続いて、第３
のステップ４３として、対応する表極線対それぞれのた
めに、そのような表極線対のヒストグラムから四角形の
相違の合計が分離抽出される。そして、ステップ４４と
して、すべての表極線対の四角形の相違の合計を総計し
たものが、回転の合計の有用な形状に用いるために求め
られる。このプロセスが、想定された相違する回転の合
計ごとに繰り返される。第２の有用な形状が第１のもの
よりも小さいならば、想定されたより大きい回転の合計
まで、繰り返される。第２の有用な形状が第１のものよ
りも大きいならば、元の合計よりも小さい想定された回
転の合計まで、繰り返される。グラジエント降下探索で
も同様に、このプロセスが、有用な形状の最小あるいは
最小近くで歩留まる回転が見出されるまで繰り返され
る。そのような最小で歩留まる回転の合計は、本質的に
回転の真の合計である。一旦回転の合計が既知となれ
ば、これは１つのシーンの２つのフレームに関する既知
の態様に当該シーンの極めて正確な３次元画像表現を構
成するために用いることができる。
【００３５】代替的には、まず適当な値を発見するため
に粗い探索を始め、その後、前の探索で境界を定めた狭
い領域をより細かく細かく探索していくピラミッド化探
索が利用できる。
に粗い探索を始め、その後、前の探索で境界を定めた狭
い領域をより細かく細かく探索していくピラミッド化探
索が利用できる。
【００３６】当該画像が一定の画像明度の想定を満足す
ることを保証するために、２つの画像は、まずヒストグ
ラム正規化のプロセスによって正規化される。このこと
は、コンピュータビジョン＆パターンレコグニション
（１９９４）、７３３−７３９頁における“最大近似さ
れたＮカメラステレオアルゴリズム”と題されたＩ．
Ｊ．Ｃｏｘの文献に、あるいは“ディジタル画像処理”
と題されたＧｏｎｚａｌｅｚ ａｎｄ Ｗｉｎｔｚの文
献に掲載されたヒストグラム仕様に記載されている。
ることを保証するために、２つの画像は、まずヒストグ
ラム正規化のプロセスによって正規化される。このこと
は、コンピュータビジョン＆パターンレコグニション
（１９９４）、７３３−７３９頁における“最大近似さ
れたＮカメラステレオアルゴリズム”と題されたＩ．
Ｊ．Ｃｏｘの文献に、あるいは“ディジタル画像処理”
と題されたＧｏｎｚａｌｅｚ ａｎｄ Ｗｉｎｔｚの文
献に掲載されたヒストグラム仕様に記載されている。
【００３７】図４は本発明により実施されるプロセスの
フローチャートとして記載されているが、プロセス実行
のために設計された装置のハードウエア構成のブロック
ダイアグラムとしても役立つ。特に、各ブロックは、そ
のための動作ステップを実行するために設計された特別
目的のコンピュータとなり得る。
フローチャートとして記載されているが、プロセス実行
のために設計された装置のハードウエア構成のブロック
ダイアグラムとしても役立つ。特に、各ブロックは、そ
のための動作ステップを実行するために設計された特別
目的のコンピュータとなり得る。
【００３８】上記手続きで前に述べたように、２つのビ
ューにおけるカメラのいかなる翻訳動作も、回転動作を
求める上で無視し得る結果を有するとして考慮しなくて
よい。例えば、動作は完全に１つのタイプ、例えば、回
転及びそのような回転動作の近似を引き出すために論じ
られる態様への進行であると想定して始めてもよい。こ
れは、翻訳動作の近似を得るために、そのような動作の
固定値として発見された回転の近似を用いて、同一の一
般的アプローチを利用することで続行できる。一旦回転
動作が既知となれば、翻訳動作を評価する有用な技術が
ある。例えば、特に高い精度が望まれる時には、過去の
発見された翻訳動作の近似を用いて回転動作の改良され
た近似を引き出すことで、回転動作の新らしい近似を引
き出せる。この継承的近似の方法により非常に高い精度
が得られる。
ューにおけるカメラのいかなる翻訳動作も、回転動作を
求める上で無視し得る結果を有するとして考慮しなくて
よい。例えば、動作は完全に１つのタイプ、例えば、回
転及びそのような回転動作の近似を引き出すために論じ
られる態様への進行であると想定して始めてもよい。こ
れは、翻訳動作の近似を得るために、そのような動作の
固定値として発見された回転の近似を用いて、同一の一
般的アプローチを利用することで続行できる。一旦回転
動作が既知となれば、翻訳動作を評価する有用な技術が
ある。例えば、特に高い精度が望まれる時には、過去の
発見された翻訳動作の近似を用いて回転動作の改良され
た近似を引き出すことで、回転動作の新らしい近似を引
き出せる。この継承的近似の方法により非常に高い精度
が得られる。
【００３９】対象物に関する複数の二次元画像から三次
元画像を構成することは、ＭＩＴ出版、ケンブリッジ、
マサチューセッツ（１９９３）発行の“三次元コンピュ
ータビジョン”と題されたＯｌｉｖｅｒ Ｆａｕｇｅｒ
ａｓの本の第６章ステレオビジョン、１６５−２４０頁
に記載されている。
元画像を構成することは、ＭＩＴ出版、ケンブリッジ、
マサチューセッツ（１９９３）発行の“三次元コンピュ
ータビジョン”と題されたＯｌｉｖｅｒ Ｆａｕｇｅｒ
ａｓの本の第６章ステレオビジョン、１６５−２４０頁
に記載されている。
【００４０】記載された特定の実施例は本発明の原理の
暗示であることが理解されよう。対象物又はシーンの異
なるフレーム間に含まれるカメラの翻訳又は回転の合計
を知ることは重要である分野に本発明の原理は拡張でき
る。例えば、シーンの連続的なフレームを撮る乗り物又
はロボットに装着されたカメラが、その位置とカメラの
回転又は翻訳を知るために過去のシーンを動かすことが
重要となるナビゲーションへの応用がある。
暗示であることが理解されよう。対象物又はシーンの異
なるフレーム間に含まれるカメラの翻訳又は回転の合計
を知ることは重要である分野に本発明の原理は拡張でき
る。例えば、シーンの連続的なフレームを撮る乗り物又
はロボットに装着されたカメラが、その位置とカメラの
回転又は翻訳を知るために過去のシーンを動かすことが
重要となるナビゲーションへの応用がある。
【図１】表極線幾何学の事前の議論の助けとなる。
【図２】カメラの動きによって生じる表極線における変
位の回転及び翻訳成分を示す。
位の回転及び翻訳成分を示す。
【図３】不正確な翻訳と不正確な回転のための表極線に
おける誤差を示す。
おける誤差を示す。
【図４】本発明で用いられる基本的な手順のフローダイ
アグラムを示す。
アグラムを示す。
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平８−29136（ＪＰ，Ａ) 特開 平７−71940（ＪＰ，Ａ) (58)調査した分野(Int.Cl.7，ＤＢ名) G06T 1/00 G06T 7/00 - 7/60 G01B 11/24 - 11/255
Claims (9)
- 【請求項１】 光景に関する異なる画像対により表され
る視点に含まれる回転量を知ることに依り、前記光景に
関する複数の二次元画像から前記光景に関する三次元画
像を得るためのプロセスにおける前記回転量を近似する
ことによる三次元画像の評価方法であって、 （ａ）前記画像対の２つの視点間におけるある特定の回
転量を仮想することによって前記光景の画像対における
対応する複数の表極線対を決定する工程と、 （ｂ）前記表極線のそれぞれに沿って画素密度のヒスト
グラムを用意する工程と、 （ｃ）前記２つの画像の対応する表極線対のそれぞれの
前記ヒストグラムにおける画素密度レベルの差の二乗和
を決定する工程と、 （ｄ）前記差の二乗和の合計を決定する工程と、 （ｅ）前記仮想回転量の相異なる量を得るために前記
（ａ）、（ｂ）、（ｃ）及び（ｄ）の工程を繰り返す工
程と、 （ｆ）前記（ｄ）工程で求めた最小合計と関連した前記
仮想回転量を使用する工程とを有することを特徴とする
三次元画像の評価方法。 - 【請求項２】 前記（ａ）工程における複数の表極線対
が少なくとも５０であることを特徴とする請求項１記載
の三次元画像の評価方法。 - 【請求項３】 前記（ａ）工程は、前記仮想回転の総計
の選択において、グラジエント降下の探索を用いること
を特徴とする請求項１記載の三次元画像の評価方法。 - 【請求項４】 ヒストグラムの正規化は、第一に、画像
明度におけるバリエーションを補償するために用いられ
ることを特徴とする請求項１記載の三次元画像の評価方
法。 - 【請求項５】 光景に関する異なる画像対により表され
る視点に含まれる移動量を知ることに依り、前記光景に
関する複数の二次元画像から前記光景に関する三次元画
像を得るためのプロセスにおける前記移動量を近似する
ことによる三次元画像の評価方法であって、 （ａ）前記画像対の２つの視点間におけるある特定の移
動量を仮想することによって前記光景の画像対における
対応する複数の表極線対を決定する工程と、 （ｂ）前記表極線のそれぞれに沿って画素密度のヒスト
グラムを用意する工程と、 （ｃ）前記２つの画像の対応する表極線対のそれぞれの
前記ヒストグラムにおける画素密度レベルの差の二乗和
を決定する工程と、 （ｄ）前記差の二乗和の合計を決定する工程と、 （ｅ）前記仮想移動の相異なる量を得るために前記
（ａ）、（ｂ）、（ｃ）及び（ｄ）の工程を繰り返す工
程と、 （ｆ）前記（ｄ）工程で求めた最小合計と関連した仮想
移動量を使用する工程とを有することを特徴とする三次
元画像の評価方法。 - 【請求項６】 前記（ａ）工程における複数の表極線対
が少なくとも５０であることを特徴とする請求項５記載
の三次元画像の評価方法。 - 【請求項７】 前記（ａ）工程は、前記仮想翻訳の総計
の選択において、グラジエント降下の探索を用いること
を特徴とする請求項５記載の三次元画像の評価方法。 - 【請求項８】 ヒストグラムの正規化は、第一に、画像
明度におけるバリエーションを補償するために用いられ
ることを特徴とする請求項５記載の三次元画像の評価方
法。 - 【請求項９】 一画像のふたつのフレームにおけるカメ
ラの視点のエゴモーションを求めるプロセスであって、
前記エゴモーションの回転成分を求めるための請求項１
記載の方法及び前記エゴモーションの翻訳成分を求める
ための請求項５記載の三次元画像の評価方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US08/414,397 | 1995-03-31 | ||
| US08/414,397 US5644651A (en) | 1995-03-31 | 1995-03-31 | Method for the estimation of rotation between two frames via epipolar search for use in a three-dimensional representation |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH08320933A JPH08320933A (ja) | 1996-12-03 |
| JP3080141B2 true JP3080141B2 (ja) | 2000-08-21 |
Family
ID=23641284
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP08072356A Expired - Fee Related JP3080141B2 (ja) | 1995-03-31 | 1996-03-27 | 三次元画像の評価方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US5644651A (ja) |
| JP (1) | JP3080141B2 (ja) |
Families Citing this family (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5748199A (en) * | 1995-12-20 | 1998-05-05 | Synthonics Incorporated | Method and apparatus for converting a two dimensional motion picture into a three dimensional motion picture |
| US6192145B1 (en) * | 1996-02-12 | 2001-02-20 | Sarnoff Corporation | Method and apparatus for three-dimensional scene processing using parallax geometry of pairs of points |
| US6115491A (en) * | 1996-02-27 | 2000-09-05 | Cyberoptics Corporation | Apparatus and method for estimating background tilt and offset |
| US6160909A (en) * | 1998-04-01 | 2000-12-12 | Canon Kabushiki Kaisha | Depth control for stereoscopic images |
| US6205241B1 (en) | 1998-06-01 | 2001-03-20 | Canon Kabushiki Kaisha | Compression of stereoscopic images |
| US6141440A (en) * | 1998-06-04 | 2000-10-31 | Canon Kabushiki Kaisha | Disparity measurement with variably sized interrogation regions |
| US6788808B1 (en) * | 1998-07-10 | 2004-09-07 | Koninklijke Philips Electronics N.V. | Method and device for optically determining depth |
| US6320979B1 (en) | 1998-10-06 | 2001-11-20 | Canon Kabushiki Kaisha | Depth of field enhancement |
| US6477268B1 (en) | 1998-11-17 | 2002-11-05 | Industrial Technology Research Institute | Producing transitions between vistas |
| US6278460B1 (en) | 1998-12-15 | 2001-08-21 | Point Cloud, Inc. | Creating a three-dimensional model from two-dimensional images |
| AU751231C (en) * | 1999-02-05 | 2003-06-19 | Regents Of The University Of California, The | Digital video processing method and apparatus thereof |
| US7006569B1 (en) * | 1999-02-05 | 2006-02-28 | Samsung Electronics Co., Ltd. | Digital video processing method and apparatus thereof |
| AU2464101A (en) | 1999-12-29 | 2001-07-09 | Geospan Corporation | Any aspect passive volumetric image processing method |
| EP1297691A2 (en) * | 2000-03-07 | 2003-04-02 | Sarnoff Corporation | Camera pose estimation |
| KR100446636B1 (ko) * | 2002-11-21 | 2004-09-04 | 삼성전자주식회사 | 이동체의 움직임 및 이동체 전방에 위치한 물체의 3차원정보 측정 기능을 구비한 이동체 및 그 방법 |
| JP4602983B2 (ja) * | 2003-05-09 | 2010-12-22 | アビッド テクノロジー インコーポレイテッド | 構造化透かしの埋め込み及び検出のための方法及び装置 |
| EP1591963B1 (en) * | 2004-04-29 | 2008-07-09 | Mitsubishi Electric Information Technology Centre Europe B.V. | Adaptive quantisation of a depth map |
| ATE404950T1 (de) * | 2004-06-11 | 2008-08-15 | Saab Ab | Computermodellierung physikalischer szenen |
| JP4721829B2 (ja) * | 2005-08-31 | 2011-07-13 | トヨタ自動車株式会社 | 画像検索方法及び装置 |
| US8320606B1 (en) | 2008-08-29 | 2012-11-27 | Adobe Systems Incorporated | Video watermarking with fast detection |
| US8385590B1 (en) | 2008-11-05 | 2013-02-26 | Adobe Systems Incorporated | Video watermarking with temporal patterns |
| US8213673B2 (en) * | 2009-06-09 | 2012-07-03 | Avio Technology, Inc. | Watermarking of motion pictures |
| CN108507494A (zh) * | 2018-03-07 | 2018-09-07 | 北京航空航天大学 | 一种能够抑制间接光照的三维形貌测量方法 |
| US11272164B1 (en) * | 2020-01-17 | 2022-03-08 | Amazon Technologies, Inc. | Data synthesis using three-dimensional modeling |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0560779B1 (de) * | 1990-10-24 | 1996-06-12 | Siemens Aktiengesellschaft | Verfahren zur erkennung und schätzung der räumlichen lage von objekten aus einer zweidimensionalen abbildung |
| US5581665A (en) * | 1992-10-27 | 1996-12-03 | Matsushita Electric Industrial Co., Ltd. | Three-dimensional object movement and transformation processing apparatus for performing movement and transformation of an object in a three-diamensional space |
| EP0631250B1 (en) * | 1993-06-21 | 2002-03-20 | Nippon Telegraph And Telephone Corporation | Method and apparatus for reconstructing three-dimensional objects |
-
1995
- 1995-03-31 US US08/414,397 patent/US5644651A/en not_active Expired - Lifetime
-
1996
- 1996-03-27 JP JP08072356A patent/JP3080141B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH08320933A (ja) | 1996-12-03 |
| US5644651A (en) | 1997-07-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3080141B2 (ja) | 三次元画像の評価方法 | |
| Irani et al. | About direct methods | |
| KR100450469B1 (ko) | 시차에 기반을 둔 기술을 사용한 이미지 조합 방법 및 시스템 | |
| US7046840B2 (en) | 3-D reconstruction engine | |
| Newcombe et al. | Live dense reconstruction with a single moving camera | |
| US6307959B1 (en) | Method and apparatus for estimating scene structure and ego-motion from multiple images of a scene using correlation | |
| US6760488B1 (en) | System and method for generating a three-dimensional model from a two-dimensional image sequence | |
| US5850469A (en) | Real time tracking of camera pose | |
| US7730406B2 (en) | Image processing system and method | |
| Barath et al. | Homography from two orientation-and scale-covariant features | |
| US20030058945A1 (en) | Optical flow estimation method and image synthesis method | |
| JP2006509211A (ja) | 多重同期ビデオストリームからの動的奥行き復元 | |
| Irani et al. | Direct recovery of planar-parallax from multiple frames | |
| Eichhardt et al. | Affine correspondences between central cameras for rapid relative pose estimation | |
| Irani et al. | Direct recovery of planar-parallax from multiple frames | |
| JP2000155831A (ja) | 画像合成方法、画像合成装置、画像合成プログラムを記録した記録媒体 | |
| Heel | Direct dynamic motion vision | |
| Tjahjadi | Photogrammetric area-based least square image matching for surface reconstruction | |
| Mahmoud et al. | Fast 3d structure from motion with missing points from registration of partial reconstructions | |
| Hao et al. | Orientation and auto-calibration of image triplets and sequences | |
| JP2001167249A (ja) | 画像合成方法、画像合成装置、画像合成プログラムを記録した記録媒体 | |
| Jackovitz et al. | Registration of region of interest for object tracking applications in wide area motion imagery | |
| Aguiar et al. | Content-based image sequence representation | |
| CN112509113A (zh) | 基于稀疏性特征多图像的3d目标模型重建方法 | |
| Kumar et al. | Emperical Comparitive Analysis of Sterio Matching Machine Using Machine Learning Technique |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20000524 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080623 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090623 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100623 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100623 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110623 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110623 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120623 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120623 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130623 Year of fee payment: 13 |
|
| LAPS | Cancellation because of no payment of annual fees |