JPH0973554A

JPH0973554A - ３次元シーン復元方法とその装置

Info

Publication number: JPH0973554A
Application number: JP26060595A
Authority: JP
Inventors: Takanori Ikegami; 孝則池上
Original assignee: Individual
Current assignee: Individual
Priority date: 1995-09-04
Filing date: 1995-09-04
Publication date: 1997-03-18

Abstract

(57)【要約】【課題】本発明は、任意のシーンに適用が可能で、処
理の高速化が図れ、全画像領域において距離情報が獲得
でき、高空間解像度を有する、３次元シーン復元方法の
確立とそれを実現する装置の構築を目的とする。【解決手段】上記の課題を解決するために本発明で
は、一般化距離変換と称する手段によって入力画像を距
離値画像に変換し、入力画像の画素値と距離値画像の距
離値を併用した対応探索によって対応点を決定するとい
う手段を用いる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ステレオ画像から
３次元シーンを復元するための、画像処理方法および画
像処理装置に関するものである。産業機械や知能ロボッ
トの視覚、カメラの自動焦点検出など、距離情報を利用
する広範囲の分野で利用することができる。

【０００２】

【従来の技術】ステレオ画像から３次元シーンを復元す
る手段は、三角測量という幾何学的原理に準拠してい
る。図１に、２眼ステレオ視の基本構成と三角測量の原
理を示す。ここに、左右のカメラのレンズ中心Ｏ_ＬとＯ
_Ｒらを通る直線をｘ軸とする。また、２台のカメラの光
軸はお互いに平行であり、これをｚ軸、ｘ軸とｚ軸に直
交する方向をｙ軸とする。さらに、２台のカメラ間の距
離（基線長）をＢ、カメラの焦点距離をＦとするとき、
３次元シーン上の１点Ｐ（Ｘ，Ｙ，Ｚ）の左右画像への
投影像Ｐ_Ｌ（Ｘ_Ｌ，Ｙ_Ｌ）とＰ_Ｒ（Ｘ_Ｒ，Ｙ_Ｒ）の間に
は、

【数１】という関係が存在する。これはエピポーラ条件と呼ばれ
る。また、対応点同士の位置の差（視差）をｄ（＝Ｘ_Ｌ
−Ｘ_Ｒ）とするとき、

【数２】という関係がある。式（２）は、視差ｄがわかれば点Ｐ
の位置が求められることを示している。ゆえに、もし全
画素に対して視差が求められるなら３次元シーンが復元
できることになる。これが、ステレオ画像に基づく３次
元シーン復元の原理である。

【０００３】ステレオ画像に基づいて利用してシーンの
３次元的復元を行うためには、左右の画像の共役点を見
つけだすことが不可欠である。これは対応探索問題と呼
ばれており、ステレオ画像から３次元シーンを復元する
上で最も困難な課題である。対応探索法は特徴照合法と
領域相関法に大別される。以下に、これらの特徴と課題
を示す。

【０００４】特徴照合法とは、画像における特徴点、エ
ッジ、セグメント、面などの特徴を対応の単位とする対
応探索法である。この方法は、特徴が持つ大局的な性質
（拘束条件）を考慮することにより、画像全体にわたっ
て整合性のより対応付けを行なうことができる。しかし
特徴照合法は、画像が完全な線画像または面画像に変換
できることが前提となるため、建物や室内などの人工的
な環境には適しているが、自然界のような複雑なシーン
には不向きである。また、線画像や面画像を作成するた
めに必要なエッジの細線化、延長・連結、領域分割など
の前処理は、処理対象の特性に依存する処理であり、並
列化やハードウェア化による処理の高速化が望めない。
その上、特徴点の数が増加すれば、対応探索に要する時
間も組み合わせ的に増加する。３次元シーンの復元とい
う観点から見れば、対応のとれた特徴点でしか距離情報
が得られないことが問題となる。この対策として距離情
報の内挿が検討されてきたが、もともと情報の存在しな
いところであり、その有効な手段は存在しない。

【０００５】［参考文献］［１］丸山，阿部：”立体視に基づく面の抽出と面内ベ
クトルの認定による多面体構造の抽出”、電子情報通信
学会論文誌、Ｖｏｌ．Ｊ７０−Ｄ、Ｎｏ．１２、ｐｐ．
２５８１−２５８９（１９８７）［２］富田，高橋：”ステレオ画像の境界線表現に基づ
く対応”電子情報通信学会論文誌、Ｖｏｌ．Ｊ７１−
Ｄ、Ｎｏ．６、ｐｐ．１０７４−１０８２（１９８８）［３］谷内田：”ステレオ画像による３次元形状計測”
ＯｐｌｕｓＥ、ｐｐ．６８−７５（１９９２）

【０００６】領域相関法とは、画像の小領域中の濃淡値
を対応の基本単位とする対応探索法である。この方法で
は、対応探索は基準画像中の小領域（ウィンドウ）と参
照画像中の探索領域との照合（テンプレート照合）によ
って実現され、対応点はウィンドウと最も相関の高い領
域の中心点として決まる。領域相関法は情報処理の構造
化が容易であり、並列化やＬＳＩ化によって処理の高速
化が期待できる。これらの特徴は３次元シーンの復元装
置を構築する上で好都合である。しかしこの方法は特徴
やテクスチャが画像中に存在することが前提であるた
め、自然界のようなテクスチャに富んだシーンや緩やか
な起伏の形状には有効であるが、人工物のようにテクス
チャのない領域（テクスチャレス領域）では距離情報が
得られない。この問題はウィンドウサイズを大きくする
ことによって緩和することができるが、その場合には処
理時間の増加や空間解像度の低下を来たす。更に、ウィ
ンドウより広いテクスチャレス領域に対しては効果がな
いばかりでなく、ウィンドウという局所的特徴に基づく
対応探索であるために処理結果において大局的な整合性
が欠如する。

【０００７】［参考文献］［４］Ｈ．Ｉｎｏｕｅ、Ｔ．Ｔａｃｈｉｋａｗａａｎ
ｄＭ．Ｉｎａｂａ：”ＲｏｂｏｔＶｉｓｉｏｎＳ
ｙｓｔｅｍｗｉｔｈａＣｏｒｒｅｌａｔｉｏｎ
ＣｈｉｐｆｏｒＲｅａｌ−ｔｉｍｅＴｒａｃｋｉ
ｎｇ，ＯｐｔｉｃａｌＦｌｏｗａｎｄＤｅｐｔｈ
ＭａｐＧｅｎｅｒａｔｉｏｎ、Ｐｏｒｃｅｅｄｉｎ
ｇｓｏｆＩＥＥＥＩｎｔｅｒｎａｔｉｏｎａｌ
ＣｏｎｆｅｒｅｎｃｅｏｎＲｏｂｏｔｉｃｓａｎ
ｄＡｕｔｏｍａｔｉｏｎ、ｐｐ．１０８８−１０９３
（１９９１）［５］金出、中原、奥富：”マルチベースラインステレ
オ法による３次元計測”、画像ラボ、ｐｐ．５３−５７
（１９９３）

【０００８】

【発明が解決しようとする課題】本発明は、上記の従来
技術における課題の解決を図り、任意のシーンに適用す
ることができ、処理の高速化が図れ、全画素において距
離情報が獲得でき、処理結果が大局的整合性を有する、
３次元シーンの復元方法の確立とそれを実現する装置の
構築を目的とする。

【０００９】

【課題を解決するための手段】上記の課題を解決するた
め、本発明では、一般化距離変換という手段によって入
力画像における濃淡や色彩などの画像情報を一般化距離
値に変換し、それを相関度の評価に用いてステレオ画像
の対応探索を行なうという手段を用いる。以下、この方
法を一般化距離値法と呼ぶ。

【００１０】本発明で導入した一般化距離変換とは、距
離変換の対象および距離関数において従来の距離変換を
一般化したものである。つまり、従来の距離変換では図
形画素だけが処理の対象であるのに対し、一般化距離変
換では全画素を処理の対象としている。また、方向の違
いに伴う距離値の歪をなくするために、４近傍距離や８
近傍距離などの整数型距離関数の代わりにユークリッド
距離を距離関数として採用している。ただし、距離変換
された値（距離値）が境界線を挟んで連続するように、
物体画素の距離値には正の符号を、背景画素の距離値に
は負の符号を割り付けている。

【００１１】こうした手段を講ずることにより、以下の
ような作用がもたらされる。（１）一般化距離変換は自然的画像でも人工的画像で
も、２値画像を経由してそれらを一般化距離値画像に変
換することができる。これは、一般化距離値法の適用対
象が広範囲に亘ることを意味する。（２）一般化距離変換に要するコストは画像の特性に拘
わらずほぼ一定であり、対応探索処理は基本的に領域相
関法であるので処理の構造化が図れる。つまり一般化距
離値法は、ハードウェア化や並列化によって処理の高速
化が可能である。（３）一般化距離変換は画像の形状情報を画像全体に拡
散する操作であるため、一般化距離変換画像においては
テクスチャレス領域というものが存在しない。また、一
般化距離値はなだらかな勾配を持つため、対応探索にお
いては相関のピークが明瞭に表われる。ゆえに一般化距
離値法では、全画像上で距離情報が得られる。（４）一般化距離値には、その画素が物体画素と背景画
素のいずれに属するか、また境界線までの最短距離はど
れだけか、という大局的な情報が含まれている。それゆ
え、対応探索がテンプレート照合という局所的特徴に準
拠した処理であっても、処理結果に大局的を反映させる
ことができる。

【００１２】以上述べたような作用から、一般化距離値
法を対応探索に採用することにより、幅広いシーンに適
用することができ、処理の高速化が図れ、全画素におい
て距離情報が獲得でき、処理結果に大局的に整合性を有
する、３次元シーンの復元装置を実現することが可能と
なる。

【発明の実施の形態】【実施例】

【００１３】本発明の構成例を図２に示す。この装置は
左画像入力部、右画像入力部、２値画像生成部、一般化
距離値画像生成部、対応探索部、３次元シーン復元部で
構成されている。

【００１４】左画像入力部および右画像入力部は光軸が
平行に設置された２台のカメラ（ステレオカメラ）で構
成されており、外界のシーンを画像として人力する。

【００１５】左右画像入力部から入力された左画像およ
び右画像は、２値画像生成部に送られる。ここでは、入
力画像を閾値処理して２値画像を生成する。もし入力画
像の２値画像化が困難であれば、エッジ画像で代用する
ことも可能である。この場合のエッジ画像は完全な線画
像でなくてもよいので、エッジ抽出後のエッジの細線化
処理や延長・連結処理等は必要はない。

【００１６】２値画像は一般化距離値画像生成部に送ら
れ、一般化距離値画像に変換される。この処理の本質
は、２値画像のエッジで発生した情報を画像全体に拡散
させることにある。一般化距離変換の処理手順を以下に
説明する。当該処理で使用する記号は以下の通りであ
る。まず、画像中の任意の点ｐにおける一般化距離値を
φ（ｐ）とし、その初期値をφ^ｏ（ｐ）、ｔ回の演算が
終了した時点での値をφ^ｔ（ｐ）と表す。また、点ｐに
おける情報源の位置を示すベクトル（以下、情報源ベク
トルと呼ぶ）をｚ（ｐ）、その初期値をｚ^ｏ（ｐ）、ｔ
回の演算が終了した時点での値をｚ^ｔ（ｐ）と表す。更
に、それ自身およびそれに８隣接する点を表すベクトル
（以下、近傍ベクトルと呼ぶ）をｕ_ｉ（ｉ＝０，１，
２，…，８）と表す（図３）。ゆえに、ｐ＋ｕ_ｉは点ｐ
自身および点ｐに８隣接する点を、ｚ（ｐ＋ｕ_ｉ）はｐ
＋ｕ_ｉにおける情報源ベクトルを、φ（ｚ（ｐ＋ｕ_ｉ）
はｐ＋ｕ_ｉの情報源における一般化距離値を表す。

【００１７】一般化距離変換は、初期値の設定、一般化
距離値の更新、という２段階のプロセスで構成される。

【００１８】初期値設定のプロセスでは、まず物体画素
と背景画素で構成される２値画像の画素を、物体画素を
背景画素に４隣接する画素とそうでないものに、背景画
素を物体画素に４隣接するものとそうでないものの４種
類の画素に分け、それぞれに対して図４のように初期値
を設定する。また、情報源ベクトルの初期値は

【数３】とする。ここに、Ｑは全画素の集合である。

【００１９】一般化距離値の更新のプロセスは、

【数４】と表すことができる。ここに、ｕ_ｍｉｎおよびｕ_ｍａｘ
はφ^ｔ（ｐ）を最小および最大とするｕ_ｉである。尚、
この処理は逐次型処理と並列型処理のいずれにおいても
実現が可能である。逐次型処理においては、順方向処理
時にｕ_ｉ（ｉ＝２，３，４，５）、逆方向処理時にｕ_ｉ
（ｉ＝１，６，７，８）について式４の演算を行ない、
それらが一往復すれば処理が終了する。並列処理におい
ては、ｕ_ｉ（ｉ＝１，２，…，８）について、一般化距
離値が飽和するまで４式の演算を反復する。この処理に
より、図４の初期値は図５に示した一般化距離値に変換
される。

【００２０】一般化距離値画像生成部で生成された一般
化距離値画像は対応探索部に送られる。ここでは、一般
化距離値を相関の評価に用い、領域相関法に基づく対応
探索によって全画素の視差ｄを求め、視差画像を作成す
る。

【００２１】対応探索部で作成した視差画像は３次元シ
ーン復元部に送られる。ここでは、式２を用いて視差ｄ
を奥行きＺに変換し、３次元シーンを復元する。

【００２２】図６は、単色の背景の前に幾何学的形状の
物体が存在するシーンを画像入力部から取り込んだステ
レオ画像（４８０ｘ５１２画素、階調８ビット）であ
る。このステレオ画像に対して、従来の領域相関法およ
び一般化距離値法を適用して３次元シーン復元の実験を
行なった結果を示す。

【００２３】図７は、従来の領域相関法によって図６に
基づいて復元した３次元シーンである。この処理におい
ては、相関の評価には処理時間に対する配慮からＳＡＤ
関数（差の絶対値の和）を用いており、ウィンドウの大
きさは７ｘ７画素とした。処理結果において、円錐の側
面は濃度勾配を持つため形状は比較的に正しく復元され
ているが、直方体や背景などのテクスチャレス領域にお
いては、上記の理由から、数多くの偽対応が発生してい
ることがわかる。

【００２４】図７に示す結果が生じる理由は、以下のよ
うに説明できる。たとえば、左画像中の点Ｐ_Ｌに対応す
る点を右画像中に探索する場合を考えよう。この場合に
は、右画像中のＰ_Ｒ１からＰ_Ｒ２までの間で濃淡値がほ
ぼＰ_Ｌに等しいため、相関のピークが明瞭に現われな
い。その結果、Ｐ_Ｌに対する対応点は決定できないか、
もしくは決定したとしてもそれが偽対応である可能性が
高いのである。

【００２５】次に、一般化距離値法を適用した処理結果
を示す。図８は、２値画像生成部におけいて生成された
２値画像である。また、図９は、一般化距離値画像生成
部において生成された一般化距離値画像をスライス表示
したものである。また図１０は、一般化距離値法に基づ
いて復元した３次元シーンである。この場合、先に説明
した理由により、テクスチャレス領域においても対応点
が決定されている。

【００２６】一般化距離値法による３次元シーン復元の
メカニズムは以下のように説明できる。たとえば、図９
に示した一般化距離値画像において、左画像中の点Ｐ_Ｌ
に対応する点を右画像中に探索する場合を考えよう。こ
の場は、右画像中のＰ_Ｒ３、Ｐ_Ｒ４、Ｐ_Ｒ５、Ｐ_Ｒ６の
４点がＰ_Ｌと一般化距離値が等しいが、その中でＰ_Ｌ近
傍の一般化距離値パターン（一般化距離値勾配）まで一
致するのはＰ_Ｒ６だけである。つまり、一般化距離値を
相関の評価に用いてテンプレート照合を行なえば、Ｐ_Ｌ
の対応点はＰ_Ｒ６に一意に決まるのである。

【００２７】ところで、一般化距離値法においては一般
化距離値画像における凹領域および凸領域が対応の単位
となるため、再生されたシーンは本来のシーンとは異な
り、物体と背景の区別がないが、この問題は画像情報を
利用することによ手解決が可能である。

【００２８】

【発明の効果】以上説明したように、本発明によれば以
下に記載されるような効果を奏する。（１）本発明の一般化距離変換部では、全ての入力画像
を一般化距離値画像に変換することが可能である。また
対応探索部においては、一般化距離値がエピポーラライ
ンに平行になる場所を除いて、対応点を一意に決定する
ことができる。つまり本発明は、一般化距離値法が幅広
いシーンに適用可能である。（２）本発明の一般化距離値生成部において、入力画像
の一般化距離値画像への変換に要するコストは画像の種
類に拘わらずほぼ一定である。また、対応探索部の処理
は構造化が容易である。更に、一般化距離値画像は微小
領域においても勾配を持つため、ウインドウのサイズを
小さくすることができる。ちなみに、通常の領域相関法
ではウインドウサイズを７ｘ７画素程度に設定する場合
が多いが、一般化距離値法では３ｘ３画素で十分であ
る。つまり本装置は、処理が簡便のことおよびハードウ
ェア化や並列化による高速処理が可能である。（３）一般化距離変換画像においては、テクスチャレス
領域というものが存在しない。また、一般化距離値はな
だらかな勾配を持つため、対応探索においては相関のピ
ークが明瞭に表われる。ゆえに本発明では、全画素にお
いて距離情報が得られる。（４）一般化距離値は、画素の属性および境界線までの
最短距離という大局的な情報を表している。それゆえ本
発明では、テンプレート照合がウィンドウ内の局所的特
徴に準拠した対応探索であっても、処理結果に大局的を
反映させることができる。

【００２９】従来のカメラの自動焦点位置検出装置にお
いては、テクスチャレス画像における対応探索が困難で
あるのと同様の理由により、コントラストの少ないシー
ンに対しては測距ができない。また、測距点が１個また
は数個に限定されているため、「中抜け」と呼ばれる、
中央をはずして左右に二人の人物が存在する場合に焦点
が中央の遠景に合ってしまう現象が発生する。しかし本
発明をカメラの自動焦点位置検出に応用した場合には、
コントラストの少ないシーンにおいても測距が可能であ
るばかりでなく、中抜けを防ぐことができる。また、測
距点が従来のように限られておらず全空間に渡っている
ため、多様な意図に基づいた合焦が可能となる。一方、
本発明は自然的環境にも人工的環境にも適用することが
でき、それらの距離情報が得られる。また、時系列画像
にも適用することにより３次元的オプティカルフローを
検出することができる。距離情報やオプテイカルフロー
などは物体の移動状況の認識および行動生成において最
も使い勝手のよい情報である。つまり本発明は、知能ロ
ボットの視覚として活用することができる。

【図面の簡単な説明】

【図１】２眼ステレオ視における３次元シーン復元の
原理を示す図。

【図２】本発明の３次元シーン復元装置の構成例を示
す図。

【図３】８近傍の点を示すベクトル（近傍ベクトル）
を示す図。

【図４】一般化距離変換における初期値を示す図。

【図５】図４から生成した一般化距離値画像を示す
図。

【図６】実験に使用したステレオ入力画像対を示す
図。

【図７】従来の領域探索法の適用によって復元された
３次元シーンを示す図。

【図８】図６に示したステレオ画像から生成した２値
画像を示す図。

【図９】図８に示した２値画像から生成した一般化距
離値画像を示す図。

【図１０】本発明によって復元された３次元シーンを
示す図。

─────────────────────────────────────────────────────

【手続補正書】

【提出日】平成７年１２月４日

【手続補正１】

【補正対象書類名】明細書

【補正対象項目名】特許請求の範囲

【補正方法】変更

【補正内容】

【特許請求の範囲】

【手続補正２】

【補正対象書類名】明細書

【補正対象項目名】発明の詳細な説明

【補正方法】変更

【補正内容】

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ステレオ画像から
３次元シーンを復元するための、画像処理方法および画
像処理装置に関するものである。産業機械や自動車、知
能ロボット等の視覚、カメラの自動焦点位置検出など、
距離情報を必要と広範囲の分野で活用することができ
る。

【０００２】

【従来の技術】ステレオ画像から３次元シーンを復元す
る手段は、三角測量という幾何学的原理に準拠してい
る。図１に、２眼ステレオ視の基本構成と三角測量の原
理を示す。ここに、左右のカメラのレンズ中心Ｏ_ＬとＯ
_Ｒを通る直線をｘ軸、平行に設置した２台のカメラの光
軸をｚ軸、ｘ軸とｚ軸に直交する方向をｙ軸とする。ま
た、２台のカメラ間の距離（基線長）をＢ、カメラの焦
点距離をＦとする。このとき、３次元シーン上の１点Ｐ
（Ｘ，Ｙ，Ｚ）の左右画像への投影像Ｐ_Ｌ（Ｘ_Ｌ，
Ｙ_Ｌ）とＰ_Ｒ（Ｘ_Ｒ，Ｙ_Ｒ）の間には、

【数２】という関係がある。式２は、視差ｄがわかれば点Ｐの位
置が求められることを示している。ゆえに、もし全画素
に対して視差が求められるなら３次元シーンが復元でき
ることになる。これが、ステレオ画像に基づく３次元シ
ーン復元の原理である。

【０００３】ステレオ画像に基づいて利用してシーンの
３次元的復元を行うためには、左右の画像の共役点を見
つけだすことが不可欠である。これは対応探索問題と呼
ばれており、ステレオ画像から３次元シーンを復元する
上で最も困難な課題である。

【０００４】対応探索法は、特徴照合法と領域相関法に
大別される。以下に、これらの特徴と課題を示す。

【０００５】特徴照合法とは、画像における特徴点、エ
ッジ、セグメントなどの特徴を対応の単位とする対応探
索法である。特徴照合法は、特徴が持つ大局的な性質
（拘束条件）を考慮することにより、画像全体にわたっ
て整合性のよい対応付けを行なうことができる。しかし
この方法は、画像が完全な線画像または面画像に変換で
きることが前提となるため、建物や室内などの人工的な
環境には適しているが、自然界のような複雑なシーンに
は不向きである。また、線画像や面画像を作成するため
に必要なエッジの細線化、延長・連結、領域分割などの
前処理は画像の特性に依存する処理であり、並列化やハ
ードウェア化による高速化が望めない。更に、特徴点の
数が増加すれば対応探索に要する時間も組み合わせ的に
増加する。その上、対応のとれた特徴点でしか距離情報
が得られない。こうした特徴から、特徴照合法は３次元
シーン復元装置における対応探索法として不適当と考え
られる。

【０００６】［参考文献］［１］丸山，阿部：“立体視に基づく面の抽出と面内ベ
クトルの認定による多面体構造の抽出”、電子情報信学
会論文誌、Ｖｏｌ．Ｊ７０−Ｄ、Ｎｏ．１２、ｐｐ．２
５８１−２５８９（１９８７）［２］富田，高橋：“ステレオ画像の境界線表現に基づ
く対応”、電子情報通信学会論文誌、Ｖｏｌ．Ｊ７１−
Ｄ、Ｎｏ．６、ｐｐ．１０７４−１０８２（１９８８）［３］谷内田：“ステレオ画像による３次元形状計
測”、ＯｐｌｕｓＥ、ｐｐ．６８−７５（１９９２）

【０００７】領域相関法とは、画像の小領域中の濃淡値
を対応の基本単位とする対応探索法であり、対応点は基
準画像中の小領域（ウィンドウ）と参照画像中の探索領
域との照合（テンプレート照合）において最も相関の高
い点として決まる。領域相関法は情報処理の構造化が容
易であり、並列化やＬＳＩ化によって処理の高速化が期
待できる。こうした優れた特徴から、本発明でも領域相
関法を３次元シーン復元装置における対応探索法の基本
方式として採用する。

【０００８】［参考文献］［４］Ｈ．Ｉｎｏｕｅ、Ｔ．Ｔａｃｈｉｋａｗａａｎ
ｄＭ．Ｉｎａｂａ：”ＲｏｂｏｔＶｉｓｏｎＳｙ
ｓｔｅｍｗｉｔｈａＣｏｒｒｅｌａｔｉｏｎＣ
ｈｉｐｆｏｒＲｅａｌ−ｔｉｍｅＴｒａｃｋｉｎ
ｇ，ＯｐｔｉｃａｌＦｌｏｗａｎｄＤｅｐｔｈ
ＭａｐＧｅｎｅｒａｔｉｏｎ、Ｐｏｒｃｅｅｄｉｎｇ
ｓｏｆＩＥＥＥＩｎｔｅｍａｔｉｏｎａｌＣｏ
ｎｆｅｒｅｎｃｅｏｎＲｏｂｏｔｉｃｓａｎｄ
Ａｕｔｏｍａｔｉｏｎ、ｐｐ．１０８８−１０９３（１
９９１）［５］金出、中原、奥富：”マルチベースラインステレ
オ法による３次元計測”、画像ラボ、ｐｐ．５３−５７
（１９９３）

【０００９】しかし領域相関法は、特徴やテクスチャが
画像中に存在することが前提であるため、自然界のよう
なテクスチャに富んだシーンや緩やかな凹凸のある形状
に対しては有効であるが、人工物のようにテクスチャの
ない領域（テクスチャレス領域）では偽対応が発生す
る。以下に、その一例を示す。

【００１０】図２は、単色の背景の前に幾何学的形状の
物体が存在するシーンを取り込んだ入力画像であるり、
図３は図２に対して従来の領域相関法を適用して復元し
た３次元シーンである。処理結果から明らかなように、
円錐の側面などのテクスチャ（濃度勾配）が存在する領
域は比較的に正しく復元されているが、直方体や背景な
どのテクスチャレス領域においては数多くの偽対応が発
生していることがわかる。

【００１１】こうした偽対応の発生のメカニズムは、以
下のように説明することができる。たとえば、図２の左
画像中の点Ｐ_Ｌに対応する点を右画像中に探索する場合
を考えよう。ここに、右画像中のＰ_Ｒ１からＰ_Ｒ２まで
の間の画素値はＰ_Ｌにおける画素値ｆ（Ｐ_Ｌ）に等し
い。そのため、相関度が最大となる点が必ずしもＰ_Ｌに
対する真の対応点とはならないのある。尚、この問題は
ウィンドウサイズを大きくすれば緩和される。しかしそ
の場合でも、ウィンドウより広いテクスチャレス領域に
対しては効果がないばかりでなく、そのために処理時間
の増加や空間解像度の低下という問題を来たすため、本
質的な解決にならない。

【００１２】

【発明が解決しようとする課題】本発明は、領域相関法
におけるかかる課題の解決を図り、任意のシーンへの適
用が可能で高い空間解像度を有する３次元シーンの復元
方法を確立し、それを実現する装置を構築することを目
的とする。

【００１３】

【課題を解決するための手段】上記の課題を解決するた
め、本発明では、一般化距離変換と称する手段によって
入力画像を距離値画像に変換し、入力画像における画素
値と距離値画像における距離値を併用してステレオ画像
の対応探索を行なうという手段を用いる。

【００１４】

【作用】一般化距離変換は、入力画像における形状情報
を全体に拡散させる作用がある。距離値はテクスチャと
しての役割も果たすため、距離値画像においては全画像
領域にテクスチャの存在が保証されていることになる。
ゆえに、画素値と距離値を併用して対応探索を行なえ
ば、テクスチャレス領域においても対応点を決定するこ
とができる。また、テンプレート照合におけるウインド
ウサイズを小さくできるため、空間解像度の向上を図る
ことができる。

【発明の実施の形態】

【実施例】

【００１５】（従来の距離変換）図４は２値画像の一例
であり、図５は図４に従来の距離変換を適用して得た距
離値画像である。このように従来の距離変換では、２値
画像における一方の画素だけが処理の対象となるため、
２値画像を総括的に扱うことができない。また、距離関
数として４近傍距離や８近傍距離などの整数型距離関数
が使われるため、方向の違いに伴って距離値の歪みが生
じる。

【００１６】（一般化距離変換）本発明で導入した一般
化距離変換とは、こうした従来の距離変換を一般化し、
汎用性を高めたものである。一般化距離変換では、まず
距離変換の対象を２値画像中の全画素に拡張している。
ただし、距離変換された値（距離値）が境界線を挟んで
連続するように、一方の画素には正の符号を、他方の画
素には負の符号を割り付けている。また、距離関数とし
てユークリッド距離を用いる。一般化距離変換ではこの
ような一般化によって、全画素に対して歪のない距離変
換を実現することができる。図６は、図４に対する一般
化距離変換によって得た距離値画像である。

【００１７】一般化距離変換の実施例を以下に示す。当
該処理で使用する記号は以下の通りである。まず、画像
中の任意の点ｐにおける距離値をφ（ｐ）、その初期値
をφ^０（ｐ）、ｔ回の演算が終了した時点での値はφ^ｔ
（ｐ）と表す。また、点ｐにおける情報源の位置を示す
ベクトル（以下、情報源ベクトルと呼ぶ）をｚ（ｐ）、
その初期値はｚ^０（ｐ）、ｔ回の演算が終了した時点で
の値をｚ^ｔ（ｐ）と表す。更に、それ自身およびそれに
８隣接する点を表すベクトル（以下、近傍ベクトルと呼
ぶ）をｕ_ｉ（ｉ＝０，１，２，…，８）と表す（図
７）。ゆえに、ｐ＋ｕ_ｉは点ｐ自身および点ｐに８隣接
する点を、ｚ（ｐ＋ｕ_ｉ）はｐ＋ｕ_ｉにおける情報源ベ
クトルを、φ（ｚ（ｐ＋ｕ_ｉ））はｐ＋ｕ_ｉの情報源に
おける距離値を表す。

【００１８】一般化距離変換は、初期値の設定、距離値
の更新、という２段階のプロセスで構成される。

【００１９】初期値設定のプロセスでは、２種類の画素
を更に異なる画素に４隣接する画素とそうでないものに
分け、それぞれの画素に対して図８のように初期値を設
定する。また、情報源ベクトルの初期値は

【数３】とする。ここに、Ｑは全画素の集合である。

【００２０】距離値更新のプロセスでは、距離値を以下
の式に基づいて更新する。

【数４】ここに、ｕ_ｍｉｎはφ^ｔ（ｐ）を最小とするｕ_ｉを、ｕ
_ｍａｘはφ^ｔ（ｐ）を最大とするｕ_ｉを表す。

【００２１】尚、式４の処理は逐次型処理でも並列型処
理でも実現が可能である。逐次型処理においては、ただ
しこの場合のｕ_ｉは、順方向処理時にはｕ_ｉ（ｉ＝２，
３，４，５）、逆方向処理時にはｕ_ｉ（ｉ＝１，６，
７，８）とし、ラスター走査の方向に式４の演算を一往
復すれば処理が終了する。並列処理においては、ｕ
_ｉ（ｉ＝１，２，…８）についてφ^ｔ（ｐ）が飽和する
まで式４の演算を反復する。

【００２２】（本発明の構成）次に、本発明の全体構成
および個々の機能について説明する。本発明は図９に示
すように、左右画像入力部、２値化部、一般化距離変換
部、対応探索部、３次元シーン復元部で構成される。

【００２２】左右画像入力部は、光軸が平行に設置され
た２台のカメラ（ステレオカメラ）で構成されており、
外界のシーンを画像として入力する。

【００２３】２値化部は、入力された画像の２値化によ
って２値画像を生成する。２値化の方法には、物体と背
景の分離に基づく方法、エッジの有無に基づく方法、テ
クスチャの有無に基づく方法などがある。図１０に、物
体と背景の分離することによって生成した２値画像を示
す。

【００２４】一般化距離変換部は、２値画像を一般化距
離変換によって距離値画像に変換する。この処理の目的
は、入力画像における形状情報を画像全体に拡散させる
ことにある。図１１は、図１０に示した２値画像の一般
化距離変換によって得られた距離値画像をスライス表示
したものである。

【００２５】対応探索部は、入力画像における画素値と
距離値画像における距離値とを併用した対応探索によっ
て視差ｄを決定し、視差画像を作成する。

【００２６】３次元シーン復元部は、式２を用いて視差
ｄを奥行きＺに変換し、３次元シーンを復元する。

【００２７】（実施例１）次に、本発明による３次元シ
ーン復元の実施例を示す。図１２は、図１１の距離値画
像に基づいて復元された３次元シーンである。このよう
に本発明は、テクスチャレス領域を含む画像に対しても
ノイズの少ない３次元シーンを復元することができる。
距離値を用いた場合の対応点決定のメカニズムは、以下
のように説明できる。たとえば図１１に示した距離値画
像において、左画像中の点Ｐ_Ｌに対応する点を右画像中
に探索する場合を考えよう。ここに、Ｐ_Ｌにおける距離
値φ（ｐ_Ｌ）には右画像中のφ（Ｐ_Ｒ３）、φ
（Ｐ_Ｒ４）、φ（Ｐ_Ｒ５）、φ（Ｐ_Ｒ６）が等しいが、
距離値パターン（距離値勾配）まで一致するのはその中
でφ（Ｐ_Ｒ６）だけである。つまり、距離値を相関の評
価に用いてテンプレート照合を行なえば、Ｐ_Ｌの対応点
はＰ_Ｒ６に一意に決まるのである。

【００２８】（実施例２）実施例１と同様の結果は、エ
ッジ画像から生成した距離値画像を用いても得ることが
できる。たとえば、図１３は図２の入力画像から生成し
たエッジ画像である。この場合のエッジ画像は完全な線
図形でなくてもよく、エッジ抽出後の細線化や延長・連
結等の面倒な後処理の必要はない。図１４は図１３のエ
ッジ画像に対する一般化距離変換によって生成した距離
値画像であり、図１５はそれに基づいて復元した３次元
シーンである。

【００２９】（実施例３）ところで、実施例１や実施例
２においては、物体と背景の距離が同じになるようにシ
ーンが復元される。もちろん画素値を用いれば物体と背
景の分離は可能であるが、こうした処理を必要としない
実施例を以下に示す。この実施例では、テクスチャの有
無に基づいて入力画像を２値化する（図１６）。その判
断には微小領域内の分散等を用いればよい。次に、２値
画像のテクスチャレス領域を対象として一般化距離変換
を行ない、距離値画像を作成する。ここに、テクスチャ
領域の距離値は０としておく。対応探索は、画素値と距
離値を併用したテンプレート照合によって決定する。併
用の方法としては、ｐにおける相関の評価値ξ（ｐ）を

【数５】とする方法などがある。図１７は、式５（ｃ＝１）から
決定した評価値ξ（ｐ）である。また図１８は、ξ
（ｐ）を相関の評価値に用いて復元した３次元シーンで
ある。ここに、円錐のようにテクスチャのある領域では
対応点は画素値で決まるため、その表面の膨らみが復元
されている。また、背景や立方体の表面などのテクスチ
ャレス領域では、対応点は距離値によって決まるため、
広い面が整合性よく低ノイズで復元されている。

【００３０】尚、先の実施例においてはいずれも、復元
した３次元シーンの中に明かに偽対応と思われる部分が
存在する。しかしこれらは平行テクスチャが原因である
ため、３眼視等の直交したステレオ視システムを用いれ
ば容易に解決することができる。

【００３１】

【発明の効果】距離値画像においては、距離値が全領域
において勾配を持って分布しているので、全領域におい
て距離情報を得ることができる。つまり、本発明は任意
のシーンに適用可能である。また、テンプレート照合に
おけるウインドウサイズを小さくできるため、従来の領
域相関法に比べて空間解像度の向上が図れる。一方、一
般化距離変換に要する処理コストは画像の特性に拘わら
ずほぼ一定であり、対応探索はテンプレート照合という
構造化が容易な処理が適用できるため、ハードウェア化
や並列化により処理の高速化が可能となる。

【００３２】（発明の応用）従来のカメラの自動焦点位
置検出装置においては、テクスチャレス画像における対
応探索が困難であるのと同様の理由により、コントラス
トの少ないシーンに対しては測距ができない。また、測
距点が１個または数個に限定されているため、「中抜
け」と呼ばれる、中央をはずして左右に二人の人物が存
在する場合に焦点が中央の遠景に合ってしまう現象が発
生する。しかし本発明をカメラの自動焦点位置検出に応
用した場合には、コントラストの少ないシーンに対して
も測距が可能であるばかりでなく、中抜けを防ぐことが
できる。また、全空間が測距点となるため、多様な意図
に基づいた撮影が可能となる。また本発明を時系列画像
に適用すれば、３次元的オプティカルフローを検出する
ことができる。距離情報やオプティカルフローは物体の
移動状況の認識および行動生成において極めて使い勝手
のよい情報であることから、本発明は自動車、産業機
械、ロボットなどの視覚として活用することができる。

【手続補正３】

【補正対象書類名】明細書

【補正対象項目名】図面の簡単な説明

【補正方法】変更

【補正内容】

【図面の簡単な説明】

【図１】２眼ステレオ視の基本構成と三角測量に基
づく測距原理。

【図２】テクスチャレス領域を含むステレオ画像
対。

【図３】図２の画素値に基づいて復元した３次元シ
ーン。

【図４】２値画像の例。

【図５】従来の距離変換によって得られた距離値画
像。

【図６】一般化距離変換によって得られた距離値画
像。

【図７】８近傍の点を示すベクトル（近傍ベクト
ル）。

【図８】一般化距離変換における初期値。

【図９】本発明の３次元シーン復元装置の構成例。

【図１０】図２に対する物体と背景の分離によって生
成した２値画像。

【図１１】図１０の一般化距離変換によって得られた
距離値画像。

【図１２】図１１の距離値に基づいて復元した３次元
シーン。

【図１３】図２に対するエッジ抽出によって生成した
２値画像。

【図１４】図１３の一般化距離変換によって得られた
距離値画像。

【図１５】図１４の距離値に基づいて復元した３次元
シーン。

【図１６】図２に対するテクスチャの有無に基づいて
生成した２値画像。

【図１７】式５に示した相関の評価値で構成された画
像。

【図１８】図１７の評価値に基づいて復元した３次元
シーン。

【手続補正４】

【補正対象書類名】図面

【補正対象項目名】全図

【補正方法】変更

【補正内容】

【図１】

【図２】

【図３】

【図４】

【図５】

【図６】

【図１２】

【図７】

【図８】

【図９】

【図１０】

【図１１】

【図１３】

【図１４】

【図１５】

【図１６】

【図１７】

【図１８】

Claims

【特許請求の範囲】

【請求項１】画像における濃淡や色彩などの画像情報
を一般化距離値と称する値に変換する方法とその装置。
【請求項２】一般化距離値を相関の評価に用いた対応
探索によってステレオ画像から３次元シーンを復元する
方法とその装置。