JPH03122510A - 視差検出方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 【発明の目的〕 （産業上の利用分野） 本発明は、例えばロボットに搭載したテレビカメラで撮
像した画像から、情景中の対象物の３次元形状を計測す
るのに応用される視差検出方法に関するものである。

（従来の技術） 従来のロボットの眼を実現する方式として、左右の眼で
見た情景の中からそれぞれ対応する部分を選び、その部
分を対象に三角測量を行ってその部分の奥行きを計算す
るステレオ立体視方式がある。第７図はその原理を示し
たもので、ＬおよびＬ′はそれぞれ左右のテレビカメラ
のレンズの中心、Ｅはレンズ中心Ｌ＜！＝Ｌ’　とを結
んだ線分でその長さはｄ、ＨおよびＨ′はそれぞれのレ
ンズの光軸、ＰおよびＰ′はそれぞれ左右のテレビカメ
ラの撮像面に投影された画像、ＣおよびＣ′はそれぞれ
光軸ＨおよびＨ′から左右の撮像面に下ろした垂線の足
で画像の中心、ＳおよびＳ′はそれぞれの画像中で中心
ＣおよびＣ′から等距離にある走査線である。なおここ
で２つの光軸ＨとＨ′は互いに平行に設定されており、
左右の走査線および線分ｅは互いに平行である。また左
右のレンズの焦点距離は等しい値ｆを有している。さて
、いま画像Ｐの走査線Ｓ上に点ｔが写っているとすると
、これの源となる空間中の物体点位置はＴ、、Ｔ２．Ｔ
、　・・・などの多数の候補があり、これらの候補は画
像Ｐ′中では走査線Ｓ′上に一直線上にｔＩ＋　　”２
ｒ　　ｊ３　　　・と並んでいる。

このときこの走査線Ｓ′を点ｔのエピポーララインと呼
ぶ。従って、点ｔに対応する点ｔ′を画像Ｐ′中から探
索する場合に、画像全体を調べる必要はなく、エピポー
ララインＳ′上のみを調べればよい。これにより、探索
時間を短くすることができると同時に、他の似たような
特徴を有する点を誤って対応点とする危険性を少なくす
ることができ、計測に信頼性が増す。対応する点の組合
せが求まれば、その２点について、それぞれ画像の中心
ＣおよびＣ′を原点としたときの横方向の座標ＸとＸ′
から、その差ｘ’　−ｘ　（視差）を求めれば、その点
に投影されている空間内の物体点の奥行き２は、 なる式で与えられる。またこの奥行き２がわかれば、画
像上での縦横の座標値とレンズの焦点距離から、物体点
の空間内での３次元座標が求まる。

（発明が解決しようとする課題） ここで上記方式では、使用する２台のカメラの互いの位
置関係が予めわかっていることが前提となっている。し
かし実際にテレビカメラをロボットに組み込んで使用し
ようとする場合には、カメラの回転などによりカメラ間
の位置関係が時々刻々変化し、さらにこれにロボットの
歩行などによる機械的振動が加わって、カメラ間の位置
関係に誤差が生じ立体視がうまく出来なくなる、という
問題点がある。例えば、ロボットの眼として搭載した２
台のカメラについて、第７図の例に示したように、その
光軸が互いに平行で、また撮像面の走査線も両カメラの
レンズ中心を結んだ直線に平行であるように、予め設定
されていたとする。

そしである時点で、なんらかの機械的ショックを受けて
片方のカメラが上下にぶれてしまったとする。このよう
な状態で従来方式により視差検出をするときの状況を第
８図に例示する。第８図で例えば画像Ｐの走査線Ｓ上の
点に対して画像Ｐ′の走査線Ｓ′がエピポーララインで
あるとし、走査線Ｓ上のエツジＡに対し、これと類似の
エツジＢがたまたま走査線Ｓ′上に存在したとする。す
るとエツジＡに対して正しい対応エツジＡ′を採用せず
に誤ったエツジＢを採用してしまい、エツジＡの部分の
物体の奥行きに誤りが生じてしまう。

本発明の目的は、上記問題点を解決するために、予め互
いのカメラの位置関係を知ることなしに視差検出を行う
方法を実現することにあり、以下図面に従って説明する
。

〔発明の構成〕

（課題を解決するための手段およびその作用）はじめに
以下では、画像中のエツジ部分（濃淡の不連続部分）を
視差検出の対象画素とし、２枚の両眼画像のうちの片方
の画像Ｐを基亭画像として、基準画像Ｐ中に存在する各
エツジ画素について、もう一方の画像Ｐ′に含まれるエ
ツジ情報を用いて視差値を求めることとする。このとき
、エツジとしては平坦エツジ（直線や曲線上のエツジ）
と角エツジ（第８図のＡやＢなどの角ばったエツジ）な
どの分類とその画像上での傾き角度を属性として、この
属性の類似しているエツジ同士を対応エツジ候補として
選ぶ。

また現実性の高い前提条件として、次の３点を設ける。

（１）左右のカメラの焦点距離は既知である。

（２）左右のカメラの互いの位置関係は、ある大まかな
範囲に収まっている。

（３）対象物体の奥行きは、ある大まかな範囲に収まっ
ている。

前提条件（２）と（３）により、第７図に示したような
エピポーララインのような極めて狭い範囲に対応工・ｙ
−ジの探索領域を限定することはできないが、その探索
領域をある程度に絞ることがてきる。

第１図は本発明の原理説明図であり、ここでは例えば図
に示すように、第１画像Ｐ中の位置Ｑに対し、第２画像
Ｐ′中で同じ座標値を有する位置Ｑ′を中心に縦横それ
ぞれ±Ｕ、±Ｖの範囲の探索領域Ｒを設け、この探索領
域Ｒの中で第２画像Ｐ′の対応エツジを探すこととする
。このとき、探索領域Ｒの中には一般に複数のエツジが
対応エツジ候補となり、この複数候補から如何にして対
応エツジを選ぶかが課題となる。そこで本発明では、両
画像のエツジの対応の強さを表す目安として、下記に示
すような融合強度なるものを導入する（融合という言葉
を用いるのは、人間の場合には、対応関係にあるエツジ
を両眼で見ると一つに融合して見えることに由来する）
。

即ち、第１画像Ｐの位置（ｘ、ｙ）にあるエツジの種類
をＫ（Ｘ、ｙ）、エツジの強度（画素の濃淡の不連続の
程度を表し、段差が大きいほど大きな値をとる）をＥ　
（ｘ、ｙ）　、エツジの画像上での傾きをθ（ｘ、ｙ）
とし、また第２画像Ｐ′の位置（ｘ＋ｄｘ、ｙ＋ｄｙ）
にあるエツジの種類をに′　（ｘ＋ｄｘ、ｙ＋ｄｙ）　
、エツジの強度をＥ’　　（ｘ＋ｄｘ、ｙ＋ｄｙ）　、
傾きをθ／　　（ｘ＋ｄｘ、ｙ＋ｄｙ）として、第１画
像Ｐの各エツジから見た第２画像Ｐ′の融合強度を、次
式で与えることとする。

１、（ｘ、ｙ、ｄｘ、ｄｙ） 一δ（Ｋ　（ｘ、ｙ）、Ｋ　（ｘ＋ｄｘ、ｙ＋ｄｙ））
・Ｄ（θ（ｘ、ｙ）。

θ’　　（ｘ＋ｄｘ、ｙ＋ｄｙ）） ・Ｅ　（Ｘ、Ｙ）　　ΦＥ’　　（ｘ＋ｄｘ、ｙ＋ｄｙ
）（２） 但し、δ　（Ｋ　（ｘ、Ｙ）、に’　　（ｘ＋ｄｘ、ｙ
＋ｄｙ））は第１画像Ｐと第２画ＩＩ　Ｐ　’のそれぞ
れのエツジの種類の類似度を表す関数で、同種のとき１
をとり、異種のときＯをとる。またＤ（θ（ｘ、ｙ）、
　　θ’　　（ｘ＋ｄｘ、ｙ＋ｄｙ））は、第１画像Ｐ
と第２画像Ｐ′のそれぞれのエツジの傾きθ（ｘ、ｙ）
とθ’　　（ｘ＋ｄｘ、ｙ＋ｄｙ）の類似度を表す関数
で、両者の値が近いほど太きな値をとるように設定する
。するとまずこの段階では、第１画像Ｐに対して第２画
像Ｐ′には一般に多数のエツジが融合候補として存在す
るので、１つの（ｘ、ｙ）に対して多数の（ｄ　ｘ、　
　ｄ　ｙ）の融合強度が正の値を有することになる。

次に、上記の値Ｉ　ｏ　　（Ｘ＋　Ｙ、ｄ　ｘ、ｄ　ｙ
）を初期値として繰り返し演算を行って、各（ｘ、ｙ）
に対して唯一の（ｄ　ｘ、　　ｄ　ｙ）を下記のような
手順で決定して行く。このときの演算の狙いは、局所的
には互いに近傍同士にあるエツジの視差値は同様の値を
とる確率が高いことを利用して、エツジの視差値のとる
範囲を順々にせばめていくことにある。

即ち、ｎ回目の繰り返し演算で得られる融合強度Ｉ７を
、（ｎ　−１）回目の動作で得られた融合強度Ｉ　ｎ−
１用いて、下記のように与える。

（］イ牟白） １、　　（ｘ、　　ｙ、　　ｄｘ、　　ｄｙ）−Σ　　
　Σ　　　Σ　　　Σ ｆ　　（ｌｘ−ｘ’　　Ｉ、　　Ｉｙ−ｙ’　　ｌ）Ｘ
′　ｙ′　ｄｘ′　ｄ　ｙ′ Φ　ｇ（ｌｄｘ−ｄｘ’　　１．　１ｄｙ−ｄｙ’　　
ｌ）”　　１．−、、（ｘ’　　ｌ　　　’　　＋　　
ｄｘ’　　ｌ　　ｄ　　Ｙ’　　）（３） ここに、ｆ　（ａ＋　　ｂ）（ａ＋　　ｂ≧０）は適当
な重み関数で、エツジ位置の近いものほど大きな影響を
与えるためのものであり、ａやｂの値が小さいほど大き
な値をとるように設定する。また、ｇ（ａ、ｂ）（ａ、
ｂ≧０）も適当な重み関数で、融合エツジ間の視差値の
近いものほど大きな影響を与えるためのものであり、ａ
やｂの値が小さいほど大きな値をとるように設定する。

また上式で／　、　　ｙ／　　　ｄｘ　／　、　　ｄ　
ｙ　／の総和をとる範囲は、重み関数ｆおよびｇが０よ
りも大きな値をとる範囲とする。

（３）式を用いて繰り返し演算を実行すると、繰り返し
の回数を増すごとに、Ｉ＋＋　　（ｘ、ｙ、ｄｘ、ｄｙ
）は各（ｘ、ｙ）に対して特定の（ｄ　ｘ。

ｄｙ）のみで大きな値をとるようになる。

そこで収束条件として、ある閾値を設けて、Ｉｎ　　　
（ｘｒ　　ｙ　＋　　ｄ　　ｘ　＋　　ｄ　　ｙ　）（
４） として、０でない値の融合強度を有する（ｄ　ｘ。

ｄｙ）が各（ｘ、ｙ）に対して唯一となることを条件と
すれば、最終的に視差が確定することになる。

（実施例） 第２図は本発明の一実施例による処理システムであり、
図中の１および１′はテレビカメラ、２および２′は画
像蓄積部、３および３′はエツジ検出部、４および４′
はエツジ情報蓄積部、５は視差値演算部、６は３次元座
標演算部である。

図の動作を説明すると、まず測定対象物体を左右のテレ
ビカメラ１および１′が撮像し、この結果をフレームメ
モリで構成される画像蓄積部２および２′に一時的に蓄
積する。画像蓄積部に蓄積された該画像は、エツジ検出
部３および３′によってエツジ検出され、各画像におけ
るエツジの位置、エツジの種類、エツジの強度、エツジ
の傾きが、エツジ情報としてエツジ情報蓄積部４および
４′に一時的に蓄積される。このエツジ情報を用いて、
視差値演算部５は各エツジに対する視差を検出する。そ
してこの視差値を用いて、最後に３次元座標演算部６が
対象物体の３次元座標を計算する。

ここで、エツジ検出部３および３′の実現方法としては
、例えば下記文献： 高木幹雄他編「画像処理アルゴリズムの最新動向」、別
冊０ｐｌｕｓＥ、新技術］ミュニケーションズ刊、昭和
６１年発行 に記載されている各種のエツジ検出オペレータ（例えば
５ｏｂｅｌオペレータ）を用いる方法がある。このオペ
レータによりエツジの強度および傾きが求まるが、エツ
ジが平坦エツジか角エツジかの分類方法としては、例え
ば下記の文献：名倉正計、“手書き線図形の直線と円弧
による近似”、電子情報通信学会論文誌、ｖｏｌ、Ｊ６
４−Ｄ、Ｎｏ、９．１９８１年、 に記載されている折れ曲がり点の検出方法を用いること
により実現できる。

第３図は、第２図における視差値演算部５の具体例につ
いて示したものであり、図中の７は融合強度演算部Ｉ、
８は融合強度蓄積部Ｉ、９は融合強度演算部ＩＩ、１０
は融合強度蓄積部Ｉ！、１１は収束判定部、１２は視差
値蓄積部である。図の動作を説明すると、まず７の融合
強度演算部■が第２図のエツジ情報蓄積部４および４′
に蓄積されているエツジ情報を受取り、（２）式に基づ
いて融合強度の初期値を計算する。この計算結果は、８
の融合強度蓄積部Ｉに一時的に蓄積される。

次に、９の融合強度演算部ＩＩが、融合強度蓄積部Ｉに
蓄積されている融合強度の初期値を用いて、まず１回目
の繰り返し演算を（３）式に基づいて実行し、その結果
を１０の融合強度蓄積部ＩＩに蓄積する。さらに該融合
強度演算部ＩＩは融合強度蓄積部ＩＩにいま蓄積した１
−回目の繰り返し演算結果を入力値として、（３）式に
基づいて２回目の繰り返し演算を行い、その計算結果を
融合強度蓄積部■に蓄積する（このとき、既に蓄積され
ている融合強度の初期値は消去する）。またさらに次の
段階では融合強度演算部ＩＩは、融合強度蓄積部■にい
ま蓄積した２回目の繰り返し演算結果を入力値として、
（３）式に基づいて３回目の繰り返し演算を行い、その
計算結果を融合強度蓄積部ＩＩに蓄積する（既に蓄積さ
れている１回目の繰り返し演算結果は消去する）。この
ような動作を次々に繰り返していく際に、収束判定部１
１は、（４）式に基づいて視差値が収束したかどうかを
判定し、全てのエツジについて視差値が一意的に定まっ
たら融合強度演算部ＩＩの繰り返し演算を終了させ、視
差値を視差値蓄積部１−２に蓄積する。

第４図は、第３図における７の融合強度演算部■の具体
例を示したものであり、図中の１３はアドレス発生器、
１４．１４’　は続出部、１５．１５’　　　１６．１
６’　　　１７．１７’　はレジスタ、１８．１９は関
数器、２０は乗算器である。図の動作を説明すると、ま
ずアドレス発生部１３が発生した２つの画像に対する座
標値（ｘ、ｙ）および（”　＋　　ｙ’　）に対して、
読出部１４および１４′はそれぞれ図４のエツジ情報蓄
積部４および４′に蓄積されたエツジ情報を読みだし、
その中のエツジ種類を分類番号の形でレジスタ１５およ
び１５′に、エツジの傾きをレジスタ１６および１６′
に、エツジの強度をレジスタ１７および１７′に、それ
ぞれ格納する。次に、（２）式のδに相当する関数を有
する関数器１８は、レジスタ１５および１５′の内容に
対して計算し、また（２）式のＤに相当する関数を有す
る関数器１９は、レジスタ１６および１６′の内容に対
して計算する。そして関数器１８および１９の計算結果
は、レジスタ１７および１７′の内容とともに乗算器２
０に入力され、これらの乗算の結果が（２）の計算結果
として出力される。

第５図は、第３図における９の融合強度演算部ＩＩの具
体例を示したものであり、図中の２１はアドレス発生部
、２２．２２’　　２３．２３’２４．２４’　　　２
５．２５’　はレジスタ、２６は読出部、２７はレジス
タ、２８．２９は減算器、３０は関数器、３１．３２は
減算器、３３は関数器、３４は乗算器、３５は加算累積
器である。図の動作を説明すると、まずアドレス発生部
２１が画像Ｐの座標（Ｘ、Ｙ）とその画像Ｐ′との視差
値（ｄ　ｘ、　　ｄ　ｙ）を発生し、該座標値の中Ｘを
レジスタ２２にｙをレジスタ２３に格納し、また該視差
値の中ｄｘをレジスタ２４にｄｙをレジスタ２５に格納
する。ついで同発生部は、該座標値および視差値に対し
て、複数の近傍座標値（Ｘ′ｙ’）および視差値（ｄｘ
’　、ｄｙ’　）を順次発生し、座標値（ｘ’　、ｙ’
　）をレジスタ２２′および２３′に格納し、視差値（
ｄｘ’　、ｄｙ’　）をレジスタ２４および２４′に格
納する。そして、順次発生される複数の（Ｘ′＋　　ｙ
’　）および（ｄＸ’　＊　　ｄ　ｙ’　）の一つ一つ
の組合せに対して、読出部２６が第３図における８また
は１０の融合強度蓄積部■またはＩＩから融合強度を読
みだしてレジスタ２７に格納し、次に述べる演算を行っ
て各組合せの総和を計算することにより、（３）式の融
合強度を得る。即ち各組合せに対して、レジスタ２２の
Ｘとレジスタ２２′のＸ′の差を減算器２８が、レジス
タ２３のｙとレジスタ２３′のｙ′の差を減算器２９が
それぞれ計算し、その２つの結果は（３）式の関数ｆを
実現する関数器３０に入力される。また同じくレジスタ
２４のｄｘとレジスタ２４′のｄｘ’の差を減算器３１
が、レジスタ２５のｄｙとレジスタ２５′のｄｙ′の差
を減算器３２がそれぞれ計算し、その２つの結果は（３
）式の関数ｇを実現する関数器３３に入力される。そし
て関数器３０および３３の出力がレジスタ２７の融合強
度とともに乗算器３４に入力されて、互いに掛は合わさ
れる。そしてその結果は、一つの（Ｘ′、ｙ′）、（ｄ
ｘ’　、ｄｙ’　）に対する計算結果として加算累積器
３５に入力される。加算累積器３５は該計算結果を、始
めに設定した一組の（ｘ、ｙ）および（ｄ　ｘ、　　ｄ
　ｙ）を変更しない間、（Ｘ′、ｙ′）および（ｄｘ’
ｄｙ’）を順次変えながら累積加算していく。そして設
定した（、ｘ、ｙ）および（ｄ　ｘ、　　ｄ　ｙ）に対
して、関数器３０および３３が０でない値を出力する範
囲について総和計算を完了したら、加算累積器３５は得
られた融合強度加算結果を第３図における８または１０
の融合強度蓄積部ＩまたはＩＩに出力し、また同時にそ
のときの（ｘ、ｙ）および（ｄ　ｘ、　　ｄ　ｙ）と該
融合強度加算結果を第３図における収束判定部１１に出
力する。

第６図は、第３図における収束判定部１１の一実施例に
ついて示したもので、図中の３６．３６’　　３７．３
７’　　３ｇ、３９はレジスタ、４０は比較器、４１は
度数計数器である。図の動作を説明すると、まず第５図
の融合強度演算部ＩＩのアドレス発生部２１から得られ
る座標値（ｘ。

ｙ）がレジスタ３６および３６′に、また（ｄｘ。

ｄｙ）がレジスタ３７および３７′にそれぞれ格納され
る。またこの−組の（ｘ、ｙ）、（ｄ　ｘ。

ｄｙ）に対し、第５図の融合強度演算部ＩＩの加算累積
器３５からの加算融合強度がレジスタ３８に格納される
。ここで、レジスタ３８の内容は、（４）式の閾値Ｉｔ
ｈを格納しているレジスタ３９の内容と比較器４０で比
較される。比較器４０は、レジスタ３８の内容がレジス
タ３９の内容以上のときのみ出力゛　１°を出力し、そ
の他のときは′　０°を出力する。度数計数器４１は、
レジスタ３６．３６’　　３７．３７’の内容を見なが
ら、ある−組の（ｘ、ｙ）に対して何組の（ｄｘ、ｄｙ
）に対して比較器４０の出力が゛　１′となるか度数調
査する。そして、全ての（Ｘ、Ｙ）の組に対して（ｄ　
ｘ、　　ｄ　ｙ）を変化させたときの該度数が１となれ
ば、融合強度演算が収束したと判定し、画像Ｐ中の座標
（ｘ、ｙ）に存在するエツジ部分の視差値（ｄ　ｘ、　
　ｄ　ｙ）として、これを第３図における視差値演算部
］２に出力する。

第２図における３次元座標演算部６および第３図におけ
る視差値演算部１２は公知の計算処理を実現させる部分
であるので、その実施例については省略する。

〔発明の効果〕

以上説明したように、本発明によれば予め厳密にはカメ
ラ間の位置関係を知らずとも視差検出を行うことができ
るので、カメラ間の位置関係が一定でないロボットの眼
の認識系として適している。

【図面の簡単な説明】

第１図、本発明の原理説明図 Ｑ・・・・・・画像Ｐ中の位置 Ｑ′　　　　　・画像Ｐ′中の位置 Ｒ・　・・・・探索領域 第２図、本発明の一実施例システムのブロック図 １．１′　　　・テレビカメラ ２．２′　　　・画像蓄積部 ３．３′　　　・エツジ検出部 ４．４′　　　・エツジ情報蓄積部 ５・　　　　・視差値演算部 ６・　　　　・３次元座標演算部である。 第３図、視差値演算部の構成例のブロック図７・　　・
・・融合強度演算部Ｉ ８・　　・・・融合強度蓄積部Ｉ ９・　　・・・融合強度演算部ＩＩ ］０・　　　　・融合強度蓄積部ＩＩ ］１・　　　　・収束判定部 １２・　　　　・視差値演算部 第４図、融合強度演算部■の構成例のブロック図 １３・　　　　・アドレス発生器 １４．１４’　　　・読出部 １５．１５’　　　　１６．１６’　　　　１７．１７
’・レジスタ １８．１９・　・関数器 ２０・・　・・・乗算器 第５図、融合強度演算部ＩＩの構成例のブロック図 ２１・　　　　・アドレス発生部 ２２．２２’　　　２３．２３’　　　２４．２４’２
５．２５’　　　・レジスタ ２６・・・　　・読出部 ２７φ　　　　　・レジスタ ２８．２９・　・減算器 ３０・　　　　・関数器 ３１．３２・　・減算器 ３３・　　・・・関数器 ３４・　　・・・乗算器 ３５・　　　　・加算累積器 第６図、収束判定部の構成例のブロック図３６．３６’
　　３７．３７’　　３８．３９φレジスタ ４０・　　　　・比較器 ４１・　　　　・度数計数器 第７図、ステレオ立体視方式の原理 り、Ｌ’　　　　・テレビカメラのレンズの中心ｇ・　
　　　・レンズ中心りとＬ′とを結んだ線分 Ｈ，Ｈ’　　　　・レンズの光軸 Ｐ、Ｐ’　　　　・テレビカメラの撮像面に投影された
画像 ｃ、　　ｃ’ ｓ、　　ｓ’ ・画像の中心 ・走査線 第８図、従来の方式の問題点の説明図 Ｐ、Ｐ’　　　・・画像 ｓ、ｓ’　　・・・走査線 Ａ・　　　　・走査線Ｓ上の工・ツジ Ａ’　　Ｂ・　・走査線Ｓ′のエツジ

Claims (1)

1. 【特許請求の範囲】 ステレオ画像対として得られた２枚の画像からエッジ検
   出を行い、得られたエッジ情報から両画像の対応エッジ
   を抽出して、両画像の対応エッジの位置座標のずれを撮
   像対象の３次元座標を計算するための視差値として求め
   る視差検出方法において、 片方の画像に含まれるエッジ各々に対してもう一方の画
   像中の類似エッジを後者の画像の複数の走査線にまたが
   って検出して得られる複数の視差値候補に対し、類似エ
   ッジの数が少ないほど対応エッジ候補としての重みを大
   きく与え、また画像上で近傍に位置するエッジ間ほど各
   々の視差値が類似しているという条件を与えながら、各
   エッジに対し視差値が一意的に定まるまで繰り返し演算
   を実行していくことを特徴とする視差検出方法。