JPH03291766A - ステレオ画像対応付け装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 （産業上の利用分野） 本発明は、２台のビデオカメラ等により撮影された左右
の画像（ステレオ画像〉において、互いに対応する点を
求めるステレオ画像対応付け装置に関するものである。

（従来の技術） 従来より、所定間隔を隔てて水平方向に配置した２台の
テレビカメラ等により撮影された左右の画像から撮影対
象物の３次元的な情報を取り出ず／ごめ、各画像をそれ
ぞれアナロク゛／ディジタル変換（以下、Ａ、／Ｄ変換
という）して得られる左画像データ及び右画像データよ
り、各走査線毎に互いに対応する対応点を求めるステレ
オ画像対応付け装置が研究され、その対応点の求め方は
、両画像の濃度が類似する点を求めることを基本として
いる。

従来、この種の技術の一例としては、電子通信学会論文
誌「動的計画法によるステレオ画像の区間対応法」Ｊ６
８−Ｄ　［４］　　（１，９８５−４）電子通信学会、
Ｐ、５５４−５６１に記載されるように、動的計画法を
用いて左右の画像データ中の対となる走査線毎に濃度の
類似性を参照して対応点を求めていた。

第２図（ａ＞、（ｂ）は、」−記文献Ｇこ記載された動
的計画法による対応付けを示す図であり、同図（ａ、　
）は撮影対象物の一例を示す側面図、同図（ｂ）は対応
探索平面を示す図である。なお、走査線上の濃度変化が
一定値以上の点（以下、エラジ゛点という）同士に挟ま
れた区間を対応単位と考える場合について説明する。

第２図（ａ＞に示すような撮影対象物１を矢印２て示す
左方向及び矢印３で示す右方向より、図示しないビデオ
カメラ等によって撮影した場合、頂面が最も明るく底面
が最も暗くかつ両側面がその中間の明るさを持つとすれ
ば、左右の画像中の一つの走査線上の明るさは、第２図
（ｂ）の符号４及び５に示ずような変化を示す。饋し、
明るさの変化曲線４において、横軸は左画像中の走査線
（以下、左走査線という、Ｎ；左走査線上の区間数〉」
二の位置を示し、縦軸は明るさを示し、また、明るさの
変化曲線５において、縦剰１は右画像中の走査線（以下
、右走査線という、Ｍ；右走査線」二の区間数）上の位
置を示し、横軸は明るさを示す。

第２図（ＩＤ）において、符号６は変化曲線４及び５に
対応する動的計画法による対応探索平面を表しており、
左右走査線間の対応探索は、該平面６」―て対応を示す
パスを求める問題として解かれる、該平面６において、
横軸は左走査線上の位置に対応し、縦軸は右走査線上の
位置に対応し、また、桁線は左走査線上で算出されたエ
ツジ点の位置を示し、横線は右走査線」二で算出された
エツジ点の位置を示しており、各走査線の両端も便宜−
１−、エツジ点として扱っている。これら直線の交点を
ノートと呼ぶとすれば、ノートは動的計画法における決
定段階に相当し、各ノートにおいてそこ至るパスのうち
、最小コス１−を持つもののを選択する走査を行う。

縦横の直線で区切られた矩形が左右走査線上の一対の区
間の対応可能性を表す。左右一対の区間の対応を示すパ
ス（即ち、探索平面上のある矩形の対角線または辺）を
原子パスと呼ぶことにすれば、左右走査線の対応は、探
索平面上で左上から右下に至る原子パスを連結したパス
によって表現される。

この類似度尺度としての原子パスコスＩ・は、両画像の
濃度を参照することにより算出されていた。

（発明が解決しようとする課題） しかしながら、上記の原子パスコスＩ・は、画像濃度だ
けを参照して算出されており、正確なコスｌへを得るこ
とができない恐れがあった。

例えば、第３図（ａ、）、（ｂ）、（ｃ）は、領域１０
とカメラまでの距離か、領域］］−のときに比較してか
なり小さい場合の画像濃度分布を示す図である。同図（
ｂ）が示す区間Ｒ，］−に対応する領域を右画像中より
求めようとした場合、同図（Ｃ）の示す区間Ｒ２，Ｒ３
が有力な候補となる。

ところが、区間Ｒ２，Ｒ，３のいずれが区間Ｒ，１に対
応するかの判別は、画像濃度だけを参照することによっ
て算出した原子パスコス１〜の値では困難である。その
ため、誤対応を生ずる恐れが大きく、対応付は精度の信
頼性が十分てはなかった。

本発明は前記従来技術の持っていた課題として、対応付
は精度の信頼性が十分でないという点について解決した
ステレオ画像対応付は装置を提供するものである。

（課題を解決するための手段〉 本発明は、前記課題を解決するために、左側画像入力装
置より得られる左入力画像の各走査線に対応した左画像
データに基づき、該左入力画像の画素濃度を求める左濃
度算出部と、前記左側画像入力装置に対して所定の間隔
で配置された右側画像入力装置より得られる右入力画像
の各走査線に対応した右画像データに基づき、該右入力
画像の画素濃度を求める右濃度算出部と、前記左入力画
像及び前記右入力画像の画素濃度を用いて、前記左画像
データと前記右画像データとの類似度を前記各走査線毎
に求める対応付は処理部とを、備えｌニステレオ画像対
応付け装置において、次のような手段を講じたものであ
る。

前証左入力画像の画素濃度に基づき、該左入力画像中の
各画素の近傍に位置する複数の画素の濃度変化量である
左画像濃度変化量を求める左画像濃度変化算出部と、前
記右入力画像の画素濃度に基づき、該右入力画像中の各
画素の近傍に位置する複数の画素の濃度変化量である右
画像濃度変化量を求める右画像濃度変化算出部とを、設
けると共に、前記対応付は処理部は、前記右入力画像及
び前記左入力画像の前記走査線」二における左端がら右
端までを複数の区間に分割する分割手段と、前記左入力
画像の画素濃度、前記右入力画像の画素濃度、前記左画
像濃度変化量、及び前記右画像濃度変化量を参照し、ｉ
ｉｆ記各記聞区間ける前記類似度をそれぞれ求める類似
度算出手段と、前記類似度により、前記右入力画像の各
区間と前記左入力画像の各区間との対応付けを行う対応
付は手段とを、備えたものである。

また、前記左画像濃度変化算出部は、前記左入力画像中
の各画素に対して、水平方向、垂直方向、左斜め方向、
及び右斜め方向に位置する各画素の濃度変化量により、
前記左画像濃度変化量を算出する構成にし、前記左画像
濃度変化算出部は、前記右入力画像中の各画素に対して
、水平方向、垂直方向、右斜め方向、及び右斜め方向に
位置する各画素の濃度変化量により、前記右画像濃度変
化量を算出する構成にしてもよい。

（作用） 本発明は、以上のようにステレオ画像対応付は装置を構
成しなので、左画像濃度変化算出部及び右画像濃度変化
算出部は、左画像濃度変化量及び右画像濃度変化量を対
応付は処理部へ出力し、対応付は処理部は、左入力画像
の画素濃度、右入力画像の画素濃度に加えて、左画像濃
度変化量及び右画像濃度変化量を参照して左画像データ
と右画像データとの類似度を求め、対応付は処理の精度
を向上させるように働く。

したがって、前記課題を解決できるのである。

（実施例） 第１図は、本発明の実施例を示すステレオ画像対応付は
装置の構成ブロック図である。

このステレオ画像対応付は装置は、図示しない撮影対象
物と所定の距離を隔てて設置されたビデオカメラ等の左
側画像入力装置より得られる左入力画像をＡ／Ｄ変換し
て左画像データＤ１を出力する左画像入力部５０と、左
側画像入力装置に対して所定の間隔で配置された右側画
像入力装置より得られる右入力画像Ｇ２をＡ／Ｄ変換し
て右画像データＤ２を出力する右画像入力部５］、とを
、有している。この左画像入力部５０及び右画像入力部
５１は、Ａ／Ｄ変換器等で構成されている。

左画像入力部５０の出力側には、左画像データＤ１に基
づき左入力画像Ｇ１の画素濃度を求める左濃度算出部５
２と、左入力画像Ｇ１中の各画素の近傍に位置する複数
の画素の濃度変化量である左画像濃度変化量を求める左
画像濃度変化算出部５３とが接続されている。

さらに、右画像入力部５１の出力側には、右画像データ
Ｄ２に基づき右入力画像Ｇ２の画素濃度を求める右濃度
算出部５４と、右入力画像Ｇ２中の各画素の近傍に位置
する複数の画素の濃度変化量である右画像濃度変化量を
求める右画像濃度変化算出部５５とが、接続されている
。ここで、左画像濃度変化算出部５３及び右画像濃度変
化算出部５５は、画像濃度格納用メモリ、乗算器、加算
器、及びレジスタ等で構成されている。左画像濃度変化
量は、左入力画像Ｇ１−中の各画素に対して、水平方向
、垂直方向、左斜め方向、及び右斜め方向に位置する各
画素の濃度変化量により算出し、右画像濃度変化量は、
右入力画像Ｇ２中の各画素１ に対して、水平方向、垂直方向、右斜め方向、及び右斜
め方向に位置する各画素の濃度変化量により算出するよ
うに設定されている。

左濃度算出部５２、右濃度算出部５４、左画像濃度変化
算出部５３、及び右画像濃度変化算出部５５の出力側に
は、左画像データＤ１−と右画像データＤ２との類似度
を走査線毎に求める対応付は処理部５６が接続されてい
る。

この対応付は処理部５６は、右入力画像Ｇ２及び前記左
入力画像Ｇ１の前記走査線上における左端から右端まで
を複数の区間に分割する分割手段５６ａと、左入力画像
Ｇ１の画素濃度、右入力画像Ｇ２の画素濃度、左画像濃
度変化量、及び右画像濃度変化量を参照し、前記各区間
における左画像データＤ］と右画像データＤ２との類似
度をそれぞれ求める類似度算出手段５６ｂと、前記類似
度により、右入力画像Ｇ２の各区間と左入力画像Ｇ１の
各区間との対応付けを行い、対応付は結果Ｅを出力する
対応付は手段５６ｃとで、構成されている。

２ ここで、左濃度算出部５２、右濃度算出部５４、左画像
濃度変化算出部５３、右画像濃度変化算出部５５及び対
応付は処理部５６は、中央処理装置の一部として構成さ
れている。

以上のように構成されるステレオ画像対応対は装置の動
作について説明する。

例えば左側画像入力装置より得られる撮影対象物の左入
力画像Ｇ１は、左画像入力部５０において、Ａ／Ｄ変換
され、左画像データＤ１として出力される。同様に、右
側画像入力装置より得られる撮影対象物の右入力画像Ｇ
２は、右画像入力部５］−において、Ａ／Ｄ変換され、
右画像データＤ２として出力される。左画像データＤ１
が左濃度算出部５２に入力されると、この左濃度算出部
５２で左入力画像Ｇ１の画素濃度が算出される。左画像
濃度変化算出部５３は、その画素濃度を入力し、水平方
向画素番号ｊｉ、垂直方向画素番号ｊ、ｊにおける画素
について、その画素近傍の濃度の大小関係を算出する。

その−例が第４図に示されている。

左画像濃度変化量ｉｖ、Ｇ 次式で与えられる。

（ｉｉ、ｊｊ り ）は ｉｖ、１ｌ （ｉｊ Ｊ 〃 〉 但し、 ａ（ｘ 〃 ） ；近傍画素の各々に対 してあらかじめ与え られる定数 ・・・・・・（１） 定数ａ　（ｘ、　ｙ、　、Ｑ　）は、第５図（ａ）〜（
ｄ）に示すように与えられる。同図（ａ、　）は水平方
向変化量（。Ｏ−〇）、同図（ｂ）は垂直方向変化量（
ｊ−１−）、同図（ｃ）は左斜め方向変化量（〃２）、
及び同図（ｄ）は右斜め方向変化１．０３）をそれぞれ
算出するため、与えられた値である。

一方、右濃度算出部５４に右画像データＤ２が入力され
ると、この右濃度算出部５４で右入力画１象Ｇ２の画素
濃度が算出される。右画像濃度変化算出部５５は、その
画素濃度を入力し、左画像濃度変化算出部５３と同様の
動作を行い、右画像濃度変化量を算出する。

続いて、対応付は処理部５６は、分割手段５６ａを用い
て、所定の走査線上において、右入力画像Ｇ２の左端か
ら右端までを複数の区間に分割し、同様に、右入力画像
Ｇ］の左端から右端までを複数の区間に分割する。さら
に、類似度算出手段５６ｂによって左入力画像Ｇ１の画
素濃度、右入力画像Ｇ２の画素濃度、左濃度変化量、及
び右濃度変化量を参照して、前記各区間における左画像
データＤ］−と右画像データＤ２との類似度をそれぞれ
求める。その類似度（原子パスコスト）の−例を次に示
す。

５ ）、ｊｊ、、ｉ）　） ） （２） 但し、 ｄ　（ｍ、ｋ）；ノードｋからノードｍに至る原子パス
コスＩ・ ノードｋにおける左入力画像Ｇ １−上画素位置 ｒｓ；ノードｋにおける右入力画像Ｇ ２上画素位置 、［ｌｅ；）−ドｍにおける右入力画像Ｇ２上画素位置 ｒｅ：ノードｍにおける右入力画像Ｇ ２上画素位置 ］−６ ｊ　ｊ−○〜ＸＷ−１ ＸＷ；水平方向画素素数 ｊｊ；所定の走査線 ｊ、Ｑ　（ｉｉ、ｊｊ）　　；走査線ｊｊにおける左画
像濃度 １ｒ（ｉｉ、月）：走査線ｊｊにおける右画像濃度 ｆ（ｉｉ）　＝ｒｓ＋　（ｉ　ｉ　−、ｆｌ　ｓ）　＋
　（ｒｅ−ｒｓ）／　（Ｊ）　ｅ　−，１）　５）ＫＮ
；濃度変化方向数 、Ｏ；濃度変化方向番号（Ｏ〜ＫＮ−１）ｉ　ｖ、ｔｌ
　（ｉｉ、ｊｊ、　、Ｑ　）　　；左画像濃度変化量 ｊ　ｖｒ（ｉｉ、ｊｊ、　、１１　）　　；右画像濃度
変化量 対応付は手段５６ｃは、類似度算出手段５６ｂによって
求められた類似度により、例えば、第２図で示した動的
計画法を用いて右入力画像Ｇ２の各区間と左入力画ｆｉ
Ｇ１の各区間との対応付けを行う。

本実施例は、次のような利点を有している。

（１−）第６図は、類似度計算に濃度変化量を使用する
ことによる効果を示す図である。この図の示ず濃度分に
よる類似度で示されている部分Ｗ］、は、１ｒ（ｆ（爾
）、ｊｊ）　ｌ　）による結果に相当し、濃度変化量に
よる類似度で示される部分Ｗ２は、（２）、ｆｌ　）−
ｉ　ｖ　ｒ　（ｆ（：！）、ｊｊ、ｕ　）当する。従来
の類似度は、 ）〉による結果に相 ｊｊ） （３〉 で求めることができるが、この（３）式は、（２）式の
第１の総和項に相当する。

このように、従来の濃度分だけによる類似度算出に、濃
度変化量分を加えることにより、第３図の示すＲ１とＲ
２の間の類似性は相対的に大きくなり（第６図に示す類
似度は、値が大きいほど類似性は小となる）、最終的に
安定した対応対は結果Ｅを得ることができる。

なお、本発明は、図示の実施例に限定されず、種々の変
形が可能である。例えば、上記実施例では、対応付処理
部５６における類似度尺度として市街地距離を用いたが
、これに限定されず、例えば、ユークリッド距離、相互
相関関数等の池の類１以度尺度を用いることも可能であ
る。

（発明の効果） 以上詳細に説明したように、本発明によれば、左入力画
像と右入力画像との間の類似度の算出する際に、画像濃
度だけではなく、右入力画像及び左入力画像中の各画素
の近傍に位置する複数の画素の濃度変化量も参照するよ
うにしたので、対応対は処理か正確になり、対応対は精
度の信頼性の向」−が期待される。

【図面の簡単な説明】

第１図は本発明の実施例を示すステレオ画像対応対は装
置の構成ブロック図、第２図は動的計画法による対応対
は処理の説明図、第３図は（ａ、　）〜（Ｃ）は画像濃
度分布を示す図、第４図は画像濃度の変化量を示す図、
第５図＜　ａ、　＞〜（ｄ）は近傍画素に与えられる定
数を示す図、第６図は類似度の効果を示す図である、 ５０・・・・・・左画像入力部、５］・・・・・・右画
像入力部、５２・・・・・・左画像濃度算出部、５３・
・・・・・左画像濃度変化算出部、５４・・・・・・右
画像濃度算出部、５５・・右画像濃度変化算出部、５６
・・・・・・対応対は処理部、５６ａ・・・・・・分割
手段、５６１つ・・・・・・類似度算出手段、５６ｃ・
・・・・・対応対は手段、Ｇ１・・・・・・左入力画像
、Ｇ２・・・・・・右入力画像、Ｄｌ・・・・・・右画
像データ、Ｄ２・・・・・・右画像データ。 ３（勇イ上ソ度　の９ｈ呆 鴬にＭ （ｄ）ｌ＝、３ 近傍画素に与之られる定め 算５図 ６５２−

Claims (1)

1. 【特許請求の範囲】 １、左側画像入力装置より得られる左入力画像の各走査
   線に対応した左画像データに基づき、該左入力画像の画
   素濃度を求める左濃度算出部と、前記左側画像入力装置
   に対して所定の間隔で配置された右側画像入力装置より
   得られる右入力画像の各走査線に対応した右画像データ
   に基づき、該右入力画像の画素濃度を求める右濃度算出
   部と、前記左入力画像及び前記右入力画像の画素濃度を
   用いて、前記左画像データと前記右画像データとの類似
   度を前記各走査線毎に求める対応付け処理部とを、 備えたステレオ画像対応付け装置において、前記左入力
   画像の画素濃度に基づき、該左入力画像中の各画素の近
   傍に位置する複数の画素の濃度変化量である左画像濃度
   変化量を求める左画像濃度変化算出部と、 前記右入力画像の画素濃度に基づき、該右入力画像中の
   各画素の近傍に位置する複数の画素の濃度変化量である
   右画像濃度変化量を求める右画像濃度変化算出部とを、 設けると共に、 前記対応付け処理部は、 前記右入力画像及び前記左入力画像の前記走査線上にお
   ける左端から右端までを複数の区間に分割する分割手段
   と、 前記左入力画像の画素濃度、前記右入力画像の画素濃度
   、前記左画像濃度変化量、及び前記右画像濃度変化量を
   参照し、前記各区間における前記類似度をそれぞれ求め
   る類似度算出手段と、前記類似度により、前記右入力画
   像の各区間と前記左入力画像の各区間との対応付けを行
   う対応付け手段とを、 備えたことを特徴とするステレオ画像対応付け装置。 ２、請求項１記載のステレオ画像対応付け装置において
   、 前記左画像濃度変化算出部は、 前記左入力画像中の各画素に対して、水平方向、垂直方
   向、左斜め方向、及び右斜め方向に位置する各画素の濃
   度変化量により、前記左画像濃度変化量を算出する構成
   にし、 前記左画像濃度変化算出部は、 前記右入力画像中の各画素に対して、水平方向、垂直方
   向、右斜め方向、及び右斜め方向に位置する各画素の濃
   度変化量により、前記右画像濃度変化量を算出する構成
   にしたステレオ画像対応付け装置。