JPH02101584A - ステレオ画像処理方式 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 （発明の属する技術分野） 本発明は、ステレオ画像から物体の３次元位置を測定す
るステレオ画像処理方式に関するものである。

（従来の技術） 従来、ステレオ画像から視差を検出するための方法とし
ては、立体視差を検出するために適当な特微量を画像の
前処理によって抽出し、この特微量にもとづいて左右の
画像で対応をとる方法と、−層の人工神経回路網を構成
し、各人工神経間の結合関係をあらかじめ決定しておく
ことによって、この神経回路網で画像を繰り返し処理す
ることにより、画像の各画素の視差を検出する方法とが
あった。

上記従来技術においては、視差を検出しようとする画像
から視差を検出するために都合のよい特徴址を選択し抽
出しなければならない、または視差を検出するために都
合のよい人工神経間の結合関係を事前に定めておかなけ
ればならないなど、対象画像に関する知識にもとづいて
処理をしなければならないという問題点があった。また
人工神経回路網を構成するにあたって、大きな回路網に
入力と正解値を与えて学習させると１回路網が無意味な
局所安定点に落ち込んでしまう、したがって、学習のた
めの計算量が膨大になるなどの問題点があった。

本発明は、」二連した問題点を解消し、３層の人工神経
回路網を用いて任意のステレオ画像から視差を検出する
ことを目的とする。

（発明の構成） （発明の特徴と従来技術との差異） 本発明は上記目的を達成するため、ステレオ画像のエピ
ポーラ線上の対応点を検出する人工神経回路網と、この
人工神経回路網を一部とするエピポーラ線上で視差の大
きさが一致する画素列とその視差の大きさを検出する人
工神経回路網と、この人工神経回路網を一部とする画像
上での対応がとれかつエピポーラ線上での視差の大きさ
が一致しかつエピポーラ線に垂直な方向に視差の大きさ
が一致する画素列とその視差の大きさを検出する人工神
経回路網とで構成されたことを最も主要な特徴とする。

従来技術とは、対象画像に関する先験的な知識を用いる
ことなく、視差が既知の両像対群を用いて３層の人工神
経回路網の学習で行なう点が異なる。

即ち上記３層人工神経回路網の学習において、視差検出
における３つの過程で行なわれる。まず、左右像での対
応点を見つける過程、エピポーラ線に平行な方向の視差
の連続性を検出する過程、エピポーラ線に垂直な方向の
視差の連続性を検出する過程、の階層性を利用して、入
力画像とそれぞれの過程に対応して所望する結果だけを
人工神経回路網に提示することによって、ステレオ画像
から視差を検出する３層の人工神経回路網を構成し、こ
の人工神経回路網を用い任意のステレオ画像から視差を
検出することにある。

（実施例） 第１図は１本発明の一実施例によるステレオ画像処理方
式の全体構成を示すブロック図である。

図において、１−１．１−２は一対のステレオ画像を記
憶する画像メモリ部、１−３は学習用の視差が既知のス
テレオ画像及びその視差情報、及び視差を求めたい任意
の画像を蓄積した画像蓄積部。

１−４は視差を求める人工神経回路網部、１−５は人工
神経回路網から得られた視差情報と既知の視差情報を比
較する比較器、１−６は得られたステレオ画像に対し決
定された視差情報を送出する視差送出部である。

この動作を説明すると、まず画像蓄積部１−３から、後
で述べる階層的な学習手順に見合ってあらかしめ定めた
順に学習用の視差が既知のステレオ画像を画像メモリ部
１−１，１．−２に送出するとともに、その視差情報を
比較器１−５に送る。

人工神経回路網部１−４は画像メモリ部１−１゜１−２
の情報を入力として視差を検出し比較器１−５に送る。

この比較器１−５は既知の視差情報と人工神経回路網の
視差情報との差分情報を人工神経回路網部１−４に送り
、この人工神経回路網部１−４はこの差分情報から視差
決定パラメータを順次更新していく、このようにして学
習された人工神経回路網部１−４を用いて、画像蓄積部
１−３に蓄積された任意のステレオ画像データを画像メ
モリ部１−１．１−２に送出し、この際得られた人工神
経回路網部１−４の出力は、視差送出部１−６に視差情
報として送られる。

第２図は、第１図に示す人工神経回路網部１−４の一実
施例の構成を示すブロック図である。この１−４に相当
する人工神経回路網部２−３は、入力層２−３−１．中
間層２−３−２．出力層２−３−３と、それらの層間の
結合部２−３−４゜２−３−５とからなる。結合部２−
３−４．２−３−５は、となりあった層のすべてのユニ
ット間をつなぐ結合パラメータとして表される。その結
合パラメータは、以下のようにして階層的に決定される
。まず小さな人工神経回路網２−１をつくる。２−１は
入力層２−１−１．中間層２−１−２、出力層２−１−
３．層間の結合部２−１−４゜２−１−５からなる。

処理対象となるステレオ画像の大きさがそれぞれＮｈ画
素申Ｎｖ画素、画像間の最大視差がＤ画素であると仮定
すると、入力層２−１−１は（（２Ｄ＋１）＋１）個の
ユニットからなり、出力層２−１−３は（２Ｄ＋１）個
のユニットからなる。

ここで一対のステレオ画像の１片方の画像の一点と、そ
の点と同一エピポーラ線上にあってかつその点と対応す
る位置からＤ画素以内にあるすべての画素からなる画素
列とを入力層の入力とした時１画素どうしの対応する点
のみを出力するように、結合部２−４−４．２−１−５
を決定する。

次にこうしてできた人工神経回路網をＮｈ個並列に並べ
、となりあった層間にユニット間の結合部２−２−６．
２−２−７をさらに新たに加えることによって人工神経
回路網２−２をつくる。これは入力層２−２−１．中間
層２−２−２．出力層２−２−３．結合部２−２−４．
２−２−５からなる。

人工神経回路網２−１における中間層のユニット数をＮ
とすると、入力層２−２−１．中間層２−２−２．出力
層２−２−３のユニット数はそれぞれ（２申Ｎｈ）、　
（Ｎ　＊　Ｎｈ）、　（（２Ｄ＋　１）傘Ｎｈ）である
、エピポーラ線上の画素列を入力とし、視差の大きさが
連続して同じである画素のみを検出してくるように学習
を行う、最後にこうしてできた人工神経回路網をＮｖ個
並列に並べ、となりあった層間にユニット間の結合部２
−３−６．２−３−７をさらに新たに加えることによっ
て人工神経回路網２−３ができる。人工神経回路網２−
３は、（２串Ｎｈ傘Ｎｖ）個のユニットからなる入力層
２−３−１．（Ｎ＊Ｎｈ＊Ｎｖ）個ユニットからなる中
間層２−３−２．（（２Ｄ＋１）本Ｎｈ＊Ｎｖ）個のユ
ニットからなる出力層２−３−４、及びとなりあった層
間の結合部２−３−４．２−３−５からなる。画像全体
を入力とし、エピポーラ線に平行な方向と垂直な方向に
視差の大きさが連続して同じである画素のみを検出して
くるよう学習を行う。

こうして学習させた人工神経回路網が人工神経回路網部
１−４である。

第３図は、一実施例における入力画像例３−１と出力画
像例３−２である。Ｎｈ画素ＩＮｖ画素からなる一対の
入カステレオ画像、左ステレオ画像３−１−１．右ステ
レオ画像３−１−２には、同一エビポーラ線上にある画
素列３−１−３．３−１−４がそれぞれ存在し、３−１
−５はその画素列上の一点を示す。３−２−１．３−２
−２．３−２−３．３−２−４は人工神経回路網部１−
４による出力結果であって、出力は大きさＮｈ画素傘Ｎ
ｖ画素の（２Ｄ＋１）枚の画像３−２−１．３−２−２
．３−２−３．３−２−４からなる。この（２Ｄ＋１）
枚の画像はそれぞれ視差の大きさ＋Ｄ、＋（Ｄ−１）、
・・・、＋１．Ｏ，−２，１，・・・−（Ｄ−１）、−
Ｄに対応する。出力画像上の点３−２−５．３−２−６
．３−２−７．３−２−８は、入力画像上の一点３−１
−５と同じ位置にある出力画像３−２−１．３−２−２
．３−２−３゜３−２−４上の点である。３−２−５．
３−２−６．３−２−７．３−２−８のうちで、入力画
像上の一点３−１−５の視差の大きさに対応する点に、
大きな値が出力される。これらの値を比較することによ
り視差情報を決定する。

（発明の効果） 以上説明したように、本発明によれば、入力となるステ
レオ画像に関する知識を必要とせず視差が既知のステレ
オ画像を用いて学習することによって任意のステレオ画
像の視差を検出することが可能であり、また学習を階層
的に行うため学習回数の削減９局所安定点への収束回避
などの利点がある。

【図面の簡単な説明】

第１図は、本発明の一実施例によるステレオ画像処理方
式の構成を示すブロック図、第２図は。 神経回路網部１−４の構成を示すブロック図、第３図は
本発明の入出力の一例を示す図である。 １−１．１−２・・・画像メモリ、　　１−３・・・画
像蓄積部、　　１−４・・・人工神経回路網部、１−５
・・・比較器、　　１−６・・・視差送出部。 ２−１・・・第一に構成される人工神経回路網。 ２−１−１・・・２−１の入力層、　２−１−２・・・
２−１の中間層、　２−１−３・・・２−１の出力層、
　　２−１−４・・・２−１−１゜２−１−２間の結合
部、　２−１−５・・・２−１−２．２−１−３間の結
合部、　２−２・・・第二に構成される人工神経回路網
。 ２−２−１・・・２−２の入力層、　２−２−２・・２
−２の中間層、　２−２−３・・・２−２の出力層、　
２−２−４・・・２−２−１゜２−２−２間の結合部、
　２−２−５・・・２−２−２．２−２−３間の結合部
、　２−２−６・・・２−２−１．２−２−２間に新た
につくられる結合部、　２−２−７・・・２−２−２．
２−２−３間に新たにつくられる結合部、　２−３・・
・最後に構成される人工神経回路網、　２−３−１・・
・２−３の入力層、　２−３−２・・・２−３の中間層
、２−３−３・・・２−３の出力層、２−３−４・・・
２−３−１．２−３−２間の結合部、２−３−５・・・
２−３−２．２−３−３間の結合部、　　２−３−６・
・・２−３−１．２−３−２間に新たにつくられる結合
部、 ２−３−７・・・２−３−２．２−３−３間に新たにつ
くられる結合部、　３−１・・・入力ステレオ画像例、
　３−１−１・・・３−１における左画像、　３−１−
２・・・３−１における右画像、　３−１−３・・・左
画像におけるエビポーラ線、　　３−１−４・・・３−
１−３に対応する右画像におけるエピポーラ線、３−１
−５・・・３−１−３上の一点、３−２・・・出力画像
例、　３−２−１・・・視差＋Ｄに相当する出力画像、
　３−２−２・・・視差＋（Ｄ−１）に相当する出力画
像、３−２−３・・・視差−（Ｄ−１）に相当する出力
画像、３−２−４・・・視差−Ｄに相当する出力画像、
３−２−５・・・３−１−５に対応する位置にある３−
２−１上の点、　３−２−６・・・３−１−５に対応す
る位置にある３−２−２上の点、　３−２−７・・・３
−１−５に対応する位置にある３−２−３上の点、　３
−２−８・・・３−１−５に対応する位置にある３−２
−４上の点。 特許出願人　日本電信電話株式会社 第 図 第 図

Claims (2)

【特許請求の範囲】
1. （１）被写体を二つの異なる位置から撮像した画像に相
   当するステレオ画像から視差情報を求めるステレオ画像
   処理方式において、同一物理則にもとづく関係を有する
   入出力の組を順次与えることにより、与えられた入力か
   ら該物理則にもとづく出力またはその近似値を出力する
   よう学習可能な人工神経回路網と、前記ステレオ画像を
   記憶するための一対のメモリとを有し、あらかじめ視差
   が求められたステレオ画像を入力したとき出力が該視差
   を近似するように学習させた前記人工神経回路網を用い
   て、任意のステレオ画像を入力した神経回路網の出力を
   もって前記ステレオ画像の視差情報とすることを特徴と
   するステレオ画像処理方式。
2. （２）前記人工神経回路網は、３層の人工神経回路網を
   構成し、左右の画像上の対応画素候補を見つけ出すこと
   と、次にエピポーラ線上の左右の画像の視差の連続性を
   満たすように対応画素候補の中から誤対応画素を取り除
   くことと、最後にエピポーラ線に垂直な方向の視差の連
   続性を満たすように対応画素候補の中から誤対応画素を
   取り除くこととを順次学習することによって、入力画像
   から各画素の視差の大きさを検出することを特徴とする
   請求項（１）記載のステレオ画像処理方式。