JP2929106B2 - ステレオマッチング方法及びその装置 - Google Patents

ステレオマッチング方法及びその装置

Info

Publication number
JP2929106B2
JP2929106B2 JP1191192A JP19119289A JP2929106B2 JP 2929106 B2 JP2929106 B2 JP 2929106B2 JP 1191192 A JP1191192 A JP 1191192A JP 19119289 A JP19119289 A JP 19119289A JP 2929106 B2 JP2929106 B2 JP 2929106B2
Authority
JP
Japan
Prior art keywords
output
image data
stereo image
target
evaluation function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP1191192A
Other languages
English (en)
Other versions
JPH0355675A (ja
Inventor
昭洋 杉山
仁志 大谷
伸夫 高地
文夫 大友
康治 小宮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TOPUKON KK
Original Assignee
TOPUKON KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TOPUKON KK filed Critical TOPUKON KK
Priority to JP1191192A priority Critical patent/JP2929106B2/ja
Publication of JPH0355675A publication Critical patent/JPH0355675A/ja
Application granted granted Critical
Publication of JP2929106B2 publication Critical patent/JP2929106B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Stereoscopic And Panoramic Photography (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

【発明の詳細な説明】 「産業上の利用分野」 本発明はステレオマッチング方法に係わり、特に空中
写真等の立体写真の解析に最適なステレオマッチング方
法に関するものである。
「従来技術」 従来、航空写真等によるステレオ写真の実体視により
測定等を行う場合には、左右一対の写真における同一地
点を検索し、2枚の写真の位置決めを行う必要があっ
た。これらの位置決めには、反射式実体鏡等を用いて肉
眼により行うことが一般的であったが、これらの作業は
複雑で極めて困難であり、熟練を要し、作業者の負担が
大きかった。そこで、これらのステレオ写真のマッチン
グを自動化する技術が開発されてきた。このステレオマ
ッチングのためのパターン認識方法には、主として面積
相関法が利用されていた。
「発明が解決しようとする課題」 しかしながら上記従来の面積相関法を利用したステレ
オマッチング方法は、特徴的な濃淡の起伏を含む領域に
ついては比較的高いマッチング正解率を得ることができ
るが、濃淡の特徴の低い領域ではマッチング正解率が低
く、満足のいく測定が行えないという問題点があった。
そして濃淡の特徴の低い領域で面積相関法によるマッチ
ングを行うと、探索領域の濃淡と同様になだらかな反応
を示し、マッチング点を特定しにくいという問題点があ
った。このためマッチング反応が線スペクトル的で、マ
ッチング点を特定し易いステレオマッチング方法の出現
が強く望まれていた。
「課題を解決するための手段」 本発明は上記課題に鑑み案出されたもので、入力層、
隠れ層及び出力層から構成された多層型神経回路網に対
象・非対象を示す教師信号を用いてバックプロパゲーシ
ョン学習方法を実行しステレオ画像のマッチングを行う
方法であって、一対のステレオ画像データを読み込む第
1工程と、この一対のステレオ画像データの一方のステ
レオ画像データ中で対象領域及び少なくとも1つの非対
象領域を設定し、入力データとして設定する第2工程
と、この入力データに基づいて各細胞出力を求める第3
工程と、出力層細胞の出力と教師信号に基づき評価関数
値を計算する第4工程と、この第4工程で求めた評価関
数値に基づき神経重率修正量を求める第5工程と、この
第5工程で求めた神経重率修正量に基づいて神経重率に
修正を加え、全ての対象領域及び非対象領域について前
記第3工程から第5工程を順次繰り返し適当な神経重率
を決定する第6工程と、前記一対のステレオ画像データ
のうち他方のステレオ画像データ上に複数の対応候補領
域を設定する第7工程と、この複数の対応候補領域のデ
ータに基づき第6工程の結果決定された神経重率を適用
した神経回路網によってその出力を求める第8工程と、
この神経回路網出力から一方のステレオ画像データの対
象領域に応じた他方のステレオ画像データにおける対応
した領域を決定する第9工程とから構成されている。
更に本発明は、前記第5工程で求めた神経重率修正量
に基づいて神経重率に修正する第A6工程と、全ての対象
領域及び非対象領域について前記第3工程から第5工程
を順次繰り返す第7工程と、この第7工程の結果得られ
た評価関数値の和を演算する第A8工程と、前記評価関数
値の和が所定値内になっているかを判定し、この評価関
数値の和が所定値内でないときには再び第3工程から第
A8工程までを繰り返して評価関数値の和を所定値内にお
さめる第A9工程とを備えることもできる。
更に本発明は、前記第4工程で求めた評価関数値に基
づき神経重率修正量を求め記憶する第B5工程と、全ての
対象領域及び非対象領域について前記第3工程から第B5
工程を順次繰り返す第B6工程と、この第B6工程の結果得
られた評価関数値の和を演算する第B7工程と、前記評価
関数値の和が所定値内になっているかを判定し、この評
価関数値の和が所定値内でないときには再び神経重率修
正量を演算し修正を施して、第3工程から第B7工程まで
を繰り返して評価関数値の和を所定値内におさめる第B8
工程とを備えることもできる。
また本発明は、前記神経回路網出力から一方のステレ
オ画像データの対象領域とは異なるが近似した出力を有
する領域を前記一方のステレオ画像データから捜し出
し、前記非対象領域に加える第C9工程と、ステレオ画像
データの対象領域及び第C9工程により形成された非対象
領域からのデータを設定する第C10工程と、その入力デ
ータを用いて各細胞出力を求める第C11工程と、出力層
細胞の出力と教師信号に基づき評価関数値を計算する第
C12工程と、前記第12工程で求めた評価関数値に基づき
神経重率修正量を求める第C13工程と、このC13工程で求
めた神経重率に基づいて神経重率に修正を加え、全ての
対象領域及び非対象領域について前記第C11工程から第C
13工程を順次繰り返し適当な神経重率を決定する第C14
工程とを備えることもできる。
そして本発明のステレオマッチング装置は、上述の何
れかのステレオマッチング方法を実行する構成となって
いる。
「作用」 以上の様に構成された本発明は、バックプロパゲーシ
ョン学習方法を実行することによりステレオ画像のマッ
チングを行う方法であり、まず、一対のステレオ画像デ
ータを読み込み、この読み込んだ一対のステレオ画像デ
ータのうち一方の画像データ中に、対象領域及び少なく
とも1つの非対象領域を設定し、対応するこれらのデー
タを入力データとして設定する。そして、この入力デー
タから各細胞出力を計算し、更に、出力層細胞の出力と
教師信号に基づき評価関数値を演算する。更にこの評価
関数値に基づき神経重率修正量を求め、この神経重率修
正量により神経重率に修正を加え、全ての対象領域及び
非対象領域で繰り返し演算を行う。次に、一対のステレ
オ画像データのうち、他方のステレオ画像データ上に複
数の対応候補領域を設定し、この対応候補領域のデータ
に基づき、前述した方法で計算された神経重率を適用し
た神経回路網で出力を演算し、この神経回路網出力から
一方のステレオ画像領域に対応する他方の対応領域を決
定することができる。
また本発明は、各入力データに基づいて評価関数値を
計算する過程で求められる神経重率修正量を用いて直ち
に神経重率に修正を加えること、或は各入力データに基
づいて評価関数値を計算する過程で求められる神経重率
修正量を一旦記憶し、全入力データの処理が終了した後
演算を施し神経重率に修正を加え、最終的に入力データ
の評価関数値の和が所定値内になるまで繰り返す様に構
成することもできる。
更に本発明はステレオ画像データの対象領域とは異な
るが、近似する領域を検索し、この領域を非対象領域に
加えてステレオマッチングを行うこともできる。
そして本発明のステレオマッチング装置は、上述の何
れかのスレオマッチング方法を実行する様になってい
る。
「発明の原理」 本発明はステレオ画像データのマッチングを実行する
に際し、ニューラル・ネットワークを採用し、更に学習
方法には、バックプロパゲーション法を適用したもので
ある。
ニューラル・ネットワークとは、複数の神経細胞(ニ
ューロン)から構成され、1つのニューロンは、細胞体
と、樹状突起(信号入力部分)、軸索(信号出力部分)
から構成されている。軸索(信号出力部分)は、他のニ
ューロンの樹状突起とシナプス結合されており、ネット
ワークが形成されている。
そして、このニューラル・ネットワークに適用する学
習方法は、バックプロパゲーション法と呼ばれるもので
あり、そのニューラル・ネットワークの構造は第6図に
示す様に、入力層1、中間層2、出力層3の多層構造と
なっている。なお層間の結合はあるが層内のユニット間
の結合はない。
ニューロンは、多入力−単出力の非線形素子とみなす
ことができるので、換言すれば「しきい値作用」を有す
る素子と見ることができる。即ち、入力された信号総量
がしきい値以上に高くなれば出力パルスがONとなり、し
きい値以下であれば出力がOFFとなる様になっている。
従って、入力信号をS1、S2、S3、・・・Snに対し
て出力信号netは、重み付き積和で の様に記載される。即ち、重み(W)を変化させること
によりネットワークの構造を変化させることができる。
なお、重み(W)は、正、負、ゼロの値をとり、ゼロは
結合のないことを表す。また入出力特性関数は、sigmoi
d関数が適用される。このsigmoid関数は、微分可能な疑
似線形関数であり、例えば、 で表すものを採用することができる。この関数の値域は
0〜1であり、入力値が大きくなるに従い1になり、小
さくなるに従い0になる。そして、入力値が0の時は0.
5となる様になっている。
次に、バックプロパゲーション学習則のアルゴリズム
を説明する。なお、中間層は何層でもよく、フィードバ
ック結合(層間結合)のないネットワークを仮定する。
ここで中間層2とは、(hidden layer)即ち、隠れ層と
呼ばれることもある。
(a) まず、画像パターン等の入力信号を入力層に入
力する。
(b) 次に、入力層1から出力層3へ向かって、信号
伝送過程に伴う各ニューロンの状態変化を順次計算す
る。
(c) 上記(b)で得られた出力層3のj番目のニュ
ーロンの出力をOpjとし、入力信号に対するそのニュー
ロンの望ましい出力(教師信号)をTpjとし、次式の二
乗誤差を評価関数として定義し、演算する。なお与えら
れた画像パターンをpとする。
(d) 評価関数が極小値(望ましくは最小値)になる
様に(即ち、実際の出力が望ましい出力に可能な限り近
づく様に)ネットワークのシナプス結合即ち重率を変化
させる。
即ち、出力のエラーを減ずる様に全ての結合の強さを
変化させればよい。ここでは、画像パターンpを与えた
時の重みWjiの変化量を と定める。更に変形すれば、 Δpji=ηδpjpi ・・・(5) なお、Opiはユニットiからユニットjへの入力値であ
り、δpjはユニットjが、出力ユニットか中間ユニット
かで異なり、出力ユニットの場合には、 δpj=(tpj−opj)f′j(netpj) ・・・(6) であり、中間ユニットの場合には、 となり、第(7)式7は、再帰関数となっている。
以上がバックプロパゲーション法の基本アルゴリズムで
あり、各シナプス結合の学習(重率の修正)は、信号の
伝播とは逆方向に出力層から入力層へ向かって進行す
る。これが、バックプロパゲーションと呼ばれる理由で
ある。このバックプロパゲーション法では、ΔWの計算
を出力層から開始して中間層のユニットに進む様になっ
ている。中間ユニットでは、その前段のΔWが決まらな
いと計算できない。(再帰的であるので)従って、最後
の入力層にまで遡らないと計算が不可能となる。よっ
て、バックプロパゲーション法では、学習用データを入
力し、結果を出力する(前向き)。次に、この結果のエ
ラーを減ずる様に結合の強さを変化させる(後向き)。
そして再び学習用データを入力する。これらを繰り返し
て、エラーが最小となる様にΔWを決定する。
ここで、ΔWの一般式を表せば、 ΔWji(n+1)=ηδpjpj+αΔWji(n) ・・・・(8) nは学習の回数であり、右辺第1項はΔW、第2項は、
エラーの振動を防止し、収束を早めるための追加項であ
る。
「実施例」 本発明の実施例を図面に基づいて説明する。本実施例
のステレオマッチング装置は、イメージスキャナと演算
処理手段と出力手段とからなっている。イメージスキャ
ナは、一対のステレオ写真から画像データを読み取るた
めのもので、本実施例では512×400画素白黒256階調で
演算処理手段に入力している。演算処理手段は、ニュー
ラルネットワークを利用してステレオマッチングを実行
するためのものである。出力手段は、演算処理手段の演
算結果等を出力するためのもので、ディスプレイ装置や
プリンタ、XYプロッタ、外部記憶装置等の機器が該当す
る。
次に第5図に基づいて、ステレオマッチングのための
領域について説明する。まず、対象出力ユニットの興奮
用にマッチング対象領域A(以下、対象領域Aという)
を左画像中に設定する。本実施例の対象領域Aは、7×
7画素から構成されている。そして、左画像中の対象領
域Aの近傍に非対象領域Bを設定する。この非対象領域
Bは、非対象出力ユニットの興奮用に使用されるもので
あり、複数設定してもよい。この非対象領域Bを適当に
設定することにより、差異の不明瞭なデータ間でも、細
部まで考慮した厳しい特徴の線引きが行われることにな
る。なお非対象領域Bの間隔は、対象領域Aの半分程度
が望ましい。なぜならば、間隔があきすぎると最適な線
引きに関するデータが洩れてしまう可能性があり、あま
り間隔が狭すぎると無意味なデータを多く取り込んでし
まうからである。
一対のステレオ写真は、同一地点のY座標が同一であ
る様に予め画像変換しておく。そして右画像には、探索
領域Cを対象領域AとY座標が同一(いわゆるエピポー
ラライン上)になる様に設定する。
次に、学習方法としてバックプロパゲーション法を採
用したステレオマッチングについて、第1図〜第4図に
基づいて説明する。
「第1の方法」 第1のステレオマッチング方法について、第1図に基
づいて説明する。ステップ1(以下、S1と記載する。)
で、航空写真等の一対のステレオ画像から、イメージス
キャナーにより、一対のステレオ画像データを読み取
り、演算処理手段に入力する。次にS2で、左画像に対象
領域A(7×7画素)を指定する。更にS3で、対象領域
Aから等間隔離れた領域に少なくとも1以上の非対象領
域B、B・・を設定する。そしてS4はデータの前処理で
あり、例えば対象領域A及び非対象領域Bの白黒画像デ
ータを256段階に正規化する。この正規化されたデータ
からS5でバックプロパゲーションによる学習を実行す
る。
ここで、バックプロパゲーションによる学習(SUBROU
TINE BP)を第2、3図に基づいて詳細に説明する。ま
ずS51で乱数により神経重率の初期値を設定する。そし
てS52で学習のデータの個数分だけ、繰り返し計算す
る。次にS53で各細胞の出力を計算する。この出力の計
算には、本実施例では上記第(2)式を採用することに
する。そしてS54では、上記第(3)式により評価関数
を演算する。次に、この評価関数値が最小とするために
S55で上記第(8)式により神経重率修正量を計算す
る。なお、この学習定数η及び安定定数αは、経験的に
定められ例えばη=0.4及びα=0.6とする、そしてS56
で、神経重率修正量に基づき神経重率を修正し、S52に
戻って繰り返し計算を行う。従って本実施例では、1学
習データごとに神経重率を修正することになる。更に本
実施例では、S57で各データの評価関数の和を計算し、S
58でこの評価関数の和が定められた域値より小さいか判
断する。即ちS58では、誤差の和が所定値以下になって
いるか否かを判断している。そして、評価関数の和が域
値以下になっていない場合には、この時点の神経重率を
使用して再び繰り返し演算を行う様になっている。そし
て、評価関数の和が所定値以下となった場合には、S59
で最終神経重率を出力する様になっている。この結果、
(SUBROUTINE BP)が終了する。即ち、全ての対象領域
A及び非対象領域Bについて繰り返し計算を行い、適当
な神経重率を求めることができる。
なお、ここで第3図に基づいてバックプロパゲーショ
ン法のサブルーチンの変形例を説明する。前述のサブル
ーチンは、学習データ毎に評価関数を計算し、この評価
関数に基づき神経重率を修正し、繰り返し演算を行って
いた。これに対して本実施例では、S55で神経重率修正
量を演算すると共に記憶する。更にS57で、各データの
評価関数の和を求め、その和(Error)が定められた域
値より小さいか否かをS58で判断し、域値より大きい場
合にはS581で各神経重率修正量の和或は、各神経重率修
正量の平均値を算出する。そしてS56では、S581で演算
された修正量で各神経重率を修正し、再びこの神経重率
を使用して繰り返し計算を続行する様になっている。従
って本実施例では全学習データの神経重率修正量を計算
後、一括して修正することになる。そしてS58で、評価
関数の和が域値より小さくなったと判断した場合にはS5
9に進む様になっている。その他のステップは第2図の
サブルーチンと同様であるので説明を省略する。
ここで第1図のフローチャートに戻って説明を続行す
ると、S5で繰り返しバックプロパゲーション法のサブル
ーチンが実行されるので、対象領域A及び非対象領域B
の全ての領域で適当な神経重率が決定されることにな
る。そしてS6で、右画像の探索領域Cを設定する。ここ
で探索領域Cとは、複数の対応候補領域の集合に該当す
るものである。次にS7で、S5で決定された神経重率を利
用してニューラルネットワークをセットする。そしてS8
で探索領域C内で7×7画素データを順次演算処理手段
に取り込み、正規化したのち、ニューラルネットワーク
に入力する。更にS9で、各対応候補領域の「対象」細胞
出力を記録する。そしてS10で、「対象」細胞出力の最
大値を求め、この対応候補領域を対応点と定める。即
ち、出力の最大となった対応候補領域を左画像の「対象
領域A」の対応点とするものである。そして、S11でス
テレオマッチングを終了するか否かを判断する様になっ
ている。
「第2の方法」 次に、第2のステレオマッチング方法を第4図に基づ
いて説明する。この第2のステレオマッチング方法は、
対象領域Aとは異なるが、対象領域Aに近似する領域を
非対象領域に加えるものである。S1からS5までは第1の
方法と同様であるので説明を省略する。S13において、
第1の方法の様に探索領域Cを右画像に設定するのでな
く、対象領域Aと同様に左画像に設定する。そして、S1
4でS5で求めた神経重率を利用してニューラルネットワ
ークをセットする。そしてS15で左画像の探索領域C内
で複数の対応候補領域(7×7画素データ)の画像デー
タを順次、演算処理手段に取り込んだ後、256段階の濃
度に正規化してニューラルネットワークに入力する。そ
してS16で、それぞれの対応候補領域の「対象」細胞出
力を記録する。更にS17で既決値域を越えた出力を示し
た領域を選択する。この結果、ステレオ画像データの対
象領域とは異なるが、近似した領域を検索することがで
きる。そして、この検索された近似領域を、S18で非対
象領域Bに加え、前述の第1のマッチング方法を開始す
る。この第2のマッチング方法は、第1のマッチング方
法を実行するに先立ち、自己相関により対象領域Aと近
似する領域を検索し、この領域を非対象領域Bに加える
ので、濃淡の特徴の差が明確になるという卓越した効果
がある。
なお上記の実施例では、非対象領域Bに左画像中の自
己相関率の高い地点を加えたものであるが、この他に対
象領域A近傍のデータを加えると効果的な場合がある。
以上の様に構成された本実施例は、対応点を出力手段
に表示させることもできる。なお、右画像のバックプロ
パゲーション反応中、最高反応点を対応点とするが、あ
るレベル以上の反応点をピックアップして、他の方法を
併用したり、視差値からの推定し最適解を得たり、右画
像から左画像への逆マッチング等を行えば、極めて高精
度なステレオマッチングを行うことができる。
なお本案施例では、S51で乱数による初期設定を行っ
ているが、前回対象点の設定重率を使用することもでき
る。
またバックプロパゲーション法による神経重率の決定
に用いるデータの順序は、対象領域A→非対象領域Bの
順番に行ってもよく、逆の順番に行ってもよく、或は対
象領域A→非対象領域B→対象領域Aの様に、対象領域
Aを複数用いてもよい。
そして非対象領域Bは、対象領域Aの近接ばかりでな
く、やや離れた位置をも含めて学習させると効果的な場
合がある。そして学習データを正規化することにより、
shading等にも対応できるという効果がある。また非対
象領域を複数採用することにより、「対象領域」と「非
対象領域」の特徴の差が明瞭となり、不要な反応を除去
できるという効果がある。
「効果」 以上の様に構成された本発明は、一対のステレオ画像
データを読み込む第1工程と、この一対のステレオ画像
データの一方のステレオ画像データ中で対象領域及び少
なくとも1つの非対象領域を設定し、入力データとして
設定する第2工程と、この入力データに基づいて各細胞
出力を求める第3工程と、出力層細胞の出力と教師信号
に基づき評価関数値を計算する第4工程と、この第4工
程で求めた評価関数値に基づき神経重率修正量を求める
第5工程と、この第5工程で求めた神経重率修正量に基
づいて神経重率に修正を加え、全ての対象領域及び非対
象領域について前記第3工程から第5工程を順次繰り返
し適当な神経重率を決定する第6工程と、前記一対のス
テレオ画像データのうち他方のステレオ画像データ上に
複数の対応候補領域を設定する第7工程と、この複数の
対応候補領域のデータに基づき第6工程の結果決定され
た神経重率を適用した神経回路網によってその出力を求
める第8工程と、この神経回路網出力から一方のステレ
オ画像データの対象領域に応じた他方のステレオ画像デ
ータにおける対応した領域を決定する第9工程とから構
成されているので、バックプロパゲーション法による学
習により、濃淡の差異の少ないデータ間でも細部まで留
意した厳しい線引きが行われるので、面積相関法に比較
してマッチング正解率を高めることができるという効果
がある。更に、マッチング反応が線スペクトル的である
ので、マッチング点を特定しやすいという効果がある。
更に本発明は、神経重率修正量を求めた後、直に神経
重率を修正し演算を行ってよい(1学習データごとに神
経重率を修正)が、評価関数の和を計算し、この評価関
数の和が所定値内にあるか否かを判断し、この評価関数
値の和が所定値内でない時に神経重率を修正し、この神
経重率を使用して繰り返し演算を実行する(全学習デー
タの神経重率修正量を計算後、一括して修正)様に構成
することもできる。
更に本発明はステレオ画像データの対象領域とは異な
るが、近似する領域を検索し、この領域を非対象領域に
加えてステレオマッチングを行うこともできる。この場
合には、似て非なるデータを対象領域のある画像から抜
き出して学習させることができるので、極めて高精度な
ステレオマッチングが期待できるという卓越した効果が
ある。
【図面の簡単な説明】
図は本発明の実施例を示すもので、第1図は第1のステ
レオマッチング方法を説明する図であり、第2図はバッ
クプロパゲーション学習法を説明する図、第3図はバッ
クプロパゲーション学習法の変形例を説明する図、第4
図は第2のステレオマッチング方法を説明する図、第5
図はステレオマッチングにおける領域を説明する図であ
り、第6図はバックプロパゲーションの構造を説明する
図である。 A……対象領域 B……非対象領域 C……探索領域
───────────────────────────────────────────────────── フロントページの続き (72)発明者 大友 文夫 東京都板橋区蓮沼町75番1号 株式会社 トプコン内 (72)発明者 小宮 康治 東京都板橋区蓮沼町75番1号 株式会社 トプコン内 (56)参考文献 特開 昭63−5483(JP,A) 特開 平2−217969(JP,A) 特開 昭63−776(JP,A) (58)調査した分野(Int.Cl.6,DB名) G06T 7/00

Claims (5)

    (57)【特許請求の範囲】
  1. 【請求項1】入力層、隠れ層及び出力層から構成された
    多層型神経回路網に対象・非対象を示す教師信号を用い
    てバックプロパゲーション学習方法を実行しステレオ画
    像のマッチングを行う方法であって、一対のステレオ画
    像データを読み込む第1工程と、この一対のステレオ画
    像データの一方のステレオ画像データ中で対象領域及び
    少なくとも1つの非対象領域を設定し、入力データとし
    て設定する第2工程と、この入力データに基づいて各細
    胞出力を求める第3工程と、出力層細胞の出力と教師信
    号に基づき評価関数値を計算する第4工程と、この第4
    工程で求めた評価関数値に基づき神経重率修正量を求め
    る第5工程と、この第5工程で求めた神経重率修正量に
    基づいて神経重率に修正を加え、全ての対象領域及び非
    対象領域について前記第3工程から第5工程を順次繰り
    返し適当な神経重率を決定する第6工程と、前記一対の
    ステレオ画像データのうち他方のステレオ画像データ上
    に複数の対応候補領域を設定する第7工程と、この複数
    の対応候補領域のデータに基づき第6工程の結果決定さ
    れた神経重率を適用した神経回路網によってその出力を
    求める第8工程と、この神経回路網出力から一方のステ
    レオ画像データの対象領域に応じた他方のステレオ画像
    データにおける対応した領域を決定する第9工程とから
    なるステレオマッチング方法。
  2. 【請求項2】入力層、隠れ層及び出力層から構成された
    多層型神経回路網に対象・非対象を示す教師信号を用い
    てバックプロパゲーション学習方法を実行しステレオ画
    像のマッチングを行う方法であって、一対のステレオ画
    像データを読み込む第1工程と、この一対のステレオ画
    像データの一方のステレオ画像データ中で対象領域及び
    少なくとも1つの非対象領域を設定し、入力データとし
    て設定する第2工程と、この入力データに基づいて各細
    胞出力を求める第3工程と、出力層細胞の出力と教師信
    号に基づき評価関数値を計算する第4工程と、この第4
    工程で求めた評価関数値に基づき神経重率修正量を求め
    る第5工程と、この第5工程で求めた神経重率修正量に
    基づいて神経重率に修正する第6工程と、全ての対象領
    域及び非対象領域について前記第3工程から第5工程を
    順次繰り返す第7工程と、この第7工程の結果得られた
    評価関数値の和を演算する第8工程と、前記評価関数値
    の和が所定値内になっているかを判定し、この評価関数
    値の和が所定値内でないときには再び第3工程から第8
    工程までを繰り返して評価関数値の和を所定値内におさ
    める第9工程と、前記一対のステレオ画像データのうち
    他方のステレオ画像データ上に複数の対応候補領域を設
    定する第10工程と、この複数の対応候補領域のデータに
    基づき第9工程の結果決定された神経重率を適用した神
    経回路網によってその出力を求める第11工程と、この神
    経回路網出力から一方のステレオ画像データの対象領域
    に応じた他方のステレオ画像データにおける対応した領
    域を決定する第12工程とからなるステレオマッチング方
    法。
  3. 【請求項3】入力層、隠れ層及び出力層から構成された
    多層型神経回路網に対象・非対象を示す教師信号を用い
    てバックプロパゲーション学習方法を実行しステレオ画
    像のマッチングを行う方法であって、一対のステレオ画
    像データを読み込む第1工程と、この一対のステレオ画
    像データの一方のステレオ画像データ中で対象領域及び
    少なくとも1つの非対象領域を設定し、入力データとし
    て設定する第2工程と、この入力データに基づいて各細
    胞出力を求める第3工程と、出力層細胞の出力と教師信
    号に基づき評価関数値を計算する第4工程と、この第4
    工程で求めた評価関数値に基づき神経重率修正量を求め
    記憶する第5工程と、全ての対象領域及び非対象領域に
    ついて前記第3工程から第5工程を順次繰り返す第6工
    程と、この第6工程の結果得られた評価関数値の和を演
    算する第7工程と、前記評価関数値の和が所定値内にな
    っているかを判定し、この評価関数値の和が所定値内で
    ないときには神経重率修正量を演算し修正を施して、再
    び第3工程から第7工程までを繰り返して評価関数値の
    和を所定値内におさめる第8工程と、前記一対のステレ
    オ画像データのうち他方のステレオ画像データ上に複数
    の対応候補領域を設定する第9工程と、この複数の対応
    候補領域のデータに基づき第8工程の結果決定された神
    経重率を適用した神経回路網によってその出力を求める
    第10工程と、この神経回路網出力から一方のステレオ画
    像データの対象領域に応じた他方のステレオ画像データ
    における対応した領域を決定する第11工程とからなるス
    テレオマッチング方法。
  4. 【請求項4】入力層、隠れ層及び出力層から構成された
    多層型神経回路網に対象・非対象を示す教師信号を用い
    てバックプロパゲーション学習方法を実行しステレオ画
    像のマッチングを行う方法であって、一対のステレオ画
    像データを読み込む第1工程と、この一対のステレオ画
    像データの一方のステレオ画像データ中で対象領域及び
    少なくとも1つの非象領域を設定し、入力データとして
    設定する第2工程と、この入力データに基づいて各細胞
    出力を求める第3工程と、出力層細胞の出力と教師信号
    に基づき評価関数値を計算する第4工程と、この第4工
    程で求めた評価関数値に基づき神経重率修正量を求める
    第5工程と、この第5工程で求めた神経重率修正量に基
    づいて神経重率に修正を加え、全ての対象領域及び非対
    象領域について前記第3工程から第5工程を順次繰り返
    し適当な神経重率を決定する第6工程と、前記一対のス
    テレオ画像データ上に複数の対応候補領域を設定する第
    7工程と、この複数の対応候補領域のデータに基づき第
    6工程の結果決定された神経重率を適用した神経回路網
    によってその出力を求める第8工程と、この神経回路網
    出力から一方のステレオ画像データの対象領域とは異な
    るが近似した出力を有する領域を前記非対象領域に加え
    る第9工程と、ステレオ画像データの対象領域及び第9
    工程により形成された非対象領域からのデータを設定す
    る第10工程と、その入力データを用いて各細胞出力を求
    める第11工程と、出力層細胞の出力と教師信号に基づき
    評価関数値を計算する第12工程と、前記第12工程で求め
    た評価関数値に基づき神経重率修正量を求める第13工程
    と、この13工程で求めた神経重率に基づいて神経重率に
    修正を加え、全ての対象領域及び非対象領域について前
    記第11工程から第13工程を順次繰り返し適当な神経重率
    を決定する第14工程と、前記一対のステレオデータのう
    ち他方のステレオ画像データ上に複数の対応候補領域を
    設定する第15工程と、この複数の対応候補領域のデータ
    に基づき第14工程の結果決定された神経重率を適用した
    神経回路網によってその出力を求める第16工程と、この
    神経回路網出力から一方のステレオ画像データの対象領
    域に応じた他方のステレオ画像データにおける対応した
    領域を決定する第17工程とからなるステレオマッチング
    方法。
  5. 【請求項5】請求項1乃至4のいずれかに記載のステレ
    オマッチング方法を実行するステレオマッチング装置。
JP1191192A 1989-07-24 1989-07-24 ステレオマッチング方法及びその装置 Expired - Lifetime JP2929106B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP1191192A JP2929106B2 (ja) 1989-07-24 1989-07-24 ステレオマッチング方法及びその装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP1191192A JP2929106B2 (ja) 1989-07-24 1989-07-24 ステレオマッチング方法及びその装置

Publications (2)

Publication Number Publication Date
JPH0355675A JPH0355675A (ja) 1991-03-11
JP2929106B2 true JP2929106B2 (ja) 1999-08-03

Family

ID=16270436

Family Applications (1)

Application Number Title Priority Date Filing Date
JP1191192A Expired - Lifetime JP2929106B2 (ja) 1989-07-24 1989-07-24 ステレオマッチング方法及びその装置

Country Status (1)

Country Link
JP (1) JP2929106B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5582572B2 (ja) * 2010-11-08 2014-09-03 独立行政法人産業技術総合研究所 画像処理方法、画像処理プログラム、これを記憶したコンピュータ読み取り可能な記憶媒体、及び画像処理装置
CN108230384B (zh) * 2017-11-28 2021-08-24 深圳市商汤科技有限公司 图像深度计算方法、装置、存储介质和电子设备

Also Published As

Publication number Publication date
JPH0355675A (ja) 1991-03-11

Similar Documents

Publication Publication Date Title
Asif et al. Shape from focus using multilayer feedforward neural networks
JP2761391B2 (ja) 焦点検出装置
CN109584290A (zh) 一种基于卷积神经网络的立体图像匹配方法
US10943352B2 (en) Object shape regression using wasserstein distance
JP2002358523A (ja) パターン認識処理装置及びその方法、画像入力装置
CN113011567B (zh) 一种卷积神经网络模型的训练方法及装置
TW202141358A (zh) 圖像修復方法及裝置、存儲介質、終端
CN112949493A (zh) 一种结合语义分割和注意力机制的车道线检测方法及系统
CN113221645B (zh) 目标模型训练方法、人脸图像生成方法以及相关装置
CN111835983A (zh) 一种基于生成对抗网络的多曝光图高动态范围成像方法及系统
CN115526891B (zh) 一种缺陷数据集的生成模型的训练方法及相关装置
CN114757904A (zh) 一种基于ai深度学习算法的表面缺陷检测方法
CN115359334A (zh) 多任务学习深度网络的训练方法及目标检测方法、装置
JP2929106B2 (ja) ステレオマッチング方法及びその装置
Do Application of neural networks for stereo-camera calibration
CN117036806A (zh) 一种基于双重复用残差网络的物体识别方法
CN117058606A (zh) 一种x射线图像违禁品检测方法
US11430089B2 (en) Image processing method and image processing system for generating a corrected image
Bhattacharjya et al. A genetic algorithm for intelligent imaging from quantum-limited data
CN114926876A (zh) 图像关键点检测方法、装置、计算机设备和存储介质
Bouchouicha et al. A non-linear camera calibration with genetic algorithms
CN113095328A (zh) 一种基尼指数引导的基于自训练的语义分割方法
US20200175376A1 (en) Learning Method, Learning Device, Program, and Recording Medium
CN113160081A (zh) 一种基于感知去模糊的深度人脸图像修复方法
JP2979562B2 (ja) 学習処理装置