JPH08178637A

JPH08178637A - 画像処理装置及び画像処理方法

Info

Publication number: JPH08178637A
Application number: JP32530294A
Authority: JP
Inventors: Masanobu Takahashi; 正信高橋; Junko Makita; 淳子牧田; Yasunari Miyake; 康也三宅
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 1994-12-27
Filing date: 1994-12-27
Publication date: 1996-07-12

Abstract

(57)【要約】【目的】１つあるいは複数の物体までの距離測定や物
体の移動検出などを高速且つ高精度に実行する画像処理
装置及び画像処理方法を提供する。【構成】人工網膜素子により画像の輪郭を検出し、２
つの画像の同じ高さの走査線の輪郭情報の相関を光ニュ
ーロチップからなる相関演算装置により高速に計算し、
その相関の結果を用いて物体までの距離測定や物体の移
動検出などの情報を求める。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、複数のパターンの相
関を計算することにより物体等までの距離測定や移動検
出、速度測定などを行う画像処理装置及び画像処理方法
に関するものである。

【０００２】

【従来の技術】従来、複数のパターンの相関を計算して
物体等までの距離を測定する手法として、ステレオ視に
よる視差検出を利用する方法があった。以下この方法を
利用して距離を測定する原理について説明する。

【０００３】ステレオ視による距離測定は、横方向に離
れた位置にある２台の撮像機から撮り入れた画像から物
体の視差を検出して距離を測定するものである。図19
は、その原理説明図である。図において、撮像機100ａ
のレンズＬと撮像機100ｂのレンズＲは、その中心がＸ
軸上でかつＺ軸に対称に距離ｄだけ離れた位置に配置さ
れている。２台の撮像機100ａ、100ｂから座標（Ｘ_p，
Ｚ_p）の物体の画像を撮り入れると、レンズから距離ｌ
だけ離れた位置にあるそれぞれの撮像機の撮像面Ｖ_L,Ｖ
_R上に映し出される像の位置Ｐ_L,Ｐ_Rは、撮像面の中心Ｃ
_L,Ｃ_Rから距離ｘ_R,ｘ_Lだけずれたところになる。この
時、三角形の相似から次式の関係が成り立つ。Ｚ_p／ｌ＝−（ｄ／２＋Ｘ_p）／ｘ_L ・・・(1) Ｚ_p／ｌ＝（ｄ／２−Ｘ_p）／ｘ_R ・・・(2) これからＸ_pを消去すると、次のようになる。Ｚ_p ＝ｌ・ｄ／（δ×w）・・・（３） δ ＝（ｘ_Rーｘ_L）／w ・・・(4) ここで、wは撮像面の１画素のサイズである。レンズ間
の距離ｄとレンズと撮像面の距離ｌが与えられているの
で、（ｘ_Rーｘ_L）が求まれば物体までの距離Ｚ_pが求ま
る。ステレオ視による距離測定の原理は、この量（ｘ_R
ーｘ_L）を対応点問題を解くことにより求めるものであ
る。なお、（ｘ_Rーｘ_L）を求めるかわりに、(4)式で与
えられる画素数でのずれ量δ（以下では単にずれ量と呼
ぶ）を求めても、同様に距離を測定できる。さらにこの
ステレオ画像のパターンを利用し、パターンマッチング
等を行っていた。

【０００４】しかし、以上のようなステレオ視による画
像を利用した距離方法や画像処理方法には、次のような
問題があった。それは、見る方向の違いから２つの撮像
機による左右の画像間には幾何学的なずれ、あるいは変
形があり、更に画像データにはノイズが多いため、従来
のステレオ画像処理方法では演算結果に、即ち距離計測
やパターンマッチングの信頼性に欠けていた。

【０００５】このステレオ画像処理よる視差の演算結果
の信頼性を向上させる方法が提案されている。図20は、
例えば特開平５−２３１８２２号公報に記載の従来の視
差検出による距離測定に使用される装置の構成図であ
る。図において、２台の撮像機100ａ、100ｂから撮り入
れられた画像は、画像処理手段（計算機）101において
所望の処理が施される。図21は２台の撮像機100ａ、100
ｂから撮り入れられた画像の一例である。図21中(a)を
左の画像、(b)を右の画像と呼ぶことにする。これらの
画像は例えば２５６階調のグレイレベルで表現されてい
るとする。２枚の画像は横方向のずれを生じていること
から、その二つの画像のうちどちらか片方の画像の中の
数画素のかたまり（微小領域）に着目すると、その微小
領域とグレイレベルの一致する領域がもう一方の画像の
同じ高さにあるはずである。その領域を捜すために、他
方の画像上の同じ高さにある微小領域と相関をとり、そ
の結果最も相関がある位置を対応点とする。この相関
は、画像処理手段101により算出される。

【０００６】次に一連の動作手順をフローチャートに従
って説明する。図22のフローチャートに沿って相関のと
り方を具体的に説明する。なお、図中ＳＴｉ（ｉ＝自然
数）はステップ番号を表す。まず２台の撮像機から画像
を撮り入れ（ST1）、その画像のうち例えば図21中(a)の
画像の中から基準となる微小領域Ａを決める（ST2）。
図21中(b)の画像に左の画像の中の微小領域Ａと同じ位
置にある微小領域をとり、Ｂとする（ST3）。２つの微
小領域ＡとＢの相関をとるため、それぞれの領域の中の
同じ位置にある画素間のグレイレベルの差をとる（ST
4）。次に、図21中(b)の画像の中の微小領域Ｂを１画素
分横方向にずらし（ST5）、同様に基準となるＡと新た
に決めたＢの差をとる。Ｂを１画素ずつ走査線上をずら
しながら繰り返し相関をとり、その結果から図23のよう
な微小領域Ｂの位置に対する２つの領域のグレイレベル
の差が得られたとすると、このグラフの中で最も小さく
なるところを求めれば（ST6）、このときに微小領域Ｂ
のある位置Ｂ’がＡと対応する可能性がもっとも高い位
置となり、処理を始めたときのＢの位置からＢ’までの
距離が（ｘ_Rーｘ_L）に相当する（ST7）。これをすべて
の領域について行なう（ST8）。

【０００７】なお、図23は右の画像上で領域Ａに相当す
る位置からの領域Ｂの距離とそれに対応する左画像の領
域Ａと右画像の領域Ｂとの輝度差の関係を示したもの
で、領域Ｂを領域Ａに相当する位置からδだけ離れた位
置Ｂ’で輝度差が最小になることを示している。

【０００８】

【発明が解決しようとする課題】従来の視差検出による
距離測定法は以上のようであるので、距離計測の精度を
向上させて、画面全体の視差を検出し距離測定を行なう
ためには、１画面の画素数がｎ×ｎの場合、ｎ³のオー
ダーの処理時間が必要となり、画素数の増加とともに処
理時間が急激に増加するという問題点があった。

【０００９】この発明は上記のような問題点を解決する
ためになされたもので、非常に高速で且つ高精度の視差
検出を実現可能な画像処理装置及び画像処理方法を得、
ひいては視差検出による距離測定や移動検出、速度測定
などの情報処理を高速に行なえる画像処理装置及び画像
処理方法を得ることを目的とする。

【００１０】

【課題を解決するための手段】請求項１に記載の発明に
係る画像処理装置は、画像の輝度差より物体の輪郭を検
出する輪郭検出装置を、該輪郭検出装置上の走査線方向
に離れて２台配置し、該２台の輪郭検出装置により検出
され対応する一走査線分の１組の輪郭情報の相関行列を
計算し、該相関行列の要素の値を走査線毎に加算し相関
行列の対角方向への和を計算する相関演算装置と、前記
相関行列の対角方向への和を基に物体までの距離を計算
する計算機とを備えたものである。

【００１１】請求項２に記載の発明に係る画像処理装置
は、画像の輝度差より物体の輪郭を検出する輪郭検出装
置と、第１のメモリに記憶された特定の時刻の物体の輪
郭情報を用いて、異なる時刻間の物体の輪郭情報を画像
の一走査線毎に相関行列を計算し、該相関行列の要素の
値を走査線毎に加算し相関行列の対角方向への和を計算
する相関演算装置と、前記相関行列の対角方向への和を
基に物体の走査線方向の移動角度を計算する計算機とを
備えたものである。

【００１２】請求項３に記載の発明に係る画像処理装置
は、請求項２において、計算された移動角度の情報を基
に、配置された輪郭検出装置の物体の走査線方向への設
置角度を制御する設置角度制御装置をさらに備えたもの
である。

【００１３】請求項４に記載の発明に係る画像処理装置
は、請求項１乃至３において、輪郭検出装置が、２次元
のアレイ状に配置され制御電圧回路から印加された制御
電圧と照射される光の強度および照射時間の積に応じた
光検出感度を順次加算し記憶する機能を有する感度可変
受光素子と、該感度可変受光素子からの出力を処理する
出力回路とを備えた人工網膜素子であることを規定する
ものである。

【００１４】請求項５に記載の発明に係る画像処理装置
は、請求項１乃至４において、相関演算装置が、感度可
変受光素子と発光素子とを積層して２次元のアレイ状に
配置し、該感度可変受光素子に印加する制御電圧回路
と、発光素子を発光させるための電源供給回路と、感度
可変受光素子からの出力を処理する出力回路を備えた光
ニューロチップにより構成され、該光ニューロチップに
おける出力回路がアレイ状の感度可変受光素子の出力を
アレイの斜め方向に加算して出力する出力回路であるこ
とを規定するものである。

【００１５】請求項６に記載の発明に係る画像処理装置
は、請求項１乃至４において、相関演算装置が一走査線
毎の情報の相関行列を並列に計算し、相関行列の要素毎
に並列に加算する機能を有する学習機能付きニューロチ
ップを備えた相関演算装置であることを規定するもので
ある。

【００１６】請求項７に記載の発明に係る画像処理装置
は、請求項１乃至３において、輪郭検出装置に分解能制
御装置をさらに備えたものである。

【００１７】請求項８に記載の発明に係る画像処理装置
は、請求項１乃至３において、輪郭検出装置が、撮像機
と該撮像機によって得られた画像を計算処理して物体の
輪郭情報を得る計算機とで構成されることを規定するも
のである。

【００１８】請求項９に記載の発明に係る画像処理装置
は、請求項１乃至３において、相関演算装置により求め
た相関行列の対角方向への和の値を記憶する第２のメモ
リを備えたことを規定するものである。

【００１９】請求項１０に記載の発明に係る画像処理方
法は、複数の入力画像から同じ高さの走査線毎にそれぞ
れの走査線中の輝度差により輪郭情報を検出する第１の
ステップと、同じ高さの走査線の輪郭情報の相関行列を
計算する第２のステップと、第２のステップにより求め
られた相関行列を行列の要素毎に加算する第３のステッ
プと、加算した相関行列の対角方向の和を求める第４の
ステップと、第４のステップで求めた相関行列の対角方
向の和から相関の強い行列の要素の行列の対角線からの
ずれ量を求める第５のステップと、該ずれ量から物体の
距離を計算する第６のステップとを備えたものである。

【００２０】請求項１１に記載の発明に係る画像処理方
法は、入力画像から走査線中の輝度差により走査線毎に
輪郭情報を検出する第１のステップと、メモリから特定
時刻の画像の前記入力画像と同じ高さの走査線の輪郭情
報を読み出す第２のステップと、異なる２つの時刻の輪
郭情報の相関行列を計算する第３のステップと、第３の
ステップにより求められた相関行列を行列の要素毎に加
算する第４のステップと、加算した相関行列の対角方向
の和を求める第５のステップと、第５のステップで求め
た相関行列の対角方向の和から相関の強い行列の要素の
行列の対角線からのずれ量を求める第６のステップと、
該ずれ量から物体の走査線方向の移動角度を計算する第
７のステップとを備えたものである。

【００２１】請求項１２に記載の発明に係る画像処理方
法は、請求項１１において、物体の走査線方向の移動角
度の情報から画像を取り込む検出装置の走査線方向の設
置角度を制御する第８のステップをさらに備えたもので
ある。

【００２２】請求項１３に記載の発明に係る画像処理方
法は、請求項１１または１２において、相関行列の対角
方向の和を求める第５のステップの後に、第６及び第７
のステップに代わって、相関行列の対角方向の和をメモ
リに記憶させるステップと、異なる時刻のずれ量と相関
行列の対角方向の和をメモリから読み出し、該異なる時
刻の相関行列の対角方向の和を比較し差分値を計算する
ステップと、該差分値及びそれぞれの時刻のずれ量から
物体の移動に関する情報を計算するステップとを備えた
ことを規定するものである。

【００２３】請求項１４に記載の発明に係る画像処理方
法は、請求項１０の物体の距離と、請求項１１乃至請求
項１３のいずれか１項に記載の物体の走査線方向の移動
角度とから物体の走査線方向の移動速度を計算するステ
ップを備えたことを規定するものである。

【００２４】請求項１５に記載の発明に係る画像処理方
法は、請求項１１または１２において、予め物体のない
背景画像による輪郭情報をメモリに記憶させておき、異
なる時刻の一方の輪郭情報として、前記予め物体のない
背景画像による輪郭情報を用いることを規定するもので
ある。

【００２５】請求項１６に記載の発明に係る画像処理方
法は、請求項１３において、予め物体のない背景画像の
該輪郭情報による相関行列の対角線方向の和をメモリに
記憶させておき、異なる時刻の一方の輪郭情報による相
関行列の対角線方向の和として、前記予め物体のない背
景画像の輪郭情報による相関行列の対角線方向の和を用
いることを規定するものである。

【００２６】請求項１７に記載の発明に係る画像処理方
法は、請求項１０乃至１６において、相関行列を計算す
るステップにおいて、輪郭情報の一部を用いて相関行列
を計算することを規定するものである。

【００２７】請求項１８に記載の発明に係る画像処理方
法は、請求項１０乃至１７において、相関行列の対角方
向の和から相関の強い行列の要素の行列の対角線からの
ずれ量を求めるステップにおいて、走査線の輪郭情報の
相関行列を計算し要素毎に加算するステップで生じる相
関の強い行列の偽の要素を除去する手法を用い、該手法
が相関行列の対角線からのずれ量に対し相関の強い行列
の真の要素と対称な位置に生じる要素を除去するもので
あることを規定するものである。

【００２８】請求項１９に記載の発明に係る画像処理方
法は、請求項１０乃至１８において、別の手段により取
り込まれた画像を用い、該画像の走査線毎の輪郭情報に
相当するベクトルを計算するステップを備えたことを規
定するものである。

【００２９】

【作用】この発明の請求項１に係わる画像処理装置は、
走査線方向に離れて配置した２台の輪郭検出装置により
検出され対応する一走査線分の１組の輪郭情報の相関行
列を計算し、該相関行列の要素の値を走査線毎に加算し
相関行列の対角方向への和を計算する相関演算装置と、
前記相関行列の対角方向への和を基に物体までの距離を
計算する計算機とを備え、物体の輪郭情報を用いて画像
処理を行うため、物体までの距離を高速に求めることが
できる。

【００３０】また、この発明の請求項２に係わる画像処
理装置は、物体の輪郭を検出する輪郭検出装置と、第１
のメモリに記憶された特定の時刻の物体の輪郭情報を用
いて、異なる時刻間の物体の輪郭情報を画像の一走査線
毎に相関行列を計算し、該相関行列の要素の値を走査線
毎に加算し相関行列の対角方向への和を計算する相関演
算装置と、前記相関行列の対角方向への和を基に物体の
走査線方向の移動角度を計算する計算機とを備え、異な
る時刻の物体の輪郭情報を用いて画像処理を行うため、
物体の移動角度を高速に求めることができる。

【００３１】また、この発明の請求項３に係わる画像処
理装置は、請求項２において、物体の走査線方向への移
動角度を輪郭検出装置の走査線方向の設置角度にフィー
ドバックすることにより物体の追尾を可能とする。

【００３２】また、この発明の請求項４に係わる画像処
理装置は、請求項１乃至３において、輪郭検出装置とし
て、複数の感度可変受光素子と該複数の感度可変受光素
子からの出力を処理する出力回路とを備えた人工網膜素
子を備えたので、物体の画像とりこみと同時に輪郭検出
を行うことができ、物体までの距離及び物体の移動角度
を高速に求めることができる。

【００３３】また、この発明の請求項５に係わる画像処
理装置は、請求項１乃至４において、相関演算装置が、
感度可変受光素子と発光素子とを積層して２次元のアレ
イ状に配置し、該感度可変受光素子に印加する制御電圧
回路と、発光素子を発光させるための電源供給回路と、
感度可変受光素子からの出力を処理する出力回路を備え
た光ニューロチップにより構成され、該光ニューロチッ
プにおける出力回路がアレイ状の感度可変受光素子の出
力をアレイの斜め方向に加算して出力する出力回路であ
るので、光ニューロチップの発光素子の電源供給回路に
相関行列を計算する一方のデータを入力し、感度可変受
光素子の制御電圧に相関行列を計算する他方のデータを
入力することで、感度可変受光素子の出力は自動的に相
関行列の結果となるのでこの行列計算を高速に行うこと
ができる。さらに、感度可変受光素子の出力を斜め方向
に加算する出力回路を有するので、この出力回路におけ
る出力は相関演算の結果となり、これらの作用を合わせ
ると行列計算から相関演算まで高速に処理することが可
能となる。

【００３４】また、この発明の請求項６に係わる画像処
理装置は、請求項１乃至４において、相関演算装置が学
習機能付きニューロチップを備えているので、相関演算
装置が一走査線毎の情報の相関行列を並列に計算し、相
関行列の要素毎に並列に加算することが容易のため、相
関行列の計算を高速に処理することができる。

【００３５】また、この発明の請求項７に係わる画像処
理装置は、請求項１乃至３において、輪郭検出装置に分
解能制御装置をさらに備えたので、一走査線毎でなく、
複数の走査線毎の輪郭情報を用いることにより、ノイズ
等の影響を判断できまた左右の画像のエッジの位置が上
下に多少ずれた場合でも対処でき、結果として画像処
理、即ち距離計測や移動角度の計測精度が向上する。

【００３６】また、この発明の請求項８に係わる画像処
理装置は、請求項１乃至３において、輪郭検出装置が、
撮像機と該撮像機によって得られた画像を計算処理して
物体の輪郭情報を得る計算機とで構成されるので、高速
の計算機を用いることにより汎用の撮像機で高速に輪郭
検出が可能となる。

【００３７】また、この発明の請求項９に係わる画像処
理装置は、請求項１乃至３において、相関演算装置によ
り求めた相関行列の対角方向への和の値を記憶する第２
のメモリを備えたので、必要に応じて第２のメモリから
必要な時刻の情報を読み出すことによりそれらの情報を
用いて物体の移動に関する情報を得ることができる。

【００３８】また、この発明の請求項１０に係わる画像
処理方法は、複数の入力画像から輪郭情報を検出する第
１のステップと、同じ高さの走査線の輪郭情報の相関行
列を計算する第２のステップと、相関行列を行列の要素
毎に加算する第３のステップと、加算した相関行列の対
角方向の和を求める第４のステップと、相関行列の対角
方向の和から相関の強い行列の要素の行列の対角線から
のずれ量を求める第５のステップと、該ずれ量から物体
の距離を計算する第６のステップとを備えたので、物体
の輪郭情報を用いて画像処理を行うため、物体までの距
離を高速に求めることができる。

【００３９】また、この発明の請求項１１に係わる画像
処理方法は、入力画像から走査線毎に輪郭情報を検出す
る第１のステップと、メモリから特定時刻の画像の前記
入力画像と同じ高さの走査線の輪郭情報を読み出す第２
のステップと、異なる２つの時刻の輪郭情報の相関行列
を計算する第３のステップと、相関行列を行列の要素毎
に加算する第４のステップと、加算した相関行列の対角
方向の和を求める第５のステップと、相関行列の対角方
向の和から相関の強い行列の要素の行列の対角線からの
ずれ量を求める第６のステップと、該ずれ量から物体の
走査線方向の移動角度を計算する第７のステップとを備
えたので、異なる時刻の物体の輪郭情報を用いて画像処
理を行うため、物体の移動角度を高速に求めることがで
きる。

【００４０】また、この発明の請求項１２に係わる画像
処理方法は、請求項１１において、物体の走査線方向の
移動角度の情報から画像を取り込む検出装置の走査線方
向の設置角度を制御する第８のステップをさらに備えた
ので、物体の追尾を可能とする。

【００４１】また、この発明の請求項１３に係わる画像
処理方法は、請求項１１または１２において、相関行列
の対角方向の和を求める第５のステップの後に、第６及
び第７のステップに代わって、相関行列の対角方向の和
をメモリに記憶させるステップと、異なる時刻のずれ量
と相関行列の対角方向の和をメモリから読み出し、該異
なる時刻の相関行列の対角方向の和を比較し差分値を計
算するステップと、該差分値及びそれぞれの時刻のずれ
量から物体の移動に関する情報を計算するステップとを
備えたので、必要に応じてメモリから必要な時刻の相関
行列の対角方向の和を読み出すことによりそれらの差分
値を用いて簡便に物体の移動に関する情報を得ることが
できる。

【００４２】また、この発明の請求項１４に係わる画像
処理方法は、請求項１０の物体の距離と、請求項１１乃
至請求項１３のいずれか１項に記載の物体の走査線方向
の移動角度とから物体の走査線方向の移動速度を計算す
るステップを備えたので、高速に物体の距離及び移動角
度等の情報を得ることができる。

【００４３】また、この発明の請求項１５に係わる画像
処理方法は、請求項１１または１２において、予め物体
のない背景画像による輪郭情報をメモリに記憶させてお
き、異なる時刻の一方の輪郭情報として、前記予め物体
のない背景画像による輪郭情報を用いるので、相関行列
を計算する際に出現する偽の相関等のノイズの影響を除
去することができる。

【００４４】また、この発明の請求項１６に係わる画像
処理方法は、請求項１３において、予め物体のない背景
画像の輪郭情報による相関行列の対角方向の和をメモリ
に記憶させておき、異なる時刻の一方の輪郭情報の相関
行列の対角方向の和として、前記予め物体のない背景画
像の輪郭情報による相関行列の対角方向の和を用いるの
で、相関行列を計算する際に出現する偽の相関等のノイ
ズの影響を除去することができる。

【００４５】また、この発明の請求項１７に係わる画像
処理方法は、請求項１０乃至１６において、相関行列を
計算するステップにおいて、輪郭情報の一部を用いて相
関行列を計算するので、必要な情報を限定することがで
きるので画像処理が高速化され、さらに不要な行列要素
を用いないので相関行列を計算する際に出現する偽の相
関等のノイズの影響を低減することができる。

【００４６】また、この発明の請求項１８に係わる画像
処理方法は、請求項１０乃至１７において、相関行列の
対角方向の和から相関の強い行列の要素の行列の対角線
からのずれ量を求めるステップにおいて、走査線の輪郭
情報の相関行列を計算し要素毎に加算するステップで生
じる相関の強い行列の偽の要素を除去する手法を用い、
該手法が相関行列の対角線からのずれ量に対し相関の強
い行列の真の要素と対称な位置に生じる要素を除去する
ものであるので、相関の強い行列の偽の要素を容易に除
去することが可能で画像処理の精度が向上する。

【００４７】また、この発明の請求項１９に係わる画像
処理方法は、請求項１０乃至１８において、別の手段に
より取り込まれた画像を用い、該画像の走査線毎の輪郭
情報に相当するベクトルを計算するステップを備えたの
で、ベクトルさえ計算すれば、任意の画像を用いること
が可能となる。

【００４８】

【実施例】

実施例１．この発明の一実施例を図について説明する。
図１は本発明の画像処理装置の構成で特に距離測定装置
として利用した場合の装置構成を示す。図１において輪
郭検出装置１ａ、１ｂ（以降１ａを左の輪郭検出装置、
１ｂを右の輪郭検出装置と称する）、から得られた物体
の輪郭情報を基に相関演算装置２を用いて相関及び相関
の和を計算し、この計算結果を基に計算機３を用いて相
関の強いずれ量及び物体の距離等の計算を行う。図２は
本装置を使用して具体的な距離計測等を行うための画像
処理法の手順を示したものである。図中ＳＴｉ（ｉ＝自
然数）はステップ番号を表す。

【００４９】また、図３は本発明の画像処理装置に搭載
する輪郭検出器である人工網膜素子の動作原理を説明す
る図である。人工網膜素子(Artificial retina)は、一
般には複数個の感度可変受光素子(Variable Sensitive
Photo Detector)と、制御電圧回路部と、出力回路部と
を備えている。図３は、例えば「Optical neuro-device
s: K.Kyuma, E.Lange, andY.Nitta, Optoelectron., De
vices and Technol.,vol.8, no.1, pp.35-52,March, 19
93.」の46頁に示されたもので、輪郭検出装置１ａ、１
ｂとして、入力画像の輪郭を走査線ごとに高速に検出す
る機能を有するものである。図において、感度可変受光
素子４の２つの端子にかかる電圧の大きさと向きによっ
て光に対する感度を変えることができる２つの端子には
それぞれ制御電圧用行方向配線５と、列方向の電流和を
とることのできる出力用列方向配線６が接続される。

【００５０】まず、人工網膜素子を使用した時の輪郭検
出の原理について説明する。図３中(a)に示すように１
行目に電圧１を、２行目に電圧−１を加える。光は図中
右上領域に照射され、左したの陰の領域には照射されて
いない。このとき、１行目と２行目で感度可変受光素子
４に照射された光の強さが同じ部分では列方向で出力が
加算され、出力は０となる（１、３〜５列目参照）。１
行目と２行目で光の強度が変化している部分のみ０でな
い出力１が現れる（２列目の出力）。すなわち、輪郭の
検出が行われる。次に印加する電圧を図(a)中の下方に
ずらし、図中(b)のように、２行目に電圧１を、３行目
に電圧−１を加える。このとき、１行目と２行目で光の
強度が変化している部分のみ０でない出力１が現れる
（３列目の出力）。この走査を繰り返して、電圧を順に
ずらして印加していき、その時の出力信号を並べると、
図中(c)のような行列が形成される。このように、輪郭
検出装置としてこのような人工網膜素子を用いると、走
査線１本分の輪郭を同時にかつ並列に検出できる。且つ
輪郭情報に関する行列を得ることができる。

【００５１】次に、動作手順を図２のフローチャートに
従って説明する。まず、２台のエッジ検出装置１ａ、１
ｂにより、左右の入力画像から同じ高さの走査線上の輪
郭を走査線１本分づつ検出する（ST101）。輪郭情報
は、輪郭のあるところの値は１で、ないところは０とす
る。右と左の画像のｋ番目の走査線の輪郭情報をＶ_R(k,
i)とＶ_L(k,j)とすると、輪郭情報Ｖ_R(k,i)とＶ_L(k,j)間
の各要素ごとの相関Ｗ_k(i,j)は次式(5)で与えられ、こ
れを相関演算装置２を用いて求める（ST102）。Ｗ_k(i,j)＝Ｖ_R(k,i)・Ｖ_L(k,j) ・・・(5) なお、相関演算装置２の一例については、後で詳しく説
明する。

【００５２】図４に左と右の入力画像の１画面分の輪郭
情報の一例を示す。図中(a)は左の入力画像、(b)は右の
入力画像である。図において、黒い画素は図３の原理に
基づいて検出された輪郭のある場所を示しており、図３
(c)の行列に相当する。また、この図４を基に式(5)によ
り求めたｋ行目の輪郭の相関結果を図５に示す。図にお
いて、７ａ〜７ｄは相関Ｗ_k(i,j)が１であった要素を表
す。また、８は対角線を表す。相関Ｗ_k(i,j)が１である
ということは、ｋ行目の輪郭情報のうち、右の輪郭情報
のi番目と左の輪郭情報のj番目が１であるということ
で、両者が対応する可能性があることを示す。図５にお
ける相関が１である要素７ａ〜７ｄのうち、要素７ａと
７ｄは正しい対応関係により生じた相関、即ち同一の輪
郭により生じた正しいマッチングによる相関であり、要
素７ｂと７ｃは誤った対応関係により生じた相関、即ち
偽のマッチングによる相関である。図のように、正しい
マッチングによる相関（７ａと７ｄ）は、対角線と並行
に並ぶ。

【００５３】次に、相関演算装置２において、相関の演
算結果をそれまでの演算結果に加算する（ST103）。相
関の計算（ST102）と加算（ST103）をすべての走査線に
ついて実行する。次に、すべての走査線についての相関
の和をとった結果から、次式(6)で与えられる対角線方
向の和を相関演算装置２を用いて求める（ST104）。

【００５４】

【数１】

【００５５】式(6)において、１≦ｉ＋δ≦ｎを満足す
るものとする。対角線８からの距離はずれ量δに相当す
るため、これにより、ずれ量δに対する対応点の数、即
ちエッジ画像を走査線方向にδ画素ずらして重ねた時に
エッジが重なる画素の数Ｉ_δの分布が得られる。次に、
データＩ_δを計算機３に転送し、計算機によってデータ
Ｉ_δを元に相関の強いずれ量δを求める（ST105）。あ
るずれ量で相関が強く出るということは、そのずれ量に
相当する視差、即ち視差に相当する距離に物体の存在す
る可能性が高いことを意味する。そこで、そのずれ量か
ら(3)式に従って計算機を用いて距離を計算する（ST10
6）。以上の手順により、距離測定が実現される。

【００５６】次に、相関演算装置２の一例として、斜め
読みだし機能を有する光ニューロチップを用いた例を説
明する。図６は、光ニューロチップ９を主構成要素とす
る相関演算装置２の構成の一例を示した図である。図に
おいて、光ニューロチップ９は、感度可変受光素子(VSP
D)４がマトリックス状に配されたVSPDアレイと発光ダイ
オード(LED)10が行状に配されたLEDアレイとで構成され
る。VSPDアレイにおいて、各列を構成する感度可変受光
素子４の一方の電極11は、共通して電圧印加端子に接続
される。また、他方の電極12は斜め方向に共通して光電
流出力端子に接続される。LEDアレイにおける各発光ダ
イオード10は行方向に横長の構造であってVSPDアレイの
下層に形成される。13は光ニューロチップ９の各電圧印
加端子に接続され、輪郭情報を感度可変受光素子４のた
めの適正電圧に変換する電圧変換回路、14は光ニューロ
チップ９の各電流出力端子に接続され、各光電流を電圧
に変換する光電流電圧変換回路（Ｉ−Ｖ変換回路）、15
は各発光ダイオード10に注入電流Ｉ_LEDをLEDドライバ
（発光ダイオードドライバ）であり、発光ダイオード10
への注入電流供給端子に接続される。

【００５７】図７は、１対の感度可変受光素子４および
発光ダイオード10を示す一部断面図の一例である。図に
示すように光ニューロチップは、例えば、メタルコンタ
クト16上のn型GaAs基板17の上の２段のメサ構造で実現
される。第１のメサ（下段のメサ）は発光ダイオ−ド10
を実現するものであり、n型AlGaAs層18、真性GaAs/AlGa
As層19、p型AlGaAs層20、およびp型GaAs層21で形成され
る。また、最上部には、絶縁フィルム22で覆われたLED
用電極23が設けられる。LED用電極23は発光ダイオード1
0への注入電流Ｉ_LEDの供給端子を介して、LEDドライバ1
5に接続される。第２のメサ（上段のメサ）は感度可変
受光素子４を実現するものであり、第１のメサ上の真性
AlGaAs層24およびGaAs層25で構成される。第２のメサの
最上部には、印加電圧端子26（Ｖb)と出力電流端子27
(Ｉout)とが設けられる。印加電圧端子26は図６の電圧
変換回路13に接続され、出力電流端子27は図６の光電流
電圧変換回路14に接続される。また、発光ダイオードか
らの光は図中Ｐ_INのように感度可変受光素子４へ照射さ
れる。

【００５８】光ニューロチップの動作については、例え
ば前述の人工網膜素子に関するものと同じ文献「Optica
l neuro-devices: K.Kyuma, E.Lange, andY.Nitta, Opt
oelectron., Devices and Technol., vol.8, no.1, pp.
35-52,March, 1993.」の36〜45頁に示されている。光ニ
ューロチップの感度可変受光素子の光検出感度は、印加
電圧の大きさによって制御可能である。すなわち、印加
電圧の極性と大きさを変えることによって、光検出感度
は、正の最大値から負の最大値まで連続的に変化しう
る。また、感度可変受光素子は、電圧が印加された状態
で光が照射されると、印加電圧と光強度と光照射時間の
積に応じた光検出感度を記憶する。また、この動作を繰
り返した場合、記憶される光検出感度は順次加算され
る。光検出感度が保持された後に、光が照射されれば、
保持されていた感度に応じた光電流を出力する。

【００５９】本発明に使用した構造の光ニューロチップ
（図６、７）の動作は、上記の光ニューロチップの動作
に従えば次のようになる。発光ダイオード10から入力さ
れた光強度を感度可変受光素子４は入力された制御電圧
でもって検出する。即ち、発光ダイオード10の光強度を
制御する注入電流Ｉ_LEDと感度可変受光素子４の制御電
圧とにそれぞれ所望のデータを入力すれば、感度可変受
光素子４の出力はそれらのデータの演算結果となる。

【００６０】次に、光ニューロチップを用いた相関演算
装置２による相関演算動作について図８に示したフロー
チャート（画像処理手順）に従って、説明する。なお、
図中図２と同じ手順については同じＳＴｉが付されてい
る。図２のフローチャートとの違いは、図２中のST102
の具体的手法として光ニューロチップを使用した点で、
そのステップは２重枠で示している。まず、ST101で得
られた２つの輪郭情報Ｖ_R(k,i)、Ｖ_L(k,j)の１方を電圧
変換回路13へ入力し、輪郭情報に相当する制御電圧(Ｖ
b)が第１の列の感度可変素子４に印加される。それと同
時に、他方の輪郭情報をLEDドライバ15へ入力すると、
輪郭情報により第１の行の発光ダイオードにLED駆動電
流(Ｉ_LED)を流して発光ダイオード10をオン状態にする
（ST107）。一定時間の後、VSPD制御電圧(Ｖb)及び、LE
D駆動電流(Ｉ_LED)をオフにする。各感度可変受光素子４
は、制御電圧(Ｖb)と自素子へ照射される光の強度(即ち
発光ダイオードからの光強度)及び照射時間の積に応じ
た光検出感度を記憶する。従って、この動作により式
(5)に応じた相関Ｗ_k(i,j)がマトリックス状に配されたV
SPDアレイの個々の感度可変受光素子４上に記憶され
る。その後、次の走査線の輪郭情報に対して同様な動作
を繰り返す。この時、記憶される光検出感度は順次加算
される（ST108）。すべての走査線の処理が終了した
後、全発光ダイオード10を点灯し、斜め方向に配線され
た電極12から記憶された光検出感度を斜め方向に加算し
て読み出し、光電流電圧回路15により電圧信号に変換す
る。この電圧信号は、既に式(6)の情報を持っている。
即ち、光ニューロチップを用いた相関演算装置２を使用
することにより、相関の計算（ST102）を全走査線につ
いて実施すれば加算（ST103）された情報が得られ、容
易に加算結果の対角線方向への読みだし（ST104）を実
現できる。

【００６１】実施例２．以下、この発明の別の実施例を
図について説明する。図９は本発明の画像処理装置の構
成で特に物体の移動検出装置として利用した場合の装置
構成を示す。図において、ある時刻tに検出した１画面
分の輪郭情報をメモリ28に保存しておき、次の時刻t+1
に輪郭検出装置１cより検出される輪郭情報とメモリ28
に記憶されていたｔ時の輪郭情報との相関を、相関演算
装置２により求め、その相関から計算機３を利用して物
体の移動角度を検出する。図10は本装置を使用して具体
的な移動検出等を行う画像処理法の手順を示したフロー
チャートである。

【００６２】次に、本装置を利用して物体の移動を検出
する手順について、図10のフローチャートに従って説明
する。輪郭検出装置１cにより、時刻ｔ₁における入力画
像から１走査線分の輪郭情報Ｖ_t1(k,i)を検出する（ST2
01）。次に特定時刻ｔ₀における走査線の輪郭情報Ｖ
_t0(k,i)をメモリ28から呼び出す(ST202）。これら輪郭
情報Ｖ_t1(k,i)、Ｖ_t0(k,i)の間の各要素ごとの相関を相
関演算装置２を用いて実施例１と同様な手法で求める(S
T203)。次に、相関演算装置２において、相関の演算結
果をそれまでの演算結果に加算する(ST204)。相関の計
算（ST203)と加算（ST204)を全ての走査線について実行
する。すべての走査線について相関の和を求めた結果か
ら、式(6)で与えられる対角線方向の和を相関演算装置
２を用いて求める(ST205)。ここで、２つの時刻ｔ₀とｔ
₁における画像から得られたずれ量をδ_tとする。実施例
１のST105と同様に相関の強いずれ量δ_tを求める（ST20
6)。相関が強くでるかどうかで物体が移動したかどうか
が検知でき、これにより本発明の装置及び方法が物体の
物体の移動検出機能を有することがわかる（物体の移動
検出）。また、そのずれ量δ_tより、次式(7)を用いて走
査線方向への移動角度θを測定できる（ST207）。 θ ＝（φ／ｐ_w）・δ_t ・・・(7) ここで、φは輪郭検出装置の走査線方向の視野の角度、
ｐ_wは輪郭検出装置の走査線方向の画素数である。さら
に、時刻ｔ₁における全走査線の輪郭情報Ｖ_t1(k,i)を必
要であれば、メモリ28に記憶させる(ST208)。以上の手
順により、異なる時刻の輪郭情報を用いて物体の移動検
出及びその移動角度が計測できる。

【００６３】なお、上記実施例により得られた物体の移
動情報（移動角度）を輪郭検出器１cの設置角度にフィ
ードバックすれば、物体を追尾することができる。図11
は追尾機能を付加した画像処理装置の構成例で、図９の
輪郭検出器１ｃに設置角度制御装置29を設け、物体の移
動情報により設置角度制御装置29が輪郭検出器１cの設
置角度を物体を追尾できるように制御するものである。
この追尾機能について図10のフローチャートに基づいて
説明する。ST201〜ST208については上記実施例と同じで
ある。即ち２つの時刻ｔ₀とｔ₁における画像の輪郭情報
から物体の移動検出及びその移動角度が計測する。さら
にその物体を追尾し物体の移動情報が必要な時は、輪郭
検出器１cの設置角度を設置角度制御装置29により制御
し、輪郭検出器１cの画面内に物体が納まるように設定
する(ST209)。続いて物体の移動情報はST201〜ST208を
繰り返すことにより得ることができる。

【００６４】なお、上記実施例２においては、実施例１
と同様に、輪郭検出装置として人工網膜素子を、相関演
算装置が発光素子アレイと感度可変素子からなる光ニュ
ーロチップで感度可変素子からの出力をアレイの斜め方
向に加算するものである装置を用いれば、高速で精度の
高い画像処理、即ち物体の移動検出が可能となることは
言うまでもない。

【００６５】実施例３．以下、本発明の別の実施例を図
について説明する。上記実施例２では、物体の走査線方
向への移動角度を測定しているが、上記実施例１と組み
合わせて物体までの距離を同時に測定すれば、物体の走
査線方向への移動速度を測定できる。この計測方法につ
いて説明する。図12は、本発明の画像処理装置の構成で
特に物体までの距離と物体の移動検出を可能な装置とし
て利用した場合の装置構成の例を示している。図におい
て、物体の画像を取り込み走査線毎の輪郭検出を行う左
右の輪郭検出装置１ａ、１ｂから得られた輪郭情報はそ
れぞれメモリ28に記憶され、必要に応じてその内容を読
み出すことができる。また、この輪郭情報を基に、相関
演算装置２を用いて相関及び相関の和を計算し、この計
算結果を基に計算機３を用いて相関の強いずれ量及び物
体の距離等の計算がが行われる。相関演算装置２の結果
及び計算機３を用いて行われた計算の結果は第２のメモ
リ30に記憶され、必要に応じてその内容を読み出すこと
ができる。また、相関演算装置２においては異なる時刻
の輪郭情報を読み出すことで、それらの相関を計算し、
その結果を用いて計算機３で物体の移動に関する情報を
求めることができる。さらに物体を追尾する必要がある
場合には物体の移動情報に応じて、設置角度制御装置29
により輪郭検出装置１ａ、１ｂが同時にあるいは独立に
制御される。

【００６６】次に、動作手順の一例を図13のフローチャ
ートに従って説明する。図において、ST301〜ST306は実
施例１の図２中ST101〜ST106に相当し、ST308〜St309は
実施例２の図10中ST203〜ST207にほぼ相当する。

【００６７】まず、２台のエッジ検出装置１ａ、１ｂに
より、左右の入力画像から同じ高さの走査線上の輪郭を
走査線１本分づつ検出する（ST301）。輪郭情報は、輪
郭のあるところの値は１で、ないところは０とする。右
と左の画像のｋ番目の走査線の輪郭情報をＶ_R(k,i)とＶ
_L(k,j)とすると、輪郭情報Ｖ_R(k,i)とＶ_L(k,j)間の各要
素ごとの相関Ｗ_k(i,j)は式(5)で与えられ、これを相関
演算装置２を用いて求める（ST302）。次に、相関演算
装置２において、相関の演算結果をそれまでの演算結果
に加算する（ST303）。相関の計算（ST102）と加算（ST
103）をすべての走査線について実行し、終了すると、
すべての走査線についての相関の和をとった結果から、
式(6)で与えられる対角線方向の和を相関演算装置２を
用いて求める（ST304）。ここで実施例１と同様に物体
の距離計測が必要な場合、輪郭画像を走査線方向にδ画
素ずらして重ねた時に輪郭が重なる画素の数Ｉ_δの分布
が得られる。次に、データＩ_δを計算機３に転送し、計
算機によってデータＩ_δを元に相関の強いずれ量δを求
める（ST305）。ずれ量から(3)式に従って計算機を用い
て距離を計算する（ST306）。ここで、これまでに得ら
れたある時刻の輪郭情報は第１のメモリ28に、左右の画
像の輪郭情報から求めた相関行列やＩ_δの分布、相関の
強いずれ量δ、物体までの距離等の情報を第２のメモリ
30に記憶させる。即ち、相関演算装置２で使用する情報
やデータは第１のメモリ28に、計算機３で使用する情報
やデータは第２のメモリ30に記憶させる(ST307)。物体
の移動に関する情報が必要な場合は、上記ST301〜ST307
を繰り返して、異なる時刻の輪郭情報等を収集する。

【００６８】物体の移動に関する情報を得るには、例え
ば実施例２のように第１のメモリ２８から異なる時刻の
輪郭情報を読み出し、これを基に相関演算装置２で各要
素毎の相関をもとめ、相関行列を計算する（ＳＴ３０
８）。次に、相関演算装置２において、相関の演算結果
をそれまでの演算結果に加算し、これを全ての走査線に
ついて実行する。すべての走査線について相関の和を求
めた結果から、式(6)で与えられる対角線方向の和を相
関演算装置２を用いて求め、さらに、異なる２つの時刻
における画像から得られたずれ量をδ_tを求める。この
ずれ量δ_tより、式(7)を用いて走査線方向への移動角度
θを計算する（ST309）。さらに、ST306で求めた物体ま
での距離Ｚ_pと移動角度θから走査線方向の移動速度υ
（＝Ｚ_p・θ）を求めることができる。さらに、この物
体を追尾して情報を得る場合には、走査線方向への移動
角度θの情報を基に輪郭検出装置１ａ、１ｂの設置角度
を設置角度制御装置29により制御すればよい。

【００６９】上記実施例では、物体の移動に関する情報
を得るのに、比較する画像の輪郭情報の相関を求め、そ
れにより順次相関の強いずれ量δ_t、移動角度等を求め
たが、ST307で第２のメモリ30に記憶しておいた相関分
布を利用し、異なる時刻の相関分布の差分を求める方法
を用いてもよい。相関の分布が変化するということは、
その間に物体と輪郭検出装置間の距離(物体までの距離)
が変化したことを意味し、従って物体の前後方向への移
動を検出できる。また、差分の結果より相関の強く出て
いるずれ量の差を求めることにより、物体の移動距離
も、移動角度も測定できる。この動作手順の例を図14の
フローチャートに従って説明する。

【００７０】ST307までは図13と同様である。ST311で、
異なる時刻の相関分布Ｉ_δ(ｔ₀)、Ｉ_δ(ｔ₁)を第２のメ
モリ30から読み出し、その差分を計算機３で計算する。
差分の結果、物体までの距離の変化が検知でき、それぞ
れの時刻の物体までの距離（ST307で第２のメモリ30に
その情報が記憶されている）の差と時間差から、次式
(8)のように移動速度Ｖが計算できる(ST312)。Ｖ＝（Ｚ_p(ｔ₁)−Ｚ_p(ｔ₀)）／（ｔ₁−ｔ₀）・・・(8) ここで、Ｚ_p(ｔ₁)は時刻ｔ₁における物体までの距離を
示す。また、移動距離及び式(7)を用いて移動角度を計
算できることは言うまでもない。

【００７１】なお、上記実施例１〜３では、全走査線に
ついて相関を加算した後、対角線方向の和を読み出すよ
うにしたが、全走査線についてでなくグループ分けした
走査線の集合ごとに、あるいは必要な走査線の相関の結
果を加算し、対角線方向の和を読み出すようにしても良
い。さらに、走査線１本ずつの相関結果の対角線方向の
和を読み出すようにしても良い。走査線毎の相関結果の
対角線方向の和を読み出しすことにより、他の走査線で
発生した偽のマッチングによる相関の影響を軽減でき、
画面の高さ方向（走査線間）の分解能が向上する。

【００７２】また、上記実施例１〜３では、主に輪郭検
出装置の縦と横の画素数が同じである例について示して
いるが、縦と横の画素数は、異なっていても同様な相関
行列を計算し、必要な情報を得ることができることはい
うまでもない。

【００７３】また、上記実施例１、３では、１組（２
台）の輪郭検出装置と１台の相関演算機を用いている
が、複数組の輪郭検出装置と複数台の相関演算装置を用
い、それらの結果を統合しても良い。組合せ方として
は、輪郭検出装置間の間隔が異なる輪郭検出装置の組を
組み合わせたり、横方向に配置された一組の輪郭検出装
置と縦方向に配置された一組の輪郭検出装置を組み合わ
せたり、さまざまな色のフィルタを用いた複数の組の輪
郭検出装置を組み合わせるなどが考えられる。その結
果、偽のマッチングによる相関の影響の軽減等により物
体の距離計測に関する精度の向上や、広い計測範囲が可
能等のダイナミックレンジの向上が図れる。

【００７４】また、実施例２では１台の輪郭検出装置を
用いているが、例えば離れて配置した複数台の輪郭検出
装置を用い、それらの結果を統合してもよい。これによ
り、偽のマッチングによる相関の影響を軽減することが
可能である等、物体の移動に関して計測精度の向上が図
れる。さらに、多数の輪郭検出装置を配置することで広
く物体の移動を捉えることができ、計測範囲が拡大さ
れ、ダイナミックレンジの拡大を図ることができる。

【００７５】また、上記実施例１〜３では、１つの物体
について説明したが、物体が複数あっても良く、それぞ
れの物体により生じる相関の強くでるずれ量を検出する
ことにより物体までの距離あるいは物体の移動角度を測
定できる。

【００７６】実施例４．以下、本発明の別の実施例を図
について説明する。上記実施例１〜３では、輪郭検出装
置として、主に人工網膜素子を用いた場合を示したが、
高速に輪郭を検出を実施可能であるならば、撮像機と高
速な輪郭計算装置の組合せなど、他の装置構成を用いて
も良い。図15は実施例１〜３において用いた輪郭検出装
置１ａ、１ｂ、１ｃの代りに撮像機31ａ、31ｂ、31ｃと
撮像機から得た画像の走査線毎に輪郭を検出するための
輪郭計算装置32を用いた装置構成を示したものである。
図中(a)は図１の代替、図中(b)は図９の代替である。

【００７７】次に、動作について図中(a)に基づいて説
明する。先ず物体に対し、走査線方向に離れて設置した
２台の撮像機31ａ、31ｂを用い、物体の画像を得る。２
つの画像のそれぞれについて、走査線毎に輪郭を計算す
る。例えば、画像が２５６階調のグレイレベルで表現さ
れているとすると隣合う画素のグレイレベルの差が大の
ところ（例えば事前にその判断値を決めておく）を輪郭
の位置として実施例１〜３で用いた輪郭情報に相当する
行列を作製する。輪郭情報が計算できれば、以下は実施
例１〜３と同様な手順に従って、画像処理を実施する。
このように、汎用の撮像機と高速の計算機を組み合わせ
れば、輪郭検出装置として人工網膜素子を用いた場合よ
り計算速度や精度が劣る。しかし、高速処理や高精度が
要求されない場合には、汎用の装置の組み合わせで装置
を構成することが可能となり、本発明の画像処理方法を
容易に使用できる。

【００７８】また、実施例２、３のように撮像機に設置
角度制御装置を設ければ、物体を追尾することができる
ことは言うまでもない。

【００７９】実施例５．また、上記実施例１〜３では、
輪郭検出装置により走査線１本分の分解能で輪郭を検出
したが、輪郭検出の分解能を制御する手段を設け画像に
応じて分解能を低下させても良い。図１あるいは図９の
相関演算装置２に輪郭検出の分解能を制御する手段を設
けて分解能を制御する。本構成を図16に示す。図におい
て、分解能制御装置33は、相関演算装置２に併設されて
おり、予め低分解能で処理を行いたい場合や相関演算装
置２による演算結果分解能を低下させて再度演算したい
場合等に、分解能を制御するよう輪郭検出装置１ａ、１
ｂ、１ｃに制御信号を送る。図中(a)は図１に、図中(b)
は図９に分解能制御装置33を付加した装置構成を示して
いる。

【００８０】分解能を制御するかどうかの情報源は、実
施例１〜３による画像処理の結果相関が弱いという結果
を得た場合や、予めレンズの収差やアライメントのずれ
などの影響により、例えば左右の画像の輪郭の位置が上
下に多少ずれることが予想される場合などである。輪郭
検出装置１ａ、１ｂ、１ｃ内の分解能を制御する機構に
その情報をインプットすることにより、分解能を低下
（制御）させ、これらの悪影響を軽減でき、結果として
画像処理の精度が向上する。具体的に輪郭検出の分解能
を制御する方法としては、輪郭検出装置の受像面に像を
結ぶ画像のピントを少しずらしたり、または輪郭検出装
置として用いる人工網膜素子に加える＋１と−１の電圧
を走査線複数本ずつに同時に加えるなどの方法を使用す
ればよい。

【００８１】実施例６．上記実施例１〜５では、輪郭検
出装置によって画面全体の輪郭を検出していたが、走査
線の一部にだけ制御電圧を印加したり、出力信号の一部
だけを取り出すなどして、画面全体のうち注目する一部
の画像だけの輪郭を検出するようにしても良い。これに
より、画面全体では偽のマッチングによる相関の影響が
強くでてしまうが、注目する領域に偽のマッチングによ
る相関の影響が弱い場合には全体として偽のマッチング
の影響を軽減することができる。また、注目する画像と
残りの部分の画像の間に生じるはずの偽のマッチングに
よる相関がなくなるため、トータルとして偽のマッチン
グによる相関かどうか判断する必要やそれによって生じ
る誤差がなくなる。さらに、必要な領域のみを使用する
ので、計算が早くなり、注目する必要な領域について高
精度な測定ができる。

【００８２】実施例７．上記実施例１〜６では、物体を
含んだ画像の相関分布Ｉ_δより相関の強く出るずれ量δ
を求め、その値より物体までの距離または移動角度を求
めているが、予め物体が無い時の画像（背景）の相関分
布を記憶しておき、それと物体がある時の相関の分布と
の差分を求めて、その結果から相関の強くでるずれ量を
求めて物体までの距離または移動角度を測定しても良
い。これにより、背景の影響を軽減できる。

【００８３】具体的には、例えば図14のフローチャート
のST301において、背景画像の輪郭検出を行う。そし
て、この情報に従って得た相関をST307で第１及び第２
のメモリに記憶させておく。ST311でこの背景画像によ
る情報を用いて差分を求めることにより、所望の情報、
物体までの距離または移動角度等を得る。

【００８４】また、図13のフローチャートにおける例は
以下の通りである。ST301において、背景画像の輪郭検
出を行う。そして、この情報に従って得た相関をST307
で第１及び第２のメモリに記憶させておく。ST308でこ
の背景画像による輪郭情報を用いて創刊行列を求めるこ
とにより、所望の情報、物体までの距離または移動角度
等を得る。

【００８５】実施例８．上記実施例１〜７においては、
相関の分布Ｉ_δより相関の強く出るずれ量δを求めこと
が計測精度を左右する要因となっている。そのため、偽
のマッチングにより生じる相関を判断し除去すれば、計
測精度は向上する。以下、上記実施例において、偽のマ
ッチングにより生じる相関を除去する方法について図を
用いて説明する。実施例１で説明したように、図５にお
いて、正しい相関（真の相関）７ａ、７ｄは対角線に平
行に表れ、これに対し、偽のマッチングにより生じる相
関７ｂ、７ｃは正しい相関７ａ、７ｄを結ぶ線に対し対
称な位置に生じる。この性質を利用して偽のマッチング
による相関を除去すればよい。

【００８６】図17は除去の方法を示した図である。図に
おいて、相関行列の対角線方向の和を並べてそのそれぞ
れの和の値をピークの大きさとして相対的に示したもの
である。まず、１つの真の相関であろうピーク値(Ｘn)
を求めて、そこから両側で差をとっていく処理を行う。
ここではＸnから両側にｉだけ離れたＸn_ー1とＸ_n+1が消
去され、Ｘnが真の相関のピークであったことが記憶さ
れる。次に、Ｙnから両側のＹn_ー1とＹ_n+1を消去しＸnが
真の相関のピークであったことが記憶される。以上の手
順を繰り返すことで、真の相関の左右対称の位置に生じ
るピークは除去されていく。この手法により、偽のマッ
チングによる相関を除去すれば画像処理（計測）の精度
は向上する。

【００８７】実施例９．上記実施例では、相関演算装置
として光ニューロチップを用いた場合を示したが、例え
ば、「ニューロコンピュータ工学：久間和生、中山高
編著、（株）工業調査会」の１１６頁〜１２５頁に示さ
れた学習機能付きニューロチップを用いて相関演算を行
ない、その結果から計算機で対角線方向への相関結果の
和の計算と相関の強くでるずれ量の計算を行なうなど、
同様な機能を持つ他のものを用いても良い。

【００８８】図18に学習機能付きニューロチップの回路
構成の一例を示す。図において、回路の２つの入力端子
34ａ、34ｂに２つの画像の輪郭情報をそれぞれ入力す
る。画像のｋ番目の走査線の輪郭情報の相関Ｗ_k(i,j)は
(5)式に従って求められ、学習制御回路でシナプス荷重
回路が正と指定されておれば、相関Ｗ_k(i,j)の値はキャ
パシタＣ35の電荷容量に増分として付加される。これに
よりキャパシタＣ35には相関行列の各要素が加算されて
いく。相関の演算が終了すれば、出力端子36ａ、36ｂの
いずれかから、一行毎にあるいは一列毎に読み出され、
別の計算機によって対角線方向への相関結果の和の計算
等が行われる。以下の処理はこれまでの実施例と同様で
ある。

【００８９】実施例１０．上記実施例では、相関演算装
置への入力として物体を含んだあるいは物体を含まない
背景の画像の走査線毎の輪郭情報を用い、物体までの距
離あるいは物体の移動角度を測定する場合を示したが、
この発明はこれに限られるわけではなく、別の情報を入
力として用いれば様々な他の機能を実現できる。

【００９０】例えば、シフトインバリアントなパターン
照合に用いる場合について説明する。相関演算装置の一
方より照合したい画像の１次元パターンあるいは１次元
パターン処理したものを入力し、他方より予めメモリに
記憶しておいた１次元パターンを入力する。両者のパタ
ーンに相関がある場合、相関演算装置より大きな出力が
得られる。パターンがずれている場合でも、それに相当
するずれ量で大きな相関値が得られる。従って、そのず
れ量を検出しその分補正することにより、パターンのシ
フトインバリアントな照合を容易に実現できる。

【００９１】

【発明の効果】以上のように、請求項１の発明によれ
ば、走査線方向に離れて配置した２台の輪郭検出装置に
より検出され対応する一走査線分の１組の輪郭情報の相
関行列を計算し、該相関行列の要素の値を走査線毎に加
算し相関行列の対角方向への和を計算する相関演算装置
と、前記相関行列の対角方向への和を基に物体までの距
離を計算する計算機とを備え、物体の輪郭情報を用いる
ため、従来画素数ｎの３乗（ｎ³）のオーダであった画
像処理時間が走査線数ｎのオーダで処理でき、物体まで
の距離を高速に且つ精度良く求めることができる。

【００９２】以上のように、請求項２の発明によれば、
物体の輪郭を検出する輪郭検出装置と、第１のメモリに
記憶された特定の時刻の物体の輪郭情報を用いて、異な
る時刻間の物体の輪郭情報を画像の一走査線毎に相関行
列を計算し、該相関行列の要素の値を走査線毎に加算し
相関行列の対角方向への和を計算する相関演算装置と、
前記相関行列の対角方向への和を基に物体の走査線方向
の移動角度を計算する計算機とを備え、異なる時刻の物
体の輪郭情報を用いるため、従来画素数ｎの３乗
（ｎ³）のオーダであった画像処理時間が走査線数ｎの
オーダで処理でき、物体の移動角度を高速に且つ精度良
く求めることができる。

【００９３】以上のように、請求項３の発明によれば、
請求項２において、物体の走査線方向への移動角度を輪
郭検出装置の走査線方向の設置角度にフィードバックす
ることにより物体の追尾を可能とし画像処理装置として
の機能が向上する。

【００９４】以上のように、請求項４の発明によれば、
請求項１乃至３において、輪郭検出装置として、複数の
感度可変受光素子と該複数の感度可変受光素子からの出
力を処理する出力回路とを備えた人工網膜素子を備えた
ので、物体の画像とりこみと同時に輪郭検出を行うこと
ができ、物体までの距離及び物体の移動角度を高速に且
つ精度良く求めることができる。

【００９５】以上のように、請求項５の発明によれば、
請求項１乃至４において、相関演算装置として、アレイ
の要素を斜め方向に加算可能な回路構成を有する光ニュ
ーロチップを用いたので、相関演算が高速に処理でき且
つ精度良く行えるので、結果として物体までの距離及び
物体の移動角度を高速に且つ精度良く求めることがで
き、信頼性の高い画像処理装置を提供することができ
る。

【００９６】以上のように、請求項６の発明によれば、
請求項１乃至４において、相関演算装置が学習機能付き
ニューロチップを備えているので、相関演算装置が一走
査線毎の情報の相関行列を並列に計算し、相関行列の要
素毎に並列に加算することが容易のため、相関演算が高
速に処理でき且つ精度良く行えるので、結果として物体
までの距離及び物体の移動角度を高速に且つ精度良く求
めることができ、信頼性の高い画像処理装置を提供する
ことができる。

【００９７】以上のように、請求項７の発明によれば、
請求項１乃至３において、輪郭検出装置に分解能制御装
置をさらに備えたので、一走査線毎でなく、複数の走査
線毎の輪郭情報を用いることにより、ノイズ等の影響を
判断できまた左右の画像のエッジの位置が上下に多少ず
れた場合でも対処でき、結果として画像処理、即ち距離
計測や移動角度の計測精度が向上する。

【００９８】以上のように、請求項８の発明によれば、
請求項１乃至３において、輪郭検出装置が、撮像機と該
撮像機によって得られた画像を計算処理して物体の輪郭
情報を得る計算機とで構成されるので、高速の計算機を
用いることにより汎用の撮像機で高速に輪郭検出が可能
となる。

【００９９】以上のように、請求項９の発明によれば、
請求項１乃至３において、相関演算装置により求めた相
関行列の対角方向への和の値を記憶する第２のメモリを
備えたので、必要に応じて第２のメモリから必要な時刻
の情報を読み出してその差分から、容易に物体の移動に
関する情報を高速且つ高精度に得ることができる。

【０１００】以上のように、請求項１０の発明によれ
ば、複数の入力画像から輪郭情報を検出する第１のステ
ップと、同じ高さの走査線の輪郭情報の相関行列を計算
する第２のステップと、相関行列を行列の要素毎に加算
する第３のステップと、加算した相関行列の対角方向の
和を求める第４のステップと、相関行列の対角方向の和
から相関の強い行列の要素の行列の対角線からのずれ量
を求める第５のステップと、該ずれ量から物体の距離を
計算する第６のステップとを備えたので、物体の輪郭情
報を用いて画像処理を行うため、物体までの距離を高速
に且つ高精度に求めることができる。

【０１０１】以上のように、請求項１１の発明によれ
ば、入力画像から走査線毎に輪郭情報を検出する第１の
ステップと、メモリから特定時刻の画像の前記入力画像
と同じ高さの走査線の輪郭情報を読み出す第２のステッ
プと、異なる２つの時刻の輪郭情報の相関行列を計算す
る第３のステップと、相関行列を行列の要素毎に加算す
る第４のステップと、加算した相関行列の対角方向の和
を求める第５のステップと、相関行列の対角方向の和か
ら相関の強い行列の要素の行列の対角線からのずれ量を
求める第６のステップと、該ずれ量から物体の走査線方
向の移動角度を計算する第７のステップとを備えたの
で、異なる時刻の物体の輪郭情報を用いて画像処理を行
うため、物体の移動角度を高速に且つ高精度に求めるこ
とができる。

【０１０２】以上のように、請求項１２の発明によれ
ば、請求項１１において、物体の走査線方向の移動角度
の情報から画像を取り込む検出装置の走査線方向の設置
角度を制御する第８のステップをさらに備えたので、物
体の追尾を可能とする。

【０１０３】以上のように、請求項１３の発明によれ
ば、請求項１１または１２において、相関行列の対角方
向の和を求める第５のステップの後に、相関行列の対角
方向の和をメモリに記憶させるステップと、異なる時刻
のずれ量と相関行列の対角方向の和をメモリから読み出
し、該異なる時刻の相関行列の対角方向の和を比較し差
分値を計算するステップと、該差分値及びそれぞれの時
刻のずれ量から物体の移動に関する情報を計算するステ
ップとを備えたので、必要に応じてメモリから必要な時
刻の情報を読み出すことによりそれらの情報を用いて簡
便に物体の移動に関する多くの情報を高速且つ高精度に
得ることができる。

【０１０４】以上のように、請求項１４の発明によれ
ば、請求項１０の物体の距離と、請求項１１乃至請求項
１３のいずれか１項に記載の物体の走査線方向の移動角
度とから物体の走査線方向の移動速度を計算するステッ
プを備えたので、高速に物体の距離及び移動角度等の多
くの情報を得ることができる。

【０１０５】以上のように、請求項１５の発明によれ
ば、請求項１１または１２において、予め物体のない背
景画像による輪郭情報をメモリに記憶させておき、この
背景画像による情報を用いるので、相関行列を計算する
際に、背景に起因して出現する偽の相関等のノイズの影
響を除去することができ、精度の高い画像処理を実現す
る。

【０１０６】以上のように、請求項１６の発明によれ
ば、請求項１３において、予め物体のない背景画像の輪
郭情報による相関行列の対角線方向の和をメモリに記憶
させておき、この背景画像による情報を用いるので、相
関行列を計算する際に、背景に起因して出現する偽の相
関等のノイズの影響を除去することができ、精度の高い
画像処理を実現する。

【０１０７】以上のように、請求項１７の発明によれ
ば、請求項１０乃至１６において、相関行列を計算する
ステップにおいて、輪郭情報の一部を用いて相関行列を
計算するので、必要な情報を限定することができるので
画像処理が高速化され、さらに不要な行列要素を用いな
いので相関行列を計算する際に出現する偽の相関等のノ
イズの影響を低減することができ、画像処理の精度が向
上する。

【０１０８】以上のように、請求項１８の発明によれ
ば、請求項１０乃至１７において、相関行列の対角方向
の和から相関の強い行列の要素の行列の対角線からのず
れ量を求めるステップにおいて、走査線の輪郭情報の相
関行列を計算し要素毎に加算するステップで生じる相関
の強い行列の偽の要素を除去する簡便な手法を用いたの
で、相関の強い行列の偽の要素を容易に除去することが
可能で画像処理の精度が向上する。

【０１０９】以上のように、請求項１９の発明によれ
ば、請求項１０乃至１８において、別の手段により取り
込まれた画像を用い、該画像の走査線毎の輪郭情報に相
当するベクトルを計算するステップを備えたので、ベク
トルさえ計算すれば、任意の画像を用いることが可能と
なり、画像の照合等画像処理機能が増大する。

【図面の簡単な説明】

【図１】本発明の実施例１による画像処理装置を利用
した距離測定装置の構成図である。

【図２】本発明の実施例１による距離測定装置の動作
手順を示すフローチャートである。

【図３】本発明の実施例１による距離測定装置の輪郭
検出装置として用いる人工網膜素子の輪郭検出原理の説
明図である。

【図４】本発明の実施例１による距離測定装置におい
て、左右の輪郭検出装置により検出された輪郭情報の一
例を示す図である。

【図５】本発明の実施例１による距離測定装置におい
て、左右の輪郭検出装置により検出されたｋ行めの輪郭
情報の相関結果を示す図である。

【図６】本発明の実施例１による距離測定装置に用い
る相関演算装置である光ニューロチップの構成図であ
る。

【図７】本発明の実施例１による距離測定装置の相関
演算装置に用いる光ニューロチップの１対の感度可変受
光素子と発光ダイオードの構造を示す一部断面図であ
る。

【図８】本発明の実施例１による距離測定装置で用い
る相関演算装置として光ニューロチップを用いた時の距
離測定装置のの動作手順を示すフローチャートである。

【図９】本発明の実施例２による画像処理装置を利用
した物体の移動検出装置の構成図である。

【図１０】本発明の実施例２による移動検出装置の動
作手順を示すフローチャートである。

【図１１】本発明の実施例２による別の移動検出装置
の構成図である。

【図１２】本発明の実施例３による画像処理装置を利
用した距離測定及び物体の移動検出が可能な装置の構成
図である。

【図１３】本発明の実施例３による距離測定及び物体
の移動検出の動作手順を示すフローチャートである。

【図１４】本発明の実施例３による別の距離測定及び
物体の移動検出の動作手順を示すフローチャートであ
る。

【図１５】本発明の実施例４による画像処理装置の構
成図である。

【図１６】本発明の実施例５による画像処理装置の構
成図である。

【図１７】本発明の実施例８による偽のマッチングに
よる相関を除去する方法を説明する図である。

【図１８】本発明の実施例９による相関演算装置であ
る学習機能付きニューロチップの回路構成図である。

【図１９】ステレオ視による距離測定などで用いる三
角測量の原理の説明図である。

【図２０】従来の距離測定装置の構成図である。

【図２１】従来の距離測定装置において左の撮像機か
ら撮り入れられる画像と右の撮像機から撮り入れられる
画像間で対応する微小領域を求める方法の説明図であ
る。

【図２２】従来の距離測定装置の動作手順を示すフロ
ーチャートである。

【図２３】従来の距離測定装置で対応点を求める時
の、微小領域Ｂの位置に対する微小領域ＡとＢのグレイ
レベルの差の一例を示す図である。

【符号の説明】

１ａ、１ｂ、１ｃ輪郭検出装置、２相関演算装
置、３計算機、４感度可変受光素子（ＶＳＰ
Ｄ）、５制御電圧用行方向配線、６出力用列方向
配線、７ａ〜７ｄ相関が１である要素８対角線、９光ニューロチップ、 10 発
光ダイオード(LED)、11 感度可変受光素子の一方の電
極、 12 感度可変受光素子の他方の電極 13 電圧変換回路、 14 光電流電圧変換回路、
15 ＬＥＤドライバ、 16 メタルコンタクト、17 ｎ
型ＧａＡｓ基板、 18 ｎ型ＡｌＧａＡｓ層、19 真性
ＧａＡｓ／ＡｌＧａＡｓ層、 20 ｐ型ＡｌＧａＡｓ
層、21 ｐ型ＧａＡｓ層、 22 絶縁フィルム、 23
ＬＥＤ用電極、24 真性ＡｌＧａＡｓ層、 25 ＧａＡ
ｓ層、 26 印加電圧端子、27 出力電流端子、 28
メモリ、 29 設置角度制御装置、30 第２のメモリ、
31ａ、31ｂ、31ｃ撮像機、 32 輪郭計算装置、33
分解能制御装置、34ａ、34ｂ学習機能付きニューロ
チップの入力端子、 35 キャパシタ、36ａ、36ｂ学
習機能付きニューロチップの出力端子、100ａ、100ｂ
撮像機、 101 計算機

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号庁内整理番号ＦＩ技術表示箇所Ｇ０６Ｇ 7/60

Claims

【特許請求の範囲】

【請求項１】画像の輝度差より物体の輪郭を検出する
輪郭検出装置を、該輪郭検出装置上の走査線方向に離れ
て２台配置し、該２台の輪郭検出装置により検出され対
応する一走査線分の１組の輪郭情報の相関行列を計算
し、該相関行列の要素の値を走査線毎に加算し相関行列
の対角方向への和を計算する相関演算装置と、前記相関
行列の対角方向への和を基に物体までの距離を計算する
計算機とを備えたことを特徴とする画像処理装置。
【請求項２】画像の輝度差より物体の輪郭を検出する
輪郭検出装置と、第１のメモリに記憶された特定の時刻
の物体の輪郭情報を用いて、異なる時刻間の物体の輪郭
情報を画像の一走査線毎に相関行列を計算し、該相関行
列の要素の値を走査線毎に加算し相関行列の対角方向へ
の和を計算する相関演算装置と、前記相関行列の対角方
向への和を基に物体の走査線方向の移動角度を計算する
計算機とを備えたことを特徴とする画像処理装置。
【請求項３】計算された移動角度の情報を基に、配置
された輪郭検出装置の物体の走査線方向への設置角度を
制御する設置角度制御装置をさらに備えたことを特徴と
する請求項２に記載の画像処理装置。
【請求項４】輪郭検出装置が、２次元のアレイ状に配
置され制御電圧回路から印加された制御電圧と照射され
る光の強度および照射時間の積に応じた光検出感度を順
次加算し記憶する機能を有する感度可変受光素子と、該
感度可変受光素子からの出力を処理する出力回路とを備
えた人工網膜素子であることを特徴とする請求項１乃至
３のいずれか１項に記載の画像処理装置。
【請求項５】相関演算装置が、感度可変受光素子と発
光素子とを積層して２次元のアレイ状に配置し、該感度
可変受光素子に印加する制御電圧回路と、発光素子を発
光させるための電源供給回路と、感度可変受光素子から
の出力を処理する出力回路を備えた光ニューロチップに
より構成され、該光ニューロチップにおける出力回路が
アレイ状の感度可変受光素子の出力をアレイの斜め方向
に加算して出力する出力回路であることを特徴とする請
求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】相関演算装置が、一走査線毎の情報の相
関行列を並列に計算し、相関行列の要素毎に並列に加算
する機能を有する学習機能付きニューロチップを備えた
相関演算装置であることを特徴とする請求項１乃至４の
いずれか１項に記載の画像処理装置。
【請求項７】輪郭検出装置に、分解能制御装置をさら
に備えたことを特徴とする請求項１乃至３のいずれか１
項に記載の画像処理装置。
【請求項８】輪郭検出装置が、撮像機と該撮像機によ
って得られた画像を計算処理して物体の輪郭情報を得る
計算機とで構成されることを特徴とする請求項１乃至３
のいずれか１項に記載の画像処理装置。
【請求項９】相関演算装置により求めた相関行列の対
角方向への和の値を記憶する第２のメモリを備えたこと
を特徴とする請求項１乃至３のいずれか１項に記載の画
像処理装置。
【請求項１０】複数の入力画像から同じ高さの走査線
毎にそれぞれの走査線中の輝度差により輪郭情報を検出
する第１のステップと、同じ高さの走査線の輪郭情報の
相関行列を計算する第２のステップと、第２のステップ
により求められた相関行列を行列の要素毎に加算する第
３のステップと、加算した相関行列の対角方向の和を求
める第４のステップと、第４のステップで求めた相関行
列の対角方向の和から相関の強い行列の要素の行列の対
角線からのずれ量を求める第５のステップと、該ずれ量
から物体の距離を計算する第６のステップとを備えた画
像処理方法。
【請求項１１】入力画像から走査線中の輝度差により
走査線毎に輪郭情報を検出する第１のステップと、メモ
リから特定時刻の画像の前記入力画像と同じ高さの走査
線の輪郭情報を読み出す第２のステップと、異なる２つ
の時刻の輪郭情報の相関行列を計算する第３のステップ
と、第３のステップにより求められた相関行列を行列の
要素毎に加算する第４のステップと、加算した相関行列
の対角方向の和を求める第５のステップと、第５のステ
ップで求めた相関行列の対角方向の和から相関の強い行
列の要素の行列の対角線からのずれ量を求める第６のス
テップと、該ずれ量から物体の走査線方向の移動角度を
計算する第７のステップとを備えた画像処理方法。
【請求項１２】物体の走査線方向の移動角度の情報か
ら画像を取り込む検出装置の走査線方向の設置角度を制
御する第８のステップをさらに備えたことを特徴とする
請求項１１に記載の画像処理方法。
【請求項１３】相関行列の対角方向の和を求める第５
のステップの後に、第６及び第７のステップに代わっ
て、相関行列の対角方向の和をメモリに記憶させるステ
ップと、異なる時刻のずれ量と相関行列の対角方向の和
をメモリから読み出し、該異なる時刻の相関行列の対角
方向の和を比較し差分値を計算するステップと、該差分
値及びそれぞれの時刻のずれ量から物体の移動に関する
情報を計算するステップとを備えたことを特徴とする請
求項１１または１２に記載の画像処理方法。
【請求項１４】請求項１０の物体の距離と、請求項１
１乃至請求項１３のいずれか１項に記載の物体の走査線
方向の移動角度とから物体の走査線方向の移動速度を計
算するステップを備えたことを特徴とする画像処理方
法。
【請求項１５】予め物体のない背景画像による輪郭情
報をメモリに記憶させておき、異なる時刻の一方の輪郭
情報として、前記予め物体のない背景画像による輪郭情
報を用いることを特徴とする請求項１１または１２に記
載の画像処理方法。
【請求項１６】予め物体のない背景画像の輪郭情報に
よる相関行列の対角方向の和をメモリに記憶させてお
き、異なる時刻の一方の輪郭情報による相関行列の対角
方向の和として、前記予め物体のない背景画像の輪郭情
報による相関行列の対角方向の和を用いることを特徴と
する請求項１３に記載の画像処理方法。
【請求項１７】相関行列を計算するステップにおい
て、輪郭情報の一部を用いて相関行列を計算することを
特徴とする請求項１０乃至１６のいずれか１項に記載の
画像処理方法。
【請求項１８】相関行列の対角方向の和から相関の強
い行列の要素の行列の対角線からのずれ量を求めるステ
ップにおいて、走査線の輪郭情報の相関行列を計算し要
素毎に加算するステップで生じる相関の強い行列の偽の
要素を除去する手法を用い、該手法が相関行列の対角線
からのずれ量に対し相関の強い行列の真の要素と対称な
位置に生じる要素を除去するものであることを特徴とす
る請求項１０乃至１７のいずれか１項に記載の画像処理
方法。
【請求項１９】別の手段により取り込まれた画像を用
い、該画像の走査線毎の輪郭情報に相当するベクトルを
計算するステップを備えたことを特徴とする請求項１０
乃至１８のいずれか１項に記載の画像処理方法。