JP3216792B2 - 映像による距離検出方法 - Google Patents

映像による距離検出方法

Info

Publication number
JP3216792B2
JP3216792B2 JP20668796A JP20668796A JP3216792B2 JP 3216792 B2 JP3216792 B2 JP 3216792B2 JP 20668796 A JP20668796 A JP 20668796A JP 20668796 A JP20668796 A JP 20668796A JP 3216792 B2 JP3216792 B2 JP 3216792B2
Authority
JP
Japan
Prior art keywords
data
correlation
image
value
correlation value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP20668796A
Other languages
English (en)
Other versions
JPH1047955A (ja
Inventor
丈英 平林
秀雄 清水
晶雄 泉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuji Electric Co Ltd
Original Assignee
Fuji Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Electric Co Ltd filed Critical Fuji Electric Co Ltd
Priority to JP20668796A priority Critical patent/JP3216792B2/ja
Priority to US08/901,066 priority patent/US6021209A/en
Priority to DE19732883A priority patent/DE19732883A1/de
Priority to KR1019970037530A priority patent/KR100525931B1/ko
Publication of JPH1047955A publication Critical patent/JPH1047955A/ja
Application granted granted Critical
Publication of JP3216792B2 publication Critical patent/JP3216792B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Analysis (AREA)

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は自動車の衝突防止等
の目的のためにイメージセンサにより受けたその視界内
の映像から先行自動車等の検出対象を捉えてその距離を
検出するいわゆる受動的ないしはパッシブな距離検出方
法に関する。
【０００２】
【従来の技術】上述のパッシブ方式の距離検出方法は水
平方向，垂直方向ないしは斜め方向に配列された１対の
イメージセンサにより検出対象を捉えた１対の映像間の
視差を利用して対象までの距離を検出するもので、超音
波や光を検出対象に発してその反射時間から距離を検出
するアクティブ方式に較べて検出精度が高く，遠距離の
検出に適し，対象とその背景の弁別が容易である等の特
長があるため、自動焦点カメラで実用化されているほか
最近では自動車の衝突防止の用途にとくに適した検出方
法として将来性が囑目されている。
【０００３】この視差による距離検出は周知のとおり三
角測量の原理によるもので、１対のレンズを備える光学
手段を用いて１対のイメージセンサ上に対象の映像を互
いに異なる光路を介して結像させ、この結像位置の対象
が無限遠点にあるときの基準位置からのずれσを検出す
れば、三角測量の基線長としてのレンズ間距離をｂ，レ
ンズの焦点距離をｆとして求める距離ｄは次式で計算で
きる。
【０００４】ｄ＝ｂｆ／σ なお、実用上は距離ｄのかわりにずれσがその指標とし
て用いられる。ところで、自動焦点カメラ用の場合は距
離を検出すべき被写体をファインダで狙うことによって
特定できるが、衝突防止の場合はドライバに正面や斜め
前方にある対象を特定する負担を掛けるわけに行かない
ので、イメージセンサの視界を広いめに設定しておいて
その中にある不特定な対象を自動的に見付けた上でその
距離を検出する必要がある。
【０００５】この際の距離検出の方については、幸いな
ことに検出対象がイメージセンサの正面と角度θをなす
斜め前方に存在する場合でも前述の映像の結像位置の対
象が角度θの方向の無限遠点にあるときの基準位置から
のずれσを検出すれば、θのいかんに関せず前述の式に
よって距離ｄを決定できることが知られているので、問
題は視界内に存在する対象をどんな方法で見付けるかに
帰着する。
【０００６】このため、イメージセンサの視界内にそれ
より狭い視野を多数個設定してまず各視野ごとの映像の
距離を検出した上で検出距離の度数分布から最も確から
しい距離を選定する方法 (説明の都合から仮にＡ方法と
いう) や、イメージセンサの視界内を視野により順次走
査しながら各視野ごとに映像対間の相関を求めて高い相
関度が検定された走査範囲内に対象が存在すると判定し
てその距離を検出する方法 (Ｂ方法という) が提案され
ている。
【０００７】
【発明が解決しようとする課題】ところが、対象を見付
けないしその距離を検出しようとするイメージセンサの
視界内には対象のほかに種々な物体が混在するために、
前述のような視野ごとの距離の検出に誤差や誤りが発生
したり、視野ごとの映像対間の相関検定に際して高相関
度が得られなかったりする問題がある。視界内に混在す
る物体はもちろん検出すべき対象と距離が異なる場合が
多く、このこと自体は対象を他の物体から弁別してその
存在や距離を検出する上で有利な点ではあるが、対象を
捉えるべき視野内に対象と遠近が異なり，従って１対の
イメージセンサによる視差が異なる物体が混在すると、
不可避的に映像対間の相関度が低下し，距離検出も不正
確になってくる問題がある。
【０００８】この様子を図３を参照して簡単に説明す
る。図の枠内に示す複数対のイメージセンサによる視界
内の映像には、先行自動車である検出対象１のほかに道
路RD,ガードレールGR, 道路標識RS, 対向自動車Au, 樹
木Tr, 柱Ps, 山岳Mt等の背景や風景の映像があり、さら
に日光による対象１の道路RD上の影Shが含まれている。
この視界内の対象１を捉えるべき視野は１対のイメージ
センサごとにその視界の一部として設定されるのがふつ
うであり、図にはその若干例が長方形で示されている。
図の視野S1〜S3はイメージセンサ対が垂直方向, 視野S4
とS5は水平方向にそれぞれ配設されている場合に対応す
るものである。
【０００９】S1は理想的な視野であって、対象１の全体
をそのほかの余分な映像をほとんど含まないように設定
されているので、前述のＡ方法では距離を正確に検出で
き，Ｂ方法では高い相関度が得られる。視野S2は対象１
の一部を捉えているが、そのほかに遠方にある対向自動
車Auや山岳Mtの映像が混入しているので、Ａ方法ではこ
れらの遠方の物体までの距離を検出してしまいやすい。
Ｂ方法ではある距離を想定した条件で相関を検定するの
で、対象１の距離に想定距離が近い場合は高い相関度が
得られるが、想定が外れていると相関度が低下する。視
野S3は対象１の一部とその影Shを捉えていて後者のコン
トラストが非常に強いので、Ａ方法では対象１より近い
影Shの距離を検出しやすく、Ｂ方法では想定がほぼ当た
っている場合でも相関度が低下してくる。
【００１０】視野S4は対象１の大部分を捉えてはいるが
その映像パターンの特徴が乏しく、道路RDの路面やガー
ドレールGRの映像も混入しているので、Ａ方法では混入
した映像に惑わされて誤った距離を検出しやすく、Ｂ方
法では想定が当たっていても相関値が低下してくる。視
野S5は対象１のパターンの特徴がある大部分を捉えてい
るので、樹木Trや柱Psの映像が混入しているがそれらが
対象１の近くであればＡ方法ではほぼ正確な距離を検出
できる。しかし、Ｂ方法では距離の想定がほぼ適切であ
れば対象１を正しく捉えていないのに相関度が高くなる
ので、対象１が存在する方向を正しく検出できなくな
る。
【００１１】以上の例からわかるように、視野の方向や
大きさを対象を正しく捉えるように設定できればその距
離や存在を正確に検出できるが、対象のほかに余分な物
体の映像, とくにそれと遠近が異なる物体の映像が混入
するように設定すると対象の距離や方向の検出が不正確
になる。しかし、検出の結果が正確か否かの見分けをつ
けるのは容易でないので、誤差を含んでいる可能性があ
る検出結果に基づいて対象の距離や方向を決定している
のが実情である。とくに自動車の衝突防止ではドライバ
に対象を特定する負担を掛けることなく、自動的に対象
を正しく捉えてその距離や方向をできるだけ正確に検出
する必要がある。
【００１２】かかる実情に鑑みて、本発明の課題は対象
を検出した結果の信頼度を評価することにより、真に信
頼が置ける検出結果のみに基づいて対象の距離および存
在を確定できるようにすることにある。
【００１３】
【課題を解決するための手段】本発明の距離検出方法で
は、光学手段による映像を互いに異なる光路を介して受
けるイメージセンサ対により映像のパターンを表す１対
の映像データを発するイメージセンサ手段と、各映像デ
ータから抽出した検出対象を捉えるべき視野に相応する
窓部分データから部分群を順次位置をシフトさせながら
抽出して１対の部分群の組み合わせを作り，各組み合わ
せについて部分群間の相関値を計算する相関値計算手段
と、最高相関値が計算された部分群のシフト値の近傍で
相関値が変化する状態からこの最高相関点の尖鋭度を最
高相関の信頼度を示す指標として求める信頼度検定手段
とを用い、尖鋭度が所定の水準より高いときに限り窓部
分データに対応する窓を通して見た視野内に対象が存在
すると判定してその距離を検出することによって前述の
課題を解決する。
【００１４】なお、本発明方法では上記の構成からわか
るように、対象を捉えるべき視野の広さと方向を映像デ
ータから連続して抽出する上述の窓部分データのデータ
数と抽出位置により設定する。換言すれば、この窓部分
データに対応する窓を通して見た視野で対象を捉えるこ
とになる。本発明は、対象の距離を検出する際に相関値
計算手段により上記の構成にいう部分群の組み合わせご
とに相関値を計算した上で，最高相関に対応する部分群
を窓部分データから抽出した位置のシフト値から距離を
決めるが、視野内に対象と遠近が異なる物体等の余分な
映像が混入すると最高の相関値そのものよりもその近傍
の相関値のシフト値に対する依存性が鋭敏に変化して最
高相関点の尖鋭度が低下してくる点に着目して、この尖
鋭度を上記構成にいう信頼度検定手段により最高相関値
に対応するシフト値の近傍で相関値が変化する状態から
計算して最高相関の信頼度を評価する指標として用い、
それが所定水準より高いことを条件にその最高相関を信
頼できると判定してそれに対応するシフト値から対象の
距離を検出するようにしたものである。
【００１５】この信頼度の指標としての尖鋭度には、最
高相関点の前後のそれぞれ複数個，例えば各２個の相関
値がもつ勾配の平均値を，または両側の勾配の内の緩や
かな方を用いるのがよく、さらには両側勾配の平均値を
緩やかな方に近付けるように補正した勾配を用いるのが
合理的である。しかし、かかる尖鋭度は視野の映像がも
つコントラストが大きいほど高くなりやすいので、それ
を映像のコントラスト値により補正した実効尖鋭度を信
頼度の評価尺度として用いるのが合理的である。このた
めのコントラスト値には視野の映像を表す窓部分データ
の内部データ番号に関する微分値の絶対値の和を用いる
のが便利であり、さらに尺度の正確を期するため１対の
窓部分データのそれぞれから得られる実効尖鋭度の平均
値をとるのが望ましい。なお、コントラスト値の計算に
用いる窓部分データの微分値は相関値の計算の基礎とし
ても有用であり、窓部分データによるよりも相関値計算
手段にこの微分データに基づいて相関値を計算させる方
が計算が容易になって好結果が得られる場合が多い。
【００１６】図３の例からわかるように信頼度の高い検
出結果を得るには対象をできるだけ適切に捉えるように
視野を設定する必要があるので、本発明方法により信頼
度を確かめた検出結果を視野の指定に利用するのが望ま
しい。このためには、相関値計算手段に付随して対象を
捉えるべき視野の方向および広さを指定する視野指定手
段を設け、検出結果から見て対象を捉えるに最も適した
視野に対応する窓部分データを映像データから抽出させ
て相関値の計算基礎とするのがよい。
【００１７】
【発明の実施の形態】以下、図を参照しながら本発明の
望ましい実施形態を説明する。図１は本発明方法で用い
る諸手段の構成例をその動作を説明するための模式図や
線図とともに示し、図２は相関値計算手段と信頼度検定
手段をソフトウエアで構成した場合のそれらの動作例を
示す流れ図である。
【００１８】図１(a) の上部に示す光学手段10とイメー
ジセンサ手段20は前者の右側に示す例えば自動車である
対象１を視野Ｓで捉えるためのもので、光学手段10の１
対のレンズ11と12は視野Ｓ内の対象１を含む映像をイメ
ージセンサ手段20内の１対のイメージセンサ21と22の上
に図示の都合から屈曲線で示す互いに異なる光路L1とL2
を介してそれぞれ結像させる。この実施形態では視野Ｓ
を図のように縦方向に長く形成するためにレンズ11, 12
の対やイメージセンサ対21, 22の対はそれぞれ垂直方向
に配列されるものとするが、図示の都合から水平方向に
並べて示されているのを了承されたい。対象１を正しく
捉えるためには視野Ｓを図のように光学手段10の正面と
角度θをなす方向に向ける必要がある。
【００１９】イメージセンサ手段20には信号処理変換回
路23が組み込まれており、ふつうはＣＣＤであるイメー
ジセンサ21や22の各光センサによるアナログなセンサ信
号を順次に受けて増幅し，さらにＡＤ変換した上でディ
ジタルなセンサデータとして出力する役目を果たす。信
号処理変換回路23はもちろん各イメージセンサ21や22ご
とに設けてもよい。イメージセンサ手段20の下側に一点
鎖線で囲んで示すプロセッサ70ないしはマイクロコンピ
ュータはそのメモリ71内にこのセンサデータを順次に読
み込んで、イメージセンサ21や22がもつ視界内の映像の
パターンを表す１対の映像データD1とD2として記憶す
る。
【００２０】本発明方法で用いる相関値計算手段30と信
頼度検定手段50は図の実施態様ではこのプロセッサ70に
ソフトウエアの形で装荷される。なお、信頼度検定手段
50は別として、相関値計算手段30の方はプロセッサ70と
は別体のハードウエアないしゲートアレイ等の集積回路
チップで構成することにより、とくにイメージセンサ手
段20内に複数対のイメージセンサ21と22を組み込んで同
時に動作させる場合にイメージセンサ対ごとに相関値を
並行して計算させることができる。
【００２１】図示の実施態様ではプロセッサ70内に装荷
された相関値計算手段30に付随して視野指定手段31が設
けられている。この視野指定手段31は指定データSDに応
じて映像データD1, D2から対象１を捉えるべき視野Ｓの
方向と広さに対応する窓部分データWD１, WD２をそれぞ
れ抽出するもので、図では視野Ｓの方向が角度θで,広
さが視野角ψでそれぞれ示され、かつ対応する窓部分デ
ータWD１, WD２が映像データD1, D2内のハッチング部で
示されている。
【００２２】相関値計算手段30がこの窓部分データWD１
とWD２から相関値を計算する要領を図１(b) を参照して
説明する。まず、図の上側に拡大して示された窓部分デ
ータWD１とWD２からそれぞれ下側に示された部分群d1と
d2を位置を順次ずらせながら抽出して図示のように複数
の組み合わせＣk (k=0〜ke) を作る。なお、各窓部分デ
ータWD１, WD２内のセンサデータの個数をｍとし、各部
分群d1, d2内のセンサデータ数をｎとする。ｎはｍの 1
/2〜2/3 の範囲内に設定するのがよく、図示のように組
み合わせＣ0 の部分群d1は窓部分データWD１の右端部か
ら, 部分群d2は窓部分データWD２の左端部からそれぞれ
抽出し、以降の抽出位置はセンサデータ１個分ずつ左右
交互にずらせて行くのがよい。
【００２３】次に、相関値計算手段30は各組み合わせＣ
k ごとにその部分群d1とd2の相関を検定して相関値を計
算する。この相関値としては例えば部分群d1とd2の対応
するセンサデータ間の差の絶対値の和を用いるのがよ
く、この場合は部分群d1とd2の相関が高いほど相関値が
小さくなる。この計算結果はメモリ72内に組み合わせの
番号ｋごとに相関値Ｖk として記憶される。
【００２４】信頼度検定手段50は上記の複数個の相関値
Ｖk を受けて、その中の最高相関に対応する部分群の組
み合わせ番号であるシフト値の近傍で相関値Ｖk が変化
する様子からこの最高相関点の尖鋭度を最高相関の信頼
度を示す指標として求める。この信頼度指標としての尖
鋭度には最高相関点の前後のそれぞれ複数個，例えば各
２個の相関値がもつ勾配の平均値を用い、あるいは両側
の勾配の内の緩やかな方を用いるのがよい。この要領を
図１(c) を参照して説明する。
【００２５】図１(c) の横軸は部分群の組み合わせ番号
ｋであり、相関値Ｖk は一般的にはこの変数ｋに対して
複雑に変化するが、図には煩雑を避けるために最高相関
点の付近で相関値Ｖk が変化する様子だけを示す。図の
例では相関値は前述のように部分群対間の対応センサデ
ータ間の差の絶対値の和として計算されているので、相
関値Ｖk が最小になる変数ｋの値が図の最高相関点ｓに
なる。上述の信頼度の指標としての尖鋭度は図の例では
最高相関点ｓの前後の各２個の相関値Ｖk から求めた正
側勾配φ+ と負側勾配φ- の平均値とし、あるいは両側
の勾配がかなり異なる場合は尖鋭度を低いめに見るよう
に緩やかな方の勾配を採用し、さらには平均値を緩やか
な勾配の方に近付けるように補正するのがよい。
【００２６】しかし、このようにして求めた尖鋭度は視
野Ｓ内の映像がもつコントラストが大きいほど高くなり
やすいので、コントラスト値で補正した実効尖鋭度を信
頼度指標として用いるのがより合理的である。このため
のコントラスト値には窓部分データWP１やWP２のデータ
番号に関する微分値の絶対値の和を用いるのが便利であ
り、正確を期するため各窓部分データから得られる実効
尖鋭度の平均値をとるのが望ましい。なお、この窓部分
データの微分値は相関値Ｖk の計算にも有用であって、
経験的ではあるが窓部分データWP１やWP２を基礎とする
よりもその微分データを相関値計算手段30に与えて相関
値Ｖk を計算させる方が距離検出精度を高める上で有利
な場合が多い。
【００２７】本発明方法では以上のように求めた尖鋭度
ないし実効尖鋭度が所定の水準より高いときに限って対
象１の映像検出に成功したものと判定する。尖鋭度は窓
部分データWP１とWP２から得られたものであり、図１
(a) の視野Ｓの方向の角度θと視野角ψは映像データD1
とD2からそれぞれ窓部分データWP１とWP２が抽出された
位置とセンサデータ数に対応するから、これで対象１が
窓部分データに対応する窓を通して見た視野Ｓ内に検出
されたことになる。また、前述の最高相関点ｓは図１
(b) からわかるようにイメージセンサ21と22の対で捉え
た視野Ｓ内の映像がもつ視差に対応して最高相関が得ら
れるよう部分群dlとd2を互いにシフトさせた値にほかな
らないから、対象１の距離の従来技術の項で述べた指標
σをこの最高相関点ｓであるシフト値からごく簡単に計
算することができる。
【００２８】次に図２を参照しながらプロセッサ70にソ
フトウエアの形で装荷された相関値計算手段30と信頼度
検定手段50の具体的な動作例を説明する。図２(a) に相
関値計算手段30の動作例を, 図２(b) に信頼度検定手段
50の動作例を流れ図で示す。図２(a) の相関値計算手段
30の動作例では相関値Ｖk の計算基礎に前述の窓部分デ
ータの微分データを用いるものとし、窓部分データD1や
部分群d1の中のデータ番号をｉ, 窓部分データD2や部分
群d2の中のデータ番号をｊとし、かつこれらに対応する
センサデータをそれぞれＤi とＤj とする相関値計算手
段30の最初のステップＳ31では、窓部分データWD１とWD
２の内部データ番号ｉとｊの値を１に初期化する。次の
ステップＳ32では窓部分データの微分データＳi とＳj
をそれぞれＤi+1 とＤi の差と, Ｄj+1 とＤj の差とし
て計算し、さらにステップＳ33でデータ番号ｉが窓部分
データ内のデータ数をｍとしてｍ−１より小か否かを判
定して、然りである限りステップＳ34でデータ番号ｉと
ｊを１ずつ歩進させた上で流れをステップＳ32に戻す。
微分データの計算がすべて終わると流れはステップＳ33
からこの動作ループを抜ける。これで、微分データＳi
とＳj の計算を終了したので、ステップＳ35でｍの値を
ｍ−１で置き換えた後に以降の準備ステップであるステ
ップＳ36に入る。
【００２９】ステップ36ではまず部分群d1やd2の組み合
わせ番号ｋの最終値keを設定する。この値は各部分群内
のデータ数をｎとしてke＝2(m-n)とすることでよい。つ
いで変数としての組み合わせ番号ｋを０に初期化する。
次にこのステップＳ36では組み合わせ番号ｋが０のとき
の部分群d1とd2の先頭データ番号isとjsを設定する。図
１(b) からわかるように、 is=m-n+1, js=1 と置くこと
でよい。さらに最高相関値Ｖs に対し仮に充分大きい値
Vmを入れ、かつ動作切り換え用のスイッチフラグSFに１
を入れる。ついで、動作は各組み合わせ番号ｋに対する
相関値の計算に入り、まずステップＳ37で相関値用変数
Ｖに０を入れ、部分群d1やd2のデータ番号変数ｉとｊを
それぞれisとjsに初期化し、かつ部分群d1用の変数ｉの
方について最終値ieを設定する。容易にわかるようにこ
の最終値はie=is+n-1 と置くことでよい。
【００３０】次のステップＳ38が相関値を計算するステ
ップであり、相関値変数Ｖに部分群d1とd2の微分データ
Ｓi とＳj の差の絶対値を加算する。続くステップＳ39
では変数ｉが最終値ieに達したか否かを調べて未到達で
ある限りステップＳ40で変数ｉとｊを１ずつ歩進させた
上で流れをステップＳ38に戻す。変数ｉが最終値ieに達
して動作がステップＳ39からステップＳ41に移った時に
は組み合わせ番号ｋに関する部分群d1やd2間の相関値Ｖ
が計算されているので、このＶの値をｋ番目の相関値Ｖ
k としてメモリ72に記憶する。ステップＳ42ではこの相
関値Ｖk が最高相関値Ｖs より小さいか否かを調べ、否
の場合は直接に, 然りの場合はステップＳ43で変数ｋの
そのときの値を最高相関点に対応するシフト値ｓとして
記憶した上でそれぞれ動作をステップＳ44に移す。
【００３１】このステップＳ44では組み合わせ番号の変
数ｋがその最終値keより小か否かを判定するが、始めの
内の判定結果は然りと出るから動作はステップＳ45に移
ってスイッチフラグSFが正か否かを判定する。このフラ
グSFには前にステップＳ36で１が入っているから、当初
の判定は然りと出てステップＳ46で部分群d1内の先頭デ
ータ番号isを一つ歩退させることにより、図１(b) のよ
うに部分群d1を左側にデータ１個分シフトさせる。つづ
くステップＳ48ではスイッチフラグSFの符号を切り換
え、かつ組み合わせ番号の変数ｋを歩進させた上で流れ
をステップＳ37に戻して更新後の変数ｋに対する相関値
Ｖk の計算に入れる。この計算が終わって動作がステッ
プＳ45に入ると、こんどはスイッチフラグSFが負になっ
ているから判定が否と出て、ステップＳ47で部分群d2の
先頭データ番号jsを一つ歩進させることによりそれを右
側にシフトさせた上で動作をステップＳ48に移す。
【００３２】これ以降は組み合わせ番号変数ｋを歩進さ
せながら相関値Ｖk を計算する上と同じ動作を繰り返
し、変数ｋの値が最終値keに達するとステップＳ44から
流れはループを抜けて、これで相関値計算手段30として
の動作が完了する。このとき、図１(b) の組み合わせＣ
0 〜Ｃkeに対する2(m-n)+1個の相関値Ｖk が図１(a) の
プロセッサ70のメモリ72に記憶されており、かつ図１
(c) に示した最高相関点に対応するシフト値ｓも記憶さ
れている。なお、以上説明した相関値計算手段30の動作
は微分データＳi とＳj を用いる場合であるが、センサ
データＤi とＤj を元のままで用いる場合はステップＳ
31〜Ｓ35を省き、ステップＳ38の相関値Ｖの計算にＤi
とＤj の差の絶対値を用いることでよい。
【００３３】ついで図２(b) の信頼度検定手段50の動作
例を説明する。ステップＳ51〜54はメモリ72から読み込
んだ上述の複数の相関値Ｖk と最高相関点のシフト値ｓ
から最高相関の尖鋭度の指標として図１(c) の要領で負
側勾配φ- と正側勾配φ+ を求める動作である。ステッ
プＳ51でφ- をＶs-2 −Ｖs-1 から計算してステップＳ
52でそれが正であることを確かめ、ステップＳ53でφ+
をＶs+2 −Ｖs+1 から計算してステップＳ34でそれが正
であることを確かめる。ステップＳ52とＳ54の判定がい
ずれも然りのとき図示の動作例ではまずステップＳ55で
負側勾配φ- と正側勾配φ+ の平均勾配φavを求める。
【００３４】さらに次のステップＳ56で負側勾配φ- と
正側勾配φ+ の大小関係を判定し、前者が後者より大き
い場合はステップＳ57で, そうでない場合はステップＳ
58で平均勾配φavにそれぞれφ+ ／φ- とφ- ／φ+ を
乗算することにより、とくに両側の勾配φ- とφ+ がか
なり非対称である場合に平均勾配φavを緩やかな方の勾
配に近付けるように補正して尖鋭度の指標としての勾配
φとする。
【００３５】図の動作例ではこの勾配φをさらに視野Ｓ
内の映像がもつコントラストにより補正するようになっ
ている。コントラストは映像のパターン内の明暗の変化
幅であるから、次のステップＳ59でまずこのコントラス
トＣの値を窓部分に対応する前述の各ｍ個の微分データ
Ｓi とＳj の絶対値を図ではΣで示すようにそれぞれ加
算した和の平均値として計算した上で、このコントラス
トＣの値により上述の勾配φを図の態様では除算して実
効勾配φe とする。このコントラストＣによる勾配φに
対する補正はもちろん種々な要領で施すことができる。
【００３６】ステップＳ60ではこの実効勾配φe が所定
の限界水準φl より大きいか否かを判定し、然りであれ
ばステップＳ61で対象１の距離指標σを最高相関に対応
するシフト値ｓから計算する。指標σはシフト値ｓの窓
部分データ内のデータ数ｍ，部分群内のデータ数ｎ等に
依存する単純な一次関数なので、ごく簡単に計算するこ
とができる。ステップＳ60の判定が否の場合，あるいは
前述のステップＳ52やＳ54の判定が否の場合は、ステッ
プＳ62で指標σに対象１の検出に失敗した旨を明確に示
す値σf を入れる。ステップＳ61やＳ62に続くステップ
Ｓ63では距離の指標σを出力し、これで信頼度検定手段
50としての動作を完了する。
【００３７】なお、以上のように信頼度が評価された対
象１の距離の検出結果は前述の視野指定手段31に望まし
い視野Ｓを指定させるために利用できる。例えば、信頼
度が低い検出結果が得られたとき視野Ｓの方向や広さを
変えて見た結果から対象１を正しく捉える得る視野Ｓを
探り出すことができ、この際に前述の実効勾配φe をこ
のための指針として有効に利用することができる。
【００３８】
【発明の効果】以上のように本発明では、イメージセン
サ手段に光学手段による映像を受けてイメージセンサ対
に映像のパターンを表す１対の映像データを発生させ、
相関値計算手段に各映像データ内の対象を捉えるべき視
野に相応する窓部分データから部分群を位置を順次シフ
トさせながら抽出させ，かつ部分群の組み合わせごとに
相関値を計算させた上で、信頼度検定手段に最高相関点
の近傍における相関値の変化状態から尖鋭度を最高相関
の信頼度の指標として計算させて，尖鋭度が所定水準よ
り高いときに限り視野内に対象が存在すると判定してそ
の距離を検出することにより、視野への対象と遠近が異
なる余分な物体の映像の混入等に起因する誤った検出結
果を確実に排除して対象の距離を正確に検出でき、信頼
度の指標を対象を正しく捉え得る視野の設定に利用する
ことができる。
【００３９】信頼度を評価するための尖鋭度として最高
相関点の前後の各複数個の相関値がもつ勾配の平均値を
用いる本発明の実施態様は正確な尖鋭度を簡単に計算で
きる利点があり、最高相関点の両側勾配の内の緩やかな
方を用いる実施態様，および両側勾配の平均値を緩やか
な方に近付けるよう補正する実施態様は信頼度の評価基
準を厳密にして誤った検出結果を確実に排除できる効果
を有する。
【００４０】また、この尖鋭度を視野内の映像がもつコ
ントラスト値に応じて補正する実施態様は上述より一層
合理的な尺度で検出結果の信頼度を評価できる特長があ
り、これ用のコントラスト値として窓部分データの微分
値の絶対値の和を用いる実施態様は簡単な計算でかなり
正確なコントラスト値が得られる利点がある。さらにコ
ントラスト値の計算に用いる微分値を相関値の計算の基
礎として利用する実施態様は元のままの窓部分データを
用いて相関値を計算するより正確な検出結果が得られる
場合が多い。
【図面の簡単な説明】
【図１】本発明方法で用いる諸手段の構成例をその動作
説明用の模式図や線図とともに示し、同図(a) は諸手段
の例を対象とともに示す模式構成図、同図(b) は相関値
計算手段の動作の説明用の窓部分データと部分群の模式
図、同図(c) は部分群の組み合わせ番号に対して相関値
が変化する様子を例示する線図である。
【図２】相関値計算手段と信頼度検定手段がソフトウエ
アで構成された場合のそれらの動作例を示す流れ図であ
り、同図(a) は相関値計算手段の動作例を示す流れ図、
同図(b) は信頼度検定手段の動作例を示す流れ図であ
る。
【図３】本発明の課題を説明するために複数対のイメー
ジセンサがもつ視界とその中に設定される視野の例を示
す見取り図である。
【符号の説明】
１ 距離を検出すべき自動車等の対象 10 光学手段 11,12 光学手段の１対のレンズ 20 イメージセンサ手段 21,22 １対のイメージセンサ 30 相関値計算手段 31 視野指定手段 50 信頼度検定手段 70 プロセッサないしは小形計算機 71 映像データを記憶するメモリ 72 相関値を記憶するメモリ Ｃ コントラスト Ｃk 部分群の組み合わせ(k=0〜ke) Ｄi ｉ番目のセンサデータ Ｄj ｊ番目のセンサデータ D1,D2 １対の映像データ d1,d2 １対の部分群 ID1,ID2 １対の映像データ ｉ 窓部分データWD１および部分群d1内のデータ
番号 ie 部分群d1内の最終データ番号 is 部分群d1内の先頭データ番号 ｊ 窓部分データWD２および部分群d2内のデータ
番号 je 部分群d2内の最終データ番号 js 部分群d2内の先頭データ番号 ｋ 部分群の組み合わせ番号 L1,L2 １対の光路 ｍ 窓部分データ内のデータ数 ｎ 部分群内のデータ数 Ｓ 視野 Ｓi ｉ番目の微分データ Ｓj ｊ番目の微分データ ｓ 最高相関点に対応するシフト値 Ｖ 相関値 Ｖk 組み合わせ番号ｋに対応する相関値 WD1,WD2 １対の窓部分データ ψ 視野の広さを示す角度 φ 最高相関点の尖鋭度を表す勾配 φe 実効勾配 φ+ 最高相関点の正側勾配 φ- 最高相関点の負側勾配 φav 正負両側の勾配の平均値 φl 勾配に対する限界管理水準 σ 対象の距離の指標 θ 視野の方向を示す角度
フロントページの続き (56)参考文献 特開 平７−306038（ＪＰ，Ａ) 特開 平７−43149（ＪＰ，Ａ) 特開 平７−71916（ＪＰ，Ａ) 特開 平７−92376（ＪＰ，Ａ) 特開 平８−136249（ＪＰ，Ａ) 特開 平８−210848（ＪＰ，Ａ) 特開 平８−278126（ＪＰ，Ａ) 特開 平９−133524（ＪＰ，Ａ) (58)調査した分野(Int.Cl.7，ＤＢ名) G01C 3/06 G06T 7/60

Claims (7)

    (57)【特許請求の範囲】
  1. 【請求項１】光学手段による映像を互いに異なる光路を
    介して受ける１対のイメージセンサにより映像のパター
    ンを表す１対の映像データを発するイメージセンサ手段
    と、各映像データから抽出した検出対象を捉えるべき視
    野に相応する窓部分データから部分群を順次位置をシフ
    トさせながら抽出して１対の部分群の組み合わせを作
    り，そのそれぞれについて両部分群間の相関値を計算す
    る相関値計算手段と、最高の相関値が計算されたシフト
    値の近傍の相関値の変化状態からこの最高相関点の尖鋭
    度を最高相関の信頼度を示す指標として求める信頼度検
    定手段とを用い、尖鋭度が所定の水準より高いときに限
    り窓部分データに対応する窓を通して見た視野に対象が
    存在すると判定してその距離を検出するようにしたこと
    を特徴とする映像による距離検出方法。
  2. 【請求項２】請求項１に記載の方法において、信頼度検
    定手段が最高相関の信頼度を示す指標とする尖鋭度とし
    て最高相関点の前後の各複数の相関値がもつ勾配の平均
    値を用いることを特徴とする映像による距離検出方法。
  3. 【請求項３】請求項１に記載の方法において、信頼度検
    定手段が最高相関の信頼度を示す指標とする尖鋭度とし
    て最高相関点の前後の各複数の相関値がもつ勾配の内の
    緩やかな方を用いることを特徴とする映像による距離検
    出方法。
  4. 【請求項４】請求項１に記載の方法において、信頼度検
    定手段が最高相関の信頼度を示す指標とする尖鋭度とし
    てそれを窓部分の映像がもつコントラストを示す値によ
    り補正した実効的な尖鋭度を用いることを特徴とする映
    像による距離検出方法。
  5. 【請求項５】請求項４に記載の方法において、コントラ
    スト値の指標として窓部分データの内部データ番号に関
    する微分値の絶対値の和を用いるようにしたことを特徴
    とする映像による距離検出方法。
  6. 【請求項６】請求項１に記載の方法において、相関値計
    算手段により窓部分データの内部データ番号に関する微
    分データに基づいて相関値を計算するようにしたことを
    特徴とする映像による距離検出方法。
  7. 【請求項７】請求項１に記載の方法において、相関値計
    算手段に関連させて対象を捉えるべき視野の方向および
    広さを指定する視野指定手段を設け、各映像データから
    視野に対応する窓部分データを抽出して相関値計算手段
    に与えさせるようにしたことを特徴とする映像による距
    離検出方法。
JP20668796A 1996-08-06 1996-08-06 映像による距離検出方法 Expired - Fee Related JP3216792B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP20668796A JP3216792B2 (ja) 1996-08-06 1996-08-06 映像による距離検出方法
US08/901,066 US6021209A (en) 1996-08-06 1997-07-28 Distance detection method using images
DE19732883A DE19732883A1 (de) 1996-08-06 1997-07-30 Verfahren zur Entfernungsmessung unter Verwendung von Bildern
KR1019970037530A KR100525931B1 (ko) 1996-08-06 1997-08-06 이미지들을사용한거리검출방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP20668796A JP3216792B2 (ja) 1996-08-06 1996-08-06 映像による距離検出方法

Publications (2)

Publication Number Publication Date
JPH1047955A JPH1047955A (ja) 1998-02-20
JP3216792B2 true JP3216792B2 (ja) 2001-10-09

Family

ID=16527458

Family Applications (1)

Application Number Title Priority Date Filing Date
JP20668796A Expired - Fee Related JP3216792B2 (ja) 1996-08-06 1996-08-06 映像による距離検出方法

Country Status (4)

Country Link
US (1) US6021209A (ja)
JP (1) JP3216792B2 (ja)
KR (1) KR100525931B1 (ja)
DE (1) DE19732883A1 (ja)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3216792B2 (ja) * 1996-08-06 2001-10-09 富士電機株式会社 映像による距離検出方法
JP3596314B2 (ja) * 1998-11-02 2004-12-02 日産自動車株式会社 物体端の位置計測装置および移動体の通行判断装置
US20070162248A1 (en) * 1999-07-06 2007-07-12 Hardin Larry C Optical system for detecting intruders
US6675121B1 (en) * 1999-07-06 2004-01-06 Larry C. Hardin Velocity measuring system
JP4097869B2 (ja) * 2000-01-17 2008-06-11 日本放送協会 画像の対応点信頼度推定装置と対応点探索装置
US6317691B1 (en) * 2000-02-16 2001-11-13 Hrl Laboratories, Llc Collision avoidance system utilizing machine vision taillight tracking
JP2001324305A (ja) * 2000-05-17 2001-11-22 Minolta Co Ltd 画像対応位置検出装置および該装置を備える測距装置
JP2002350129A (ja) * 2001-05-23 2002-12-04 Canon Inc 計測装置
US7262798B2 (en) * 2001-09-17 2007-08-28 Hewlett-Packard Development Company, L.P. System and method for simulating fill flash in photography
US7221777B2 (en) * 2002-07-02 2007-05-22 Honda Giken Kogyo Kabushiki Kaisha Image analysis device
EP1391778A1 (en) * 2002-08-08 2004-02-25 Seiko Precision Inc. Apparatus for detecting the inclination angle of a projection screen and projector comprising the same
JP2004234423A (ja) * 2003-01-31 2004-08-19 Seiko Epson Corp ステレオ画像処理方法およびステレオ画像処理装置、並びにステレオ画像処理プログラム
US7561720B2 (en) * 2004-04-30 2009-07-14 Visteon Global Technologies, Inc. Single camera system and method for range and lateral position measurement of a preceding vehicle
US7561721B2 (en) * 2005-02-02 2009-07-14 Visteon Global Technologies, Inc. System and method for range measurement of a preceding vehicle
US20070031008A1 (en) * 2005-08-02 2007-02-08 Visteon Global Technologies, Inc. System and method for range measurement of a preceding vehicle
JP2007139756A (ja) * 2005-10-17 2007-06-07 Ricoh Co Ltd 相対位置検出装置、回転体走行検出装置及び画像形成装置
US7623681B2 (en) * 2005-12-07 2009-11-24 Visteon Global Technologies, Inc. System and method for range measurement of a preceding vehicle
JP4426535B2 (ja) * 2006-01-17 2010-03-03 本田技研工業株式会社 車両の周辺監視装置
US20090005948A1 (en) * 2007-06-28 2009-01-01 Faroog Abdel-Kareem Ibrahim Low speed follow operation and control strategy
JP5544497B2 (ja) * 2012-03-13 2014-07-09 株式会社モルフォ 画像処理装置、画像処理方法及び画像処理プログラム
US10498948B1 (en) 2018-06-05 2019-12-03 Applied Materials, Inc. Methods and apparatus for absolute and relative depth measurements using camera focus distance

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4561749A (en) * 1983-02-02 1985-12-31 Nippon Kogaku K.K. Focus detection apparatus
US4969036A (en) * 1989-03-31 1990-11-06 Bir Bhanu System for computing the self-motion of moving images devices
JP2676953B2 (ja) * 1989-10-27 1997-11-17 富士電機株式会社 映像位置検出装置
JP2676985B2 (ja) * 1990-06-26 1997-11-17 富士電機株式会社 光学器械の対象検出方式
JPH0588077A (ja) * 1991-06-20 1993-04-09 Fuji Photo Film Co Ltd 距離検出装置および方法
JPH0546386A (ja) * 1991-08-13 1993-02-26 Hitachi Ltd データプロセツサ
US5422828A (en) * 1991-12-18 1995-06-06 Choate; William C. Method and system for image-sequence-based target tracking and range estimation
JP3343697B2 (ja) * 1992-12-31 2002-11-11 株式会社リコー 合焦状態又は被写体距離検出装置
JP3197979B2 (ja) * 1993-04-19 2001-08-13 富士フイルムマイクロデバイス株式会社 位相差距離検出装置および方法
US5487116A (en) * 1993-05-25 1996-01-23 Matsushita Electric Industrial Co., Ltd. Vehicle recognition apparatus
US5586063A (en) * 1993-09-01 1996-12-17 Hardin; Larry C. Optical range and speed detection system
JPH0771916A (ja) * 1993-09-06 1995-03-17 Fuji Film Micro Device Kk 車載用距離計測装置
JP3059035B2 (ja) * 1993-12-14 2000-07-04 三菱電機株式会社 距離測定装置
JPH07306038A (ja) * 1994-05-13 1995-11-21 Nippon Soken Inc 距離測定装置
JPH0894916A (ja) * 1994-09-28 1996-04-12 Nikon Corp 焦点検出装置
JP3216792B2 (ja) * 1996-08-06 2001-10-09 富士電機株式会社 映像による距離検出方法

Also Published As

Publication number Publication date
KR19980018429A (ko) 1998-06-05
DE19732883A1 (de) 1998-02-12
KR100525931B1 (ko) 2005-12-26
JPH1047955A (ja) 1998-02-20
US6021209A (en) 2000-02-01

Similar Documents

Publication Publication Date Title
JP3216792B2 (ja) 映像による距離検出方法
JP3983573B2 (ja) ステレオ画像特性検査システム
US8743349B2 (en) Apparatus and method to correct image
CN102713509B (zh) 立体摄影装置和校正方法
CN103154666A (zh) 距离测量装置以及环境地图生成装置
CN103516979B (zh) 摄像装置及其控制方法
CN104052919A (zh) 摄像装置、摄像系统及信号处理装置
CN111462503A (zh) 车辆测速方法、装置及计算机可读存储介质
US6697146B2 (en) Range finder for finding range by image realization
JP3807583B2 (ja) 道路領域判定装置
US5732292A (en) Focus detection apparatus for interpolating correlation value between two images and self-correlation value of either image
JPH09318870A (ja) 測距装置、撮影装置および背景処理装置
CN116258687A (zh) 数据标注方法、系统、装置及电子设备、存储介质
JPH06274788A (ja) ナンバープレート読み取り装置
JP3632315B2 (ja) 距離検出装置
JPH11223516A (ja) ３次元画像撮像装置
JP4165966B2 (ja) 物体認識装置
JP2001004367A (ja) 測距演算装置
JP3022033B2 (ja) 画像追尾装置
US20240201383A1 (en) Distance measurement device and method
JP3575178B2 (ja) 映像による対象の存在範囲の検出方法
US6385402B1 (en) Distance measuring apparatus
JP3819549B2 (ja) 車両用距離測定装置
JP3783295B2 (ja) 車両の走行路区画線の検出方法
JP3446471B2 (ja) ステレオ画像処理装置

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070803

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080803

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080803

Year of fee payment: 7

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080803

Year of fee payment: 7

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080803

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090803

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees