JP3575178B2 - 映像による対象の存在範囲の検出方法 - Google Patents
映像による対象の存在範囲の検出方法 Download PDFInfo
- Publication number
- JP3575178B2 JP3575178B2 JP22725996A JP22725996A JP3575178B2 JP 3575178 B2 JP3575178 B2 JP 3575178B2 JP 22725996 A JP22725996 A JP 22725996A JP 22725996 A JP22725996 A JP 22725996A JP 3575178 B2 JP3575178 B2 JP 3575178B2
- Authority
- JP
- Japan
- Prior art keywords
- view
- field
- image
- range
- index
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は自動車の衝突防止等のためにイメージセンサを用いて捉えた視界内の映像から距離を極力正確に検出すべき対象が存在する視界内の範囲ないし領域を検出するための方法に関する。
【０００２】
【従来の技術】
写真撮影や衝突防止のために被写体ないし対象の距離を検出する方式として、大別して超音波，赤外線，電波等の検出対象による反射時間から距離を検出するいわゆるアクティブ方式と，イメージセンサ対により対象の映像を捉えたときの映像対間の視差から三角測量の原理を利用して距離を検出するいわゆるパッシブ方式とが知られているが、後者の方が遠距離まで正確に検出でき，距離検出上の指向性が良好で，妨害波や妨害光の影響を受け難い等の前者にない特長を備えており、自動焦点カメラ用にはかなり以前から実用化され、最近では自動車の衝突防止用としても将来性を囑目されている。
【０００３】
ところが、自動焦点カメラ用では距離を検出すべき対象がファインダを通して必ず特定されるのに対し、衝突防止用ではドライバに距離の検出対象を特定する負担を掛けるわけに行かず，かつそれがイメージセンサの必ず真正面に存在するとは限らないので、検出すべき対象がイメージセンサの視界内のどこにあるかを映像から探り出さねばならない問題がある。
【０００４】
このため、本件の出願人は特願平７−４２４５８ 号において検出対象を見付けるべきイメージセンサの視界内の複数の距離の検出値の頻度分布から確からしい距離の範囲ないしは階級をまず選出し、次にこの距離範囲を含むように選定した所定の広さの領域を視界内で順次移動させながら各領域内の距離の平均値等を計算し、この計算結果から最も確からしい対象の距離およびその存在領域を決める方式を提案した。さらには、特願平７−１６７３２０号においては、イメージセンサの視界内をそれより狭い視野で順次に走査しながら各視野ごとに得られる１対の映像がもつ相関値をあらかじめ想定した距離に関して計算して行き、高い相関が検定された視野で走査した範囲をイメージセンサの視界内に検出対象が存在する範囲として決定する方式を提案した。
【０００５】
【発明が解決しようとする課題】
ところで、上述のように不特定な検出対象の存在範囲を確実に探り出すには、イメージセンサがもつ視界ないし視界内に設定する対象の捜査範囲をできるだけ広めにとる必要があり、このためにイメージセンサの対を複数個用いるとともに各対の視界内に視野を複数個並べて設定するが、捜査範囲を広くすればするほど対象以外の余分な映像， とくに対象と距離がほぼ同じ物体の映像が混入しやすくなって対象の存在範囲の正確な確定が困難になる問題がある。以下、この様子を図３に示す視界内の映像の例を参照して説明する。
【０００６】
図３に外枠で示す視界Ｖｗは上述の複数対のイメージセンサによるもので、そのほぼ中央部に対象１としての自動車が捉えられているが、視界Ｖｗ内には道路ＲＤに関連するサイドラインＳＬやセンタラインＣＬ， 横断歩道ＣＲ等の路面標識， 歩道ＷＬ， 道路標識ＲＳ， 照明柱ＬＰ等のほかに傍らに灌木ＢＳ， 樹木ＴＲ等の映像があり、遠景に山岳ＭＴや青空ＳＫがあり、さらには対象１や樹木の影ＳＨもある。これらはいずれも対象１の映像に混入してその存在範囲の検出に影響を与え得るが、対象１に近い映像ほど与える影響が大きく、とくに対象１とほぼ同じ距離にある物体の映像， 図示の例ではサイドラインＳＬ， センタラインＣＬ， 横断歩道ＣＲ等の標識， 樹木ＴＲの横方向に延びた枝等の映像が検出に悪影響を与えやすく、さらに影ＳＨも対象１と非常に紛れやすい性質をもった一種の映像である。
【０００７】
このような問題点の認識に基づいて、本発明の課題はイメージセンサの視界に混入しやすい検出対象と紛らわしい映像の影響をできるだけ排除して、対象そのものだけの存在範囲を正確に検出することにある。
【０００８】
【課題を解決するための手段】
本発明の第１方法では、イメージセンサ対ごとにその視界内に並べて設定した複数の視野と複数対のイメージセンサとを組み合わせてなる捜査範囲内の二次元マトリックス状に配列された視野ごとに映像がもつ距離に関する指標を計算し、その分布状態から有効指標を選出してマトリックス内の分布状態を示すマップを作り、マップ内の有効指標の分布に外接する方形領域を選定した上でその方形の辺の端部の視野にのみ有効指標が存在する場合にその辺を除外した領域を対象が存在する範囲として確定することによって課題を解決する。
【０００９】
また、本発明の第２方法では方形領域の選定までは第１方法と同じであるが、そのある辺に属する有効指標の平均が残部に属する有効指標の平均と所定の限度以上異なる場合にその辺を除外した領域を対象の存在範囲として確定することによって課題を解決する。
本発明は自動車等の検出対象の外形がほぼ方形であり， 従ってその存在範囲の輪郭も方形でよい点を利用して、まず存在範囲を確実に探り出し得るようにその候補として視野の二次元マトリックスから広いめの方形領域を選出し、次にこの方形領域の各辺を単位としてそれを存在範囲に含ませるのが適切か否かを調べた上で方形領域から不適切な辺を除外して行くことにより対象の存在範囲を正確に確定できるようにしたものである。
【００１０】
すなわち、本発明の第１方法と第２方法のいずれでもイメージセンサ対ごとにその視界内に並べて設定した複数個の視野と， 複数個のイメージセンサ対を組み合わせて視野を二次元マトリックス状に配列してなる捜査範囲内の各視野ごとに映像対間の視差に相応する距離に関する指標を計算し、この指標の分布状態から有効指標を選出して捜査範囲内のその分布状態を示すマップを作った上で， まずこのマップ内の有効指標の分布に外接する方形領域を上述の存在範囲の広いめの候補として選定するが、第１方法では対象以外の余分な映像の混入は辺の端部に生じやすい点を利用して有効指標が辺の端部にのみ存在するとき， 第２方法では余分な映像が混入した辺では有効指標の平均が方形領域の残部と比べて若干とも違ってくる点を利用してある辺に属する有効指標の平均が残部についての平均と所定の限度以上異なるとき， それぞれその辺を方形領域から除外した上で対象の存在範囲として確定する。
【００１１】
なお、前述の構成にいうようにイメージセンサ対ごとに複数の視野を設定するには、各イメージセンサによる映像データから視野に対応する窓部分を抽出して距離に関する指標を求めるための窓部分の対を作ることでよく、映像を洩れなく捉えるためにはこれら視野を若干とも重なり合うように設定するのが望ましい。このようにイメージセンサ対ごとに設定される複数個の視野と複数対のイメージセンサとにより、対象を探り出すために視野を二次元マトリックス状に配列してなる捜査範囲が形成される。
【００１２】
上述の窓部分の対から計算する距離に関する指標は、窓部分が表すパターンの映像の対がもつ各視野に関する視差のデータとしてもよく、あるいは従来技術の項で述べたようなある想定距離に関して窓部分の対がもつ相関値としてもよい。この距離指標が視差データの場合は相関値の場合より計算に時間を要するので、その計算手段として複数個の単位計算回路を組み込んだ集積回路ないしはゲートアレイを用い、前述の捜査範囲内の各視野に関する視差データの計算を単位計算回路に分担させて計算時間の短縮を図るのが有利である。このように計算された距離指標から前述の有効指標を選出するには、距離指標が視差データの場合にはその頻度分布から生起度数の多いものを選び出し，距離指標が相関値の場合には高相関を示すものを選び出すのが合理的である。
【００１３】
また、本発明の第１方法と第２方法のいずれでも対象が捜査範囲のマップ内の前述の方形領域に含まれる有効指標に相応する距離にある場合の方形の縦と横の見掛けの大きさを示す枠を設定し、方形領域がこの枠にほぼ一致する場合に限りそれを存在範囲として確定するのが本発明方法による存在範囲の検出の信頼度を高める上で非常に有利である。
【００１４】
【発明の実施の形態】
以下、図を参照して本発明の有利な実施形態を説明する。図１に本発明方法で用いる諸手段のハードウエアおよびソフトウエア面の構成例と対象の存在範囲を確定して行く手順例を示し、図２に本発明で用いる存在範囲確定手段の動作例を流れ図により示す。なお、以下の実施形態では本発明を総合的に説明するために対象の存在範囲が第１方法と第２方法とを組み合わせて検出され，距離に関する指標として前述の視差データが用いられるものとする。
【００１５】
図１の左上部分に検出対象１として自動車の後部が示されており、その右側にこの対象１を図３に示したような視界Ｖｗ内に捉えるために光学手段１０とイメージセンサ手段２０を収納した映像検出モジュール３０が示されている。イメージセンサ手段２０内に複数対作り込まれるふつうＣＣＤであるイメージセンサ２１と２２は光学手段１０の対応するレンズ１１と２２を介して映像を受け、この映像のパターンを表すアナログな検出信号は切換回路２３と増幅回路２４とＡＤ変換回路２５を介して例えば８ビットのセンサデータの集合である映像データに変換される。
【００１６】
光学手段１０とイメージセンサ手段２０により検出対象１の距離を検出する要領を簡単に説明する。対象１は一般に光学手段１０の正面から角度θだけ傾いた方向にあり、その映像がレンズ１１と１２によりイメージセンサ２１と２２の上に互いに異なる光路Ｌ１とＬ２を介して結像される。かかる映像の中心位置の例えばレンズ１１と１２の光軸に対応する基準位置からのずれを図のようにσ１ とσ２ とすると、対象１の１対の映像がもつ視差σはσ＝σ１ ＋σ２ である。いま、レンズ１１と１２の光軸間距離である三角測量上の基線長をｂ， それらの焦点距離をｆとすると、対象１の距離ｄは角度θのいかんに関せずごく簡単に次式で計算できる。
【００１７】
ｄ＝ｂｆ／σ
しかし、実際には距離ｄをこの式からわざわざ計算することなく、視差σをそのまま距離指標として用いるのが通例である。
モジュール３０による映像の検出結果は右側に示すメモリ４０内に映像データの対ＩＤ１とＩＤ２として記憶される。イメージセンサ手段２０内にはイメージセンサの対２１， ２２が複数個組み込まれるので映像データ対ＩＤ１， ＩＤ２も複数個あるが、図には簡略化のため１対のみが示されている。本発明方法では映像データＩＤ１， ＩＤ２から比較的小さな窓部分ＷＤ１， ＷＤ２をそれぞれ複数個抽出することにより、各イメージセンサ対がもつ視界内に上述の要領で距離を検出すべき比較的狭い視野を複数個並べて設定して、距離検出手段５０に視野ごとに図示の例では距離を検出させる。距離の検出には若干の時間が掛かるので、距離検出手段５０には図のように複数の単位計算回路５１を組み込んだ集積回路やゲートアレイを用い、単位計算回路５１に各自が分担する窓部分ＷＤ１， ＷＤ２の対に基づく距離検出動作を並行して行なわせることによって距離の検出時間を短縮するのがよい。
【００１８】
この距離検出手段５０による距離検出の要領は、各視野に対応する１対の窓部分ＷＤ１， ＷＤ２を相互に少しずつずらせながらそのつど両者間の相関を検定して行き、最高の相関が検定されたときのずれをその視野内の映像対の視差σとすることでよい。このようにして、各イメージセンサ対の視界内に並べて設定された複数の視野と複数のイメージセンサ対を組み合わせてなる対象１の捜査範囲内に二次元マトリックス状に配列された各視野ごとに距離に関する指標，この実施態様では映像対の視差σが検出されてプロセッサ６０に与えられる。
【００１９】
存在範囲確定手段７０はプロセッサ６０ないしマイクロコンピュータにそのソフトウエアの形で装荷し、そのメモリ６１に視野ごとに記憶される距離の指標としての上述の視差σに基づいて動作させるのがよい。存在範囲確定手段６０はまずかかる距離に関する指標の分布状態から対象１の存在を示す有効指標を選び出し，この実施形態では視差σの頻度分布中から生起度数の多いものを有効指標として選び出した上で、図１の左下部に示すように捜査範囲ＳＡ内のその分布を示すマップを編成する。図のマップには捜査範囲ＳＡ内の有効指標に対応する視野に便宜上から１が， それ以外の視野には０がそれぞれ付けられている。なお、捜査範囲ＳＡ内のマトリックス配列中の縦に並んでいるのが例えば各イメージセンサ対の視界内に設定された複数の視野に対応し， 横に並んでいるのが複数個設けられたイメージセンサ対に対応する。イメージセンサ対ごとに十数個以上の視野を設定するのがふつうであるが、煩雑を避けるため図には８個の場合を示す。
【００２０】
さらに、存在範囲確定手段７０はかかるマップ内の有効指標の分布， 図では１の分布に外接する方形の輪郭をもつ領域ＥＡ０を図のように選定した上で、本発明の第１方法ではその方形の辺の端部の視野にのみ有効指標が存在するときその辺を除外した領域を対象１の存在範囲とする。この第１方法による除外の対象となるのは図の例では符号ＤＬ１を付した方形領域ＥＡ０の左辺と右辺であり、左辺の方は上端と下端にのみ１が存在し、右辺の方は下端部の２個の視野の一方にのみ１が存在する。方形領域ＥＡ０に対しこの除外処理ＤＬ１を施した結果をその右側の方形領域ＥＡ１に示す。しかし、この処理後の方形領域ＥＡ１でも左辺の下端部の２個の視野にのみ１があるので、さらに第１方法による除外処理ＤＬ１をもう一度施して方形領域ＥＡ２とする。このように第１方法では、端部の所定数の視野にのみ１がある辺を１の個数に関せず除外して行くのがよい。
【００２１】
本発明の第２方法では、方形領域のある辺の中の有効指標の平均がそれ以外の有効指標の平均と所定限度以上異なるときその辺を存在範囲から除外する。図の方形領域ＥＡ２の例ではこの第２方法による除外対象となるのは符号ＤＬ２を付した下辺であり、その５個の視野にすべて１があるがそれらの有効指標σの平均値が残りの１がある１７個の視野の有効指標σの平均値と所定の限度以上異なることが判明した場合に方形領域ＥＡ２から除外される。
【００２２】
以上のように当初の方形領域ＥＡ０に対して第１方法による辺の除外処理ＤＬ１と第２方法による辺の除外処理ＤＬ２を順次施して確定されたこの実施態様における対象１の存在範囲を符号ＥＡで示す。一般的な実施態様では第１方法と第２方法をそれぞれ単独で施しても差し支えなく、組み合わせる場合でもいずれを先に施すようにしてもよい。このように、本発明ではまず最初に捜査範囲ＳＡから対象１が存在するらしい方形領域を広いめに選出した後に、その四辺が適切か否かを順次調べながら不適切な辺を除外して行くので、対象１の存在範囲ＥＡを見落としなく確実にかつ合理的に確定することができる。
【００２３】
なお、この方形領域からの辺の除外処理をより合理的にする上で、第１方法と第２方法のいずれでも対象１が方形領域内の有効指標の平均値に相応する距離にある場合の縦と横の見掛けの大きさを示す枠を設定し、方形領域がこの枠にほぼ一致したときそれを存在範囲ＥＡとして確定するのが望ましい。図１にはこの枠が符号ＦＭで簡略に示されており、方形領域ＥＡ０〜ＥＡ２をこれと比較しながら前述のような辺の除去処理を進めて行くのがよい。次の図２にこの実施態様に対応する存在範囲確定手段７０の動作例を示す。
【００２４】
図２の存在範囲確定手段７０の最初のステップＳ７１では、距離計算手段５０により計算された捜査範囲ＳＡ内の各視野に対する距離指標σから有効指標を選び出し、次のステップＳ７２でこの有効指標がある視野を捜査範囲ＳＡ内にマッピングする。ステップＳ７３ではこのマップ内の１の分布範囲に外接する方形の領域を選定して仮の存在領域ＥＡとした上でフラグＦを０にリセットする。
【００２５】
ステップＳ７４では仮の存在範囲ＥＡ内の１に対応する距離指標σの平均値σａｖを計算し、ステップＳ７５でこの平均距離指標σａｖに対応する枠ＦＭを設定する。次の動作はステップＳ７６に移り、仮の存在範囲ＥＡがいま設定された枠ＦＭとほぼ同じか否かを判定する。然りであればステップＳ７７で対象１の距離の指標σに平均距離指標σａｖを入れるが、否の場合はステップＳ７８でフラグＦが０か否かを調べる。最初はこの判定結果が然りであるからステップＳ７９で第１方法による除去すべき辺を調べ、ステップＳ８０でこの除去による仮の存在範囲ＥＡの修正が可能か否かを判定し、判定結果が然りである限りステップＳ８１で仮の存在範囲ＥＡを辺の除去により修正した上で流れをステップＳ７４に戻す。
【００２６】
ステップＳ７４で修正後の仮の存在範囲ＥＡについて平均距離指標σａｖを計算し、ステップＳ７５でそれに対応する枠ＦＭを設定する。これ以降の動作は前述と同じであり、仮の存在範囲ＥＡが枠ＦＭとほぼ同じでなく第１方法による修正が可能な限り同じ動作を繰り返すが、この修正がもうできなくなり， あるいは最初から修正が不可能でステップＳ８０の判定結果が否と出ると、ステップＳ８２でフラグＦに１を立てた上で動作をステップＳ８３に入れる。
【００２７】
ステップＳ８３からステップＳ８５までは第２方法によって存在範囲ＥＡを修正するためのもので、それらの動作内容は第１方法による修正用ステップＳ７９〜Ｓ８１と同じなので説明を省略する。このようにして第１方法と第２方法により仮の存在範囲ＥＡを修正した結果それが枠ＦＭとほぼ同じになってステップＳ７６における判定結果が然りと出たとき、それまでは仮であった存在範囲が真の存在範囲ＥＡとして確定され、かつ前述のようにステップＳ７７で平均距離指標σａｖが対象１の距離の指標σとされるが、第２方法による修正も不可能になってステップＳ８４の判定が否と出ると、ステップＳ８６で距離指標σに存在範囲ＥＡおよび対象１の距離検出に失敗した旨を示す値σｆ を入れる。ステップＳ７７やステップＳ８６の以後の動作はステップＳ８７に移って、検出が成功か失敗かに関せずそれまでに入れられた値の距離指標σ， および真のあるいは仮の存在範囲ＥＡを出力し、これで存在範囲確定手段７０としての動作が完了する。
【００２８】
以上説明した実施態様に限らず本発明は種々の形態で実施することができる。例えばイメージセンサ対ごとに複数の視野を並べて設定するとしたが、実際には視野を互いに若干重なり合うように設定することにより視界内の映像を洩れなく捉えるようにするのがよい。また、図１の説明では距離計算手段に距離に関する指標として各視野内の映像対がもつ視差を計算させるとしたが、従来技術の項で述べたように対象のある想定距離に対して映像データから抽出した窓部分の対がもつ相関値を計算させた方がよい場合もある。この距離指標が視差の場合は存在範囲確定手段によりその有効指標として頻度分布上の生起度数の多いものを選び出すのがよいが、距離指標が相関値の場合はその有効指標として高相関を示した相関値を選出するのがよく、いずれの場合も複数個の値の距離指標を有効指標とするのが存在範囲検出の確実性を高める上で望ましい。
【００２９】
【発明の効果】
本発明方法では、イメージセンサ対ごとにその視界内に並べて設定した複数の視野と複数対のイメージセンサとを組み合わせてなる対象の捜査範囲内に二次元マトリックス状に配列された視野ごとに映像がもつ距離に関する指標を計算し、その分布状態から有効指標を選出して捜査範囲内のその分布状態を示すマップを作り、マップ内の有効指標の分布に外接する方形領域をまず選定した上で、第１方法ではその方形の辺の端部の視野にのみ有効指標があるときその辺を除外した領域を，第２方法では方形のある辺に属する有効指標の平均が残部に属する有効指標の平均と所定限度以上異なるときその辺を除外した領域を，それぞれ対象の存在範囲として確定することによって次の効果が得られる。
【００３０】
（ａ） 対象の存在範囲の候補としてまず捜査範囲内にマッピングした有効指標の分布に外接するように方形領域を広いめに選出した上で、それから不適切な辺を除外しながら存在範囲を絞り込んで行くので、捜査範囲からその不特定な位置に存在する対象を見落とすことなく確実に探り出し，かつそれと紛らわしい映像の影響を排除しながら対象の存在範囲を正確に確定できる。
【００３１】
（ｂ） 自動車等の検出対象の外形，従ってその存在範囲の輪郭もほぼ方形である点を利用して、存在範囲の候補としての方形領域の上下左右の各辺を単位としてそれを存在範囲に含ませるのが適切か否かを検討した上で不適切な辺を除外して行くので、捜査範囲に混入しやすい余分な映像を合理的に排除して対象そのものだけの存在範囲の縦と横方向の大きさを正確に確定できる。
【００３２】
（ｃ） 本発明の第１方法では、対象以外の映像の混入が存在範囲の候補としての方形領域の辺の端部に生じやすい点を利用して、方形領域のある辺の端部にのみ有効指標が存在するときその辺を存在範囲から除外しながら余分な映像の混入の影響を効果的に排除できる。
（ｄ） 本発明の第２方法では、存在範囲の候補としての方形領域の余分な映像が混入している辺では有効指標の平均値がその辺以外の方形領域の残部についての有効指標の平均値と若干とも異なってくる点を利用して、この平均値が所定限度以上異なる辺を存在範囲から除外することにより、平均値の計算に若干の時間を要するが余分な映像の影響をより正確に排除できる。
【００３３】
なお、距離に関する指標として捜査範囲内の各視野の映像がもつ視差を用いる本発明の実施態様は、対象の存在範囲が確定すると同時にその距離も決定できる利点があり、距離指標として各視野に対応する映像データの窓部分の対が所定の想定距離に関してもつ相関値を用いる実施態様は、捜査範囲からほぼ想定距離にある対象を短時間内に探り出してその存在範囲を検出できる利点がある。また、捜査範囲内の各視野に関する距離指標を複数個の単位計算回路を組み込んだ集積回路等のハードウエア化した距離計算手段により計算させる実施態様は、とくに距離指標として上述の視差を用いる場合に多数の視野に関するその計算に要する時間を短縮して存在範囲を短時間に確定できる効果かある。さらに、有効指標を距離指標が視差のときその頻度分布上の生起度数の多いものから，相関値のとき高相関のものからそれぞれ優先して選出する実施態様は、存在範囲の候補として方形領域を合理的に選定できるように有効指標を選定できる効果があり、とくに複数個の値をもつ距離指標を有効指標として選出する態様は捜査範囲から対象の存在範囲を見落としなく検出できる効果を有する。
【００３４】
対象が捜査範囲内の有効指標のマップから選定された方形領域に含まれる有効指標の平均値に相応する距離にある場合の方形の縦と横方向の見掛けの大きさを示す枠を設定して、方形領域の大きさがこの枠にほぼ一致する場合に限りそれを対象の存在範囲として確定する実施態様は、第１方法と第２方法のいずれによる場合でもこの枠を方形領域から不適切な辺を除去する際の指針として用いながら存在範囲を合理的にかつ正確に確定できる効果を有する。
【図面の簡単な説明】
【図１】本発明で用いる諸手段のハードウエアおよびソフトウエア面の構成例を対象の存在範囲を確定して行く手順例とともに示す構成図である。
【図２】本発明で用いる存在範囲確定手段の動作例を示す流れ図である。
【図３】本発明により解決すべき課題を説明するための複数のイメージセンサ対により捉えられる視界内の映像を例示するその見取り図である。
【符号の説明】
１ 検出対象としての自動車
１０ 光学手段
１１，１２ 光学手段の１対のレンズ
２０ イメージセンサ手段
２１，２２ イメージセンサの対
３０ 映像検出モジュール
４０ 映像データを記憶するメモリ
５０ 距離計算手段
５１ 単位計算回路
６０ プロセッサないしはマイクロコンピュータ
６１ 距離指標を記憶するメモリ
７０ 存在範囲確定手段
ｂ 距離検出上の基線長
ｄ 対象の距離
ＤＬ１ 第１方法により方形領域から除去される辺
ＤＬ２ 第２方法により方形領域から除去される辺
ＥＡ０〜ＥＡ２ 存在範囲の候補としての方形領域
ＥＡ 対象の存在範囲
ｆ 光学手段のレンズの焦点距離
ＩＤ１，ＩＤ２ 映像データの対
ＦＭ 対象の見掛けの大きさを示す枠
ＳＡ 対象の捜査範囲
ＷＤ１，ＷＤ２ 映像データから抽出する窓部分の対
σ 距離に関する指標としての映像対の視差
θ 対象が存在する方向を示す角度
【発明の属する技術分野】
本発明は自動車の衝突防止等のためにイメージセンサを用いて捉えた視界内の映像から距離を極力正確に検出すべき対象が存在する視界内の範囲ないし領域を検出するための方法に関する。
【０００２】
【従来の技術】
写真撮影や衝突防止のために被写体ないし対象の距離を検出する方式として、大別して超音波，赤外線，電波等の検出対象による反射時間から距離を検出するいわゆるアクティブ方式と，イメージセンサ対により対象の映像を捉えたときの映像対間の視差から三角測量の原理を利用して距離を検出するいわゆるパッシブ方式とが知られているが、後者の方が遠距離まで正確に検出でき，距離検出上の指向性が良好で，妨害波や妨害光の影響を受け難い等の前者にない特長を備えており、自動焦点カメラ用にはかなり以前から実用化され、最近では自動車の衝突防止用としても将来性を囑目されている。
【０００３】
ところが、自動焦点カメラ用では距離を検出すべき対象がファインダを通して必ず特定されるのに対し、衝突防止用ではドライバに距離の検出対象を特定する負担を掛けるわけに行かず，かつそれがイメージセンサの必ず真正面に存在するとは限らないので、検出すべき対象がイメージセンサの視界内のどこにあるかを映像から探り出さねばならない問題がある。
【０００４】
このため、本件の出願人は特願平７−４２４５８ 号において検出対象を見付けるべきイメージセンサの視界内の複数の距離の検出値の頻度分布から確からしい距離の範囲ないしは階級をまず選出し、次にこの距離範囲を含むように選定した所定の広さの領域を視界内で順次移動させながら各領域内の距離の平均値等を計算し、この計算結果から最も確からしい対象の距離およびその存在領域を決める方式を提案した。さらには、特願平７−１６７３２０号においては、イメージセンサの視界内をそれより狭い視野で順次に走査しながら各視野ごとに得られる１対の映像がもつ相関値をあらかじめ想定した距離に関して計算して行き、高い相関が検定された視野で走査した範囲をイメージセンサの視界内に検出対象が存在する範囲として決定する方式を提案した。
【０００５】
【発明が解決しようとする課題】
ところで、上述のように不特定な検出対象の存在範囲を確実に探り出すには、イメージセンサがもつ視界ないし視界内に設定する対象の捜査範囲をできるだけ広めにとる必要があり、このためにイメージセンサの対を複数個用いるとともに各対の視界内に視野を複数個並べて設定するが、捜査範囲を広くすればするほど対象以外の余分な映像， とくに対象と距離がほぼ同じ物体の映像が混入しやすくなって対象の存在範囲の正確な確定が困難になる問題がある。以下、この様子を図３に示す視界内の映像の例を参照して説明する。
【０００６】
図３に外枠で示す視界Ｖｗは上述の複数対のイメージセンサによるもので、そのほぼ中央部に対象１としての自動車が捉えられているが、視界Ｖｗ内には道路ＲＤに関連するサイドラインＳＬやセンタラインＣＬ， 横断歩道ＣＲ等の路面標識， 歩道ＷＬ， 道路標識ＲＳ， 照明柱ＬＰ等のほかに傍らに灌木ＢＳ， 樹木ＴＲ等の映像があり、遠景に山岳ＭＴや青空ＳＫがあり、さらには対象１や樹木の影ＳＨもある。これらはいずれも対象１の映像に混入してその存在範囲の検出に影響を与え得るが、対象１に近い映像ほど与える影響が大きく、とくに対象１とほぼ同じ距離にある物体の映像， 図示の例ではサイドラインＳＬ， センタラインＣＬ， 横断歩道ＣＲ等の標識， 樹木ＴＲの横方向に延びた枝等の映像が検出に悪影響を与えやすく、さらに影ＳＨも対象１と非常に紛れやすい性質をもった一種の映像である。
【０００７】
このような問題点の認識に基づいて、本発明の課題はイメージセンサの視界に混入しやすい検出対象と紛らわしい映像の影響をできるだけ排除して、対象そのものだけの存在範囲を正確に検出することにある。
【０００８】
【課題を解決するための手段】
本発明の第１方法では、イメージセンサ対ごとにその視界内に並べて設定した複数の視野と複数対のイメージセンサとを組み合わせてなる捜査範囲内の二次元マトリックス状に配列された視野ごとに映像がもつ距離に関する指標を計算し、その分布状態から有効指標を選出してマトリックス内の分布状態を示すマップを作り、マップ内の有効指標の分布に外接する方形領域を選定した上でその方形の辺の端部の視野にのみ有効指標が存在する場合にその辺を除外した領域を対象が存在する範囲として確定することによって課題を解決する。
【０００９】
また、本発明の第２方法では方形領域の選定までは第１方法と同じであるが、そのある辺に属する有効指標の平均が残部に属する有効指標の平均と所定の限度以上異なる場合にその辺を除外した領域を対象の存在範囲として確定することによって課題を解決する。
本発明は自動車等の検出対象の外形がほぼ方形であり， 従ってその存在範囲の輪郭も方形でよい点を利用して、まず存在範囲を確実に探り出し得るようにその候補として視野の二次元マトリックスから広いめの方形領域を選出し、次にこの方形領域の各辺を単位としてそれを存在範囲に含ませるのが適切か否かを調べた上で方形領域から不適切な辺を除外して行くことにより対象の存在範囲を正確に確定できるようにしたものである。
【００１０】
すなわち、本発明の第１方法と第２方法のいずれでもイメージセンサ対ごとにその視界内に並べて設定した複数個の視野と， 複数個のイメージセンサ対を組み合わせて視野を二次元マトリックス状に配列してなる捜査範囲内の各視野ごとに映像対間の視差に相応する距離に関する指標を計算し、この指標の分布状態から有効指標を選出して捜査範囲内のその分布状態を示すマップを作った上で， まずこのマップ内の有効指標の分布に外接する方形領域を上述の存在範囲の広いめの候補として選定するが、第１方法では対象以外の余分な映像の混入は辺の端部に生じやすい点を利用して有効指標が辺の端部にのみ存在するとき， 第２方法では余分な映像が混入した辺では有効指標の平均が方形領域の残部と比べて若干とも違ってくる点を利用してある辺に属する有効指標の平均が残部についての平均と所定の限度以上異なるとき， それぞれその辺を方形領域から除外した上で対象の存在範囲として確定する。
【００１１】
なお、前述の構成にいうようにイメージセンサ対ごとに複数の視野を設定するには、各イメージセンサによる映像データから視野に対応する窓部分を抽出して距離に関する指標を求めるための窓部分の対を作ることでよく、映像を洩れなく捉えるためにはこれら視野を若干とも重なり合うように設定するのが望ましい。このようにイメージセンサ対ごとに設定される複数個の視野と複数対のイメージセンサとにより、対象を探り出すために視野を二次元マトリックス状に配列してなる捜査範囲が形成される。
【００１２】
上述の窓部分の対から計算する距離に関する指標は、窓部分が表すパターンの映像の対がもつ各視野に関する視差のデータとしてもよく、あるいは従来技術の項で述べたようなある想定距離に関して窓部分の対がもつ相関値としてもよい。この距離指標が視差データの場合は相関値の場合より計算に時間を要するので、その計算手段として複数個の単位計算回路を組み込んだ集積回路ないしはゲートアレイを用い、前述の捜査範囲内の各視野に関する視差データの計算を単位計算回路に分担させて計算時間の短縮を図るのが有利である。このように計算された距離指標から前述の有効指標を選出するには、距離指標が視差データの場合にはその頻度分布から生起度数の多いものを選び出し，距離指標が相関値の場合には高相関を示すものを選び出すのが合理的である。
【００１３】
また、本発明の第１方法と第２方法のいずれでも対象が捜査範囲のマップ内の前述の方形領域に含まれる有効指標に相応する距離にある場合の方形の縦と横の見掛けの大きさを示す枠を設定し、方形領域がこの枠にほぼ一致する場合に限りそれを存在範囲として確定するのが本発明方法による存在範囲の検出の信頼度を高める上で非常に有利である。
【００１４】
【発明の実施の形態】
以下、図を参照して本発明の有利な実施形態を説明する。図１に本発明方法で用いる諸手段のハードウエアおよびソフトウエア面の構成例と対象の存在範囲を確定して行く手順例を示し、図２に本発明で用いる存在範囲確定手段の動作例を流れ図により示す。なお、以下の実施形態では本発明を総合的に説明するために対象の存在範囲が第１方法と第２方法とを組み合わせて検出され，距離に関する指標として前述の視差データが用いられるものとする。
【００１５】
図１の左上部分に検出対象１として自動車の後部が示されており、その右側にこの対象１を図３に示したような視界Ｖｗ内に捉えるために光学手段１０とイメージセンサ手段２０を収納した映像検出モジュール３０が示されている。イメージセンサ手段２０内に複数対作り込まれるふつうＣＣＤであるイメージセンサ２１と２２は光学手段１０の対応するレンズ１１と２２を介して映像を受け、この映像のパターンを表すアナログな検出信号は切換回路２３と増幅回路２４とＡＤ変換回路２５を介して例えば８ビットのセンサデータの集合である映像データに変換される。
【００１６】
光学手段１０とイメージセンサ手段２０により検出対象１の距離を検出する要領を簡単に説明する。対象１は一般に光学手段１０の正面から角度θだけ傾いた方向にあり、その映像がレンズ１１と１２によりイメージセンサ２１と２２の上に互いに異なる光路Ｌ１とＬ２を介して結像される。かかる映像の中心位置の例えばレンズ１１と１２の光軸に対応する基準位置からのずれを図のようにσ１ とσ２ とすると、対象１の１対の映像がもつ視差σはσ＝σ１ ＋σ２ である。いま、レンズ１１と１２の光軸間距離である三角測量上の基線長をｂ， それらの焦点距離をｆとすると、対象１の距離ｄは角度θのいかんに関せずごく簡単に次式で計算できる。
【００１７】
ｄ＝ｂｆ／σ
しかし、実際には距離ｄをこの式からわざわざ計算することなく、視差σをそのまま距離指標として用いるのが通例である。
モジュール３０による映像の検出結果は右側に示すメモリ４０内に映像データの対ＩＤ１とＩＤ２として記憶される。イメージセンサ手段２０内にはイメージセンサの対２１， ２２が複数個組み込まれるので映像データ対ＩＤ１， ＩＤ２も複数個あるが、図には簡略化のため１対のみが示されている。本発明方法では映像データＩＤ１， ＩＤ２から比較的小さな窓部分ＷＤ１， ＷＤ２をそれぞれ複数個抽出することにより、各イメージセンサ対がもつ視界内に上述の要領で距離を検出すべき比較的狭い視野を複数個並べて設定して、距離検出手段５０に視野ごとに図示の例では距離を検出させる。距離の検出には若干の時間が掛かるので、距離検出手段５０には図のように複数の単位計算回路５１を組み込んだ集積回路やゲートアレイを用い、単位計算回路５１に各自が分担する窓部分ＷＤ１， ＷＤ２の対に基づく距離検出動作を並行して行なわせることによって距離の検出時間を短縮するのがよい。
【００１８】
この距離検出手段５０による距離検出の要領は、各視野に対応する１対の窓部分ＷＤ１， ＷＤ２を相互に少しずつずらせながらそのつど両者間の相関を検定して行き、最高の相関が検定されたときのずれをその視野内の映像対の視差σとすることでよい。このようにして、各イメージセンサ対の視界内に並べて設定された複数の視野と複数のイメージセンサ対を組み合わせてなる対象１の捜査範囲内に二次元マトリックス状に配列された各視野ごとに距離に関する指標，この実施態様では映像対の視差σが検出されてプロセッサ６０に与えられる。
【００１９】
存在範囲確定手段７０はプロセッサ６０ないしマイクロコンピュータにそのソフトウエアの形で装荷し、そのメモリ６１に視野ごとに記憶される距離の指標としての上述の視差σに基づいて動作させるのがよい。存在範囲確定手段６０はまずかかる距離に関する指標の分布状態から対象１の存在を示す有効指標を選び出し，この実施形態では視差σの頻度分布中から生起度数の多いものを有効指標として選び出した上で、図１の左下部に示すように捜査範囲ＳＡ内のその分布を示すマップを編成する。図のマップには捜査範囲ＳＡ内の有効指標に対応する視野に便宜上から１が， それ以外の視野には０がそれぞれ付けられている。なお、捜査範囲ＳＡ内のマトリックス配列中の縦に並んでいるのが例えば各イメージセンサ対の視界内に設定された複数の視野に対応し， 横に並んでいるのが複数個設けられたイメージセンサ対に対応する。イメージセンサ対ごとに十数個以上の視野を設定するのがふつうであるが、煩雑を避けるため図には８個の場合を示す。
【００２０】
さらに、存在範囲確定手段７０はかかるマップ内の有効指標の分布， 図では１の分布に外接する方形の輪郭をもつ領域ＥＡ０を図のように選定した上で、本発明の第１方法ではその方形の辺の端部の視野にのみ有効指標が存在するときその辺を除外した領域を対象１の存在範囲とする。この第１方法による除外の対象となるのは図の例では符号ＤＬ１を付した方形領域ＥＡ０の左辺と右辺であり、左辺の方は上端と下端にのみ１が存在し、右辺の方は下端部の２個の視野の一方にのみ１が存在する。方形領域ＥＡ０に対しこの除外処理ＤＬ１を施した結果をその右側の方形領域ＥＡ１に示す。しかし、この処理後の方形領域ＥＡ１でも左辺の下端部の２個の視野にのみ１があるので、さらに第１方法による除外処理ＤＬ１をもう一度施して方形領域ＥＡ２とする。このように第１方法では、端部の所定数の視野にのみ１がある辺を１の個数に関せず除外して行くのがよい。
【００２１】
本発明の第２方法では、方形領域のある辺の中の有効指標の平均がそれ以外の有効指標の平均と所定限度以上異なるときその辺を存在範囲から除外する。図の方形領域ＥＡ２の例ではこの第２方法による除外対象となるのは符号ＤＬ２を付した下辺であり、その５個の視野にすべて１があるがそれらの有効指標σの平均値が残りの１がある１７個の視野の有効指標σの平均値と所定の限度以上異なることが判明した場合に方形領域ＥＡ２から除外される。
【００２２】
以上のように当初の方形領域ＥＡ０に対して第１方法による辺の除外処理ＤＬ１と第２方法による辺の除外処理ＤＬ２を順次施して確定されたこの実施態様における対象１の存在範囲を符号ＥＡで示す。一般的な実施態様では第１方法と第２方法をそれぞれ単独で施しても差し支えなく、組み合わせる場合でもいずれを先に施すようにしてもよい。このように、本発明ではまず最初に捜査範囲ＳＡから対象１が存在するらしい方形領域を広いめに選出した後に、その四辺が適切か否かを順次調べながら不適切な辺を除外して行くので、対象１の存在範囲ＥＡを見落としなく確実にかつ合理的に確定することができる。
【００２３】
なお、この方形領域からの辺の除外処理をより合理的にする上で、第１方法と第２方法のいずれでも対象１が方形領域内の有効指標の平均値に相応する距離にある場合の縦と横の見掛けの大きさを示す枠を設定し、方形領域がこの枠にほぼ一致したときそれを存在範囲ＥＡとして確定するのが望ましい。図１にはこの枠が符号ＦＭで簡略に示されており、方形領域ＥＡ０〜ＥＡ２をこれと比較しながら前述のような辺の除去処理を進めて行くのがよい。次の図２にこの実施態様に対応する存在範囲確定手段７０の動作例を示す。
【００２４】
図２の存在範囲確定手段７０の最初のステップＳ７１では、距離計算手段５０により計算された捜査範囲ＳＡ内の各視野に対する距離指標σから有効指標を選び出し、次のステップＳ７２でこの有効指標がある視野を捜査範囲ＳＡ内にマッピングする。ステップＳ７３ではこのマップ内の１の分布範囲に外接する方形の領域を選定して仮の存在領域ＥＡとした上でフラグＦを０にリセットする。
【００２５】
ステップＳ７４では仮の存在範囲ＥＡ内の１に対応する距離指標σの平均値σａｖを計算し、ステップＳ７５でこの平均距離指標σａｖに対応する枠ＦＭを設定する。次の動作はステップＳ７６に移り、仮の存在範囲ＥＡがいま設定された枠ＦＭとほぼ同じか否かを判定する。然りであればステップＳ７７で対象１の距離の指標σに平均距離指標σａｖを入れるが、否の場合はステップＳ７８でフラグＦが０か否かを調べる。最初はこの判定結果が然りであるからステップＳ７９で第１方法による除去すべき辺を調べ、ステップＳ８０でこの除去による仮の存在範囲ＥＡの修正が可能か否かを判定し、判定結果が然りである限りステップＳ８１で仮の存在範囲ＥＡを辺の除去により修正した上で流れをステップＳ７４に戻す。
【００２６】
ステップＳ７４で修正後の仮の存在範囲ＥＡについて平均距離指標σａｖを計算し、ステップＳ７５でそれに対応する枠ＦＭを設定する。これ以降の動作は前述と同じであり、仮の存在範囲ＥＡが枠ＦＭとほぼ同じでなく第１方法による修正が可能な限り同じ動作を繰り返すが、この修正がもうできなくなり， あるいは最初から修正が不可能でステップＳ８０の判定結果が否と出ると、ステップＳ８２でフラグＦに１を立てた上で動作をステップＳ８３に入れる。
【００２７】
ステップＳ８３からステップＳ８５までは第２方法によって存在範囲ＥＡを修正するためのもので、それらの動作内容は第１方法による修正用ステップＳ７９〜Ｓ８１と同じなので説明を省略する。このようにして第１方法と第２方法により仮の存在範囲ＥＡを修正した結果それが枠ＦＭとほぼ同じになってステップＳ７６における判定結果が然りと出たとき、それまでは仮であった存在範囲が真の存在範囲ＥＡとして確定され、かつ前述のようにステップＳ７７で平均距離指標σａｖが対象１の距離の指標σとされるが、第２方法による修正も不可能になってステップＳ８４の判定が否と出ると、ステップＳ８６で距離指標σに存在範囲ＥＡおよび対象１の距離検出に失敗した旨を示す値σｆ を入れる。ステップＳ７７やステップＳ８６の以後の動作はステップＳ８７に移って、検出が成功か失敗かに関せずそれまでに入れられた値の距離指標σ， および真のあるいは仮の存在範囲ＥＡを出力し、これで存在範囲確定手段７０としての動作が完了する。
【００２８】
以上説明した実施態様に限らず本発明は種々の形態で実施することができる。例えばイメージセンサ対ごとに複数の視野を並べて設定するとしたが、実際には視野を互いに若干重なり合うように設定することにより視界内の映像を洩れなく捉えるようにするのがよい。また、図１の説明では距離計算手段に距離に関する指標として各視野内の映像対がもつ視差を計算させるとしたが、従来技術の項で述べたように対象のある想定距離に対して映像データから抽出した窓部分の対がもつ相関値を計算させた方がよい場合もある。この距離指標が視差の場合は存在範囲確定手段によりその有効指標として頻度分布上の生起度数の多いものを選び出すのがよいが、距離指標が相関値の場合はその有効指標として高相関を示した相関値を選出するのがよく、いずれの場合も複数個の値の距離指標を有効指標とするのが存在範囲検出の確実性を高める上で望ましい。
【００２９】
【発明の効果】
本発明方法では、イメージセンサ対ごとにその視界内に並べて設定した複数の視野と複数対のイメージセンサとを組み合わせてなる対象の捜査範囲内に二次元マトリックス状に配列された視野ごとに映像がもつ距離に関する指標を計算し、その分布状態から有効指標を選出して捜査範囲内のその分布状態を示すマップを作り、マップ内の有効指標の分布に外接する方形領域をまず選定した上で、第１方法ではその方形の辺の端部の視野にのみ有効指標があるときその辺を除外した領域を，第２方法では方形のある辺に属する有効指標の平均が残部に属する有効指標の平均と所定限度以上異なるときその辺を除外した領域を，それぞれ対象の存在範囲として確定することによって次の効果が得られる。
【００３０】
（ａ） 対象の存在範囲の候補としてまず捜査範囲内にマッピングした有効指標の分布に外接するように方形領域を広いめに選出した上で、それから不適切な辺を除外しながら存在範囲を絞り込んで行くので、捜査範囲からその不特定な位置に存在する対象を見落とすことなく確実に探り出し，かつそれと紛らわしい映像の影響を排除しながら対象の存在範囲を正確に確定できる。
【００３１】
（ｂ） 自動車等の検出対象の外形，従ってその存在範囲の輪郭もほぼ方形である点を利用して、存在範囲の候補としての方形領域の上下左右の各辺を単位としてそれを存在範囲に含ませるのが適切か否かを検討した上で不適切な辺を除外して行くので、捜査範囲に混入しやすい余分な映像を合理的に排除して対象そのものだけの存在範囲の縦と横方向の大きさを正確に確定できる。
【００３２】
（ｃ） 本発明の第１方法では、対象以外の映像の混入が存在範囲の候補としての方形領域の辺の端部に生じやすい点を利用して、方形領域のある辺の端部にのみ有効指標が存在するときその辺を存在範囲から除外しながら余分な映像の混入の影響を効果的に排除できる。
（ｄ） 本発明の第２方法では、存在範囲の候補としての方形領域の余分な映像が混入している辺では有効指標の平均値がその辺以外の方形領域の残部についての有効指標の平均値と若干とも異なってくる点を利用して、この平均値が所定限度以上異なる辺を存在範囲から除外することにより、平均値の計算に若干の時間を要するが余分な映像の影響をより正確に排除できる。
【００３３】
なお、距離に関する指標として捜査範囲内の各視野の映像がもつ視差を用いる本発明の実施態様は、対象の存在範囲が確定すると同時にその距離も決定できる利点があり、距離指標として各視野に対応する映像データの窓部分の対が所定の想定距離に関してもつ相関値を用いる実施態様は、捜査範囲からほぼ想定距離にある対象を短時間内に探り出してその存在範囲を検出できる利点がある。また、捜査範囲内の各視野に関する距離指標を複数個の単位計算回路を組み込んだ集積回路等のハードウエア化した距離計算手段により計算させる実施態様は、とくに距離指標として上述の視差を用いる場合に多数の視野に関するその計算に要する時間を短縮して存在範囲を短時間に確定できる効果かある。さらに、有効指標を距離指標が視差のときその頻度分布上の生起度数の多いものから，相関値のとき高相関のものからそれぞれ優先して選出する実施態様は、存在範囲の候補として方形領域を合理的に選定できるように有効指標を選定できる効果があり、とくに複数個の値をもつ距離指標を有効指標として選出する態様は捜査範囲から対象の存在範囲を見落としなく検出できる効果を有する。
【００３４】
対象が捜査範囲内の有効指標のマップから選定された方形領域に含まれる有効指標の平均値に相応する距離にある場合の方形の縦と横方向の見掛けの大きさを示す枠を設定して、方形領域の大きさがこの枠にほぼ一致する場合に限りそれを対象の存在範囲として確定する実施態様は、第１方法と第２方法のいずれによる場合でもこの枠を方形領域から不適切な辺を除去する際の指針として用いながら存在範囲を合理的にかつ正確に確定できる効果を有する。
【図面の簡単な説明】
【図１】本発明で用いる諸手段のハードウエアおよびソフトウエア面の構成例を対象の存在範囲を確定して行く手順例とともに示す構成図である。
【図２】本発明で用いる存在範囲確定手段の動作例を示す流れ図である。
【図３】本発明により解決すべき課題を説明するための複数のイメージセンサ対により捉えられる視界内の映像を例示するその見取り図である。
【符号の説明】
１ 検出対象としての自動車
１０ 光学手段
１１，１２ 光学手段の１対のレンズ
２０ イメージセンサ手段
２１，２２ イメージセンサの対
３０ 映像検出モジュール
４０ 映像データを記憶するメモリ
５０ 距離計算手段
５１ 単位計算回路
６０ プロセッサないしはマイクロコンピュータ
６１ 距離指標を記憶するメモリ
７０ 存在範囲確定手段
ｂ 距離検出上の基線長
ｄ 対象の距離
ＤＬ１ 第１方法により方形領域から除去される辺
ＤＬ２ 第２方法により方形領域から除去される辺
ＥＡ０〜ＥＡ２ 存在範囲の候補としての方形領域
ＥＡ 対象の存在範囲
ｆ 光学手段のレンズの焦点距離
ＩＤ１，ＩＤ２ 映像データの対
ＦＭ 対象の見掛けの大きさを示す枠
ＳＡ 対象の捜査範囲
ＷＤ１，ＷＤ２ 映像データから抽出する窓部分の対
σ 距離に関する指標としての映像対の視差
θ 対象が存在する方向を示す角度
Claims (5)
- 複数対のイメージセンサにより捉えた映像から視界内の対象が存在する範囲を検出する方法であって、各イメージセンサ対ごとにその視界内に並べて設定された複数個の視野と複数対のイメージセンサを組み合わせて視野が二次元マトリックス状に配列された捜査範囲とし、この捜査範囲内の視野ごとにイメージセンサによる映像データから視野に対応して抽出された窓部分の対から各視野内の映像がもつ距離に関する指標として視差データを求め、この指標の分布状態から対象の距離に関する有効指標として生起度数の多い視差データを選出して捜査範囲内のその分布状態のマップを作成し、マップ内の有効指標の分布に外接する方形輪郭の領域を選定してこの方形領域の辺の端部の視野にのみ有効指標が存在する場合にその辺を除外した領域を対象が存在する範囲として確定するようにしたことを特徴とする映像による対象の存在範囲の検出方法。
- 複数対のイメージセンサにより捉えた映像から視界内の対象が存在する範囲を検出する方法であって、各イメージセンサ対ごとにその視界内に並べて設定された複数個の視野と複数対のイメージセンサを組み合わせて視野が二次元マトリックス状に配列された捜査範囲とし、この捜査範囲内の視野ごとにイメージセンサによる映像データから視野に対応して抽出された窓部分の対から各視野内の映像がもつ距離に関する指標として想定した距離に対する相関値を求め、この指標の分布状態から対象の距離に関する有効指標として想定した距離に対し高相関を示す相関値を選出して捜査範囲内のその分布状態のマップを作成し、マップ内の有効指標の分布に外接する方形輪郭の領域を選定してこの方形領域の辺の端部の視野にのみ有効指標が存在する場合にその辺を除外した領域を対象が存在する範囲として確定するようにしたことを特徴とする映像による対象の存在範囲の検出方法。
- 複数対のイメージセンサにより捉えた映像から視界内の対象が存在する範囲を検出する方法であって、各イメージセンサ対ごとにその視界内に並べて設定された複数個の視野と複数対のイメージセンサを組み合わせて視野が二次元マトリックス状に配列された捜査範囲とし、この捜査範囲内の視野ごとにイメージセンサによる映像データから視野に対応して抽出された窓部分の対から各視野内の映像がもつ距離に関する指標として視差データを求め、この指標の分布状態から対象の距離に関する有効指標として生起度数の多い視差データを選出して捜査範囲内のその分布状態のマップを作成し、マップ内の有効指標の分布に外接する方形輪郭の領域を選定してこの方形領域のある辺に属する有効指標の平均が残部に属する有効指標の平均と所定の限度以上異なる場合にその辺を除外した領域を対象が存在する範囲として確定するようにしたことを特徴とする映像による対象の存在範囲の検出方法。
- 複数対のイメージセンサにより捉えた映像から視界内の対象が存在する範囲を検出する方法であって、各イメージセンサ対ごとにその視界内に並べて設定された複数個の視野と複数対のイメージセンサを組み合わせて視野が二次元マトリックス状に配列された捜査範囲とし、この捜査範囲内の視野ごとにイメージセンサによる映像データから視野に対応して抽出された窓部分の対から各視野内の映像がもつ距離に関する指標として想定した距離に対する相関値を求め、この指標の分布状態から対象の距離に関する有効指標として想定した距離に対し高相関を示す相関値を選出して捜査範囲内のその分布状態のマップを作成し、マップ内の有効指標の分布に外接する方形輪郭の領域を選定してこの方形領域のある辺に属する有効指標の平均が残部に属する有効指標の平均と所定の限度以上異なる場合にその辺を除外した領域を対象が存在する範囲として確定するようにしたことを特徴とする映像による対象の存在範囲の検出方法。
- 請求項１ないし４のいずれかに記載の方法において、対象が方形領域内の有効指標に相応する距離にある場合の見掛けの大きさを示す枠を設定し、それに方形領域の大きさがほぼ一致するときに限り方形領域を存在範囲として確定するようにしたことを特徴とする映像による対象の存在範囲の検出方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP22725996A JP3575178B2 (ja) | 1996-08-29 | 1996-08-29 | 映像による対象の存在範囲の検出方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP22725996A JP3575178B2 (ja) | 1996-08-29 | 1996-08-29 | 映像による対象の存在範囲の検出方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1073432A JPH1073432A (ja) | 1998-03-17 |
| JP3575178B2 true JP3575178B2 (ja) | 2004-10-13 |
Family
ID=16858025
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP22725996A Expired - Fee Related JP3575178B2 (ja) | 1996-08-29 | 1996-08-29 | 映像による対象の存在範囲の検出方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3575178B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1975873A2 (en) | 2007-03-26 | 2008-10-01 | Funai Electric Co., Ltd. | Three-dimensional object imaging device |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3562751B2 (ja) * | 1998-06-09 | 2004-09-08 | 矢崎総業株式会社 | 前方車両検出方法及び装置 |
-
1996
- 1996-08-29 JP JP22725996A patent/JP3575178B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1975873A2 (en) | 2007-03-26 | 2008-10-01 | Funai Electric Co., Ltd. | Three-dimensional object imaging device |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH1073432A (ja) | 1998-03-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10643091B2 (en) | Automatic feature point detection for calibration of multi-camera systems | |
| US7471809B2 (en) | Method, apparatus, and program for processing stereo image | |
| JP3983573B2 (ja) | ステレオ画像特性検査システム | |
| CN102792333B (zh) | 图像处理装置、方法、程序以及记录介质 | |
| US8121400B2 (en) | Method of comparing similarity of 3D visual objects | |
| EP0738872B1 (en) | Stereo matching method and disparity measuring method | |
| JP6667065B2 (ja) | 位置推定装置および位置推定方法 | |
| JPH05114099A (ja) | 車輌用距離検出装置 | |
| JP3216792B2 (ja) | 映像による距離検出方法 | |
| CN104954663B (zh) | 图像处理装置和图像处理方法 | |
| JP2006322853A (ja) | 距離計測装置、距離計測方法および距離計測プログラム | |
| JP2006322795A (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
| CN111386530A (zh) | 车辆检测方法和设备 | |
| US9734429B2 (en) | Method, system and computer program product for detecting an obstacle with a camera | |
| JP3633368B2 (ja) | 障害物検出装置 | |
| US9791599B2 (en) | Image processing method and imaging device | |
| JP2007253699A (ja) | 光軸ずれ検出装置 | |
| JP3575178B2 (ja) | 映像による対象の存在範囲の検出方法 | |
| JPH07152914A (ja) | 車輌用距離検出装置 | |
| JPH11278182A (ja) | 車両用霧状況検出装置 | |
| JPH11345336A (ja) | 障害物検出装置 | |
| JP4788399B2 (ja) | 歩行者検出方法、装置、およびプログラム | |
| JP3287166B2 (ja) | 距離測定装置 | |
| CN113674361A (zh) | 一种车载环视校准实现方法及系统 | |
| JP2001331788A (ja) | 車両検出装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20031225 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040120 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040311 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040615 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040628 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080716 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090716 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |