JP5297078B2 - 車両の死角における移動物体を検知するための方法、および死角検知装置 - Google Patents

車両の死角における移動物体を検知するための方法、および死角検知装置 Download PDF

Info

Publication number
JP5297078B2
JP5297078B2 JP2008120555A JP2008120555A JP5297078B2 JP 5297078 B2 JP5297078 B2 JP 5297078B2 JP 2008120555 A JP2008120555 A JP 2008120555A JP 2008120555 A JP2008120555 A JP 2008120555A JP 5297078 B2 JP5297078 B2 JP 5297078B2
Authority
JP
Japan
Prior art keywords
moving
blind spot
regions
moving object
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008120555A
Other languages
English (en)
Other versions
JP2009064410A (ja
Inventor
フリードリクス、ファビアン
シディキ、ムハンマド
ツィマーマン、クラウス
Original Assignee
ソニー ドイチュラント ゲゼルシャフト ミット ベシュレンクテル ハフツング
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー ドイチュラント ゲゼルシャフト ミット ベシュレンクテル ハフツング filed Critical ソニー ドイチュラント ゲゼルシャフト ミット ベシュレンクテル ハフツング
Publication of JP2009064410A publication Critical patent/JP2009064410A/ja
Application granted granted Critical
Publication of JP5297078B2 publication Critical patent/JP5297078B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/223Analysis of motion using block-matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

本発明は、車両(vehicle)の死角(blind spot region:盲点リージョン)における移動物体(moving object)を検知するための方法と、死角検知装置と、コンピュータプログラム製品とに関する。
車両について、リアビューミラー(rear view mirrors)を用いてさえ、車両の運転手の背面におけるあるリージョン(region)、すなわち死角は簡単に観察することが不可能であることが知られている。車両の車線変更の場合に、死角における移動物体、例えば付近の車線を通り過ぎようとしている別の車両などが上記車両の運転手に観察されていないと、危険な状況が発生する可能性がある。
このように、自動車生産業者は、死角情報システムを車両に導入する安全性応用を現在研究中である。現在このような死角情報システムは、レーダ、音波、およびライダ(レーザスキャナ)などの、アクティブセンサに基づいている。赤外線またはステレオカメラがしばしば利用されるのだが、それはそれらが深さについての情報を提供するからである。ビデオもまた考慮されてはいるのだが、主にフロントビューの応用のためである。
本発明の目的は、車両の死角における移動物体を検知するための、改善した方法および装置を提供することである。
この目的は、請求項1、17、および21にそれぞれ記載の、方法、死角検知装置、およびコンピュータプログラム製品により解決される。
さらなる実施形態が従属請求項において限定される。
本発明のさらなる詳細は、図面を考察し、明細書を確かめることから明らかとなるであろう。
以下では、本発明の実施形態を説明する。重要なのは、以下で説明する全部の実施形態はどのように組み合わされてもよい、すなわち説明するある実施形態は他の実施形態と組み合わせ不可能であるという限定はない、ということに留意することである。
図1においては、車両付近に位置する死角の画像のシーケンスを撮影するために車両の上に取り付けられたビデオカメラによるなどして、上記画像のシーケンスがステップS100において撮影される。上記画像は「フレーム(frames)」または「フィールド(fields)」と呼ぶ場合もある。
ステップS102において、上記シーケンスの画像はブロックに、例えば、各々8×8ピクセルまたは各々16×16を有するブロックに分割されるが、異なるブロックサイズまたはブロック形状もまた本発明の範囲内のものである。
ステップS104において、上記シーケンスのうち連続する画像間で移動した移動ブロックが識別される。上記シーケンスにおける後続画像の対応ブロックと比較されるブロックからのピクセル値の絶対差の合計を評価することにより、または、相互相関または平均2乗誤差のような、知られている他の誤差測定により、かかる識別は行われる。
ステップS106において、例えば連続する画像において移動ブロックの位置を比較することによるなどして、移動の距離および方向が決定される。
ステップS108において、画像内の隣接ブロックがグループ化され、これに対し既定方向間隔内の方向と、既定距離間隔内の距離とが決定される。既定方向間隔および既定距離間隔は、基本的に同方向における、基本的に同距離での移動を検知するために使用される。既定間隔は、固定されている場合もあり、例えば上記移動ブロックの実際の方向または距離に対して適合される場合もある。またこの移動は、連続する画像のブロック間の運動ベクトルを計算して、上記運動ベクトルを比較することにより決定される場合もある。
このようなグループ化された隣接ブロックは、車両の上記死角における移動物体と見なされる。「グループ化(grouping)」という表現の代わりに、この明細書内では「セグメント化(segmenting)」、「セグメント化(segmentation)」、または「クラスター化(clustering)」という表現を使用する場合もある。
ある実施形態においては、たとえ上記移動物体のうち少なくとも1つが全く誤作動アラーム(false alarm)でないとしても、上記移動物体の間で少なくとも1つの誤作動アラームが決定され、アラームが生成される。このような誤作動アラームは、あるいは車両の運転手を混乱させてしまい、もはや死角検知は信用されなくなる場合もあり、または事故や傷害につながってしまう場合もある。
さらなる実施形態においては、上記移動物体の物体サイズが決定され、既定サイズと比較される。上記物体サイズが上記規定サイズよりも小さい場合、誤作動アラームが生成される。たとえ小さい物体が車両の死角に位置しているとしても、このような小さい物体は移動車両にとって危険であると見なされず、そのためアラームは作成されてはならない。既定サイズを下回る小さい物体が車両であることはあり得ない。
さらなる実施形態においては、上記画像内の消点が決定され、上記既定サイズは、上記消点からの上記移動物体の距離に依存する。画像内の消点は、普通は遠近画法において、平行線が集まっていくように見える点として使用されるものである。画像処理においても、この点は決定可能である。画像の消点付近の物体は、車両のより近くにあるように見える物体よりも、画像内で小さいサイズを有する。
消点付近の物体はより小さく見えるため、異なる処理が行われる。
さらなる実施形態においては、画像内の消点が識別され、移動物体の物体サイズが決定され、上記消点からの移動物体の垂直距離が決定される。小さく、消点より高い物体は、普通は車両の死角内で全く危険ではない。なぜならこのような物体は、車線付近ではなく、どこか上空に位置するものだからである。
さらなる実施形態においては、上記移動物体のうち少なくとも1つの、ヒストグラムおよび/またはエッジをもとにした統計測定が計算されて評価され、上記評価ステップに基づき誤作動アラームが生成される。このようなヒストグラムおよび/またはエッジをもとにした統計測定は、分散、四分位数範囲(inter quarter range:IQR)、平均、メジアン、エネルギー、エッジエネルギー、均一性、滑度(smoothness)、3次モーメントおよび/またはエントロピーを含む場合がある。このような統計測定は、画像の描写から分かり、移動物体の分類に使用可能である。例えば道路標識は、普通はヒストグラムにおいて2つのピークを、片方は低輝度値に、もう片方は高輝度値に示す。道路標識は車両にとって脅威と見なされず、そのため対応する誤作動アラームが生成される。
さらなる実施形態においては、上記移動物体の軌道が評価され、上記評価ステップに基づき誤作動アラームが生成される。普通は、短時間の場合にのみノイズが発生し、このようなノイズは全く軌道をもたない。最終フレームの軌道点の数も移動物体として検知され、これらのフレームの平均運動が正である場合にのみ、移動物体の検知は考慮される場合がある。
さらなる実施形態において、移動物体のサイズが検知され、上記サイズが既定サイズよりも大きい場合には、上記移動物体のリージョン表面と凸包との間の差が計算される。上記差が既定差を上回る場合、移動物体は再び定められる。移動物体のリージョンがあまりに大きすぎて、凹部をあまりに多く有する場合、この移動物体はさらに考慮される必要があり、例えば、この移動物体は複数の移動物体に分割される場合がある。
さらなる実施形態によると、上記シーケンスの上記画像は少なくとも2つのリージョンに分割される。物体は、普通、消点付近では非常に小さく、非常に低い運動をするものであり、他方で、画像のより近くまたは前方部においては非常に大きく、非常に速く移動するものである。そのため、画像の異なるエリアが異なる性質を有する。各リージョンは、画像を少なくとも2つのリージョンに分割することで適切に処理可能である。分割すべき場所は、カメラ取付角度または消点にそれぞれ依存する。例えば、画像が2つのリージョンに分割される場合、この場所は画像幅の半分から3分の1の間のどこかである可能性がある。境界問題を回避するため、およびリージョン間の急変をより緩和するために、リージョンは僅かに重複したほうがよい。
図2に示すように、ステップS200において画像はリージョンに分割され、ステップS202においてリージョン内のブロックがグループ化され、ステップS204において異なるリージョンにしたがって誤作動アラーム検知が適合される。この実施形態内では、運動推定および使用されるアルゴリズムが、リージョン内の異なる性質へより良く適合される。運動推定の検索範囲は、リージョンに適合されてもよく、また同様に整合ブロックサイズに適合されてもよい。例えば、消点ありのリージョンにおける検索範囲および整合ブロックサイズは、消点なしのリージョンの場合よりも低い。
さらなる実施形態においては、視点が変化しているため、分類のためのトレーニングデータは全部のリージョンで異なる。消点ありのリージョンにおける障害物は正面から見たものであり、一方で右(right)リージョン、すなわち消点なしのリージョンにおける障害物は横から見たものである。
さらなる実施形態によると、異なるリージョンが異なる解像度に切落しまたは再サンプリング可能であり、それにより、ダウンスケーリング、すなわちより少ないピクセルを使用する場合には計算時間が削減され、アップスケーリング、すなわち測定済ピクセル値の中間の追加ピクセル値を計算する場合にはサブピクセルの正確さを与える。
図3には死角検知装置300の一実施形態を示しており、この死角検知装置300はカメラ302とプロセッサ304とインジケータ306と備えている。カメラ302は、死角の画像のシーケンスを撮影するように構成される。カメラ302としては、提案する方法およびシステムのために一眼カメラを使用してもよい。
プロセッサ304は、上記シーケンスの上記画像の各々をブロックに分割し、上記シーケンスの連続する画像間で移動を行った移動ブロックを識別し、上記移動ブロックの上記移動の方向および距離を決定し、既定方法間隔内の方向と既定距離間隔内の距離とが決定されているところの隣接移動ブロックのグループ化を行い、上記移動物体を決定するように構成される。
インジケータ306は、上記死角における移動物体が検知された場合、危険状況を表示するように構成される。このようなインジケータはアラーム音または光信号である場合があり、光信号としては、例えば発光ダイオード(light emitting diode:LED)が点滅または連続発光するなどがある。
死角検知装置は、レーダ、ライダ、GPS(Global Positioning System:全地球測位システム)または超音波に基づくアクティブセンサ308(図3に選択的に示す)を備える場合もあって、上記アクティブセンサは死角検知装置を検査するために用いる。
図4に、死角検知装置300のさらなる実施形態を示しており、そこでは追加で誤作動アラーム検知ユニット400がプロセッサ304とインジケータ306とに接続されている。誤作動アラーム検知ユニットは上記移動物体の間で誤作動アラームを識別するように構成され、インジケータ306は、さらに、上記移動物体のうち少なくとも1つが誤作動アラームでない場合にアラームを生成するように構成される。
図5に、死角検知装置のさらなる実施形態を示しており、この死角検知装置はカメラ302とプロセッサ304とに接続されるリージョン分割ユニット500追加的に備えている。リージョン分割ユニット500は、上記シーケンスの画像を少なくとも2つのリージョンに分割するように構成される。
図6に、3車線道路の中央車線603を走る車両602の死角600の上面図を、左車線604および右車線606とともに示す。左カメラ610は左リアビューミラー612に取り付けられ、右カメラ613は右リアビューミラー614に取り付けられている。左カメラ610は左視野角620を有し、右カメラ613は右視野角622を有する。第1の車両630と、上記第1の車両630の後方の第2の車両632とは、左車線604を走っている。右車線606において、第3の車両634が死角600に近づいている。「検知可能エリア(may detect area)」640も図示してある。死角600および検知可能エリア640は、左視野角620および右視野角622の一部である。第1の車両630のような車両は、死角600内にある場合に、その速度にかかわらず脅威と見なされる。第3の車両634のような車両は、検知可能エリア640に入るとすぐに、死角検知装置により検知されるべきである。第3の車両634は、その速度が速い場合に脅威と見なされる。
検知可能エリア640外にある、第2の車両632のような車両は、脅威とは分類されないが、追跡はしてもよい。
死角検知装置は、自身の車両602に取り付けられている単一のカメラセンサを使用して、死角600にある車両630、632、634を検知する。左側および右側の死角600は同様に処理される。第1の車両630のような車両が死角600にある場合、または第2の車両634のような他の車両が高速で死角600へ今にも入ろうとしている場合に、自身の車両602の運転手が車線を変更しようとすると、運転手は光信号(例えば発光ダイオードLED)により、または音響信号により警告される。
図7におけるブロック図は、提案するアプローチの処理ステップを示している。カメラ610および612は画像のシーケンスを撮影し、この画像は後にステップS702において例えばフィルタリングなどの前処理が行われる。ステップS704において、ブロックをもとにした運動推定が行われ、この推定はステップS706において後処理される。同方向へ移動する、あるいは同じ運動ベクトルを有するブロックは、ステップS708において移動物体にセグメント化またはグループ化される。ステップS710において、移動物体の間で誤作動アラームが検知される。その後、ボックスフィッティングステップS712が車両の抽象モデルとして行われ、ステップS714において行われる角度/距離/速度推定のために道路平面に対する接触点を発見するためにこの抽象モデルは車両にフィッティングされる。その後、ステップS716において脅威または危険が識別され、対応する警告が開始される、例えば、音響信号が与えられる。角度/距離/速度推定S714は、危険のない距離にある物体を識別するのに役立つ。
図8に、グループ化ブロックを有する画像を示す。同じ運動ベクトルをもつ隣接ブロックは同じ番号(1、2、3)でラベルしてある。異なるリージョンは各々個別の番号でラベルされる。車両802の場合のようにリージョンが検知成功であるか、または道路標識804の支柱840または横断歩道表示806の場合のようにリージョンが誤作動アラームであるかどうかは、リージョンのこのグループ化またはセグメント化ステップの後は分からない。
図9に、誤作動アラーム拒絶原理のブロック図を示す。正および誤セグメント化を含む、リージョンの粗セグメント化の後、閾値が消点までの距離に依存するところのリージョンの大きさおよび位置に基づいて妥当性チェック900が行われる。構造測定またはヒストグラムをもとにした特徴に基づく特徴抽出902、および対応する分類904が、正セグメント化リージョンのみを移動物体として取得するために後に拒絶される誤作動アラームを検知するのに使用される。
局所的なブロックをもとにした運動推定が、移動物体の検知に使用される。検知された移動物体は、物体を縁取るリージョンにセグメント化される。接続されたブロックからなる連続するリージョンは全部、異なる番号でラベルされ、ここで4個(または8個)の直接隣接したブロックのうち少なくとも1個にリージョンが接触する場合、ブロックはリージョンに接続される。その後、このリージョン全部にわたるループが、連続するリージョンを個別に考慮するのに使用される。その後、このリージョンのうちどれが誤作動アラームであるか、判定が行われる。この判定は異なる妥当性要因に基づいている。
ラベルされたリージョンで、ある閾値よりも少ないブロックを有するものは拒絶される。閾値は、自動車または車両が自身の障害物の影で通例むきだしである消点までの距離に依存する。自動車またはバンのような車両は最小の大きさを有するため、小さく、消点より高い被検知リージョン(背景/空)もまた拒絶される。ベクトル場の後処理間の高額なフィルタリングは、このように削減可能である。
さらに、ヒストグラムおよびエッジをもとにした統計テクスチャ測定がこのエリアに対して計算される。この測定に基づき、リージョンを拒絶すべきか、またはリージョンをさらに考慮すべきかの判定が行われる。判定には分類部が使用される。例えば道路標識は、ヒストグラムにおいて通例2つの高いピークとして表され、それぞれ、一方はより高い輝度値であり、もう一方はより低い輝度値である。ハール(Haar)変換(通例、顔認証に使用される)、または例えば分散、四分位数範囲(IQR)、平均、メジアン、エネルギー、エッジエネルギー、および全部のヒストグラムにおける分散または平均のような他の特徴が使用可能である。
さらに、統計構造測定の均一性、滑度、3次モーメントおよびエントロピーが使用される。スペクトルのテクスチャ特徴が、周期性を検知するのに使用可能であり、FFT(Fast Fourier Transformation:高速フーリエ変換)は、位相相関運動推定を使用することにより再計算されないことを必要としない。
濃度(gray‐level)ヒストグラムの統計モーメントが、画像のテクスチャを表すのに使用可能である。zが[0,L−1]範囲における濃度を表す不連続乱数を表し、p(z)、i=0,1,……,L−1、が正規化ヒストグラムであるならば、以下の方程式が当てはまる。
平均値mは以下である。
Figure 0005297078
分散σは以下である。
Figure 0005297078
滑度Rは以下であり、ここで不変の強度をもつ(分散が零に近い)エリアに対してRは0に近づき、大きな強度変化量をもつ(分散値が大きい)エリアに対してRは1に近づく。
Figure 0005297078
3次モーメントμは以下であり、ヒストグラムの歪度を表す。
Figure 0005297078
均一性Uは以下である。
Figure 0005297078
エントロピーEは以下である。
Figure 0005297078
他の誤作動アラームの大多数は、その軌道を追跡し続けることにより、抑えることが可能である。通例ノイズは短時間の瞬間にのみ発生し、軌道をもたない。例えば、最終フレームの軌道点の多くがまた障害物として検知されていて、この数のフレームの平均運動が正である場合、移動物体は誤作動アラームと見なされない。30フレーム/秒(fps:frames per second)において、例えば、最後の3フレームの2点の軌道点が認知されているかどうかがテスト可能である。より長い履歴により、判定はより良くなるが、システムの反応時間はより低くなる。
リージョンがあまりに大きく、あまりに多くの凹部を有する場合、そのリージョンはさらに考慮されなければならない。これは、リージョンサービスの違い、および凸包表面の違いとして単純に測定可能である。運動ベクトルのヒストグラムがこのリージョンに対してとられ、閾値が適合される。
図10に、リージョン分割原理のブロック図を示す。普通は、シーケンスの画像は同様なものである。消点付近の自動車は非常に小さく、非常に低い運動を有する。運動はしばしば零ピクセルと1ピクセルとの間であるため、サブピクセル精度がここで非常に役に立つ場合がある。他方で、画像の右手側では移動物体は非常に大きく、非常に速くなる。距離が高くなる(左の消点付近)につれて全部の物体は小さくなるため、分散はそこで増加する。近い自動車のシート金属は、自動車が近いほど(ブロックごとに)大きくなるため、分散は低くなる。さもなければ、画像の左における消点付近ではテクスチャが多くなる。そのため、図12に示すように、例えば左リージョン1202および右リージョン1204など、画像は少なくとも2つのリージョン(遠方リージョンおよび近隣リージョン)に分割される。
図11に、僅かに重複するリージョン1102および1104を有する分割カメラの上面図を示す。どこの場所を分割するか(図12における線1206を見よ)は、カメラ取付角度または消点1210にそれぞれ依存する。例えばこれは、画像幅の半分と3分の1との間のどこかである場合がある。境界における問題を回避するため、および急変を少なくするために、リージョンは僅かに重複する場合がある。
このように、運動推定および全部のアルゴリズムは、2つのリージョンの異なる性質にもっとよく適合可能である。例えば、運動推定の検索範囲がリージョンに適合される場合がある。右リージョン1204における検索範囲および整合ブロックサイズは、左リージョン1202よりも低い。
分類のためのトレーニングデータは、視点が変化するため、リージョンにおいて異なる。左エリア1202における移動物体として障害物は正面から見られ、一方右エリア1204における障害物は横から見られる。
図13に示すように、2つのリージョン1302および1304に分割されている画像1300は、ピクセルの数をアップサンプリングまたはダウンサンプリングすることにより、さらに処理可能である。右リージョン1304における構造がやや大きいため、計算時間を削減するためにダウンサンプリングが実行可能である。一方で左リージョン1302において、サブピクセル精度を与えるためにアップスケーリングが実行可能である。これらのリージョンの結果は、後で再びマージ可能である。
一眼パッシブ死角検知は(ブロックをもとにした)運動推定に基づくが、ここで従来のアプローチは通例問題を抱えている。提案する方法および装置を用いると、上述の基準に基づいて誤作動アラームがうまく拒絶され、問題に関連する大きな検索範囲および運動モデルは、リージョンの分割を使用して対処可能である。そのため、システム性能、精度、および信頼性は改善可能である。性能の改善に加え、リージョンの分割は計算コスト(検索範囲)を削減する。
一眼カメラは1つのカメラをただ必要とし、一方でステレオアプローチは高額な第2のカメラと難しい奥行き推定を必要とする。提案する装置および方法は完全にパッシブであり、これにより非常に安価となり、他のアクティブセンサとの干渉が全く発生しないはずである。システムは白黒およびカラー画像を処理可能である。
図14に、提案する方法の概観を示す。後にステップS1404において例えばフィルタリングステップなどの前処理が行われる画像のシーケンスを、カメラセンサS1402が撮影する。その後、ブロックをもとにした運動推定がステップS1406において行われ、前進/後退運動ベクトル組合せがステップS1408において使用され、次のステップS1410においてメジアンフィルタが応用される。境界運動ベクトルが次のステップS1412において抑えられ、デカルト座標から極座標への変形が次のステップS1414において行われる。非妥当な運動ベクトルが次のステップS1416において抑えられ、その後同等の運動ベクトルを有するブロックのセグメント化またはグループ化がステップS1418において行われる。物体はステップS1420においてクローズされ(closed)て、対応するリージョンがステップS1422においてラベルされる。ステップS1424において、カメラセンサS1402により撮影された画像のシーケンスについて特徴抽出が行われ、特徴は次のステップS1426においてトレーニングデータを利用して分類される。ステップS1426における分類の結果、およびステップS1422におけるリージョンのラベルの結果を組み合わせて、全部のラベルについて誤作動アラーム拒絶ステップS1428が行われ、それによりステップ1430においてリージョン軌道が考慮される。その後、ステップS1430におけるボックスフィッティング、およびステップS1432における距離計算が、全部のラベルについて行われ、ステップS1434におけるフラット判定がその後実行可能である。
本発明の一実施形態の主要なステップを示す。 誤作動アラーム検知および画像をリージョンに分割することを含む、本発明のさらなる実施形態によるステップを示す。 本発明の一実施形態による死角検知装置を示す。 誤作動アラーム検知ユニットを有する死角検知装置の別の実施形態を示す。 リージョン分割ユニットを有する死角検知装置のさらなる実施形態を示す。 本発明のさらなる実施形態による死角検知装置を装備する車両の上面図を示す。 本発明の別の実施形態によるさらに詳細なステップ示す。 誤作動アラームを説明する図の一例を示す。 誤作動アラーム検知ユニットの一実施形態のブロック図を示す。 リージョン分割ユニットの一実施形態のブロック図を示す。 本発明のさらなる実施形態の上面図を示し、リージョン分割を示す。 本発明のさらなる実施形態におけるリージョン分割を説明するために、概略的な画像を示す。 本発明のさらなる実施形態による、異なるリージョンにおける異なるスケーリング処理を概略的に説明する。 なお本発明の別の実施形態の詳細なブロック図を示す。

Claims (21)

  1. 車両の死角における移動物体を検知するための方法であって、
    前記死角の画像のシーケンスを撮影することと、
    前記シーケンスの前記画像の各々をブロックに分割することと、
    前記シーケンスの連続する画像間で移動を行った移動ブロックを識別することと、
    前記移動ブロックの前記移動の方向および距離を決定することと、
    所定の方向間隔内の方向および所定の距離間隔内の距離で移動されたと決定された隣接移動ブロックをグループ化することと、
    前記グループ化ステップに基づき前記移動物体を認識することと
    を含む方法。
  2. 前記移動物体の間で少なくとも1つの誤作動アラームを決定することと、
    前記移動物体のうち少なくとも1つが誤作動アラームでない場合、アラームを生成することと
    をさらに含む請求項1に記載の方法。
  3. 前記移動物体の物体サイズを決定することと、
    前記物体サイズを既定サイズと比較することと、
    前記物体サイズが前記既定サイズより小さい場合、前記誤作動アラームを生成することと
    を含む請求項2に記載の方法。
  4. 前記画像内で消点を決定することをさらに含み、
    その場合前記既定サイズは、前記消点からの前記移動物体の距離に依存する、
    請求項3に記載の方法。
  5. 前記画像内で消点を識別することと、
    前記移動物体の物体サイズを決定することと、
    前記消点からの前記移動物体の垂直距離を決定することと、
    前記物体サイズが既定の物体サイズを下回り、前記垂直距離が既定距離を上回る場合、前記誤作動アラームを生成することと、
    をさらに含む請求項2に記載の方法。
  6. 前記移動物体のうち少なくとも1つの、ヒストグラムおよび/またはエッジをもとにした統計測定を計算することと、
    前記ヒストグラムおよび/またはエッジをもとにした統計測定を評価することと、
    前記評価ステップに基づき前記誤作動アラームを生成することと
    をさらに含む請求項2〜5のいずれかに記載の方法。
  7. 前記統計測定は、分散、四分位数範囲、平均、メジアン、エネルギー、エッジエネルギー、均一性、滑度、3次モーメント、および/またはエントロピーである、請求項6に記載の方法。
  8. 前記移動物体の軌道を評価することと、
    前記評価ステップに基づき前記誤作動アラームを生成することと
    をさらに含む請求項2〜7のいずれかに記載の方法。
  9. 前記移動物体のサイズを決定することと、
    前記サイズが既定サイズよりも大きい場合、リージョン表面と凸包との間の差を計算することと、
    前記差が既定の差を上回る場合、前記移動物体を再び定めることと
    をさらに含む請求項2〜8のいずれかに記載の方法。
  10. 前記シーケンスの前記画像を少なくとも2つのリージョンに分割すること
    をさらに含む請求項1〜9のいずれかに記載の方法。
  11. 前記隣接ブロックをグループ化するステップにおいて、前記少なくとも2つのリージョンにおいて異なる基準を使用すること
    をさらに含む請求項10に記載の方法。
  12. 異なる検索リージョンおよび/または異なる整合ブロックサイズが異なる基準として使用される、請求項11に記載の方法。
  13. 前記少なくとも2つのリージョンにおいて移動物体を識別するのに、異なるトレーニングデータを使用すること
    をさらに含む請求項10〜12に記載の方法。
  14. 前記少なくとも2つのリージョンにおいて異なって画像をアップスケーリングまたはダウンスケーリングすること
    をさらに含む請求項10〜13に記載の方法。
  15. 前記シーケンスの前記画像を少なくとも2つのリージョンに分割することと、
    異なるリージョン内の誤作動アラームを識別するのに、異なる閾値を使用することと
    をさらに含む請求項2〜9に記載の方法。
  16. 前記シーケンスの前記画像を2つのリージョンに分割すること
    をさらに含む請求項10〜15に記載の方法。
  17. 車両のための死角検知装置であって、
    前記死角の画像のシーケンスを撮影するように構成されるカメラと、
    前記シーケンスの前記画像の各々をブロックに分割し、前記シーケンスの連続する画像間で移動を行った移動ブロックを識別し、前記移動ブロックの前記移動の方向および距離を決定し、所定の方向間隔内の方向および所定の距離間隔内の距離で移動されたと決定された隣接移動ブロックをグループ化するように構成され、移動物体を認識するようにさらに構成されるプロセッサと、
    前記死角における移動物体が検出された場合、危険な状況を表示するように構成されるインジケータと
    を備える死角検知装置。
  18. 前記プロセッサと前記インジケータとに接続される誤作動アラーム拒絶ユニットをさらに備え、
    前記誤作動アラーム拒絶ユニットは、前記移動物体の間で誤作動アラームを識別するように構成され、
    その場合前記インジケータは、前記移動物体のうち少なくとも1つが誤作動アラームでない場合に、アラームを生成するようにさらに構成される、
    請求項17に記載の死角検知装置。
  19. 前記シーケンスの前記画像を少なくとも2つのリージョンに分割するように構成されるリージョン分割ユニット
    をさらに備える請求項17〜18のいずれかに記載の死角検知装置。
  20. 前記移動物体への距離を決定するように構成されるアクティブセンサ
    をさらに備える請求項17〜19のいずれかに記載の死角検知装置。
  21. プロセッサにロードされると、請求項1〜16のいずれかに記載の方法を行うコンピュータプログラム符号を含むコンピュータプログラム製品。
JP2008120555A 2007-05-03 2008-05-02 車両の死角における移動物体を検知するための方法、および死角検知装置 Active JP5297078B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP07008959.4 2007-05-03
EP07008959A EP1988488A1 (en) 2007-05-03 2007-05-03 Method for detecting moving objects in a blind spot region of a vehicle and blind spot detection device

Publications (2)

Publication Number Publication Date
JP2009064410A JP2009064410A (ja) 2009-03-26
JP5297078B2 true JP5297078B2 (ja) 2013-09-25

Family

ID=38921773

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008120555A Active JP5297078B2 (ja) 2007-05-03 2008-05-02 車両の死角における移動物体を検知するための方法、および死角検知装置

Country Status (4)

Country Link
US (1) US8040227B2 (ja)
EP (2) EP1988488A1 (ja)
JP (1) JP5297078B2 (ja)
CN (1) CN101303735B (ja)

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010215787A (ja) 2009-03-17 2010-09-30 Fujifilm Corp 無機蛍光体粒子およびそれを用いた分散型エレクトロルミネッセンス素子
EP2419861A1 (en) * 2009-04-14 2012-02-22 Koninklijke Philips Electronics N.V. Key frames extraction for video content analysis
TW201100280A (en) * 2009-06-19 2011-01-01 Automotive Res & Testing Ct Collision warning system for vehicle
US8527151B2 (en) * 2009-12-07 2013-09-03 Ford Global Technologies, Llc Side impact safety system with blind-spot detection radar data fusion
US8406472B2 (en) 2010-03-16 2013-03-26 Sony Corporation Method and system for processing image data
DE102010018038B4 (de) * 2010-04-23 2023-08-10 Valeo Schalter Und Sensoren Gmbh Verfahren zum Warnen eines Fahrers eines Fahrzeugs vor der Anwesenheit von Objekten in einem Totwinkelbereich und entsprechende Fahrerassistenzeinrichtung
JP2012221331A (ja) * 2011-04-12 2012-11-12 Hitachi Ltd 映像監視システム及び人数推定方法
US8791802B2 (en) * 2011-09-09 2014-07-29 Robert Bosch Gmbh Driver assistance system for reducing blind-spot-detection false alerts
EP2578464B1 (en) * 2011-10-06 2014-03-19 Honda Research Institute Europe GmbH Video-based warning system for a vehicle
CN102509089B (zh) * 2011-11-29 2013-06-19 青岛科技大学 逐行扫描识别斑马线及测量斑马线距离的方法
US20130181860A1 (en) * 2012-01-16 2013-07-18 Ford Global Technologies, Llc Radar based multifunctional safety system
JP5486031B2 (ja) 2012-03-06 2014-05-07 本田技研工業株式会社 配光制御装置
MX341888B (es) * 2012-07-27 2016-09-07 Nissan Motor Dispositivo de deteccion de objetos tridimensionales.
CN103337168B (zh) * 2013-06-04 2015-09-02 深圳市华宝电子科技有限公司 一种车辆数据采集方法、装置及系统
CN104512329B (zh) * 2013-09-27 2017-04-05 比亚迪股份有限公司 倒车安全辅助方法、装置及汽车
KR102233391B1 (ko) * 2014-06-16 2021-03-29 팅크웨어(주) 전자 장치, 전자 장치의 제어 방법 및 컴퓨터 판독 가능한 기록 매체
KR101692628B1 (ko) * 2014-12-24 2017-01-04 한동대학교 산학협력단 관심영역을 이용하여 차량의 후방 좌우 옆 차선 영역을 감지하는 방법 및 이를 이용한 차량용 영상 모니터링 시스템
JP6543050B2 (ja) * 2015-03-06 2019-07-10 株式会社デンソーテン 障害物検出装置および障害物検出方法
US10923126B2 (en) * 2015-03-19 2021-02-16 Samsung Electronics Co., Ltd. Method and device for detecting voice activity based on image information
JP6507862B2 (ja) * 2015-06-02 2019-05-08 トヨタ自動車株式会社 周辺監視装置及び運転支援装置
WO2017024458A1 (en) * 2015-08-10 2017-02-16 Bayerische Motoren Werke Aktiengesellschaft System, method and apparatus for vehicle and computer readable medium
JP6775285B2 (ja) * 2015-09-24 2020-10-28 アルパイン株式会社 後側方車両検知警報装置
US10019805B1 (en) * 2015-09-29 2018-07-10 Waymo Llc Detecting vehicle movement through wheel movement
US20170151909A1 (en) * 2015-11-30 2017-06-01 Razmik Karabed Image processing based dynamically adjusting surveillance system
CN105667397B (zh) * 2015-12-30 2018-10-16 深圳佑驾创新科技有限公司 汽车后视系统及方法
US9996752B2 (en) * 2016-08-30 2018-06-12 Canon Kabushiki Kaisha Method, system and apparatus for processing an image
CN106251701B (zh) * 2016-09-14 2018-11-06 郑州轻工业学院 基于旋转变焦多摄像头的车辆后视监测报警系统及方法
DE102016218852A1 (de) * 2016-09-29 2018-03-29 Conti Temic Microelectronic Gmbh Detektion von Objekten aus Bildern einer Kamera
DE102016123207A1 (de) * 2016-12-01 2018-06-07 HELLA GmbH & Co. KGaA Verfahren zur Detektion eines Störeinflusses bei einem Radarsignal
KR102313026B1 (ko) * 2017-04-11 2021-10-15 현대자동차주식회사 차량 및 차량 후진 시 충돌방지 보조 방법
US10839266B2 (en) * 2018-03-30 2020-11-17 Intel Corporation Distributed object detection processing
US10300851B1 (en) * 2018-10-04 2019-05-28 StradVision, Inc. Method for warning vehicle of risk of lane change and alarm device using the same
US10635915B1 (en) * 2019-01-30 2020-04-28 StradVision, Inc. Method and device for warning blind spot cooperatively based on V2V communication with fault tolerance and fluctuation robustness in extreme situation
US11037303B2 (en) * 2019-01-31 2021-06-15 Sony Corporation Optical flow based detection and tracking of multiple moving objects in successive frames
GB201909693D0 (en) 2019-07-05 2019-08-21 Vaion Ltd Computer-implemented method
KR102540574B1 (ko) * 2021-02-26 2023-06-08 이화여자대학교 산학협력단 스트레처블 디스플레이를 사용하여 자동차에서 증강 현실을 제공하는 방법, 이를 수행하기 위한 기록 매체 및 장치
CN113205704B (zh) * 2021-03-19 2022-06-24 深圳市点创科技有限公司 一种用于大型车辆的盲区检测方法、装置及存储介质
CN113807325B (zh) * 2021-11-17 2022-02-22 南京三叶虫创新科技有限公司 一种基于图像处理的线型识别方法及系统
CN114202965B (zh) * 2022-02-18 2022-05-17 上海齐感电子信息科技有限公司 辅助驾驶方法、装置、车载终端及存储介质
CN115147726B (zh) * 2022-09-05 2023-03-24 清华大学 城市形态图的生成方法、装置、电子设备和可读存储介质

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4332612C2 (de) * 1992-09-25 1996-02-22 Yazaki Corp Außenansichts-Überwachungsverfahren für Kraftfahrzeuge
US7049945B2 (en) 2000-05-08 2006-05-23 Automotive Technologies International, Inc. Vehicular blind spot identification and monitoring system
JP4377474B2 (ja) 1999-03-31 2009-12-02 株式会社東芝 移動体の衝突防止装置、衝突防止方法、および記録媒体
US6488369B1 (en) * 2000-01-31 2002-12-03 Hewlett-Packard Company Ink container configured to establish reliable electrical and fluidic connections to a receiving station
ES2158827B1 (es) 2000-02-18 2002-03-16 Fico Mirrors Sa Dispositivo de deteccion de presencia de objetos.
US6678413B1 (en) * 2000-11-24 2004-01-13 Yiqing Liang System and method for object identification and behavior characterization using video analysis
DE10392601D2 (de) 2002-08-09 2005-02-03 Conti Temic Microelectronic Verkehrsmittel mit einer 3D-Entfernungsbildkamera und Verfahren zu dessen Betrieb
FR2854692B1 (fr) 2003-05-07 2006-02-17 Peugeot Citroen Automobiles Sa Dispositif d'exploration optique et vehicule comportant un tel dispositif
JP3897305B2 (ja) * 2004-02-06 2007-03-22 シャープ株式会社 車両周辺監視装置、車両周辺監視方法、制御プログラムおよび可読記録媒体
JP4628712B2 (ja) * 2004-07-09 2011-02-09 財団法人生産技術研究奨励会 画像上移動物体認識方法及び装置
JP4039423B2 (ja) * 2004-12-14 2008-01-30 日産自動車株式会社 エッジ位置算出装置、障害物検出システム
JP2006197034A (ja) * 2005-01-11 2006-07-27 Sumitomo Electric Ind Ltd 画像認識システム、撮像装置及び画像認識方法
JP4277217B2 (ja) * 2005-02-04 2009-06-10 住友電気工業株式会社 接近移動体表示装置、システム及び方法、並びに衝突情報提供装置及び方法
JP4517393B2 (ja) * 2005-02-16 2010-08-04 株式会社デンソー 運転支援装置
JP4687160B2 (ja) * 2005-03-14 2011-05-25 アイシン精機株式会社 周辺監視装置
JP4539378B2 (ja) * 2005-03-08 2010-09-08 アイシン・エィ・ダブリュ株式会社 運転支援装置及び運転支援方法
JP2006318272A (ja) * 2005-05-13 2006-11-24 Nissan Motor Co Ltd 車両用物体検出装置、および方法
US7804980B2 (en) * 2005-08-24 2010-09-28 Denso Corporation Environment recognition device
US20080166018A1 (en) * 2007-01-05 2008-07-10 Motorola, Inc. Method and apparatus for performing object recognition on a target detected using motion information

Also Published As

Publication number Publication date
CN101303735B (zh) 2013-03-20
US8040227B2 (en) 2011-10-18
JP2009064410A (ja) 2009-03-26
EP1988488A1 (en) 2008-11-05
CN101303735A (zh) 2008-11-12
US20080309516A1 (en) 2008-12-18
EP3594853A2 (en) 2020-01-15
EP3594853A3 (en) 2020-04-08

Similar Documents

Publication Publication Date Title
JP5297078B2 (ja) 車両の死角における移動物体を検知するための方法、および死角検知装置
US10970871B2 (en) Estimating two-dimensional object bounding box information based on bird's-eye view point cloud
EP3229041B1 (en) Object detection using radar and vision defined image detection zone
KR101647370B1 (ko) 카메라 및 레이더를 이용한 교통정보 관리시스템
US6956469B2 (en) Method and apparatus for pedestrian detection
US20050232463A1 (en) Method and apparatus for detecting a presence prior to collision
JP3822515B2 (ja) 障害物検知装置及びその方法
CN108162858B (zh) 车载监控装置及其方法
JP2013232091A (ja) 接近物体検知装置、接近物体検知方法及び接近物体検知用コンピュータプログラム
JP2007508624A (ja) 低照度の深度に適応可能なコンピュータ視覚を用いた移動物体検出
KR101103526B1 (ko) 스테레오 카메라를 이용한 충돌회피 방법
US11236991B2 (en) Method for determining a current distance and/or a current speed of a target object based on a reference point in a camera image, camera system and motor vehicle
WO2006026688A2 (en) Method and apparatus for classifying an object
TWI595450B (zh) 物件偵測系統
CN111497741B (zh) 碰撞预警方法及装置
KR101264282B1 (ko) 관심영역 설정을 이용한 도로상 차량의 검출방법
Berriel et al. A particle filter-based lane marker tracking approach using a cubic spline model
KR20180047149A (ko) 충돌 위험 경고 장치 및 방법
Yang et al. On-road collision warning based on multiple FOE segmentation using a dashboard camera
Romdhane et al. A generic obstacle detection method for collision avoidance
JP2013069045A (ja) 画像認識装置、画像認識方法および画像認識プログラム
JPH11142168A (ja) 環境認識装置
CN116587978A (zh) 一种基于车载显示屏的碰撞预警方法及系统
WO2017077261A1 (en) A monocular camera cognitive imaging system for a vehicle
JP2017211765A (ja) 物体認識装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110401

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120821

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121121

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121218

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130318

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130528

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130614

R150 Certificate of patent or registration of utility model

Ref document number: 5297078

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250