JP5690688B2 - 外界認識方法,装置,および車両システム - Google Patents

外界認識方法,装置,および車両システム Download PDF

Info

Publication number
JP5690688B2
JP5690688B2 JP2011201660A JP2011201660A JP5690688B2 JP 5690688 B2 JP5690688 B2 JP 5690688B2 JP 2011201660 A JP2011201660 A JP 2011201660A JP 2011201660 A JP2011201660 A JP 2011201660A JP 5690688 B2 JP5690688 B2 JP 5690688B2
Authority
JP
Japan
Prior art keywords
vehicle
region
rectangle
pattern
recognition device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011201660A
Other languages
English (en)
Other versions
JP2013061919A (ja
JP2013061919A5 (ja
Inventor
克行 中村
克行 中村
智明 吉永
智明 吉永
光利 守永
光利 守永
健人 緒方
健人 緒方
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Faurecia Clarion Electronics Co Ltd
Original Assignee
Clarion Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Clarion Co Ltd filed Critical Clarion Co Ltd
Priority to JP2011201660A priority Critical patent/JP5690688B2/ja
Priority to EP12005298.0A priority patent/EP2570963A3/en
Priority to US13/565,335 priority patent/US20130073194A1/en
Priority to CN201210278896.0A priority patent/CN102997900B/zh
Publication of JP2013061919A publication Critical patent/JP2013061919A/ja
Publication of JP2013061919A5 publication Critical patent/JP2013061919A5/ja
Application granted granted Critical
Publication of JP5690688B2 publication Critical patent/JP5690688B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/254Fusion techniques of classification results, e.g. of results related to same input data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/22Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data

Description

本発明は,画像センサを用いて外界を認識する技術,特に物体までの距離によらず物体を検出する技術に関する。
交通事故による死傷者数を低減するため,事故を未然に防ぐ予防安全システムの開発が進められている。予防安全システムは,事故の発生する可能性が高い状況下で作動するシステムであり,例えば,自車前方の先行車と衝突する可能性が生じたときには警報によって運転者に注意を促し,衝突が避けられない状況になったときには自動ブレーキによって乗員の被害を軽減するプリクラッシュ・セーフティ・システム等が実用化されている。
自車前方の先行車を検出する方法として,車載カメラで自車前方を撮像し,撮像された画像から車両の形状パターン,すなわち車両パターンを認識する方法が知られている。例えば特許文献1では,車両両端のエッジを捉えることで車両を検出する方法が開示されている。しかしながら,車両の見え方は距離によって異なるため,遠方近傍に関わらず同一の処理を適用するだけでは高い検出精度を実現できない。例えば,遠方では解像度が低下するため,識別力の高い特徴が捉えられず,検出精度が低下する。こうした課題に対して,距離や接近状態に応じて処理内容を変える方式が提案されている(特許文献2,3参照)。
特開2005-156199号公報 特開2007-072665号公報 特開平10-143799号公報
特許文献2によれば,走行障害となる物体候補を背景差分法などによって検出し,検出した物体候補に対して距離別に定義されたテンプレートを適用することでその物体が何であるかを判別することができる。しかしながら,第一の物体候補検出で漏れた場合,物体を判別できないという課題がある。
特許文献3によれば,ステレオカメラで検出した車両の相対速度に基づき,車両追跡用のテンプレートを切り替えることで追跡性能を向上することができる。しかしながら,初期検出に対しては性能を向上させることができないという課題がある。
本発明は,上記課題を鑑みてなされたものであり,その目的は,距離によらず好適に物体検出を行う外界認識方法,装置,およびそれを用いた車両システムを提供することである。
上記の目的を達成するため,本発明においては,撮影した画像を解析し,物体を検出する外界認識装置による外界認識方法であって,外界認識装置は,画像内に,物体検出のための第一領域および第二領域を設定し,設定した第二領域において物体検出を行う際,物体パターンと当該物体パターンの背景パターンの両方を用いて物体検出を行う外界認識方法を提供する。
また,上記の目的を達成するため,本発明においては,撮影した画像を解析し,物体を検出する外界認識装置であって,画像内に,物体検出のための第一領域および第二領域を設定する処理領域設定部と,設定した第一領域及び第二領域においてそれぞれ物体検出を行う第一,第二の物体検出部とを備え,第一の物体検出部が物体検出を行う際,物体パターンのみを用い,第二の物体検出部が物体検出を行う際,物体パターン及び当該物体パターンの背景パターンの両方を用いる外界認識装置を提供する。
更に,上記の目的を達成するため,本発明においては,自車周辺を撮影した画像を解析して車両を検出する外界認識装置を備える車両システムであって,外界認識装置は,処理部と記憶部とを備え,記憶部は,第一の識別器と,第二の識別器を記憶し,処理部は,画像内に,車両検出のための第一領域,および第一領域より遠方の第二領域を設定し,第一領域において,第一の識別器を用い,車両パターンを捉えて,車両の車両矩形の検出を行い,第二領域において,第二の識別器を用い,車両パターンと当該車両パターンの背景パターンを捉えて,車両の車両矩形の検出を行い,第二領域において検出された車両矩形を補正し,
第一の識別器を用いて検出した車両矩形,或いは,第二の識別器を用いて検出され,且つ補正された車両矩形に基づき,自車との衝突までの衝突予測時間を算出する車両システムを提供する。
本発明によれば,物体までの距離によらず好適に物体検出を行うことができる。
各実施例に係わる,物体検出の説明のための図である。 各実施例に係わる外界認識装置の説明のためのブロック図である。 第1の実施例に係わる外界認識装置の構成例のブロック図である。 第1の実施例に係わる処理領域設定部の説明図である。 第1の実施例に係わる第一の車両検出部の説明図である。 第1の実施例に係わる第一の識別器の説明図である。 第1の実施例に係わる第二の車両検出部の説明図である。 第1の実施例に係わる第二の識別器の説明図である。 第1の実施例に係わる矩形補正部の説明図である。 第1の実施例に係わる外界認識装置の処理フローチャートを示す図である。 第2の実施例に係わる,外界認識装置のブロック図である。 第2の実施例に係わる処理領域設定部の説明図である。 第2の実施例に係わる処理領域設定部の説明図である。 第2の実施例に係わる処理領域設定部の他の説明図である。 第3の実施例に係わる,車両システムのブロック図である。
以下,図面に従い,本発明の実施例について説明する。以下の説明において,検出対象である物体として,車両,特に自車前方の先行車の車両を例示して説明するが,それに限定されるものでなく歩行者等であっても良い。
図1A,図1Bを用いて,本発明の実施例に係る物体検出手段を備えた外界認識装置を説明する。
図1Aは車載カメラで撮像した車両前方画像10の例である。この車両前方画像10中の数番8,9は,物体検出の画像処理を行う処理領域であり、2次元の画像パターンで構成される。図1Aの車両前方画像10の処理領域8,9において,検出対象である物体11,12は車両であり,検出対象の物体パターンは,車両の背面形状を示す車両パターン,すなわち車両の背面パターン13,15となる。図に示すように,車両前方画像10中,近傍における物体11の背面パターン15は明瞭であり,遠方における物体12の背面パターン13は不明瞭となる。物体の背面パターンが不明瞭な場合,識別力の高い特徴を抽出しにくく,物体検出の性能は低くなる。
なお,図1Aにおいて,処理領域9の数番14は遠方における物体12の背景パターンを示す。本明細書において,背景パターンとは,物体検出のための処理領域において,検出対象である物体パターンである背面パターン13以外のパターンを意味する。よって、背面パターン14とは、処理領域9中の物体12の背面パターン13以外の画像パターンを示す。
そこで各実施例の外界認識装置では,距離別に複数の識別器を用意し,それらを切り替えることであらゆる距離で物体検出性能を高める。具体的には,近傍では検出対象の物体パターンを中心とした識別器を使って物体検出を行い,遠方では物体と背景パターン双方を含んだ識別器を使って物体検出を行う。この理由は以下の通りである。すなわち,物体パターンが不明瞭な遠方では,背景パターンを併用して物体以外の情報量を増やす方が検出率を高めることができる。また,物体パターンが明瞭な近傍では,背景パターンを含めない方が誤検出を減らすことができる。また,各実施例の外界認識装置では,これら特性の異なる識別器を定義しておき,近傍,遠方に応じて適切に識別器を切り替えることで,距離によらず好適に物体検出を行うことができる。
図1Bは各実施例の外界認識装置の基本構成の一例を示す図である。同図に示される外界認識装置100は,画像中に処理領域を設定する処理領域設定部101,第一の物体検出部102,第二の物体検出部105,及び衝突予測時間算出部108から構成される。更に,第一の物体検出部102は,第一の識別器103と物体検出部104で,第二の物体検出部105は,第二の識別器106と物体検出部104と矩形補正部107で構成される。
以下に説明する各実施例では,物体11,12として先行する四輪車両を例にとり説明するが,これに限定されるものではない。例えば,二輪車および歩行者などについても同様の手段により好適に検出することができる。
図2は,第1の実施例による外界認識装置200の一例を示すブロック図である。同図に示される外界認識装置200は,処理領域設定部201,第一の車両検出部202,第二の車両検出部205,衝突予測時間算出部208を備える。そして,第一の車両検出部202は,第一の識別器203と車両検出部204を,第二の車両検出部205は,第二の識別器206,車両検出部204,矩形補正部207を備える。前記の各部はハードウェアによって構成されてもよいし,ソフトウェアによって構成されていてもよい。また,ハードウェアとソフトウェアを組み合わせたモジュールであってもよい。ソフトウェアで外界認識装置200を実現する場合,後で車両システムを例示して説明するように,外界認識装置200は,通常の計算機の,処理部である中央処理部(Central Processing Unit: CPU),記憶部であるメモリ,入出力部(Input Output Unit: I/O)等で構成できることは言うまでもない。
図3を用いて,本実施例における,外界認識装置200処理領域設定部201の処理流れを説明する。まず,画像30中に,消失点301と,カメラパラメータに基づき仮想平面302を定める。定めた仮想平面302に基づき,近傍領域を表す第一領域303,および遠方領域を表す第二領域304を設定する。例えば,画像30中の近傍領域の開始地点をND[m]地点と仮定して,画像上の下端位置B1を求め,領域の位置と大きさを表すパラメータ(X1,W1,H1)を規定することで第一領域303を設定する。同様にして,遠方領域の開始地点をFD[m]地点と仮定して画像上の下端位置B2を求め,領域の位置と大きさを表すパラメータ(X2,W2,H2)を規定することで第二領域304を設定する。本実施例の外界認識装置200は,このようにして求めた処理領域ごとに,後述する車両検出を行う。
図4A,図4Bを用いて,本実施例に係る図2の第一の車両検出部202の処理流れを説明する。
図4Aに示すように,第一の車両検出部202は,画像30内の走査枠401の位置とサイズを変えながら,近傍領域を表す第一領域303内をラスタ走査41して,近傍領域における車両検出を行う。走査の方法はラスタ走査41に限らず,スパイラル走査や重要度によって間引き走査を行うなど,他の走査方法を用いても構わない。
図4Bは,図3の第一の車両検出部202内の第一の識別器203の機能を説明するための図である。図4Bに示すように,第一の識別器203は,矩形状の走査枠401が示す画像部分領域402に適用され,走査先が車両であるか車両でないかを識別する。第一の識別器203は,車両の形状である,車両の背面パターンを捕らえるT個の弱識別器403,総和部404,符号関数405から構成される。第一の識別器203の識別処理は,式(1)のように表される。
Figure 0005690688
ここで,xは画像部分領域402,H1(x)は第一の識別器,ht(x)は弱識別器,αtは弱識別器ht(x)の重み係数である。すなわち,第一の識別器203は,T個の各弱識別器の重み付き投票によって構成される。sign()は符号関数であり,右辺の括弧内が正の値であれば+1を,負の値であれば-1を返す。右辺括弧内の弱識別器ht(x)は式(2)のように表すことができる。
Figure 0005690688
ここで,ft(x)はt番目の特徴量であり,θはしきい値である。特徴量はHaar-like特徴(領域間の輝度平均の差分)やHoG(Histograms of Oriented Gradients)特徴などを使えばよい。またこの他の特徴量を使っても良いし,異なる特徴量を組み合わせた共起特徴量を使っても構わない。上記の特徴量選択や重み係数の学習には,AdaBoost(Adaptive Boosting)やRandom forestなどの学習手法を用いればよい。
次に,図5A,5B,5Cを用いて,本実施例に係る第二の車両検出部205の処理流れを説明する。第二の識別器205による識別機能の基本的な流れは,図4A,図4Bに示した第一の車両検出部202と同様であり,以下では違いのみ述べる。
図5Aに示すように,第二の車両検出部205は,画像30内の矩形状の走査枠501の位置とサイズを変えながら,遠方領域である第二領域304内を,ラスタ走査して車両検出を行う。
図5Bは第二の車両検出部205内の第二の識別器206の内部構成の一例を示す図である。図5Bにおいて,矩形状の走査枠501が示す画像部分領域502に第二の識別器206が適用される。第一の識別器203と異なり,第二の識別器206は,車両形状である車両パターンと,背景パターン双方を検出する。具体的には,第二の識別器206は,道路面上の大まかな車両形状である車両パターンを捉える弱識別器503を多数含み,解像度の低い遠方でも正確な車両検出を実現する。
図5Cを用いて第二の車両検出部205内の矩形補正部207の処理内容を説明する。矩形補正部207は,第二の車両検出部205において,車両検出部204が出力する車両矩形を補正する。具体的には,矩形補正部207は,学習時に既知となる背景・車両比率を用いて,背景パターンを含む車両矩形502を,背景パターンを含まない車両矩形504へと補正する。本実施例の外観認識装置200では,次に述べる衝突予測時間算出部208では正確な車両幅が必要となるため,矩形補正部207により得られる車両矩形504により,車両幅の補正を行うことが重要である。
図3の衝突予測時間算出部208は,第一の車両検出部202または第二の車両検出部205が出力する車両矩形を用いて,衝突予測時間(TTC: Time To Collision)を算出する。まず,得られた車両矩形に基づき,自車との間の相対距離zを推定する。例えば,焦点距離f,画像上の車両幅Wi,実車幅Wtを用いて以下のように求める。
Figure 0005690688
または,焦点距離f,画像上の車両高Hi,カメラ設置高Htを用いて以下のように求めても良い。
Figure 0005690688
このようにして求めた相対距離zと相対速度vz(zの微分)に基づき,次式のようにTTCを求めることができる。
Figure 0005690688
図6は,本実施例における外界認識装置200の処理フローを示す図である。外界認識装置200をソフトウェアで実現する場合は,これらの処理の主体は,上述した外界認識装置200の処理部であるCPUである。
図6において,まず入力画像において第一領域303および第二領域304を設定する(S6001)。その後,処理領域が第一領域303であるか否かを判定し(S6002),第一領域であれば第一の識別器203を用い,車両検出部204で車両を検出する(S6003)。処理領域が第二領域であれば,第二の識別器206を用い,車両検出部204で車両を検出する(S6004)。第二領域において検出された車両は背景パターンを含むため,矩形補正部207で既知の背景・車両比率を用いて矩形補正を行う(S6005)。最後に衝突予測時間算出部208で,衝突予測時間を演算し(S6006),演算結果を出力する(S6007)。
以上,説明した第一の実施例では,第一の識別器203と第二の識別器206を切り替えて車両検出を行うことで以下の効果を得ることができる。すなわち,解像度の高い近傍領域においては車両そのものの画像パターンを最大限に生かすことができるため,誤検出を抑えながら高い検出率を実現できる。また,解像度の低い遠方領域においては,車両と車両以外のパターン双方を用いて情報量を底上げすることにより検出率を大幅に向上することができる。また,領域を限定し,それぞれに適した車両検出を行うことで,処理負荷を低減することができる。
次に,第2の実施例に係る外界認識装置を説明する。第2の実施例に係る外界認識装置の構成要素のうち,第1の実施例に係る外界認識装置の構成要素と同じものには同じ符号を付して説明を省略する。
図7は,第2の実施例による外界認識装置700の一例を示すブロック図である。同図に示される外界認識装置700は,車線検出部701,処理領域設定部702,第一の車両検出部202,第一の識別器203,車両検出部204,第二の車両検出部205,第二の識別器206,矩形補正部207,衝突予測時間算出部208を備える。この外界認識装置700,特にその車線検出部701,処理領域設定部702も,ハードウェアによって構成されてもよいし,ソフトウェアによって構成されていてもよい。
まず,図8Aを用いて,本実施例の車線検出部701,および処理領域設定部702の処理流れを説明する。車線検出部701は,道路面上の白線や黄線の直線性を利用して,車線801を検出する。直線性は例えばハフ変換を用いて判定すればよいが,その他の手法を用いて直線性を判定しても構わない。その後,車線検出部701が出力する車線801に基づき,近傍領域を表す第一領域303,および遠方領域を表す第二領域304を設定する。
処理領域設定部702における処理領域設定方法は実施例1と同様であり,例えば,近傍領域の開始地点をND[m]地点と仮定して画像上の下端位置B1を求め,領域の位置と大きさを表すパラメータ(X1,W1,H1)を規定することで第一領域303を設定する。同様にして,遠方領域の開始地点をFD[m]地点と仮定して画像上の下端位置B2を求め,領域の位置と大きさを表すパラメータ(X2,W2,H2)を規定することで第二領域304を設定する。当然,近傍・遠方の地点設定は上記の例に限定されるものではない。このようにして求めた処理領域ごとに,車両検出部204にて車両検出を行う。
図8Bは,カーブにおける車線検出部701および処理領域設定部702の処理流れである。カーブの場合,車線検出部701は一般化ハフ変換を用いて,曲がった車線802を検出すればよい。もちろん,近傍の直線を延伸しながら車線を検出してもよいし,この他の手法を用いて車線検出を行っても構わない。
図9は,ヨーレートを用いた処理領域設定部702の処理流れの例である。ヨーレートを用いることで自車の予測進路901を求めることができる。この予測進路に基づき,前記同様に近傍を表す第一領域303,および遠方を表す第二領域304を設定する。なお,処理領域設定部702で用いるヨ−レートは,自車内のセンサを用いて検出されたヨ−レートを用いれば良い。
以上,説明した第2の実施例では,車線検出結果に基づき処理領域を設定することで,走行に必要な領域の探索だけを行い,計算量を低減することができる。またヨーレートを用いて処理領域を設定することで,特に重要な自車の予測進路付近を中心に探索することができ,計算量を低減することができる。
以下,第3の実施例として,車両システムに適用した実施例を説明する。本実施例に係る外界認識装置の構成要素のうち,実施例1に係る外界認識装置の構成要素と同じものには同じ符号を付して説明を省略する。
図10は,実施例3による車両システムである。本実施例の車両システムは,車両前方を撮影するカメラ1000と,車両の室内に設けられているスピーカー1001と,車両の走行を制御する走行制御装置1002と,車両の外界を認識する車両用外界認識装置1003とを備える。カメラ1000は,単眼カメラに限らず,ステレオカメラを用いても良い。また,車両用外界認識装置1003は,データなどの入出力を行う入出力インタフェースI/O 1004と,メモリ1005と,各種演算を実行する処理部であるCPU1006とを備える。CPU1006には,外界認識を行う機能が搭載され,上述の実施例で説明した処理領域設定部201と,第一の車両検出部202と,第二の車両検出部205と,車両検出部204と,矩形補正部207と,衝突予測時間算出部208と,危険度判定部1007を備える。また記憶部であるメモリ1005は,車両検出を行うための第一の識別器203と第二の識別器204を記憶する。
CPU1006における外界認識の流れを説明する。まず,処理領域設定部201は,カメラ1000から入力された画像おいて第一領域および第二領域を設定する。車両検出部204は,第一領域の画像に対して,メモリ1005に記憶された第一の識別器203を用いて車両を検出する。また,車両検出部204は,第二領域の画像に対して,メモリ1005に記憶された第二の識別器205を用いて車両を検出する。矩形補正部207は,既知の背景・車両比率を用いて矩形補正を行う。衝突予測時間算出部208は衝突予測時間を演算する。
最後に,衝突危険度判定部1007は,予め設定された基準に基づき,衝突予測時間算出部208が算出した衝突予測時間でもって危険度を判定する。衝突危険度判定部1007で危険と判定された場合は,スピーカー1001が警告音や音声などで警報を送る。さらに危険と判定された場合は,走行制御装置1002がブレーキをかけることで衝突を回避する。
以上説明した実施例3では,外界認識装置によって衝突予測時間を算出し,危険と判断されたタイミングで警報を鳴らす衝突警告システムを実現することができ,ドライバーの運転支援が可能となる。また,外界認識装置によって衝突予測時間を算出し,極めて危険と判断されたタイミングでブレーキをかけるプリクラッシュシステムを実現することができ,ドライバーの運転支援ならびに衝突の際の被害軽減が可能となる。
なお,本発明は,上述の各実施の形態に限定されるものではなく,本発明の趣旨を逸脱しない範囲で種々の変更が可能である。例えば,上記した実施例は本発明を分かりやすく説明するために詳細に説明したのであり,必ずしも説明の全ての構成を備えるものに限定されものではない。また,ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり,また,ある実施例の構成に他の実施例の構成を加えることが可能である。また,各実施例の構成の一部について,他の構成の追加・削除・置換をすることが可能である。
また,上記の各構成,機能,処理部,処理手段等は,それらの一部又は全部を,例えば集積回路で設計する等によりハードウェアで実現してもよい。また,各構成,機能等の機能を実現するソフトウェアで実現する場合を主に説明したが,各機能を実現するプログラム,データ,ファイル等の情報は,メモリのみならず,ハードディスク,SSD(Solid State Drive)等の記録装置,または,ICカード,SDカード,DVD等の記録媒体におくことができるし,必要に応じて無線ネットワーク等を介してダウンロード,インストロールすることも可能である。
8,9 処理領域
10 車両前方画像
11,12 物体
13,15 背面パターン
14 背景パターン
30 画像
100,200,700,1003 外界認識装置
101,201,702 処理領域設定部
102 第一の物体検出部
104 物体検出部
105 第二の物体検出部
202 第一の車両検出部
103,203 第一の識別器
204 車両検出部
205 第二の車両検出部
106,206 第二の識別器
107,207 矩形補正部
108,208 衝突予測時間算出部
301 消失点
302 仮想平面
303 第一領域
304 第二領域
701 車線検出部
801,802 車線
901 予測進路
1000 カメラ
1001 スピーカー
1002 走行制御装置
1004 I/O
1005 メモリ
1006 CPU
1007 衝突危険度判定部。

Claims (13)

  1. 撮影した画像を解析し,物体を検出する外界認識装置による外界認識方法であって,
    前記外界認識装置は,
    前記画像内に,物体検出のための第一領域,および第二領域を設定し,
    設定した前記第二領域において物体検出を行う際,物体パターンと,当該物体パターンの背景パターンの両方を用いて物体検出を行
    前記第一領域において物体検出を行う際,物体パターンのみを用いて物体検出を行い,
    前記第一領域は,前記第二領域より近傍の領域である
    ことを特徴とする外界認識方法。
  2. 請求項1に記載の外界認識方法であって,
    前記外界認識装置は,
    前記第二領域で検出した前記背景パターンを含む物体矩形を,当該背景パターンを含まない物体矩形に補正する
    ことを特徴とする外界認識方法。
  3. 請求項に記載の外界認識方法であって,
    前記外界認識装置は,
    前記第一領域で検出した物体矩形,あるいは前記補正後の物体矩形を用いて,当該物体矩形に対応する物体との衝突までの予測時間を算出する
    ことを特徴とする外界認識方法。
  4. 請求項3に記載の外界認識方法であって,
    前記物体は車両であり,
    前記外界認識装置は,
    前記第一領域で検出した物体矩形,あるいは前記補正後の物体矩形から,前記車両の車両幅を生成し,前記車両幅に基づき,前記予測時間を算出する
    ことを特徴とする外界認識方法。
  5. 撮影した画像を解析し,車両を検出する外界認識装置であって,
    前記画像内に,車両検出のための第一領域および第二領域を,前記第一領域を,前記第二領域より近傍の領域として設定する処理領域設定部と,
    設定した前記第一領域及び前記第二領域においてそれぞれ車両検出を行う第一,第二の物体検出部とを備え,
    前記第一の物体検出部が車両検出を行う際,車両パターンのみを用い,前記第二の物体検出部が車両検出を行う際,車両パターン及び当該車両パターンの背景パターンの両方を用いる,
    ことを特徴とする外界認識装置
  6. 請求項5に記載の外界認識装置であって,
    前記第一の物体検出部と前記第二の物体検出部は,それぞれ第一の識別器と第二の識別器を含み,
    前記第一の識別器は,前記車両パターンとして前記車両の背面パターンを捉える複数の弱識別器からなり,前記第二の識別器は,前記車両パターンとしての前記車両の背面パターンと,背景パターンを捉える複数の弱識別器からなる
    ことを特徴とする外界認識装置。
  7. 請求項6に記載の外界認識装置であって,
    前記第二の物体検出部は,
    前記第二領域で検出した前記背景パターンを含む物体矩形を,当該背景パターンを含まない物体矩形に補正する矩形補正部を含む
    ことを特徴とする外界認識装置。
  8. 請求項7に記載の外界認識装置であって,
    前記第一の物体検出部が検出した物体矩形,あるいは前記矩形補正部が補正した前記補正後の物体矩形を用いて,当該物体矩形に対応する物体との衝突までの予測時間を算出する衝突予測時間算出部を更に備える
    ことを特徴とする外界認識装置。
  9. 請求項8に記載の外界認識装置であって,
    前記衝突予測時間算出部は,
    前記第一の物体検出部が検出した物体矩形,あるいは前記矩形補正部が補正した前記補正後の物体矩形を用いて,前記車両の車両幅を生成し,前記車両幅に基づき,前記予測時間を算出する
    ことを特徴とする外界認識装置。
  10. 自車周辺を撮影した画像を解析して車両を検出する外界認識装置を備える車両システムであって,
    前記外界認識装置は,処理部と記憶部とを備え,
    前記記憶部は,
    第一の識別器と,第二の識別器を記憶し,
    前記処理部は,
    前記画像内に,車両検出のための第一領域,および前記第一領域より遠方の第二領域を設定し,
    前記第一領域において,前記第一の識別器を用い,車両パターンを捉えて,前記車両の車両矩形の検出を行い,
    前記第二領域において,前記第二の識別器を用い,車両パターンと当該車両パターンの背景パターンを捉えて,前記車両の車両矩形の検出を行い,
    前記第二領域において検出された前記車両矩形を補正し,
    前記第一の識別器を用いて検出した前記車両矩形,或いは,前記第二の識別器を用いて検出され,且つ補正された前記車両矩形に基づき,自車との衝突までの衝突予測時間を算出する,
    を備えることを特徴とする車両システム
  11. 請求項10に記載の車両システムであって,
    前記処理部は,
    前記画像中の車線の検出に基づき,前記第一領域および前記第二領域を設定する,
    ことを特徴とする車両システム
  12. 請求項10に記載の車両システムであって,
    前記処理部は,
    ヨーレートに基づき,前記第一領域および前記第二領域を設定する,
    ことを特徴とする車両システム。
  13. 請求項10に記載の車両システムであって,
    前記処理部は,
    前記衝突予測時間に応じて自車が前記車両に衝突する衝突危険度を算出し,
    算出した前記衝突危険度に応じて自車の衝突を回避するための制御を行う
    ことを特徴とする車両システム。
JP2011201660A 2011-09-15 2011-09-15 外界認識方法,装置,および車両システム Expired - Fee Related JP5690688B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2011201660A JP5690688B2 (ja) 2011-09-15 2011-09-15 外界認識方法,装置,および車両システム
EP12005298.0A EP2570963A3 (en) 2011-09-15 2012-07-19 Systems, devices, and methods for recognizing objects as perceived from a vehicle
US13/565,335 US20130073194A1 (en) 2011-09-15 2012-08-02 Vehicle systems, devices, and methods for recognizing external worlds
CN201210278896.0A CN102997900B (zh) 2011-09-15 2012-08-07 外界识别方法、装置以及车辆系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011201660A JP5690688B2 (ja) 2011-09-15 2011-09-15 外界認識方法,装置,および車両システム

Publications (3)

Publication Number Publication Date
JP2013061919A JP2013061919A (ja) 2013-04-04
JP2013061919A5 JP2013061919A5 (ja) 2014-06-05
JP5690688B2 true JP5690688B2 (ja) 2015-03-25

Family

ID=47076006

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011201660A Expired - Fee Related JP5690688B2 (ja) 2011-09-15 2011-09-15 外界認識方法,装置,および車両システム

Country Status (4)

Country Link
US (1) US20130073194A1 (ja)
EP (1) EP2570963A3 (ja)
JP (1) JP5690688B2 (ja)
CN (1) CN102997900B (ja)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103246896B (zh) * 2013-05-24 2016-02-10 成都方米科技有限公司 一种鲁棒性车辆实时检测与跟踪方法
KR20150044690A (ko) * 2013-10-17 2015-04-27 현대모비스 주식회사 Can 신호를 이용한 관심 영역 설정 장치 및 그 방법
WO2015182148A1 (ja) 2014-05-28 2015-12-03 京セラ株式会社 物体検出装置および物体検出装置を設置した車両
KR101551215B1 (ko) * 2014-05-28 2015-09-18 엘지전자 주식회사 차량 운전 보조 장치 및 이를 구비한 차량
US10192122B2 (en) * 2014-08-21 2019-01-29 Mitsubishi Electric Corporation Driving assist apparatus, driving assist method, and non-transitory computer readable recording medium storing program
JP6379967B2 (ja) * 2014-10-09 2018-08-29 株式会社デンソー 画像生成装置および画像生成方法
GB201818058D0 (en) 2015-05-18 2018-12-19 Mobileye Vision Technologies Ltd Safety system for a vehicle to detect and warn of a potential collision
US9581457B1 (en) 2015-12-03 2017-02-28 At&T Intellectual Property I, L.P. System and method for displaying points of interest on a heads-up display
US9889859B2 (en) * 2015-12-21 2018-02-13 Intel Corporation Dynamic sensor range in advanced driver assistance systems
JP6660751B2 (ja) * 2016-02-04 2020-03-11 日立オートモティブシステムズ株式会社 撮像装置
EP3435328A4 (en) * 2016-03-23 2019-11-13 Hitachi Automotive Systems, Ltd. OBJECT DETECTION DEVICE
JP6713349B2 (ja) * 2016-05-31 2020-06-24 クラリオン株式会社 画像処理装置、外界認識装置
CN106203381B (zh) * 2016-07-20 2019-05-31 北京奇虎科技有限公司 一种行车中障碍物检测方法与装置
US10248872B2 (en) 2016-10-19 2019-04-02 Texas Instruments Incorporated Estimation of time to collision in a computer vision system
CN107909037B (zh) * 2017-11-16 2021-06-29 百度在线网络技术(北京)有限公司 信息输出方法和装置
CN108242183B (zh) * 2018-02-06 2019-12-10 淮阴工学院 基于运动目标标记框宽度特性的交通冲突检测方法及装置
FR3077547A1 (fr) * 2018-02-08 2019-08-09 Renault S.A.S Systeme et procede de detection d'un risque de collision entre un vehicule automobile et un objet secondaire situe sur les voies de circulation adjacentes audit vehicule lors d'un changement de voie
KR102139590B1 (ko) * 2018-02-27 2020-07-30 주식회사 만도 교차로에서의 차량 자동 긴급 제동 시스템 및 방법
CN112602091A (zh) * 2018-07-30 2021-04-02 优创半导体科技有限公司 使用针对不同图像场训练的多个神经网络进行物体检测
JP2020154384A (ja) * 2019-03-18 2020-09-24 いすゞ自動車株式会社 衝突確率算出装置、衝突確率算出システムおよび衝突確率算出方法
CN110647801A (zh) * 2019-08-06 2020-01-03 北京汽车集团有限公司 设置感兴趣区域的方法、装置、存储介质及电子设备
JP7161981B2 (ja) * 2019-09-24 2022-10-27 Kddi株式会社 対象追跡手段の切り替えが可能な対象追跡プログラム、装置及び方法
JP7446756B2 (ja) 2019-10-02 2024-03-11 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP6932758B2 (ja) * 2019-10-29 2021-09-08 三菱電機インフォメーションシステムズ株式会社 物体検出装置、物体検出方法、物体検出プログラム、学習装置、学習方法及び学習プログラム
JP7359735B2 (ja) * 2020-04-06 2023-10-11 トヨタ自動車株式会社 物体状態識別装置、物体状態識別方法及び物体状態識別用コンピュータプログラムならびに制御装置
CN113317782B (zh) * 2021-04-20 2022-03-22 港湾之星健康生物(深圳)有限公司 多模个性化监测的方法
CN115415181B (zh) * 2022-07-28 2024-04-23 中国电子科技集团公司第二十九研究所 一种沉头铆钉凸轮式筛选工具及使用方法
DE102023003260A1 (de) * 2022-09-13 2024-03-14 Sew-Eurodrive Gmbh & Co Kg Verfahren zur Detektion eines Objekts durch ein mobiles System

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7359782B2 (en) * 1994-05-23 2008-04-15 Automotive Technologies International, Inc. Vehicular impact reactive system and method
US7783403B2 (en) * 1994-05-23 2010-08-24 Automotive Technologies International, Inc. System and method for preventing vehicular accidents
JP3757500B2 (ja) 1996-11-13 2006-03-22 日産自動車株式会社 先行車追従装置
JP4414054B2 (ja) * 2000-03-27 2010-02-10 本田技研工業株式会社 物体認識装置
JP3671825B2 (ja) * 2000-09-22 2005-07-13 日産自動車株式会社 車間距離推定装置
US6859705B2 (en) * 2001-09-21 2005-02-22 Ford Global Technologies, Llc Method for operating a pre-crash sensing system with object classifier in a vehicle having a countermeasure system
US7124027B1 (en) * 2002-07-11 2006-10-17 Yazaki North America, Inc. Vehicular collision avoidance system
JP2003203298A (ja) * 2002-12-11 2003-07-18 Honda Motor Co Ltd 走行区分線認識装置を備えた自動走行車両
JP4123138B2 (ja) 2003-11-21 2008-07-23 株式会社日立製作所 車両検知方法及び車両検知装置
US7702425B2 (en) * 2004-06-07 2010-04-20 Ford Global Technologies Object classification system for a vehicle
US7466860B2 (en) * 2004-08-27 2008-12-16 Sarnoff Corporation Method and apparatus for classifying an object
US7639841B2 (en) * 2004-12-20 2009-12-29 Siemens Corporation System and method for on-road detection of a vehicle using knowledge fusion
JP2007072665A (ja) * 2005-09-06 2007-03-22 Fujitsu Ten Ltd 物体判別装置、物体判別方法および物体判別プログラム
US7724962B2 (en) * 2006-07-07 2010-05-25 Siemens Corporation Context adaptive approach in vehicle detection under various visibility conditions
JP4985142B2 (ja) * 2007-06-26 2012-07-25 株式会社日本自動車部品総合研究所 画像認識装置および画像認識装置の画像認識処理方法
JP5283967B2 (ja) * 2008-05-14 2013-09-04 日立オートモティブシステムズ株式会社 車載用物体検知装置
US8385599B2 (en) * 2008-10-10 2013-02-26 Sri International System and method of detecting objects
CN101447082B (zh) * 2008-12-05 2010-12-01 华中科技大学 一种运动目标实时检测方法
CN101477628A (zh) * 2009-01-06 2009-07-08 青岛海信电子产业控股股份有限公司 车辆阴影去除方法和装置
US8395529B2 (en) * 2009-04-02 2013-03-12 GM Global Technology Operations LLC Traffic infrastructure indicator on head-up display
US8072686B2 (en) * 2009-04-02 2011-12-06 GM Global Technology Operations LLC UV laser beamlett on full-windshield head-up display
US8317329B2 (en) * 2009-04-02 2012-11-27 GM Global Technology Operations LLC Infotainment display on full-windshield head-up display
US8358224B2 (en) * 2009-04-02 2013-01-22 GM Global Technology Operations LLC Point of interest location marking on full windshield head-up display
US7924146B2 (en) * 2009-04-02 2011-04-12 GM Global Technology Operations LLC Daytime pedestrian detection on full-windscreen head-up display
US8350724B2 (en) * 2009-04-02 2013-01-08 GM Global Technology Operations LLC Rear parking assist on full rear-window head-up display
US8384532B2 (en) * 2009-04-02 2013-02-26 GM Global Technology Operations LLC Lane of travel on windshield head-up display
US8269652B2 (en) * 2009-04-02 2012-09-18 GM Global Technology Operations LLC Vehicle-to-vehicle communicator on full-windshield head-up display
US8427395B2 (en) * 2009-04-02 2013-04-23 GM Global Technology Operations LLC Full-windshield hud enhancement: pixelated field of view limited architecture
US8344894B2 (en) * 2009-04-02 2013-01-01 GM Global Technology Operations LLC Driver drowsy alert on full-windshield head-up display
US8482486B2 (en) * 2009-04-02 2013-07-09 GM Global Technology Operations LLC Rear view mirror on full-windshield head-up display
US8384531B2 (en) * 2009-04-02 2013-02-26 GM Global Technology Operations LLC Recommended following distance on full-windshield head-up display
US8330673B2 (en) * 2009-04-02 2012-12-11 GM Global Technology Operations LLC Scan loop optimization of vector projection display
US8564502B2 (en) * 2009-04-02 2013-10-22 GM Global Technology Operations LLC Distortion and perspective correction of vector projection display
US8547298B2 (en) * 2009-04-02 2013-10-01 GM Global Technology Operations LLC Continuation of exterior view on interior pillars and surfaces
US8164543B2 (en) * 2009-05-18 2012-04-24 GM Global Technology Operations LLC Night vision on full windshield head-up display
US9429943B2 (en) * 2012-03-05 2016-08-30 Florida A&M University Artificial intelligence valet systems and methods

Also Published As

Publication number Publication date
US20130073194A1 (en) 2013-03-21
CN102997900B (zh) 2015-05-13
JP2013061919A (ja) 2013-04-04
EP2570963A3 (en) 2014-09-03
EP2570963A2 (en) 2013-03-20
CN102997900A (zh) 2013-03-27

Similar Documents

Publication Publication Date Title
JP5690688B2 (ja) 外界認識方法,装置,および車両システム
EP2889641B1 (en) Image processing apparatus, image processing method, program and image processing system
US7542835B2 (en) Vehicle image processing device
US11461595B2 (en) Image processing apparatus and external environment recognition apparatus
JP6795027B2 (ja) 情報処理装置、物体認識装置、機器制御システム、移動体、画像処理方法およびプログラム
JP4708124B2 (ja) 画像処理装置
WO2016129403A1 (ja) 物体検知装置
JP5178276B2 (ja) 画像認識装置
WO2015163078A1 (ja) 外界認識装置
KR101240499B1 (ko) 실시간 차선 인식 및 차량 검출 장치 및 방법
US20180336701A1 (en) Image processing device, object recognizing device, device control system, moving object, image processing method, and computer-readable medium
JP2006018751A (ja) 車両用画像処理装置
KR101103526B1 (ko) 스테레오 카메라를 이용한 충돌회피 방법
US20200074212A1 (en) Information processing device, imaging device, equipment control system, mobile object, information processing method, and computer-readable recording medium
US9842283B2 (en) Target object detection system and a method for target object detection
US10546383B2 (en) Image processing device, object recognizing device, device control system, image processing method, and computer-readable medium
JP2008117073A (ja) 割り込み車両検出装置
JP6733302B2 (ja) 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
US11527075B2 (en) Information processing apparatus, imaging apparatus, apparatus control system, movable object, information processing method, and computer-readable recording medium
KR20140104516A (ko) 차선 인식 방법 및 장치
JP6631691B2 (ja) 画像処理装置、機器制御システム、撮像装置、画像処理方法、及び、プログラム
JP6533244B2 (ja) 対象物検知装置、対象物検知方法、及び対象物検知プログラム
JP4432730B2 (ja) 車両用道路標示検出装置
JP6969245B2 (ja) 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法、及び、情報処理プログラム
EP3540643A1 (en) Image processing apparatus and image processing method

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140418

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140418

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20141027

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150108

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150120

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150202

R150 Certificate of patent or registration of utility model

Ref document number: 5690688

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees