JP6225820B2 - 車両用対象物検出装置 - Google Patents

車両用対象物検出装置 Download PDF

Info

Publication number
JP6225820B2
JP6225820B2 JP2014097932A JP2014097932A JP6225820B2 JP 6225820 B2 JP6225820 B2 JP 6225820B2 JP 2014097932 A JP2014097932 A JP 2014097932A JP 2014097932 A JP2014097932 A JP 2014097932A JP 6225820 B2 JP6225820 B2 JP 6225820B2
Authority
JP
Japan
Prior art keywords
situation
vehicle
classification
location
determined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014097932A
Other languages
English (en)
Other versions
JP2015215749A (ja
Inventor
裕子 中村
裕子 中村
鈴木 孝光
孝光 鈴木
加藤 香平
香平 加藤
健史 山元
健史 山元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2014097932A priority Critical patent/JP6225820B2/ja
Publication of JP2015215749A publication Critical patent/JP2015215749A/ja
Application granted granted Critical
Publication of JP6225820B2 publication Critical patent/JP6225820B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、車両で用いられ、検出対象として設定された対象物を検出する車両用対象物検出装置に関する。
カメラで撮像した画像を用いて物体を検出する技術が知られている(たとえば、特許文献1)。特許文献1に開示されているように、カメラで撮像した画像を用いて物体を検出するためには、撮像した全体の画像から部分画像を順次切り出し、切り出した部分画像とテンプレート画像との一致度を計算する。一致度が閾値以上であれば、部分画像には、テンプレート画像が示している物体が写っているとする。
特開2008−123113号公報
テンプレート画像は物体別に備える必要がある。また、同じ種類の物体であっても、様々な形状がある場合も多いので、一種類の物体に対して複数のテンプレート画像が備えられることもある。したがって、複数種類の物体を認識しようとすると、少なくとも、認識しようとする物体の種類数と同じ数のテンプレート画像が必要であり、認識しようとする物体の種類数よりもずっと多い数のテンプレート画像が必要になる場合もある。
物体認識装置を、検出対象として設定された対象物を検出するために車両で用いる場合、できるだけ短時間で物体検出を行う必要がある。以下、対象物検出のために車両で用いる物体認識装置を、車両用対象物検出装置という。車両の周囲には多くの種類の物体が存在するため、車両用対象物検出装置は、多くの種類の対象物を検出する必要がある。したがって、すべての対象物に対するテンプレート画像と部分画像との一致を判定すると、演算量が膨大になる。
このように、従来、車両用対象物検出装置は、膨大な演算量を短時間で行う必要があることから、処理速度の速い高価な演算装置が必要であるという問題があった。
本発明は、この事情に基づいて成されたものであり、その目的とするところは、演算量を抑えつつ、画像から対象物を検出することができる車両用対象物検出装置を提供することにある。
上記目的は独立請求項に記載の特徴の組み合わせにより達成され、また、下位請求項は、発明の更なる有利な具体例を規定する。特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本発明の技術的範囲を限定するものではない。
上記目的を達成するための第1発明は、車両で用いられ、車両外部を撮像するカメラ(10)と、カメラが撮像した画像に対して、車両の走行にとって障害となり得る対象物の種類別に、テンプレート画像との一致度を判定するマッチング処理を行って、対象物を検出する対象物検出処理部(61)と、車両の現在の状況が、対象物の種類を定めるために区分された複数の状況区分のうちの、どの状況区分に属しているかを決定する状況区分決定部(62)とを備え、状況区分決定部は、車両の現在位置が、対象物の種類に基づいて区分された複数の場所区分のうち、どの場所区分に属しているかを、状況区分として決定し、対象物検出処理部は、状況区分決定部が決定した状況区分に基づいて定まる種類の対象物に対して優先して、マッチング処理を行う車両用対象物検出装置であって、状況区分決定部は、対象物の種類に関係する場所区分を示す道路標識を画像から取得し、取得した道路標識に基づいて場所区分を決定することを特徴とする車両用対象物検出装置である
第2発明は、車両で用いられ、車両外部を撮像するカメラ(10)と、カメラが撮像した画像に対して、車両の走行にとって障害となり得る対象物の種類別に、テンプレート画像との一致度を判定するマッチング処理を行って、対象物を検出する対象物検出処理部(61)と、車両の現在の状況が、対象物の種類を定めるために区分された複数の状況区分のうちの、どの状況区分に属しているかを決定する状況区分決定部(62)とを備え、状況区分決定部は、車両の現在位置が、対象物の種類に基づいて区分された複数の場所区分のうち、どの場所区分に属しているかを、状況区分として決定し、対象物検出処理部は、状況区分決定部が決定した状況区分に基づいて定まる種類の対象物に対して優先して、マッチング処理を行う車両用対象物検出装置であって、状況区分決定部は、車両の現在位置と、場所区分を備えている道路地図データとに基づいて、場所区分を決定することを特徴とする車両用対象物検出装置である。
第3発明は、車両で用いられ、車両で用いられ、車両外部を撮像するカメラ(10)と、カメラが撮像した画像に対して、車両の走行にとって障害となり得る対象物の種類別に、テンプレート画像との一致度を判定するマッチング処理を行って、対象物を検出する対象物検出処理部(61)と、車両の現在の状況が、対象物の種類を定めるために区分された複数の状況区分のうちの、どの状況区分に属しているかを決定する状況区分決定部(62)とを備え、状況区分決定部は、車両の現在位置が、対象物の種類に基づいて区分された複数の場所区分のうち、どの場所区分に属しているかを、状況区分として決定し、対象物検出処理部は、状況区分決定部が決定した状況区分に基づいて定まる種類の対象物に対して優先して、マッチング処理を行う車両用対象物検出装置であって、場所区分には、人との事故に注意すべき区間と、車との事故に注意すべき区間とが区別された事故注意区間が含まれており、状況区分決定部は、車両の現在位置が、事故注意区間に入っている場合には、場所区分が事故注意区間であると決定し、対象物検出処理部は、優先度が高い対象物から順にテンプレート画像との評価値を算出し、評価値が閾値以上であれば、評価値が閾値以上となった部分画像に対して、それよりも優先度の低いテンプレート画像との評価値は算出しないようになっており、場所区分が、人との事故に注意すべき事故注意区間に決定された場合には、人の優先度を車よりも高くし、場所区分が、車との事故に注意すべき事故注意区間に決定された場合には、車の優先度を人よりも高くすることを特徴とする車両用対象物検出装置である。
本発明によれば、状況区分決定部が決定した状況区分に基づいて定まる種類の対象物に対して優先してマッチング処理を行うことから、優先度の低い対象物に対してマッチング処理を行うことが少なくなるので、演算量を抑えることができる。
第1実施形態の車両用対象物検出装置1の構成を示すブロック図である。 図1の対象物検出処理部61、状況区分決定部62が実行する処理を示すフローチャートである。 図2のステップS1の処理を示すフローチャートである。 図3のステップS14の処理を示すフローチャートである。 図2のステップS5の処理を示すフローチャートである。 第2実施形態の対象物検出装置100の構成を示すブロック図である。 第2実施形態で、図3に代えて実行する処理を示すフローチャートである。
以下、本発明の実施形態を図面に基づいて説明する。本発明の第1実施形態となる車両用対象物検出装置1(以下、対象物検出装置1)は、図1に示す構成を備える。この対象物検出装置1は図示しない車両に搭載される。対象物検出装置1を搭載した車両を、以下、自車両という。
対象物検出装置1は、カメラ10、位置検出部20、無線通信部30、表示部40、スピーカ50、ECU60を備える。
カメラ10は、車室内などに設置されて、自車両の前方を撮像する。このカメラ10は、単眼カメラであっても、ステレオカメラであってもよい。
位置検出部20は、自車両の現在位置を逐次検出する。たとえば、位置検出部20は、GNSS(Global Navigation Satellite System)が備える衛星からの電波を受信するGNSS受信装置を備えている。このGNSS受信装置が受信した信号に基づいて、現在位置を検出する。
無線通信部30は、公衆通信回線網を利用する広域無線通信により車両外部と無線通信を行い、天候等の種々の情報を受信する。
表示部40は、自車両の運転者が視認可能な位置に設置されており、表示画面を備える。この表示画面には、ECU60が検出した対象物の存在を知らせる文字や図形が表示される。スピーカ50は、ECU60が検出した対象物の存在を知らせる音を出力する。
ECU60は、周知のCPU、ROM、RAMを備える。また、ROM、RAMとは別の記憶部63も備える。記憶部63は、書き換え可能なROMであり、例えばフラッシュメモリである。この記憶部63あるいはROMには、CPUが種々の処理を実行するためのプログラムが記憶されている。CPUは、RAMの一時記憶機能を利用しつつ、ROMあるいは記憶部63に記憶されているプログラムを実行することで、対象物検出処理部61、状況区分決定部62として機能する。これら対象物検出処理部61、状況区分決定部62が実行する処理は、図2以降を用いて後述する。なお、CPUが実行する機能の一部または全部を、一つあるいは複数のIC等によりハードウェア的に構成してもよい。
また、記憶部63には、対象物検出装置1が検出すべき物体の特徴量が、物体別に記憶されている。この特徴量は、SIFT(Scale-Invariant Feature Transform)や、HOG(Histograms of Oriented Gradients)など、画像から物体を検出するために用いられる公知の特徴量である。なお、特徴量は、一つの数値ではなく、複数の数値の組み合わせからなるn次元の量である。
検出すべき物体には、車両の走行にとって障害となり得る対象物(以下、単に対象物)と、道路標識、道路標示がある。道路標示、道路標識は、道路やその周辺で用いられている全ての道路標識、道路標示が検出すべき物体ではなく、後述する道路区分を決定することができる予め定められた一部の道路標識、道路標示に限られる。
対象物は、人、犬や猫などのペット、鹿などの野生動物、四輪車、オートバイ、自転車、荷物などであり、予め設定されている。これらの対象物別に、テンプレート画像から予め計算された特徴量が、記憶部63に記憶されている。また、これらの対象物は、一般物体認識を行うため、1種類の対象物であっても、複数通りのテンプレート画像に基づいて、複数種類の特徴量が記憶されている。一例を挙げると、人については、大人と子供の別に、傘を差している状態と、傘を差していない状態の特徴量などが記憶されている。また、子供については、ランドセルを背負った状態と、ランドセルを背負っていない状態の特徴量なども記憶されている。これらは一例であり、一般物体認識においては、一種類の対象物に対して多くのテンプレート画像が必要である。本実施形態のように、特徴量によりテンプレート画像の特徴を表す場合には、テンプレート画像の数に対応した数の特徴量が記憶部63に記憶されている。
これに対して、道路標識、道路標示は、同じ種類であれば、形、色、大きさなどは決まっているため、1つの道路標識、道路標示について1つの特徴量のみが記憶されている。特徴量が記憶されている道路標識、道路標示は、場所区分を決定することができる道路標識、道路標示である。場所区分は、対象物の種類や優先度が異なることに基づいて区分されている。場所区分を例示すると、たとえば、市街地、自動車専用道路、山道、通学路などがある。
市街地では、野生動物はほとんど道路に飛び出してくる可能性はないことから、対象物ではない。自動車専用道路では、自転車、犬、猫などのペットは対象物ではない。山道でもペットは対象物ではない。また、通学路では、大人よりも子供の優先度が高い。これらの場所区分を決定することができる道路標識、道路標示を例示すると、道路標識の「自動車専用」、「学校、幼稚園、保育所あり」「通学路」、「動物が飛び出すおそれあり」や、道路標示の「スクールゾーン」などがある。道路標識「自動車専用」は、場所区分を自動車専用道路と決定することができる。道路標識「学校、幼稚園、保育所あり」や道路標示「スクールゾーン」は場所区分を通学路と決定することができる。道路標識「動物が飛び出すおそれあり」は場所区分を山道と決定することができる。補助標識「市内全域」は場所区分を市街地と決定することができる。記憶部63には、特徴量を記憶した道路標識、道路標示と、場所区分の対応関係も記憶されている。
次に、ECU60が実行する処理を図2以下を用いて説明するECU60は、図2に示す処理を、自車両が前進走行している間、繰り返し実行する。図2において、ステップS1〜S3は状況区分決定部62が実行する処理であり、ステップS4、S5は対象物検出処理部61が実行する処理である。
ステップS1では、場所区分を決定する。このステップS1の処理は図3、図4に詳しく示している。図3に示すように、場所区分決定処理では、まず、ステップS11で、位置検出部20から現在置を取得する。ステップS12では、有効な場所区分があるか否かを判断する。この判断は、後述するステップS14で場所区分を更新した地点と、ステップS11で取得した現在位置との比較に基づいて行う。たとえば、ステップS14で場所区分を更新した地点からの距離が予め設定された一定距離以下であれば、ステップS14で更新した場所区分は有効であると判断する。
また、ステップS14で場所区分なしと決定している場合には、有効な場所区分はないと判断する。ステップS12の判断結果がYESであれば、ステップS13に進む。ステップS13では、現在の場所区分を保持する。
これに対して、ステップS12の判断結果がNOであれば、ステップS14に進む。ステップS14では、場所区分更新処理を行う。この場所区分更新処理は、図4に詳しく示す。
図4において、ステップS141では、カメラ10が撮像した画像(以下、撮像画像)を取得する。ステップS142では、場所区分を決定するために予め設定されている道路標識、道路標示のうち、予め設定された最初にマッチングを行う道路標識または道路標示を選択する。
ステップS143では、ステップS141で取得した撮像画像から、予め設定された範囲を部分画像として切り出す。ステップS144では、ステップS143で切り出した部分画像の特徴量を算出する。特徴量の算出は、記憶部63に記憶されている特徴量と同じ方法で行う。
ステップS145では、ステップS142で選択した道路標識あるいは道路標示に対して記憶部63に記憶されている特徴量と、ステップS144で算出した特徴量とから、評価値を算出する。評価値は、2つの特徴量から評価値を算出する公知の方法により算出する。たとえば、SIFTにより特徴量を算出している場合には、評価値は、テンプレート画像を記述するn次元の特徴量と部分画像を記述するn次元の特徴量において、次元別に他方の特徴量と対応している数を求めることで決定する。
ステップS146では、ステップS145で算出した評価値が予め設定された閾値以上であるか否かを判断する。この判断がYESであればステップS147に進む。ステップS147では、現在選択している道路標識あるいは道路標示を検出したと決定する。続くステップS148では、ステップS147で決定した道路標識あるいは道路標示と、記憶部63に記憶されている道路標識、道路標示と場所区分との対応関係とを用いて場所区分を更新する。
ステップS149では、ステップS11で取得した現在位置を、場所区分を更新した地点として記憶する。
ステップS146で評価値が閾値よりも小さいと判断した場合(S146:NO)には、ステップS150に進む。ステップS150では、次のマッチングを行う道路標識、道路標示があるか否かを判断する。この判断結果がYESであればステップS151に進む。ステップS151では、マッチングを行うテンプレート画像を、次の道路標識または道路標示のテンプレート画像に変更する。その後、前述したステップS145以下を再び実行する。これにより、ステップS143で切り出した部分画像が、ステップS151で更新したテンプレート画像の道路標識あるいは道路標示であるかを判断することになる。
ステップS150の判断結果がNOであればステップS152に進む。ステップS152では、直前のステップS143で切り出した部分画像内には道路標識および道路標示はないとする。続くステップS153では、部分画像の切り出しが終了したか否かを判断する。この判断がNOであれば、ステップS154に進む。
ステップS154では、切り出し範囲を更新する。更新後の切り出し範囲は、更新前の切り出し範囲と一部重複し、更新前の切り出し範囲に対して一定方向に一定量ずれた範囲である。一定方向を、ここでは右方向とする。更新前の切り出し範囲が撮像画像の右端に位置している場合には、切り出し範囲を、撮像画像の左端であって、部分画像の大きさだけ上または下にずらした範囲とする。
切り出し範囲を更新したらステップS143に戻り、更新した切り出し範囲の部分画像内に、道路標識、道路標示があるか否かを判断する。全ての部分画像内に、道路標示、道路が検出できないまま切り出しが終了した場合(S153:YES)には、ステップS155に進む。ステップS155では、場所区分なしに決定する。ステップS149またはステップS155を実行した場合には、図2のステップS2へ進む。
ステップS2では、時間区分を決定する。時間区分は、本実施形態では、GNSS受信装置が受信する信号に含まれている航法メッセージを用いて決定する。時間区分も場所区分と同様、対象物の種類や優先度が異なることに基づいて区分されている。時間区分を例示すると、たとえば、一日の中での区分である登下校の時間帯と、登下校の時間帯ではない時間帯とがある。登下校の時間帯であれば、ランドセルを背負った状態の子供の優先度が、ランドセルを背負っていない状態の子供の優先度よりも高くなる。登下校の時間帯ではない時間帯では、反対に、ランドセルを背負った状態の子供の優先度よりも、ランドセルを背負っていない状態の子供の優先度が高くなっている。
ステップS3では、天候区分を決定する。天候区分は、本実施形態では、無線通信部30を介して自車両の外部から取得する天候に基づいて決定する。天候区分も、対象物の種類や優先度が異なることに基づいて区分されている。たとえば、雨天および雪の場合には、傘を差した人のテンプレート画像の優先度を、傘を差していない人のテンプレート画像の優先度よりも高くする。晴天や曇の場合には、反対に、傘を差していない人のテンプレート画像の優先度を、傘を差している人のテンプレート画像の優先度よりも高くする。
ステップS4では、ステップS1〜S3で決定した状況区分、すなわち、場所区分、時間区分、天候区分を用いて、対象物の検出に用いるテンプレート画像の絞り込みを行い、さらに、絞り込んだ複数テンプレート画像に対して、優先度の決定を行う。優先度は、ステップS1〜S3で決定した場所区分、時間区分、天候区分から、所定の演算式を用いて演算してもよいし、場所区分、時間区分、天候区分の組み合わせ別に、優先度を予め決定しておいてもよい。
ステップS5ではマッチング処理を行う。このマッチング処理では、図5に示す処理を実行する。図5のステップS501では、カメラ10から撮像画像を取得する。ステップS502では、マッチングを行う対象物のうち、ステップS4で決定した優先度が最も高い対象物を選択する。
ステップS503、S504、S505の処理は、図4のステップS143、S144、S145と同じであり、部分画像を切り出し、その部分画像の特徴量を算出する。そして、その特徴量と、選択中の対象物に対して記憶部63に記憶されている特徴量とから、評価値を算出する。この評価値は、対象物のテンプレート画像と部分画像との一致度を表している。
ステップS506では、ステップS505で算出した評価値が予め設定された閾値以上であるか否かを判断する。この判断がYESであればステップS507に進む。ステップS507では、現在選択している対象物を検出したとする。ステップS507を実行後は、ステップS508に進む。
ステップS508では、部分画像の切り出しが終了したか否かを判断する。図4の場所区分更新処理とは異なり、1つの撮像画像から複数の対象物が検出できる可能性もあるので、ステップS507で対象物を検出したと決定しても、全ての部分画像を切り出すのである。
ステップS508の判断結果がYESであれば、図5の処理を終了し、判断結果がNOであればステップS509に進む。ステップS509では、切り出し範囲を更新する。このステップS509の処理は図4のステップS154の処理と同じである。ステップS509を実行した後は、ステップS503に戻り、評価値の算出等を行う。
ステップS506の判断結果がNOであればステップS510に進む。ステップS510では、現在選択中の対象物に、別のテンプレート画像があり、その別のテンプレート画像から算出された特徴量が記憶部63に記憶されているかを判断する。1つの種類の対象物でも、複数種類のテンプレート画像をもとにして複数種類の特徴量が算出されていることもあるので、このステップS510の判断を行うのである。ステップS510の判断結果がYESであればステップS511に進む。ステップS511では、選択中の対象物の別の特徴量に変更する。その後、ステップS505に戻る。
ステップS510の判断結果がNOであればステップS512に進む。ステップS512では、次の優先度の対象物があるか否かを判断する。この判断結果がYESであればステップS513に進む。ステップS513では、マッチングを行う対象物を、次に優先度が高い対象物に変更する。その後、ステップS505に戻る。
ステップS512の判断で次の対象物がないと判断した場合(S512:NO)には、ステップS514に進む。ステップS514では、現在の部分画像内には対象物はないと決定する。その後、前述したステップS508に進む。そして、切り出しが終了すれば、マッチング処理は終了する。
マッチング処理の結果、対象物が検出できた場合には、検出できた対象物に応じた処理を行う。たとえば、人が検出できた場合には、撮像画像を表示部40に表示するとともに、検出した人を枠で囲う等により強調表示する。
<第1実施形態の効果>
以上、説明した本実施形態によれば、マッチング処理(S5)を行って、対象物のテンプレート画像と部分画像との一致度を判定して(S505、S506)、対象物を検出する(S507)。しかし、記憶部63に対象物別に記憶している全てのテンプレート画像と部分画像との評価値を算出するのではなく、評価値を算出するテンプレート画像の絞り込みと優先度の決定を、状況区分である場所区分、時間区分、天候区分に基づいて行う(S4)。
絞り込みにより除外されたテンプレート画像については部分画像との評価値を算出しないので、演算量を抑えることができる。また、優先度が高い対象物から順に評価値を算出し(S502、S505、S512、S513)、評価値が閾値以上であれば(S506:YES)、評価値が閾値以上となった部分画像に対して、それよりも優先度の低いテンプレート画像との評価値は算出しない。これによっても、演算量を抑えることができる。
また、本実施形態では、場所区分は、道路標識および道路標示を撮像画像から検出することで決定している(S14)。1種類の道路標識あるいは道路標示からは、1つのテンプレート画像に基づく1つの特徴量が定まる。したがって、対象物と同様に、評価値を算出しているが、この評価値を算出する処理は、1種類の対象物に対して複数の特徴量が存在する対象物について評価値を算出するよりも演算量は少ない。この少ない演算量により、対象物の絞り込みができるので、道路標識や道路標示を検出するために評価値を算出しても、演算量を抑えることができる。
<第2実施形態>
次に、第2実施形態を説明する。この第2実施形態以下の説明において、それまでに使用した符号と同一番号の符号を有する要素は、特に言及する場合を除き、それ以前の実施形態における同一符号の要素と同一である。また、構成の一部のみを説明している場合、構成の他の部分については先に説明した実施形態を適用できる。
第2実施形態の対象物検出装置100は、図6に示すように、外部記憶装置70を備える。外部記憶装置70には道路地図データが記憶されている。この道路地図データには、前述した場所区分が予め設定されている。場所区分は、第1実施形態で説明した市街地、自動車専用道路、山道、通学路などに加えて、交通事故に注意すべき区間を意味する事故注意区間も含まれている。事故注意区間は、人との事故に注意すべき区間と、車との事故に注意すべき区間とが区別されている。
そして、第2実施形態の対象物検出装置100は、図3の処理に代えて、図7に示す処理を実行して場所区分を決定する。図7において、ステップS111では、位置検出部20から現在位置を取得する。ステップS112では、外部記憶装置70に記憶されている道路地図データを参照して、ステップS111で取得した現在位置の場所区分を判定する。そして、ステップS113では、ステップS112で判定した場所区分を、現在の場所区分に決定する。
このようにして場所区分を決定した後は、第1実施形態と同じようにして時間区分、天候区分を決定し(S2、S3)、それら場所区分、時間区分、天候区分に基づいて、テンプレート画像の絞り込みと優先度の決定を行う(S4)。
なお、場所区分を、人に対する事故注意区間に決定した場合には、人の優先度を車よりも高くし、場所区分を、車に対する事故注意区間に決定した場合には、車の優先度を人よりも高くする。
<第2実施形態の効果>
この第2実施形態では、道路地図データと現在位置とから場所区分を決定するので、道路標識や道路標示のテンプレート画像と部分画像とのマッチングを行って場所区分を決定する第1実施形態よりもさらに演算量を抑えることができる。
加えて、次の利点もある。道路標識や道路標示を用いる場合には、場所区分に対応した道路標識や道路標示が存在していないと場所区分を決定することができない。しかし、道路地図データを用いる場合には、全ての地点に対して場所区分を対応させておけば、現在位置が検出できれば、場所区分を決定することができる。
以上、本発明の実施形態を説明したが、本発明は上述の実施形態に限定されるものではなく、次の変形例も本発明の技術的範囲に含まれ、さらに、下記以外にも要旨を逸脱しない範囲内で種々変更して実施できる。
<変形例1>
たとえば、前述の実施形態では、撮像画像の全体を対象として、対象物を検出していたが、撮像画像の一部のみを対象物を検出する範囲としてもよい。
<変形例2>
また、ミリ波、レーザなどの電磁波をカメラ10の撮像範囲に照射して、物体までの距離を検出する距離センサを備え、自車両との距離が一定の物体に限定して、対象物を決定する処理を行ってもよい。この場合の対象物を決定する処理は、距離センサの検出結果から、部分画像を切り出す範囲を決定し、決定した部分画像に対して、図5のステップS503〜S507、S510〜S514の処理を実行する。
<変形例3>
前述の実施形態では、テンプレート画像から予め算出した特徴量を記憶部63に記憶していたが、テンプレート画像を記憶部63に記憶しておき、このテンプレート画像と部分画像との一致度を、相互相関値やユークリッド距離などにより計算してもよい。
<変形例4>
第1実施形態では、場所区分を更新してから一定距離以下であれば、その場所区分が有効であると判断していた(S12)。しかし、これに限られず、場所区分を更新してから通過した交差点の数が一定数以下であれば、場所区分が有効であると判断してもよい。
<変形例5>
前述の実施形態では、時間区分として、一日の中での時間帯を区分した例を示したが、平日と休日のように、一日を単位として時間区分を決定してもよい。
<変形例6>
前述の実施形態では、状況区分に基づいて、テンプレート画像の絞り込みと、優先度の決定を行っていた(S4)。しかし、状況区分に基づいて、テンプレート画像の絞り込みと、優先度の決定のいずれか一方のみを行ってもよい。
<変形例7>
前述の実施形態では、状況区分として、場所区分、時間区分、天候区分の3つを決定していたが、これら3つの区分のうちいずれか1つ、あるいは2つのみを決定してもよい。
<変形例8>
前述の実施形態では、カメラ10は、車両前方を撮像していたが、車両後方を撮像してもよい。
<変形例9−12>
第2実施形態では、場所区分が設定されている道路地図データを外部記憶装置70に格納していたが、この道路地図データを車両外部の装置に格納しておき、無線通信部30を介して、その車両外部の装置から場所区分を取得してもよい(変形例9)。また、事故注意区間が、場所区分のみではなく、時間区分と天候区分も条件として定まるようになっていてもよい(変形例10)。また、第1実施形態において、道路やその付近に示された事故注意の標識を撮像画像から検出することで、事故注意区間であると決定しもよい(変形例11)。また、道路標識、道路標示から場所区分を決定することができるようにするとともに、道路地図データからも場所区分を決定できるようにしてもよい(変形例12)。この場合、道路地図データには、全ての地点に対して場所区分を対応させて置く必要はない。
1:車両用対象物検出装置、 10:カメラ、 20:位置検出部、 30:無線通信部、 40:表示部、 50:スピーカ、 60:ECU、 61:対象物検出処理部、 62:状況区分決定部、 63:記憶部、 70:外部記憶装置、 100:対象物検出装置

Claims (6)

  1. 車両で用いられ、
    車両外部を撮像するカメラ(10)と、
    前記カメラが撮像した画像に対して、前記車両の走行にとって障害となり得る対象物の種類別に、テンプレート画像との一致度を判定するマッチング処理を行って、前記対象物を検出する対象物検出処理部(61)と、
    前記車両の現在の状況が、前記対象物の種類を定めるために区分された複数の状況区分のうちの、どの前記状況区分に属しているかを決定する状況区分決定部(62)とを備え、
    前記状況区分決定部は、前記車両の現在位置が、前記対象物の種類に基づいて区分された複数の場所区分のうち、どの前記場所区分に属しているかを、前記状況区分として決定し、
    前記対象物検出処理部は、前記状況区分決定部が決定した前記状況区分に基づいて定まる種類の対象物に対して優先して、前記マッチング処理を行う車両用対象物検出装置であって、
    前記状況区分決定部は、前記対象物の種類に関係する前記場所区分を示す道路標識を前記画像から取得し、取得した道路標識に基づいて前記場所区分を決定することを特徴とする車両用対象物検出装置。
  2. 車両で用いられ、
    車両外部を撮像するカメラ(10)と、
    前記カメラが撮像した画像に対して、前記車両の走行にとって障害となり得る対象物の種類別に、テンプレート画像との一致度を判定するマッチング処理を行って、前記対象物を検出する対象物検出処理部(61)と、
    前記車両の現在の状況が、前記対象物の種類を定めるために区分された複数の状況区分のうちの、どの前記状況区分に属しているかを決定する状況区分決定部(62)とを備え、
    前記状況区分決定部は、前記車両の現在位置が、前記対象物の種類に基づいて区分された複数の場所区分のうち、どの前記場所区分に属しているかを、前記状況区分として決定し、
    前記対象物検出処理部は、前記状況区分決定部が決定した前記状況区分に基づいて定まる種類の対象物に対して優先して、前記マッチング処理を行う車両用対象物検出装置であって、
    前記状況区分決定部は、前記車両の現在位置と、前記場所区分を備えている道路地図データとに基づいて、前記場所区分を決定することを特徴とする車両用対象物検出装置。
  3. 車両で用いられ、
    車両外部を撮像するカメラ(10)と、
    前記カメラが撮像した画像に対して、前記車両の走行にとって障害となり得る対象物の種類別に、テンプレート画像との一致度を判定するマッチング処理を行って、前記対象物を検出する対象物検出処理部(61)と、
    前記車両の現在の状況が、前記対象物の種類を定めるために区分された複数の状況区分のうちの、どの前記状況区分に属しているかを決定する状況区分決定部(62)とを備え、
    前記状況区分決定部は、前記車両の現在位置が、前記対象物の種類に基づいて区分された複数の場所区分のうち、どの前記場所区分に属しているかを、前記状況区分として決定し、
    前記対象物検出処理部は、前記状況区分決定部が決定した前記状況区分に基づいて定まる種類の対象物に対して優先して、前記マッチング処理を行う車両用対象物検出装置であって、
    前記場所区分には、人との事故に注意すべき区間と、車との事故に注意すべき区間とが区別された事故注意区間が含まれており、
    前記状況区分決定部は、前記車両の現在位置が、前記事故注意区間に入っている場合には、前記場所区分が前記事故注意区間であると決定し、
    前記対象物検出処理部は、優先度が高い前記対象物から順に前記テンプレート画像との評価値を算出し、前記評価値が閾値以上であれば、前記評価値が閾値以上となった部分画像に対して、それよりも前記優先度の低い前記テンプレート画像との前記評価値は算出しないようになっており、前記場所区分が、人との事故に注意すべき前記事故注意区間に決定された場合には、人の前記優先度を車よりも高くし、前記場所区分が、車との事故に注意すべき前記事故注意区間に決定された場合には、車の前記優先度を人よりも高くすることを特徴とする車両用対象物検出装置。
  4. 請求項1〜3のいずれか1項において、
    前記対象物検出処理部は、前記状況区分決定部が決定した状況区分に基づいて定まる種類の対象物以外の対象物に対しては、前記マッチング処理を行わないことを特徴とする車両用対象物検出装置。
  5. 請求項1〜のいずれか1項において、
    前記状況区分決定部は、現在の時間が、前記対象物の種類に基づいて区分された複数の時間区分のうちの、どの前記時間区分に属しているかを決定することを特徴とする車両用対象物検出装置。
  6. 請求項1〜のいずれか1項において、
    前記状況区分決定部は、現在の天候が、前記対象物の種類に基づいて区分された複数の天候区分のうちの、どの前記天候区分に属しているかを決定することを特徴とする車両用対象物検出装置。
JP2014097932A 2014-05-09 2014-05-09 車両用対象物検出装置 Active JP6225820B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014097932A JP6225820B2 (ja) 2014-05-09 2014-05-09 車両用対象物検出装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014097932A JP6225820B2 (ja) 2014-05-09 2014-05-09 車両用対象物検出装置

Publications (2)

Publication Number Publication Date
JP2015215749A JP2015215749A (ja) 2015-12-03
JP6225820B2 true JP6225820B2 (ja) 2017-11-08

Family

ID=54752580

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014097932A Active JP6225820B2 (ja) 2014-05-09 2014-05-09 車両用対象物検出装置

Country Status (1)

Country Link
JP (1) JP6225820B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6384419B2 (ja) * 2015-07-24 2018-09-05 トヨタ自動車株式会社 動物種類判定装置
KR102540393B1 (ko) * 2016-12-16 2023-06-07 현대자동차주식회사 주행상황에서의 동시적 물체 인식 및 학습 방법
DE112020002287T5 (de) * 2019-05-09 2022-02-17 Sony Group Corporation Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und programm

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3565125B2 (ja) * 2000-01-25 2004-09-15 日産自動車株式会社 事故多発区間警報発生装置
JP2009122859A (ja) * 2007-11-13 2009-06-04 Toyota Motor Corp 物体検出装置
JP5333080B2 (ja) * 2009-09-07 2013-11-06 株式会社日本自動車部品総合研究所 画像認識システム
JP5197679B2 (ja) * 2010-06-09 2013-05-15 株式会社豊田中央研究所 対象物検出装置及びプログラム
JP5593217B2 (ja) * 2010-12-28 2014-09-17 クラリオン株式会社 車両用外界認識装置およびそれを用いた車両システム
JP6017180B2 (ja) * 2012-05-18 2016-10-26 クラリオン株式会社 車載用環境認識装置

Also Published As

Publication number Publication date
JP2015215749A (ja) 2015-12-03

Similar Documents

Publication Publication Date Title
JP6572847B2 (ja) 自動運転システム
JP5197679B2 (ja) 対象物検出装置及びプログラム
JP6607110B2 (ja) 車両用注意喚起装置
CN107683234B (zh) 周边环境识别装置以及计算机程序产品
JP6328743B2 (ja) 統合型ナビゲーション及び衝突回避システム
JP6445024B2 (ja) 交通標識認識方法と装置
CN113646772A (zh) 预测用于自主驾驶的三维特征
CN109426256A (zh) 自动驾驶车辆的基于驾驶员意图的车道辅助系统
CN109902899B (zh) 信息生成方法和装置
JP6626410B2 (ja) 自車位置特定装置、自車位置特定方法
US10336252B2 (en) Long term driving danger prediction system
JP2016051467A (ja) 適合化予測のために広域的シーンコンテクストを使用する方法およびシステム並びに対応するプログラム、該システムを備えた乗り物
JP6129268B2 (ja) 車両用運転支援システムおよび運転支援方法
US20170043717A1 (en) System and Apparatus that Alert Car Drivers Approaching Obstacles in the Road
JP6431204B2 (ja) 状態予測装置及び状態予測方法
JP6977887B2 (ja) レーン推定装置、方法およびプログラム
SE1450193A1 (sv) Förarstöd
US11607994B2 (en) Vehicle, object warning apparatus and method
JP6225820B2 (ja) 車両用対象物検出装置
JP2016224714A (ja) 進入判定装置、進入判定方法
SE1551085A1 (en) Method, control unit and system for path prediction
KR20200043252A (ko) 차량의 부감 영상 생성 시스템 및 그 방법
US10132642B2 (en) Unit setting apparatus and unit setting method
JP2007241470A (ja) 車両用地図データ更新装置
WO2015092974A1 (ja) 対向車情報生成装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160721

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170621

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170627

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170811

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170912

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170925

R151 Written notification of patent or utility model registration

Ref document number: 6225820

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250