JP5502149B2 - 車両周辺監視装置 - Google Patents
車両周辺監視装置 Download PDFInfo
- Publication number
- JP5502149B2 JP5502149B2 JP2012147080A JP2012147080A JP5502149B2 JP 5502149 B2 JP5502149 B2 JP 5502149B2 JP 2012147080 A JP2012147080 A JP 2012147080A JP 2012147080 A JP2012147080 A JP 2012147080A JP 5502149 B2 JP5502149 B2 JP 5502149B2
- Authority
- JP
- Japan
- Prior art keywords
- animal
- horizontal edge
- edge
- image portion
- monitoring device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
Description
本発明は、カメラによる撮像画像に基づいて車両の周辺に存在する動物を認識する車両周辺監視装置に関する。
従来より、車両に搭載された赤外線カメラにより撮像された車両周辺の撮像画像(グレースケール画像)を、所定の輝度閾値により2値化することにより、輝度閾値以上の輝度を有する生体(歩行者、動物等)の画像部分を抽出するようにした車両周辺監視装置が提案されている(例えば、特許文献1参照)。
特許文献1に記載された車両周辺監視装置においては、抽出した2値画像部分が、動物の胴部に相当する楕円形状の第1の対象物領域と、第1の対象物領域の下方に存在して面積が第1の対象物領域よりも小さい複数の第2の対象物要域とを有している場合に、抽出した画像部分に対応する実空間上の対象物の種別が動物(例えば、鹿等の大型動物)であると判断している。
特許文献1に記載された車両周辺監視装置のように、抽出した2値画像部分の形状や面積により対象物が動物であることを識別する場合、対象物の撮像状況により、対象物の2値画像部分の形状や面積が変化するため、対象物が動物であることの識別精度が低下するおそれがある。
本発明はかかる背景に鑑みてなされたものであり、対象物が動物であることの識別精度を高めることができる車両周辺監視装置を提供することを目的とする。
本発明は上記目的を達成するためになされたものであり、
車両に搭載されたカメラによる撮像画像から、動物の画像部分である可能性がある動物候補画像部分を抽出する動物候補画像部分抽出部と、
前記動物候補画像部分及び前記動物候補画像部分の周囲領域からなる動物候補領域を設定する動物候補領域設定部と、
前記動物候補領域から水平方向エッジを抽出するエッジ抽出部と、
前記エッジ抽出部により、前記動物候補領域内で強度が第1所定強度以上である第1の水平方向エッジ及び第2の水平方向エッジが抽出されたことを条件として、前記動物候補画像部分に対応する実空間上の対象物が動物であるか否かを判断する動物判断部と
を備えたことを特徴とする(第1発明)。
車両に搭載されたカメラによる撮像画像から、動物の画像部分である可能性がある動物候補画像部分を抽出する動物候補画像部分抽出部と、
前記動物候補画像部分及び前記動物候補画像部分の周囲領域からなる動物候補領域を設定する動物候補領域設定部と、
前記動物候補領域から水平方向エッジを抽出するエッジ抽出部と、
前記エッジ抽出部により、前記動物候補領域内で強度が第1所定強度以上である第1の水平方向エッジ及び第2の水平方向エッジが抽出されたことを条件として、前記動物候補画像部分に対応する実空間上の対象物が動物であるか否かを判断する動物判断部と
を備えたことを特徴とする(第1発明)。
第1発明において、動物の画像部分を含む前記動物候補領域について、水平方向エッジの抽出を行ったときには、動物の胴部は一般に横方向に長いため、胴部の画像部分の上端と下端の位置で強度が高い水平方向エッジが抽出される可能性が高い。ここで、水平方向エッジの強度とは、前記動物候補領域の各垂直位置(例えば、垂直座標yj)での水平方向範囲(例えば、水平座標x1〜xnの範囲)の各画素(x1,yj)、(x1+1,yj)、…、(xi,yj)、…、(xn-1,yj)、(xn,yj)のうち、エッジ点(垂直方向で隣接する画素との輝度値の差が所定値以上となる点)となっている画素の個数で表される。
そこで、前記動物判断部は、前記エッジ抽出部により、前記動物候補領域内で強度が第1所定強度以上である第1の水平方向エッジ及び第2の水平方向エッジが抽出されたことを条件として、前記動物候補画像部分に対応する実空間上の対象物が動物であるか否かを、精度良く判断することができる。
また、第1発明において、
前記動物判断部は、前記第1の水平方向エッジと前記第2の水平方向エッジの符号が異なることを条件として、前記動物候補画像部分に対応する実空間上の対象物が動物であるか否かを判断することを特徴とする(第2発明)。
前記動物判断部は、前記第1の水平方向エッジと前記第2の水平方向エッジの符号が異なることを条件として、前記動物候補画像部分に対応する実空間上の対象物が動物であるか否かを判断することを特徴とする(第2発明)。
第2発明によれば、前記カメラにより撮像された動物の画像部分においては、胴体の画像部分の輝度はほぼ一様であって背景の画像部分の輝度と相違すると想定される。そのため、動物の画像部分について、前記エッジ抽出部により水平方向エッジの抽出処理を行ったときには、動物の胴体の画像部分の上端と下端(胴体の上端及び下端と背景との境界部)で、符号(正又は負)が異なる水平方向エッジが抽出される可能性が高い。そこで、前記動物判断部は、前記第1の水平方向エッジと前記第2の水平方向エッジの符号が異なることを条件として、前記動物候補画像部分に対応する実空間上の対象物が動物であるか否かを、精度良く判断することができる。
また、第1発明において、前記動物判断部は、前記第1の水平方向エッジが、前記エッジ抽出部により抽出された水平方向エッジのうちで最も強度が高い水平方向エッジであり、前記第2の水平方向エッジが前記第1の水平方向エッジよりも下方に位置していることを条件として、前記動物候補画像部分に対応する実空間上の対象物が動物であるか否かを判断することを特徴とする(第3発明)。
第3発明において、前記カメラにより撮像された動物の画像部分の胴部の画像部分では、上端が頭部の画像部分に接すると共に下端が脚の画像部分に接している。そして、胴体の上端と首とが接する範囲よりも、胴体の下端と脚部とが接する範囲の方が広くなるため、最も強度が高くなるのは胴体の画像部分の上端に対して抽出された水平方向エッジである可能性が高い。また、胴体の画像部分の下端に対しても強度が高い水平方向エッジが抽出される可能性が高い。そこで、前記動物判断部は、前記第1の水平方向エッジが、前記エッジ抽出部により抽出された水平方向エッジのうちで最も強度が高い水平方向エッジであり、前記第2の水平方向エッジが前記第1の水平方向エッジの下方に位置していることを条件として、前記動物候補画像部分に対応する実空間上の対象物が動物であるか否かを、精度良く判断することができる。
また、第1発明において、
前記動物判断部は、前記第1の水平方向エッジが、前記エッジ抽出部により抽出された水平方向エッジのうちで最も強度が高い水平方向エッジであり、前記第2の水平方向エッジが、前記エッジ抽出部により抽出された水平方向エッジのうちで2番目に強度が高い水平方向エッジであることを条件として、前記動物候補画像部分に対応する実空間上の対象物が動物であるか否かを判断することを特徴とする(第4発明)。
前記動物判断部は、前記第1の水平方向エッジが、前記エッジ抽出部により抽出された水平方向エッジのうちで最も強度が高い水平方向エッジであり、前記第2の水平方向エッジが、前記エッジ抽出部により抽出された水平方向エッジのうちで2番目に強度が高い水平方向エッジであることを条件として、前記動物候補画像部分に対応する実空間上の対象物が動物であるか否かを判断することを特徴とする(第4発明)。
第4発明において、前記動物候補画像部分が実際に動物の画像部分であった場合には、動物の画像部分の胴体の画像部分の上端及び下端について、強度が高い水平方向エッジが抽出される可能性が高い。そこで、前記動物判断部は、前記エッジ抽出部により抽出された水平方向エッジのうちで最も強度が高い水平方向エッジであり、前記第2の水平方向エッジが、前記エッジ抽出部により抽出された水平方向エッジのうちで2番目に強度が高い水平方向エッジであることを条件として、前記動物候補画像部分に対応する実空間上の対象物が動物であるか否かを、精度良く判断することができる。
また、第1発明から第4発明のうちのいずれかにおいて、
前記動物判断部は、前記エッジ抽出部により、前記第1の水平方向エッジと前記第2の水平方向エッジとの間で、エッジ強度が前記第1所定強度よりも低い第2所定強度以上である水平方向エッジが抽出されなかったことを条件として、前記動物候補画像部分に対応する実空間上の対象物が動物であるか否かを判断することを特徴とする(第5発明)。
前記動物判断部は、前記エッジ抽出部により、前記第1の水平方向エッジと前記第2の水平方向エッジとの間で、エッジ強度が前記第1所定強度よりも低い第2所定強度以上である水平方向エッジが抽出されなかったことを条件として、前記動物候補画像部分に対応する実空間上の対象物が動物であるか否かを判断することを特徴とする(第5発明)。
第5発明において、前記動物候補画像部分が実際に動物の画像部分であったときには、動物の胴部の画像部分の上端及び下端について前記第1の水平方向エッジと前記第2の水平方向エッジが抽出される可能性が高い。そして、動物の胴部の画像部分について、前記第1の水平方向エッジと前記第2の水平方向エッジとの間で、水平方向エッジが抽出される可能性は低い。
そのため、前記動物判断部は、前記第1の水平方向エッジと前記第2の水平方向エッジとの間で、エッジ強度が前記第1所定強度よりも低い第2所定強度以上である水平方向エッジが抽出されなかったことを条件として、前記動物候補画像部分に対応する実空間上の対象物が動物であるか否かを精度良く判断することができる。
また、第1発明から第5発明において、
前記動物判断部は、前記第1の水平方向エッジ及び前記第2の水平方向エッジにより挟まれた前記動物候補画像部分の箇所について、該箇所の水平方向の長さが該箇所の垂直方向の長さよりも長いことを条件として、前記動物候補画像部分に対応する実空間上の対象物が動物であるか否かを判断することを特徴とする(第6発明)。
前記動物判断部は、前記第1の水平方向エッジ及び前記第2の水平方向エッジにより挟まれた前記動物候補画像部分の箇所について、該箇所の水平方向の長さが該箇所の垂直方向の長さよりも長いことを条件として、前記動物候補画像部分に対応する実空間上の対象物が動物であるか否かを判断することを特徴とする(第6発明)。
第6発明によれば、一般に動物の胴体は横長であるので、前記動物候補画像部分が実際に動物の画像部分であったときには、前記第1の水平方向エッジ及び前記第2の水平方向エッジにより挟まれた前記動物候補画像部分の箇所(動物の胴体の画像部分であると想定される)は、水平方向の長さが垂直方向の長さよりも長くなる可能性が高い。そこで、前記動物判断部は、前記第1の水平方向エッジ及び前記第2の水平方向エッジにより挟まれた前記動物候補画像部分の箇所について、該箇所の水平方向の長さが該箇所の垂直方向の長さよりも長いことを条件として、前記動物候補画像に対応する実空間上の対象物が動物であるか否かを、精度良く判断することができる。
また、第1発明から第6発明のうちのいずれかにおいて、
前記動物候補領域設定部は、前記動物候補画像の上端よりも下側を上端として前記動物候補領域を設定することを特徴とする(第7発明)。
前記動物候補領域設定部は、前記動物候補画像の上端よりも下側を上端として前記動物候補領域を設定することを特徴とする(第7発明)。
第7発明によれば、前記動物候補画像の上端と前記動物候補領域の境界が接する箇所について、前記エッジ抽出部により水平方向エッジが抽出されることを回避して、動物の胴部の画像部分の上端についての水平方向エッジを抽出することができる。
また、第1発明から第7発明のうちいずれかにおいて、
前記動物候補領域設定部は、前記動物候補画像の下端よりも上側を下端として前記動物候補領域を設定することを特徴とする(第8発明)。
前記動物候補領域設定部は、前記動物候補画像の下端よりも上側を下端として前記動物候補領域を設定することを特徴とする(第8発明)。
第8発明によれば、前記動物候補画像の下端と前記動物候補領域の境界が接する箇所について、前記エッジ抽出部により水平方向エッジが抽出されることを回避して、動物の胴部の画像部分の下端についての水平方向エッジを抽出することができる。
また、車両に搭載されたカメラによる撮像画像から、動物の画像部分である可能性がある動物候補画像部分を抽出する動物候補画像部分抽出部と、
前記動物候補画像部分及び前記動物候補画像部分の周囲領域からなる動物候補領域を設定する動物候補領域設定部と、
前記動物候補領域に、所定強度以上の第1の水平方向エッジ及び第2の水平方向エッジが存在し、且つ、該第1の水平方向エッジと該第2の水平方向エッジとの間に、該第1の水平方向エッジ及び該第2の水平方向エッジよりも強度が高い他の水平方向エッジが存在しないときに、所定の警報処理を行う警報処理部とを備えたことを特徴とする(第9発明)。
前記動物候補画像部分及び前記動物候補画像部分の周囲領域からなる動物候補領域を設定する動物候補領域設定部と、
前記動物候補領域に、所定強度以上の第1の水平方向エッジ及び第2の水平方向エッジが存在し、且つ、該第1の水平方向エッジと該第2の水平方向エッジとの間に、該第1の水平方向エッジ及び該第2の水平方向エッジよりも強度が高い他の水平方向エッジが存在しないときに、所定の警報処理を行う警報処理部とを備えたことを特徴とする(第9発明)。
第9発明によれば、前記動物候補領域に前記所定強度以上の第1の水平方向エッジ及び第2の水平方向エッジが存在し、且つ、該第1の水平方向エッジと該第2の水平方向エッジとの間に、前記第1の水平方向エッジ及び前記第2の水平方向エッジよりも強度が高い他の水平方向エッジが存在しないことにより、前記動物候補画像部分に対応する実空間上の対象物が動物である可能性が高いと想定されるときに、前記警報処理部により前記警報処理を行うことによって、前記車両の運転者に対する注意喚起を行うことができる。
本発明の車両周辺監視装置の実施形態の一例について、図1〜図5を参照して説明する。図1を参照して、本実施形態の車両周辺監視装置10は、車両1に搭載して使用され、車両1には、遠赤外線を検出可能な赤外線カメラ2(本発明のカメラに相当する)が備えられている。
赤外線カメラ2は、遠赤外域に感度を有し、撮像される物体の温度が高いほど出力される映像信号のレベルが高くなる(映像信号の輝度が高くなる)特性を有している。赤外線カメラ2は、車両1の前方を撮像するために車両1の前部に取り付けられており、車両1の前部を原点Oとして、車両1の左右方向をX軸、上下方向をY軸、前後方向をZ軸とした実空間座標系が定義されている。なお、赤外線カメラ2に代えて、可視光等の他の波長域に感度を有するカメラを用いてもよい。
次に、図2を参照して、車両1には、車両1のヨーレートを検出するヨーレートセンサ31、車両1の走行速度を検出する車速センサ32、運転者によるブレーキの操作量を検出するブレーキセンサ33、音声による注意喚起等を行うためのスピーカ6、及び赤外線カメラ2により撮像された画像を表示すると共に、車両1に接触する可能性が高い物体を運転者に視認させる表示を行うためのヘッドアップディスプレイ(Head Up Display)7(以下、HUD7という)が接続されている。HUD7は、図1に示したように、車両1のフロントウインドウの運転者側の前方位置に画面7aが表示されるように設けられている。
車両周辺監視装置10は、図示しないCPU,メモリ等により構成された電子ユニットであり、メモリに保持された車両周辺監視用の制御プログラムをCPUで実行することによって、撮像画像取得部11、対象物画像部分抽出部12(本発明の動物候補画像部分抽出部の機能を含む)、動物候補領域設定部13、エッジ抽出部14、動物判断部15、及び警報処理部16として機能する。
車両周辺監視装置10は、赤外線カメラ2による撮像画像から、所定条件を満たす画像部分を、歩行者又は動物の画像部分である可能性がある画像部分を抽出して、この画像部分に対応する実空間上の物体の位置(実空間位置)を、ヨーレートセンサ31により検出される車両1のヨーレート及び車速センサ32により検出される車両1の走行速度等を用いて算出し、時系列の撮像画像間で同一物体の画像部分を追跡して、実空間における物体の移動ベクトルを算出する。
そして、車両周辺監視装置10は、移動ベクトルに基づいて物体を注意喚起の対象とするか否かを判断し、ブレーキセンサ33の検出信号から認識されるブレーキの操作状況等を考慮して、スピーカ6からの音声出力及びHUD7への強調表示による注意喚起を行うか否かを決定する。なお、移動ベクトルに基づく注意喚起の処理は、例えば特開2007−213561号公報等に記載された従来手法を用いて行われる。
また、車両周辺監視装置10は、対象物の種別(車両・人工構造物、歩行者、動物等)を識別して、対象物の種別に応じた監視処理を行う。以下、図3に示したフローチャートに従って、車両周辺監視装置10による対象物の監視処理(特に動物の判断処理)について説明する。車両周辺監視装置10は、図3に示したフローチャートによる処理を繰り返し実行して、車両1の周辺に存在する対象物を監視する。
図3のSTEP1は撮像画像取得部11による処理である。撮像画像取得部11は、赤外線カメラ2から出力される映像信号を入力し、この映像信号をデジタルの階調(輝度)データに変換したグレースケール画像を画像メモリに取り込む。
続くSTEP2は対象物画像部分抽出部12による処理である。対象物画像部分抽出部12は、グレースケール画像の各画素について、輝度が所定の閾値以上である画素を「1」(白)とし、輝度が閾値よりも低い画素を「0」(黒)とする2値化処理を行って2値画像を生成する。
そして、対象物画像部分抽出部12は、2値画像中の白の各領域のランレングスデータを算出し、ラベリング処理等を行って白の画像部分を対象物画像部分(本発明の動物候補画像部分を含む)として抽出する。なお、対象物画像部分抽出部12は、基本的には白の画素が隣接している領域を一つの対象物画像部分として抽出するが、接近した白の画素についても、一つの対象物画像部分にまとめて抽出してもよい。なお、このように、対象物画像部分抽出部12が、動物の画像部分である可能性がある対象物画像部分を抽出する構成は、本発明の動物候補画像部分抽出部に相当する。
続くSTEP4〜STEP6で、車両周辺監視装置10は、対象物(対象物画像部分に対応する実空間上の対象物)が構造物(他車両、電柱等)又は歩行者であるか否かを判断する。先ずSTEP3で、車両周辺監視装置10は、対象物が構造物であるか否かを判断する。ここで、対象物が構造物であるか否かの判断は、例えば、特開2007−310705号公報等に記載された公知の手法を用いて行うことができる。
そして、対象物が構造物であると判断されたときは、次のSTEP4でSTEP9に分岐し、警報処理部16による警報処理は実行されない。一方、対象物が構造物でないと判断されたときには、STEP5に進む。
STEP5で、車両周辺監視装置10は、対象物が歩行者であるか否かを判断する。ここで、対象物が歩行者であるか否かは、上記特開2007−310705号公報等に記載された公知の手法を用いて行うことができる。
そして、対象物が歩行者であると判断されたときは、次のSTEP6でSTEP20に進み、実空間上の対象物の移動ベクトルから、対象物と車両1が接触する可能性が高いと判断されるときには、警報処理部16が警報処理を行う。一方、STEP6で対象物が歩行者ではないと判断されたときには、STEP7に進む。
ここで、警報処理部16は、警報処理として、HUD7により表示される撮像画像の画面7aにおいて、歩行者の画像部分に強調枠を重畳表示する処理と、歩行者に対する注意を促す音声をスピーカ6から出力する処理とを行う。
STEP7は、動物候補領域設定部13、エッジ抽出部14、及び動物判断部15による処理である。ここで、図4は、対象物画像部分50(本発明の動物候補画像部分に相当する。以下、動物候補画像部分50ともいう)が、頭部51と胴部52と脚部53,54からなる動物の画像部分である場合の2値画像を示している。
図4の2値画像では、周囲よりも温度が高い動物の画像部分である動物候補画像部分50の画素が白となり、動物候補画像部分50の周囲が黒(図ではドット模様で表している)となっている。動物候補領域設定部13は、動物候補画像部分50の外接四角形60(動物候補画像部分50の上端、下端、左端、右端に接する長方形)内の領域(動物画像候補部分及びその周囲領域)を、動物候補領域61として設定する。
図4では、画像の水平方向(左右方向)の画素の座標をx、垂直方向(上下方向)の画素の座標をyに設定して示しており、動物候補領域61は、(x1,y1)−(x2,y1)−(x2,y2)−(x1,y2)の4点による範囲に設定されている。なお、動物候補領域は、必ずしも外接四角形で囲まれる領域に設定する必要はなく、動物の胴部と想定される画像部分が含まれるように設定すればよい。
エッジ抽出部14は、動物候補領域61の各y座標(y1〜y2の範囲の各y座標)について水平方向エッジを抽出して、その強度を算出する。ここで、各y座標(y=yj)の水平方向エッジの強度Ef(yj)は、以下の式(1)で表される、x1〜x2について隣接する上側の画素(y=yj+1)との輝度値(0又は1)の差を合算した値となる。
但し、Ef(yj):y座標=yjの水平方向エッジの強度値、Yi,j:(xi,yj)の画素の輝度値、Yi,j+1:(xi,yj+1)の画素の輝度値。
なお、本実施形態では、上記式(1)で示したように、上側(y軸の+側)の画素との輝度値の差を求めているので、y軸の上側から下側に走査したときに、輝度差が1(0→1)となる画素が正のエッジ点となる。また、輝度差が0(1→0)となる画素が負のエッジ点となる。そして、上記式(1)による算出値が正であるときは水平方向エッジが正となり、上記式(1)による算出値が負であるときには水平方向エッジが負となる。
図4では、動物候補画像部分50の上端位置y2についての水平方向エッジ70、動物候補画像部分50の胴部の画像部分52の上端位置ybについての水平方向エッジ71、動物候補画像部分50の胴部の画像部分52の下端位置yaについての水平方向エッジ72、及び動物候補画像部分50の下端位置y1についての水平方向エッジ73(73a,73b)が抽出されて、各水平方向エッジの強度Ef(y2),Ef(yb),Ef(ya),Ef(y1)が算出されている。
そして、水平方向エッジ70〜73のうち、最も強度が高いのは、胴部の画像部分52の上端位置ybについての水平方向エッジ71であり、次に強度が高いのは、胴部の画像部分52の下端位置yaについての水平方向エッジ72である。また、胴部の画像部分52のyaとybの間の範囲については、水平方向エッジが抽出されていない。
そこで、動物判断部15は、以下の(a)〜(f)の条件を判断することによって、動物候補画像部分50に対応する実空間上の対象物が、動物であるか否かを判断する。
(a)動物候補領域61から、強度が第1所定強度(図4ではEf_th)以上である第1の水平方向エッジと第2の水平方向エッジ(図4では71,72)が抽出された。
(b)(a)で抽出された第1の水平方向エッジと第2の水平方向エッジの符号が異なる(図4では水平方向エッジ71が正のエッジであり、水平方向エッジ72が負のエッジである)。
(c)(a)で抽出された第1の水平方向エッジ(図4では水平方向エッジ71)が、エッジ抽出部14により抽出された水平方向エッジのうちで最も強度が高い水平方向エッジであり、第2の水平方向エッジ(図4では水平方向エッジ72)が第1の水平方向エッジの下方に位置している。
(d)(a)で抽出された第1の水平方向エッジ及び第2の水平方向エッジ(図4では水平方向エッジ71,72)は、エッジ抽出部14により抽出された水平方向エッジのうちで、エッジ強度が最も高いものと二番目に高いものである。
(e)(a)で抽出された第1の水平方向エッジと第2の水平方向エッジの間で、エッジ強度が第2所定強度(<第1所定強度)以上である水平方向エッジが抽出されなかった。
(f)(a)で抽出された第1の水平方向エッジ及び第2の水平方向エッジにより挟まれた動物候補画像部分50の箇所(図4では胴体の画像部分52)の水平方向の長さ(図4のΔx)が、垂直方向の長さ(図4のΔy)よりも長い(胴部が横長)。
(a)動物候補領域61から、強度が第1所定強度(図4ではEf_th)以上である第1の水平方向エッジと第2の水平方向エッジ(図4では71,72)が抽出された。
(b)(a)で抽出された第1の水平方向エッジと第2の水平方向エッジの符号が異なる(図4では水平方向エッジ71が正のエッジであり、水平方向エッジ72が負のエッジである)。
(c)(a)で抽出された第1の水平方向エッジ(図4では水平方向エッジ71)が、エッジ抽出部14により抽出された水平方向エッジのうちで最も強度が高い水平方向エッジであり、第2の水平方向エッジ(図4では水平方向エッジ72)が第1の水平方向エッジの下方に位置している。
(d)(a)で抽出された第1の水平方向エッジ及び第2の水平方向エッジ(図4では水平方向エッジ71,72)は、エッジ抽出部14により抽出された水平方向エッジのうちで、エッジ強度が最も高いものと二番目に高いものである。
(e)(a)で抽出された第1の水平方向エッジと第2の水平方向エッジの間で、エッジ強度が第2所定強度(<第1所定強度)以上である水平方向エッジが抽出されなかった。
(f)(a)で抽出された第1の水平方向エッジ及び第2の水平方向エッジにより挟まれた動物候補画像部分50の箇所(図4では胴体の画像部分52)の水平方向の長さ(図4のΔx)が、垂直方向の長さ(図4のΔy)よりも長い(胴部が横長)。
動物判断部15は、上記(a)を前提条件として、上記(b)〜(f)の条件を組み合わせることにより、動物候補画像部分に対応する実空間上の対象物が動物であるか否かを判断する。なお、動物判断部15は、上記(a)のみを条件として動物候補画像部分に対応する実空間上の対象物が動物であるかを判断してもよく、上記(a)と上記(b)〜(f)のいずれか(複数も可)を組み合わせて、動物候補画像部分に対応する実空間上の対象物が動物であるか否かを判断してもよい。
動物判断部15により、動物候補画像部分に対応する実空間上の対象物が動物であると判断されたときは続くSTEP8でSTEP30に分岐する。STEP30は警報処理部16による処理である。警報処理部16は、上記STEP20と同様にして、動物に対する運転者の注意喚起を促すための警報処理を行う。
一方、動物候補画像部分に対応する実空間上の対象物が動物ではないと判断されたときにはSTEP9に進み、車両周辺監視装置10は図3に示したフローチャートによる1制御サイクルの処理を終了する。
次に、動物候補領域設定部13による動物候補領域の他の設定方法として、図5に示したように、動物候補画像部分50の上端90よりも下側を上端(y4)として動物候補領域62を設定することにより、図4で抽出された水平方向エッジ80(強度Ef(y2))が抽出されないようにすることができる。
さらに、図5に示したように、動物候補画像部分50の下端91(91a,91b)よりも上側を上端(y3)として動物候補領域62を設定することにより、図4で抽出された水平方向エッジ73(73a,73b)(強度Ef(y1))が抽出されないようにすることができる。
また、上記(a)〜(f)の条件に加え、図4を参照して、第1の水平方向エッジ及び第2の水平方向エッジ(図4では71,72)で挟まれる胴部の画像部分52の上部に頭部の画像部分51が存在すること、或いは胴部の画像部分52の下部に複数の脚部の画像部分53,54が存在することを条件として、動物候補画像部分50に対応する実空間上の対象物が動物であるか否かを判断するようにしてもよい。
なお、本実施の形態では、1台のカメラ(赤外線カメラ2)の撮像画像を用いる構成を示したが、2台のカメラ(ステレオカメラ)の撮像画像を用いて、ステレオカメラによる同一物体の撮像画像の視差から車両と対象物間の距離を算出する構成を採用してもよい。
また、本実施の形態では、図4,5に示したように、2値画像について水平方向エッジを抽出したが、グレースケール画像について水平方向エッジを抽出するようにしてもよい。
1…車両、10…車両周辺監視装置、11…撮像画像取得部、12…対象物画像抽出部、13…動物候補領域設定部、14…エッジ抽出部、15…動物判断部、16…警報処理部左カメラ、50…動物候補画像、52…胴部の画像部分、61…動物候補領域、71…第1の水平方向エッジ(胴部の画像部分の上端)、72…第2の水平方向エッジ(胴部の画像部分の下端)。
Claims (9)
- 車両に搭載されたカメラによる撮像画像から、動物の画像部分である可能性がある動物候補画像部分を抽出する動物候補画像部分抽出部と、
前記動物候補画像部分及び前記動物候補画像部分の周囲領域からなる動物候補領域を設定する動物候補領域設定部と、
前記動物候補領域から水平方向エッジを抽出するエッジ抽出部と、
前記エッジ抽出部により、前記動物候補領域内で強度が第1所定強度以上である第1の水平方向エッジ及び第2の水平方向エッジが抽出されたことを条件として、前記動物候補画像部分に対応する実空間上の対象物が動物であるか否かを判断する動物判断部と
を備えたことを特徴とする車両周辺監視装置。 - 請求項1に記載の車両周辺監視装置において、
前記動物判断部は、前記第1の水平方向エッジと前記第2の水平方向エッジの符号が異なることを条件として、前記動物候補画像部分に対応する実空間上の対象物が動物であるか否かを判断することを特徴とする車両周辺監視装置。 - 請求項1に記載の車両周辺監視装置において、
前記動物判断部は、前記第1の水平方向エッジが、前記エッジ抽出部により抽出された水平方向エッジのうちで最も強度が高い水平方向エッジであり、前記第2の水平方向エッジが前記第1の水平方向エッジよりも下方に位置していることを条件として、前記動物候補画像部分に対応する実空間上の対象物が動物であるか否かを判断することを特徴とする車両周辺監視装置。 - 請求項1に記載の車両周辺監視装置において、
前記動物判断部は、前記第1の水平方向エッジが、前記エッジ抽出部により抽出された水平方向エッジのうちで最も強度が高い水平方向エッジであり、前記第2の水平方向エッジが、前記エッジ抽出部により抽出された水平方向エッジのうちで2番目に強度が高い水平方向エッジであることを条件として、前記動物候補画像部分に対応する実空間上の対象物が動物であるか否かを判断することを特徴とする車両周辺監視装置。 - 請求項1から請求項4のうちいずれか1項に記載の車両周辺監視装置において、
前記動物判断部は、前記エッジ抽出部により、前記第1の水平方向エッジと前記第2の水平方向エッジとの間で、エッジ強度が前記第1所定強度よりも低い第2所定強度以上である水平方向エッジが抽出されなかったことを条件として、前記動物候補画像部分に対応する実空間上の対象物が動物であるか否かを判断することを特徴とする車両周辺監視装置。 - 請求項1から請求項5のうちいずれか1項に記載の車両周辺監視装置において、
前記動物判断部は、前記第1の水平方向エッジ及び前記第2の水平方向エッジにより挟まれた前記動物候補画像部分の箇所について、該箇所の水平方向の長さが該箇所の垂直方向の長さよりも長いことを条件として、前記動物候補画像部分に対応する実空間上の対象物が動物であるか否かを判断することを特徴とする車両周辺監視装置。 - 請求項1から請求項6のうちいずれか1項に記載の車両周辺監視装置において、
前記動物候補領域設定部は、前記動物候補画像部分の上端よりも下側を上端として前記動物候補領域を設定することを特徴とする車両周辺監視装置。 - 請求項1から請求項7のうちいずれか1項に記載の車両周辺監視装置において、
前記動物候補領域設定部は、前記動物候補画像部分の下端よりも上側を下端として前記動物候補領域を設定することを特徴とする車両周辺監視装置。 - 車両に搭載されたカメラによる撮像画像から、動物の画像部分である可能性がある動物候補画像部分を抽出する動物候補画像部分抽出部と、
前記動物候補画像部分及び前記動物候補画像部分の周囲領域からなる動物候補領域を設定する動物候補領域設定部と、
前記動物候補領域に、所定強度以上の第1の水平方向エッジ及び第2の水平方向エッジが存在し、且つ、該第1の水平方向エッジと該第2の水平方向エッジとの間に、該第1の水平方向エッジ及び該第2の水平方向エッジよりも強度が高い他の水平方向エッジが存在しないときに、所定の警報処理を行う警報処理部と
を備えたことを特徴とする車両周辺監視装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012147080A JP5502149B2 (ja) | 2012-06-29 | 2012-06-29 | 車両周辺監視装置 |
US13/919,219 US9064158B2 (en) | 2012-06-29 | 2013-06-17 | Vehicle surroundings monitoring device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012147080A JP5502149B2 (ja) | 2012-06-29 | 2012-06-29 | 車両周辺監視装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014010641A JP2014010641A (ja) | 2014-01-20 |
JP5502149B2 true JP5502149B2 (ja) | 2014-05-28 |
Family
ID=49778224
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012147080A Expired - Fee Related JP5502149B2 (ja) | 2012-06-29 | 2012-06-29 | 車両周辺監視装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US9064158B2 (ja) |
JP (1) | JP5502149B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103797528A (zh) * | 2011-09-28 | 2014-05-14 | 本田技研工业株式会社 | 生物体识别装置 |
JP6965803B2 (ja) * | 2018-03-20 | 2021-11-10 | 株式会社Jvcケンウッド | 認識装置、認識方法及び認識プログラム |
JP7063076B2 (ja) | 2018-04-20 | 2022-05-09 | 株式会社Jvcケンウッド | 認識装置、認識方法及び認識プログラム |
GB2581191B (en) * | 2019-02-08 | 2022-02-16 | Jaguar Land Rover Ltd | Image system for a vehicle |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003016429A (ja) * | 2001-06-28 | 2003-01-17 | Honda Motor Co Ltd | 車両周辺監視装置 |
US7262710B2 (en) * | 2004-09-22 | 2007-08-28 | Nissan Motor Co., Ltd. | Collision time estimation apparatus for vehicles, collision time estimation method for vehicles, collision alarm apparatus for vehicles, and collision alarm method for vehicles |
JP4970926B2 (ja) | 2006-01-16 | 2012-07-11 | 本田技研工業株式会社 | 車両周辺監視装置 |
JP4173901B2 (ja) * | 2006-05-19 | 2008-10-29 | 本田技研工業株式会社 | 車両周辺監視装置 |
JP4359710B2 (ja) * | 2008-02-04 | 2009-11-04 | 本田技研工業株式会社 | 車両周辺監視装置、車両、車両周辺監視用プログラム、車両周辺監視方法 |
JP4644273B2 (ja) * | 2008-07-15 | 2011-03-02 | 本田技研工業株式会社 | 車両周辺監視装置 |
JP5004903B2 (ja) * | 2008-08-25 | 2012-08-22 | 本田技研工業株式会社 | 車両周辺監視装置 |
JP5004919B2 (ja) * | 2008-10-10 | 2012-08-22 | 本田技研工業株式会社 | 車両周辺監視装置 |
JP4733756B2 (ja) * | 2009-04-28 | 2011-07-27 | 本田技研工業株式会社 | 車両周辺監視装置 |
US8908921B2 (en) * | 2010-11-29 | 2014-12-09 | Kyushu Institute Of Technology | Object detection method and object detector using the method |
US9104909B2 (en) * | 2010-12-15 | 2015-08-11 | Canon Kabushiki Kaisha | Image processing apparatus and method of processing image |
-
2012
- 2012-06-29 JP JP2012147080A patent/JP5502149B2/ja not_active Expired - Fee Related
-
2013
- 2013-06-17 US US13/919,219 patent/US9064158B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2014010641A (ja) | 2014-01-20 |
US9064158B2 (en) | 2015-06-23 |
US20140003670A1 (en) | 2014-01-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4203512B2 (ja) | 車両周辺監視装置 | |
JP5687702B2 (ja) | 車両周辺監視装置 | |
JP4482599B2 (ja) | 車両の周辺監視装置 | |
JP4173901B2 (ja) | 車両周辺監視装置 | |
JP5639283B2 (ja) | 車両周辺監視装置 | |
JP2008113296A (ja) | 車両周辺監視装置 | |
JP2010108264A (ja) | 車両周辺監視装置 | |
JP5760090B2 (ja) | 生体認識装置 | |
JP4528283B2 (ja) | 車両周辺監視装置 | |
JP2007310706A (ja) | 車両周辺監視装置 | |
JP5502149B2 (ja) | 車両周辺監視装置 | |
WO2010007718A1 (ja) | 車両周辺監視装置 | |
JP2008077154A (ja) | 車両周辺監視装置 | |
JP4765113B2 (ja) | 車両周辺監視装置、車両、車両周辺監視用プログラム、車両周辺監視方法 | |
JP5345992B2 (ja) | 車両周辺監視装置 | |
JP2012053663A (ja) | 物体種別判定装置 | |
US9030560B2 (en) | Apparatus for monitoring surroundings of a vehicle | |
JP2010092429A (ja) | 車両周辺監視装置 | |
JP4615061B2 (ja) | 車両周辺監視装置 | |
JP5802183B2 (ja) | 車両周辺監視装置 | |
JP5430213B2 (ja) | 車両周辺監視装置 | |
JP5399887B2 (ja) | 車両周辺監視装置 | |
JP5885640B2 (ja) | 車両周辺監視装置 | |
JP2008236029A (ja) | 車両周辺監視装置、車両周辺監視方法、及び車両周辺監視用プログラム | |
JP5149918B2 (ja) | 車両の周辺監視装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140225 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140312 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5502149 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |