JP6132411B2 - 車外環境認識装置 - Google Patents

車外環境認識装置 Download PDF

Info

Publication number
JP6132411B2
JP6132411B2 JP2015178956A JP2015178956A JP6132411B2 JP 6132411 B2 JP6132411 B2 JP 6132411B2 JP 2015178956 A JP2015178956 A JP 2015178956A JP 2015178956 A JP2015178956 A JP 2015178956A JP 6132411 B2 JP6132411 B2 JP 6132411B2
Authority
JP
Japan
Prior art keywords
edge
target area
wheel
environment recognition
divided
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015178956A
Other languages
English (en)
Other versions
JP2017054386A (ja
Inventor
野村 直樹
直樹 野村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Subaru Corp
Original Assignee
Subaru Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Subaru Corp filed Critical Subaru Corp
Priority to JP2015178956A priority Critical patent/JP6132411B2/ja
Priority to US15/241,884 priority patent/US10102437B2/en
Priority to DE102016116601.4A priority patent/DE102016116601B4/de
Priority to CN201610808114.8A priority patent/CN106529390B/zh
Publication of JP2017054386A publication Critical patent/JP2017054386A/ja
Application granted granted Critical
Publication of JP6132411B2 publication Critical patent/JP6132411B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/42Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、自車両の進行方向に存在する特定物を特定する車外環境認識装置に関する。
従来、自車両の前方に位置する車両等の立体物を検出し、先行車両との衝突を回避したり(衝突回避制御)、先行車両との車間距離を安全な距離に保つように制御する(クルーズコントロール)技術が知られている(例えば、特許文献1)。
また、上記立体物を検出する技術として、自車両の側方を撮影した画像パターンを参照し、エッジの自車両前後方向の対称性に基づいて、自車両と並走する並走車を検出する技術が開示されている(例えば、特許文献2)。
特許第3349060号公報 特開2008−134877号公報
自車両の進行方向に存在する特定物としては、同方向に走行する先行車両や、進行路を自車両横方向に横断する歩行者および自転車等がある。このような進行路を横断する歩行者や自転車等は、その輪郭によって歩行者らしさ、または、自転車らしさを判定するのが望ましい。ただし、一般的に、自転車は歩行者より横断速度が高く、自転車の全体の輪郭が確認できるまで待っていると、その間に自車両と自転車との距離が短くなり、衝突回避制御として急な動作を要することになってしまう。
本発明は、このような課題に鑑み、自転車等の特定物を迅速に検出可能な、車外環境認識装置を提供することを目的としている。
上記課題を解決するために、本発明の車外環境認識装置は、コンピュータが、画面上の所定の範囲を対象領域として設定する対象領域設定部と、対象領域の中心から延長された放射状の線が境界となるように対象領域を分割して複数の分割領域を設定し、分割領域毎に予め定められた斜めエッジを計数するエッジ計数部と、分割領域におけるブロック総数に対する斜めエッジの割合に基づいて、対象領域の画像の車輪らしさを判定する車輪判定部、として機能することを特徴とする。
エッジ計数部は、対象領域の中心から水平および垂直に延長された放射状の線が境界となるように対象領域を分割してもよい。
エッジ計数部は、分割領域毎に、斜めエッジの重心位置を導出し、車輪判定部は、重心位置と、分割領域毎に定められた基準位置との相対距離に応じて、対象領域の画像の車輪らしさを判定してもよい。
車輪判定部は、複数の分割領域に対し、移動方向かつ路面方向に位置する分割領域が他の分割領域より高くなるように重み付けを行ってもよい。
対象領域設定部は、自転車の車輪の複数の規格それぞれに基づく複数の大きさの対象領域を設定してもよい。
本発明によれば、自転車等の特定物を迅速に検出することが可能となる。
車外環境認識システムの接続関係を示したブロック図である。 車外環境認識装置の概略的な機能を示した機能ブロック図である。 車外環境認識処理の流れを示すフローチャートである。 対象領域設定処理を説明するための説明図である。 エッジ計数処理の流れを説明するためのフローチャートである。 エッジ計数処理を説明するための説明図である。 エッジ計数処理を説明するための説明図である。
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書および図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
(車外環境認識システム100)
図1は、車外環境認識システム100の接続関係を示したブロック図である。車外環境認識システム100は、撮像装置110と、車外環境認識装置120と、車両制御装置(ECU:Engine Control Unit)130とを含んで構成される。
撮像装置110は、CCD(Charge-Coupled Device)やCMOS(Complementary Metal-Oxide Semiconductor)等の撮像素子を含んで構成され、自車両1の前方の車外環境を撮像し、少なくとも輝度の情報が含まれる輝度画像(カラー画像やモノクロ画像)を生成することができる。また、撮像装置110は、自車両1の進行方向側において2つの撮像装置110それぞれの光軸が略平行になるように、略水平方向に離隔して配置される。撮像装置110は、自車両1の前方の検出領域に存在する立体物を撮像した輝度画像を、例えば1/60秒のフレーム毎(60fps)に連続して生成する。ここでは、2つの撮像装置110によって異なる視点の輝度画像が生成されるので、立体物の距離も把握することが可能となる。ここで、撮像装置110によって認識する立体物は、自転車、歩行者、車両、信号機、道路(進行路)、道路標識、ガードレール、建物といった独立して存在する物のみならず、自転車の車輪等、その一部として特定できる物も含む。
車外環境認識装置120は、2つの撮像装置110それぞれから輝度画像を取得し、一方の輝度画像から任意に抽出したブロック(複数の画素の集合体)に対応するブロックを他方の輝度画像から検索する、所謂パターンマッチングを用いて視差(相対距離)、および、任意のブロックの画面内の位置を示す画面位置を導出し、各ブロックの三次元位置を導出する。そして、車外環境認識装置120は、車外環境に存在する立体物、例えば、同方向に走行する先行車両や、進行路を自車両横方向に横断する歩行者および自転車等を特定する。また、車外環境認識装置120は、このように立体物を特定すると、立体物との衝突を回避したり(衝突回避制御)、先行車両との車間距離を安全な距離に保つように自車両1を制御する(クルーズコントロール)。
車両制御装置130は、ステアリングホイール132、アクセルペダル134、ブレーキペダル136を通じて運転手の操作入力を受け付け、操舵機構142、駆動機構144、制動機構146に伝達することで自車両1を制御する。また、車両制御装置130は、車外環境認識装置120の指示に従い、操舵機構142、駆動機構144、制動機構146を制御する。
上述したように、車外環境認識システム100では、進行路を自車両横方向に横断する歩行者および自転車等を特定している。このような進行路を横断する歩行者や自転車等は、その輪郭によって歩行者らしさや自転車らしさを判定するのが望ましいが、自転車は歩行者より横断速度が高く、自転車の全体の輪郭が確認できるまで待っていると、その間に自車両1と自転車との距離が短くなり、衝突回避制御として急な動作を要することになる。したがって、自転車が輝度画像外から輝度画像内に入っている場合、自転車の一部が把握された時点で、速やかに自転車である可能性を認識し、応答性を高める必要がある。そこで、本実施形態では、自転車の一部である車輪(前輪)が画面に出現した時点で、その車輪らしさを適切に判定することで、自転車を迅速に検出し、ひいては、安定した衝突回避制御を行うことを目的とする。
以下、このような目的を実現するための車外環境認識装置120の構成について詳述する。ここでは、本実施形態に特徴的な、自車両1前方の検出領域における立体物(例えば、自転車の車輪)の特定処理について詳細に説明し、本実施形態の特徴と無関係の構成については説明を省略する。
(車外環境認識装置120)
図2は、車外環境認識装置120の概略的な機能を示した機能ブロック図である。図2に示すように、車外環境認識装置120は、I/F部150と、データ保持部152と、中央制御部154とを含んで構成される。
I/F部150は、撮像装置110、および、車両制御装置130との双方向の情報交換を行うためのインターフェースである。データ保持部152は、RAM、フラッシュメモリ、HDD等で構成され、以下に示す各機能部の処理に必要な様々な情報を保持する。
中央制御部154は、中央処理装置(CPU)、プログラム等が格納されたROM、ワークエリアとしてのRAM等を含む半導体集積回路で構成され、システムバス156を通じて、I/F部150、データ保持部152等を制御する。また、本実施形態において、中央制御部154は、対象領域設定部160、エッジ計数部162、車輪判定部164としても機能する。以下、本実施形態に特徴的な自転車を認識する車外環境認識処理について、当該中央制御部154の各機能部の動作も踏まえて詳述する。
(車外環境認識処理)
図3は、車外環境認識処理の流れを示すフローチャートである。車外環境認識処理では、画面上の所定の範囲を対象領域として設定する対象領域設定処理(S200)、対象領域の中心から延長された放射状の線(直線)が境界となるように対象領域を分割して複数の分割領域を設定し、その分割領域毎に、少なくとも水平、垂直、斜めを含む予め定められた複数方向それぞれのエッジ(輝度勾配)を計数するエッジ計数処理(S202)、複数方向のエッジの割合や重心位置を導出する第1車輪判定処理(S204)、複数の対象領域全てに対し車輪らしさを判定したか確認する完了確認処理(S206)、対象領域の輝度画像の車輪らしさを判定する第2車輪判定処理(S208)を実行する。ここで、「水平」は画面横方向を示し、「垂直」は画面縦方向を示す。
(対象領域設定処理S200)
図4は、対象領域設定処理S200を説明するための説明図である。対象領域設定部160は、撮像装置110が生成した連続する(時分割された)複数の輝度画像250を参照し、生成時刻の異なる輝度画像250同士の差分により、輝度画像250外から輝度画像250内に進入してきた所定の条件を満たす立体物252を検出する。ここで、所定の条件とは、当該立体物252の自車両1に対する相対距離が所定距離(例えば20m)以内、高さが所定高さ(例えば2m)以内、および、連続的に検出されている時間が所定時間(例えば1.5秒)以内である。
そして、対象領域設定部160は、図4(a)の如く、その立体物252の水平方向の幅、すなわち、輝度画像250の端部250aと、立体物252の端部252aとの差分が所定の検出幅に達すると、輝度画面上の所定の範囲を対象領域254として設定する。また、このとき、輝度画像250の端部250aに対する立体物252の端部252aの水平方向に沿った方向を立体物252の移動方向とする。したがって、図4(a)のように、立体物252が輝度画像250の右に位置している場合、移動方向は左向きとなり、立体物252が輝度画像250の左に位置している場合、移動方向は右向きとなる。このように、対象領域設定部160は、自車両1の進行方向において、水平方向に移動している立体物252の一部を対象領域254として設定する。
ここで、対象領域254の設定を、立体物252の幅が所定の検出幅になるまで待っているのは、本実施形態において目的とする車輪を認識する上で必要な大きさを確保するためである。
ところで、自転車の車輪は、複数の規格それぞれに基づく複数の大きさのものが存在する。そこで、対象領域設定部160は、自転車の車輪の複数の規格それぞれに基づく複数の大きさの対象領域254を設定している。例えば、図4(b)に示すように、対象領域設定部160は、立体物252の端部252aおよび路面252bから一辺がそれぞれ16インチ、22インチ、28インチとなる正方形の複数の対象領域254を設定する。ここでは、自転車の車輪の大きさと、対象領域254の大きさとが近似する場合に、車輪らしさのポイントが高くなり、後述するように、立体物252が車輪らしいと判定される。なお、複数の大きさの対象領域254全てを設定できるように、所定の検出幅としては、このような複数の対象領域254の最大値、すなわち28インチ(例えば350ピクセルに相当)以上の値が設定されている。
(エッジ計数処理S202)
図5は、エッジ計数処理S202の流れを説明するためのフローチャートであり、図6、7は、エッジ計数処理S202を説明するための説明図である。ここでは、理解を容易にするために、立体物252が16インチの車輪であるとする。
エッジ計数部162は、図6に示すように、対象領域設定部160が設定した複数の対象領域254のうちの16インチの対象領域254の中心254aから延長された放射状の線254bが境界となるように対象領域254を分割して、複数の分割領域256を設定する(S210)。図6の例では、対象領域254の中心254aから水平および垂直に延長された放射状の線254bが境界となるように、対象領域254が4つの分割領域256(256a、256b、256c、256d)に分割されている。
本実施形態では、立体物252が点対称な車輪であった場合、放射状の線254bにより均等分割した分割領域256同士に関し、中心254aに対するエッジの位置関係が大凡等しくなる特性、および、それぞれの分割領域256にタイヤに相当する1/4の円が存在することを利用して、車輪らしさを判定する。
ただし、後述するように、本実施形態において、エッジ計数部162は、所定の複数方向のエッジの中で、特に、斜めのエッジ(以下、単に斜めエッジという)が出現し易いように、エッジを導出する。したがって、ここでは、多くの斜めエッジをサンプルとして利用できるように、水平および垂直の放射状の線254bにより対象領域254を均等分割している。
続いて、エッジ計数部162は、任意の分割領域256に対し、任意のブロック(水平2画素×垂直2画素)を抽出し、少なくとも斜めエッジを含む、水平エッジ、垂直エッジ、斜めエッジ等、予め定められた複数方向のエッジを導出する(S212)。
図7(a)は、エッジの出現態様を示す。例えば、分割領域256c中の任意のブロック260aを拡大すると、図7(b)のような輝度分布になり、他の分割領域256bの任意のブロック260bを拡大すると、図7(c)のような輝度分布になっていたとする。また、輝度の範囲を0〜255とし、図7(b)中、仮に、白色の塗りつぶしを輝度「200」、黒色の塗りつぶしを輝度「0」とする。ここでは、仮に、ブロックの図中左上画素の輝度をA、右上画素の輝度をB、左下画素の輝度をC、右下画素の輝度をDとし、エッジの水平方向成分を(B+D)−(A+C)、エッジの垂直方向成分を(A+B)−(C+D)と定義する。
すると、図7(b)に示すブロック260aのエッジの水平方向成分は、(B+D)−(A+C)=(0+0)−(200+200)=−400となり、エッジの垂直方向成分は、(A+B)−(C+D)=(200+0)―(200+0)=0となる。したがって、水平方向成分「−400」、垂直方向成分「0」となり、エッジは、図7(d)の如く水平方向左向きの矢印で示される水平エッジとなる。ただし、図7(f)のように、水平成分は画面右方向を正、垂直成分は画面上方向を正としている。
同様に、図7(c)に示すブロック260bのエッジの水平方向成分は、(B+D)−(A+C)=(0+0)−(0+200)=−200となり、エッジの垂直方向成分は、(A+B)−(C+D)=(0+0)―(200+0)=−200となる。したがって、水平方向成分「−200」、垂直方向成分「−200」となり、エッジは、図7(e)の如く画面左下向きの矢印で示される斜めエッジとなる。
このように、ブロック内の半分の領域から他の半分の領域を減算する構成により、ブロック内全体に含まれる輝度のオフセットやノイズを取り除くことができ、エッジを適切に抽出することが可能となる。また、加減算のみの単純計算でエッジを導出できるので、計算負荷が軽くなる。
ここでは、このように導出されたエッジの分割領域256全体に対する割合を導出することを目的としている。しかし、上記水平方向成分や垂直方向成分を導出した値をそのまま用いて単純にエッジとしてしまうと、そのエッジのバリエーションが無限に存在することとなる。そうすると、その無限のバリエーションに対して同一とみなしてよいエッジの範囲を設定しなければならない。そこで、本実施形態では、水平方向成分および垂直方向成分のいずれも単位長さで定義し、エッジのバリエーションを単純化する。即ち、水平方向成分および垂直方向成分のいずれも−1、0、+1のいずれかとみなすこととする。そうすると、エッジは、図7(g)のようにそれぞれ45度ずつの角度をなす8つの方向に限定することができる。ここで、図7(g)の各方向に付随する数値は、その方向の識別子を示す。
また、このようにエッジの導出を単純化すると、水平方向成分や垂直方向成分が0ではない全ての場合において、その成分は単位長を有することとなる。例えば、水平方向成分が輝度にして−1の場合と+1の場合とでは、輝度の差が2しかないにも拘わらず、エッジとして正反対の結果が生じてしまう。そこで、エッジの導出の際、不感帯を設けることとし、エッジ計数部162は、水平方向成分や垂直方向成分の絶対値が所定の閾値(例えば20)未満であれば、水平方向成分や垂直方向成分を0とみなし、すなわち、エッジなしと判断する。こうすることで、ノイズ的に生じた水平方向成分や垂直方向成分によりエッジが不安定に出現するのを回避できる。
また、ここでは、所定の閾値として固定値を用いる例を示したが、所定の閾値を可変値とすることもできる。例えば、撮像装置110においては、輝度が高いほど、ノイズの量が増える特性を有する。したがって、所定の閾値は、ブロック内の輝度、例えば、ブロック内の全輝度の平均値に応じた漸増関数(例えば、輝度の平均値を引数とする一次関数)で求められることが望ましい。こうして、ブロック内の全体的な輝度の高低によるノイズ量の変動に拘わらず、ノイズによってエッジが不安定になるのを回避できる。このとき、全体的な輝度が高い場合、所定の閾値も高くなるが、そもそも輝度が高い範囲では、水平方向成分や垂直方向成分も大きくなるので、エッジの安定した導出に支障はない。
ただし、本実施形態において、エッジ計数部162は、水平エッジ(図7(g)の3、7の方向)や垂直エッジ(図7(g)の1、5の方向)より、斜めエッジ(図7(g)の2、4、6、8の方向)が出やすいようにエッジを導出している。例えば、図7(b)のように、水平方向または垂直方向のいずれかの方向成分のみが有意な値(その絶対値が所定の閾値以上)となり、他の方向成分がほぼ0(その絶対値が所定の閾値未満)であれば、水平エッジや垂直エッジとなるが、いずれも有意な値(その絶対値が所定の閾値以上)となれば、それを斜めエッジと判定する。したがって、分割領域256に対して、エッジが、水平エッジもしくは垂直エッジでなければ、ほぼ斜めエッジと判定される。これは、車外環境において水平や垂直な部位を有する立体物が多いので、正確に水平や垂直ではないエッジは立体物として誤認識させないために斜めエッジに分類させるためである。かかる手法の下では、車輪をはじめとする円形状の立体物に対し、水平エッジや垂直エッジが出現することはほとんどなく、ほぼ斜めエッジが出現することとなる。
また、エッジ計数部162は、分割領域256内でブロックを抽出する度に、ブロックの総数(ブロック総数)を積算する。かかるブロックの総数は、エッジ計数部162がブロックをエッジである(水平エッジ、垂直エッジ、斜めエッジのいずれかである)と判定したか否かに拘わらず積算される。
ブロックに対するエッジの方向を導出すると、エッジ計数部162は、導出された方向のエッジの数(方向数)を積算するとともに、ブロックの座標を、導出された方向の座標(座標積算値)として積算する(S214)。例えば、任意のブロックに対し、図7(e)のような斜めエッジ(図7(g)の6の方向)が導出されると、図7(g)の6の方向の方向数が1だけインクリメントされ、そのブロックの座標(x座標、y座標)が図7(g)の6の方向の座標積算値に積算される。ただし、水平方向成分や垂直方向成分の絶対値が所定の閾値(例えば20)未満となりエッジと判定されなかったブロックについては、方向数や座標積算値への積算が行われない。
続いて、エッジ計数部162は、対象とする分割領域256内のブロック全てを抽出したか否か判定し(S216)、抽出していなければ(S216のNO)、新たなブロックを抽出してエッジ導出処理S212から繰り返し、抽出していれば、すなわち、分割領域256内のブロック全ての判定が完了していれば(S216のYES)、次の処理に移行する。
次に、エッジ計数部162は、エッジの各方向の座標積算値を方向数で除算し、エッジの各方向の重心位置を導出する(S218)。したがって、重心位置は、分割領域256毎に8つ導出されることとなる。
また、エッジ計数部162は、エッジの各方向の方向数をブロック総数で除算し、エッジの各方向の割合(%)を導出する(S220)。したがって、分割領域256毎に8つの方向に対するエッジの割合が導出されることとなる。
続いて、エッジ計数部162は、複数の分割領域256全てに対して処理が完了したか否か判定し(S222)、完了していなければ(S222のNO)、新たな分割領域256を設定してエッジ導出処理S212から繰り返し、完了していれば(S222のYES)、当該エッジ計数処理S202を終了する。
(第1車輪判定処理S204)
車輪判定部164は、エッジ計数部162が導出した分割領域256毎の重心位置と、分割領域256毎に定められた基準位置(例えば、中心254aから20cm)との相対距離に応じて、対象領域254の画像の車輪らしさを判定する。
具体的に、対象領域254の左上に位置する分割領域256aおよび右下に位置する分割領域256dでは、いずれも、斜めエッジ、特に、図7(g)の4および8の方向の斜めエッジを判定対象とし、対象領域254の右上に位置する分割領域256bおよび左下に位置する分割領域256cでは、いずれも、斜めエッジ、特に、図7(g)の2および6の方向の斜めエッジを判定対象とする。したがって、車輪判定部164は、分割領域256a、256dに関しては、分割領域256a、256dそれぞれにおける図7(g)の4および8の方向の斜めエッジの重心位置と基準位置との相対距離を導出し、分割領域256b、256cに関しては、分割領域256b、256cそれぞれにおける図7(g)の2および6の方向の斜めエッジの重心位置と基準位置との相対距離を導出する。
そして、車輪判定部164は、4つの分割領域256a、256b、256c、256d全ての相対距離が、所定の第1距離(例えば8cm)以内に収まっていれば、係数を所定の第1係数(例えば1.0)に設定し、第1距離以内には収まっていないものの、所定の第2距離(例えば16cm)以内に収まっていれば、係数を所定の第2係数(例えば0.85)に設定し、第2距離以内には収まっていないものの、所定の第3距離(例えば24cm)以内に収まっていれば、係数を所定の第3係数(例えば0.75)に設定し、第3距離以内に収まっていなければ、係数を所定の第4係数(例えば0.0)に設定する。かかる係数は、大きいほど、対象領域254の画像が車輪らしいということになる。なお、第1距離〜第3距離、および、第1係数〜第4係数は、対象領域254の大きさによって異なる値が設定されるとしてもよい。
車輪判定部164は、エッジ計数部162が導出した分割領域256毎の割合に基づいて、対象領域254の画像の車輪らしさを判定する。
かかる割合の判定も、重心位置同様、対象領域254の左上に位置する分割領域256aおよび右下に位置する分割領域256dでは、いずれも、図7(g)の4および8の方向の斜めエッジを判定対象とし、対象領域254の右上に位置する分割領域256bおよび左下に位置する分割領域256cでは、いずれも、図7(g)の2および6の方向の斜めエッジを判定対象とする。したがって、車輪判定部164は、分割領域256a、256dに関しては、分割領域256a、256dそれぞれにおける図7(g)の4および8の方向(合計)の斜めエッジの割合に基づいて、その割合が多ければ多いほど車輪らしいと判定し、分割領域256b、256cに関しては、分割領域256b、256cそれぞれにおける図7(g)の2および6の方向(合計)の斜めエッジの割合に基づいて、その割合が多ければ多いほど車輪らしいと判定する。
ただし、本実施形態では、車輪判定部164は、複数の分割領域256の割合に、上述した係数を乗じ、さらに、分割領域256毎に重み付けも行う。かかる重み付けは、移動方向かつ路面方向(垂直方向かつ立体物252が位置している路面に向かう方向)に位置する分割領域256が他の分割領域256より高くなるように設定される。これは、対象領域254において、自転車の運転手に近い領域に、車輪以外のエッジが観測される可能性が高く、運転手と遠くなる移動方向かつ路面方向に位置する分割領域256においては、車輪のエッジが観測され易いからである。したがって、重み付けは、分割領域256c≧分割領域256a≧分割領域256d≧分割領域256bの関係となる。ここで、分割領域256a≧分割領域256dとなっているのは、自転車の運転手が荷物を持っている場合に、分割領域256dに荷物のエッジが出易くなるからである。
このような重み付けを反映すると、車輪らしさの判定は以下のようになる。すなわち、分割領域256cに関し、車輪判定部164は、図7(g)の2および6の方向の斜めエッジの割合が、30%以上なら5×係数ポイントを付与し、25%以上30%未満なら3×係数ポイントを付与し、20%以上25%未満なら2×係数ポイントを付与し、20%未満ならポイントを付与しない。
同様に、分割領域256aに関し、車輪判定部164は、図7(g)の4および8の方向の斜めエッジの割合が、30%以上なら4×係数ポイントを付与し、25%以上30%未満なら3×係数ポイントを付与し、20%以上25%未満なら2×係数ポイントを付与し、20%未満ならポイントを付与しない。分割領域256dに関し、車輪判定部164は、図7(g)の4および8の方向の斜めエッジの割合が、27%以上なら4×係数ポイントを付与し、22%以上27%未満なら2×係数ポイントを付与し、17%以上22%未満なら1×係数ポイントを付与し、17%未満ならポイントを付与しない。分割領域256bに関し、車輪判定部164は、図7(g)の2および6の方向の斜めエッジの割合が、25%以上なら3×係数ポイントを付与し、20%以上25%未満なら2×係数ポイントを付与し、15%以上20%未満なら1×係数ポイントを付与し、15%未満ならポイントを付与しない。そして、車輪判定部164は、分割領域256毎に付与されたポイントを合計し、その対象領域254の車輪らしさを示す合計ポイントとする。
ただし、重み付けは、分割領域256c≧分割領域256a≧分割領域256d≧分割領域256bの関係があれば足り、判定基準(%)やそれに対応して付与する数値を任意に設定できるのは言うまでもない。
(完了確認処理S206)
続いて、車輪判定部164は、複数の対象領域254全てに対して処理が完了したか否か判定し、完了していなければ(S206のNO)、新たな対象領域254を設定してエッジ計数処理S202から繰り返し、完了していれば(S206のYES)、次の処理に移行する。
(第2車輪判定処理S208)
車輪判定部164は、16インチ、22インチ、28インチの3つの対象領域254の合計ポイントを比較し、一番高い合計ポイントを判定対象とする。これは、合計ポイントが高い対象領域254の大きさが車輪の大きさと一致または近似している可能性が高いからである。
続いて、車輪判定部164は、一番高い合計ポイントが、12ポイント以上なら高確率で車輪らしいと判定し、10ポイント以上12ポイント未満なら中確率で車輪らしいと判定し、8ポイント以上10ポイント未満なら低確率で車輪らしいと判定する。そして、車輪判定部164は、他の情報(例えば横断速度)等を踏まえ、総合的に、立体物252が自転車であるか判定する。したがって、第2車輪判定処理S208による車輪らしさの判定は、立体物252が自転車であることを特定するための一つのパラメータであり、車輪らしいと判定されたからといって、立体物252を即座に自転車と判定するものではない。
このように立体物252が自転車であると特定されると、車外環境認識装置120は、立体物252との衝突を回避すべく、衝突回避制御を実行することとなる。
本実施形態では、分割領域256毎に所定方向のエッジの重心位置および割合を導出することで、車輪の円形状らしさを判定している。かかる構成により、ハフ変換等の重い計算処理を遂行しなくとも、簡易な計算による軽処理負荷で自転車等の特定物を迅速に検出することが可能となる。
また、コンピュータを車外環境認識装置120として機能させるプログラムや、当該プログラムを記録した、コンピュータで読み取り可能なフレキシブルディスク、光磁気ディスク、ROM、CD、DVD、BD等の記憶媒体も提供される。ここで、プログラムは、任意の言語や記述方法にて記述されたデータ処理手段をいう。
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
例えば、上述した実施形態においては、対象領域254として、一辺がそれぞれ16インチ、22インチ、28インチとなる3つの正方形を挙げて説明したが、その大きさ、数、形状は任意に設定することができる。
また上述した実施形態では、対象領域254の中心254aから延長された放射状の線254bにより均等分割した4つの分割領域256を設定する例を挙げて説明したが、その数は任意に設定することができ(例えば8、16)、また、車輪が円形状であることを判定できれば、均等に分割する必要もない。
また上述した実施形態では、複数の方向全てのエッジについて計数する例を挙げて説明したが、判定対象が斜めエッジのみなので、斜めエッジのみ計数して、重心位置や割合を導出するとしてもよい。
また上述した実施形態では、車輪らしさを判定することで特定物として自転車を特定する例を挙げて説明しているが、車輪を有する自動二輪車や自動車に適用することもできる。
なお、本明細書の車外環境認識処理の各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。
本発明は、自車両の進行方向に存在する特定物を特定する車外環境認識装置に利用することができる。
120 車外環境認識装置
160 対象領域設定部
162 エッジ計数部
164 車輪判定部

Claims (5)

  1. コンピュータが、
    画面上の所定の範囲を対象領域として設定する対象領域設定部と、
    前記対象領域の中心から延長された放射状の線が境界となるように該対象領域を分割して複数の分割領域を設定し、該分割領域毎に予め定められた斜めエッジを計数するエッジ計数部と、
    前記分割領域におけるブロック総数に対する前記斜めエッジの割合に基づいて、前記対象領域の画像の車輪らしさを判定する車輪判定部、
    として機能することを特徴とする車外環境認識装置。
  2. 前記エッジ計数部は、前記対象領域の中心から水平および垂直に延長された放射状の線が境界となるように該対象領域を分割することを特徴とする請求項1に記載の車外環境認識装置。
  3. 前記エッジ計数部は、前記分割領域毎に、前記斜めエッジの重心位置を導出し、
    前記車輪判定部は、前記重心位置と、前記分割領域毎に定められた基準位置との相対距離に応じて、前記対象領域の画像の車輪らしさを判定することを特徴とする請求項1または2に記載の車外環境認識装置。
  4. 前記車輪判定部は、前記複数の分割領域に対し、移動方向かつ路面方向に位置する該分割領域が他の該分割領域より高くなるように重み付けを行うことを特徴とする請求項1から3のいずれか1項に記載の車外環境認識装置。
  5. 前記対象領域設定部は、自転車の車輪の複数の規格それぞれに基づく複数の大きさの対象領域を設定することを特徴とする請求項1から4のいずれか1項に記載の車外環境認識装置。
JP2015178956A 2015-09-10 2015-09-10 車外環境認識装置 Active JP6132411B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2015178956A JP6132411B2 (ja) 2015-09-10 2015-09-10 車外環境認識装置
US15/241,884 US10102437B2 (en) 2015-09-10 2016-08-19 Vehicle driving hazard recognition and avoidance apparatus and vehicle control device
DE102016116601.4A DE102016116601B4 (de) 2015-09-10 2016-09-06 Fahrzeugaußenumgebung-Erkennungsvorrichtung
CN201610808114.8A CN106529390B (zh) 2015-09-10 2016-09-07 车外环境识别装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015178956A JP6132411B2 (ja) 2015-09-10 2015-09-10 車外環境認識装置

Publications (2)

Publication Number Publication Date
JP2017054386A JP2017054386A (ja) 2017-03-16
JP6132411B2 true JP6132411B2 (ja) 2017-05-24

Family

ID=58160716

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015178956A Active JP6132411B2 (ja) 2015-09-10 2015-09-10 車外環境認識装置

Country Status (4)

Country Link
US (1) US10102437B2 (ja)
JP (1) JP6132411B2 (ja)
CN (1) CN106529390B (ja)
DE (1) DE102016116601B4 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6514736B2 (ja) * 2017-05-17 2019-05-15 株式会社Subaru 車外環境認識装置
JP7034823B2 (ja) * 2018-05-11 2022-03-14 富士通フロンテック株式会社 画像処理プログラム、画像処理方法、及び画像処理装置
JP6831883B2 (ja) * 2018-12-05 2021-02-17 株式会社Subaru 車両検出装置
US11093783B2 (en) 2018-12-05 2021-08-17 Subaru Corporation Vehicle detection apparatus
JP7336367B2 (ja) * 2019-11-22 2023-08-31 株式会社Subaru 車外環境認識装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3349060B2 (ja) 1997-04-04 2002-11-20 富士重工業株式会社 車外監視装置
JP3476177B2 (ja) * 1997-11-18 2003-12-10 日本電信電話株式会社 物体有無判定方法および物体移動判定方法ならびにその実施装置
JP2008134877A (ja) 2006-11-29 2008-06-12 Alpine Electronics Inc 周辺監視装置
JP2012054810A (ja) * 2010-09-02 2012-03-15 Olympus Corp 画像処理装置、画像処理方法、撮像装置、および画像処理プログラム
JP5691834B2 (ja) * 2011-05-20 2015-04-01 株式会社豊田中央研究所 画像識別装置及びプログラム
CN102521840B (zh) * 2011-11-18 2014-06-18 深圳市宝捷信科技有限公司 一种运动目标跟踪方法、系统及终端
JP5648655B2 (ja) * 2012-04-27 2015-01-07 株式会社デンソー 対象物識別装置
US20140267793A1 (en) * 2013-03-15 2014-09-18 Delphi Display Systems, Inc. System and method for vehicle recognition in a dynamic setting
EP2972076B1 (en) * 2013-03-15 2023-08-16 Hunter Engineering Company Method for determining parameters of a rotating object within a projected pattern
US9087263B2 (en) 2013-12-09 2015-07-21 National Chung Shan Institute Of Science And Technology Vision based pedestrian and cyclist detection method
CN103745196B (zh) 2013-12-27 2016-10-05 东软集团股份有限公司 广义行人检测方法和装置
JP2015178956A (ja) 2014-03-18 2015-10-08 旭化成エレクトロニクス株式会社 3次元磁気検出装置及び3次元磁気検出方法

Also Published As

Publication number Publication date
JP2017054386A (ja) 2017-03-16
US20170076161A1 (en) 2017-03-16
CN106529390B (zh) 2018-07-06
DE102016116601B4 (de) 2019-11-07
US10102437B2 (en) 2018-10-16
DE102016116601A1 (de) 2017-03-16
CN106529390A (zh) 2017-03-22

Similar Documents

Publication Publication Date Title
JP6132411B2 (ja) 車外環境認識装置
JP5886809B2 (ja) 車外環境認識装置
JP7206583B2 (ja) 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法およびプログラム
US11145063B2 (en) Image processing apparatus
US9524645B2 (en) Filtering device and environment recognition system
JP6591188B2 (ja) 車外環境認識装置
JP6564218B2 (ja) 車外環境認識装置
JP6514736B2 (ja) 車外環境認識装置
JP6378547B2 (ja) 車外環境認識装置
JP7356319B2 (ja) 車外環境認識装置
JP7229032B2 (ja) 車外物体検出装置
JP7261006B2 (ja) 車外環境認識装置
JP6174960B2 (ja) 車外環境認識装置
JP6764378B2 (ja) 車外環境認識装置
JP6569416B2 (ja) 画像処理装置、物体認識装置、機器制御システム、画像処理方法及び画像処理プログラム
JP7071102B2 (ja) 車外環境認識装置
JP6254870B2 (ja) 車外環境認識装置
JP2022040651A (ja) 車外環境認識装置
WO2018097269A1 (en) Information processing device, imaging device, equipment control system, mobile object, information processing method, and computer-readable recording medium
JP6329442B2 (ja) 車外環境認識装置
JP5890816B2 (ja) フィルタリング装置および環境認識システム
JP7216526B2 (ja) 車外環境認識装置および車外環境認識方法
JP2014123301A (ja) 白線検出装置
JP6831883B2 (ja) 車両検出装置
JP6313667B2 (ja) 車外環境認識装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170303

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170321

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170414

R150 Certificate of patent or registration of utility model

Ref document number: 6132411

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250