JP6062122B2 - 運転支援装置、運転支援方法及びプログラム - Google Patents

Description

本発明は、自車両周辺の物体を認識する運転支援装置、運転支援方法及びプログラムに関するものである。

近年、自車両周囲の車両、人、障害物等の物体を認識し、ＨＵＤ（Ｈｅａｄ Ｕｐ Ｄｉｓｐｌａｙ）と呼ばれる半透過のディスプレイを用いて風景に物体の情報を重畳させることによりドライバーに危険を通知する技術が知られている。また、認識した自車両周囲の物体の情報に基づき車両を制御し、衝突を回避したり衝撃を低減する技術が知られている。このような技術においては、センサやカメラを利用して周囲に存在する物体を認識し、認識した物体の情報を把握し管理することが必要となる。しかしながら、センサにより物体を検出しようとする場合、その物体の色濃度が高いとレーザ光や電波の反射率が低くなり、精度良く物体を検出できない場合があった。

特許文献１に記載された装置においては、画像処理により、カメラから取得した撮像画像内の色濃度が高い部分を検出することで、自車両周囲の物体を認識していた。

特開２０１４−１０６２００号公報

しかしながら、従来の装置では、撮像画像全体に対して色濃度が高い部分を検出する処理を行っており、物体の認識に時間がかかるという課題があった。

本発明は、上述した課題を解決するためになされたものであり、撮像画像から物体を認識する処理時間を短くすることができる運転支援装置、運転支援方法及びプログラムを提供することを目的とする。

本発明に係る運転支援装置は、車両周囲の撮像画像を取得する画像取得部と、センサによって検出された車両周囲における第１の物体の位置情報を取得する位置情報取得部と、前記第１の物体の位置情報に基づき前記撮像画像内における前記第１の物体の検出範囲を決定する検出範囲決定部と、前記撮像画像内における前記第１の物体の検出範囲以外の範囲の画像に対し画像処理を行い前記第１の物体とは異なる第２の物体を認識する物体認識部とを備える。

また、本発明に係る他の運転支援装置は、車両周囲の撮像画像を取得する画像取得部と、センサによる第１ライン方向の照射によって検出された車両周囲における第１の物体の位置情報を取得し、前記センサによる第２ライン方向の照射によって検出された車両周囲における第２の物体の位置情報を取得する位置情報取得部と、前記第１の物体の位置情報に基づき前記撮像画像内における前記第１の物体の検出範囲を決定し、前記第２の物体の位置情報に基づき前記撮像画像内における前記第２の物体の検出範囲を決定する検出範囲決定部と、前記撮像画像内のうち、前記第１の物体の検出範囲と前記第２の物体の検出範囲とを合わせた範囲以外の範囲の画像に対して画像処理を行い、前記第１の物体及び前記第２の物体とは異なる第３の物体を認識する物体認識部とを備える。

本発明に係る運転支援方法は、車両周囲の撮像画像を取得するステップと、センサによって検出された車両周囲における第１の物体の位置情報を取得するステップと、前記第１の物体の位置情報に基づき前記撮像画像内における前記第１の物体の検出範囲を決定するステップと、前記撮像画像内における前記第１の物体の検出範囲以外の範囲の画像に対し画像処理を行い前記第１の物体とは異なる第２の物体を認識するステップとを有する。

本発明に係るプログラムは、コンピュータに、車両周囲の撮像画像を取得する処理と、センサによって検出された車両周囲における第１の物体の位置情報を取得する処理と、前記第１の物体の位置情報に基づき前記撮像画像内における前記第１の物体の検出範囲を決定する処理と、前記撮像画像内における前記第１の物体の検出範囲以外の範囲の画像に対し画像処理を行い前記第１の物体とは異なる第２の物体を認識する処理とを実行させる。

本発明の運転支援装置、運転支援方法、及びプログラムによれば、センサによって検出された車両周囲の物体の位置情報に基づき撮像画像内における第１の物体の検出範囲を検出し、その検出範囲以外の範囲に対して画像処理を行って第２の物体を認識するので、物体を認識する処理時間を短くすることが可能となる。

実施の形態１に係る運転支援システムの構成例を示す図である。 実施の形態１に係る物体認識部３０６の詳細構成の例を示す図である。 実施の形態１に係る運転支援装置３００のハードウェア構成例を示す図である。 実施の形態１に係る運転支援装置３００の動作例を示すフローチャートである。 実施の形態１に係るカメラ２００により取得された撮像画像の例を示す図である。 実施の形態１に係るセンサ１００によるセンサ情報の取得を説明するためのイメージ図である。 実施の形態１に係る撮像画像中において第１の物体が一致する位置を示すイメージ図である。 実施の形態１に係る撮像画像中における第１の物体の検出範囲を示す図である。 実施の形態１に係る認識処理のアルゴリズムの一例を示すフローチャートである。 実施の形態１に係る第１の認識部３１６の処理を説明するための図である。 実施の形態２に係る運転支援システムの構成例を示す図である。 実施の形態１に係る認識処理のアルゴリズムの一例を示すフローチャートである。 実施の形態２に係る第１の認識部３１６の処理を説明するための図である。 実施の形態３に係る運転支援システムの構成例を示す図である。 実施の形態３に係るセンサ１００によるセンサ情報の取得を説明するためのイメージ図である。 実施の形態３に係る撮像画像中において第２の物体が一致する位置を示すイメージ図である。

実施の形態１．
以下図面を用いて本発明の実施の形態１を説明する。

図１は実施の形態１に係る運転支援システムの構成例を示す図である。運転支援システムは、センサ１００と、カメラ２００と、運転支援装置３００とから構成され、これらはそれぞれ車両に搭載される。

センサ１００は、例えばＬＩＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）等のレーザセンサが該当し、レーザ光を照射してその反射光を検知することにより、自車両から自車両周囲の物体（車両、人、障害物等）までの距離情報及び自車両周囲の物体の位置情報を検出する。ＬＩＤＡＲは、水平方向にレーザを走査し、例えば１９０度といった広範囲を０．４度程度の解像度で自車両から物体までの距離情報を取得することが可能である。以降の説明では距離情報の取得は水平方向のみとするが、ＰＭＤ（Ｐｈｏｔｏｎｉｃ Ｍｉｘｅｒ Ｄｅｖｉｃｅ）等の他の種類のセンサにより高さ方向についても距離情報の取得を行ってもよい。なお、センサ１００は、レーザセンサに限らず、例えば電波を用いるレーダセンサを用いてもよい。

しかしながら、センサ１００によるセンサ情報取得にあたって、色濃度が低い薄い色（例えば白色）の物体に関してはレーザの反射光を十分検知できるが、色濃度が高い濃い色（例えば黒色）の物体に関してはレーザの反射光を十分検知できない。

カメラ２００は、自車両周辺の画像を撮像する撮像装置であり、可視光のカメラであっても、赤外線カメラであってもよい。

運転支援装置３００は、センサ情報取得部３０１と、画像取得部３０２と、一致点検出部３０３と、検出範囲決定部３０４と、記憶部３０５と、物体認識部３０６と、モデル生成部３０７と、制御部３０８とを備える。

センサ情報取得部３０１は、センサ１００によって検出された自車両周囲の物体の位置情報及び距離情報とをセンサ情報として取得する。そのため、センサ情報取得部３０１は、位置情報取得部と表現してもよいし、距離情報取得部と表現してもよい。

画像取得部３０２は、カメラ２００によって撮像された自車両周囲の画像を取得する。ここで、自車両周囲とは、例えば自車両から数十ｃｍから数十ｍの範囲内を言う。

一致点検出部３０３は、画像取得部３０２から撮像画像の情報を受信し、センサ情報取得部３０１からセンサ情報を受信する。一致点検出部３０３は、センサ情報に含まれる物体の位置情報に基づき、センサにより検出された物体の位置が、受信した撮像画像のうちいずれの位置に一致するかを検出し、物体の一致する位置（一致点）の情報を一致点情報として検出範囲決定部３０４に出力する。なお、一致点検出部３０３による一致点の検出処理において、センサ１００とカメラ２００とを事前にキャリブレーションしているものとする。

検出範囲決定部３０４は、一致点検出部３０３から得た一致点情報から、撮像画像内における物体の検出範囲を決定する。換言すると、検出範囲決定部３０４は、センサ１００により得られた物体の位置情報に基づき撮像画像内における物体の検出範囲を決定するともいえる。検出範囲の決定方法については後述する。

記憶部３０５には、物体の特徴を表すエッジ画像が記憶される。このエッジ画像は、例えば物体が車両である場合には、車両の平均的な外形を表すエッジ画像等であればよい。

物体認識部３０６は、検出範囲決定部３０４により決定された撮像画像内における物体（以下、第１の物体と呼称する。）の検出範囲以外の範囲から、画像処理により、第１の物体とは異なる物体（以下、第２の物体と呼称する。）を認識する。物体認識部３０６は、画像処理を行うにあたり、記憶部３０５で記憶されるエッジ画像を利用する。ここで、物体を認識するとは、その物体が車両であるか、人であるか、又は障害物であるかを判別することを意味し、さらに、その判別した車両等の形、大きさを判別するようにしてもよい。また、記憶部３０５に車種毎のエッジ画像を複数用意しておくことで、車両がいずれの車種であるかまで認識することが可能となる。

図２は実施の形態１に係る物体認識部３０６の詳細構成の例を示す図である。物体認識部３０６は、第１の認識部３１６と、第２の認識部３２６とを備える。

第１の認識部３１６は、撮像画像内における第１の物体の検出範囲以外の範囲から、色濃度が閾値以上のピクセル群を検出し、検出したピクセル群に基づいた領域を算出する。この領域の算出方法については後述する。

第２の認識部３２６は、第１の認識部３１６により検出された領域内の画像に対して画像処理を施し、領域内に存在する第２の物体を認識する。第２の認識部３１６は、記憶部３０６に記憶されるエッジ画像を用いて、領域内の画像に対しマッチングを施すことにより、領域内に存在する第２の物体を認識する。より具体的に言うと、第２の認識部３２６は、画像の輝度勾配をヒストグラム化する画像特徴抽出法であるＨＯＧ（Ｈｉｓｔｏｇｒａｍ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）といった手法を用いて第２の物体を認識することが可能である。

図１に戻って、モデル生成部３０７は、自車両周囲の物体についてのモデルを生成する。モデル生成部３０７は、センサ１００により得られたセンサ情報を用いて、自車両周囲に存在する第１の物体のモデルを生成する。このセンサ情報には、自車両から第１の物体までの距離情報及び第１の物体の位置情報が含まれている。

また、モデル生成部３０７は、物体認識部３０６で認識された第２の物体の撮像画像内における位置情報から、モーションステレオ技術やデプスマップ技術を利用して自車両から第２の物体までの距離情報及び第２の物体の位置情報を算出し、自車両周囲に存在する第２の物体のモデルを生成する。モデルとしては、例えば、物体等を線の情報だけで表示するワイヤーフレームモデル、面の情報で表示するサーフィスモデル、多角形のパッチの集合体で表現するポリゴンモデル、物体の実物に近い中身の詰まったものとして表現するソリッドモデル、物体を四角形で囲み、その４点と最近接点の計５点で表現するモデル等を用いることができる。これらのモデルには、自車両とモデルとの間の距離情報が保持される。

モデル生成部３０７は、生成した複数のモデル間の各距離に基づき、複数のモデルをグルーピングして１つのモデルとして扱うようにしてもよい。例えば、モデル間の距離が近く、かつ、物体の種類（車両、人、障害物等）が同じものについては１つのモデルとして生成し、管理する。そうすることで、生成するモデルの数を減らすことができ、容量の削減を実現できる。モデル間の距離が近いとは、例えば、モデル間の距離が閾値以下か否かによって定められる。

制御部３０８は、モデル生成部３０７で生成された自車両周囲の物体のモデルをナビ画面やＨＵＤ（Ｈｅａｄ Ｕｐ Ｄｉｓｐｌａｙ）等の表示装置に表示するよう制御する。表示装置に表示されることにより、ドライバーに自車両周囲の物体の存在を視覚的に認識させることが可能となる。また、制御部３０８は、表示に限らず、音声や振動により自車両周囲の物体の存在をドライバーに通知するよう制御してもよい。この場合は、モデル生成部３０７により生成されたモデルは必要とせず、自車両周囲の物体の位置情報及び距離情報が分かれば良い。また、制御部３０８は、自車両周囲の物体の位置情報及び距離情報に基づき、車両の運転（例えばブレーキ操作等）を制御するよう外部に信号を送信するようにしてもよい。

次に、運転支援装置３００のハードウェア構成について説明する。

図３は実施の形態１に係る運転支援装置３００のハードウェア構成例を示す図である。運転支援装置３００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）のうちいずれか１つ又はこれらを複数組み合わせて構成される処理装置３５０と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やハードディスク装置等の記憶装置３６０と、受信機３７０と、送信機３８０とがバス接続された構成となっている。なお、ＣＰＵ、ＤＳＰ、ＦＰＧＡは、自身にもメモリを備える。

センサ情報取得部３０１、画像取得部３０２、一致点検出部３０３、検出範囲決定部３０４、物体認識部３０６、モデル生成部３０７、制御部３０８はそれぞれプログラムとして記憶装置３６０に記憶される。そして、処理装置３５０がこれらを適宜読みだして実行することにより、各機能が実現される。つまり、処理装置３５０であるハードウェアと上記プログラムであるソフトウェアとを組み合わせることにより、上記の「〜部」の機能を実現する。換言すると、処理装置３５０は、上記の「〜部」の機能を実現するようプログラムされているともいえる。なお、これら機能は、ハードウェアとソフトウェアとの組み合わせに限らず、処理装置３５０に上記プログラムをインプリメントし、ハードウェア単体で実現するようにしてもよい。こういったことから、各機能の実現において、処理装置３５０を構成するＣＰＵ、ＤＳＰ、ＦＰＧＡがそれぞれどのように処理するかは任意に設計可能であるが、例えば、検出範囲決定部３０４の検出範囲決定処理、物体認識部３０７の物体認識処理、モデル生成部３０７のモデル生成処理についてはＤＳＰまたはＦＰＧＡが主体的に行い、センサ情報取得部３０１、画像取得部３０２、一致点検出部３０３、制御部３０８の処理についてはＣＰＵが主体的に行うことが、処理速度の観点から好ましい。

受信機２７０はセンサ情報又は撮像画像を受信するハードウェアである。送信機２８０は制御部からの信号を送信するハードウェアである。なお、受信機２７０と送信機２８０による受信機能と送信機能は、受信及び送信が一体となった送受信機により実現されるようにしてもよい。

次に、実施の形態１に係る運転支援装置３００の動作について説明する。

図４は実施の形態１に係る運転支援装置３００の動作例を示すフローチャートである。まず、センサ情報取得部３０１はセンサ１００からセンサ情報を取得し、画像取得部３０２はカメラ２００から撮像画像を取得する（ステップＳ１）。

図５は実施の形態１に係るカメラ２００により取得された撮像画像の例を示す図である。第１の物体としての車両と、第２の物体としての車両が撮像画像中に含まれる。

図６は実施の形態１に係るセンサ１００によるセンサ情報の取得を説明するためのイメージ図である。自車両は、例えばレーザセンサにより所定範囲内を水平方向にレーザ光で照射する。第１の物体はボディの色濃度が低い色であるため、自車両から照射されたレーザ光を反射する。このようにレーザ光を水平方向に照射しその反射を見ることにより、物体が存在するか否かによって距離情報が変化することを検知することができる。そして、距離情報の変化点に基づき物体の位置を求める。ここでは、位置x1及び位置x2が距離情報の変化点であるので、第１の物体の位置情報はx1、x2となる。一方で、第２の物体はボディの色濃度が高い色であるため、レーザ光を十分に反射しない。なお、ここではセンサ１００は１ラインについてのセンサ情報を取得するものとするが、これに限らない。

図１に戻って、一致点検出部３０３は、取得した撮像画像のうち第１の物体が一致する位置を検出する（ステップＳ２）。

図７は実施の形態１に係る撮像画像中において第１の物体が一致する位置を示すイメージ図である。一致点検出部３０３は、センサ１００から第１の物体の位置情報（例えばx1、x2）を取得し、座標変換することにより、撮像画像中における第１の物体の位置を一致点として検出する。図７に示すように、第１の物体の位置は撮像画像中におけるX1、X2となり、これらはそれぞれセンサ情報に含まれる位置情報x1、x2に対応する。一方で、第２の物体に関しては、センサ１００によりセンサ情報を取得できなかったので、撮像画像中における第２の物体の位置を一致点として検出することはできない。

図１に戻って、検出範囲決定部３０４は、一致点検出部３０３で検出された一致点から、第１の物体の検出範囲を決定する（ステップＳ３）。

図８は実施の形態１に係る撮像画像中における第１の物体の検出範囲を示す図である。撮像画像中、点線で囲まれた範囲が第１の物体の検出範囲として決定される。検出範囲は、水平方向において、撮像画像中の第１の物体の位置X1、X2を包含するよう幅（｜X1'−X2'｜）を設けている。そうすることにより、センサ情報にノイズが含まれX1、X2の位置が実際の位置と多少ずれた場合であっても、確実に第１の物体を検出範囲含めることができる。なお、検出範囲の垂直方向については、図８の例ではその幅を任意に（｜Y1'−Y2'｜）と決めたが、複数のセンサを用いて第１の物体の垂直方向の位置を求め、その位置に基づいて決定してもよいし、経験則に基づいて決定してもよい。

図１に戻って、物体認識部は、撮像画像内における第１の物体の検出範囲以外の範囲から、第２の物体を認識する（ステップＳ４）。

図９は実施の形態１に係る認識処理のアルゴリズムの一例を示すフローチャートである。処理装置３５０は、物体認識部３０６による認識処理、つまり、図９に示すアルゴリズム（ステップＳ４１からステップＳ４６）を実行することによりステップＳ４の認識処理を実現するようプログラムされている。

まず、物体認識部３０６を構成する第１の認識部３１６は、検出範囲決定部３０４からの情報に基づき、撮像画像中における第１の物体の検出範囲を認識する（ステップＳ４１）。検出範囲決定部３０４からの情報とは、例えば、図８に示す撮像画像中の位置情報X1'、X2'、Y1'、Y2'である。

次に、第１の認識部３１６は、第１の物体の検出範囲以外の範囲において色濃度が閾値以上のピクセル群を抽出する（ステップＳ４２）。

図１０は実施の形態１に係る第１の認識部３１６の処理を説明するための図である。図１０の例では、第２の物体のタイヤやボディの上半分が黒色だとする。そうすると、撮像画像中、第２の物体のタイヤやボディの上半分の個所が、色濃度が閾値以上のピクセル群として算出されることとなる。第１の認識部３１６は、第１の物体の検出範囲内について色濃度が閾値以上のピクセル群を算出する処理を行わないので、処理時間を短縮し、なおかつ運転支援装置３００の処理負荷を低くすることができる。

図９に戻って、第１の認識部３１６は、算出したピクセル群に基づいて、当該ピクセル群を包含するような領域を設定する（ステップＳ４３）。

この領域は、図１０に示すように、色濃度が閾値以上のピクセル群を包含するように設けられていればよい。こうすることにより、色濃度が閾値以上のピクセル群の算出に多少エラーが生じても、確実に第２の物体を包含することが可能となる。

図９に戻って、次に、第２の認識部３２６は、第１の認識部３１６が設定した領域の情報を取得し、また、記憶部３０５からエッジ画像を取得する（ステップＳ４４）。

第２の認識部３２６は、第１の認識部３１６が設定した領域内の画像に対し、エッジ画像とのマッチング処理を行う（ステップＳ４５）。こうすることにより、第２の認識部３２６は、撮像画像全体ではなく、設定された領域内の画像に対してのみマッチング処理をすれば足りるので、処理時間を短縮し、なおかつ運転支援装置３００の処理負荷を低くすることができる。

第２の認識部３２６は、設定された領域内の画像に対してマッチング処理を行った結果、マッチングが成功すれば第２の物体を車両であると認識する（ステップＳ４６）。マッチングが成功しなければ、第２の認識部３２６は第２の物体を車両であると認識できない。

図４に戻って、モデル生成部３０７は、物体認識部３０６を構成する第２の認識部３２６により認識された第２の物体の撮像画像内における位置情報を利用して、自車両から第２の物体までの距離情報及び第２の物体の位置情報を算出し、第２の物体のモデルを生成する（ステップＳ５）。また、モデル生成部３０７は、センサ１００により得られたセンサ情報（位置情報及び距離情報）を用いて、自車両周囲に存在する第１の物体のモデルを生成する。

制御部３０８は、モデル生成部３０７により生成されたモデルをＨＵＤ等に表示することにより、ドライバーに自車両周囲の第１の物体及び第２の物体の存在を通知する、又は、第１の物体及び第２の物体の位置情報及び距離情報に基づいて車両の運転を制御する（ステップＳ７）。

以上より、実施の形態１によれば、検出範囲決定部３０４が撮像画像内における第１の物体の検出範囲を決定し、物体認識部３０６が撮像画像内における第１の物体の検出範囲以外の範囲の画像に対し画像処理を行うことにより第２の物体を認識するので、撮像画像における画像処理を行う範囲を狭くすることができ、処理時間を短縮することが可能となる。

さらに言えば、物体認識部３０６の第１の認識部３１６は、撮像画像内における第１の物体の検出範囲以外の範囲の画像に対して画像処理、すなわち色濃度が閾値以上のピクセル群の算出処理を行い、物体認識部３０６の第２の認識部３２６は、算出されたピクセル群に基づく領域内の画像に対してのみ画像処理、すなわち領域内の画像とエッジ画像とのマッチング処理を行うので、処理時間を短縮することが可能となり、さらに、運転支援装置３００の処理負荷を低くすることが可能となる。特に、撮像画像とエッジ画像とのマッチング処理は、撮像画像全体に対して行うと非常に時間がかかってしまうので、設定された領域内の画像に対してのみマッチング処理を行うことによる時間の短縮の影響は大きい。

また、運転支援の技術分野では、カメラで撮像した後、自車両周囲の物体を素早く認識し、ドライバーに通知すること又は車両を制御することが重要となるが、実施の形態１によれば、物体の認識のための処理時間を短縮するので、ドライバーへの通知又は車両の制御を素早く行うことが可能となり、ドライバーへの安全をより一層担保することができる。

一方で、画像処理の対象外とした第１の物体については、センサ１００によりその位置情報及び距離情報を検出できるので、自車両周囲の第１の物体及び第２の物体のいずれも精度高く認識することが可能である。

実施の形態２．
以下図面を用いて本発明の実施の形態２について説明する。実施の形態１では、撮像画像内における第１の物体の検出範囲以外の範囲の画像に対し画像処理を行うことにより第２の物体を認識したが、実施の形態２では、道路が奥行き方向に向かって交わる消失点（Ｖａｎｉｓｈｉｎｇ Ｐｏｉｎｔ）の情報を利用することにより、撮像画像における画像処理を行う範囲をさらに狭める。

図１１は実施の形態２に係る運転支援システムの構成例を示す図である。実施の形態２の運転支援装置３００Ａは、消失点通知部３０９を新たに備える点において実施の形態１の運転支援装置３００と異なる。他の構成については実施の形態１と同様であるので、図１と同一の符号を付してその説明を省略する。

消失点通知部３０９は、撮像画像内における消失点を含む高さの水平方向の線（消失ライン）の位置情報を物体認識部３０６に通知する。

図１２は実施の形態１に係る認識処理のアルゴリズムの一例を示すフローチャートである。ステップＳ０４１、０４３、Ｓ０４４、Ｓ０４５、Ｓ０４６については図９のステップＳ４１、Ｓ４３、Ｓ４４、Ｓ４５、Ｓ４６に相当するのでここでは説明を省略する。

物体認識部３０６の第１の認識部３１６は、ステップＳ０４１において第１の物体の検出範囲を認識した後、第１の物体の検出範囲以外の範囲で、かつ、消失ラインより下の範囲において色濃度が閾値以上のピクセル群を抽出する（ステップＳ０４２）。

図１３は実施の形態２に係る第１の認識部３１６の処理を説明するための図である。第１の認識部３１６は、消失点通知部３０９から消失ラインの位置情報（Ｙｖ）を通知される。そして、第１の認識部３１６は、撮像画像内において、第１の物体の検出範囲以外の範囲で、かつ、消失ラインＹｖよりも下の範囲において、色濃度が閾値以上のピクセル群を抽出する処理を行う。

そのため、図１３に示すように、第１の識別部３１６は、第２の物体のうち、消失ラインよりも下のボディ部分と、タイヤ部分とを、色濃度が閾値以上のピクセル群として抽出する。そして、第１の識別部３１６は、抽出したピクセル群に基づき領域を決定する（ステップＳ０４３）。

以上より、実施の形態２によれば、物体認識部３０６が、消失点の情報を利用して第２の物体を認識するので、画像処理を行う撮像画像の範囲をさらに狭くすることができるので、実施の形態１よりも処理時間を短縮することが可能となる。

つまり、第１の認識部３１６は、撮像画像中、第１の物体の検出範囲以外で、かつ、消失ラインよりも下の画像に対して色濃度が閾値以上のピクセル群を抽出するので、その抽出範囲を実施の形態１よりもさらに狭めることができ、処理時間を短縮することが可能となる。なお、消失ラインは、上述したように、道路が奥行き方向に向かって交わる消失点からなる線であることから、消失ラインよりも下の範囲の画像に対して画像処理を行えば、道路上の物体を漏れなく検出することが可能である。

なお、ここでは撮像画像中、消失ラインよりも下の範囲の画像に対して画像処理、つまり色濃度の高いピクセル群を抽出する処理を行うとしたが、これに限らない。例えば、撮像画像内における車線を検知し、その車線内に含まれる画像に対して物体認識部３０６は画像処理を行ってもよい。つまり、第１の認識部３１６は、撮像画像内において、第１の物体の検出範囲以外で、かつ、車線内に含まれる画像に対して、色濃度の高いピクセル群を抽出処理を行う。そうすることで、抽出範囲を実施の形態１よりもさらに狭めることができ、処理時間を短縮することが可能となる。

実施の形態３．
以下図面を用いて本発明の実施の形態３について説明する。実施の形態１では、センサ情報取得部３０１は１ラインについてのセンサ情報を取得するようにしたが、実施の形態３では、センサ情報取得部３０１は複数ラインについてのセンサ情報を取得するので、撮像画像中、物体認識部３０６が画像処理を行う範囲を狭くする。

図１４は実施の形態３に係る運転支援システムの構成例を示す図である。実施の形態３の運転支援システムにおいては、センサ制御装置４００をさらに備える点において実施の形態１の運転支援システムと異なる。他の構成については実施の形態１と同様であるので、図１と同一の符号を付してその説明を省略する。

センサ制御装置４００は、例えばモータ等により実現され、センサ１００を垂直方向に振るよう制御する。

図１５は実施の形態３に係るセンサ１００によるセンサ情報の取得を説明するためのイメージ図である。図１５の例では、これまで説明した第１の物体、第２の物体に加え、ボディ全身が黒色の第３の物体も車両周囲に存在する。

この場合、第１の物体に関しては、センサ１００による第１ライン方向についてのレーザ光の照射により位置情報（x1、x2）の検出が可能であるが、第２の物体及び第３の物体の位置を検出することはできない。つまり、位置情報取得部３０１は、センサ１００による第１ライン方向の照射によって検出された第１の物体の位置情報を取得するが、第２の物体及び第３の物体の位置情報を取得できない。そのため、検出範囲決定部３０４は、第１の物体の検出範囲を検出できるものの、第２の物体及び第３の物体の検出範囲は検出できない。そうすると、物体認識部３０６は、実施の形態１で説明したように、撮像画像中、第１の物体の検出範囲以外の画像に対して画像処理を行う必要がある。

一方で、実施の形態３においては、センサ制御装置４００がセンサ１００を垂直方向に振るよう制御するので、２ライン以上についてのセンサ情報を取得することができる。そうすると、第２ライン方向についてのレーザ光を照射すると、第２の物体のボディの下半分は色濃度の低い色であることから、当該レーザ光を十分反射し、その位置情報（x3、x4）を検出が可能となる。そうすると、位置情報取得部３０１は、センサ１００による第２ライン方向の照射によって検出された第２の物体の位置情報を取得することができる。なお、図１５に図示していないが、第２の物体の位置を検出した第２ライン方向のレーザ光の照射により、第１の物体の位置情報をさらに検出することが可能である。第３の物体については、ボディ全身が黒色であることから、第２の物体の位置を検出した第２ライン方向のレーザ光の照射によっても、その位置情報を取得することはできない。

図１６は実施の形態３に係る撮像画像中において第２の物体が一致する位置を示すイメージ図である。図１６に示すように、検出範囲決定部３０４は、センサ情報取得部３０１で取得された第１の物体の位置情報（x1、x2）に対応する撮像画像中の位置（X1、X2）に基づいて第１の物体の検出範囲を検出する。また、検出範囲決定部３０４は、センサ情報取得部３０１で取得された第２の物体の位置情報（x3、x4）に対応する撮像画像中の位置（X3、X4）に基づいて第２の物体の検出範囲を検出する。

物体認識部３０６は、撮像画像のうち、第１の物体の検出範囲と第２の物体の検出範囲を合わせた範囲以外の範囲の画像に対して画像処理を行い、第３の物体を認識する。

以上より、実施の形態３によれば、センサ制御装置４００がセンサ１００を垂直方向に振るよう制御し、センサ情報取得部３０１は複数ラインについてのセンサ情報を取得するので、センサにより検出可能な自車両周囲の物体が多くなり、撮像画像のうち物体認識部３０６が画像処理を行う範囲を減らすことができ、実施の形態１よりも処理時間を短縮することが可能となる。

なお、これまでセンサ制御装置４００がセンサ１００を垂直方向に振るよう制御するこことで複数ラインについてのセンサ情報を取得するようにしていたが、これに限らない。例えば、センサ情報を取得するためのラインが異なる複数のセンサを利用することにより、複数ラインについてのセンサ情報を取得するようにしてもよい。

なお、第１ライン方向、第２ライン方向は撮像画像における水平方向を表すものとして説明したが、これに限らず、垂直方向を表すものであってもよい。

１００ センサ、２００ カメラ、３００ 運転支援装置、３０１ センサ情報取得部、３０２ 画像取得部、３０３ 一致点検出部、３０４ 検出範囲決定部、３０５ 記憶部、３０６ 物体認識部、３０７ モデル生成部、３０８ 制御部、３０９ 消失点通知部、３１６ 第１の認識部、３２６ 第２の認識部、３５０ 処理装置、３６０ 記憶装置、３７０ 受信機、３８０ 送信機、４００ センサ制御装置

Claims (10)

1. 車両周囲の撮像画像を取得する画像取得部と、
   センサによって検出された車両周囲における第１の物体の位置情報を取得する位置情報取得部と、
   前記第１の物体の位置情報に基づき前記撮像画像内における前記第１の物体の検出範囲を決定する検出範囲決定部と、
   前記撮像画像内における前記第１の物体の検出範囲以外の範囲の画像に対し画像処理を行い前記第１の物体とは異なる第２の物体を認識する物体認識部とを備える運転支援装置。
2. 前記物体認識部は、前記撮像画像内における前記第１の物体の検出範囲以外の範囲から、色濃度が閾値以上のピクセル群を抽出し、前記ピクセル群に基づき領域を算出する第１の認識部と、
   前記第１の認識部で検出された前記領域内の画像に対して画像処理を行うことにより前記第２の物体を認識する第２の認識部とを備えることを特徴とする請求項１に記載の運転支援装置。
3. 前記第２の物体の特徴を表すエッジ画像を記憶する記憶部を備え、
   前記第２の認識部は、前記領域内の画像に対して前記エッジ画像をマッチングすることにより前記第２の物体を認識することを特徴とする請求項２に記載の運転支援装置。
4. 前記第１の認識部は、前記撮像画像内の消失点を含む高さの水平方向のラインよりも下の画像から、色濃度が閾値以上のピクセル群を抽出することを特徴とする請求項２または３に記載の運転支援装置。
5. 前記第１の認識部は、前記撮像画像内に含まれる車線内の画像から、色濃度が閾値以上のピクセル群を抽出することを特徴とする請求項２または３に記載の運転支援装置。
6. 前記物体認識部で認識された前記第２の物体に対し、前記車両との間の距離情報を保持するモデルを生成するモデル生成部を備えることを特徴とする請求項１から５のいずれか１項に記載の運転支援装置。
7. 前記モデル生成部は、生成された複数のモデル間の距離が閾値以下の場合には、前記複数のモデルを１つのモデルとして生成することを特徴とする請求項６に記載の運転支援装置。
8. 車両周囲の撮像画像を取得する画像取得部と、
   センサによる第１ライン方向の照射によって検出された車両周囲における第１の物体の位置情報を取得し、前記センサによる第２ライン方向の照射によって検出された車両周囲における第２の物体の位置情報を取得する位置情報取得部と、
   前記第１の物体の位置情報に基づき前記撮像画像内における前記第１の物体の検出範囲を決定し、前記第２の物体の位置情報に基づき前記撮像画像内における前記第２の物体の検出範囲を決定する検出範囲決定部と、
   前記撮像画像内のうち、前記第１の物体の検出範囲と前記第２の物体の検出範囲とを合わせた範囲以外の範囲の画像に対して画像処理を行い、前記第１の物体及び前記第２の物体とは異なる第３の物体を認識する物体認識部とを備える運転支援装置。
9. 車両周囲の撮像画像を取得するステップと、
   センサによって検出された車両周囲における第１の物体の位置情報を取得するステップと、
   前記第１の物体の位置情報に基づき前記撮像画像内における前記第１の物体の検出範囲を決定するステップと、
   前記撮像画像内における前記第１の物体の検出範囲以外の範囲の画像に対し画像処理を行い前記第１の物体とは異なる第２の物体を認識するステップとを有する運転支援方法。
10. コンピュータに、
    車両周囲の撮像画像を取得する処理と、
    センサによって検出された車両周囲における第１の物体の位置情報を取得する処理と、
    前記第１の物体の位置情報に基づき前記撮像画像内における前記第１の物体の検出範囲を決定する処理と、
    前記撮像画像内における前記第１の物体の検出範囲以外の範囲の画像に対し画像処理を行い前記第１の物体とは異なる第２の物体を認識する処理とを実行させるプログラム。

Images