JP6468568B2 - 物体認識装置、モデル情報生成装置、物体認識方法、および物体認識プログラム - Google Patents

Description

本発明は、物体認識装置、モデル情報生成装置、物体認識方法、および物体認識プログラムに関する。

従来、車両の周辺等の物体を検出する装置がある。例えば、物体の熱放射の強度分布を画像として撮像する遠赤外線カメラにより撮像された画像から歩行者を検出する装置の発明が開示されている（例えば、特許文献１）。この装置は、画像における歩行者のモデル情報を日照度などの車外環境に対応付けて記憶し、車外環境に応じた歩行者のモデル情報を用いて歩行者を検出する。

特開２００７−２６４７３２号公報

しかしながら、上記特許文献１の装置は、遠赤外線カメラにより撮像された画像を対象としており、可視光カメラにより撮像された画像を解析して歩行者を検出することについては考慮していない。
このため、可視光カメラにより撮像された画像については、歩行者などの物体を精度よく認識することができない場合があった。
本発明は、このような事情を考慮してなされたものであり、より精度よく物体を認識することができる物体認識装置、モデル情報生成装置、物体認識方法、および物体認識プログラムを提供することを目的の一つとする。

請求項１記載の発明は、撮像部（１２）により撮像された画像を取得する画像取得部（３０）と、車両の周辺の明るさを検出する明るさ検出部（３２）と、前記明るさ検出部により検出された明るさに応じて、前記画像取得部により取得された画像に含まれる物体を認識する処理の内容を変更する画像認識部（３４）と、を備え、前記画像認識部は、前記明るさ検出部により検出された明るさに基づいて、画像のエッジの分布と明るさとが対応付けられた複数の物体モデル情報から一または複数の物体モデル情報を選択し、前記明るさ検出部により検出された明るさに応じた処理の内容で、前記画像からエッジを抽出し、前記選択した物体モデル情報と前記抽出したエッジとを比較することで前記物体を認識する物体認識装置（２０）である。

請求項２記載の発明は、請求項１記載の物体認識装置であって、前記複数の物体モデル情報を記憶した記憶部を備えるものである。

請求項３記載の発明は、請求項１または２記載の物体認識装置であって、前記複数の物体モデル情報（６６、６８）は、色に関する情報に基づいて取得された色エッジと第１の明るさ以上の明るさとが対応付けられた第１物体モデル情報と、輝度に関する情報に基づいて取得された輝度エッジと第２の明るさ未満の明るさとが対応付けられた第２物体モデル情報と、を含み、前記画像認識部は、前記明るさ検出部により検出された明るさが第１の明るさ以上の場合は、前記撮像部により撮像された画像から色エッジを取得し、取得した色エッジと、前記第１物体モデル情報とを比較することで前記物体を認識し、前記明るさ検出部により検出された明るさが第２の明るさ未満の場合は、前記撮像部により撮像された画像から輝度エッジを取得し、取得した輝度エッジと、前記第２物体モデル情報とを比較することで前記物体を認識するものである。

請求項４記載の発明は、請求項１から３のうちいずれか１項記載の物体認識装置であって、前記画像認識部は、光を照射する前照灯を含む前照灯装置により照射されている照射領域と、照射されていない非照射領域とで、前記画像取得部により取得された画像に含まれる物体を認識する処理の内容を変更するものである。

請求項５記載の発明は、請求項４項記載の物体認識装置であって、複数の物体モデル情報を記憶した記憶部を備え、前記複数の物体モデル情報は、色に関する情報に基づいて取得された色エッジと第１の明るさ以上の明るさとが対応付けられた第１物体モデル情報と、輝度に関する情報に基づいて取得された輝度エッジと第２の明るさ未満の明るさとが対応付けられた第２物体モデル情報と、を含み、前記画像認識部は、前記明るさ検出部により検出された明るさが第２の明るさ未満の場合、前記画像取得部により取得された画像における照射領域に対しては、物体が撮像された画像から色エッジを取得し、前記色エッジと、第１物体モデル情報とを比較することで前記物体を認識し、前記画像取得部により取得された画像に含まれる非照射領域に対しては、物体が撮像された画像から輝度エッジを取得し、前記輝度エッジと、前記第２物体モデル情報とを比較することで前記物体を認識するものである。

請求項７記載の発明は、第１の明るさ以上の環境において物体が撮像された第１の画像と前記物体の識別情報とが対応付けられた第１の対応情報、および第２の明るさ未満の環境において前記物体が撮像された第２の画像と前記物体の識別情報とが対応付けられた第２の対応情報とを取得する情報取得部と、前記情報取得部により取得された第１の画像から色に関する第１の特徴量、および第２の画像から輝度に関する第２の特徴量を抽出する特徴量抽出部と、前記特徴量抽出部により抽出された第１の特徴量と、前記物体の識別情報とを対応付けて第１物体モデル情報を生成し、前記特徴量抽出部により抽出された第２の特徴量と、前記物体の識別情報とを対応付けて第２物体モデル情報を生成する学習生成部と、を備えるモデル情報生成装置である。

請求項８記載の発明は、車載コンピュータが、撮像部により撮像された画像を取得し、車両の周辺の明るさを検出し、前記検出された明るさに応じて、前記取得された画像に含まれる物体を認識する処理の内容を変更し、前記検出した明るさに基づいて、画像のエッジの分布と明るさとが対応付けられた複数の物体モデル情報から一または複数の物体モデル情報を選択し、前記検出した明るさに応じた処理の内容で、前記画像からエッジを抽出し、前記選択した物体モデル情報と前記抽出したエッジとを比較することで前記物体を認識する物体認識方法である。

請求項９記載の発明は、車載コンピュータに、撮像部により撮像された画像を取得させ、車両の周辺の明るさを検出させ、前記検出された明るさに応じて、前記取得された画像に含まれる物体を認識する処理の内容を変更させ、前記検出させた明るさに基づいて、画像のエッジの分布と明るさとが対応付けられた複数の物体モデル情報から一または複数の物体モデル情報を選択させ、前記検出させた明るさに応じた処理の内容で、前記画像からエッジを抽出させ、前記選択させた物体モデル情報と前記抽出したエッジとを比較することで前記物体を認識させる物体認識プログラムである。

請求項１から３、７および８記載の発明によれば、画像認識部が、明るさ検出部により検出された明るさに応じて、画像取得部により取得された画像に含まれる物体を認識する処理の内容を変更することにより、より精度よく物体を認識することができる。

請求項３記載の発明によれば、画像認識部が、明るさ検出部により検出された明るさに応じて、物体の認識に用いるエッジと物体モデル情報とを選択することにより、明るさに左右されずに安定的に物体を認識することができる。

請求項４または５記載の発明によれば、画像における、前照灯により照射されている領域と、前照灯に照射されていない領域とに含まれる物体を、より精度よく認識することができる。

請求項６記載の発明によれば、モデル情報生成装置は、第１の明るさ以上の環境において物体が撮像された画像におけるカラー情報と、物体の識別情報とを対応付けて昼間用物体モデル情報、および第１の明るさ未満の環境において物体が撮像された画像における輝度情報と、物体の識別情報とを対応付けて夜間用物体モデル情報を生成することにより、明るさが異なる環境においても、より精度よく物体を認識することができる物体モデル情報を生成することができる。

物体認識装置２０を含む車両制御システム１の機能構成の一例を示す図である。 昼間用物体モデル情報６６の内容を模式的に示した図である。 画像認識部３４により実行される処理の流れを示すフローチャートである。 モデル情報生成装置２００の機能構成を示す図である。 モデル情報生成装置２００により実行される処理の流れを示すフローチャートである。 第２の実施形態の車両制御システム１Ａの機能構成の一例を示す図である。 照射領域と、非照射領域とを含むカメラ１２により撮像された画像ＩＭの一例を示す図である。 第２の実施形態の画像認識部３４Ａにより実行される処理の流れを示すフローチャートである。 第３の実施形態の車両制御システム１Ｂの機能構成の一例を示す図である。

以下、図面を参照し、本発明の物体認識装置、モデル情報生成装置、物体認識方法および物体認識プログラムの実施形態について説明する。

＜第１の実施形態＞
図１は、物体認識装置２０を含む車両制御システム１の機能構成の一例を示す図である。車両制御システム１は、例えば、レーダ装置１０、カメラ１２、照度センサ１４、車両センサ１６、物体認識装置２０、車両制御装置７０、走行駆動装置７２、およびブレーキ装置７４を備える。

レーダ装置１０は、例えば、車両制御システム１が搭載された車両（以下、自車両）のバンパーや、フロントグリル等の周辺に設けられる。レーダ装置１０は、例えば、自車両の前方にミリ波を放射し、放射したミリ波が物体に当たって反射した反射波を受信し、受信した反射波を解析することにより、物体の位置を特定する。物体の位置は、例えば自車両から物体までの距離を少なくとも含み、その他、自車両に対する物体の方位や横位置等を含んでもよい。レーダ装置１０は、例えばＦＭ−ＣＷ（Frequency−Modulated Continuous Wave）方式によって物体の位置を検出し、検出結果を物体認識装置２０に出力する。

カメラ１２は、ＣＣＤ（Charge Couple Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の固体撮像素子を利用したデジタルカメラである。カメラ１２は、フロントウインドシールド上部やルームミラー裏面等に取り付けられる。カメラ１２は、例えば、周期的に繰り返し自車両の前方を撮像する。カメラ１２は、例えば、画像を撮像し、撮像した画像を物体認識装置２０に出力する。カメラ１２は、１台に限らず、自車両に複数設けられてもよいし、複数のカメラを含むステレオカメラであってもよい。

照度センサ１４は、車両の周辺の明るさを検出し、検出結果を物体認識装置２０に出力する。車両センサ１６は、車速を検出する車速センサ、加速度を検出する加速度センサ、鉛直軸回りの角速度を検出するヨーレートセンサ、自車両の向きを検出する方位センサ等を含む。車両センサ１６は、各センサの検出結果を車両制御装置７０に出力する。

物体認識装置２０は、例えば、画像取得部３０、明るさ検出部３２、画像認識部３４、周辺状況認識部５０、および記憶部６０を備える。画像取得部３０、明るさ検出部３２、画像認識部３４、および周辺状況認識部５０のうち、一部または全部は、プロセッサがプログラム（ソフトウェア）を実行することにより実現される。また、これらのうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）等のハードウェアによって実現されてもよいし、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。また、物体認識装置２０に含まれる各機能部は、複数のコンピュータ装置によって分散化されたものであってもよい。記憶部６０は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）、フラッシュメモリ等で実現される。

画像取得部３０は、カメラ１２により撮像された画像を取得する。画像は、カラー情報および輝度情報を含むカラー画像である。カラー情報とは、例えば、ＲＧＢ情報（Ｒ値、Ｇ値、およびＢ値の情報）、明度情報（色の明るさの程度を示す情報）、彩度情報（色の鮮やかさを示す情報）、および色相情報（色合いを示す情報）のうち一部または全部を含む情報である。

明るさ検出部３２は、照度センサ１４の検出結果を取得し、取得した検出結果に基づいて車両の周辺の明るさを検出する。なお、明るさ検出部３２は、照度センサ１４の検出結果に代えて、カメラ１２から、カメラ１２が画像を撮像する際に設定されている露光時間を取得し、取得した露光時間に基づいて、車両の周辺の明るさを導出してもよい。具体的には、カメラ１２は、撮像した画像における任意の領域の輝度値が目標とする輝度値に近づくように、次の撮像処理の露光時間を制御するものであり、その際、撮像した画像における任意の領域の輝度値が目標とする輝度値に対して高い場合には、次の撮像処理の露光時間を短くし、任意の領域の輝度値が目標とする輝度値に対して低い場合には、次の撮像処理の露光時間を長くする。このようにカメラ１２により露光時間は求められ、露光時間に関する情報は明るさ検出部３２に出力され、明るさ検出部３２は、この露光時間に基づいて、車両の周辺の明るさを導出する。

また、明るさ検出部３２は、照度センサ１４の検出結果に代えて、画像取得部３０により取得された画像における輝度分布に基づいて、車両の周辺の明るさを導出してもよい。例えば、明るさ検出部３２は、輝度値の分布において、輝度値が所定以上の領域が多い傾向である場合、車両の周辺の明るさは明るい傾向であると検出する。

画像認識部３４は、例えば、特徴量抽出部３６、識別部３８、および位置特定部４０を備える。特徴量抽出部３６は、明るさ検出部３２により検出された明るさに応じて処理の内容を決定し、決定した処理の内容に基づいて、画像取得部３０により取得された画像から特徴量を抽出する。

識別部３８は、画像に含まれる物体を識別する際に、明るさ検出部３２により検出された明るさに応じて参照する情報（後述する昼間用物体モデル情報６６または夜間用物体モデル情報６８の少なくとも一方）を選択し、選択した情報を用いて物体を識別する。

位置特定部４０は、識別部３８により識別された実空間上の物体の位置を導出する。例えば、位置特定部４０は、カメラ１２の位置や、カメラ１２の焦点距離、画像における無限遠点（例えば道路消失点）等のパラメータに基づいて物体の位置を導出する。

周辺状況認識部５０は、レーダ装置１０の検出結果を取得し、取得した結果に基づいて、物体の位置を認識する。また、周辺状況認識部５０は、画像認識部３４の処理結果として、実空間上の物体の位置を取得する。そして、周辺状況認識部５０は、複数の画像における物体の位置に基づいて、物体の速度や、移動方向を認識する。なお、周辺状況認識部５０は、レーダ装置１０によって特定された物体の位置のうち自車両からの距離を重視すると共に、画像認識部３４から取得した物体の位置のうち方位または横位置を重視する傾向で、これらの位置を統合し、物体の位置を認識してもよい。また、レーダ装置１０に代えて（または、加えて）レーザレーダ、超音波センサ等のセンサを備えてもよい。

また、周辺状況認識部５０は、車車間通信や、道路を走行する車両を検出するセンサから取得した情報に基づいて、物体の位置や速度等を検出してもよい。この場合、自車両は、他の車両や、道路を走行する車両を検出するセンサ等と通信する通信部を備える。

車両制御装置７０は、車両センサ１６の検出結果、および周辺状況認識部５０により認識された物体の位置に基づいて、自車両を制御する。例えば、車両制御装置７０は、認識された歩行者とのＴＴＣ（Time To Collision）が一定以下になったときにブレーキ装置７４に制動力を出力させる自動ブレーキ制御を行う。また、車両制御装置７０は、スピーカ（不図示）に警報を出力させてもよい。また、車両制御装置７０は、認識された物体（例えば車両）との車間距離を一定に保つように走行駆動装置７２またはブレーキ装置７４を制御する車間距離制御を行うものであってもよい。

記憶部６０には、例えば、昼間用処理プログラム６２や、夜間用処理プログラム６４、昼間用物体モデル情報６６、夜間用物体モデル情報６８、その他車両を制御するための制御プログラム等が記憶される。昼間用物体モデル情報６６、および夜間用物体モデル情報６８は、物体モデル情報の一例である。

昼間用処理プログラム６２は、車両の周辺の明るさが第１の明るさ以上である場合に、カメラ１２により撮像された画像（以下、昼間撮像画像）を処理するときに、画像認識部３４に用いられる画像処理プログラムである。第１の明るさ以上とは、例えば、昼間における車両の周辺の明るさである。昼間用処理プログラム６２は、昼間撮像画像から、カラー情報の特徴量を抽出するためのプログラムである。カラー情報の特徴量は、画像の画素または画素をグループ化した画素群ごとの、ＲＧＢ情報の特徴量、明度情報の特徴量、彩度情報の特徴量、および色相情報の特徴量のうち一部または全部の特徴量である。

また、昼間用処理プログラム６２は、上述したカラー情報の特徴量から、より精度よくエッジを抽出するためのプログラムである。カラー情報の特徴量から抽出されるエッジは、色エッジの一例である。エッジとは、周辺の画素または画素をグループ化した画素群との間で特徴量が大きく変化する画素または画素群である。例えば、エッジは、ＳＯＢＥＬフィルタなどにより周辺の画素または画素群の間において特徴量の変化が求められることで抽出される。昼間用処理プログラム６２には、例えば、カラー情報の特徴量からエッジを抽出するときの閾値や、補正値、昼間用物体モデル情報６６を用いることを指示する情報等が含まれている。

なお、昼間用処理プログラム６２は、カラー情報および輝度情報の特徴量を抽出するためのプログラムであってもよい。この場合、昼間用処理プログラム６２には、カラー情報および輝度情報の特徴量からエッジを抽出するときの閾値や補正値等が含まれている。

夜間用処理プログラム６４は、車両の周辺の明るさが第１の明るさ未満である場合に、カメラ１２により撮像された画像（以下、夜間撮像画像）を処理するときに、画像認識部３４に用いられる画像処理プログラムである。第１の明るさ未満とは、例えば、夜間における車両の周辺の明るさや、昼間および夜間におけるトンネルの内部の明るさ等である。夜間用処理プログラム６４は、夜間撮像画像から、輝度情報の特徴量を抽出するためのプログラムである。輝度情報の特徴量とは、画像の画素または画素群ごとの輝度に基づく情報である。

また、夜間用処理プログラム６４は、輝度情報の特徴量から、より精度よくエッジを抽出するためのプログラムである。輝度情報の特徴量から抽出されるエッジは、輝度エッジの一例である。夜間用処理プログラム６４には、例えば、輝度情報の特徴量からエッジを抽出するときの閾値や、補正値、夜間用物体モデル情報６８を用いることを指示する情報等が含まれている。

昼間用物体モデル情報６６は、昼間用処理プログラム６２が実行され、物体の種類が特定される際に参照される物体モデル情報であって、少なくとも、物体の種類に応じたエッジの分布を表す物体モデル情報が、その物体の識別情報と共に記憶されている。昼間用物体モデル情報６６は、第２物体モデル情報の一例である。物体の種類とは、例えば歩行者や車両、動物など、自車両が走行する際に注視すべき物体を類型化したものである。

図２は、昼間用物体モデル情報６６の内容を模式的に示した図である。昼間用物体モデル情報６６は、例えば、歩行者などの物体が撮像された画像から抽出されると想定されるエッジの分布を示している。この点について、夜間用物体モデル情報６８も同様であるが、同一の画像であっても、カラー情報のエッジの分布と輝度情報のエッジの分布とは異なるため、カラー情報のエッジの分布が昼間用物体モデル情報６６として用意され、輝度情報のエッジの分布が夜間用物体モデル情報６８として用意される。

また、昼間用物体モデル情報６６において、物体モデル情報は物体の部位ごとに細分化されて記憶されてよい。昼間用物体モデル情報６６は、昼間撮像画像から抽出されたエッジと、昼間撮像画像に対する正解情報（どの物体の画像であるか）とに基づいて生成された情報である。昼間用物体モデル情報６６の生成手法の詳細については後述する。

夜間用物体モデル情報６８は、夜間用処理プログラム６４が実行され、物体の種類を特定される際に参照される物体モデル情報であって、少なくとも、物体の種類に応じたエッジの分布を表す物体モデル情報が、その物体の識別情報と共に記憶されている。夜間用物体モデル情報６８は、第１物体モデル情報の一例である。通常、夜間用物体モデル情報６８に含まれる１つの物体に対応するエッジの数は、昼間用物体モデル情報６６に含まれる１つの物体に対応するエッジの数に比して少ない。従って、夜間用物体モデル情報６８に含まれる情報量は、昼間用物体モデル情報６６に含まれる情報量に比して少ない。

また、夜間用物体モデル情報６８において、物体モデル情報は物体の部位ごとに細分化されて記憶されてよい。夜間用物体モデル情報６８は、夜間撮像画像から抽出されたエッジと、夜間撮像画像に対する正解情報とに基づいて生成された情報である。夜間用物体モデル情報６８の生成手法の詳細については後述する。

走行駆動装置７２は、例えば、エンジンや、走行用モータなどの駆動源である。走行駆動装置７２は、物体認識装置２０により出力された制御量に応じて、自車両が走行するためのトルクを駆動輪に出力する。ブレーキ装置７４は、例えば、電動モータを備える。電動モータは、例えば、物体認識装置２０により出力される制御量に応じて、制動操作に応じたブレーキトルクを各車輪に出力させる。

図３は、画像認識部３４により実行される処理の流れを示すフローチャートである。本処理は、例えば、画像取得部３０が、カメラ１２により撮像された画像を取得するごとに実行される。なお、このフローチャートの処理は、繰り返し実行されることを前提とし、今回のルーチンでの時刻をｔとして表現している。

まず、画像取得部３０が、カメラ１２により撮像された画像を取得する（ステップＳ１００）。次に、明るさ検出部３２が、照度センサ１４により検出された明るさを取得し（ステップＳ１０２）、取得した明るさが第１の明るさ以上であるか否かを判定する（ステップＳ１０４）。なお、明るさに代えて、そのときの時刻が第１の時間帯である場合には、ステップＳ１０６の処理に進み、そのときの時刻が第１の時間帯でない場合には、ステップＳ１１０の処理に進んでもよい。第１の時間帯とは、例えば、その時期における昼間に対応する時間帯である。この場合、車両制御システム１は、電波時計や、カーナビゲーション装置等の計時部を備え、物体認識装置２０は、電波時計や、カーナビゲーション装置等から時刻を取得する。

取得した明るさが第１の明るさ以上である場合、特徴量抽出部３６は、昼間用処理プログラム６２を用いて、取得した画像からエッジを抽出する（ステップＳ１０６）。次に、識別部３８が、ステップＳ１０６で抽出されたエッジと、昼間用物体モデル情報６６とを比較して、画像に含まれる物体を識別する（ステップＳ１０８）。例えば、識別部３８は、ステップＳ１０６で抽出されたエッジと、昼間用物体モデル情報６６に含まれる物体の種類に対応付けられたエッジとの類似度合を導出する。そして、識別部３８は、昼間用物体モデル情報６６の中で類似度合が所定以上であったエッジに対応付けられた物体を、ステップＳ１０６で抽出されたエッジに対応する物体であると特定する。

取得した明るさが第１の明るさ未満である場合、特徴量抽出部３６は、夜間用処理プログラム６４を用いて、取得した画像からエッジを抽出する（ステップＳ１１０）。次に、識別部３８が、ステップＳ１１０で抽出されたエッジと、夜間用物体モデル情報６８とを比較して、画像に含まれる物体を識別する（ステップＳ１１２）。例えば、識別部３８は、ステップＳ１１０で抽出されたエッジと、夜間用物体モデル情報６８に含まれる物体の種類に対応付けられたエッジとの類似度合を導出する。そして、識別部３８は、夜間用物体モデル情報６８の中で類似度合が所定以上であったエッジに対応付けられた物体を、ステップＳ１１０で抽出されたエッジに対応する物体であると特定する。

次に、周辺状況認識部５０が、識別した物体について自車両に対する相対位置を導出する（ステップＳ１１４）。相対位置とは、実平面上の相対位置であり、画像平面上の位置から写像された位置である。

次に、周辺状況認識部５０は、時刻ｔ−１において（すなわち前回のルーチンにおいて）撮像された画像から認識した物体と、今回のルーチンの処理で認識した物体とが同一の物体であるか否かを判定する（ステップＳ１１６）。本ステップにおいて、周辺状況認識部５０は、今回および前回以前のルーチンにおいて、ステップＳ１１４で導出した相対位置の推移に基づいて、同一の物体か否かを判定する。

同一の物体であると判定した場合、周辺状況認識部５０は、今回および前回以前のルーチンにおいて、ステップＳ１１４で導出した相対位置に基づいて、物体の移動方向や、移動速度を導出する（ステップＳ１１８）。ここで導出した移動方向や、移動速度は、次のルーチンの処理で取得された画像において、物体の位置を推定する処理に用いられる。今回のルーチンの処理で認識された物体が同一の物体でない場合、ステップＳ１１８の処理をスキップする。これにより本フローチャートの処理は終了する。

上述した処理により、物体認識装置２０は、照度センサ１４により検出された明るさに応じて、画像取得部３０により取得された画像に含まれる物体を認識する処理の内容を変更することにより、より精度よく物体を認識することができる。これにより、物体認識装置２０は、自車両の周辺に存在する物体に応じて、自車両を制御することができる。この結果、自車両は、周辺の状況に応じた適切な制御を行うことができる。

なお、上述した処理では、第１の明るさ以上の場合、昼間用処理プログラム６２を用い、第１の明るさ未満の場合、夜間用処理プログラム６４を用いて処理を行うものとして説明したが、これに代えて、第１の明るさ以上の場合、昼間用処理プログラム６２を用い、第２の明るさ未満の場合、夜間用処理プログラム６４を用いて処理を行うものとしてもよい。この場合、第１の明るさ（特許請求の範囲における「第１の明るさ」）と、第２の明るさ（特許請求の範囲における「第２の明るさ」）とは、同様の値であってもよいし、異なる値であってもよい。

また、上述したように、明るさを２段階で分類して処理を行うことに代えて、明るさを３段階以上に分類し、各明るさに対応する処理プログラムを用いて、物体の種類を特定してもよい。

例えば、明るさを３段階に分類した場合、明るさが低い順から、明るさを明るさ１、明るさ２、明るさ３とする。この場合、画像認識部３４は、明るさ１および明るさ２では、それぞれ輝度情報のエッジを抽出するときのパラメータが異なる夜間用処理プログラム６４を用いて画像を処理し、明るさ３では昼間用処理プログラムを用いて画像を処理してもよい。また、画像認識部３４は、明るさ１では夜間用処理プログラム６４を用いて画像を処理し、明るさ２および明るさ３では、それぞれカラー情報のエッジを抽出するときのパラメータが異なる昼間用処理プログラム６６を用いて画像を処理してもよい。

＜物体モデル情報の生成方法＞
以下、昼間用物体モデル情報６６に相当する昼間用物体モデル情報２１２、および夜間用物体モデル情報６８に相当する夜間用物体モデル情報２１４の生成手法について、説明する。図４は、モデル情報生成装置２００の機能構成を示す図である。モデル情報生成装置２００は、例えば、情報取得部２０２、特徴量抽出部２０４、学習部２０６、および記憶部２１０を備える。

モデル情報生成装置２００は、以下の処理を、昼間用、夜間用の双方について行う。モデル情報生成装置２００は、第１の明るさ以上の環境において物体が撮像された画像のカラー情報に基づいて、記憶部２１０に記憶される昼間用の昼間用物体モデル情報２１２を求める処理を行い、第１の明るさ未満の環境において物体が撮像された画像の輝度情報に基づいて、記憶部２１０に記憶される夜間用の夜間用物体モデル情報２１４を求める処理を行う。以下、昼間用物体モデル情報２１２および夜間用物体モデル情報２１４を区別しない場合は、「物体モデル情報」と称する。また、昼間撮像画像と、夜間撮像画像とを区別しない場合は、単に「撮像画像」と称する。なお、モデル情報生成装置２００は、第１の明るさとは異なる第２の明るさ未満の環境において物体が撮像された画像の輝度情報に基づいて、記憶部２１０に記憶される夜間用の夜間用物体モデル情報２１４を求める処理を行ってもよい。

情報取得部２０２は、他装置から送信、または入力された学習用情報を取得する。学習用情報は、例えば、物体モデル情報を生成するための情報であって、撮像画像と、撮像画像に含まれる物体の識別情報との組み合わせである。

特徴量抽出部２０４は、情報取得部２０２に取得された撮像画像からエッジを抽出する。学習部２０６は、特徴量抽出部２０４により抽出されたエッジと、撮像画像に含まれる物体の識別情報との関係を学習する。学習部２０６は、学習した結果を統計的に処理することによって、撮像画像に含まれるエッジと物体の識別情報とを対応付けた物体モデル情報を導出する。このように、昼間用、夜間用にそれぞれ求められた物体モデル情報は、物体認識装置２０における昼間用物体モデル情報６６および夜間用物体モデル情報６８に反映される。

図５は、モデル情報生成装置２００により実行される処理の流れを示すフローチャートである。まず、情報取得部２０２が、撮像画像と撮像画像に含まれる物体の識別情報（正解情報）との組み合わせを取得する（ステップＳ２００）。次に、特徴量抽出部が、情報取得部２０２に取得された撮像画像からエッジを抽出する（ステップＳ２０２）。次に、学習部２０６が、特徴量抽出部２０４により抽出されたエッジと、撮像画像に含まれる物体の識別情報との関係を学習する（ステップＳ２０４）。これにより、本フローチャートの処理は終了する。

上述した処理により、モデル情報生成装置２００は、第１の明るさ以上の環境において物体が撮像された画像におけるカラー情報と、物体の識別情報とを対応付けて昼間用物体モデル情報２１２とを生成し、第１の明るさ未満の環境において物体が撮像された画像における輝度情報と、物体の識別情報とを対応付けて夜間用物体モデル情報２１４を生成することにより、明るさが異なる環境においても、より精度よく物体を認識することができる物体モデル情報を生成することができる。

以上説明した第１の実施形態によれば、画像認識部３４が、明るさ検出部３２により検出された明るさに応じて、画像取得部３０により取得された画像に含まれる物体を認識する処理の内容を変更することにより、より精度よく物体を認識することができる。

＜第２の実施形態＞
以下、第２の実施形態について説明する。第１の実施形態では、夜間撮像画像の処理において、前照灯装置の照射領域は考慮されていなかった。これに対して、第２の実施形態では、夜間撮像画像の処理において、前照灯装置の照射領域と非照射領域とで異なる処理を実行する。ここでは、第１の実施形態との相違点を中心に説明し、第１の実施形態と共通する機能等についての説明は省略する。

図６は、第２の実施形態の車両制御システム１Ａの機能構成の一例を示す図である。車両制御システム１Ａは、第１の実施形態の機能構成に加え、更に前照灯装置７６を備える。また、車両制御システム１Ａは、第１の実施形態の物体認識装置２０に代えて、物体認識装置２０Ａを備える。

前照灯装置７６は、例えば、前照灯（不図示）と、前照灯制御部（不図示）とを含む。前照灯は、前照灯制御部の制御に基づいて自車両の前方を照射する。前照灯制御部は、前照灯を制御して、照射範囲の高さ方向、照射範囲の車幅方向、または照射光の強さを調整する。例えば前照灯制御部は、いわゆるロウビームとハイビームの切替えを行う。前照灯装置７６は、前照灯の照射範囲や、照射光の強さ等を示す情報を物体認識装置２０Ａに出力する。

物体認識装置２０Ａは、第１の実施形態の画像認識部３４に代えて、画像認識部３４Ａを備える。画像認識部３４Ａは、第１の実施形態の画像認識部３４の機能部に加え、更に照射領域特定部４２を備える。照射領域特定部４２は、前照灯装置７６から前照灯の照射領域、カメラ１２から画像の撮像領域を取得する。照射領域特定部４２は、取得した照射領域およびカメラ１２の撮像領域に基づいて、画像取得部３０により取得された画像における照射領域と非照射領域とを特定する。

特徴量抽出部３６は、照射領域特定部４２から画像における照射領域と非照射領域とを示す情報を取得する。特徴量抽出部３６は、画像における照射領域に対しては、昼間用処理プログラム６２を用いて画像を処理し、画像における非照射領域に対しては、夜間用処理プログラム６４を用いて画像を処理する。識別部３８は、昼間用処理プログラム６２を用いて実行された処理結果と、昼間用物体モデル情報６６とに基づいて識別した物体の一部または全部と、夜間用処理プログラム６４を用いて実行された処理結果と、夜間用物体モデル情報６８とに基づいて識別した物体の一部または全部とを統合して物体を認識する。

図７は、照射領域と、非照射領域とを含むカメラ１２により撮像された画像ＩＭの一例を示す図である。図示する例では、人物Ｈの下半身は照射領域Ａ１に存在し、人物Ｈの上半身は非照射領域Ａ２に存在する。特徴量抽出部３６は、図中、人物Ｈの下半身を含む照射領域Ａ１に対しては、昼間用処理プログラム６２を用いて処理を実行し、図中、人物Ｈの上半身を含む非照射領域Ａ２に対しては、夜間用処理プログラム６４を用いて処理を実行する。識別部３８は、特徴量抽出部３６により抽出されたエッジと、昼間用物体モデル情報６６とに基づいて人物Ｈの下半身を中心とした部位を識別し、特徴量抽出部３６により抽出されたエッジと、夜間用物体モデル情報６８とに基づいて人物Ｈの上半身を中心とした部位を識別し、これらの識別結果を統合して物体が人物Ｈであることを識別する。

図８は、第２の実施形態の画像認識部３４Ａにより実行される処理の流れを示すフローチャートである。本処理は、例えば、画像取得部３０が、カメラ１２により撮像された画像を取得するごとに実行される。なお、このフローチャートの処理は、繰り返し実行されることを前提とし、今回のルーチンでの時刻をｔとして表現している。

まず、画像取得部３０が、カメラ１２により撮像された画像を取得する（ステップＳ３００）。次に、明るさ検出部３２が、照度センサ１４により検出された明るさを取得し（ステップＳ３０２）、取得した明るさが第１の明るさ以上であるか否かを判定する（ステップＳ３０４）。

取得した明るさが第１の明るさ以上である場合、特徴量抽出部３６は、昼間用処理プログラム６２を用いて、取得した画像からエッジを抽出する（ステップＳ３０６）。次に、識別部３８が、ステップＳ３０６で抽出されたエッジと、昼間用物体モデル情報６６とを比較して画像に含まれる物体を識別する（ステップＳ３０８）。以下、ステップＳ３０６のエッジを抽出する処理と、ステップＳ３０８の物体を識別する処理とを合わせて、「昼間物体認識処理」と称する。

ステップＳ３０４で取得した明るさが第１の明るさ未満である場合、照射領域特定部４２は、ステップＳ３００で取得した画像に照射領域が存在するか否かを判定する（ステップＳ３１０）。

照射領域が存在しない場合（画像が非照射領域のみである場合）、特徴量抽出部３６は、夜間用処理プログラム６４を用いて、取得した画像からエッジを抽出する（ステップＳ３１２）。次に、識別部３８が、ステップＳ３１４で抽出されたエッジと、夜間用物体モデル情報６８とを比較して画像に含まれる物体を識別し（ステップＳ３１４）、ステップＳ３２０の処理に進む。以下、ステップＳ３１２のエッジを抽出する処理と、ステップＳ３１４の物体を識別する処理とを合わせて、「夜間物体認識処理」と称する。

照射領域が存在する場合、画像認識部３４Ａは、画像の照射領域に対して「昼間物体認識処理」を実行する（ステップＳ３１６）。ここで、画像認識部３４Ａは、画像において照射領域に含まれる領域ごとに、昼間用処理プログラムによりエッジを抽出するときの閾値を変更してもよい。例えば、画像認識部３４Ａは、照射領域に含まれる処理対象の領域を実空間上における自車両からの距離に変換した場合に、その距離が自車両から遠い程、エッジを抽出するときの閾値を下げる傾向で処理を実行する。このように画像認識部３４Ａは、前照灯の減衰度合を加味することで、より精度よくエッジを抽出することができる。

次に、特徴量抽出部３６は、画像の非照射領域に対して「夜間物体認識処理」を実行する（ステップＳ３１８）。次に、周辺状況認識部５０が、自車両に対する物体の相対位置を導出する（ステップＳ３２０）。次に、周辺状況認識部５０は、時刻ｔ−１に撮像された画像で認識された物体と、今回のルーチンの処理で認識された物体とが同一の物体であるか否かを判定する（ステップＳ３２２）。

同一の物体である場合、周辺状況認識部５０は、今回および前回以前のルーチンにおいて、ステップＳ３２０で導出した相対位置に基づいて、物体の移動方向や、移動速度を導出する（ステップＳ３２４）。今回のルーチンの処理で認識された物体が同一の物体でない場合、ステップＳ３２４の処理をスキップする。これにより本フローチャートの処理は終了する。

以上説明した第２の実施形態によれば、画像認識部３４は、前照灯装置７６により照射されている照射領域と、前照灯装置７６により照射されていない非照射領域とで、画像取得部３０により取得された画像に含まれる物体を認識する処理の内容を変更することにより、第１の実施形態と同様の効果を奏すると共に、前照灯装置７６により照射されている照射領域に含まれる物体をより精度よく認識することができる。

＜第３の実施形態＞
以下、第３の実施形態について説明する。第１の実施形態では、車両制御装置７０が、物体認識装置２０の処理結果に基づいて、自動ブレーキ制御や警報出力、或いは車間距離制御などを実行するものとしたが、第３の実施形態では、自動運転制御装置１００が、物体認識装置２０の処理結果に基づいて、自動運転制御を行う。ここでは、第１の実施形態との相違点を中心に説明し、第１の実施形態と共通する機能等についての説明は省略する。

図９は、第３の実施形態の車両制御システム１Ｂの機能構成の一例を示す図である。車両制御システム１Ｂは、第１の実施形態の車両制御システム１の機能構成に加え、自動運転切替スイッチ１２０を備える。車両制御システム１Ｂは、車両制御装置７０に代えて、自動運転制御装置１００を備える。自動運転制御装置１００は、記憶部１０２、目標車線決定部１０４、および自動運転制御部１１０を備える。記憶部１０２には、例えば、高精度地図情報、目標車線情報、行動計画情報などの情報が格納される。

目標車線決定部１０４は、例えば、ＭＰＵ（Micro-Processing Unit）などにより実現される。目標車線決定部１０４は、ナビゲーション装置から提供された経路を複数のブロックに分割し（例えば、車両進行方向に関して１００［ｍ］毎に分割し）、高精度地図情報を参照してブロックごとに目標車線を決定する。目標車線決定部１０４は、例えば、左から何番目の車線を走行するといった決定を行う。目標車線決定部１０４は、例えば、経路において分岐箇所や合流箇所などが存在する場合、自車両が、分岐先に進行するための合理的な走行経路を走行できるように、目標車線を決定する。目標車線決定部１０４により決定された目標車線は、目標車線情報として記憶部１０２に記憶される。

自動運転制御部１１０は、例えば、行動計画生成部１１２と、軌道生成部１１４と、走行制御部１１６と、切替制御部１１８とを備える。

行動計画生成部１１２は、自動運転のスタート地点、および／または自動運転の目的地を設定する。行動計画生成部１１２は、そのスタート地点と自動運転の目的地との間の区間において、行動計画を生成する。行動計画は、例えば、順次実行される複数のイベントで構成される。イベントには、例えば、自車両を減速させる減速イベントや、自車両を加速させる加速イベント、走行車線を逸脱しないように自車両を走行させるレーンキープイベント、走行車線を変更させる車線変更イベント、前走車両を追従するイベント等が含まれる。行動計画生成部１１２によって生成された行動計画を示す情報は、行動計画情報として記憶部１０２に格納される。

軌道生成部１１４は、定速走行、追従走行、低速追従走行、減速走行、カーブ走行、障害物回避走行、車線変更走行、合流走行、分岐走行などのうちいずれかの走行態様を決定し、決定した走行態様に基づいて、軌道の候補を生成する。軌道生成部１１４は、例えば、将来の所定時間ごとに、自車両の基準位置（例えば重心や後輪軸中心）が到達すべき目標位置（軌道点）の集まりとして軌道を生成する。

走行制御部１１６は、軌道生成部１１４によって生成された軌道を、予定の時刻通りに自車両が通過するように、走行駆動装置７２またはブレーキ装置７４を制御する。切替制御部１１８は、自動運転切替スイッチ１２０から入力される信号に基づいて自動運転モードと手動運転モードとを相互に切り替える。

以上説明した第３の実施形態によれば、第１の実施形態および第２の実施形態と同様の効果を奏すると共に、より精度よく自動運転を実施することができる。

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

１，１Ａ，１Ｂ‥車両制御システム、１２‥カメラ、１４‥照度センサ、２０，２０Ａ‥物体認識装置、３０‥画像取得部、３２‥明るさ検出部、３４，３４Ａ‥画像認識部、３６‥特徴量抽出部、３８‥識別部、５０‥周辺状況認識部、６６、２１２‥昼間用物体モデル情報、６８、２１４‥夜間用物体モデル情報、７６‥前照灯装置、２００‥モデル情報生成装置、２０２‥情報取得部、２０４‥特徴量抽出部、２０６‥学習部

Claims (8)

1. 撮像部により撮像された画像を取得する画像取得部と、
   車両の周辺の明るさを検出する明るさ検出部と、
   前記明るさ検出部により検出された明るさに応じて、前記画像取得部により取得された画像に含まれる物体を認識する処理の内容を変更する画像認識部と、を備え、
   前記画像認識部は、
   前記明るさ検出部により検出された明るさに基づいて、画像のエッジの分布と明るさとが対応付けられた複数の物体モデル情報から一または複数の物体モデル情報を選択し、
   前記明るさ検出部により検出された明るさに応じた処理の内容で、前記画像からエッジを抽出し、
   前記選択した物体モデル情報と前記抽出したエッジとを比較することで前記物体を認識する、
   物体認識装置。
2. 前記複数の物体モデル情報を記憶した記憶部を備える、
   請求項１に記載の物体認識装置。
3. 前記複数の物体モデル情報は、
   色に関する情報に基づいて取得された色エッジと第１の明るさ以上の明るさとが対応付けられた第１物体モデル情報と、
   輝度に関する情報に基づいて取得された輝度エッジと第２の明るさ未満の明るさとが対応付けられた第２物体モデル情報と、を含み、
   前記画像認識部は、
   前記明るさ検出部により検出された明るさが第１の明るさ以上の場合は、前記撮像部により撮像された画像から色エッジを取得し、取得した色エッジと、前記第１物体モデル情報とを比較することで前記物体を認識し、
   前記明るさ検出部により検出された明るさが第２の明るさ未満の場合は、前記撮像部により撮像された画像から輝度エッジを取得し、取得した輝度エッジと、前記第２物体モデル情報とを比較することで前記物体を認識する、
   請求項１または２記載の物体認識装置。
4. 前記画像認識部は、光を照射する前照灯を含む前照灯装置により照射されている照射領域と、照射されていない非照射領域とで、前記画像取得部により取得された画像に含まれる物体を認識する処理の内容を変更する、
   請求項１から３のうちいずれか１項記載の物体認識装置。
5. 複数の物体モデル情報を記憶した記憶部を備え、
   前記複数の物体モデル情報は、
   色に関する情報に基づいて取得された色エッジと第１の明るさ以上の明るさとが対応付けられた第１物体モデル情報と、
   輝度に関する情報に基づいて取得された輝度エッジと第２の明るさ未満の明るさとが対応付けられた第２物体モデル情報と、を含み、
   前記画像認識部は、
   前記明るさ検出部により検出された明るさが第２の明るさ未満の場合、前記画像取得部により取得された画像における照射領域に対しては、物体が撮像された画像から色エッジを取得し、前記色エッジと、第１物体モデル情報とを比較することで前記物体を認識し、前記画像取得部により取得された画像に含まれる非照射領域に対しては、物体が撮像された画像から輝度エッジを取得し、前記輝度エッジと、前記第２物体モデル情報とを比較することで前記物体を認識する、
   請求項４記載の物体認識装置。
6. 第１の明るさ以上の環境において物体が撮像された第１の画像と前記物体の識別情報とが対応付けられた第１の対応情報、および第２の明るさ未満の環境において前記物体が撮像された第２の画像と前記物体の識別情報とが対応付けられた第２の対応情報とを取得する情報取得部と、
   前記情報取得部により取得された第１の画像から色に関する第１の特徴量、および第２の画像から輝度に関する第２の特徴量を抽出する特徴量抽出部と、
   前記特徴量抽出部により抽出された第１の特徴量と、前記物体の識別情報とを対応付けて第１物体モデル情報を生成し、
   前記特徴量抽出部により抽出された第２の特徴量と、前記物体の識別情報とを対応付けて第２物体モデル情報を生成する学習生成部と、
   を備えるモデル情報生成装置。
7. 車載コンピュータが、
   撮像部により撮像された画像を取得し、
   車両の周辺の明るさを検出し、
   前記検出された明るさに応じて、前記取得された画像に含まれる物体を認識する処理の内容を変更し、
   前記検出した明るさに基づいて、画像のエッジの分布と明るさとが対応付けられた複数の物体モデル情報から一または複数の物体モデル情報を選択し、
   前記検出した明るさに応じた処理の内容で、前記画像からエッジを抽出し、
   前記選択した物体モデル情報と前記抽出したエッジとを比較することで前記物体を認識する、
   物体認識方法。
8. 車載コンピュータに、
   撮像部により撮像された画像を取得させ、
   車両の周辺の明るさを検出させ、
   前記検出された明るさに応じて、前記取得された画像に含まれる物体を認識する処理の内容を変更させ、
   前記検出させた明るさに基づいて、画像のエッジの分布と明るさとが対応付けられた複数の物体モデル情報から一または複数の物体モデル情報を選択させ、
   前記検出させた明るさに応じた処理の内容で、前記画像からエッジを抽出させ、
   前記選択させた物体モデル情報と前記抽出したエッジとを比較することで前記物体を認識させる、
   物体認識プログラム。

Images