JP7099426B2 - 物体認識装置 - Google Patents

Description

本開示は、光を照射して周囲の物体を認識する技術に関する。

光を照射して周囲の物体を認識する技術が知られている。例えば、下記の特許文献１には、発光量および露光時間の少なくとも一方が違う第１の光と第２の光とを異なるタイミングで発し、第１の光と第１の光の反射光との位相差と、第２の光と第２の光の反射光との位相差とから、物体までの距離を表す第１の距離画像と第２の距離画像とを生成する技術が開示されている。

さらに、特許文献１に記載されている技術では、第１の光の反射光の受光強度と第２の光の反射光の受光強度とのうち、画素毎に大きい受光強度を有する方の距離画像の画素を第１の距離画像と第２の距離画像とのうちから抽出し、抽出した画素により合成距離画像を生成している。

特開２０１７－１８１４８８号公報

特許文献１に記載されている技術において、第１の光の反射光画像と第２の光の反射光画像との両方の画像に基づいて、物体を認識することが考えられる。
しかしながら、発明者の詳細な検討の結果、第１の光の反射光画像と第２の光の反射光画像とのように、物体から取得する２種類の光の画像のそれぞれに対して認識処理を実行すると、処理負荷が増加するという課題が見出された。

本開示の１つの局面は、反射強度画像と背景光画像との２種類の光の画像から周囲の物体を認識するために要する処理負荷を極力低減する技術を提供することが望ましい。

本開示の１つの態様による物体認識装置は、画像分割部（３２）と、特徴量算出部（３４）と、データ選択部（３８）と、物体認識部（４２）と、を備える。
画像分割部は、周囲に光を照射して物体で反射する反射光を受光する光センサから取得する反射強度画像、ならびに光センサが光を照射しないときに光センサから取得する背景光画像をそれぞれ同じ複数の小領域に分割する。特徴量算出部は、画像分割部により分割された反射強度画像と背景光画像とのそれぞれの小領域の部分画像データについて、物体を認識するための特徴量を算出する。

データ選択部は、同じ小領域の反射強度画像と背景光画像との部分画像データについてそれぞれ算出された特徴量を比較して物体を認識しやすい方を選択部分画像データとして選択する。物体認識部は、データ選択部が小領域のそれぞれについて選択した選択部分画像データから構成される全体画像データに基づいて、物体を認識する。

このような構成によれば、２種類の光の画像である反射強度画像と背景光画像との両方の全体画像に対して実行する処理は、特徴量の算出処理までである。
それぞれの全体画像に対して特徴量が算出されると、それぞれの全体画像が分割された同じ小領域の部分画像データについて、物体を認識しやすい方の特徴量を有する部分画像データが選択部分画像データとして選択され、選択された選択部分画像データから構成される一つの全体画像データに基づいて物体が認識される。

つまり、反射強度画像と背景光画像との両方の全体画像に対して特徴量の算出処理が実行されると、選択部分画像データから構成される一つの全体画像データに対してのみ物体の認識処理が実行される。したがって、物体を認識するために要する処理負荷を極力低減できる。

物体認識装置の構成を示すブロック図。 分割された小領域の部分画像データから全体画像データを生成する説明図。 物体認識処理を示すフローチャート。 同じ画像内で小領域を異なる大きさにした全体画像データを示す説明図。 車速に応じて小領域を異なる大きさにした全体画像データを示す説明図。

以下、図を参照しながら、本開示の実施形態を説明する。
［１．構成］
図１に示す物体認識システム２は、ＳＰＡＤ－ＬｉＤＡＲ１０と、物体認識装置３０と、を備える。ＳＰＡＤ－ＬｉＤＡＲ１０は、発光部１２と、受光部１４と、距離画像取得部１６と、反射強度画像取得部１８と、背景光画像取得部２０と、を備える。ＳＰＡＤは、Single Photon Avalanche Diodeの略であり、ＬｉＤＡＲは、Light Detection and Rangeの略である。以下、ＳＰＡＤ－ＬｉＤＡＲを単にＬｉＤＡＲとも言う。

物体認識装置３０は、画像分割部３２と、特徴量算出部３４と、重み付け部３６、データ選択部３８と、正規化部４０と、物体認識部４２と、を備える。
ＬｉＤＡＲ１０の発光部１２は、車両の周囲の任意の方向、例えば車両の進行方向である前方の所定領域に対して、水平方向と垂直方向とに走査しつつ間欠的にパルス状のレーザ光を照射する。

受光部１４は、発光部１２が照射したレーザ光が物体で反射される反射光と、レーザ光が照射されない間に、太陽光または照明等の光源の光、ならびに光源の光が物体で反射される反射光である背景光とを受光する。

受光部１４は、２次元的に配列された複数の画素を備えている。各画素は、複数の受光素子を備えている。受光素子は、受光強度に応じた電流値を有する受光信号を出力する。受光素子は、アバランシェフォトダイオードとして、ガイガーモードで動作するＳＰＡＤで構成されている。受光素子として、例えば、ＳＰＡＤ以外のアバランシェフォトダイオードまたはフォトダイオード等を用いてもよい。

ＬｉＤＡＲ１０の距離画像取得部１６は、発光部１２がレーザ光を照射してから受光部１４が反射光を受光するまでの時間に基づいて、物体までの距離を画素毎に取得する。
反射強度画像取得部１８は、発光部１２が照射するレーザ光の反射光を受光部１４が画素毎に受光する強度を取得し、全体画像として反射強度画像を取得する。

背景光画像取得部２０は、発光部１２がレーザ光を照射しない間に、受光部１４が画素毎に受光する強度を取得し、全体画像として背景光画像を取得する。尚、光センサでは、反射強度と背景光とが同じタイミングおよび同じ視野範囲で取得可能である。また、本実施形態では、反射光の強度と背景光の強度とは、輝度によりグレーススケールで表される。

図２に示すように、物体認識装置３０の画像分割部３２は、反射強度画像取得部１８が取得する反射強度画像と、背景光画像取得部２０が取得する背景光画像とのそれぞれの全体画像を、同じ画素数で構成される同じ大きさの小領域に分割する。全体画像を水平方向と垂直方向とに分割する分割数は、適宜設定される。

特徴量算出部３４は、反射強度画像と背景光画像との小領域におけるそれぞれの部分画像データについて、物体を認識するための特徴量を算出する。特徴量として、例えば、コントラストまたはエッジの検出数またはコーナーの検出数が算出される。

重み付け部３６は、車両の周囲の明るさを検出する照度センサの検出結果に基づいて、車両の周囲が暗いほど、反射強度画像の部分画像データの特徴量の重みを、背景光画像の部分画像データの特徴量の重みよりも大きくする。これに対し、重み付け部３６は、車両の周囲が明るいほど、背景光画像の部分画像データの特徴量の重みを、反射強度画像の部分画像データの特徴量の重みよりも大きくする。

これは、車両の周囲が暗い場合、背景光の強度が低下し、車両の周囲が明るい場合、背景光の強度が上昇するからである。
データ選択部３８は、小領域において反射強度画像と背景光画像とのそれぞれの部分画像データについて算出された特徴量のうち、物体を認識しやすい方の部分画像データを選択し、小領域の選択部分画像データとする。物体を認識しやすいとは、例えば、画像において最も明るい部分と最も暗い部分との差が大きい、言い換えれば最も明るい部分と最も暗い部分との比が大きいことを表している。つまり、コントラストが大きいと、物体を認識しやすい。

図２に示すように、データ選択部３８は、小領域において反射強度画像と背景光画像とのそれぞれの部分画像データについて算出された特徴量のうち、物体を認識しやすい方の部分画像データを選択し、１フレームの全体画像データを再構成する。

正規化部４０は、データ選択部３８により再構成された全体画像データを正規化する。正規化部４０は、全体画像データに対する正規化処理として、例えば小領域毎にエッジ画像を生成する。
物体認識部４２は、正規化部４０により正規化された全体画像データに基づいて、例えば、人、車両等の物体の種別に対応した識別器を使用して車両の周囲の物体を認識する。

［２．処理］
次に、物体認識装置３０が実行する物体認識処理について、図３のフローチャートを用いて説明する。

図３のＳ４００において画像分割部３２は、反射強度画像をＭ×Ｎの小領域に分割する。この場合、各小領域を固定の同じ大きさにしてもよいし、走行環境と走行状態等に基づいて、小領域の大きさを小領域の位置に応じて異なる大きさにしてもよい。

例えば、走行環境として車両が高速道路を走行している場合には、車両前方の走行車線または隣接車線の車両の認識精度を向上させるために、図４に示すように、画像の外周側の小領域よりも画像の中央部の小領域の大きさを小さくしてもよい。

これに対し、走行環境と走行状態とによっては、画像の中央部の小領域よりも画像の外周側の小領域の大きさを小さくしてもよい。この小領域の大きさの設定は、例えば、左右からの歩行者等の飛び出しを早期に検出する必要がある右左折時に効果的である。

また、図５に示すように、走行状態として車速が速くなるほど、各小領域の大きさを小さくしてもよい。
Ｓ４０２において特徴量算出部３４は、Ｍ×Ｎに分割された反射強度画像の部分画像データのそれぞれに対して、物体を認識するための特徴量αｉ（ｉ＝１、・・・、Ｍ×Ｎ）を算出する。

Ｓ４０４において画像分割部３２は、背景光画像をＭ×Ｎの小領域に分割する。小領域の大きさの設定は、反射強度画像で説明した内容と同一である。
Ｓ４０６において特徴量算出部３４は、Ｍ×Ｎに分割された背景光画像の小領域の部分画像データのそれぞれに対して、物体を認識するための特徴量βｉ（ｉ＝１、・・・、Ｍ×Ｎ）を算出する。

Ｓ４０８において重み付け部３６は、前述したように、車両の周囲の明るさに基づいて、反射強度画像と背景光画像との部分画像データの特徴量に重み付けを行う。重み付け後のそれぞれの特徴量は、α’ｉ＝ｗ×αｉ、β’ｉ＝ｙ×βｉである。ｗとｙとは重みである

Ｓ４１０においてデータ選択部３８は、ｉ番目の小領域において、反射強度画像の部分画像データの特徴量α’ｉが背景光画像の部分画像データの特徴量β’ｉよりも大きいか否かを判定する。特徴量の大きい部分画像データの方が、物体を認識しやすいと判定される。

Ｓ４１０の判定がＹｅｓである、つまり反射強度画像の特徴量α’ｉが背景光画像の特徴量β’ｉよりも大きい場合、Ｓ４１２においてデータ選択部３８は、該当する小領域の選択部分画像データとして、反射強度画像の部分画像データを選択する。

Ｓ４１０の判定がＮｏである、つまり背景光画像の特徴量β’ｉが反射強度の特徴量α’ｉ以上の場合、Ｓ４１４においてデータ選択部３８は、該当する小領域の選択部分画像データとして、背景光画像の部分画像データを選択する。

Ｓ４１６の判定がＹｅｓである、つまりすべての小領域について、反射強度画像の部分画像データまたは背景光画像の部分画像データのいずれかが選択部分画像データとして選択され、１フレームの全体画像データが生成されると、Ｓ４１８において正規化部４０は、小領域の選択部分画像データからエッジ画像を生成し、選択部分画像データを正規化する。Ｓ４２０において物体認識部４２は、正規化された選択部分画像データから構成される全体画像データに基づいて物体を認識する。

［３．効果］
以上説明した上記実施形態によれば、以下の効果を得ることができる。
（３ａ）反射強度画像と背景光画像とに基づいて車両の周囲の物体を認識する物体認識処理において、それぞれの画像を複数の小領域に分割し、小領域において反射強度画像と背景光画像との部分画像データのうち物体を認識しやすい特徴量を有する方の部分画像データを小領域の選択部分画像データとして選択し、全体画像データを構成する。そして、構成された全体画像データに基づいて、物体を認識する。

これにより、反射強度画像と背景光画像との両方の画像データについて物体の認識処理を実行する必要がないので、物体認識処理の処理負荷を極力低減できる。
（３ｂ）正規化された選択部分画像データから全体画像データを構成するので、全体画像データに対して同じ基準で物体の認識処理を実行できる。したがって、車両の周囲の物体を容易に認識できる。

（３ｃ）車両の周囲の明るさに基づいて、反射強度画像と背景光画像との部分画像データの特徴量に重み付けを行うので、反射強度画像と背景光画像とのうち、車両の周囲の明るさに適した部分画像データを選択できる。

（３ｄ）車両の走行環境または走行状態に基づいて、画像を分割する小領域の大きさを適切に設定できる。例えば、車両の走行環境または走行状態に応じて、車両の前方等の高精度に物体を認識したい部分の画像は細かく分割し、空等の画像の中で物体が存在しないと思われる部分の画像は粗く分割することが考えられる。
上記実施形態では、ＬｉＤＡＲ１０が光センサに該当する。

［４．他の実施形態］
以上、本開示の実施形態について説明したが、本開示は上述の実施形態に限定されることなく、種々変形して実施することができる。
（４ａ）上記実施形態では、車両に搭載された物体認識装置３０による認識処理について説明したが、これに限定されるものではない。例えば、移動ロボットに搭載された物体認識装置でもよいし、駐車場等に設置された監視用の物体認識装置でもよい。

（４ｂ）上記実施形態では、小領域の部分画像データを正規化してから物体の認識処理を実行したが、これに限定されるものではなく、小領域の部分画像データを正規化せずに物体の認識処理を実行してもよい。

（４ｃ）上記実施形態では、正規化処理にエッジ画像生成を実行したが、これに限定されるものではなく、ＨｏＧ特徴量やＳＩＦＴ特徴量を生成してもよい。また、ある小領域の選択部分画像データに対して、周囲の選択部分画像データのコントラストの平均値を計算し、そのコントラスト値になるように各画素の輝度を変換してもよい。これにより、全体画像データの小領域の境界をスムーズにすることができる。

（４ｄ）上記実施形態では、小領域において、反射強度画像または背景光画像のいずれかを選択部分画像データとして選択したが、これに限定されるものではない。例えば、選択部分画像データを選択するために算出された反射強度画像と背景光画像とのそれぞれの特徴量のいずれかを選択部分画像データとして選択してもよい。

つまり、特徴量としてエッジを検出する場合、ある小領域において物体が認識しやすいと判定された方のエッジ検出結果、つまりエッジ画像を選択部分画像データとして選択して全体画像データを再構成してもよい。これにより、後段で正規化処理をする場合、その処理を省略することができる。

（４ｅ）上記実施形態では、車両の周囲の明るさに基づいて、反射強度画像の部分画像データの特徴量と背景光画像の部分画像データの特徴量とを重み付けした。これに対し、反射強度画像の部分画像データの特徴量と背景光画像の部分画像データの特徴量とを重み付けしない処理を採用してもよい。

（４ｆ）上記実施形態では、周囲の明るさの検出について照度センサを用いたが、これに限定されるものではない。例えば、時刻から昼か夜かを判定して明るさを検出してもよい。また、背景光画像全体のコントラストの平均値を閾値処理し、ある閾値以上であれば明るいと検出してもよい。

（４ｇ）上記実施形態では、走行環境と走行状態等に基づいて小領域の大きさを変えたが、これに限定されるものではない。例えば、1フレーム前に車両等の物体を認識したさい、その認識した領域の周囲の領域に関しては分割時の小領域を小さく、つまり細かくしてもよい。これにより、物体の認識精度を向上させることが可能となる。また、小領域の大きさは、フレーム毎に変えてもよいし、数フレーム毎に変えてもよい。

（４ｈ）本開示に記載の物体認識装置３０およびその手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリを構成することによって提供された専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の物体認識装置３０およびその手法は、一つ以上の専用ハードウェア論理回路によってプロセッサを構成することによって提供された専用コンピュータにより、実現されてもよい。もしくは、本開示に記載の物体認識装置３０およびその手法は、一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリと一つ以上のハードウェア論理回路によって構成されたプロセッサとの組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されてもよい。物体認識装置３０に含まれる各部の機能を実現する手法には、必ずしもソフトウェアが含まれている必要はなく、その全部の機能が、一つあるいは複数のハードウェアを用いて実現されてもよい。

（４ｉ）上記実施形態における１つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、１つの構成要素が有する１つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、１つの構成要素によって実現したり、複数の構成要素によって実現される１つの機能を、１つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。

（４ｊ）上述した物体認識装置３０の他、当該物体認識装置３０を構成要素とするシステム、当該物体認識装置３０としてコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実体的記録媒体、物体認識方法など、種々の形態で本開示を実現することもできる。

１０：ＳＰＡＤ－ＬｉＤＡＲ（光センサ）、３０：物体認識装置、３２：画像分割部、３４：特徴量算出部、３６：重み付け部，３８：データ選択部、４０：正規化部、４２：物体認識部

Claims (7)

1. 周囲に光を照射して物体で反射する反射光を受光する光センサ（１０）から取得する反射強度画像、ならびに前記光センサが光を照射しないときに前記光センサから取得する背景光画像をそれぞれ同じ複数の小領域に分割するように構成された画像分割部（３２、Ｓ４００、Ｓ４０４）と、
   前記画像分割部により分割された前記反射強度画像と前記背景光画像とのそれぞれの前記小領域の部分画像データについて、前記物体を認識するための特徴量を算出するように構成された特徴量算出部（３４、Ｓ４０２、Ｓ４０６）と、
   同じ前記小領域の前記反射強度画像と前記背景光画像との前記部分画像データについてそれぞれ算出された前記特徴量を比較して前記物体を認識しやすい方を選択部分画像データとして選択するように構成されたデータ選択部（３８、Ｓ４１０～Ｓ４１４）と、
   前記データ選択部が前記小領域のそれぞれについて選択した前記選択部分画像データから構成される全体画像データに基づいて、前記物体を認識するように構成された物体認識部（４２、Ｓ４２０）と、
   を備える物体認識装置。
2. 請求項１に記載の物体認識装置であって、
   前記特徴量算出部は、前記特徴量として、前記部分画像データのコントラストまたはエッジの検出数またはコーナーの検出数を算出するように構成されており、
   前記データ選択部は、前記小領域において、前記反射強度画像と前記背景光画像との前記部分画像データのうち、前記コントラストが大きいか、または前記エッジの検出数が多いか、または前記コーナーの検出数が多い方を、前記小領域の前記選択部分画像データとするように構成されている、
   物体認識装置。
3. 請求項１または２に記載の物体認識装置であって、
   前記データ選択部により選択された前記小領域の前記選択部分画像データを正規化するように構成された正規化部（４０、Ｓ４１８）をさらに備え、
   前記物体認識部は、前記正規化部により正規化された前記小領域の前記選択部分画像データから構成される全体画像データに基づいて、前記物体を認識するように構成されている、
   物体認識装置。
4. 請求項１から３のいずれか１項に記載の物体認識装置であって、
   周囲が明るいほど、前記反射強度画像に対して前記背景光画像の前記特徴量の重みを大きくし、周囲が暗いほど、前記背景光画像に対して前記反射強度画像の前記特徴量の重みを大きくするように構成された重み付け部（３６、Ｓ４０８）をさらに備え、
   前記データ選択部は、前記重み付け部により重み付けされた同じ前記小領域の前記反射強度画像と前記背景光画像との前記特徴量のうち、前記物体を認識しやすい方の前記特徴量を有する前記部分画像データを選択して、該当する前記小領域の前記選択部分画像データとするように構成されている、
   物体認識装置。
5. 請求項１から４のいずれか１項に記載の物体認識装置は車両に搭載されており、
   前記画像分割部は、前記車両の走行環境と走行状態との少なくともいずれかに基づいて、前記小領域の大きさを設定するように構成されている、
   物体認識装置。
6. 請求項１から４のいずれか１項に記載の物体認識装置は車両に搭載されており、
   前記画像分割部は、前記車両の走行環境と走行状態との少なくともいずれかに基づいて、前記小領域の位置に応じて前記小領域を異なる大きさに設定するように構成されている、
   物体認識装置。
7. 請求項１から６のいずれか１項に記載の物体認識装置であって、
   前記光センサの受光素子はＳＰＡＤで構成されている、
   物体認識装置。

Images