JP7383491B2 - 物体検出装置、及び、物体検出方法 - Google Patents

Description

本発明は、物体検出装置、及び、物体検出方法に関する。

特許文献１には、立体物検出装置が記載されている。この装置は、カメラによる撮像で得られた所定領域の撮像画像データを入力し、入力した撮像画像データの鳥瞰視画像データを生成する。また、この装置は、現時刻における鳥瞰視画像と一時刻前の鳥瞰視画像との差分画像を生成する。そして、この装置は、生成した差分画像に基づいて、立体物を検出する。

国際公開第２０１３／１２９３５７号

上述した立体物検出装置では、現時刻の画像と一時刻前の画像との差分画像を利用することにより、隣接車両の適切な検出を図っている。一方で、隣接車両といった移動物体の検出に際して、このような画像認識を用いる場合には、高性能な処理装置が必要となり、コストが増大する。

本発明は、移動物体の検出に際してコストの増大を抑制可能な物体検出装置、及び、物体検出方法を提供することを目的とする。

本発明に係る物体検出装置は、車両の移動中において車両の周辺領域の移動物体を検出するための物体検出装置であって、第１時刻に取得された周辺領域の画像のエッジを抽出するエッジ抽出部と、画像の各領域に対応する複数のセルに対して、エッジの抽出結果に基づいてエッジ量を設定するエッジ量設定部と、エッジ量が一定以上のセルを、第１時刻において移動物体が存在するセルの候補点として設定する候補点設定部と、第１時刻の候補点と、第１時刻よりも前の第２時刻における移動物体の推定結果とに基づいて、第１時刻における移動物体の推定結果を算出する推定部と、第１時刻における推定結果に基づいて、第１時刻において周辺領域に存在する移動物体を検出する検出部と、を備える。

本発明に係る物体検出方法は、車両の移動中において車両の周辺領域の移動物体を検出するための物体検出方法であって、第１時刻に取得された周辺領域の画像のエッジを抽出するエッジ抽出工程と、画像の各領域に対応する複数のセルに対して、エッジの抽出結果に基づいてセルのそれぞれにエッジ量を設定するエッジ量設定工程と、エッジ量が一定以上のセルを、第１時刻において移動物体が存在するセルの候補点として設定する候補点設定工程と、第１時刻の候補点と、第１時刻よりも前の第２時刻における移動物体の推定結果とに基づいて、第１時刻における移動物体の推定結果を算出する推定工程と、第１時刻における推定結果に基づいて、第１時刻において周辺領域に存在する移動物体を検出する検出工程と、を備える。

これらの装置及び方法では、車両の周辺領域の画像のエッジが抽出されると共に、画像の各領域に対応する複数のセルのそれぞれに対してエッジ量が設定される。また、エッジ量が一定以上のセルが、第１時刻において移動物体が存在する候補点として設定される。さらに、第１時刻の候補点と、第１時刻よりも前の第２時刻における移動物体の推定結果とに基づいて、第１時刻における移動物体の推定結果が生成される。そして、この推定結果に基づいて移動物体が検出される。このように、これらの装置及び方法では、移動物体の検出に際して、より計算負荷の低い画像のエッジ量が利用されるため、高性能な処理装置が不要となる。よって、移動物体の検出に際してコストの増大が抑制され得る。

本発明に係る物体検出装置では、第１時刻の候補点であるセルと当該セルの周囲のセルに対して、当該候補点であるセルが中心となるように正規分布状の度数を投票することにより、度数分布を生成する分布生成部を備え、推定部は、度数分布と第２時刻における移動物体の推定結果との乗算結果に基づいて、第１時刻における移動物体の推定結果を算出してもよい。この場合、ノイズの影響が低減され、検出精度が向上される。

本発明に係る物体検出装置では、候補点設定部は、度数分布において度数が一定以上であるセルを、第１時刻において移動物体が存在するセルの新たな候補点として設定し、分布生成部は、第１時刻の新たな候補点であるセルと当該セルの周囲のセルに対して、当該新たな候補点であるセルが中心となるように正規分布状の度数を投票することにより、新たな度数分布を生成し、推定部は、新たな度数分布と第２時刻における移動物体の推定結果との乗算結果に基づいて、第１時刻における移動物体の推定結果を算出してもよい。この場合、ノイズ影響がより低減され、より検出精度が向上される。

本発明によれば、移動物体の検出に際してコストの増大を抑制可能な物体検出装置、及び、物体検出方法を提供することができる。

図１は、本実施形態に係る物体検出システムが搭載された車両を示す模式図である。 図２は、図１に示された物体検出システムの構成を示す模式図である。 図３は、図１，２に示された物体検出装置の機能的な構成を示す図である。 図４は、物体検出装置の動作を示すフローチャートである。 図５は、物体検出の対象となる領域の画像、及び、エッジの抽出結果を示す画像の一例である。 図６は、第１時刻の度数分布の一例を示す図である。 図７は、推定結果の一例を示す図である。

以下、一実施形態について、図面を参照して詳細に説明する。図面の説明においては、同一又は相当する要素には同一の符号を付し、重複する説明を省略する場合がある。

図１は、本実施形態に係る物体検出システムが搭載された車両を示す模式図である。図２は、図１に示された物体検出システムの構成を示す模式図である。図１の（ａ）は平面図であり、図１の（ｂ）は側面図である。車両Ｃは、例えば、バス等の商用車両やトラック等の産業車両であり得る（図示の例ではトラックである）。また、車両Ｃは、普通乗用車に比べて車高の高い大型車両や中型車両等であり得る。車両Ｃは、車体Ｃｂと、車幅方向（ここではＹ軸方向）の両側において車体Ｃｂに取り付けられた一対のミラーステーＣｓとを含む。

物体検出システム１００は、車両Ｃに搭載されている。物体検出システム１００は、物体検出装置１、撮像装置５０、及び、出力装置６０を備えている。物体検出装置１については後述する。撮像装置５０は、所定の領域を撮像して画像を取得可能な装置であり、例えば、電子ミラーや監視カメラ等である。撮像装置５０は、一対のミラーステーＣｓのそれぞれに設けられている。したがって、撮像装置５０は、車両Ｃの車幅方向の両側に設けられることとなる。

また、撮像装置５０は、（ミラーステーＣｓの位置に応じて）車両Ｃの前後方向（ここではＸ軸方向）における車両Ｃの前方に設けられている。さらに、撮像装置５０は、車両Ｃの高さ方向（ここではＺ軸方向）の中心よりも上方に設けられ得る。これにより、撮像装置５０の撮像領域５０ｒは、車体Ｃｂの側面近傍であり路面Ｒｓを含む車両Ｃの側方の領域（周辺領域）Ｒ（車両Ｃの運転者から死角となる領域）を含むようにされている。撮像装置５０は、取得した画像を物体検出装置１等に出力する。

出力装置６０は、物体検出装置１から検出結果を示す情報を取得して出力する。出力装置６０は、例えば、ディスプレイ、スピーカー、及び、バイブレータ等であって、車両Ｃの運転者に対して視覚や音声や振動等によって物体検出装置１の検出結果を出力可能とされている。なお、車両Ｃには、車両Ｃの後部において車両Ｃの車幅方向の両側部分のそれぞれに対して、後側方監視装置５１が設けられている。後側方監視装置５１は、一例として、所定の検知範囲５１ｒを有するバックカメラ又はレーザレーダ等である。

引き続いて、物体検出装置１について説明する。図３は、図１，２に示された物体検出装置の機能的な構成を示す図である。図３に示される物体検出装置１は、車両Ｃの移動中において、車両Ｃの周辺領域である領域Ｒの移動物体を検出するためのものである。物体検出装置１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等を有する電子制御ユニットにおいて構成され得る。物体検出装置１の後述する各機能部は、ＲＯＭに記録されているプログラムをＲＡＭにロードし、ＲＡＭにロードされたプログラムをＣＰＵで実行することにより実現され得る。

まず、物体検出装置１の各部の動作の概要について説明する。物体検出装置１は、画像生成部１１、エッジ抽出部１２、エッジ量設定部１３、候補点設定部１４、分布生成部１５、推定部１６、及び、検出部１７を有している。画像生成部１１は、撮像装置５０から領域Ｒの撮像画像の入力を受けると共に、撮像画像から後の処理に適した画像（以下、「対象画像」という場合がある）を生成する。エッジ抽出部１２は、対象画像のエッジを抽出する。エッジ量設定部１３は、対象画像を構成する各領域に対応する複数のセルのそれぞれに対して、エッジの抽出結果に基づいてエッジ量を設定する。

候補点設定部１４は、エッジ量が一定以上のセルを、移動物体が存在するセルの候補点として設定する。分布生成部１５は、候補点であるセルと当該セルの周囲のセルに対して、当該候補点であるセルが中心となるように正規分布状の度数を投票することにより、度数分布を生成する。推定部１６は、現在（第１時刻）の候補点と、当該第１時刻よりも前の過去（第２時刻）における移動物体の推定結果とに基づいて、第１時刻における移動物体の推定結果を生成する。検出部１７は、第１時刻における移動物体の推定結果に基づいて、第１時刻において領域Ｒに存在する移動物体を検出する。検出部１７は、検出結果を示す情報を出力装置６０に出力する。

引き続いて、物体検出装置１の各部の動作の詳細について説明する。図４は、物体検出装置の動作を示すフローチャートである。図４に示されるフローチャートは、本実施形態に係る物体検出方法を示す。

この方法では、まず、画像生成部１１が、撮像装置５０から撮像画像（第１時刻に取得された領域Ｒの画像）の入力を受ける。図５の（ａ）は、入力画像の一例である。入力画像には、移動物体Ｑと路面Ｒｓとが含まれる。続いて、画像生成部１１が、入力画像を縮小する（工程Ｓ１）。ここでは、画像生成部１１は、例えば、入力画像を構成する複数の領域（画素）を間引きすることにより、入力画像のサイズを縮小する。続いて、画像生成部１１が、縮小された入力画像の射影変換を行う（工程Ｓ２）。これにより、入力画像から正射投影画像が生成される。また、この工程Ｓ２では、画像生成部１１は、車両Ｃの走行車線に隣接する車線Ｐ１のみを正射投影画像から切り出す（図５の（ａ）参照）。

続いて、画像生成部１１が、正射投影画像における近距離部分の平滑化を行う（Ｓ３）。これは、工程Ｓ２において入力画像から正射投影画像を生成する際に、撮像装置５０に近い近距離部分に対して撮像装置５０から遠い遠距離部分が引き伸ばされることに起因して、後のエッジ抽出の際に近距離部分で路面Ｒｓの荒れに起因して、移動物体Ｑと異なるエッジが多く抽出されることを避けるためである。これにより、続くエッジ抽出等の処理の対象となる対象画像が生成される。

続いて、エッジ抽出部１２が、対象画像（第１時刻に取得された領域Ｒの画像）のエッジを抽出する（工程Ｓ４：エッジ抽出工程）。図５の（ｂ）は、抽出されたエッジが示されたエッジ画像Ｐ２の一例である。

続いて、対象画像のエッジ量の評価が行われる（工程Ｓ５）。より具体的には、工程Ｓ５では、まず、エッジ量設定部１３が、エッジ画像Ｐ２（エッジの抽出結果）に基づいて、対象画像の各領域に対応する複数のセルに対してエッジ量を設定する（エッジ量設定工程）。

エッジの抽出に供された対象画像とエッジ画像Ｐ２とは、互いに対応している。したがって、対象画像を、例えば２次元行列状に分割した場合の各領域に対応するセル（２次元行列状に配列されたセル）を構成したうえで、エッジ画像Ｐ２の対応する各領域に存在するエッジの量（エッジを構成するドットの数）をカウントすれば、各セルに対してエッジ量を設定できる。つまり、この工程Ｓ５では、２次元行列状（例えば１５×４の行列状）に配列されると共に、エッジ量が設定された複数のセルを含むセル群が構成されることとなる。

工程Ｓ５では、続いて、候補点設定部１４が、各セルのエッジ量を評価することにより、エッジ量が一定以上のセルを、第１時刻において移動物体が存在するセル（対象画像における移動物体が存在する領域に対応するセル）の候補点として設定する（候補点設定工程）。なお、工程Ｓ５で構成されたセル群に対して、複数の候補点が設定され得る。

続いて、観測結果の算出が行われる（工程Ｓ６）。より具体的には、この工程Ｓ６では、分布生成部１５が、第１時刻の候補点であるセルと当該セルの周囲のセルに対して、当該候補点であるセルが中心となるように正規分布状の度数を投票することにより、度数分布（ヒストグラム）を生成する。

図６の（ａ）は、投票に用いられる正規分布状の度数（デジタル化された正規分布）の一例である。図６の（ｂ）は、投票の結果生成された度数分布の一例である。図６の例では、度数分布Ｐ３の座標（３，３）のセルＳが候補点Ｓａとして設定されており、当該候補点ＳａのセルＳを中心として、３×３の正規分布状の分布Ｖに応じた投票が行われている。このようにして生成された度数分布Ｐ３を、第１時刻における移動物体の観測結果とすることができる。

一方、候補点Ｓａが複数存在する場合には、上記のように投票を行うと、重複して投票を受けるセルＳが発生する場合がある。この場合、重複して投票を受けたセルＳが、当初の候補点Ｓａとして設定されたセルＳでない場合であっても、当初の候補点Ｓａとして設定されたセルＳよりも大きな度数となる場合がある。

このため、この工程Ｓ６では、候補点設定部１４が、度数分布において度数が一定以上であるセルＳを、第１時刻において移動物体が存在するセルＳの新たな候補点Ｓａとして設定することができる。すなわち、この工程Ｓ６では、閾値を用いた候補点Ｓａの再設定を行うことができる。この場合、分布生成部１５は、第１時刻の新たな候補点ＳａであるセルＳと当該セルＳの周囲のセルＳに対して、当該新たな候補点ＳａであるセルＳが中心となるように正規分布状の度数を投票することにより、新たな度数分布を生成することができる。そして、この新たな度数分布を、第１時刻における移動物体の観測結果（観測マップ）とすることができる。

続いて、推定部１６が、第１時刻における移動物体の推定結果を算出する（工程Ｓ７：推定工程）。この工程Ｓ７について、より具体的に説明する。この工程Ｓ７では、工程Ｓ６で生成された第１時刻の観測結果（度数分布Ｐ３、又は新たな度数分布）と第２時刻における移動物体の推定結果（事前推定マップ）との乗算結果に基づいて、第１時刻における移動物体の推定結果を算出する。

図７の（ａ）は、第２時刻における移動物体の推定結果の一例を示す。図７の（ａ）に示されるように、第２時刻における移動物体の推定結果Ｐ４は、上記と同様の工程を経て既に生成されたものであり、セルＳのそれぞれに対して移動物体が存在する確率（推定）が設定されている。推定結果Ｐ４では、全てのセルＳの値を合計すると１になるように正規化されることにより、それぞれのセルＳの値が移動物体の存在確率とされている。

この工程Ｓ７では、図６の（ｂ）に示されるような度数分布Ｐ３の各セルＳと、図７の（ａ）に示されるような過去の推定結果Ｐ４の各セルＳと、を掛け合わせることにより、図７の（ｂ）に示されるような推定結果Ｐ５を算出する。ここでの乗算は、互に対応するセルＳ間のみで行われる。すなわち、例えば、度数分布Ｐ３の座標（３，３）のセルＳの値と、推定結果Ｐ４の座標（３，３）のセルＳの値と、が掛け合わされて推定結果Ｐ５の座標（３，３）のセルＳの値とされる。

以上のように、この工程Ｓ７では、工程Ｓ６で生成された第１時刻の度数分布Ｐ３と第２時刻における移動物体の推定結果Ｐ４との乗算結果に基づいて、第１時刻における移動物体の推定結果が算出される。度数分布Ｐ３は、候補点Ｓａの情報を基に生成される。したがって、この工程Ｓ７では、推定部１６が、第１時刻の候補点Ｓａと第２時刻の推定結果Ｐ４とに基づいて、第１時刻の推定結果Ｐ５を算出することとなる。

さらに、この工程Ｓ７では、推定部１６は、算出された推定結果Ｐ５のそれぞれのセルＳの値の合計値が１となるように正規化する。後のオブジェクト判定は、この正規化後の推定結果Ｐ５に基づいて行うことができる。

一方、以上のように算出された第１時刻における推定結果Ｐ５は、第１時刻よりも後の第３時刻の推定結果を算出する際に、第３時刻の度数分布との乗算に用いられる。図７の（ｂ）に示されるように、推定結果Ｐ５には、値がゼロのセルＳが含まれる。このため、第３時刻の推定結果のセルのうち、第１時刻の推定結果Ｐ５の値が０のセルＳとの乗算により算出されるセルの値は、元の度数分布の値に依らずにゼロとなる（移動物体の存在が推定されない）。このような状況を避けるため、この工程Ｓ７では、推定結果Ｐ５は、そのセルＳの最小の値がゼロよりも大きな値（例えば０．００１）となるように処理（例えば全てのセルＳに一定の値を足し合わせる処理）がされると共に、それぞれのセルＳの値の合計値が１になるように正規化された後、第３時刻の推定結果の算出の際の事前推定マップとして利用される。

続く工程では、検出部１７が、オブジェクト判定を行う（工程Ｓ８：検出工程）。より具体的には、検出部１７は、第１時刻における推定結果Ｐ５に基づいて、第１時刻において領域Ｒに存在する移動物体Ｑを検出する。この工程Ｓ８では、検出部１７は、推定結果Ｐ５のセルＳのうち、一定の値以上であり、且つ、最大の値を有するセルＳを移動物体Ｑの存在するセルとして検出する。

以上説明したように、本実施形態に係る物体検出装置１及び物体検出方法では、車両Ｃの周辺の領域Ｒの画像のエッジが抽出されると共に、画像の各領域に対応する複数のセルＳのそれぞれに対してエッジ量が設定される。また、エッジ量が一定以上のセルＳが、第１時刻において移動物体Ｑが存在する候補点Ｓａとして設定される。さらに、第１時刻の候補点Ｓａと、第１時刻よりも前の第２時刻における移動物体Ｑの推定結果Ｐ４とに基づいて、第１時刻における移動物体Ｑの推定結果Ｐ５が生成される。そして、この推定結果Ｐ５に基づいて移動物体Ｑが検出される。このように、これらの装置及び方法では、移動物体Ｑの検出に際して、より計算負荷の低い画像のエッジ量が利用されるため、高性能な処理装置が不要となる。よって、移動物体Ｑの検出に際してコストの増大が抑制され得る。

また、本実施形態に係る物体検出装置１では、第１時刻の候補点ＳａであるセルＳと当該セルＳの周囲のセルＳに対して、当該候補点ＳａであるセルＳが中心となるように正規分布状の度数を投票することにより、度数分布Ｐ３を生成する分布生成部１５を備えている。そして、推定部１６は、度数分布Ｐ３と第２時刻における移動物体Ｑの推定結果Ｐ４との乗算結果に基づいて、第１時刻における移動物体Ｑの推定結果Ｐ５を算出する。この場合、ノイズの影響が低減され、検出精度が向上される。

特に、この場合には、第１時刻と第２時刻との間に、車両Ｃとの相対移動量の少ない（相対速度の小さい）物体の存在確率が大きく推定される。すなわち、例えば、移動中の車両Ｃとの相対速度が比較的大きい（静止した）路面Ｒｓの付帯物等については、第２時刻において推定結果Ｐ４に存在するものの、第２時刻から第１時刻の間に車両Ｃの周囲の領域Ｒから離間することにより、第１時刻の度数分布Ｐ３に存在しない場合があり、この場合には推定結果Ｐ５において検出されない。よって、この場合には、車両Ｃと同方向に移動する移動物体Ｑがより顕著に検出されることなり、検出精度が向上される。

なお、物体検出装置１では、例えば、度数の投票に用いられる分布Ｖの広がりを調整したり、推定結果Ｐ５のセルＳの最小の値をゼロよりも大きな値とする処理において推定結果Ｐ５のセルＳに足し合わせる値を調整したりすることにより、第１時刻と第２時刻との間の相関の強弱を調整することができる。

一方、本実施形態に係る物体検出装置１では、候補点設定部１４は、度数分布Ｐ３において度数が一定以上であるセルＳを、第１時刻において移動物体Ｑが存在するセルＳの新たな候補点Ｓａとして設定することができる。また、分布生成部１５は、第１時刻の新たな候補点ＳａであるセルＳと当該セルＳの周囲のセルＳに対して、当該新たな候補点ＳａであるセルＳが中心となるように正規分布状の度数を投票することにより、新たな度数分布Ｐ３を生成することができる。そして、推定部１６は、新たな度数分布Ｐ３と第２時刻における移動物体Ｑの推定結果Ｐ４との乗算結果に基づいて、第１時刻における移動物体Ｑの推定結果Ｐ５を算出してもよい。この場合、ノイズ影響がより低減され、より検出精度が向上される。

さらに、本実施形態に係る物体検出装置１では、大型車両等の比較的車高の高い車両ＣのミラーステーＣｓに取り付けられた撮像装置５０によって撮像された画像を用いる。このため、投影変換の際の画像の歪みが低減され、より検出精度が向上される。

以上の実施形態は、本発明の一側面を説明したものである。したがって、本発明は、上述した一形態に限定されることなく、任意に変形され得る。

１…物体検出装置、１２…エッジ抽出部、１３…エッジ量設定部、１４…候補点設定部、１５…分布生成部、１６…推定部、１７…検出部、Ｃ…車両、Ｑ…移動物体、Ｒ…領域（周辺領域）。

Claims (4)

1. 車両の移動中において前記車両の周辺領域の移動物体を検出するための物体検出装置であって、
   第１時刻に取得された前記周辺領域の画像のエッジを抽出するエッジ抽出部と、
   前記画像の各領域に対応する複数のセルに対して、前記エッジの抽出結果に基づいてエッジ量を設定するエッジ量設定部と、
   前記エッジ量が一定以上の前記セルを、前記第１時刻において前記移動物体が存在する前記セルの候補点として設定する候補点設定部と、
   前記第１時刻の前記候補点と、前記第１時刻よりも前の第２時刻における前記移動物体の推定結果とに基づいて、前記第１時刻における前記移動物体の推定結果を算出する推定部と、
   前記第１時刻における前記推定結果に基づいて、前記第１時刻において前記周辺領域に存在する前記移動物体を検出する検出部と、
   を備える物体検出装置。
2. 前記第１時刻の前記候補点である前記セルと当該セルの周囲の前記セルに対して、当該候補点である前記セルが中心となるように正規分布状の度数を投票することにより、度数分布を生成する分布生成部を備え、
   前記推定部は、前記度数分布と前記第２時刻における前記移動物体の推定結果との乗算結果に基づいて、前記第１時刻における前記移動物体の推定結果を算出する、
   請求項１に記載の物体検出装置。
3. 前記候補点設定部は、前記度数分布において前記度数が一定以上である前記セルを、前記第１時刻において前記移動物体が存在する前記セルの新たな候補点として設定し、
   前記分布生成部は、前記第１時刻の前記新たな候補点である前記セルと当該セルの周囲の前記セルに対して、当該新たな候補点である前記セルが中心となるように正規分布状の度数を投票することにより、新たな度数分布を生成し、
   前記推定部は、前記新たな度数分布と前記第２時刻における前記移動物体の推定結果との乗算結果に基づいて、前記第１時刻における前記移動物体の推定結果を算出する、
   請求項２に記載の物体検出装置。
4. 車両の移動中において前記車両の周辺領域の移動物体を検出するための物体検出方法であって、
   第１時刻に取得された前記周辺領域の画像のエッジを抽出するエッジ抽出工程と、
   前記画像の各領域に対応する複数のセルに対して、前記エッジの抽出結果に基づいて前記セルのそれぞれにエッジ量を設定するエッジ量設定工程と、
   前記エッジ量が一定以上の前記セルを、前記第１時刻において前記移動物体が存在する前記セルの候補点として設定する候補点設定工程と、
   前記第１時刻の前記候補点と、前記第１時刻よりも前の第２時刻における前記移動物体の推定結果とに基づいて、前記第１時刻における前記移動物体の推定結果を生成する推定工程と、
   前記第１時刻における前記推定結果に基づいて、前記第１時刻において前記周辺領域に存在する前記移動物体を検出する検出工程と、
   を備える物体検出方法。

Images