JP6313999B2 - 物体検出装置、及び、物体検出システム - Google Patents

Description

本発明は、車両の周辺に存在する物体を検出して報知する技術に関する。

従来より、車両の周辺をカメラで撮影した撮影画像を用いて物体を検出し、ユーザ（主にドライバ）に対して検出結果を報知する物体検出装置が知られている。このような物体検出装置としては、複数の物体を検出した場合に全ての検出結果を報知したり、検出結果に優先順位を付与して、検出結果の中から最も優先順位の高い検出結果のみを報知したりするものがあった。なお、本発明と関連する技術としては、例えば、特許文献１がある。

特開2010-79805号公報

しかしながら、全ての検出結果を報知すると、車両に衝突する危険性の高い物体と、そうでない物体とが混在することとなるため、ユーザにとって分かりにくい報知となってしまう。一方、最も優先順位の高い検出結果のみを報知することにすると、同程度の危険性を有する他の物体があったとしても、それを報知できなくなる。また、近い将来に危険性が高くなる可能性のある物体を事前に報知しておくこともできない。

本発明は、上記課題に鑑みてなされたものであり、複数の検出結果を取得した場合であっても、ユーザに報知すべき検出結果を選択して報知することが可能な技術を提供することを目的とする。

請求項１の発明は、車両周辺の立体物を検出する物体検出装置であって、移動している立体物を検出する移動物検出手段と、静止している立体物を検出する静止物検出手段と、前記検出された立体物の中から、報知用の立体物を選択する選択手段と、を備え、前記選択手段は、前記移動物検出手段が移動物を検出した場合には、前記車両との距離が最も小さい移動物を報知用の立体物として選択するとともに、前記静止物検出手段が、前記報知用の立体物として選択された移動物よりも前記車両との距離が小さい静止物を検出した場合には、前記静止物の中から、前記車両との距離が最も小さい静止物を報知用の立体物としてさらに選択する物体検出装置である。

また、請求項２の発明は、車両周辺の立体物を検出する物体検出方法であって、（ａ）移動している立体物を検出する工程と、（ｂ）静止している立体物を検出する工程と、（ｃ）前記検出された立体物の中から、報知用の立体物を選択する工程と、を備え、前記（ｃ）工程では、前記（ａ）工程が移動物を検出した場合には、前記車両との距離が最も小さい移動物を報知用の立体物として選択するとともに、前記（ｂ）工程が、前記報知用の立体物として選択された移動物よりも前記車両との距離が小さい静止物を検出した場合には、前記静止物の中から、前記車両との距離が最も小さい静止物を報知用の立体物としてさらに選択する物体検出方法である。

請求項１ないし２の発明によれば、移動物検出手段及び静止物検出手段の内、第１優先順位の高い検出手段により検出された立体物を報知用の立体物として選択することから、第１優先順位の高い検出手段により検出された立体物が、現時点では危険性が低いが近い将来に危険性が高くなる可能性のある物体であれば報知されることになる。従って、複数の検出結果を取得した場合であっても、将来の危険性を考慮してユーザに対して報知すべき検出結果を報知することが可能となる。

図１は、物体検出システムのブロック図である。 図２は、カメラの撮影方向を示す図である。 図３は、物体検出システムの利用場面を示す図である。 図４は、物体検出システムの利用場面を示す図である。 図５は、自車両後方の撮影画像を示す図である。 図６は、自車両後方の撮影画像を示す図である。 図７は、物体検出システムの処理を示すフローチャートである。 図８は、特徴点方式を説明する図である。 図９は、背景差分方式（移動物）を説明する図である。 図１０は、背景差分方式（静止物）を説明する図である。 図１１は、立体物選択処理を示すフローチャートである。 図１２は、報知用画像を示す図である。 図１３は、報知用画像を示す図である。

以下、図面を参照しつつ本発明の実施の形態について説明する。

＜１．実施の形態＞
＜１−１．システムの構成＞
まず、本発明の物体検出システム１０の構成について説明する。図１は、物体検出システム１０の概略構成を示すブロック図である。物体検出システム１０は、自動車などの車両に搭載されて当該車両の周辺に存在する物体（立体物）を検出し、立体物を検出した場合には、その検出結果をユーザに報知する機能を有している。また、物体検出システム１０は、複数の物体検出手法（物体検出手段）を用いて物体を検出し、各手法で検出された結果のうち所望の検出結果のみを選択して報知する機能を有している。以下では、物体検出システム１０が搭載される車両を「自車両」という。

物体検出システム１０は、撮影画像を表示する表示装置３と、音を発生するスピーカ４とを備えている。表示装置３は、自車両の車室内におけるユーザ（主にドライバ）が視認可能な位置に配置され、各種の情報をユーザに報知する。表示装置３は、目的地までのルートを案内するナビゲーション機能や、ユーザの操作を受け付けるタッチパネル機能を備えていてもよい。また、スピーカ４は、自車両の車室内に配置され、音により情報をユーザに報知する。

また、物体検出システム１０は、自車両の周辺を撮影して撮影画像を得るカメラ２を備えている。このカメラ２は、レンズと撮像素子とを備えており、電子的に撮影画像を取得する。カメラ２は、所定の周期（例えば、１／３０秒周期）で繰り返し撮影画像を取得する。なお、カメラ２は、例えば自車両の後部に設けられ、車両後方を撮影するバックカメラとして用いられる。図２は、カメラ２をバックカメラ２として用いた場合に、カメラ２が撮影する方向を示す図である。

図２に示すように、カメラ２は、自車両９の後端の背面ドア９２に設けられ、その光軸２１は自車両９の前後方向に沿って後方に向けられる。したがって、カメラ２は、自車両９の後方を撮影して、自車両９の後方の様子を示す撮影画像を取得する。また、このカメラ２のレンズには魚眼レンズが採用されており、カメラ２は、１８０度以上の画角θを有している。このため、カメラ２は、自車両９の後方に広がる左右方向に１８０度以上の領域を撮影することが可能である。

物体検出システム１０は、このカメラ２で得られた撮影画像を表示装置３にて表示する。これにより、ユーザは、自車両９の周辺の様子を略リアルタイムに把握できる。これとともに、物体検出システム１０は、カメラ２で得られた撮影画像に基づいて自車両９の周辺に存在する立体物を検出する。そして、物体検出システム１０は、立体物を検出した場合は、検出結果の中から報知対象の立体物を選択してユーザに報知する。これにより、ユーザは、自車両９に接近してくる移動物等を容易に把握できるようになっている。

図３及び図４は、物体検出システム１０が利用される場面の一例を示す図である。図３及び図４においては、自車両９を駐車場に駐車させようとしている場面を示している。図３は、駐車場に駐車するための最初の位置に待機している状態を示しており、この場合のカメラ２で撮影した自車両９後方の撮影画像は図５のようになる。また、図４は、駐車場への駐車動作の途中の状態を示しており、この場合のカメラ２で撮影した自車両９後方の撮影画像は図６のようになる。

図１に戻り、物体検出システム１０は、カメラ２で取得された撮影画像に基づいて自車両９の周辺に存在する立体物を検出するための物体検出装置１を備えている。物体検出装置１は、立体物を検出するものであり、移動している立体物（以下、「移動物」という。）と、静止している立体物（以下、「静止物」という。）との双方を検出することが可能である。また、物体検出装置１は、検出した立体物の中から、ユーザに対して報知する対象の立体物を選択する。この物体検出装置１は、画像取得部１１、画像処理部１２、画像出力部１３、音声出力部１４、及び、制御部１５を備えている。

画像取得部１１では、カメラ２からアナログの撮影画像を所定の周期（例えば、１／３０秒周期）で時間的に連続して取得し、取得した撮影画像をデジタルの撮影画像に変換（Ａ／Ｄ変換）する。画像取得部１１が処理した一の撮影画像は、映像信号の一のフレームとなる。

画像処理部１２は、画像取得部１１が取得した撮影画像に対して所定の処理を実行する。画像処理部１２としては、例えば、そのような所定の処理が実行可能なＡＳＩＣやＦＰＧＡなどのハードウェア回路を用いることができる。画像処理部１２は、物体検出部１２ａと、優先順位付与部１２ｂと、物体選択部１２ｃとを備えている。

物体検出部１２ａは、立体物を検出する機能を有している。物体検出部１２ａは、複数の方式を用いて立体物検出処理を実行することができるようになっている。この立体物検出処理に用いられる方式としては、例えば、フレーム相関方式がある。フレーム相関方式とは、時間的に連続して得られた複数の撮影画像（フレーム）を用いて立体物を検出する方式である。

優先順位付与部１２ｂは、検出した立体物（検出結果）に対して、報知する優先順位を付与する機能を有している。つまり、優先順位付与部１２ｂは、物体検出部１２ａが複数の方式を用いて検出した立体物に対して、ユーザに報知する立体物を選択する際に用いる優先順位を付与する。この優先順位は、立体物を検出する方式に応じて定められるものと、立体物の位置に応じて定められるものがある。

物体選択部１２ｃは、検出した立体物の中から報知する立体物を選択する機能を有している。すなわち、物体選択部１２ｃは、優先順位付与部１２ｂが付与した優先順位に基づいて、物体検出部１２ａが検出した立体物の中から報知対象の立体物を選択する。

なお、これら物体検出部１２ａによる立体物の検出と、優先順位付与部１２ｂによる優先順位の付与と、物体選択部１２ｃによる立体物の選択とを含む立体物検出処理の詳細については後述する。

画像出力部１３は、報知対象の検出結果（立体物）に関する情報を撮影画像に含ませた表示画像を生成し、ＮＴＳＣなどの所定形式の映像信号に変換して表示装置３に出力する。例えば、画像出力部１３は、報知対象の立体物を囲む枠を撮影画像に重畳した画像を生成して、表示装置３に出力する。これにより、撮影画像を含む表示画像が表示装置３において表示される。

音声出力部１４は、制御部１５からの信号に基づいて音声信号を生成して、スピーカ４に出力する。これにより、スピーカ４が、警告音などの音を発生させる。

制御部１５は、例えば、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えたマイクロコンピュータであり、画像処理部１２を含む物体検出装置１の各部を制御する。制御部１５の各種の機能は、ソフトウェアで実現される。すなわち、制御部１５の機能は、ＲＯＭなどに記憶されたプログラムに従ったＣＰＵの演算処理（プログラムの実行）によって実現される。

＜１−２．システムの処理＞
次に、物体検出システム１０の処理について説明する。図７は、物体検出システム１０の処理を示すフローチャートである。

物体検出システム１０は、電源が起動したことや、自車両のギアがＲ（リバース）に入ったこと等の所定の条件が成立すると、画像取得部１１がカメラ２による撮影画像を取得して、画像処理部１２に出力する。そして、画像処理部１２が立体物検出処理を実行する（ステップＳ１０１）。

ここで、画像処理部１２が実行する立体物検出処理について説明する。前述のように、画像処理部１２は、複数の方式を用いて立体物を検出する。この立体物には、静止物及び移動物が含まれる。

具体的に説明すると、物体検出部１２ａが、特徴点方式及び背景差分方式を用いて立体物を検出する。これら特徴点方式及び背景差分方式は、いずれもフレーム相関方式の一種である。特徴点方式は、静止物を検出することが可能な方式である。また、背景差分方式は、静止物が検出可能な方式と、移動物が検出可能な方式とに区別される。本実施の形態では、背景差分方式のうち、移動物を検出する方式（以下、「背景差分方式（移動物）」という。）と、静止物を検出する方式（以下、「背景差分方式（静止物）」という。）との２つの方式を用いる。

すなわち、本実施の形態では、物体検出部１２ａは、３つの方式（特徴点方式、背景差分方式（移動物）、背景差分方式（静止物））を用いて立体物を検出する。また、物体検出部１２ａは、特徴点方式及び背景差分方式（静止物）を用いて静止物を検出し、背景差分方式（移動物）を用いて移動物を検出する。

ここで、本実施の形態において、立体物の検出に用いる上記３つの方式について、その概要を説明する。

まず、特徴点方式について説明する。特徴点方式は、いわゆるオプティカルフローを用いた方式である。図８は、オプティカルフローを用いた特徴点方式の概要を説明する図である。図８（ａ）は、撮影画像ＳＧ中の物体が含まれる領域を示している。物体検出部１２ａは、互いに異なる時点に取得された複数の撮影画像のそれぞれから特徴点ＦＰを抽出し、複数の撮影画像間での特徴点ＦＰの動きを示すオプティカルフローに基づいて物体を検出する。

具体的に説明すると、まず物体検出部１２ａは、ハリスオペレータなどの周知の手法により、直近に得られた撮影画像ＳＧにおける特徴点（際立って検出できる点）ＦＰを抽出する。これにより、図８（ｂ）に示すように、物体検出部１２ａは、物体のコーナー（エッジの交点）などを含む複数の点を特徴点ＦＰとして抽出する。

次に、物体検出部１２ａは、このように直近の撮影画像ＳＧから抽出した特徴点（以下、「直近特徴点」という。）と、過去の撮影画像ＳＧから抽出した特徴点（以下、「過去特徴点」という。）とを対応付ける。過去特徴点は、例えば、物体検出部１２ａ内のメモリに記憶されている。そして、図８（ｃ）に示すように、物体検出部１２ａは、対応付けた直近特徴点と過去特徴点とのそれぞれの位置に基づいて、特徴点ＦＰの動きを示すベクトルであるオプティカルフローＯＰを導出する。

本実施の形態に係る特徴点方式では、導出したオプティカルフローＯＰの向きや長さなどの情報に基づいて立体物であるか否かを判定している。具体的には、物体検出部１２ａは、ベクトルが所定の方向を向いており、かつ、その大きさが所定の大きさのオプティカルフローＯＰのみを抽出する。

例えば、物体検出部１２ａは、全てのオプティカルフローについてのヒストグラムを作成して静止物のオプティカルフローを抽出する。一般に、バックカメラ等で撮像した画像中には路面のオプティカルフローが最も多く存在している。路面のオプティカルフローは、同じ向きで同じ大きさであるため、この向きや大きさと異なるオプティカルフローは、路面ではないと推定できる。

すなわち、静止物のオプティカルフローは、路面のオプティカルフローと比べて向きはほぼ同じであるが大きさが異なる。また、移動物のオプティカルフローのほとんどは、路面のオプティカルフローと比べて向きも大きさも異なる。したがって、これらオプティカルフローを確認することで静止物や移動物、路面のオプティカルフローを抽出することができる場合もある。

しかしながら、オプティカルフローの中には異常値も含まれている。この異常値は、通常は路面のオプティカルフローと向きも大きさも異なっている。このため、路面と向きも大きさも異なるオプティカルフローを抽出できたとしても、それが移動物なのか異常値なのかを区別することは難しい。そこで、本実施の形態では、路面のオプティカルフローと向き及び大きさが大きく異なるオプティカルフローは抽出対象から除外することとしている。したがって、本実施の形態の特徴点方式では移動物の検出はせずに静止物のみを検出している。

具体的には、物体検出部１２ａは、ベクトルの向きについてヒストグラムを作成する。路面のオプティカルフローは、同じ向きであり、最も多く含まれているため、ヒストグラムのピーク付近に存在する。そこで、ヒストグラムのピークから離れたオプティカルフローを移動物又は異常値であるとして除外し、それ以外のオプティカルフローを路面又は静止物であると推定する。移動物又は異常値として除外する閾値は適宜設定可能である。

そして、物体検出部１２ａは、路面又は静止物であると推定されたオプティカルフローについて、ベクトルの大きさのヒストグラムを作成する。路面のオプティカルフローは、同じ大きさであり、最も多く含まれているため、ヒストグラムのピーク付近に存在する。そこで、ヒストグラムのピーク周辺を路面のオプティカルフローであると推定し、それ以外を静止物のオプティカルフローであると推定する。つまり、路面のオプティカルフローと向きが略同じで、大きさの異なるオプティカルフローを静止物と推定している。そして、推定された静止物のオプティカルフローを抽出する。

なお、静止物のオプティカルフローを抽出する方法は、ベクトルの向きについてヒストグラムを作成した後に、大きさのヒストグラムを作成する方法に限定されず、逆でもよい。また、向きのヒストグラム及び大きさのヒストグラムのいずれかのみを用いて静止物のオプティカルフローを抽出してもよい。

そして、物体検出部１２ａは、抽出したオプティカルフローＯＰのうち近接するもの同士をグループ化するなどして、図８（ｄ）に示すように、このグループを静止物の立体物として検出する。なお、グループ化せずに、抽出したオプティカルフローＯＰそのものを静止物の立体物として検出してもよい。

また、物体検出部１２ａは、このようにして検出した立体物の位置情報を検出結果として優先順位付与部１２ｂに出力する。その際には、特徴点方式で検出した立体物である旨の情報も出力する。

なお、特徴点方式の場合、自車の近くに位置する立体物はオプティカルフローが大きくなるため検出しやすいが、自車から離れたところに位置する立体物はオプティカルフローが小さいため検出しにくくなる。そのため、特徴点方式では近距離の静止物の検出に適しており、近距離の静止物を検出するようオプティカルフローの閾値等のパラメータが設定されている。

さらに詳述すると、特徴点方式で遠距離の静止物も含めて検出しようとすると、オプティカルフローの判定閾値を下げざるを得ず、ノイズ等の影響で誤検出の可能性が高くなる。そのため、本実施の形態では、特徴点方式では遠距離の静止物は検出せず、近距離の静止物を主に検出できるようオプティカルフローの閾値を比較的大きめに設定する等、近距離の静止物の検出に適したパラメータを設定している。換言すれば、特徴点方式は近距離の静止物を検出するために設けられているといえる。

次に、背景差分方式（移動物）について説明する。背景差分方式（移動物）は、直近の撮影画像ＳＧと、過去の撮影画像ＳＧとの差分を抽出することで立体物を検出する方法である。図９は、背景差分方式（移動物）の概要を説明する図である。

具体的に説明すると、まず、物体検出部１２ａは、直近に得られた（現フレームの）撮影画像ＳＧと過去の（前フレームの）撮影画像ＳＧとの差分を導出する。差分の導出は、各画素毎に行われ、各画素の輝度情報を比較する。すなわち、物体検出部１２ａは、前後フレームにおける各画素の輝度値を比較して、その差分画像を出力する。なお、輝度値の比較はＲＧＢ成分毎に行ってもよい。この場合は、ＲＧＢのうちの差分絶対値の最大値を差分画像として出力する。

なお、路面等の立体物でない部分は、フレームの前後で画像中の移動がほぼ無いため、同一画素の輝度値は変化しない。このため、その画素の差分画像はゼロになる（黒色になる）。一方、建物や自動車等の立体物は、フレームの前後で画像中を移動するようになるため、同一画素の輝度値は変化する。このため、その画素の差分画像はゼロにはならない（黒色にならない）。

ただし、立体物であっても静止物の場合には、自車両が少しだけ動いた際に撮影した前後フレームの画像を比較しても、輝度値にほとんど変化がない場合がある。これは、自車両が少ししか動いていない場合には、静止物が前後フレーム間の画像中をほとんど移動していないためである。このため、現フレームと前フレームとを比較したとしても、差分値は立体物として検出することが困難な程に小さいものとなる。

これに対して、立体物が移動物である場合には、自車両が少ししか動いていない場合であっても、前後フレームの画像の輝度値に変化が生じる。したがって、前後フレームの各画素の輝度値を比較すると、図９（ｂ）に示す差分画像のように、移動物に関する部分が白色の画像となり、それ以外の部分は黒色の画像となる。

その後、物体検出部１２ａは、誤検出を防ぐために不要な部分を除去したり、立体物を強調したりするために、差分画像に対して種々のフィルタ処理などを実行して、移動物を検出する。物体検出部１２ａは、このようにして検出した移動物の位置情報を検出結果として優先順位付与部１２ｂに出力する。その際には、背景差分方式（移動物）で検出した立体物である旨の情報も出力する。

次に、背景差分方式（静止物）について説明する。背景差分方式（静止物）も、直近の撮影画像ＳＧと、過去の撮影画像ＳＧとの差分を抽出することで立体物を検出する方法である。図１０は、背景差分方式（静止物）の概要を説明する図である。

具体的に説明すると、まず、物体検出部１２ａは、直近に得られた（現フレームの）撮影画像ＳＧと過去の（数フレーム前の）撮影画像ＳＧとの差分を導出する。差分の導出は、各画素毎に行われ、各画素の輝度情報を比較する。すなわち、物体検出部１２ａは、現フレームと数フレーム前における各画素の輝度値を比較して、その差分画像を出力する。なお、輝度値の比較はＲＧＢ成分毎に行ってもよい。この場合は、ＲＧＢのうちの差分絶対値の最大値を差分画像として出力する。

なお、上述のように、立体物であっても静止物の場合には、前後フレームの画像の比較では差分値がほとんど検出できない場合がある。このため、本実施の形態では、背景差分方式で静止物を検出する場合には、現フレームと数フレーム前の画像同士を比較することとしている。比較する過去のフレームは、静止物を差分画像で検出できるものであれば特に限定されるものではないが、例えば、４フレーム前や５フレーム前などとすることができる。

図１０（ｂ）は、現フレームの画像と数フレーム前（例えば４フレーム前）の画像とを比較して導出された差分画像である。図１０（ｂ）に示すように、建物や駐車中の自動車等の静止物も差分として抽出される。

そして、物体検出部１２ａは、上記と同様に、誤検出を防ぐために不要な部分を除去したり、立体物を強調したりするために、差分画像に対して種々のフィルタ処理などを実行して、静止物を検出する。物体検出部１２ａは、このようにして検出した静止物の位置情報を検出結果として優先順位付与部１２ｂに出力する。その際には、背景差分方式（静止物）で検出した立体物である旨の情報も出力する。

すなわち、背景差分方式（移動物）及び背景差分方式（静止物）は、共に現フレームの画像と過去フレームの画像とを比較して、その差分に基づいて立体物を検出する点においては同じである。ただし、比較対象の過去フレームが、背景差分方式（移動物）では近い過去フレーム（例えば１つ前のフレーム）であるのに対して、背景差分方式（静止物）では数フレーム前（例えば４フレーム前）のフレームである点で相違する。

また、背景差分方式（移動物）によれば、立体物が移動物であれば画像における位置に係わらず前後画像の画素間の変化量が大きいため画像の全体領域での移動物の検出に適している。一方、背景差分方式（静止物）の場合、立体物が静止物であれば、複数画像の画素間の変化量が小さいこと、および画像中央部は画像周辺部より歪両が小さいことにより、画像周辺部、すなわち自車から遠方に位置する静止物の検出に適している。そのため、背景差分方式（移動物）は画像の全領域で移動物を検出できるよう、また背景差分方式（静止物）は遠距離の静止物を検出できるよう、判定閾値等のパラメータが設定される。

さらに詳述すると、背景差分方式（移動物）は前後画像の画素間の輝度差について静止物による輝度差には反応せず、移動物による輝度差に反応するよう閾値等のパラメータが設定されている。また、背景差分方式（静止物）については、この方式で近距離の静止物も含めて検出しようとすると、画素間の輝度差を判定する判定閾値を下げざるを得ず、ノイズ等の影響で誤検出の可能性が高くなる。そのため、本実施の形態では、背景差分方式（静止物）は近距離の静止物は検出せず、遠距離の静止物を主に検出できるよう判定閾値等のパラメータを設定している。換言すれば、背景差分方式（静止物）は、遠距離の静止物を検出するために設けられているといえる。

このように、本実施の形態では、立体物を検出する方式として複数の方式を用いている。具体的には、特徴点方式、背景差分方式（移動物）、及び、背景差分方式（静止物）の３種類である。また、特徴点方式、及び、背景差分方式（静止物）は、立体物のうちの静止物を検出する方式であり、前者は主に自車に近い静止物を、後者は主に自車から離れた静止物を検出することとしている。背景差分方式（移動物）は、立体物のうちの移動物を検出する方式である。このように複数種類の方式を用いて立体物を検出するため、互いに検出しにくい箇所を補いながら画像全体の立体物を検出することが可能になる。

図７に戻り、次に、優先順位付与部１２ｂは、物体検出部１２ａにて検出した立体物（検出結果）に対して、優先順位を付与する（ステップＳ１０２）。以下、優先順位付与部１２ｂが、検出した立体物に対して優先順位を付与する処理について説明する。

上述のように、本実施の形態では、複数の方式を用いて立体物を検出している。また、各方式毎に複数の立体物を検出する場合も多いため、このような場合には全体で多数の立体物が検出される。これを全て報知するとユーザにとって分かりにくい報知となるため、本実施の形態では、検出された立体物に優先順位を付与し、優先順位の高い立体物を選択してユーザに報知することとしている。

物体検出部１２ａによって検出された立体物の情報には、立体物の位置情報のほか、検出に用いた方式に関する情報も含まれている。優先順位付与部１２ｂは、検出された各立体物（各検出結果）に対して、これらの情報に基づいた優先順位を付与する。すなわち、優先順位には、検出方式の違いによって付与される優先順位（以下、「第１優先順位」という。）と、危険度の違いによって付与される優先順位（以下、「第２優先順位」という。）がある。

第１優先順位は、予め定められており、本実施の形態では、背景差分方式（移動物）の優先順位が最も高く、特徴点方式の優先順位が中程度で、背景差分方式（静止物）の優先順位が最も低くなっている。つまり、移動物の優先順位が静止物の優先順位よりも高くなっている。これは、移動物は、自車両に接触する可能性が静止物と比較して高いため、静止物よりも優先して報知する必要があるからである。

優先順位付与部１２ｂは、各立体物に対して、検出した際に用いた検出方式に応じた優先順位を付与する。例えば、優先順位付与部１２ｂは、背景差分方式（移動物）で検出された立体物に対する第１優先順位を「高」とする。また、同様に、特徴点方式で検出された立体物に対する第１優先順位を「中」とし、背景差分方式（静止物）で検出された立体物に対する第１優先順位を「低」とする。

また、第２優先順位については、危険度が高いほど優先順位を高くする。危険度とは、自車両と立体物との距離であり、距離が小さいほど危険度は高くなる。つまり、自車両に近い立体物ほど第２優先順位が高くなる。これは、自車両に近い立体物ほど接触する可能性が高くなるため、優先して報知する必要があるからである。なお、自車両との距離は、立体物の位置情報に基づいて導出することができる。

優先順位付与部１２ｂは、物体検出部１２ａから検出結果を取得すると、検出結果に含まれる立体物の位置情報に基づいて、立体物との距離を導出する。優先順位付与部１２ｂは、全ての立体物との距離を導出すると、距離の小さい立体物から順番に第２優先順位を付与する。例えば、優先順位の高い順に、優先順位１、優先順位２、・・、・優先順位ｎ、等である。

このようにして、検出された全ての立体物に対して、検出方式の違いによる第１優先順位と危険度の違いによる第２優先順位との双方が付与される。

図７に戻り、次に、画像処理部１２は、立体物選択処理を実行する（ステップＳ１０３）。ここで、物体選択部１２ｃが、検出された立体物の中から、報知する立体物を選択する処理について説明する。図１１は、立体物選択処理を説明するフローチャートである。

物体選択部１２ｃは、優先順位付与部１２ｂが付与した優先順位に基づいて報知する立体物を選択する。本実施の形態では、まず、第１優先順位に基づいて選択する。具体的には、物体選択部１２ｃは、第１優先順位に「高」が付与されている立体物の有無を確認する（ステップＳ２０１）。すなわち、物体選択部１２ｃは、背景差分方式（移動物）で検出された立体物が存在するか否かを確認する。

第１優先順位が「高」となっている立体物がある場合には（ステップＳ２０１でＹｅｓ）、物体選択部１２ｃは、第１優先順位が「高」である立体物の中で第２優先順位の最も高い立体物を選択する（ステップＳ２０２）。つまり、物体選択部１２ｃは、移動物が検出されているか否かを確認し、移動物が検出されている場合には、その移動物の中で最も自車両に近い位置に存在する移動物を選択する。

そして、物体選択部１２ｃは、選択した立体物の第２優先順位が全立体物の第２優先順位の中で最高であるか否かを判定する（ステップＳ２０３）。つまり、選択した移動物の第２優先順位が、検出された全立体物の中で最も高いか否かを判定する。これは、選択した移動物よりも自車両に近い位置に静止物が存在する可能性があるため、移動物よりも危険度の高い（第２優先順位の高い）静止物が存在するか否かを判定している。

選択した立体物の第２優先順位が最高である場合には（ステップＳ２０３でＹｅｓ）、立体物選択処理は終了し、次の処理に進む。一方、選択した立体物の第２優先順位が最高でない場合には（ステップＳ２０３でＮｏ）、物体選択部１２ｃは、全立体物の中で第２優先順位が最高の立体物を選択する（ステップＳ２０４）。つまり、物体選択部１２ｃは、検出した全立体物の中で自車両に最も近い位置に存在する立体物を選択する。

なお、ステップＳ２０１において、第１優先順位が「高」である立体物がない場合には（ステップＳ２０１でＮｏ）、物体選択部１２ｃは、全立体物の中で第２優先順位が最高の立体物を選択する（ステップＳ２０４）。つまり、物体選択部１２ｃは、検出した全立体物の中で自車両に最も近い位置に存在する立体物を選択する。この場合、移動物は検出されていないため、選択された立体物は静止物となる。

すなわち、立体物として移動物が検出された場合には、検出された移動物の中で最も自車両に近い移動物を報知対象として選択する。そして、選択した移動物よりもさらに自車両に近い静止物が検出された場合には、その静止物の中で最も自車両に近い静止物も報知対象として選択する。この場合、移動物と静止物とが選択されることになる。

一方、報知対象として選択された移動物が、自車両から最も近い位置に存在する立体物である場合には、全立体物の中で最も危険度の高い立体物を選択していることになるため、他の立体物の選択は行わない。この場合は、移動物のみが選択されることになる。また、移動物が検出されない場合には、全静止物の中で自車両から最も近い位置に存在する静止物が選択される。この場合は、静止物のみが選択されることになる。

なお、静止物を選択する場合において、第２優先順位が同じ静止物が複数ある場合には、それらの静止物のうち、第１優先順位の高い方を選択する。つまり、特徴点方式で検出した立体物と背景差分方式（静止物）で検出した立体物との双方が、自車両から同じ距離の位置に存在する場合には、第１優先順位の高い特徴点方式で検出した立体物を選択する。

このように、本実施の形態においては、複数の方式を用いて立体物を検出し、検出方式や危険度に応じて付与された優先順位に基づいて報知対象の立体物を選択するため、複数の立体物が検出された場合においても、近い将来を考慮してユーザに対して報知が必要な立体物を選択することが可能になる。

図７に戻り、次に、報知処理を行う（ステップＳ１０４）。すなわち、画像出力部１３が、報知用画像を作成し、表示装置３に出力する。そして、表示装置３が報知用画像を表示する。

より具体的に説明すると、画像出力部１３は、画像取得部１１が取得した撮影画像に対して、報知対象として選択した立体物の位置に報知用表示を重畳した報知用画像を作成する。報知用表示としては、例えば、立体物を囲む枠の表示などがある。

ここで、表示装置３に表示された報知用画像の例について図を用いて説明する。図１２及び図１３は、報知用画像の例を示す図である。図１２（ａ）では、立体物として静止物Ｓ１〜Ｓ４が検出されており、移動物は検出されていない。したがって、物体選択部１２ｃは、第２優先順位が最も高い静止物Ｓ１を報知対象として選択する。そして、画像出力部１３は、撮影画像上における、静止物Ｓ１の位置に報知用の枠Ｆ１を重畳表示した報知用画像を作成し、表示装置３にて表示する。この図１２（ａ）の例は、静止物のみが検出され、移動物が検出されていない状況の例である。

図１２（ｂ）では、立体物として移動物Ｍ１と、静止物Ｓ１〜Ｓ４とが検出されている。したがって、物体選択部１２ｃは、第１優先順位が高く、かつ自車両に最も近い移動物Ｍ１を報知対象として選択する。また、物体選択部１２ｃは、移動物Ｍ１よりも第２優先順位が高い静止物Ｓ１も報知対象として選択する。そして、画像出力部１３は、撮影画像上における、静止物Ｓ１と移動物Ｍ１との位置に報知用の枠Ｆ１とＦ２とを重畳表示した報知用画像を作成し、表示装置３にて表示する。

図１３（ａ）では、立体物として移動物Ｍ２と、静止物Ｓ５〜Ｓ８とが検出されている。したがって、物体選択部１２ｃは、第１優先順位が高く、かつ自車両に最も近い移動物Ｍ２を報知対象として選択する。また、物体選択部１２ｃは、移動物Ｍ２よりも第２優先順位が高い静止物Ｓ５も報知対象として選択する。そして、画像出力部１３は、撮影画像上における、静止物Ｓ５と移動物Ｍ２との位置に報知用の枠Ｆ３とＦ４とを重畳表示した報知用画像を作成し、表示装置３にて表示する。これら図１２（ｂ）及び図１３（ａ）の例は、移動物及び静止物の双方が検出され、移動物よりも自車両に近い位置に静止物が存在する状況の例である。

図１３（ｂ）では、立体物として移動物Ｍ３と、静止物Ｓ５〜Ｓ８とが検出されている。したがって、物体選択部１２ｃは、第１優先順位が高く、かつ自車両に最も近い移動物Ｍ３を報知対象として選択する。なお、移動物Ｍ３の第２優先順位は、静止物Ｓ５〜Ｓ８のいずれの第２優先順位よりも高いため、静止物Ｓ５〜Ｓ８のいずれもが報知対象としては選択されない。そして、画像出力部１３は、撮影画像上における、移動物Ｍ３の位置に報知用の枠Ｆ５を重畳表示した報知用画像を作成し、表示装置３にて表示する。この図１３（ｂ）の例は、移動物及び静止物の双方が検出され、移動物よりも自車両に近い位置に静止物が存在しない状況の例である。

なお、報知処理として音声出力する場合は、音声出力部１４からスピーカ４を介して所定の報知用の音声を出力すればよい。

以上のように、本発明では、複数の方式を用いて立体物を検出した場合であっても、検出方式や危険度に優先順位をつけて、それらの組み合わせを考慮して報知対象の立体物を選択している。このため、移動物や静止物といった、複数の検出方式で検出した立体物を近い将来の危険度を考慮して同時に報知することが可能になる。また、ユーザに報知することが必要な立体物を選択して報知することができるため、ユーザにとって必要な情報をわかり易く報知することが可能になる。

＜２．変形例＞
以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。以下では、このような変形例について説明する。上記実施の形態及び以下で説明する形態を含む全ての形態は、適宜に組み合わせ可能である。

上記実施の形態では、物体選択部１２ｃが、まず第１優先順位に基づいて移動物を選択し、その後静止物を選択していたが、他の方法で選択してもよい。

具体的に説明すると、物体選択部１２ｃは、まず、第２優先順位が最も高い立体物を選択する。つまり、静止物か移動物かに係わらず自車両に最も近い立体物を選択する。そして、物体選択部１２ｃは、選択した立体物が移動物か静止物かを判定する。これは、物体選択部１２ｃが、選択した立体物の第１優先順位基づいて判定することができる。

物体選択部１２ｃは、選択した立体物が移動物であると判定した場合には、他の立体物の選択は行わない。一方、物体選択部１２ｃは、選択した立体物が静止物であると判定した場合には、移動物が検出されているか否かを判定する。移動物も検出されている場合には、物体選択部１２ｃは、移動物の中で第２優先順位が最も高い（つまり、自車両に最も近い）移動物を選択する。移動物が検出されていない場合には、他の立体物の選択は行わない。

また、上記実施の形態では、立体物を検出する方式として特徴点方式、背景差分方式（移動物）、背景差分方式（静止物）を利用した例について説明したが、本発明はこれに限定されるものではなく、他の検出方式を用いた場合にも適用可能である。また、用いる検出方式の数も３種類に限定されるものではなく、ｎ種類（ｎは２以上の自然数）の検出方式を用いた場合にも適用可能である。

また、上記各実施の形態では、プログラムに従ったＣＰＵの演算処理によってソフトウェア的に各種の機能が実現されると説明したが、これら機能のうちの一部は電気的なハードウェア回路により実現されてもよい。また逆に、ハードウェア回路によって実現されるとした機能のうちの一部は、ソフトウェア的に実現されてもよい。

１ 物体検出装置
２ カメラ
３ 表示装置
４ スピーカ
１０ 物体検出システム
１１ 画像取得部
１２ 画像処理部
１３ 画像出力部
１４ 音声出力部
１５ 制御部

Claims (2)

1. 車両周辺の立体物を検出する物体検出装置であって、
   移動している立体物を検出する移動物検出手段と、
   静止している立体物を検出する静止物検出手段と、
   前記検出された立体物の中から、報知用の立体物を選択する選択手段と、を備え、
   前記選択手段は、前記移動物検出手段が移動物を検出した場合には、前記車両との距離が最も小さい移動物を報知用の立体物として選択するとともに、
   前記静止物検出手段が、前記報知用の立体物として選択された移動物よりも前記車両との距離が小さい静止物を検出した場合には、
   前記静止物の中から、前記車両との距離が最も小さい静止物を報知用の立体物としてさらに選択することを特徴とする物体検出装置。
2. 車両周辺の立体物を検出する物体検出方法であって、
   （ａ）移動している立体物を検出する工程と、
   （ｂ）静止している立体物を検出する工程と、
   （ｃ）前記検出された立体物の中から、報知用の立体物を選択する工程と、を備え、
   前記（ｃ）工程では、前記（ａ）工程が移動物を検出した場合には、前記車両との距離が最も小さい移動物を報知用の立体物として選択するとともに、
   前記（ｂ）工程が、前記報知用の立体物として選択された移動物よりも前記車両との距離が小さい静止物を検出した場合には、
   前記静止物の中から、前記車両との距離が最も小さい静止物を報知用の立体物としてさらに選択することを特徴とする物体検出方法。

Images