JP5862261B2 - 検出装置、検出方法、及び、車両 - Google Patents

Description

本発明は、検出装置、及び、検出方法に関する。

歩行者などの対象物を検出してディスプレイなどに強調表示を行うことにより、安全に車両の運転を行うことができる運転支援装置の開発が行われている。このような運転支援装置には、歩行者などの対象物を検出する検出装置が含まれる。

特許文献１には、車両の前方にカメラを取り付け、歩行者等を検出する装置が示されている。特許文献２には、ステレオカメラを用いて対象物の検出を行うことが示されている。特許文献３には、位置、時間を取得し、識別器に使用する辞書データを最適なものに切り替えることが示されている。

特開２００１−２８０５０号公報 特開２００６−２６８３４５号公報 特開２０１１−５９８１０号公報

カメラから取得された１フレームの画像中の人物を検出する場合において、検出ウィンドウのスキャンにより、様々なサイズのクロッピング画像が大量に検出器に入力される。そのため、検出処理に時間を要し検出速度が問題となる。検出精度と検出速度との関係はトレードオフの関係にある。すなわち、検出対象物をリアルタイムで検出するためには、検出精度を犠牲にすることになり、また、検出速度を維持したまま検出精度を向上させることは困難であった。よって、検出対象物の検出速度を維持しつつ検出精度を向上させる技術が望まれる。

本発明は、このような事情に鑑みてなされたものであり、検出対象物の検出速度を維持しつつ検出精度を向上させることを目的とする。

上記目的を達成するための主たる発明は、
センサーの出力に対応する階調値を含む検出対象画像を生成する画像生成部と、
前記検出対象画像から検出対象物を検出する検出器であって、複数の第１種識別器と前記第１種識別器よりも前記検出対象物の検出精度が高い第２種識別器とを有する検出器と、を含み、
前記検出器は、第１演算工程と第２演算工程を並列動作させ、
前記第１演算工程において、複数の第１種識別器のうち１つの第１種識別器を用いて検出対象物を検出するとともに、
前記第２演算工程において、前記複数の第１種識別器と前記第２種識別器を用いて検出対象物を検出し、前記複数の第１種識別器の検出結果と前記第２種識別器の検出結果とに基づいて前記第２種識別器の検出結果に最も近い第１種識別器を特定し、前記第１演算工程で動作する識別器を特定した前記第１種識別器に更新する、検出装置である。

本発明の他の特徴については、本明細書及び添付図面の記載により明らかにする。

本実施形態における人物検出システム１の概略構成を示すブロック図である。 本実施形態の概要を説明する図である。 本実施形態における各モジュールのブロック図である。 本実施形態における人物検出処理のフローチャートである。 リアルタイム検出処理のフローチャートである。 パラメーター決定処理のフローチャートである。 検出結果の一例の説明図である。 各検出モジュールのパラメーターの説明図である。 高速検出モジュールα’１のフローチャートである。 高速検出モジュールα’２のフローチャートである。 高速検出モジュールα’３のフローチャートである。 高精度検出モジュールβのフローチャートである。 検出精度評価処理のフローチャートである。 マージ処理の説明図である。 Ｆ−Ｍｅａｓｕｒｅ値の説明図である。

本明細書及び添付図面の記載により、少なくとも、以下の事項が明らかとなる。すなわち、
センサーの出力に対応する階調値を含む検出対象画像を生成する画像生成部と、
前記検出対象画像から検出対象物を検出する検出器であって、複数の第１種識別器と前記第１種識別器よりも前記検出対象物の検出精度が高い第２種識別器とを有する検出器と、を含み、
前記検出器は、第１演算工程と第２演算工程を並列動作させ、
前記第１演算工程において、複数の第１種識別器のうち１つの第１種識別器を用いて検出対象物を検出するとともに、
前記第２演算工程において、前記複数の第１種識別器と前記第２種識別器を用いて検出対象物を検出し、前記複数の第１種識別器の検出結果と前記第２種識別器の検出結果とに基づいて前記第２種識別器の検出結果に最も近い第１種識別器を特定し、前記第１演算工程で動作する識別器を特定した前記第１種識別器に更新する、検出装置である。
このようにすることで、第１演算工程において検出対象物の検出処理が行われる。一方、第２演算工程において、第１種識別器の演算結果と、検出精度が高い第２種識別器の検出結果とに基づいて、複数の第１種識別器の中から検出精度が高いと考えられる第１種識別器が特定される。そして、第１演算工程で動作する識別器が特定された第１種識別器に更新される。よって、次の演算において第１演算工程では、検出精度が高いと考えられる第１種識別器を用いて検出対象物を検出することができる。なお、第１種識別器は第２種識別器ほど検出精度が高くない識別器であるので高速で動作する。そのため、検出対象物の検出速度を維持しつつ検出精度を向上させることができる。

かかる検出装置であって、前記第１種識別器と前記第２種識別器はそれぞれ複数の弱識別器を含み、前記第２種識別器の弱識別器数は前記第１種識別器の弱識別数よりも多いことが望ましい。
このようにすることで、第２種識別器の検出精度を第１種識別器の検出精度よりも高くすることができる。

また、前記第１種識別器は前記第２種識別器よりも検出速度が速いことが望ましい。
このようにすることで、第１演算工程で用いられる識別器の演算速度を高速に維持したまま検出対象物の検出を行うことができる。

また、前記第１演算工程はフォアグラウンドタスクとして動作し、前記第２演算工程はバックグラウンドタスクとして動作することが望ましい。
このようにすることで、検出対象物の検出に必須な第１演算工程をフォアグランドタスクとして動作させ、検出に必ずしも必須ではない第２演算工程をバックグラウンドタスクとして動作させることができる。

また、前記複数の第１種識別器のそれぞれは、弱識別器数、特徴量の種類、学習時に使用される学習画像セット、及び、検出対象物の検出に用いられる閾値のうち少なくとも１つが異ならされることが望ましい。
このようにすることで、これらのパラメーターを異ならせた複数の第１種識別器を構成することができる。

また、前記複数の第１種識別器の検出結果と前記第２種識別器の検出結果とに基づいて前記第２識別器の検出結果に最も近い第１種識別器を特定する際、検出結果から求められる検出精度に基づいて前記第１種識別器が特定されることが望ましい。
このようにすることで、検出精度に基づいて第１種識別器を特定することができる。

また、前記検出精度は、Ｆ−ｍｅａｓｕｒｅ値で表されることが望ましい。
このようにすることで、総合的に検出精度を求めることができる。

また、本明細書及び添付図面の記載により、少なくとも、以下の事項も明らかとなる。すなわち、
センサーの出力に対応する階調値を含む検出対象画像を生成することと、
第１演算工程と第２演算工程を並列動作させ、前記検出対象画像から検出対象物を検出することと、を含み、
前記第１演算工程において、複数の第１種識別器のうち１つの第１種識別器を用いて検出対象物を検出するとともに、
前記第２演算工程において、前記複数の第１種識別器と前記複数の第１識別器よりも前記検出対象物の検出精度が高い第２種識別器を用いて検出対象物を検出し、前記複数の第１種識別器の検出結果と前記第２種識別器の検出結果とに基づいて最も検出精度の高い第１種識別器を特定し、特定した前記第１種識別器に前記第１演算工程で動作する識別器を更新する、検出方法である。
このようにすることで、第１演算工程において検出対象物の検出処理が行われる。一方、第２演算工程において、第１種識別器の演算結果と、検出精度が高い第２種識別器の検出結果とに基づいて、複数の第１種識別器の中から検出精度が高いと考えられる第１種識別器が特定される。そして、第１演算工程で動作する識別器が特定された第１種識別器に更新される。よって、次の演算において第１演算工程では、検出精度が高いと考えられる第１種識別器を用いて検出対象物を検出することができる。なお、第１種識別器は第２種識別器ほど検出精度が高くない識別器であるので高速で動作する。そのため、検出対象物の検出速度を維持しつつ検出精度を向上させることができる。

＝＝＝実施形態＝＝＝
図１は、本実施形態における人物検出システム１の概略構成を示すブロック図である。以下に示す実施形態では、人物を検出するシステムとして説明を行うが、検出対象物はこれに限られない。図１には、人物検出システム１に含まれる赤外線カメラ１１０と、人物検出装置１２０（検出器に相当）と、表示装置１３０が示されている。本実施形態では、赤外線カメラ１１０と、人物検出装置１２０と、表示装置１３０とは、それぞれ別体であり、電気的に接続されているが、これらのうち少なくとも２つが一体の装置であってもよい。

赤外線カメラ１１０（画像生成部に相当）は、中赤外線から遠赤外線の範囲の波長をとらえデジタル値の映像信号を人物検出装置１２０の画像取得部１２２に送信する。赤外線カメラ１１０は、不図示の撮像部とアナログデジタル変換部（Ａ／Ｄ変換部）を含む。撮像部は、赤外線カメラ１１０の受光素子に対応するものであり、受光素子が受光した赤外領域の光に対応した信号を人物検出装置１２０に出力する。Ａ／Ｄ変換部は、撮像部で得られたアナログ信号をデジタル信号に変換する機能を有する。

ここで、中赤外線は２．５μｍ〜４μｍの波長、遠赤外線は４μｍ〜１０００μｍの波長を有する赤外光である。本実施形態では、赤外線カメラ１１０は８〜１４μｍの波長を検知し、人物の体温を検出対象とするが、この波長に限られず、温度を検出できる波長であればこれに限られない。赤外線カメラ１１０は、車両のフロントグリル部などに搭載される。そして、自車両（赤外線カメラ１１０が搭載された車両）から前方方向の環境を撮影する。

なお、本実施形態において赤外線カメラ１１０を採用し赤外線画像を取得するものとしているが、通常の可視光を撮影するカメラを用いることとしてもよい。

人物検出装置１２０は、画像取得部１２２と画像メモリー１２４と制御部１２６と記憶部１２８を含む。そして、後述するような処理により、表示装置１３０に表示するデータを生成する。これら画像取得部１２２、画像メモリー１２４、制御部１２６、及び、記憶部１２８は、例えば、不図示の中央演算装置（ＣＰＵ）、ランダムアクセスメモリー（ＲＡＭ）及びハードディスク（ＨＤＤ）などにより実現される。

画像取得部１２２は、赤外線カメラ１１０が得た映像（例えば、１５ｆｐｓの映像）を取得し、この映像からフレーム画像（検出対象画像）を取得する。そして、得られた各画像は画像メモリー１２４に送られる。

画像メモリー１２４は、画像取得部１２２から送られた画像を一時的に記憶する。制御部１２６は、人物検出処理を行うための演算を行う。具体的な人物検出処理については、後述する。記憶部１２８は、学習結果、演算途中の一時ファイル、及び、演算結果等を保存する。

表示装置１３０は、例えば、赤外線画像として得られている自車両前方映像を表示するディスプレイである。表示装置１３０には、さらに人物の検出結果として、検出された人物を強調表示することもできる。

図２は、本実施形態の概要を説明する図である。図２には、本実施形態の人物検出システム１の概要を説明するために、各処理がブロックとして表されている。人物検出システム１は、検出処理と学習処理とを行う。検出処理では、リアルタイム検出処理とパラメーター決定処理が並列に実行される。学習処理では、後述する高精度検出モジュールβと高速検出モジュールα’１〜α’３を構築するための学習が行われる。

なお、外部メモリー等を記憶部１２８として用いたり、学習処理によって得られる検出処理に必要なデータを外部から記憶部１２８に記憶させれば、必ずしも人物検出システム１が学習処理を行わなくてもよい。

学習処理では、予め用意された学習画像セットを用いて学習が行われる。そして、学習結果は、検出モジュールの識別器として記憶部１２８（図２において学習モデルデータベース）に記憶される。学習画像セットは、学習用に用意された複数の画像（学習用画像）であって、人物が含まれている画像、又は、人物が含まれていない画像である。各検出モジュールを構築するための学習画像セットは、検出モジュール毎にそれぞれ異ならせることができる。また、後述するように、特徴量の種類も異ならせることができる。

学習処理では、前述の学習用画像についてコントラストの調整などの前処理が行われ、学習用画像は学習器に渡される。学習器は、前処理後の学習用画像に基づいて特徴量を求め、特徴量に基づく学習結果が検出モジュールの識別器として記憶部１２８に記憶される。

学習処理における特徴量は、既存の様々なものを採用することができるが、ここでは一例としてＨｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ（ＨＯＧ）特徴量を用いた場合について説明する。これ以外にも、特徴量を温度特徴量とすることもできる。

ＨＯＧ特徴量を用いた学習処理では、人物を含む多量の画像（学習画像セット）、及び、人物を含まない多量の画像（学習画像セット）のそれぞれから輝度勾配が算出される。次に、勾配強度と勾配方向から輝度の勾配方向ヒストグラムが作成される。また、勾配方向ヒストグラムは、正規化が行われる。なお、勾配方向ヒスグラムは、複数ピクセル（例えば５×５ピクセル）を１つのセルとして取り扱うこととしてもよい。

このような勾配方向ヒストグラムを特徴量として、Ａｄａｂｏｏｓｔを適用する。学習後のＡｄａｂｏｏｓｔの弱識別器により特徴量が自動的に選択され、最終的に、多数ある弱識別器の重み付き多数決により人物と人物以外に判別することができる識別器が生成される。識別器は、例えば後述するように、人物らしさＨが−１〜＋１の範囲で出力するものが生成されるものとする。このとき、Ｈの値が＋１に近いほど、人物に近いものとされる。

検出処理では、赤外線カメラ１１０から得られたフレーム画像から検出ウィンドウに対応するクロッピング画像を切り出し、フォアグランドタスクにおいて、クロッピング画像に人物が含まれているか否かについて前述の学習結果に応じて検出を行う（検出方法については後述する）。また、バックグラウンドタスクにおいても、クロッピング画像に人物が含まれているか否かの検出が行われる。検出ウィンドウは、フレーム画像中を移動する。また、検出ウィンドウのサイズは変化させられる。これにより、取得したフレーム画像のあらゆる位置においてあらゆるサイズの人物が検出されることになる。

フォアグラウンドタスクにおける検出結果は統合される。そして、統合された結果は、フレーム画像における人物を矩形枠で囲うなどの加工が行われ、表示装置１３０に出力される。

図３は、本実施形態における各検出モジュールのブロック図である。図３には、赤外線カメラ１１０と、人物検出装置１２０と、表示装置１３０が示されている。人物検出装置１２０では、フォアグラウンドタスク（第１演算工程に相当）及びバックグラウンドタスク（第２演算工程に相当）の２つの処理が並列処理で行われる。フォアグラウンドタスクでは、１つの高速検出モジュールが動作するリアルタイム検出処理が実行される。一方、バックグラウンドタスクでは複数の検出モジュールが動作してパラメーター検出処理が実行される。

リアルタイム検出処理は、例えば、１５ｆｐｓの速度で赤外線カメラ１１０からフレーム画像を取得して、人物検出処理を行う。そして、人物が検出された場合、その人物を矩形枠などで囲いディスプレイなどの表示装置１３０に表示し、ユーザーに警告する。このとき、人物検出の際に使用される高速検出モジュールのパラメーター（後述するように、例えば、特徴量、学習データーベース、閾値）は、１枚又は複数枚のフレーム画像の人物検出処理毎に更新される。

パラメーター決定処理では、例えば、１ｆｐｓ（リアルタイム検出処理よりも遅い）の速度で赤外線カメラ１１０からフレーム画像を取得して、３つの高速検出モジュールα’１〜α’３（第１種識別器に相当）、及び、高精度検出モジュールβ（第２種識別器に相当）による人物検出処理を行う。そして、高速検出モジュールα’１〜α’３の中で最も高精度検出モジュールβに近い検出結果を出力したもののパラメーターを最適パラメーターとしてフォアグラウンドタスクの高速検出モジュールを更新する。なお、最も高精度検出モジュールβに近い検出結果とは、後述するＦ−ｍｅａｓｕｒｅ値に基づいて判定される。

図４は、本実施形態における人物検出処理のフローチャートである。図４には、リアルタイム検出処理（Ｓ１０２）とパラメーター決定処理（Ｓ１０４）とが並列処理されていることが示されている。リアルタイム検出処理は、前述のフォアグラウンドタスクにおける検出処理である。パラメーター決定処理は、バックグラウンドタスクにおける処理である。なお、リアルタイム検出処理の演算の方がパラメーター決定処理における演算よりも容易であるため、パラメーター決定処理が完了する前にリアルタイム検出処理が複数回完了する。

以下、並列処理されるリアルタイム検出処理とパラメーター決定処理について説明する。
図５は、リアルタイム検出処理のフローチャートである。リアルタイム検出処理は、実際に検出対象物である人物を検出して、その検出結果を表示装置１３０に表示するための処理である。

リアルタイム検出処理において、最初に赤外線カメラ１１０からフレーム画像が取得される（Ｓ２０２）。次に、最適パラメーターが記憶部１２８から取得される（Ｓ２０４）。そして、取得された最適パラメーターが設定されることによりフォアグラウンドタスクで動作する高速検出モジュールが更新される。このように最適パラメーターが設定されることにより、複数の高速検出モジュールの中から現時点の環境において最も検出精度の高い高速検出モジュールがフォアグラウンドタスクで動作することになる。

次に、高速検出モジュールによって、取得した画像の人物検出処理が行われる（Ｓ２０６）。具体的な人物検出処理は、後述する検出モジュールα’１〜α’３の動作説明において説明する。

次に、ステップＳ２０６において行われた人物検出処理の検出結果が表示される（Ｓ２０８）。検出結果の表示は、図２に示されるように検出された人物を矩形枠で囲うなどの表示とすることができる。

このようにすることで、フォアグラウンドタスクにおいてリアルタイム検出処理を実行することができる。

図６は、パラメーター決定処理のフローチャートである。パラメーター決定処理は、パラメーター決定処理は、バックグラウンドで最適な高速検出モジュールを選択する処理である。言い換えると、パラメーター決定処理は、バックグラウンドで最適パラメーターを求める処理である。

パラメーター決定処理において、最初に赤外線カメラ１１０からフレーム画像が取得される（Ｓ３０２）。次に、高速検出モジュールα’１〜α’３にて人物検出処理（高速検出モジュールα’１の検出処理〜高速検出モジュールα’３の検出処理）が行われる（Ｓ３０４〜Ｓ３０８）。高速検出モジュールα’１〜α’３による人物検出処理については後述する（図９〜図１１）。

次に、高精度検出モジュールβにて人物の検出処理（高精度検出モジュールβ検出処理）が行われる（Ｓ３１０）。高精度検出モジュールβによる人物検出処理も後述する（図１２）。

そして、検出精度評価処理が実行される（Ｓ３１２）。検出精度評価処理は、各検出モジュールの検出精度を求め、最も検出精度の高い高速検出モジュールを選択する処理である。検出精度評価処理の具体的な処理については後述するが（図１３）、次に示すように、高精度検出モジュールβによる検出結果に最も近い検出結果を出力した高速検出モジュールを選択している。

図７は、検出結果の一例の説明図である。図７には、赤外線カメラ１１０から取得されたフレーム画像である「元画像」と、高精度検出モジュールβによる検出結果と、高速検出モジュールα’１〜α’３による検出結果が示されている。検出結果では、それぞれのモジュールによって検出された人物が矩形枠で囲われている。

高精度検出モジュールβは、適切に人物を検出しており、一人の人物が１つの矩形枠で囲われている。一方、高速検出モジュールの中には、適切に人物を検出していないものもある。高速検出モジュールα’２では、人物以外のものについても人物であるとして検出してしまっており、矩形枠が一つ多い。また、高速検出モジュールα’３では、人物を検出しているものの、その位置精度が劣っている（これは、人物を検出していないとも認定できる）。

これら、高速検出モジュールの中で、高精度検出モジュールβに最も近い検出結果を出力したのは、高速検出モジュールα’１である。よって、ここでは、最適な高速検出モジュールとして、高速検出モジュールα’１が選択されることとなる。

次に、ステップＳ３１２において選択された高速検出モジュールα’１のパラメーターが記憶部１２８に書き込まれる（Ｓ３１４）。記憶部に書き込まれた高速検出モジュールα’１のパラメーターは、前述のリアルタイム検出処理（図５、Ｓ２０４）において取得され使用される。このようにすることで、バックグラウンドタスクにおいて最も検出精度が高いと判定された高速検出モジュールがフォアグラウンドタスクに設定されることになる。

図８は、各検出モジュールのパラメーターの一例である。図８には、それぞれの検出モジュールの「特徴量」、学習に使用した「学習画像セット」、「弱識別器数」、及び、「閾値」が示されている。これらのパラメーターは、それぞれ少しずつ異ならされている。なお、ここでは、バックグラウンドタスクにおける高速検出モジュール数を３つとしているが、より多くの数を設けることとして、よりバリエーションを有するものとすることもできる。また、パラメーターは、これらに限られず、他の要素を用いることもできる。

図９は、高速検出モジュールα’１の検出処理のフローチャートである。図１０は、高速検出モジュールα’２の検出処理のフローチャートである。図１１は、高速検出モジュールα’３の検出処理のフローチャートである。図１２は、高精度検出モジュールβの検出処理のフローチャートである。検出モジュールα’２、α’３、及び、βの動作は、ステップＳ４０４〜Ｓ４１０（図９）のパラメーターに関する部分を除いて検出モジュールα’１の動作と同様である。よって、図９を用いて検出モジュールα’１の説明を行うことで、他の図１０〜図１２の説明は省略する。

まず、ステップＳ４０２とステップＳ４１４においてループが構築される。このループにおいて変化させられる変数は、検出ウィンドウの位置、及び、サイズである。このループ内において人物検出を行うことにより、取得したフレーム画像のあらゆる位置においてあらゆるサイズの人物が検出されることになる。

次に、検出ウィンドウによってクロッピングされた画像の前処理が行われる（Ｓ４０４）。前処理は、人物を検出しやすくするための処理であって、例えば、ノイズ処理、コントラスト調整、及び、切り出された画像を識別器のサイズにあわせてリサイズする処理である。また、リサイズのアルゴリズムとしては、バイキュービック法、バイリニア法等を採用することができる。

なお、この前処理におけるバリエーションを、検出モジュールのパラメーターとして採用することもできる。たとえば、リサイズの方法をパラメーターとした場合、バイキュービック法、又は、バイリニア法をパラメーター値とすることができる。

次に、クロッピング画像の特徴量抽出処理が行われる（Ｓ４０６）。特徴量には、様々なものがある。よって、ここではどのような特徴量を採用するかがパラメーターとなる。例えば、図９の高速検出モジュールα’１、及び、図１１の高速検出モジュールα’３では、温度特徴量が採用され、図１０の高速検出モジュールα’２、及び、図１２の高精度検出モジュールβでは、ＨＯＧ（Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）特徴量が採用されている。

次に、抽出した特徴量を用いて、識別器によって人物らしさＨが算出される（Ｓ４０８）。識別器は、各検出モジュールに含まれる識別器である。ここでは、人物らしさを実数で返す識別器が採用されている。例えば、人物らしさＨは、−１〜＋１の値で表される。そして、Ｈ＝１のときが最も人物らしいものとして返される。

人物らしさＨの算出において、どの学習画像セットを使用して学習を行ったかが１つのパラメーターとなっている（例えば、α’１では学習画像セットＡであり、α’２では学習画像セットＢであり、α’３では学習画像セットＣであり、βでは学習画像セットＸである）。これは、学習時に使用する学習画像セットを変更することで、様々な識別器を構築することができるためである。また、識別器の構築において、Ａｄａｂｏｏｓｔを使用した場合、識別器（強識別器）を構成する弱識別器の数もパラメーターとなる（例えば、α’１では弱識別器数が１０であり、α’２では弱識別器数が５であり、α’３では弱識別器数が１０であり、βでは弱識別器数が１００である）。

次に、人物らしさＨが所定の閾値以上か否かに基づいて、人物の検出が行われる（Ｓ４１０）。例えば、高速検出モジュールα’１では、閾値は、０．５として設定されている。人物らしさＨを用いた人物の検出において、閾値はパラメーターとなる（例えば、α’２では０．３であり、α’３では０．７であり、βでは０．５である）。

ステップＳ４１０において、人物らしさＨが閾値以上である場合には、このときの検出ウィンドウの位置及び大きさを記憶する（Ｓ４１２）。このようにすることで、検出された人物の位置及び大きさを記録しておくことができる。

前述のように、ステップＳ４０２とステップＳ４１４によるループによりこのような処理が繰り返して行われる。このようにすることで、フレーム画像のあらゆる場所における様々なサイズの人物を検出することができる。

図１３は、検出精度評価処理のフローチャートである。検出精度評価処理は、前述の図６におけるパラメーター決定処理において用いられる処理である。

検出精度評価処理において、最初に、高精度検出モジュールβを用いて人物検出を行った結果において、検出結果を１つにまとめるマージ処理が行われる（Ｓ８０２）。

図１４は、マージ処理の説明図である。高精度検出モジュールβを用いて人物検出を行う際、前述のように、フレーム画像の左上から検出ウィンドウがスケール変化させられ、複数回のラスタスキャンが行われる。そして、検出ウィンドウがクロッピングしたクロッピング画像に人物が含まれるか否かの検出が行われる。このように、検出ウィンドウをスケール変化させ、複数回のラスタスキャンを行った結果、同一人物が複数回検出されてしまう場合がある。よって、これらの検出結果を１つにまとめる処理が必要となる。このように、検出結果を１つにまとめるマージ処理として、Ｍｅａｎ−Ｓｈｉｆｔ法によるクラスタリング等が用いられる。

このように、マージ処理が行われ、マージ後の検出結果（検出ウィンドウ）が正解の検出結果として設定される（Ｓ８０４）。そして、この解を基準に、以降の高速検出モジュールの検出精度が求められる。

次に、高速検出モジュールα’１の検出精度、高速検出モジュールα’２の検出精度、及び、高速検出モジュールα’３の検出精度が求められる（Ｓ８０６〜Ｓ８１０）。検出精度は、以下のＦ−Ｍｅａｓｕｒｅ値が用いられる。

図１５は、Ｆ−Ｍｅａｓｕｒｅ値の説明図である。図１５において、「ＴＰ」は、人物を人物として正しく検出した場合を示す。「ＦＰ」は、人物ではないのに、人物であるとして検出してしまった場合を示す。「ＦＮ」は、人物であるのに、人物ではないものとして検出してしまった場合を示す。「ＴＮ」は、人物ではないのを人物ではないとして正しく検出した場合を示す。

Ｆ−Ｍｅａｓｕｒｅ値は、以下の式に基づいて求められる。そして、Ｆ−Ｍｅａｓｕｒｅ値が高いものほど、検出精度が高いものと判定される。

例えば、図７に示すような結果が得られた場合には、ＴＰ、ＦＰ、ＦＮは次のようになる。高速検出モジュールα’１の検出結果では、ＴＰ＝１、ＦＰ＝０、ＦＮ＝０である。高速検出モジュールα’２の検出結果では、ＴＰ＝１、ＦＰ＝１、ＦＮ＝０である。高速検出モジュールα’３の検出結果では、ＴＰ＝０、ＦＰ＝０、ＦＮ＝１である。

このような結果から、高速検出モジュールα’１のＦ−Ｍｅａｓｕｒｅ値が最も高く、検出精度が最も高い高速検出モジュールとして採用される。

このようにすることで、フォアグラウンドタスク（第１演算工程）において人物の検出処理が行われる。一方、バックグラウンドタスク（第２演算工程）において、高速検出モジュール（第１種識別器）の演算結果と、高精度検出モジュール（第２種識別器）の検出結果とに基づいて、複数の高速検出モジュール（第１種識別器）の中から検出精度が高いと考えられる高速検出モジュール（第１種識別器）が特定される。そして、フォアグラウンドタスク（第１演算工程）で動作する検出モジュールが特定された高速検出モジュール（第１種識別器）に更新される。よって、次の演算においてフォアグラウンドタスク（第１演算工程）では、検出精度が高いと考えられる高速検出モジュール（第１種識別器）を用いて検出対象物を検出することができる。なお、高速検出モジュール（第１種識別器）は高精度検出モジュール（第２種識別器）ほど検出精度が高くない識別器であるので高速で動作する。そのため、検出対象物の検出速度を維持しつつ検出精度を向上させることができる。

上記の実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれることは言うまでもない。

１ 人物検出システム、
１１０ 赤外線カメラ、１２０ 人物検出装置、１３０ 表示装置、
１２２ 画像取得部、１２４ 画像メモリー、
１２６ 制御部、１２８ 記憶部

Claims (9)

1. センサーの出力に対応する階調値を含む検出対象画像を生成する画像生成部と、
   前記検出対象画像から検出対象物を検出する検出器であって、複数の第１種識別器と前記第１種識別器よりも前記検出対象物の検出精度が高い第２種識別器とを有する検出器と、を含み、
   前記検出器は、第１演算工程と第２演算工程を並列動作させ、
   前記第１演算工程において、複数の第１種識別器のうち１つの第１種識別器を用いて検出対象物を検出するとともに、
   前記第２演算工程において、前記複数の第１種識別器と前記第２種識別器を用いて検出対象物を検出し、前記複数の第１種識別器の検出結果と前記第２種識別器の検出結果とに基づいて前記第２種識別器の検出結果に最も近い第１種識別器を特定し、前記第１演算工程で動作する識別器を特定した前記第１種識別器に更新する、検出装置。
2. 前記第１種識別器と前記第２種識別器はそれぞれ複数の弱識別器を含み、前記第２種識別器の弱識別器数は前記第１種識別器の弱識別数よりも多い、請求項１に記載の検出装置。
3. 前記第１種識別器は前記第２種識別器よりも検出速度が速い、請求項１又は２に記載の検出装置。
4. 前記第１演算工程はフォアグラウンドタスクとして動作し、前記第２演算工程はバックグラウンドタスクとして動作する、請求項１〜３のいずれかに記載の検出装置。
5. 前記複数の第１種識別器のそれぞれは、弱識別器数、特徴量の種類、学習時に使用される学習画像セット、及び、検出対象物の検出に用いられる閾値のうち少なくとも１つが異ならされる、請求項１〜４のいずれかに記載の検出装置。
6. 前記複数の第１種識別器の検出結果と前記第２種識別器の検出結果とに基づいて前記第２種識別器の検出結果に最も近い第１種識別器を特定する際、検出結果から求められる検出精度に基づいて前記第１種識別器が特定される、請求項１〜５のいずれかに記載の検出装置。
7. 前記検出精度は、Ｆ−ｍｅａｓｕｒｅ値で表される、請求項６に記載の検出装置。
8. センサーの出力に対応する階調値を含む検出対象画像を生成することと、
   第１演算工程と第２演算工程を並列動作させ、前記検出対象画像から検出対象物を検出することと、を含み、
   前記第１演算工程において、複数の第１種識別器のうち１つの第１種識別器を用いて検出対象物を検出するとともに、
   前記第２演算工程において、前記複数の第１種識別器と前記複数の第１種識別器よりも前記検出対象物の検出精度が高い第２種識別器を用いて検出対象物を検出し、前記複数の第１種識別器の検出結果と前記第２種識別器の検出結果とに基づいて前記第２種識別器の検出結果に最も近い第１種識別器を特定し、前記第１演算工程で動作する識別器を特定した前記第１種識別器に更新する、検出方法。
9. 請求項１〜７のいずれかに記載された検出装置を搭載したことを特徴とする車両。