JP5834812B2 - 検出装置、及び、検出方法 - Google Patents

Description

本発明は、検出装置、及び、検出方法に関する。

歩行者等の安全確保のために車両に歩行者検出装置を搭載することが考えられている。このような歩行者検出装置は、リアルタイムに、近距離の人物や遠距離の人物を検出する。

特許文献１には、移動ロボットにおいて移動体を検出するために２つのカメラを用いてステレオ画像処理することが示されている。

特開２００６−２６８３４５号公報

しかしながら、特許文献１の手法であると、カメラが２つ必要となりコストが高くなるという問題がある。また、この手法は、視差を利用しているが、遠距離になると視差の差が小さくなるため、対象物の検出が困難になるという問題もある。

また、カメラから取得した１フレーム画像中の人物を検出する場合、ウィンドウスキャンにより様々なサイズのクロッピング画像が大量に検出器に入力されることになる。このとき、検出器の入力サイズに合わせてクロップ画像のリサイズが行われる。しかしながら、リサイズ処理には時間を要することから、検出処理速度に問題が生ずる。よって、検出処理速度をより向上させることが望まれる。

本発明は、このような事情に鑑みてなされたものであり、検出対象物の検出処理速度を向上させることを目的とする。

上記目的を達成するための主たる発明は、
センサーの出力に対応する階調値を含む検出対象画像を生成する画像生成部と、前記検出対象画像から検出対象物を検出することに用いる学習済みの識別器を基準ウィンドウ毎に有する検出器と、を備え、
前記画像生成部は、各基準ウィンドウの複数の倍率のサイズで前記検出対象画像を生成し、
前記識別器は、前記基準ウィンドウにおいて分割された各領域に対応するサブ識別器を含み、
前記検出器は、前記検出対象画像の倍率に応じた領域の前記サブ識別器に、前記検出対象画像における領域の階調値を入力し、前記サブ識別器の出力に基づいて前記検出対象画像における検出対象物の検出を行う、検出装置である。

本発明の他の特徴については、本明細書及び添付図面の記載により明らかにする。

本実施形態における人物検出システム１の概略構成を示すブロック図である。 本実施形態の概要を説明する図である。 本実施形態における学習処理のフローチャートである。 基準ウィンドウサイズの説明図である。 本実施形態における回帰式作成処理のフローチャートである。 クロッピング画像を複数のセル（領域）に分割する様子を説明する図である。 本実施形態における特徴量抽出処理のフローチャートである。 本実施形態における人物検出処理（全体画像）のフローチャートである。 基準ウィンドウに所定の倍率を乗じたときにおける最小検出サイズ及び最大検出サイズの説明図である。 図１０Ａは、基準ウィンドウの画素の説明図であり、図１０Ｂは、クロッピング画像の画素の第１説明図であり、図１０Ｃは、クロッピング画像の画素の第２説明図である。 探索窓の移動の様子の説明図である。

本明細書及び添付図面の記載により、少なくとも、以下の事項が明らかとなる。すなわち、
センサーの出力に対応する階調値を含む検出対象画像を生成する画像生成部と、前記検出対象画像から検出対象物を検出することに用いる学習済みの識別器を基準ウィンドウ毎に有する検出器と、を備え、
前記画像生成部は、各基準ウィンドウの複数の倍率のサイズで前記検出対象画像を生成し、
前記識別器は、前記基準ウィンドウにおいて分割された各領域に対応するサブ識別器を含み、
前記検出器は、前記検出対象画像の倍率に応じた領域の前記サブ識別器に、前記検出対象画像における領域の階調値を入力し、前記サブ識別器の出力に基づいて前記検出対象画像における検出対象物の検出を行う、検出装置である。
このようにすることにより、検出対象画像のサイズが各基準ウィンドウの複数の倍率のサイズ（すなわち、複数倍のサイズ）に制限される。そして、各領域に対応するサブ識別器に階調値を入力する際、倍率に応じた検出対象画像における領域の階調値が入力される。検出対象画像は各基準ウィンドウの複数の倍率のサイズで生成されているため、あらゆるサイズの検出対象物を検出可能であるとともに、検出を行う際に検出対象画像のリサイズ処理を行う必要がないため、検出対象物の検出処理速度を向上させることができる。

かかる検出装置であって、前記各基準ウィンドウの複数の倍率は、それぞれ整数倍の倍率であることが望ましい。
このようにすることで、各領域に対応するサブ識別器に階調値を入力する際、整数倍に応じた検出対象画像における領域の階調値を入力するので、演算が簡便になり、検出処理速度を向上させることができる。

また、前記識別器は、前記検出対象画像における任意の２つの領域の階調値に基づいて前記検出対象画像における前記検出対象物の検出を行う複数のサブ識別器を有し、
前記検出部は、
前記複数のサブ識別器に対して、前記検出対象画像の複数の領域のうち対応する２つの領域の階調値を入力し、前記複数のサブ識別器の出力に基づいて前記検出対象画像における検出対象物の検出を行うことが望ましい。
このように、任意の２つの領域の階調値に基づいて検出対象物の検出を行うサブ識別器を複数有することで、検出精度が良好な１つ又は複数のサブ識別器を用いて検出対象物の検出を行うことができる。そして、検出対象物の検出精度を向上させることができる。

また、前記複数のサブ識別器は、前記２つの領域の階調値を入力したときの特徴量に基づく値を出力し、
前記特徴量は、前記２つの領域のうち対応する一方の領域の階調値と、前記２つの領域のうち対応する他方の領域の階調値に基づいて推定された前記一方の領域の推定階調値と、の差を表すことが望ましい。
このような構成であれば、サブ識別器に２つの領域の階調値を入力すると、その特徴量として、一方の領域の階調値と、他方の領域の階調値に基づいて推定された一方の領域の推定階調値と、の差が求められる。そして、サブ識別器において、これらの差は検出対象画像と検出対象物との近似の程度を意味する。よって、このような特徴量に基づく値を出力するようにすることで、検出対象物の検出を精度よく行うことができる。

また、前記画像生成部は、前記検出対象画像を含む全体画像から複数の画像をクロッピングすることにより前記検出対象画像を複数生成し、
前記複数の検出対象画像のそれぞれについて前記検出対象物の検出を行うことにより、前記全体画像における前記検出対象物の位置を特定することが望ましい。
このようにすることで、全体画像において複数の検出対象物が存在する場合であっても、それぞれの検出対象物を検出することができる。

また、前記センサーの出力は、該センサーが検出した温度に応じた出力であることが望ましい。
このようにすることで、温度に応じて検出対象物を検出することができる。

また、前記学習済みの識別器は、各基準ウィンドウの倍率毎に前記検出対象物の検出可能サイズが定められて学習がされており、
前記検出器は、各前記基準ウィンドウの複数の倍率のサイズで生成された検出対象画像について前記検出対象物の検出を行う際、前記識別器間で前記検出対象物の検出可能サイズが重複する場合には、重複する識別器の一方による前記検出対象物の検出は省略されることが望ましい。
このようにすることで、重複する識別器の使用を省略して検出対象物の検出を行う事ができるので、使用を省略した分、検出速度を向上させることができる。

また、本明細書及び添付図面の記載により、少なくとも、以下の事項も明らかとなる。すなわち、
センサーの出力に対応する階調値を含む検出対象画像を生成する生成ステップと、
基準ウィンドウ毎に学習済みの識別器であって前記基準ウィンドウにおいて分割された各領域に対応するサブ識別器を含む識別器を用いて前記検出対象画像から検出対象物を検出する検出ステップと、
を含み、
前記生成ステップは、各基準ウィンドウの複数の倍率のサイズで前記検出対象画像を生成し、
前記検出ステップは、前記検出対象画像の倍率に応じた領域の前記サブ識別器に、前記検出対象画像における領域の階調値を入力し、前記サブ識別器の出力に基づいて前記検出対象画像における検出対象物の検出を行う、検出方法である。
このようにすることにより、検出対象画像のサイズが各基準ウィンドウの複数の倍率のサイズ（すなわち、複数倍のサイズ）に制限される。そして、各領域に対応するサブ識別器に階調値を入力する際、倍率に応じた検出対象画像における領域の階調値が入力される。検出対象画像は各基準ウィンドウの複数の倍率のサイズで生成されているため、あらゆるサイズの検出対象物を検出可能であるとともに、検出を行う際に検出対象画像のリサイズ処理を行う必要がないため、検出対象物の検出処理速度を向上させることができる。

＝＝＝実施形態＝＝＝
図１は、本実施形態における人物検出システム１の概略構成を示すブロック図である。以下に示す実施形態では、人物を検出するシステムとして説明を行うが、検出対象物はこれに限られない。図１には、人物検出システム１に含まれる赤外線カメラ１１０と、人物検出装置１２０と、表示装置１３０が示されている。本実施形態では、赤外線カメラ１１０と、人物検出装置１２０と、表示装置１３０とは、それぞれ別体であり、電気的に接続されているが、これらのうち少なくとも２つが一体の装置であってもよい。

赤外線カメラ１１０（センサーに相当）は、中赤外線から遠赤外線の範囲の波長をとらえデジタル値の映像信号を人物検出装置１２０の画像取得部１２２に送信する。赤外線カメラ１１０は、不図示の撮像部とアナログデジタル変換部（Ａ／Ｄ変換部）を含む。撮像部は、赤外線カメラ１１０の受光素子に対応するものであり、受光素子が受光した赤外領域の光に対応した信号を人物検出装置１２０に出力する。Ａ／Ｄ変換部は、撮像部で得られたアナログ信号をデジタル信号に変換する機能を有する。

ここで、中赤外線は２．５μｍ〜４μｍの波長、遠赤外線は４μｍ〜１０００μｍの波長を有する赤外光である。本実施形態では、赤外線カメラ１１０は８〜１４μｍの波長を検知し、人物の体温を検出対象とするが、この波長に限られず、温度を検出できる波長であればこれに限られない。赤外線カメラ１１０は、車両のフロントグリル部などに搭載される。そして、自車両（赤外線カメラ１１０が搭載された車両）から前方方向の環境を撮影する。

人物検出装置１２０は、画像取得部１２２と画像メモリー１２４と制御部１２６と記憶部１２８を含む。そして、後述するような処理により、表示装置１３０に表示するデータを生成する。これら画像取得部１２２、画像メモリー１２４、制御部１２６、及び、記憶部１２８は、例えば、不図示の中央演算装置（ＣＰＵ）、ランダムアクセスメモリー（ＲＡＭ）及びハードディスク（ＨＤＤ）などにより実現される。

人物検出装置１２０の制御部１２６では、プログラムによって複数のモジュールが動作する。これらのモジュールのうち、後述する強識別器を有し基準ウィンドウサイズの倍数で切り出されたクロッピング画像から人物検出を行うモジュールは検出器に相当する。

画像取得部１２２は、赤外線カメラ１１０が得た映像（例えば、１５ｆｐｓの映像）を取得し、この映像からフレーム画像（全体画像）を取得する。そして、得られた各画像は画像メモリー１２４に送られる。

画像メモリー１２４は、画像取得部１２２から送られた画像を一時的に記憶する。制御部１２６は、人物検出処理を行うための演算を行う。具体的な人物検出処理については、後述する。記憶部１２８は、学習モデルなどのデータ、演算途中の一時ファイル、及び、演算結果等を保存する。

赤外線カメラ１１０、画像取得部１２２、画像メモリー１２４、および、後述するように取得されたフレーム画像から基準ウィンドウサイズの整数倍のサイズでクロッピングを行う制御部１２６のモジュールは画像生成部に相当する。また、取得されたフレーム画像から基準ウィンドウのサイズの整数倍のサイズで切り出されたクロッピング画像は、検出対象画像に相当する。

表示装置１３０は、例えば、赤外線画像として得られている自車両前方映像を表示するディスプレイである。表示装置１３０には、さらに人物の検出結果として、検出された人物を強調表示することもできる。

図２は、本実施形態の概要を説明する図である。図２には、本実施形態の人物検出システム１の概要を説明するために、各処理がブロックとして表されている。人物検出システム１は、学習処理と検出処理とを行う。なお、外部メモリー等を記憶部１２８として用いたり、学習処理によって得られる検出処理に必要なデータを外部から記憶部１２８に記憶させれば、必ずしも人物検出システム１が学習処理を行わなくてもよい。

学習処理では、予め用意された学習用クロッピング画像を用いて学習を行い、その学習結果を学習モデルデータベース（記憶部１２８）に記憶する。学習用クロッピング画像は、学習用に用意された画像であって、必ず人物が含まれている画像（ポジティブ画像）である。ただし、学習方法によっては、必ず人物が含まれている画像（ポジティブ画像）と人物が含まれていない画像（ネガティブ画像）の両方を用意することとしてもよい。

学習処理では、前述の学習用クロッピング画像についてコントラストの調整などの前処理が行われ、学習用クロッピング画像は学習器に渡される。学習器は、前処理後の学習用クロッピング画像に基づいて特徴量を求め、特徴量に基づく学習結果を学習モデルデータベースに記憶する。

検出処理では、赤外線カメラ１１０から得られた全体画像から、部分的に画像をクロッピング（切り出し）し、クロッピング画像を生成する。後述するように、クロッピング画像のサイズは、基準ウィンドウのサイズの倍数のサイズに制限される。クロッピング画像についてコントラスト調整などの前処理が行われ、クロッピング画像は識別器に渡される。識別器は、学習結果に応じた複数のサブ識別器を有している。クロッピング画像の階調値が複数のサブ識別器に入力され、これらサブ識別器の出力に基づいてクロッピング画像に人物が含まれているか否かの判定が行われる。

クロッピング画像は、全体画像から少しずつ位置をずらして画像を切り出すことによって、複数生成される。そして、前述のように、各クロッピング画像について人物が含まれているか否かの判定が行われ、その判定結果は統合される。そして、統合された結果は、全体画像に人物が強調表示されるなどの処理がされた出力画像として表示装置１３０に出力される。

図３は、本実施形態における学習処理のフローチャートである。以下、本フローチャートを参照しつつ、学習処理について説明を行う。学習処理が行われるにあたり、前述のように、学習用クロッピング画像が複数用意されている。そして、これら人物が含まれていることが確実な学習用クロッピング画像を用いて学習モデルを構築する。

最初に、複数の学習用クロッピング画像（学習画像）の読み込みが行われる（Ｓ１０２）。本実施形態では、Ｎ枚の学習用クロッピング画像が用意されているものとする。

次に、基準ウィンドウサイズへのリサイズ処理が行われる（Ｓ１０４）。基準ウィンドウサイズへのリサイズ処理では、Ｎ枚の学習用クロッピング画像のぞれぞれについて、基準ウィンドウサイズにリサイズされる。

図４は、基準ウィンドウサイズの説明図である。本実施形態では、基準ウィンドウサイズ毎に、検出可能な対象物のサイズを予め決めておく。図４には、基準ウィンドウサイズと、これに対応する最小検出サイズと、最大検出サイズが示されている。

本実施形態では、基準ウィンドウサイズを図４に示される５つのサイズとしている。但し、基準ウィンドウサイズの個数はこれに限られず、より多いものであってもよいし、少ないものであってもよい。

基準ウィンドウサイズに対応して、検出可能な検出対象物の最小のサイズ（最小検出サイズ）と、検出可能な検出対象物の最大のサイズ（最大検出サイズ）が規定される。例えば、基準ウィンドウサイズが６×１２の場合において、最小検出サイズは５×１０であり、最大検出サイズは６×１２である。

このように、最小検出サイズ及び最大検出サイズの範囲の検出対象物（人物）を検出可能とするために、学習用クロッピング画像に含まれる検出対象物のサイズは、ほぼ最小検出サイズから最大検出サイズのものが含まれる。例えば、基準ウィンドウサイズが６×１２の場合、学習用クロッピング画像に含まれる検出対象物のサイズは、５×１０から６×１２の範囲のものが含まれる。

このように、基準ウィンドウサイズに対応した検出対象物のサイズを含む学習用クロッピング画像で学習を行わせることによって、基準ウィンドウサイズに対応する最小検出サイズから最大検出サイズの範囲の検出対象物を検出できるようになる。

次に、特徴量抽出処理が行われる（Ｓ１０６）。特徴量抽出処理は、前述のリサイズ後の学習用クロッピング画像（Ｎ枚）のそれぞれについて行われる。特徴量抽出処理は、回帰式を用いて行われる。次に、回帰式の作成処理について説明を行う。

図５は、本実施形態における回帰式作成処理のフローチャートである。図６は、クロッピング画像を複数のセル（領域）に分割する様子を説明する図である。学習用クロッピング画像は、回帰式作成処理において、複数のセルに分割される。これらの学習用クロッピング画像は、赤外線カメラ１１０によって取得された画像であるので、その階調値は温度に関連したものになっている。ここでは、学習用クロッピング画像の複数のセルのうちの２つのセルの階調値（温度を表す）を用いた線形回帰式を求める。

１つのセルは複数の画素により構成されることとしてもよい。また、１画素が１セルを構成することとしてもよい。ここでは、説明を容易にするために、１画素が１セルを構成するものとして説明を行う。

図６には、学習用クロッピング画像（基準ウィンドウサイズにあわせてリサイズされた学習用クロッピング画像。以下、学習用クロッピング画像について同じ）が示され、前述のように学習用クロッピング画像が複数のセルに分割されている。そして、左上のセルから右に向かって順にセル番号が割り当てられ、これらのセルの階調値Ｔ_ｉが使用される（ｉはセル番号）。ここでは、基準ウィンドウサイズが８×１６のものが示されている。

図６では、８セル×１６セルに分割される様子が示されているが、ここでは、リサイズされた画像サイズに応じて、分割されるセル数が異なる。具体的には、６画素×１２画素の基準ウィンドウサイズの場合、６セル×１２セルに分割される。そして、セル番号は、Ｔ１〜Ｔ７２が付与される。７画素×１４画素の基準ウィンドウサイズの場合、７セル×１４セルに分割される。８画素×１６画素の基準ウィンドウサイズの場合、８セル×１６セルに分割される。９画素×１８画素の基準ウィンドウサイズの場合、９セル×１８セルに分割される。１０画素×２０画素の基準ウィンドウサイズの場合、１０セル×２０セルに分割される。

各セルが複数の画素を含む場合には、これら画素の階調値の平均値をそのセルの階調値Ｔ_ｉとしてもよいし、中間値をそのセルの階調値Ｔ_ｉとしてもよい。また、これら個々のセルが１つの画素である場合には、その画素に対応する階調値をそのまま階調値Ｔ_ｉとして用いることもできる。

次に、基準ウィンドウサイズ毎（Ｎ枚）に回帰式が求められる。

図５のステップＳ２０２において、変数をｉとしたループが構築される。変数ｉはセル番号であり、増分を１として１からＭ（最後のセル番号）まで変化させられる。また、ステップＳ２０４において、変数をｊとしたループが構築される。変数ｊはセル番号であり、増分を１として１からＭまで変化させられる。さらに、ステップＳ２０６において、変数をｋとしたループが構築される。変数ｋは学習用クロッピング画像の番号であり、増分を１として１からＮまで変化させられる。

ステップＳ２０８において、ｋ番目の学習用クロッピング画像のｉ番目のセルの階調値Ｔ_ｋｉを取得する。次に、ステップＳ２１０において、ｋ番目の学習用クロッピング画像のｊ番目のセルの階調値Ｔ_ｋｊを取得する。そして、ステップＳ２１２において、ｋが１だけ増分される。このような処理が、１枚目の学習用画像からＮ枚目の学習用画像まで繰り返される（Ｓ２１４）。

次に、得られた階調値Ｔ_ｋｉとＴ_ｋｊに基づいて、線形回帰式Ｔ_ｊ’＝ａ_ｉｊＴ_ｉ＋ｂ_ｉｊの係数ａ_ｉｊ及びｂ_ｉｊが最小二乗法により求められる（Ｓ２１６）。そして、ステップＳ２１８において、ｊが１だけ増分される。

このようなｊを変数とした処理が、セル番号１からセル番号Ｍまで繰り返される（Ｓ２２０）。また、ステップＳ２２２において、ｉが１だけ増分される。このようなｉを変数とした処理が、セル番号１からセル番号Ｍまで繰り返される（Ｓ２２４）。

このようにすることによって、１つの基準ウィンドウサイズにおいてＭ^２本の線形回帰式が得られることになる。５種類の基準ウィンドウサイズを有しているので、上記処理を基準ウィンドウサイズ毎に行うことによって、５×Ｍ^２本の線形回帰式が得られることになる。

線形回帰式が求められると、これに基づいて特徴量を抽出することができるようになる。特徴量は、基準ウィンドウサイズ毎に求められる。

図７は、本実施形態における特徴量抽出処理のフローチャートである。ここでは、１枚の画像から特徴量を計算する手法について説明する。なお、この特徴量抽出処理は、学習処理だけでなく、後述する人物検出処理においても使用される。学習処理では、ステップＳ１０４においてリサイズされた学習用クロッピング画像の特徴量が抽出されることになる。

ステップＳ３０２において、変数をｉとしたループが構築される。これにより、変数ｉは、増分を１として１からＭまで変化させられる。次に、ｉ番目のセルの階調値Ｔ_ｉを取得する（Ｓ３０４）。

ステップＳ３０６において、変数をｊとしたループが構築される。これにより、変数ｊは、増分を１として１からＭ（最後のセル番号、例えば８×１６の基準ウィンドウサイズの場合、Ｍは１２８）まで変化させられる。次に、特徴量ｖ_ｉｊが求められる（Ｓ３０８）。ステップＳ３０８によって求められる複数の特徴量の一つ一つがサブ識別器に相当する。

特徴量ｖ_ｉｊは、以下の式により求められる。

ｖ_ｉｊ＝｜Ｔ_ｊ−Ｔ_ｊ’｜
＝｜Ｔ_ｊ−（ａ_ｉｊ・Ｔ_ｉ＋ｂ_ｉｊ）｜

ここで、ｉ及びｊはループ内で変化する変数である。また、ａ_ｉｊ及びｂ_ｉｊの値は、前述の線形回帰式の作成において求められている。また、Ｔ_ｉは、ｉ番目のセルの階調値であり、Ｔ_ｊは、ｊ番目のセルの階調値である。

ステップＳ３１０において、変数ｊが１だけ増分される。このような処理が、ｊを変数としてセル番号１からセル番号Ｍまで繰り返される（Ｓ３１２）。また、ステップＳ３１４において、変数ｉが１だけ増分される。このような処理が、ｉを変数としてセル番号１からセル番号Ｍまで繰り返される（Ｓ３１６）。

このようにすることで、各線形回帰式を用いた特徴量が得られることになる。すなわち、特徴量ｖ_１１〜ｖ_ＭＭが得られることになり、合計でＭ^２個の特徴量が得られることになる。

このようにして得られた特徴量に基づいて学習が行われる（Ｓ１０８）。特徴量について考察すると、特徴量ｖ_ｉｊは、ある一つのセルの実際の階調値Ｔ_ｊ（一方の領域の階調値）と、他のセルの階調値Ｔ_ｉに基づいて得られたある一つのセルの推定階調値Ｔ_ｊ’（一方の領域の推定階調値）との差を表す。学習用クロッピング画像を用いて求めたものであるため、これら推定階調値と実際の階調値はほぼ同値であることが望ましい。よって、学習用クロッピング画像を用いたときにおいて、特徴量が小さいときの、２つのセル番号の組み合わせに基づいて、検出対象物がその画像に含まれているか否かを判定することが望ましいことになる。

このような原理によると、学習用クロッピング画像の２つのセルの階調値を入力したときの特徴量が小さいセルの組み合わせを用いて、検出対象物がその画像に含まれているか否かの判定を行うことができる。

そうすると、判定用の評価値をＥとして、

Ｅ＝ｗ_１１・ｖ_１１＋ｗ_１２・ｖ_１２＋・・・＋ｗ_ＭＭ・ｖ_ＭＭ

という評価式を用いることができる。ここで、ｗ_ｉｊは、重み付けされた係数である。重み付けされた係数は次のようにして決めることができる。例えば、学習用クロッピング画像を用いたときにおける特徴量ｖ_ｉｊの値が小さい順にｉとｊの組み合わせが所定個数だけ選択される。そして、選択されたｉとｊの組み合わせの重み付け係数ｗ_ｉｊを「１」とし、選択されなかったｉとｊの組み合わせの重み付け係数ｗ_ｉｊを「０」とする。このようにすることにより、特徴量ｖ_ｉｊが大きいセルの組み合わせについては、評価式から除外し、特徴量ｖ_ｉｊが小さいセルの組み合わせを評価式に組み入れることができる。

このようにして、それぞれの重み付け係数ｗ_ｉｊを求め、評価値Ｅを求めるための評価式、及び、Ｍ^２個の特徴量の算出式を学習モデルとして出力する（Ｓ１１０）。この学習モデルは、記憶部１２８に記憶され、後の人物検出処理において使用されることになる。この学習モデルは、学習済みの識別器に相当する。

このような学習処理が基準ウィンドウサイズ毎に行われる。したがって、学習済みの識別機（強識別器）が５つ生成されることになる。

なお、ここでは上述のような学習器及び識別器を採用することとしたが、学習器及び識別器はこれに限られず、ａｄａｂｏｏｓｔを用いることとしてもよい。ａｄａｂｏｏｓｔを用いる場合、個々の特徴量の算出式を弱識別器に対応させてもよい。また、個々の特徴量から人物検出に適した特徴量を選択し、強識別器（学習済みの識別機）を構築してもよい。

図８は、本実施形態における人物検出処理（全体画像）のフローチャートである。図８を参照しつつ、赤外線カメラ１１０から得られた全体画像から人物を検出する処理について説明する。

最初に、上述のようにして求められた学習モデルの読み込みが行われる（Ｓ４０２）。これにより、１つの基準ウィンドウサイズについて評価値Ｅを求めるための評価式、及び、Ｍ^２個の特徴量算出式が取得される。本実施形態では、５つの基準ウィンドウサイズを有しているため、５組の評価式、及び、特徴量算出式が取得される。これら個々の特徴量算出式で用いられる回帰式の係数ａ_ｉｊ及びｂ_ｉｊは、前述の学習処理により求められている。

赤外線カメラ１１０は、撮影対象物から放出される赤外線に応じた映像をデジタルデータとして出力する。このような映像から１枚の画像（全体画像）が取得される（Ｓ４０４）。赤外線カメラ１１０から得られた画像は、温度に応じた階調値が各画素に設定された画像である。つまり、この画像は画素単位で温度情報を有する画像である。

次に、ステップＳ４０６とステップＳ４２４により基準ウィンドウサイズを変数としたループが構築される（Ｓ４０６）。これにより、ステップＳ４０６からステップＳ４２４によって挟み込まれるステップにおいて、基準ウィンドウサイズが６×１２のものから１０×２０のもののそれぞれについて処理が行われることになる。

また、ステップＳ４０８とステップＳ４２２により倍率を変数としたループが構築される（Ｓ４０８）。これにより、ステップＳ４０８からステップＳ４２２によって挟み込まれるステップにおいて、倍率が１から４のもののそれぞれについて処理が行われることになる。

また、ステップＳ４１０とステップＳ４２０によりクロッピング座標のｙ座標を変数としたループが構築される（Ｓ４１０）。これにより、ステップＳ４１０からステップＳ４２０によって挟み込まれるステップにおいて、クロッピングされる画像の座標のｙ座標が変化させられつつ、各処理が行われることになる。

同様に、ステップＳ４１２とステップＳ４１８によりクロッピング座標のｘ座標を変数としたループが構築される（Ｓ４１２）。これにより、ステップＳ４１２からステップＳ４１８によって挟み込まれるステップにおいて、クロッピングされる画像の座標のｘ座標が変化させられつつ、各処理が行われることになる。

上記のように、基準ウィンドウサイズ、倍率、ｙ座標、ｘ座標を変数としたループを構築することで、以下の特徴量抽出（Ｓ４１４）及び検出処理（Ｓ４１６）において、これの変数を変化させたものについて適用することができる。

次に、特徴量抽出処理（Ｓ４１４）と検出処理（Ｓ４１６）が行われるが、これらの処理にかけられるクロッピング画像のウィンドウサイズは、基準ウィンドウのサイズの整数倍に限定される。すなわち、ステップＳ４０４において取得された全体画像から切り出されるクロッピング画像のウィンドウサイズは、基準ウィンドウのサイズの整数倍（本実施形態では、１倍、２倍、３倍、及び、４倍）のサイズのものだけとなる。

図９は、基準ウィンドウに所定の倍率を乗じたときにおける最小検出サイズ及び最大検出サイズの説明図である。図には、倍率、使用の有無、ウィンドウサイズ、最小検出サイズ、及び、最大検出サイズが示されている。

「倍率」は、ステップＳ４０８とステップＳ４２２によって構築されたループの変数としての倍率である。ウィンドウサイズは、全体画像から切り出されるクロッピング画像のウィンドウサイズである。また、最小検出サイズは、そのクロッピング画像から検出可能な最小の検出対象物（人物）のサイズである。最大検出サイズは、そのクロッピング画像から検出可能な最大の検出対象物のサイズである。

ここでは、ステップＳ４０６〜ステップＳ４２４のループにおいて、「基準ウィンドウのサイズ」が、６×１２であり、「倍率」が、２倍であり、クロッピング座標が任意の（ｘ、ｙ）座標の場合を例に説明を行う。

特徴量抽出処理（Ｓ４１４）は、図７を用いて説明を行った処理とほぼ同様であり、ステップＳ３０８で用いられた線形回帰式の係数ａ_ｉｊ及びｂ_ｉｊの値も、学習用クロッピング画像で得られたものが用いられる。このように特徴量抽出処理を行うことで、クロッピング画像について、評価値Ｅを求めるための評価式に入力するＭ^２個の特徴量が得られることになる。

評価値を求める際、各階調値を入力する必要があるが、クロッピング画像の倍率が２以上である場合、基準ウィンドウのサイズとクロッピング画像のウィンドウサイズが異なる。そのため、基準ウィンドウにおける各領域（セル、画素）とクロッピング画像における各領域（セル、画素）とを対応づける必要がある。

図１０Ａは、基準ウィンドウの画素の説明図であり、図１０Ｂは、クロッピング画像の画素の第１の説明図であり、図１０Ｃは、クロッピング画像の画素の第２の説明図である。例えば、特徴量の計算のために、図１０Ａの画素で（１，１）の画素（原点は（０，０））を使用することを想定する。２倍の倍率である１２×２４のクロッピング画像では、（２，２）、（３，２）、（２，３）、（３，３）の４点が対応することになるが、この中のいずれか一点を入力する。ここでは、（２，２）の画素の階調値を入力することとする（図１０Ｂ）。このようにすることにより、図１０Ｃに示すハッチングの画素の階調値が用いられ、各特徴量が求められることになる。

次に、求められたＭ^２個の特徴量に基づいてクロッピング画像に人物が含まれているか否かの判定が行われる（Ｓ４１６）。具体的には、求められたＭ^２個の特徴量が評価式に入力され評価値Ｅが求められる。そして、この評価値Ｅが所定値よりも小さいときには、クロッピング画像に人物が含まれていると判定し、このクロッピング画像の全体画像における位置も記憶する。一方、評価値Ｅが所定値以上のときには、クロッピング画像に人物が含まれていないと判定する。

このような処理が、ステップＳ４０６〜ステップＳ４２４において、各基準ウィンドウサイズ（６×１２〜１０×２０）の各整数倍（１倍〜４倍）のサイズのクロッピング画像について適用される。これにより、図９に示される最小検出サイズから最大検出サイズのあらゆるサイズにおいて検出対象物を検出することができる。

このとき、クロッピング画像のサイズは、図９に示されるウィンドウサイズ、すなわち基準ウィンドウサイズの整数倍のサイズに制限されていた。よって、クロッピング画像をリサイズする必要がない。このような処理においてリサイズ処理が占める時間は多く、例えばバイキュービックを用いた解像度変換処理では、全処理時間の５０％以上を占めることがあった。しかしながら、上記処理ではリサイズ処理を行う必要がないため、全体としての検出対象物の検出処理速度を向上させることができる。

なお、図９において「使用」の有無が示されているが、例えば、倍率が３倍のクロッピング画像のサイズが１８×３６、及び、倍率が４倍のクロッピング画像のサイズが２４×４８の物については、上記検出処理をスキップすることとしてもよい。これは、これらのサイズについては、他のサイズのクロッピング画像で検出対象物の検出可能範囲が重複するためである。このように、検出対象物の検出可能範囲が重複するクロッピング画像については、上記処理をスキップすることにより、処理速度をさらに向上させることができる。

図１１は、探索窓の移動の様子の説明図である。ステップＳ４１０とステップＳ４２０とで閉じられるループにおいて前述のような検出処理が実行されるので、各基準ウィンドウサイズ及び各倍率について、図１１に示されるような探索窓（クロッピング画像のウィンドウ）ｗが全体画像において移動させられつつ、クロッピングされた画像について是術の人物の検出処理が行われることになる。このようにして、各クロッピング画像について人物が存在するか否かの判定を行い、人物が検出されたクロッピング画像の位置を記憶することによって、全体画像における人物の位置が特定できる。

このようにして人物検出処理が完了すると、人物検出装置１２０に接続された表示装置１３０に検出結果が表示される（Ｓ４２６）。結果表示は、赤外線画像として得られている自車両前方映像に、歩行者として判定された箇所を、歩行者を含むように強調表示させたり（図１の「出力画像」を参照）、注意を喚起するために画面をフラッシュさせたりして行うことができる。さらに、場合によっては運転支援としてブレーキをかけることをアシストしたり、視覚補助として婦論とライトがダウンライトになっているのをアップライトにしてもよい。

このようにして、学習用クロッピング画像に基づいて得られた評価式を用いて人物の検出を行うので、学習用クロッピング画像に含まれる人物によく合致するクロッピング画像について、人物が含まれているものとして精度良く検出を行うことができる。また、上述のようなアルゴリズムは、クロッピング画像における２つの領域の階調値を特徴量算出式に入力するというきわめて単純なものであるので、検出速度を向上させることもできる。

さらに、検出時に取得した画像のリサイズ処理を行わずに、対象物の検出を行うことができる。リサイズ処理は処理時間を要することから、このようなリサイズ処理を検出時に行わないこととすることで、検出速度を向上させることができる。

１ 人物検出システム、
１１０ 赤外線カメラ、１２０ 人物検出装置、１３０ 表示装置、
１２２ 画像取得部、１２４ 画像メモリー、
１２６ 制御部、１２８ 記憶部

Claims (6)

1. センサーの出力に対応する階調値を含む検出対象画像を生成する画像生成部と、前記検出対象画像から検出対象物を検出することに用いる学習済みの識別器を基準ウィンドウ毎に有する検出器と、を備え、
   前記画像生成部は、各基準ウィンドウの複数の倍率のサイズで前記検出対象画像を生成し、
   前記識別器は、前記基準ウィンドウにおいて分割された各領域に対応するサブ識別器を含み、
   前記検出器は、前記検出対象画像の倍率に応じた領域の前記サブ識別器に、前記検出対象画像における領域の階調値を入力し、前記サブ識別器の出力に基づいて前記検出対象画像における検出対象物の検出を行う、検出装置であって、
   前記識別器は、前記検出対象画像における任意の２つの領域の階調値に基づいて前記検出対象画像における前記検出対象物の検出を行う複数のサブ識別器を有し、
   前記検出器は、
   前記複数のサブ識別器に対して、前記検出対象画像の複数の領域のうち対応する２つの領域の階調値を入力し、前記複数のサブ識別器の出力に基づいて前記検出対象画像における検出対象物の検出を行い、
   前記複数のサブ識別器は、前記２つの領域の階調値を入力したときの特徴量に基づく値を出力し、
   前記特徴量は、前記２つの領域のうち対応する一方の領域の階調値と、前記２つの領域のうち対応する他方の領域の階調値に基づいて推定された前記一方の領域の推定階調値と、の差を表す、検出装置。
2. 前記各基準ウィンドウの複数の倍率は、それぞれ整数倍の倍率である、請求項１に記載の検出装置。
3. 前記画像生成部は、前記検出対象画像を含む全体画像から複数の画像をクロッピングすることにより前記検出対象画像を複数生成し、
   複数の前記検出対象画像のそれぞれについて前記検出対象物の検出を行うことにより、前記全体画像における前記検出対象物の位置を特定する、請求項１または２に記載の検出装置。
4. 前記センサーの出力は、該センサーが検出した温度に応じた出力である、請求項１〜３のいずれかに記載の検出装置。
5. 前記学習済みの識別器は、各基準ウィンドウの倍率毎に前記検出対象物の検出可能サイズが定められて学習がされており、
   前記検出器は、各前記基準ウィンドウの複数の倍率のサイズで生成された検出対象画像について前記検出対象物の検出を行う際、前記識別器間で前記検出対象物の検出可能サイズが重複する場合には、重複する識別器の一方による前記検出対象物の検出は省略される、請求項１〜４のいずれかに記載の検出装置。
6. センサーの出力に対応する階調値を含む検出対象画像を生成する生成ステップと、
   基準ウィンドウ毎に学習済みの識別器であって前記基準ウィンドウにおいて分割された各領域に対応するサブ識別器を含む識別器を用いて前記検出対象画像から検出対象物を検出する検出ステップと、
   を含み、
   前記生成ステップは、各基準ウィンドウの複数の倍率のサイズで前記検出対象画像を生成し、
   前記検出ステップは、前記検出対象画像の倍率に応じた領域の前記サブ識別器に、前記検出対象画像における領域の階調値を入力し、前記サブ識別器の出力に基づいて前記検出対象画像における検出対象物の検出を行う、検出方法であって、
   前記識別器は、前記検出対象画像における任意の２つの領域の階調値に基づいて前記検出対象画像における前記検出対象物の検出を行う複数のサブ識別器を有し、
   前記検出ステップは、
   前記複数のサブ識別器に対して、前記検出対象画像の複数の領域のうち対応する２つの領域の階調値を入力し、前記複数のサブ識別器の出力に基づいて前記検出対象画像における検出対象物の検出を行い、
   前記複数のサブ識別器は、前記２つの領域の階調値を入力したときの特徴量に基づく値を出力し、
   前記特徴量は、前記２つの領域のうち対応する一方の領域の階調値と、前記２つの領域のうち対応する他方の領域の階調値に基づいて推定された前記一方の領域の推定階調値と、の差を表す、検出方法。