JP5063632B2 - 学習モデル生成装置、対象物検出システム、及びプログラム - Google Patents

Description

本発明は、学習モデル生成装置、対象物検出システム、及びプログラムに関する。

従来、対象物（例えば人物。検出対象物とも呼ぶ）の画像と、非対象物（非検出対象物）の画像との２種類の学習用画像から、例えば、Ｖｉｏｌａ＆Ｊｏｎｅｓの手法（例えば、「Paul Viola and Michael Jones :"Rapid Object Detection using a Boosted Cascade of Simple Features" , IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2001」に記載の手法、カスケード型ブースティングアルゴリズム）を用いて、Ｈａａｒ−ｌｉｋｅ特徴の集合からなる学習モデルを生成する学習モデル生成装置と、この学習モデル生成装置によって生成された学習モデルと入力画像とに基づいて、入力画像から対象物を検出する検出手段を備えた対象物検出装置とを含む対象物検出システムが知られている（例えば、特許文献１参照）。

特開２００８−１６５４９６号公報

しかしながら、学習用画像の質によって、生成された学習モデルを構成するＨａａｒ−ｌｉｋｅ特徴の数（特徴数）は大きく異なる。ここで、学習用画像の質とは、例えば、学習用画像の解像度の大きさ、学習用画像における検出対象の対象物（検出対象物）が当該検出対象物以外の対象物によって隠れている部分の大きさ、学習用画像におけるボケの度合いの大きさ、及び学習用画像における背景雑音の大きさ等によって定められるものである。例えば、学習用画像の質は、学習用画像の解像度の大きさが大きくなるほど良好となり、学習用画像における検出対象の対象物（検出対象物）が当該検出対象物以外の対象物によって隠れている部分の大きさが小さくなるほど良好となり、学習用画像におけるボケの度合いが小さくなるほど良好となり、学習用画像における背景雑音の大きさが小さくなるほど良好となる。すなわち、学習用画像において解像度が小さい画像が多くなるほど、特徴数が多くなる。また、学習用画像における検出対象物が当該検出対象物以外の対象物によって隠れている部分が大きい画像が多くなるほど特徴数が多くなる。また、学習用画像におけるボケの度合いが大きい画像が多くなるほど特徴数が多くなる。また、学習用画像における背景雑音が大きい画像が多くなるほど特徴数が多くなる。

特許文献１に記載の学習モデル生成装置では、学習用画像の質については考慮しておらず、学習用画像をランダムに用いて学習モデルを生成しているので、特徴数が多くなることにより学習モデルの大きさが大きくなってしまう場合があり、このような場合には学習モデルを記憶するための記憶手段の容量が大きくなってしまう、という問題があった。また、特徴数が多くなると、対象物検出装置での検出対象物の検出処理（識別処理）に長い時間を要する、という問題があった。

そこで、特徴数を少なくするために、質が良い学習用画像（例えば、解像度が大きく、検出対象物が当該検出対象物以外の対象物によって隠れている部分が小さく、ボケの度合いが小さく、かつ背景雑音が小さい学習用画像）のみを用いて学習モデルを生成することが考えられるが、このような学習用画像のみに基づいて生成された学習モデルは、様々な質のバリエーションの対象物に基づいた学習モデルではないので、多様な検出対象物の検出に対応できず、対象物検出装置での検出性能が低くなってしまう、という問題があった。

本発明は上述した問題点を解決するために成されたものであり、従来の技術と比較して、検出性能が同程度となり、かつ特徴数が削減された学習モデルを生成することができる学習モデル生成装置、対象物検出システム、及びプログラムを提供することを目的とする。

上記目的を達成するために、第１の発明に係る学習モデル生成装置は、検出対象物の検出し易さまたは検出し難さの度合いに応じた複数のランク毎に、検出対象物の最も検出し易いランクから最も検出し難いランクにわたって予め分類された複数の学習用画像に基づいて、最も検出し易いランクと最も検出し難いランクとの間のランクに分類された複数の学習用画像の数に対する、前記最も検出し易いランクと最も検出し難いランクとに分類された複数の学習用画像の数の割合が所定値以下となるように、複数の学習用画像を選択する選択手段と、前記選択手段によって選択された複数の学習用画像に基づいて、該複数の学習用画像の各々に応じた数の特徴の集合を含む学習モデルを生成する生成手段とを含んで構成されている。

第１の発明に係る学習モデル生成装置によれば、最も検出し易いランクと最も検出し難いランクとの間のランクに分類された複数の学習用画像の数に対する、最も検出し易いランクと最も検出し難いランクとに分類された複数の学習用画像の数の割合が所定値以下となるように、複数の学習用画像が選択され、選択された複数の学習用画像に基づいて、複数の学習用画像の各々に応じた数の特徴の集合を含む学習モデルが生成される。このようにして生成された学習モデルは、従来の技術と比較して、検出性能が同程度となり、かつ特徴数が削減された学習モデルである。

従って、第１の発明に係る学習モデル生成装置によれば、従来の技術と比較して、検出性能が同程度となり、かつ特徴数が削減された学習モデルを生成することができる。

また、上記目的を達成するために、第２の発明に係る学習モデル生成装置は、検出対象物の検出し易さまたは検出し難さの度合いに応じた複数のランク毎に、検出対象物の最も検出し易いランクから最も検出し難いランクにわたって予め分類された複数の基準画像に基づいて、複数の学習用画像の各々を前記複数のランクのうちの何れかのランクに分類する分類手段と、前記分類手段によって分類された複数の学習用画像に基づいて、最も検出し易いランクと最も検出し難いランクとの間のランクに分類された複数の学習用画像の数に対する、前記最も検出し易いランクと最も検出し難いランクとに分類された複数の学習用画像の数の割合が所定値以下となるように、複数の学習用画像を選択する選択手段と、前記選択手段によって選択された複数の学習用画像に基づいて、該複数の学習用画像の各々に応じた数の特徴の集合を含む学習モデルを生成する生成手段とを含んで構成されている。

第２の発明に係る学習モデル生成装置によれば、検出対象物の最も検出し易いランクから最も検出し難いランクにわたって予め分類された複数の基準画像に基づいて、複数の学習用画像の各々が複数のランクのうちの何れかのランクに分類され、最も検出し易いランクと最も検出し難いランクとの間のランクに分類された複数の学習用画像の数に対する、最も検出し易いランクと最も検出し難いランクとに分類された複数の学習用画像の数の割合が所定値以下となるように、複数の学習用画像が選択され、選択された複数の学習用画像に基づいて、複数の学習用画像の各々に応じた数の特徴の集合を含む学習モデルが生成される。このようにして生成された学習モデルは、従来の技術と比較して、検出性能が同程度となり、かつ特徴数が削減された学習モデルである。

従って、第２の発明に係る学習モデル生成装置によれば、従来の技術と比較して、検出性能が同程度となり、かつ特徴数が削減された学習モデルを生成することができる。

また、前記検出対象物の検出し易さの度合いを、学習用画像の解像度が大きくなるほど大きくなり、学習用画像における検出対象物が当該検出対象物以外の対象物によって隠れている部分が大きくなるほど小さくなり、学習用画像におけるボケの度合いが大きくなるほど小さくなり、または、学習用画像における背景雑音が大きくなるほど小さくなるように定めてもよい。

また、前記検出対象物の検出し難さの度合いを、学習用画像の解像度が大きくなるほど小さくなり、学習用画像における検出対象物が当該検出対象物以外の対象物によって隠れている部分が大きくなるほど大きくなり、学習用画像におけるボケの度合いが大きくなるほど大きくなり、または、学習用画像における背景雑音が大きくなるほど大きくなるように定めてもよい。

また、上記目的を達成するために、第３の発明に係る対象物検出システムは、上記の学習モデル生成装置と、前記学習モデル生成装置によって生成された学習モデルと入力画像とに基づいて、前記入力画像から対象物を検出する検出手段を備えた対象物検出装置とを含んで構成されている。

また、上記目的を達成するために、第４の発明に係るプログラムは、コンピュータを、検出対象物の検出し易さまたは検出し難さの度合いに応じた複数のランク毎に、検出対象物の最も検出し易いランクから最も検出し難いランクにわたって予め分類された複数の学習用画像に基づいて、最も検出し易いランクと最も検出し難いランクとの間のランクに分類された複数の学習用画像の数に対する、前記最も検出し易いランクと最も検出し難いランクとに分類された複数の学習用画像の数の割合が所定値以下となるように、複数の学習用画像を選択する選択手段、及び前記選択手段によって選択された複数の学習用画像に基づいて、該複数の学習用画像の各々に応じた数の特徴を含む学習モデルを生成する生成手段として機能させるためのものである。

第４の発明に係るプログラムによれば、コンピュータによって、最も検出し易いランクと最も検出し難いランクとの間のランクに分類された複数の学習用画像の数に対する、最も検出し易いランクと最も検出し難いランクとに分類された複数の学習用画像の数の割合が所定値以下となるように、複数の学習用画像が選択され、選択された複数の学習用画像に基づいて、複数の学習用画像の各々に応じた数の特徴の集合を含む学習モデルが生成される。このようにして生成された学習モデルは、従来の技術と比較して、検出性能が同程度となり、かつ特徴数が削減された学習モデルである。

従って、第４の発明に係るプログラムによれば、従来の技術と比較して、検出性能が同程度となり、かつ特徴数が削減された学習モデルを生成することができる。

また、上記目的を達成するために、第５の発明に係るプログラムは、コンピュータを、検出対象物の検出し易さまたは検出し難さの度合いに応じた複数のランク毎に、検出対象物の最も検出し易いランクから最も検出し難いランクにわたって予め分類された複数の基準画像に基づいて、複数の学習用画像の各々を前記複数のランクのうちの何れかのランクに分類する分類手段、前記分類手段によって分類された複数の学習用画像に基づいて、最も検出し易いランクと最も検出し難いランクとの間のランクに分類された複数の学習用画像の数に対する、前記最も検出し易いランクと最も検出し難いランクとに分類された複数の学習用画像の数の割合が所定値以下となるように、複数の学習用画像を選択する選択手段、及び前記選択手段によって選択された複数の学習用画像に基づいて、該複数の学習用画像の各々に応じた数の特徴を含む学習モデルを生成する生成手段として機能させるためのものである。

第５の発明に係るプログラムによれば、コンピュータによって、検出対象物の最も検出し易いランクから最も検出し難いランクにわたって予め分類された複数の基準画像に基づいて、複数の学習用画像の各々が複数のランクのうちの何れかのランクに分類され、最も検出し易いランクと最も検出し難いランクとの間のランクに分類された複数の学習用画像の数に対する、最も検出し易いランクと最も検出し難いランクとに分類された複数の学習用画像の数の割合が所定値以下となるように、複数の学習用画像が選択され、選択された複数の学習用画像に基づいて、複数の学習用画像の各々に応じた数の特徴の集合を含む学習モデルが生成される。このようにして生成された学習モデルは、従来の技術と比較して、検出性能が同程度となり、かつ特徴数が削減された学習モデルである。

従って、第５の発明に係るプログラムによれば、従来の技術と比較して、検出性能が同程度となり、かつ特徴数が削減された学習モデルを生成することができる。

以上説明したように、本発明に係る学習モデル生成装置、対象物検出システム、及びプログラムによれば、従来の技術と比較して、検出性能が同程度となり、かつ特徴数が削減された学習モデルを生成することができる、という効果が得られる。

本実施の形態に係る対象物検出システムを示す図である。 本実施の形態に係る基準画像の一例を示す図である。 本実施の形態に係る学習モデル生成装置２０が実行する学習モデル生成処理の処理ルーチンのフローチャートを示す図である。 本実施の形態に係る対象物検出装置３０が実行する対象物検出処理の処理ルーチンのフローチャートを示す図である。 ランダムに学習用画像を選択し、歩行者検出を行う際に用いられる学習モデルを生成した場合の歩行者検出性能（すなわち、従来の技術）と、本実施の形態の対象物検出システムの歩行者検出性能の実験結果の比較例を表すグラフである。 ランダムに学習用画像を選択し、歩行者検出を行う際に用いられる学習モデルを生成した場合の特徴数と、本実施形態の対象物検出システムの特徴数の実験結果の比較例を表すグラフである。

以下、図面を参照して、検出対象の対象物（検出対象物）として人物（更に具体的には歩行者）を検出するための学習モデルを生成する学習モデル生成装置と、学習モデル生成装置によって生成された学習モデルと入力画像とに基づいて入力画像から検出対象物として人物を検出する検出手段を備えた対象物検出装置と、を含む対象物検出システムに、本発明を適用した場合の実施の形態を詳細に説明する。

図１は、本発明の実施の形態に係る対象物検出システム１０の構成を示す図である。本実施形態に係る対象物検出システム１０は、検出対象物を検出する対象物検出装置３０と、対象物検出装置３０で使用される学習モデルを生成する学習モデル生成装置２０と、を含んで構成されている。

対象物検出装置３０は、図示しないＣＰＵ（Central Processing Unit）、図示しないＲＯＭ（Read Only Memory）、図示しないＲＡＭ（Random Access Memory）、及びこれらを接続するバス（図示せず）を備えたコンピュータを含んで構成されている。ＣＰＵは、プログラムをＲＯＭから読み出して実行することにより、対象物検出装置３０全体の制御を司る。ＲＯＭには、ＯＳ等の基本プログラム、及び後述する対象物検出処理の処理ルーチンを実行するためのプログラムが記憶されている。ワークエリアとしてのＲＡＭには、データが一時的に格納される。

この対象物検出装置３０を、ハードウェアとソフトウェアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、図１に示すように、ウインドウ画像抽出部３２と、識別部３４と、結果出力部３６と、を含んだ構成で表すことができる。

ウインドウ画像抽出部３２は、外部から入力された入力画像からウインドウ画像（ウインドウに基づいた領域の画像）を抽出する。本実施の形態では、入力画像から検出対象物を検出する際に、当該入力画像から予め定められたサイズのウインドウ（探索ウインドウと呼称）を予め定められた移動量（探索ピッチと呼称）だけ移動させながら画像を切り取り（画像を抽出し）、当該切り取った画像（抽出された画像）から検出対象物を探索する。ここでは、切り取った画像をウインドウ画像といい、ウインドウ画像のサイズ（すなわち探索ウインドウのサイズ）をウインドウサイズと呼称する。ウインドウサイズは複数種設定されており、ウインドウ画像抽出部３２は、設定されている全ての探索ウインドウを用いてウインドウ画像を抽出する。また、ウインドウ画像抽出部３２は、抽出したウインドウ画像を予め設定された画素数の画像（例えば１６×３２画素の画像）に変換する。

識別部（評価部）３４は、ウインドウ画像と後述の学習モデルとを用いて、検出対象物らしさを示す評価値を算出し、対象物を検出する。すなわち、識別部３４は、ウインドウ画像と学習モデルとの比較により、ウインドウ画像が検出対象物（本実施の形態では人物）であるか否かを判定し、ウインドウ画像が人物であると判定された場合には、ウインドウ画像が人物であると判定する。これによって、入力画像から検出対象物が検出される。

結果出力部３６は、検出対象物の有無を示した対象物有無情報、検出対象物の画像を示す画像データ、検出対象物の位置を示す位置情報などを検出対象物の検出結果として、報知手段、例えば表示装置３８に出力することにより、例えば、入力画像に検出結果を重畳させて表示するように表示装置３８の表示を制御する。

なお、この対象物検出装置３０では、入力画像に対して予め設定されている各サイズの探索ウインドウを探索ピッチだけ移動させながらウインドウ画像を抽出し、該抽出した全てのウインドウ画像について検出対象物の検出処理を実行するため、ウインドウ画像抽出部３２、及び評価部３４での処理は、抽出するウインドウ画像の数だけ繰り返し行なわれる。

学習モデル生成装置２０は、図示しないＣＰＵ（Central Processing Unit）、図示しないＲＯＭ（Read Only Memory）、図示しないＲＡＭ（Random Access Memory）、図示しないＨＤＤ（Hard Disk Drive）、及びこれらを接続するバス（図示せず）を備えたコンピュータを含んで構成されている。ＣＰＵは、プログラムをＲＯＭ及びＨＤＤから読み出して実行する。ＲＯＭには、ＯＳ等の基本プログラムが記憶されている。ワークエリアとしてのＲＡＭには、データが一時的に格納される。ＨＤＤには、後述する学習モデル生成処理の処理ルーチンを実行するためのプログラムが記憶されている。

また、ＨＤＤには、下記の表１に示す検出対象物（本実施の形態では人物であり、より詳細には歩行者）の検出し易さまたは検出し難さの度合いに応じた複数のランク１〜４毎に、検出対象物の最も検出し易いランクから最も検出し難いランクにわたって予め分類された複数の基準画像が記憶されている。

ここで、このランクについて説明する。本実施の形態では、質が良好である度合いが大きい画像ほど、数字が小さいランクに属することとする。なお、画像の質とは、例えば、画像の解像度の大きさ、画像における検出対象の対象物（検出対象物）が当該検出対象物以外の対象物によって隠れている部分の大きさ、画像におけるボケの度合いの大きさ、及び画像における背景雑音の大きさ等によって定められるものである。例えば、画像の質は、画像の解像度の大きさが大きくなるほど良好となり、画像における検出対象の対象物（検出対象物）が当該検出対象物以外の対象物によって隠れている部分の大きさが小さくなるほど良好となり、画像におけるボケの度合いが小さくなるほど良好となり、画像における背景雑音の大きさが小さくなるほど良好となる。すなわち、検出対象物の検出し易さの度合いは、学習用画像の解像度が大きくなるほど大きくなり、学習用画像における検出対象物が当該検出対象物以外の対象物によって隠れている部分が大きくなるほど小さくなり、学習用画像におけるボケの度合いが大きくなるほど小さくなり、または、学習用画像における背景雑音が大きくなるほど小さくなるように定められている。同様に、検出対象物の検出し難さの度合いは、学習用画像の解像度が大きくなるほど小さくなり、学習用画像における検出対象物が当該検出対象物以外の対象物によって隠れている部分が大きくなるほど大きくなり、学習用画像におけるボケの度合いが大きくなるほど大きくなり、または、学習用画像における背景雑音が大きくなるほど大きくなるように定められている。

本実施の形態では、本検出対象システム１０の設計者等によって、予め、ランク１〜４の各々のランクに対応する複数の基準画像が分類されて、ＨＤＤに記憶されている。例えば、図２に示すように、設計者等の手作業によって、「ボケや隠れ、背景雑音も少なく、画質が良好な歩行者」の基準画像６０ａがランク１に分類され、「多少のボケや隠れ、背景雑音があるが、比較的画質が良好な歩行者」の基準画像６０ｂがランク２に分類され、「ボケや隠れ、背景雑音があり、画質が悪く、検出は難しいと思われる歩行者」の基準画像６０ｃがランク３に分類され、「ボケや隠れ、背景雑音が大きく、検出は不可能と思われる歩行者」の基準画像６０ｄがランク４に分類されて、基準画像６０ａ〜ｄがＨＤＤに記憶される。

この学習モデル生成装置２０を、ハードウェアとソフトウェアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、図１に示すように、学習用画像分類部４２と、学習用画像選択部４４と、学習部４６と、学習モデルＤＢ（識別用モデルＤＢ）４８と、を含んだ構成で表すことができる。

学習用画像分類部４２には、予め設定されたウインドウサイズの学習用画像が複数枚（例えば約３万枚）入力される。学習用画像としては、検出対象物を含む画像（ポジティブデータ）、および検出対象物を含まない非対象物の画像（ネガティブデータ）が考えられる。学習用画像分類部４２は、検出対象物を含む学習用画像が１枚入力されると、ＨＤＤに記憶された基準画像６０ａ〜ｄに基づいて、例えば、Ｎｅａｒｅｓｔ Ｎｅｉｇｈｂｏｒ（最近傍決定則）により、入力された検出対象物を含む学習用画像を、複数のランク１〜４のうちの何れかのランクに分類する。そして、学習用画像分類部４２は、入力された検出対象物を含む画像の枚数分だけ、この分類を行う。なお、学習用画像分類部４２は、非対象物の学習用画像が入力されると、その学習用画像については上記の分類を行わない。

学習用画像選択部４４は、下記の式（１）に従って、学習用画像分類部４２によって対応するランクに分類された複数の学習用画像に基づいて、最も検出し易いランク１と最も検出し難いランク４との間のランク２及びランク３に分類された複数の学習用画像の数Ｎ_１に対する、ランク１とランク４とに分類された複数の学習用画像の数Ｎ_２の割合が所定値Ｔ以下となるように、複数Ｍ_１（Ｎ_１＋Ｎ_２）枚の検出対象物の学習用画像を選択する。

例えば、このＴの値を、例えば１．０に設定した場合には、学習用画像選択部４４は、例えば、ランク１に分類された学習用画像５０００枚、ランク２に分類された学習用画像５０００枚、ランク３に分類された学習用画像０枚、ランク４に分類された学習用画像０枚を選択する。なお、このとき、ランク２及びランク３に分類され、かつ選択される学習用画像の数Ｎ_１は５０００（５０００＋０）であり、ランク１とランク４とに分類され、かつ選択される学習用画像の数Ｎ_２は５０００（５０００＋０）であり、「Ｎ_２／Ｎ_１」の値は、１（５０００／５０００）となる。

同様に、Ｔの値を、例えば０．２に設定した場合には、学習用画像選択部４４は、例えば、ランク１に分類された学習用画像１０００枚、ランク２に分類された学習用画像５０００枚、ランク３に分類された学習用画像１０００枚、ランク４に分類された学習用画像０枚を選択する。なお、このとき、ランク２及びランク３に分類され、かつ選択される学習用画像の数Ｎ_１は６０００（１０００＋５０００）であり、ランク１とランク４とに分類され、かつ選択される学習用画像の数Ｎ_２は１０００（１０００＋０）であり、「Ｎ_２／Ｎ_１」の値は、０．１６・・・（１０００／６０００）となる。

また、学習用画像選択部４４は、学習用画像分類部４２によって分類されなかった非対象物の学習用画像を複数Ｍ_２枚選択する。

学習部４６は、学習用画像選択部４４によって選択されたＭ_１枚の検出対象物の学習用画像、及び学習用画像選択部４４によって選択されたＭ_２枚の非対象物の学習用画像から検出対象物の特徴を示す学習モデルを生成する。

学習部４６で生成された学習モデルは、学習モデルＤＢ４８に記憶される。なお、本実施の形態では、学習モデルＤＢ４８を、記憶手段としてのＨＤＤを用いて実現する例について説明するが、本発明はこれに限られない。例えば、学習モデルＤＢ４８は、ＣＤ−ＲＯＭ等のように、外付けの記憶手段であって、学習モデルを記憶できる媒体により構成されていれば、特に限定されない。学習モデルＤＢ４８に記憶された学習モデルは、対象物検出装置３０の識別部３４で対象物の検出に利用される。

なお、本実施の形態では、学習モデル生成装置２０と対象物検出装置３０とを互いに独立したコンピュータで実現する例について説明するが、これらを同一コンピュータ上で実現するようにしてもよい。

以上のように構成された本実施の形態の対象物検出システム１０では、上述したように、Ｖｉｏｌａ＆Ｊｏｎｅｓの手法（以下、Ｖ＆Ｊと記す）を用いて、入力画像から歩行者等の検出対象物を検出する。

Ｖ＆Ｊ手法は２クラス識別を行う手法で、Ｈａａｒ−ｌｉｋｅ特徴の利用とそのインテグラルイメージによる高速演算法、カスケード接続のＡｄａｂｏｏｓｔ型の識別器により、高速な識別処理を実現している（Paul Viola and Michael Jones :"Rapid Object Detection using a Boosted Cascade of Simple Features", IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2001.を参照。）。

Ｖ＆Ｊ手法に従い、本実施の形態の学習モデル生成装置２０は、検出対象物の画像と、非対象の画像の２種類の学習用画像から、Ｈａａｒ−ｌｉｋｅ特徴の集合からなる学習モデル（対象物か否かを識別するために用いる辞書の役割をするもの）を生成する。

また、対象物検出装置３０では、前述したように、入力画像に対して探索ウインドウと呼ばれる複数の大きさのウインドウを縦横に少しずつずらしながらウインドウ画像を抽出し、該ウインドウ画像と上記生成された学習モデルとの比較を行うことにより、対象物を抽出する。

次に、学習モデル生成装置２０のＣＰＵが実行する学習モデル生成処理の処理ルーチンについて図３を用いて説明する。なお、この学習モデル生成処理は、本実施の形態では、例えば、図示しない指示受付手段（例えばタッチパネルやキーボード等）が学習モデル生成装置２０に設けられており、この指示受付手段をユーザが操作することにより、学習モデルを生成する指示を、学習モデル生成装置２０のＣＰＵが受け付けた場合に実行される。また、ここでは、学習の手法として、上述したＶ＆Ｊ手法を用いることとする。また、検出対象物の画像と非対象物の画像との２種類の学習用画像を所定枚数（例えば、各１５０００枚）予め用意しておく。また、入力される学習用画像のサイズは、予め設定されたサイズ（例えば１６×３２画素）とする。

まず、ステップ１００で、学習用画像を１枚読み込む。

次のステップ１０２では、入力された学習用画像が検出対象物を含む画像であるか否かを判定し、入力された学習用画像が検出対象物を含む画像であると判定された場合には、ＨＤＤに記憶された基準画像６０ａ〜ｄに基づいて、例えば、Ｎｅａｒｅｓｔ Ｎｅｉｇｈｂｏｒ（最近傍決定則）により、入力された検出対象物を含む学習用画像を、複数のランク１〜４のうちの何れかのランクに分類する。これにより、入力された検出対象物を含む学習用画像を、基準画像６０ａ〜ｄ中の最も類似した基準画像と同じランクに分類することができる。なお、画像間の類似度として、画素値そのものや、４方向面特徴などの特徴量の正規化相関を用いてもよいし、類似性を表す指標として、ユークリッド距離や、市街地距離等を用いてもよい。また、入力された学習用画像が検出対象物を含む画像であるか否かを判定する方法としては、例えば、学習用画像に含まれているラベル（検出対象物を含む画像であるか否かを示すラベル）に基づいて判定する方法が考えられる。

次のステップ１０４では、用意しておいた全ての学習用画像について、上記ステップ１０２の処理が行われたか否かを判定する。ステップ１０４で、用意しておいた全ての学習用画像について上記ステップ１０２の処理が行われていないと判定された場合には、ステップ１００に戻り、ステップ１００で次の学習用画像を読み込む。一方、ステップ１０４で、用意しておいた全ての学習用画像について上記ステップ１０２の処理が行われたと判定された場合には、次のステップ１０６へ進む。

ステップ１０６では、下記の式（２）に従って、上記ステップ１０２によって、対応するランクに分類された複数の学習用画像（検出対象物を含む学習用画像）に基づいて、最も検出し易いランク１と最も検出し難いランク４との間のランク２及びランク３に分類された複数の学習用画像の数Ｎ_１に対する、ランク１とランク４とに分類された複数の学習用画像の数Ｎ_２の割合が所定値Ｔ以下となるように、複数Ｍ_１（Ｎ_１＋Ｎ_２）枚の検出対象物の学習用画像を選択する。

上述したように、例えば、このＴの値を、例えば１．０に設定した場合には、ステップ１０６では、例えば、ランク１に分類された学習用画像５０００枚、ランク２に分類された学習用画像５０００枚、ランク３に分類された学習用画像０枚、ランク４に分類された学習用画像０枚を選択することができる。なお、このとき、ランク２及びランク３に分類され、かつ選択された学習用画像の数Ｎ_１は５０００（５０００＋０）であり、ランク１とランク４とに分類され、かつ選択された学習用画像の数Ｎ_２は５０００（５０００＋０）であり、「Ｎ_２／Ｎ_１」の値は、１（５０００／５０００）となる。

また、上述したように、Ｔの値を、例えば０．２に設定した場合には、ステップ１０６では、例えば、ランク１に分類された学習用画像１０００枚、ランク２に分類された学習用画像５０００枚、ランク３に分類された学習用画像１０００枚、ランク４に分類された学習用画像０枚を選択することができる。なお、このとき、ランク２及びランク３に分類され、かつ選択される学習用画像の数Ｎ_１は６０００（１０００＋５０００）であり、ランク１とランク４とに分類され、かつ選択される学習用画像の数Ｎ_２は１０００（１０００＋０）であり、「Ｎ_２／Ｎ_１」の値は、０．１６・・（１０００／６０００）となる。

また、ステップ１０６では、上記ステップ１０２で分類されなかった非対象物の学習用画像を複数Ｍ_２枚選択する。

次のステップ１０８では、上記ステップ１０６で選択されたＭ_１枚の検出対象物の学習用画像、及び上記ステップ１０６で選択されたＭ_２枚の非対象物の学習用画像から、Ｖ＆Ｊ手法に従い、Ｈａａｒ−ｌｉｋｅ特徴の集合からなる学習モデル（検出対象物の特徴を示す学習モデル）を生成して、生成された学習モデルを学習モデルＤＢ４８に記憶する。そして、学習モデル生成処理を終了する。

なお、ステップ１００、１０２、１０４は学習用画像分類部４２で実行され、ステップ１０６は学習用画像選択部４４で実行され、ステップ１０８は学習部４６で実行される。

また、上記では、ＣＰＵの処理によって、複数の学習用画像の各々を複数のランクのうちの何れかのランクに分類する例について説明したが、設計者等によって、複数の学習用画像の各々を複数のランクのうちの何れかのランクに予め分類しておいてもよい。

次に、対象物検出装置３０のＣＰＵが実行する対象物検出処理の処理ルーチンについて図４を用いて説明する。なお、この対象物検出処理は、本実施の形態では、例えば、図示しない指示受付手段（例えばタッチパネルやキーボード等）が、対象物検出装置３０に設けられており、この指示受付手段をユーザが操作することにより、検出対象物を検出する指示を、対象物検出装置３０のＣＰＵが受け付けた場合に実行開始され、当該指示を受け付けた以降は、所定時間間隔（例えば、１００ｍｓ間隔）で実行される。

まず、ステップ２００で、検出対象物を検出する対象となる画像（本実施の形態ではこの画像を入力画像と称する）を１枚読み込む。なお、この入力画像は、例えば、カメラ等の撮影手段（図示しない）によって撮影された画像であり、ステップ２００では、この撮影手段から入力画像を読み込む。

次のステップ２０２では、入力画像に対して、所定の初期サイズ、例えば、１６×３２画素の探索ウインドウを初期位置（例えば、入力画像の左角の領域）に設定する。

次のステップ２０４では、設定された探索ウインドウを用いて、入力画像から所定サイズ、例えば１６×３２画素のウインドウ画像を抽出する。なお、設定された探索ウインドウが１６×３２画素を超えるサイズのウインドウであった場合には、抽出したウインドウ画像を所定サイズ、例えば１６×３２画素に変換する。

次のステップ２０６では、上記ステップ２０４で抽出されたウインドウ画像と、学習モデルＤＢ４８から読み出した学習モデルとを比較して、検出対象物の確からしさを評価値として算出する。

次のステップ２０８では、算出された評価値に基づいてウインドウ画像が検出対象物（本実施の形態では、例えば、人物）であるか否かを判定することにより、検出対象物を検出する。

なお、ウインドウ画像と学習モデルとを用いた検出対象物の検出の方法は様々あるが、前述のＶ＆Ｊの手法で採用されているＡｄａＢｏｏｓｔアルゴリズム等を用いて検出することができる。

ステップ２０８で、ウインドウ画像が検出対象物であると判定された場合には、検出対象物が検出されたと判断し、次のステップ２１０へ進む。一方、ステップ２０８で、ウインドウ画像が検出対象物でないと判定された場合には、次のステップ２１２へ進む。

ステップ２１０では、上記ステップ２０８で、ウインドウ画像が検出対象物であると判定されたときの探索ウインドウの位置及び大きさ等の情報を、検出対象物の検出結果としてＲＡＭに記憶する。

次のステップ２１２では、入力画像全体について探索ウインドウをスキャンして探索が終了したか否かを判定する。肯定判定のとき（入力画像全体について探索ウインドウをスキャンして探索が終了したと判定された場合）はステップ２１６に進み、否定判定のとき（入力画像全体について探索ウインドウをスキャンして探索が終了していないと判定された場合）はステップ２１４に進む。

ステップ２１４では、探索ウインドウの位置を予め定められた探索ピッチだけ移動させて、ステップ２０４に戻る。そして、再びステップ２０４からステップ２１２までの処理が繰り返し実行される。探索ウインドウが画像全体を探索すると、ステップ２１６に進む。

ステップ２１６では、全てのサイズの探索ウインドウでの探索が終了したか否かを判定する。ここで、探索ウインドウは検出対象物を検出するためのウインドウ画像を抽出するためのフレームとして用いられているが、探索ウインドウのサイズが異なれば、様々なサイズの検出対象物を検出することができる。本実施の形態では、様々なサイズの探索ウインドウが予め用意されており、各々の探索ウインドウで画像全体を探索する必要がある。そこで、ステップ２１６で否定判定された場合（全てのサイズの探索ウインドウでの探索が終了していないと判定された場合）には、ステップ２１８へ進み、当該ステップ２１８で、異なるウインドウサイズの探索ウインドウを設定する。例えば、ステップ２１８では、サイズがそれまでの探索ウインドウより１ステップ拡大された探索ウインドウ（例えば、サイズが１．２倍の探索ウインドウ）を初期位置（例えば、入力画像の左角の領域）に設定する。そして、ステップ２０４に戻り、上記と同様にステップ２０４以降の処理を繰り返し実行する。

一方、ステップ２１６で肯定判定された場合（全てのサイズの探索ウインドウでの探索が終了したと判定された場合）には、次のステップ２２０へ進む。ステップ２２０では、ＲＡＭに記憶された検出対象物の検出結果に基づいて、入力画像に対して、検出された検出対象物がウインドウで囲まれて表示されるように、表示装置３８を制御する。そして、対象物検出処理を終了する。

なお、ステップ２００、２０２、２０４、２１２、２１４、２１６、２１８はウインドウ画像抽出部３２で実行され、ステップ２０６、２０８、２１０は識別部３４で実行され、ステップ２２０は結果出力部３６で実行される。

次に、図５及び図６を参照して、本実施の形態の効果について説明する。

図５には、ランダムに学習用画像を選択し、歩行者検出を行う際に用いられる学習モデルを生成した場合の歩行者検出性能（すなわち、従来の技術）と、本実施形態の対象物検出システム１０の歩行者検出性能の実験結果の比較例を表すグラフが示されている。このグラフは、識別器のステージ毎に検出率と１フレームあたりの誤検出数をプロットしたＲＯＣ（receiver operating characteristic）曲線であり、縦軸が検出率、横軸が１フレームあたりの誤検出数である。なお、検出率は、「検出された歩行者／検出対象となる歩行者」で表され、１フレームあたりの誤検出数は、「検出対象以外に対する検出数／評価フレーム数」で表される。また、ＲＯＣ曲線ではグラフが左上方にあるほど性能が高い。すなわち横軸の値が同じ（誤検出数が等しい）場合は、縦軸の値が大きいほど検出率が高く、縦軸の値が同じ（検出率が等しい）場合は、横軸の値が小さいほど誤検出が少ないことを意味する。

実験では、ランク毎に分類された学習用画像を用いて、３つのデータセットを作成した。１つめのデータセット（データセット１）は、ランク１に分類された学習用画像０枚、ランク２に分類された学習用画像５０００枚、ランク３に分類された学習用画像０枚、ランク４に分類された学習用画像０枚を用いて作成した。２つめのデータセット（データセット２）は、ランク１に分類された学習用画像５０００枚、ランク２に分類された学習用画像５０００枚、ランク３に分類された学習用画像０枚、ランク４に分類された学習用画像０枚を用いて作成した。３つめのデータセット（データセット３）は、ランク１に分類された学習用画像１０００枚、ランク２に分類された学習用画像５０００枚、ランク３に分類された学習用画像１０００枚、ランク４に分類された学習用画像０枚を用いて作成した。なお、これらのデータセットは、いずれも、最も検出し易いランク１と最も検出し難いランク４との間のランク２及びランク３に分類された複数の学習用画像の数Ｎ_１に対する、ランク１とランク４とに分類された複数の学習用画像の数Ｎ_２の割合が所定値Ｔ以下となる、複数Ｍ_１（Ｎ_１＋Ｎ_２）枚の検出対象物の学習用画像が用いられている。図５には、これらのデータセット１、２、３の各々に対応するＲＯＣ曲線７０、７２、７４が示されている。

また、図５には、比較として、同じ学習用画像の集合から質を考慮せずにランダムに５０００枚選択し、学習し、歩行者検出を行う際に用いられる学習モデルを生成した場合（ランダムサンプリング）における最も性能が高かったときのＲＯＣ曲線７６が示されている。

図５のＲＯＣ曲線７０、７２、７４、７６が示すように、どの場合も検出性能は同程度であることがわかる。

図６には、ランダムに学習用画像を選択し、歩行者検出を行う際に用いられる学習モデルを生成した場合の特徴数と、本実施形態の対象物検出システム１０の特徴数の実験結果の比較例を表すグラフが示されている。このグラフは、縦軸が特徴数、横軸が１フレームあたりの誤検出数である。

図６には、これらのデータセット１、２、３の各々に対応するグラフ８０、８２、８４が示されている。また、図６には、ランダムサンプリングの場合におけるグラフ８６が示されている。

図６に示すように、ランダムサンプリングの場合と比較して、データセット１〜３を用いた場合には、特徴数が減少（削減）していることが分かる。

このように本実施の形態の学習モデル生成装置２０によって生成された学習モデルは、図５及び図６の実験結果が示すように、従来の技術と比較して、検出性能が同程度となり、かつ特徴数が削減された学習モデルである。

以上、説明したように、本実施の形態の学習モデル生成装置２０によれば、検出対象物の検出し易さまたは検出し難さの度合いに応じた複数のランク１〜４の各々毎に、検出対象物の最も検出し易いランク１から最も検出し難いランク４にわたって予め分類された複数の学習用画像に基づいて、最も検出し易いランク１と最も検出し難いランク４との間のランク２、３に分類された複数の学習用画像の数Ｎ_１に対する、ランク１とランク４とに分類された複数の学習用画像の数Ｎ_２の割合が所定値Ｔ以下となるように、複数の学習用画像が選択され、選択された複数の学習用画像に基づいて、この複数の学習用画像の各々に応じた数の特徴（本実施の形態ではＨａａｒ−ｌｉｋｅ特徴）の集合を含む学習モデルが生成される。

また、本実施の形態の学習モデル生成装置２０によれば、検出対象物の検出し易さまたは検出し難さの度合いに応じた複数のランク１〜４の各々毎に、検出対象物の最も検出し易いランク１から最も検出し難いランク４にわたって予め分類された複数の基準画像６０ａ〜ｄに基づいて、複数の学習用画像の各々が複数のランク１〜４のうちの何れかのランクに分類され、分類された複数の学習用画像に基づいて、最も検出し易いランク１と最も検出し難いランク４との間のランク２、３に分類された複数の学習用画像の数Ｎ_１に対する、ランク１とランク４とに分類された複数の学習用画像の数Ｎ_２の割合が所定値Ｔ以下となるように、複数の学習用画像が選択され、選択された複数の学習用画像に基づいて、この複数の学習用画像の各々に応じた数の特徴（本実施の形態ではＨａａｒ−ｌｉｋｅ特徴）の集合を含む学習モデルが生成される。

本実施の形態の学習モデル生成装置２０によって生成された学習モデルは、図５及び図６の実験結果が示すように、従来の技術と比較して、検出性能が同程度となり、かつ特徴数が削減された学習モデルである。

従って、本実施の形態に係る学習モデル生成装置２０によれば、従来の技術と比較して、検出性能が同程度となり、かつ特徴数が削減された学習モデルを生成することができる。

なお、本実施の形態では、ランクの数を１〜４の４つとしたが、本発明はこれに限られない。例えば、ランクの数を４以外の複数の数としてもよい。

また、ステップ１０６において、上記の式（２）に従って、最も検出し易いランク１と最も検出し難いランク４との間のランク２及びランク３に分類された複数の学習用画像の数Ｎ_１に対する、ランク１とランク４とに分類された複数の学習用画像の数Ｎ_２の割合が所定値Ｔ以下となるように、複数Ｍ_１（Ｎ_１＋Ｎ_２）枚の検出対象物の学習用画像を選択する例について説明したが、本発明はこれに限られない。例えば、ステップ１０６において、下記の式（３）に従って、最も検出し易いランク１と最も検出し難いランク４との間のランク２及びランク３に分類された複数の学習用画像の数Ｎ_１に対する、ランク１とランク４とに分類された複数の学習用画像の数Ｎ_２の割合が所定値Ｔ´となるように、複数Ｍ_１（Ｎ_１＋Ｎ_２）枚の検出対象物の学習用画像を選択するようにしてもよい。

また、ステップ１０６において、下記の式（４）に従って、最も検出し易いランク１と最も検出し難いランク４との間のランク２及びランク３に分類された複数の学習用画像の数Ｎ_１に対する、ランク１とランク４とに分類された複数の学習用画像の数Ｎ_２の割合が所定値Ｔ´´から所定値Ｔ´´´の範囲内となるように、複数Ｍ_１（Ｎ_１＋Ｎ_２）枚の検出対象物の学習用画像を選択するようにしてもよい。

なお、上記で説明した所定値Ｔ、所定値Ｔ´、所定値Ｔ´´、及び所定値Ｔ´´´の各々の値は、例えば、実験によって、従来の技術と比較して検出性能が同程度となり、かつ特徴数が削減された学習モデルが生成された場合における所定値Ｔ、または、所定値Ｔ´、または所定値Ｔ´´及び所定値Ｔ´´´の値を予め求めておき、予め求められた値を設定しておけばよい。

１０ 対象物検出システム
２０ 学習モデル生成装置
３０ 対象物検出装置
４２ 学習用画像分類部
４４ 学習用画像選択部
４６ 学習部
４８ 学習モデルＤＢ

Claims (7)

1. 検出対象物の検出し易さまたは検出し難さの度合いに応じた複数のランク毎に、検出対象物の最も検出し易いランクから最も検出し難いランクにわたって予め分類された複数の学習用画像に基づいて、最も検出し易いランクと最も検出し難いランクとの間のランクに分類された複数の学習用画像の数に対する、前記最も検出し易いランクと最も検出し難いランクとに分類された複数の学習用画像の数の割合が所定値以下となるように、複数の学習用画像を選択する選択手段と、
   前記選択手段によって選択された複数の学習用画像に基づいて、該複数の学習用画像の各々に応じた数の特徴の集合を含む学習モデルを生成する生成手段と、
   を含む学習モデル生成装置。
2. 検出対象物の検出し易さまたは検出し難さの度合いに応じた複数のランク毎に、検出対象物の最も検出し易いランクから最も検出し難いランクにわたって予め分類された複数の基準画像に基づいて、複数の学習用画像の各々を前記複数のランクのうちの何れかのランクに分類する分類手段と、
   前記分類手段によって分類された複数の学習用画像に基づいて、最も検出し易いランクと最も検出し難いランクとの間のランクに分類された複数の学習用画像の数に対する、前記最も検出し易いランクと最も検出し難いランクとに分類された複数の学習用画像の数の割合が所定値以下となるように、複数の学習用画像を選択する選択手段と、
   前記選択手段によって選択された複数の学習用画像に基づいて、該複数の学習用画像の各々に応じた数の特徴の集合を含む学習モデルを生成する生成手段と、
   を含む学習モデル生成装置。
3. 前記検出対象物の検出し易さの度合いを、学習用画像の解像度が大きくなるほど大きくなり、学習用画像における検出対象物が当該検出対象物以外の対象物によって隠れている部分が大きくなるほど小さくなり、学習用画像におけるボケの度合いが大きくなるほど小さくなり、または、学習用画像における背景雑音が大きくなるほど小さくなるように定めた請求項１または請求項２記載の学習モデル生成装置。
4. 前記検出対象物の検出し難さの度合いを、学習用画像の解像度が大きくなるほど小さくなり、学習用画像における検出対象物が当該検出対象物以外の対象物によって隠れている部分が大きくなるほど大きくなり、学習用画像におけるボケの度合いが大きくなるほど大きくなり、または、学習用画像における背景雑音が大きくなるほど大きくなるように定めた請求項１または請求項２記載の学習モデル生成装置。
5. 請求項１〜請求項４の何れか１項記載の学習モデル生成装置と、
   前記学習モデル生成装置によって生成された学習モデルと入力画像とに基づいて、前記入力画像から対象物を検出する検出手段を備えた対象物検出装置と、
   を含む対象物検出システム。
6. コンピュータを、
   検出対象物の検出し易さまたは検出し難さの度合いに応じた複数のランク毎に、検出対象物の最も検出し易いランクから最も検出し難いランクにわたって予め分類された複数の学習用画像に基づいて、最も検出し易いランクと最も検出し難いランクとの間のランクに分類された複数の学習用画像の数に対する、前記最も検出し易いランクと最も検出し難いランクとに分類された複数の学習用画像の数の割合が所定値以下となるように、複数の学習用画像を選択する選択手段、及び
   前記選択手段によって選択された複数の学習用画像に基づいて、該複数の学習用画像の各々に応じた数の特徴を含む学習モデルを生成する生成手段
   として機能させるためのプログラム。
7. コンピュータを、
   検出対象物の検出し易さまたは検出し難さの度合いに応じた複数のランク毎に、検出対象物の最も検出し易いランクから最も検出し難いランクにわたって予め分類された複数の基準画像に基づいて、複数の学習用画像の各々を前記複数のランクのうちの何れかのランクに分類する分類手段、
   前記分類手段によって分類された複数の学習用画像に基づいて、最も検出し易いランクと最も検出し難いランクとの間のランクに分類された複数の学習用画像の数に対する、前記最も検出し易いランクと最も検出し難いランクとに分類された複数の学習用画像の数の割合が所定値以下となるように、複数の学習用画像を選択する選択手段、及び
   前記選択手段によって選択された複数の学習用画像に基づいて、該複数の学習用画像の各々に応じた数の特徴を含む学習モデルを生成する生成手段
   として機能させるためのプログラム。