JP7230294B2 - オブジェクト検出のためのシステム及び方法 - Google Patents

Description

本願は一般に、車両からの歩行者及び他のオブジェクトの検出などの、オブジェクト検出に関する。

現在、車両には、道路上の歩行者などのオブジェクトを検出し、運転者に警告／ブレーキアシストを提供するための、オブジェクト検出器が装備されている。オブジェクト検出器は、車両の前及び周囲の映像／画像を捕捉するためのビデオカメラを用い、車両の前及び周囲の障害物及び歩行者を識別するための画像処理技法を内部に適用している。

既存のオブジェクト検出器は、勾配方向ヒストグラム（ＨＯＧ）に基づくオブジェクト検出技法を用いており、この技法では、画像がブロックに分割され、画像のＨＯＧを形成するために、各ブロックにおける任意の方向のピクセル勾配の大きさがカウントされる。機械学習法は、画像における歩行者及び事前に定義されたオブジェクトを効果的に識別するように、ＨＯＧに識別及び分類技法を適用する。画像のＨＯＧは、各画像ピクセルの勾配方向及び勾配の大きさに基づいて計算される。画像ピクセルについて、対応する勾配方向θがθ＝ｔａｎ^－１（ｙ／ｘ）として表され、この式では、ｙ＝垂直方向の勾配、ｙ＝水平方向の勾配である。

従来、不動点プロセッサにおける勾配方向θの計算は、除算用に１つ、逆タンジェント（ｔａｎ^－１）用にもう１つを含む、２つのルックアップテーブルを用いることによって実装される。各画像ピクセルの勾配方向の計算に２つのルックアップテーブルを用いることは、非常に時間がかかり、非常に高度な計算及び高メモリ帯域幅を必要とするため、埋め込みシステムでのリアルタイム性能で実装することが非常に困難となる。メモリ帯域幅は、任意のシステム、特にマルチコアシステムにおける、重要なリソースである。メモリ帯域幅は、システム性能を最適化する際に重要な役割を担う。したがって、他のプロセッサも並行して効果的に働くように、できる限り小さなメモリ帯域幅を有することが非常に重要である。

他のオブジェクト検出技法には、計算の数を削減するために積分画像を計算することが含まれる。しかしながら、積分画像の計算は計算の数は削減するが、中間データ要素のサイズを増大させ、高メモリ帯域幅が必要になる。

複数の画像ピクセルを含む画像におけるオブジェクトを検出するためのオブジェクト検出システムを説明する例において、オブジェクト検出システムは、命令を記憶するためのメモリと、記憶された命令に応答して、画像の各画像ピクセルについて１つ又は複数のタイプの１つ又は複数の特徴平面を計算するステップ、及び、画像における複数のセルを画定するステップを行なうためのプロセッサとを含む。各セルは、第１から第ｎのピクセルを含む。画像における各セルの水平及び垂直方向の開始位置は、それぞれ事前に定義された水平及び垂直のステップサイズの整数倍である。プロセッサは更に、記憶された命令に応答して、セルの各々について１つ又は複数のタイプの１つ又は複数の特徴平面の和（ｓｕｍｍａｔｉｏｎ）を計算するステップを行なう。或るセルについての或るタイプの特徴平面和は、セルの第１から第ｎのピクセルの対応する特徴を総計することによって計算され、ここでｎは整数である。プロセッサはまた、記憶された命令に応答して、画像の画像部分について特徴ベクトルを決定するステップと、画像の画像部分におけるオブジェクトの存在を検出するために特徴ベクトルを対応するオブジェクト分類子と比較するステップとを行ない、特徴ベクトルは、画像部分において画定される１つ又は複数のセルの特徴平面和のセットを含む。

また、複数の画像ピクセルを含む画像におけるオブジェクトを検出する方法を説明する例において、この方法は、画像の各画像ピクセルについて１つ又は複数のタイプの１つ又は複数の特徴平面を計算すること、及び、画像における複数のセルを画定することを含む。各セルは第１から第ｎのピクセルを含む。画像における各セルの水平及び垂直方向の開始位置は、それぞれ事前に定義された水平及び垂直のステップサイズの整数倍である。また、この方法は、セルの各々について１つ又は複数のタイプの１つ又は複数の特徴平面の和を計算することを含む。或るセルについての或るタイプの特徴平面和は、セルの第１から第ｎのピクセルの対応する特徴を総計することによって計算され、ここでｎは整数である。また、この方法は、画像の画像部分について特徴ベクトルを決定することを含む。特徴ベクトルは、画像部分において画定される１つ又は複数のセルの特徴平面和のセットを含む。また、この方法は、画像の画像部分におけるオブジェクトの存在を検出するために特徴ベクトルを対応するオブジェクト分類子と比較することを含む。

複数の画像ピクセルを含む画像におけるオブジェクトを検出する方法を説明する他の例において、この方法は、画像の各画像ピクセルについて１つ又は複数のタイプの１つ又は複数の特徴平面を計算すること、及び、画像における複数のセルを画定することを含む。各セルは第１から第ｎのピクセルを含む。画像における各セルの水平及び垂直方向の開始位置は、それぞれ事前に定義された水平及び垂直のステップサイズの整数倍である。また、この方法は、セルの各々について１つ又は複数のタイプの１つ又は複数の特徴平面の和を計算することを含む。或るセルについての或るタイプの特徴平面和が、セルの第１から第ｎのピクセルの対応する特徴を総計することによって計算され、ここでｎは整数である。また、この方法は、１つ又は複数のタイプの特徴平面から或るタイプの特徴平面を選択することと、部分的特徴ベクトルを計算することと、部分的特徴ベクトルをオブジェクトの対応する部分的分類子と比較することと、比較の結果をメモリに記憶することとを、反復的に実施することを含む。部分的特徴ベクトルは、画像部分の１つ又は複数のセルについて、選択されたタイプの１つ又は複数の特徴平面和を含む。また、この方法は、各タイプの特徴平面に対応する１つ又は複数の比較結果を照合すること、及び、照合された結果に基づいて、画像におけるオブジェクトの存在を検出することを含む。

例示的シナリオにおける、複数の画像ピクセルを含む画像を図示する。

例示的シナリオにおける、第１から第ｍのＨＯＧビン（ｂｉｎ）を図示する。

例示的シナリオにおける、６つのＨＯＧビンの第１のセットを図示する。 例示的シナリオにおける、８つのＨＯＧビンの第２のセットを図示する。

或る実施形態における、オブジェクト検出システムのブロック図を図示する。

例示的シナリオにおける、サイズ（６４，１２８）の画像において画定されるサイズ（６，６）のセルを図示する。 例示的シナリオにおける、サイズ（６４，１２８）の画像において画定されるサイズ（６，６）のセルを図示する。

例示的シナリオにおける、サイズ（６４，１２８）の画像において画定されるサイズ（４，４）のセルを図示する。 例示的シナリオにおける、サイズ（６４，１２８）の画像において画定されるサイズ（４，４）のセルを図示する。

例示的シナリオにおける、サイズ（６４，１２８）の画像において画定されるサイズ（８，８）のセルを図示する。

或る実施形態における、画像フレーム内の検出ウィンドウを図示する。

或る実施形態における、画像におけるオブジェクトを検出する方法のフローチャートである。

図面は、特に記載しない限り一定の縮尺で描かれておらず、こうした図面は本来、単なる例である。

図１を参照すると、複数の画像ピクセルで形成される画像１００が示されている。ｉ番目の画像ピクセルの場合、ｉ＋１番目（ｘ）及びｉ－１番目（ｘ）は、ｘ方向の隣接する画像ピクセルであり、ｉ＋１番目（ｙ）及びｉ－１番目（ｙ）は、ｙ方向の隣接する画像ピクセルである。各画像ピクセルは或る強度及び勾配を有し、ｉ番目の画像ピクセルの勾配は、大きさＭＧ_ｉ及び方向θ_ｉを有する。ｉ番目の画像ピクセルの勾配の方向θ_ｉは、
θ_ｉ＝ｔａｎ^－１ ｙ_ｉ／ｘ_ｉ （１）
によって表され、上式で、ｘ_ｉ＝ｉ番目のピクセルの水平勾配であり、ｙ_ｉ＝ｉ番目のピクセルの垂直勾配である。

或る例において、ｉ番目のピクセルの水平勾配は、或る大きさと「正」又は「負」の方向性とを有し、
ｘ_ｉ＝Ｉ（ｘ_ｉ－１）－Ｉ（ｘ_ｉ＋１） （２）
によって表され、上式で、Ｉ（ｘ_ｉ－１）＝対応する水平に左のピクセル、即ちｉ－１番目（ｘ）のピクセル、の強度であり、Ｉ（ｘ_ｉ＋１）＝対応する水平に右のピクセル、即ちｉ＋１番目（ｘ）のピクセル、の強度である。

同様に、この例において、ｉ番目のピクセルの垂直勾配は、或る大きさと「正」又は「負」の方向性とを有し、
ｙ_ｉ＝Ｉ（ｙ_ｉ－１）－Ｉ（ｙ_ｉ＋１） （３）
によって表され、上式で、Ｉ（ｙ_ｉ＋１）＝対応する垂直に上のピクセル、即ちｉ＋１番目（ｙ）のピクセル、の強度であり、Ｉ（ｙ_ｉ－１）＝対応する垂直に下のピクセル、即ちｉ－１番目（ｙ）のピクセル、の強度である。

水平勾配の大きさＭＧｘ_ｉは、
ＭＧｘ_ｉ＝Ａｂｓ（Ｉ（ｘ_ｉ－１）－Ｉ（ｘ_ｉ＋１）） （４）
によって表される。

垂直勾配の大きさＭＧｙ_ｉは、
ＭＧｙ_ｉ＝Ａｂｓ（Ｉ（ｙ_ｉ－１）－Ｉ（ｙ_ｉ＋１）） （５）
によって表される。

ｉ番目のピクセルの勾配の大きさＭＧ_ｉは、

によって表される。

代替として、ｉ番目のピクセルの勾配の大きさＭＧ_ｉは、
ＭＧ_ｉ＝ＭＧｘ_ｉ＋ＭＧｙ_ｉ （７）
によって表すことができる。

上記の数式において提供されるｉ番目のピクセルについての勾配の計算は限定的なものと見なされるべきではなく、勾配を計算するために他の数学式を用いることも可能である。別の例において、ｉ番目のピクセルの水平勾配は、ｉ番目のピクセルの、ｉ＋１番目（ｘ）のピクセル又はｉ－１番目（ｘ）のピクセルのいずれかとの強度差を用いて決定可能であり、ｉ番目のピクセルの垂直勾配は、ｉ番目のピクセルの、ｉ＋１番目（ｙ）のピクセル又はｉ－１番目（ｙ）のピクセルのいずれかとの強度差を用いて決定され得る。

図２は、或る実施形態における、画像１００におけるオブジェクト検出のための勾配のヒストグラム（ＨＯＧ）ビン２００を示す。ＨＯＧビン２００は、１番目からｍ番目までのビン、Ｂｉｎ ０～Ｂｉｎ ｍ－１を含む。オブジェクト検出のために、画像１００の各画像ピクセルは、対応する勾配の方向θに基づいて、１番目からｍ番目までのビンのうちの１つにおいてカテゴリー分類される。この例において、ｍの値＝６である。しかしながら、別の例示的シナリオにおいて、ｍの値は８又は１０などと異なり得る。

図３Ａ及び図３Ｂは、例示的シナリオにおいて、それぞれ、６つのＨＯＧビンの第１のセット３００、及び８つのＨＯＧビンの第２のセット３０２を示す図である。

従来の（即ち、例示的実施形態に従わない）実装において、第１及び第２のセット３００及び３０２の各ＨＯＧビンには、０～１８０°内の等しい方向範囲が割り当てられる。例えば、ｍ＝６のとき、各ＨＯＧビンには３０°が割り当てられるため、Ｂｉｎ ０は０から３０°まで延在し、Ｂｉｎ １は３０°から６０°まで延在する、という具合である。同様に、ｍ＝８のとき、各ＨＯＧビンには２２．５°が割り当てられるため、Ｂｉｎ ０は０から２２．５°まで延在し、Ｂｉｎ １は２２．５°から４５°まで延在する、という具合である。画像ピクセルには、対応する垂直及び水平の勾配の比を、対応する方向範囲のタンジェント値と比較することによって、ＨＯＧビンが割り当てられる。例えば、ｍの値＝６の場合、対応する勾配がＢｉｎ ０にあるかどうかをチェックするために、画像ピクセルの垂直及び水平の勾配の比（ｙ／ｘ）が、ｔａｎ０°及びｔａｎ３０°の値と比較され得る。同様に、対応する勾配がＢｉｎ １にあるかどうかをチェックするために、比（ｙ／ｘ）が、ｔａｎ３０°及びｔａｎ６０°の値と比較され得る、という具合である。ｔａｎ３０°、６０°、１２０°、及び１５０°は、それぞれ無理数１／√３、√３、－√３、及び－１√３であるため、画像ピクセルに関するＨＯＧビンの計算は複雑であり時間のかかるタスクである。

（従来の実装とは異なる）例示的実施形態において、第１及び第２のセット３００及び３０２のＨＯＧビンには、画像の画像ピクセルに関するＨＯＧビンの計算を簡略化するために、等しくない方向範囲が割り当てられる。或る実施形態において、第１及び第２のセット３００及び３０２の各ビンについて、最大及び最小のビニング角度（ｂｉｎｎｉｎｇ ａｎｇｌｅ）θ_ｍｉｎ及びθ_ｍａｘが、ｔａｎθ_ｍｉｎ及びｔａｎθ_ｍａｘの各々が有理数であり、除算又は乗算なしで計算され得るように、選択される。また、シフト演算、減算、及び比較演算のうちの少なくとも１つの各々が、画像ピクセルのＨＯＧビンを計算するために有用である。ＨＯＧビンの第１のセット３００の場合、各ビンについての最小及び最大のビニング角度は下記の表１に示される。

ＨＯＧビンの第２のセット３０２の場合、各ビンについての最小及び最大のビニング角度は下記の表２に示される。

図４は、或る実施形態における、オブジェクト検出システム４００のブロック図を示す。例示的シナリオにおいて、オブジェクトは道路上の歩行者であり、オブジェクト検出システム４００は、車両又は任意の他の移動プラットフォームにおいて、道路上のオブジェクト検出を支援するために用いられる。オブジェクト検出システム４００は、歩行者検出システム４００とも呼ばれ得る。オブジェクト検出システム４００は、命令を記憶するためのメモリ４０２と、記憶された命令に応答して画像におけるオブジェクト検出のステップを実施するプロセッサ４０４とを含む。プロセッサ４０４は、特徴平面計算モジュール４０６、特徴ベクトル計算及び部分的分類モジュール４０８、並びに最終的分類モジュール４１０を含む。メモリ４０２は、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、スタティックダイナミックＲＡＭ（ＳＤＲＡＭ）、ダブルデータレート（ＤＤＲ）ＲＡＭ、及びＤＤＲ ＳＤＲＡＭなどの、任意の揮発性又は不揮発性メモリであり得る。同様に、プロセッサ４０４は、メモリ４０２に記憶された、ソフトウェア命令、プロトコル、又は論理命令の実行又はパフォーマンスを容易にするか又は可能にするための、様々な既知のデバイスを含み得る。例えば、プロセッサ４０４は、１つ又は複数の集積回路デバイス、中央処理ユニット（ＣＰＵ）、又はマイクロプロセッサとして具現化され得る。また、プロセッサ４０４は、メモリデバイス（例えば、プロセッサキャッシュ）、時間保持デバイス（例えば、リアルタイムクロック（ＲＴＣ））、及び／又は追加の回路要素又はデータ伝送チャネルを含み得る。プロセッサ４０４の１つの典型的な例には、エンベデッドビジョンエンジン（ＥＶＥ）が含まれる。したがって、プロセッサ４０４内部のモジュール（モジュール４０６、４０８、及び４１０など）は、単一のエンティティ又は異なるエンティティ（ソフトウェア及びファームウェアを備えるか又は備えない集積回路など）の形態で具現化され得る。プロセッサ４０４はまた、道路上のオブジェクトの画像及び／又は映像の捕捉及び／又は後処理を支援するためのハードウェアシステムを含み得、又はその他の方式でそうしたハードウェアシステムと通信することも可能である。画像及び／又は映像は、プロセッサ４０４にアクセス可能なカメラなどの画像捕捉デバイスによって捕捉され得る。

特徴平面計算モジュール４０６は、画像１００（図１）などの入力画像を受信し、画像１００の各画像ピクセルについて「ｈ」個の特徴平面を計算する。典型的には、ｈ＝ｍ＋４であり、この式で、ｍはＨＯＧビンの総数に等しい。例示的シナリオにおいて、ＨＯＧビンの数が６に等しい場合、特徴平面ｈの数は１０に等しい。以下の説明では、特徴平面「ｈ」の数は、特に指定のない限り、全体を通じて１０であると見なされる。

特徴平面計算モジュール４０６は、画像１００の各画像ピクセルについて、１０タイプの特徴平面の特徴セットＦ_ｉを計算する。ｉ番目のピクセルの特徴セットＦ_ｉは、
Ｆ_ｉ＝｛Ｙ_ｉ，Ｕ_ｉ，Ｖ_ｉ，Ｍ_ｉ，Ｂ_ｉ０，Ｂ_ｉ１，Ｂ_ｉ２，Ｂ_ｉ３，Ｂ_ｉ４，Ｂ_ｉ５｝ （８）
によって表され、上式で、Ｙ_ｉ、Ｕ_ｉ、Ｖ_ｉは、ｉ番目のピクセルの事前定義されたカラースキームを表すカラー特徴平面であり、Ｍ_ｉは、ｉ番目のピクセルの勾配の大きさを表す大きさ特徴平面であり、Ｂ_ｉ０、Ｂ_ｉ１、Ｂ_ｉ２、Ｂ_ｉ３、Ｂ_ｉ４、Ｂ_ｉ５は、それぞれ、Ｂｉｎ ０、Ｂｉｎ １、Ｂｉｎ ２、Ｂｉｎ ３、Ｂｉｎ ４、及びＢｉｎ ５におけるｉ番目のピクセルの勾配の大きさを表すＨＯＧ特徴平面である。例示的実施形態において、ｉ番目のピクセルは、１つのビンにおいて非ゼロの勾配大きさ、及び他の５つのビンにおいてゼロ勾配を有する。

例示的実施形態において、特徴平面計算モジュール４０６は、従来技法に基づき、ｉ番目のピクセルについてＹ_ｉ、Ｕ_ｉ、Ｖ_ｉ、Ｍ_ｉの値を計算するか又はその他の方式でこれらの値にアクセスする。特徴平面計算モジュール４０６は、対応する水平及び垂直の勾配ｘ_ｉ及びｙ_ｉに基づいて推定される、ｉ番目のピクセルの勾配の大きさ及び方向に基づいて、Ｂ_ｉ０、Ｂ_ｉ１、Ｂ_ｉ２、Ｂ_ｉ３、Ｂ_ｉ４、Ｂ_ｉ５の値を計算する。

特徴平面計算モジュール４０６は、ｉ番目のピクセルの勾配のＨＯＧビンを計算するために、下記の表３において特定される、第１及び第２の閾値並びに比較条件を参照し、この表で、ＨＯＧビンの数は６に等しい。

特徴平面計算モジュール４０６は、ｉ番目のピクセルの勾配のＨＯＧビンを計算するために、下記の表４において特定される、第１及び第２の閾値並びに比較条件を参照し、この表で、ＨＯＧビンの数は８に等しい。

ｉ番目のピクセルの水平及び垂直の勾配ｘ_ｉ及びｙ_ｉが、対応する比較条件を満たす場合、ｉ番目のピクセルにビンが割り当てられる。表３及び表４に基づき、画像ピクセルについてのＨＯＧビンの計算は、主にシフト及び比較を含む。これが可能であるのは、ｔａｎθ_ｍｉｎ及びｔａｎθ_ｍａｘの各々が有理数であるように、各ＨＯＧビンについてθ_ｍｉｎ及びθ_ｍａｘが定義されるためである。

ｉ番目のピクセルの勾配についてＨＯＧビンを計算した後、特徴平面計算モジュール４０６は、数式（６）に基づいて対応する勾配の大きさを計算する。その後、特徴平面計算モジュール４０６は、計算されたＨＯＧビンに対応するＨＯＧ特徴平面に大きさ値を割り当て、残りのＨＯＧ特徴平面にゼロ値を割り当てる。例示的シナリオにおいて、特徴平面計算モジュール４０６がｉ番目の画像ピクセルについてＢｉｎ １における勾配大きさＭ_ｉを計算する場合、特徴セットＦ_ｉは、
Ｆ_ｉ＝｛Ｙ_ｉ，Ｕ_ｉ，Ｖ_ｉ，Ｍ_ｉ，０，Ｍ_ｉ，０，０，０，０｝
として表される。

同様に、特徴計算モジュール４０６は、入力画像の各画像ピクセルについて特徴セットを計算し、同じものをメモリ４０２に記憶する。従来の（例示的実施形態に従わない）シナリオにおいて、特徴セットの数が画像ピクセルの数に等しい場合、特徴平面計算のうちで最も時間のかかる部分は、対応するＨＯＧビンを決定するために勾配の方向θを計算していた。これに対して、例示的実施形態では、特徴計算モジュール４０６は、方向θの計算をバイパスし、画像ピクセルの水平勾配と垂直勾配との間の数学的関係に基づいて、画像ピクセルのＨＯＧビンを決定する。この結果、特徴平面計算において約３０～４５％の性能向上が生じる。

特徴平面計算モジュール４０６は更に、画像１００において複数のセルを画定する。セルとは、（Ｃ_ｘ，Ｃ_ｙ）としてのサイズを有する画像１００のユニットであり、ここで、Ｃ_ｘはセル幅であり、Ｃ_ｙはセル高さであり、（Ｃ_ｘ×Ｃ_ｙ）はセル内のピクセルの総数である。画像１００における各セルの水平及び垂直方向の開始位置は、それぞれ事前に定義された水平及び垂直のステップサイズの整数倍である。入力画像内のセルは、図５Ａ及び図５Ｂ、並びに図６Ａ、図６Ｂ、及び図６Ｃを参照して更に示される。

図５Ａ及び図５Ｂは、例示的実施形態における、サイズ（６，６）の第１、第２、及び第３のセル５０２、５０４、５０６を含む、サイズ（６４，１２８）の画像５００を図示する。いくつかの例示的実施形態の説明を容易にするために、数個のセル５０２、５０４、５０６のみが示されている。セルは全画像５００において画定される。第１のセル５０２は、ｘ及びｙの両方の方向に、０番目から６番目のピクセルまで延在する。第２のセル５０４は、ｘ方向に４番目から１０番目のピクセルまで、及びｙ方向に０番目から６番目のピクセルまで延在する。第３のセル５０６は、ｘ方向に０番目から６番目のピクセルまで、及びｙ方向に４番目から１０番目のピクセルまで延在する。

一実施形態において、画像５００における各セルのｘ及びｙ方向の開始位置は、それぞれ事前に定義された水平及び垂直のステップサイズの倍数である。例えば、水平及び垂直のステップサイズが各々４ピクセルである場合、セルサイズにかかわらず、セルの開始位置は、ｘ及びｙ方向に０，４，８，１２，・・・ピクセルである。例示的シナリオにおいて、ｘ方向に沿った第１及び第２のセル５０２及び５０４の開始位置は、それぞれ０番目及び４番目のピクセルである。また、ｙ方向に沿った第１及び第３のセル５０２及び５０６は、それぞれ０番目及び４番目のピクセルである。水平及び垂直のセルサイズが、対応するステップサイズと異なる場合、隣接するセルのいくつかの画像ピクセルが互いに重なり合う。

特徴平面計算モジュール４０６（図４）は、入力画像５００の各セルについて、各タイプの特徴平面についての特徴平面和を計算する。或るセルについての特徴平面和が、同様のタイプのセルの画像ピクセルのそれらの特徴を総計することによって計算される。例示的シナリオにおいて、サイズ（６×６）の第１のセル５０２についての（タイプＹ特徴平面の）特徴平面和Ｃ_１（Ｙ）が、第１のセル５０２の３６のピクセルすべてのＹ特徴平面を総計することによって計算され、

によって表される。

サイズ（６×６）の第１のセル５０２についての（タイプＵ平面の）特徴平面和Ｃ_１（Ｕ）が、第１のセル５０２の３６のピクセルすべてのＵ特徴平面を総計することによって計算され、

によって表される。

したがって、特徴平面計算モジュール４０６は、画像５００のｉ番目のセルについて、１０の特徴平面に対応する１０の特徴平面和を計算する。ｉ番目のセルについての特徴平面和のセットＳ_ｉは、
Ｓ_ｉ＝｛Ｃ_ｉ（Ｙ），Ｃ_ｉ（Ｕ），Ｃ_ｉ（Ｖ），Ｃ_ｉ（Ｍ），Ｃ_ｉ（Ｂ_０），Ｃ_ｉ（Ｂ_１），
Ｃ_ｉ（Ｂ_２），Ｃ_ｉ（Ｂ_３），Ｃ_ｉ（Ｂ_４），Ｃ_ｉ（Ｂ_５）｝ （１１）
によって表され、上式で、Ｃ_ｉ（Ｙ）、Ｃ_ｉ（Ｕ）、及びＣ_ｉ（Ｖ）は、ｉ番目のセルについてのＹ、Ｕ、及びＶ特徴平面和であり、Ｃ_ｉ（Ｍ）はｉ番目のセルについてのＭ特徴平面和であり、Ｃ_ｉ（Ｂ_０）、Ｃ_ｉ（Ｂ_１）、Ｃ_ｉ（Ｂ_２）、Ｃ_ｉ（Ｂ_３）、Ｃ_ｉ（Ｂ_４）、及びＣ_ｉ（Ｂ_５）は、ｉ番目のセルについてのＨＯＧ特徴平面和である。

図６Ａ及び図６Ｂは、第１から第９のセル６０２～６１８を含む（６４又は１２８などの）サイズの画像６００を示し、セル６０２～６１８の各々のサイズは４×４（例えば、１６ピクセル）である。例えば、セル６０２は、ｘ及びｙの両方の方向に０番目から４番目のピクセルまで延在し、セル６０４は、ｘ方向に４番目から８番目のピクセルまで、及びｙ方向に０番目から４番目のピクセルまで延在し、セル６０６は、ｘ方向に８番目から１２番目のピクセルまで、及びｙ方向に０番目から４番目のピクセルまで延在する、という具合である。

特徴平面計算モジュール４０６（図４）は、入力画像６００の各セルについての各タイプの特徴平面和を計算する。例示的シナリオにおいて、サイズ（４×４）の第１のセル６０２についての（タイプＶ平面の）特徴平面和Ｃ_２（Ｖ）が、第１のセル６０２の１６のピクセルすべてのＶ特徴平面を総計することによって計算され、

によって表される。

サイズ（４×４）のセル６０２についての（タイプＭ特徴平面の）特徴平面和Ｃ_２（Ｍ）が、第１のセル６０４の１６のピクセルすべてのＭ特徴平面を総計することによって計算され、

によって表される。

数式（１１）及び数式（１２）と同様に、特徴平面計算モジュール４０６は、画像６００の各セルについて、１０の特徴平面に対応する１０の特徴平面和を計算する。

図６Ｃは、サイズ（８×８）のセル６２０及びセル６２２を表すサイズ（６４，１２８）の画像６００を示す。一実施形態において、サイズ（８×８）のセル６２０は、図６Ａ及び図６Ｂを参照して説明したようなサイズ（４×４）のセル６０２、６０４、６０８、及び６１０を組み合わせることによって形成される。或る例において、特徴平面計算モジュール４０６は、セル６０２、６０４、６０８、及び６１０のＹ特徴平面和を総計することによって、サイズ（８×８）のセル６２０についての（タイプＹ平面の）特徴平面和Ｃ_３（Ｙ）を計算する。サイズ（８×８）のセル６２０についての（タイプＹ平面の）特徴平面和Ｃ_３（Ｙ）は、
Ｃ_３（Ｙ）＝Ｃ_１１（Ｙ）＋Ｃ_２１（Ｙ）＋Ｃ_４１（Ｙ）＋Ｃ_５１（Ｙ） （１４）
によって表され、上式で、Ｃ_１１（Ｙ）＝セル６０２のＹ特徴平面和であり、Ｃ_２１（Ｙ）＝セル６０４のＹ特徴平面和であり、Ｃ_４１（Ｙ）＝セル６０８のＹ特徴平面和であり、Ｃ_５１（Ｙ）＝セル６１０のＹ特徴平面和である。

同様に、サイズ（８×８）のセル６２２は、サイズ（４×４）のセル６０８、６１０、６１４、及び６１６を組み合わせることによって形成される。或る実施形態において、特徴平面計算モジュール４０６は、サイズ（４×４）のセル６０８、６１０、６１４、及び６１６のＹ特徴平面和を総計することによって、サイズ（８×８）のセル６２２についての（タイプＹ平面の）特徴平面和Ｃ_４（Ｙ）を計算する。結果として、特徴平面計算モジュール４０６は、第１１のセル６２２についてのＹ特徴平面和を計算する際に、セル６０８及び６１０のＹ特徴平面和を再使用する。同様に、（Ｕ平面、Ｖ平面、及び６つのＨＯＧ平面などの）他の平面についての和も計算される。

図７は、入力画像７０４におけるオブジェクト検出のために用いられる、検出ウィンドウ７００及び７０２の例を図示する。入力画像７０４はフレームサイズ（Ｆ_ｗ，Ｆ_ｈ）を有し、ここで、Ｆ_ｗはフレーム幅であり、Ｆ_ｈはフレーム高さであり、Ｆ_ｈ×Ｆ_ｗは入力画像７０４における画像ピクセルの総数である。一実施形態において、検出ウィンドウ７００及び７０２の各々は、サイズ（ＳＷ_ｘ，ＳＷ_ｙ）を有する入力画像７０４の画像部分であり、ここで、ＳＷ_ｘはウィンドウ幅であり、ＳＷ_ｙはウィンドウ高さであり、ＳＷ_ｘ×ＳＷ_ｙは、検出ウィンドウ（７００、７０２）における画像ピクセルの総数である。検出ウィンドウ（７００、７０２）のステップサイズはＳ_ｘ×Ｓ_ｙとして参照され、ここで、Ｓ_ｘは、ｘ方向に沿った１動作において検出ウィンドウ（７００、７０２）によってトラバースされるピクセルの数であり、Ｓ_ｙは、ｙ方向に沿った１動作において検出ウィンドウ（７００、７０２）によってトラバースされるピクセルの数である。

モジュール４０８（図４）は、第１の検出ウィンドウ７００を選択し、その中の第１の部分的特徴ベクトルを計算するために或るタイプの特徴平面を選択する。第１の部分的特徴ベクトルは、第１の検出ウィンドウ７００の各セルに対応する、選択されたタイプの特徴平面和のセットである。或る例において、モジュール４０８がＹ特徴平面を選択する場合、第１の部分的特徴ベクトルは、第１の検出ウィンドウ７００内で画定されるセルのＹ特徴平面和を含むセットである。第１の検出ウィンドウ７００（第１から第ｎのセルを含む）のＹ特徴平面についての第１の部分的特徴ベクトルＰ_１１（Ｙ）は、
Ｐ_１１（Ｙ）＝｛Ｃ_１（Ｙ），Ｃ_２（Ｙ），Ｃ_３（Ｙ），・・・，Ｃ_ｎ（Ｙ）｝ （１５）
によって表され、上式で、Ｃ_１（Ｙ）＝第１の検出ウィンドウ７００の第１のセルのＹ特徴平面和であり、Ｃ_２（Ｙ）＝第１の検出ウィンドウ７００の第２のセルのＹ特徴平面和であり、Ｃ_ｎ（Ｙ）＝第１の検出ウィンドウ７００の第ｎのセルのＹ特徴平面和である。

例示的シナリオにおいて、第１の検出ウィンドウ７００のサイズが（６４×１２８）であり、セルサイズが（８×８）である場合、第１の検出ウィンドウにおけるセルの数は（６４／８）×（１２８／８）＝１２８に等しい。したがって、部分的特徴ベクトルにおける要素の数は、セルの総数、即ち１２８、に等しく、部分的特徴ベクトルの数は１０に等しい。また、完全な特徴ベクトルは、第１の検出ウィンドウ７００の各セルについて各タイプの特徴平面和を含む。特徴平面和タイプの数が１０である場合、完全な特徴ベクトル
は１２８×１０＝１２８０の要素を含む。

モジュール４０８は、第１の検出ウィンドウ７００におけるオブジェクトのＹデータの存在を検出するために、第１の部分的特徴ベクトルをオブジェクトの対応する部分的分類子と比較し、第１の部分的特徴ベクトルを記憶する代わりに、比較の結果をメモリ４０２に記憶する。その後、モジュール４０８は、第１の検出ウィンドウ７００についての第２の部分的特徴ベクトルを計算するために、Ｕ特徴平面などの次のタイプの特徴平面を選択する。その後、第１の検出ウィンドウ７００においてオブジェクトのＵデータが検出されるかどうかを検出するために、第２の部分的特徴ベクトルをオブジェクトの対応する部分的分類子と比較し、比較の結果をメモリ４０２に記憶する。例示的シナリオにおいて、部分的オブジェクト分類子はＡＤＡＢＯＯＳＴ分類子である。

同様に、モジュール４０８は、次の特徴平面について部分的特徴ベクトルを計算するステップと、比較の結果をメモリ４０２に記憶するために、対応する部分的分類子と比較するステップとを、反復的に実施する。結果として、モジュール４０８は、１０の部分的特徴ベクトルを反復的に計算し、比較結果をメモリ４０２に記憶するために、対応する部分的オブジェクト分類子との１０回の比較を行なう。

モジュール４０８は、第１の検出ウィンドウ７００のセルの特徴平面和を記憶する代わりに、比較結果のみをメモリ４０２に記憶するため、メモリ帯域幅（ダブルデータレート（ＤＤＲ）メモリ帯域幅など）が大幅に節約される。モジュール４０８は、第１の検出ウィンドウ７００についての完全な特徴ベクトルの計算（１２８０の要素を共に計算することが必要となる）をバイパスし、一度に１つの部分的特徴ベクトルのみを計算する（１２８の要素を共に計算することが必要となる）ため、ＤＤＲ帯域幅が大幅に節約される。

最終的分類モジュール４１０は、モジュール４０８によって生成される比較結果を照合し、それに応じて、第１の検出ウィンドウ７００にオブジェクトが存在するかどうかを最終的に決定する。一実施形態において、モジュール４０８は、対応する部分的オブジェクト分類子との比較に基づいて、各部分的特徴ベクトルに対応するスコアを計算し、したがって、各特徴平面タイプに対応する１０の部分的スコアの総計を生成する。最終的分類モジュール４１０は、この１０の部分的スコアを加算して、第１の検出ウィンドウ７００にオブジェクトが存在するかどうかを示すための最終的スコアを生成する。

その後、モジュール４０８は、第２の検出ウィンドウ７０２（図７）を選択し、対応する部分的特徴ベクトル及び部分的スコアを計算する。その後、最終的分類モジュール４１０は、部分的スコアを照合して、第２の検出ウィンドウ７０２におけるオブジェクトの存在を検出する。モジュール４０８は部分的スコアを計算し、最終的分類モジュール４１０は、画像７０４の残りの検出ウィンドウの各々について部分的スコアを逐次的に照合し、それによって、画像７０４における対応するオブジェクトの存在を検出する。いくつかの例示的実施形態において、１２８０の要素のすべてを単一サイクルで計算することも可能であり、その後、これらの要素は、検出ウィンドウ（画像部分）におけるオブジェクトの存在を検出するために、分類子と比較され得る。

図８は、或る実施形態において、画像におけるオブジェクトを検出する方法のフローチャートである。或る実施形態において、方法８００の動作は、プロセッサ４００（図４）などのプロセッサによって行われる。

ブロック８０２で、この方法は、例示的画像１００（図１）などの、画像（入力画像）の各画像ピクセルについて１つ又は複数のタイプの１つ又は複数の特徴平面を計算することを含む。少なくとも１つの例において、各画像ピクセルについて１０タイプの特徴平面が計算され、１０タイプの特徴平面は、Ｙ、Ｕ、Ｖ特徴平面、Ｍ特徴平面、及び６つのＨＯＧ特徴平面を含む。或る画像ピクセルについての６つのＨＯＧ特徴平面は、画像ピクセルの水平及び垂直の勾配に基づいて計算される。

ブロック８０４で、この方法は、画像１００における複数のセルを画定することを含み、各セルは第１から９番目のピクセルを含む。画像１００における各セルの水平及び垂直方向の開始位置は、それぞれ事前に定義された水平及び垂直のステップサイズの整数倍である。例えば、水平及び垂直のステップサイズが各々４ピクセルである場合、セルサイズにかかわらず、セルの開始位置は、ｘ及びｙ方向に０，４，８，１２，・・・ピクセルである。

ブロック８０６で、この方法は、セルの各々についての１つ又は複数のタイプの１つ又は複数の特徴平面和を計算することを含む。或るセルについての或るタイプの特徴平面和が、そのセルの１番目からｎ番目までのピクセルの対応する特徴平面を総計することによって計算される。例示的シナリオにおいて、第１のセル５０２（図５）などの、サイズ（６×６）のセルについての（タイプＹ特徴平面の）特徴平面和Ｃ１（Ｙ）が、第１のセル５０２の３６のピクセルすべてのＹ特徴平面を総計することによって計算される。

ブロック８０８で、この方法は、画像７０４（図７）の第１の検出ウィンドウ７００などの画像部分について特徴ベクトルを決定することを含む。画像部分の特徴ベクトルは、画像部分において画定されるセルの特徴平面和のセットを含む。一実施形態において、特徴ベクトルは、画像部分において画定されるセルについて、１タイプのみの特徴平面和のセットを含む、部分的特徴ベクトルである。

ブロック８１０で、この方法は、画像の画像部分における対応するオブジェクトの存在を検出するために、特徴ベクトルを対応するオブジェクト分類子と比較することを含む。一実施形態において、特徴ベクトルは、部分的特徴ベクトルであり、画像部分における対応するオブジェクトの存在を検出するために、対応する部分的オブジェクト分類子と比較される。オブジェクトの存在は、画像全体におけるオブジェクトの存在を決定するために、（図７を参照して説明する様々な検出ウィンドウにおけるなど）様々な画像部分において検出される。

部分的特徴ベクトルの一実施形態において、部分的特徴ベクトルは各タイプの特徴平面について反復的に決定され、各タイプの部分的特徴ベクトルは、各タイプの対応する部分的分類器と比較される。また、各タイプについての比較の結果はメモリに記憶される。また、各タイプの特徴平面に対応する１つ又は複数の比較結果が照合され、オブジェクトの存在は、照合された結果に基づいて画像において検出される。

例示的実施形態の１つ又は複数の利点が、入力画像におけるオブジェクトを検出することを含む。様々な実施形態のオブジェクト検出システムにおいて、画像ピクセル勾配のＨＯＧビンが、勾配の方向を計算せずに、画像ピクセルの水平勾配と垂直勾配との間の数学的関係に基づいて決定され、それにより、特徴平面計算において約３０～４５％の性能向上が生じる。また、完全な特徴ベクトル計算に代わる部分的特徴ベクトル計算は、メモリ帯域幅の約９５％を大幅に節約する。オブジェクト検出システムの計算の複雑さ及びフットプリントは、従来の設計に比べて著しく低減される。また、オブジェクト検出システムは、任意のセルサイズ、検出ウィンドウサイズ、ステップサイズ、特徴平面の数、特徴ベクトルの数、及び分類子のタイプに適合可能である。

本明細書全体を通じた、特徴、利点、又は同様の言い回しへの言及は、特徴及び利点のすべてが、すべての実施形態にあるべきである（又はある）ことを示唆するものではない。したがって、本明細書全体を通じた、特徴及び利点の考察及び同様の表現は、必ずしも同じ実施形態に言及するものではない。

特許請求の範囲内で、説明する実施形態における改変が可能であり、他の実施形態が可能である。例えば、前述のような様々な実施形態は、異なる順のステップ及び／又は動作を用いて、並びに／或いは異なる構成におけるハードウェア要素を用いて、実施される。

Claims (8)

1. 複数の画像ピクセルを含む画像におけるオブジェクトを検出するためのオブジェクト検出システムであって、
   命令を記憶するためのメモリと、
   プロセッサであって、記憶された命令に応答して、
   勾配方向ヒストグラム（ＨＯＧ）特徴平面を計算することを含む、各画像ピクセルについて１組の特徴平面を計算するステップであって、前記勾配方向ヒストグラム（ＨＯＧ）特徴平面を計算することが、
   前記画像ピクセルについて水平勾配と垂直勾配とを計算することと、
   前記画像ピクセルについて前記水平勾配と前記垂直勾配との比を決定することと、
   前記ＨＯＧ特徴平面について８つのビンを画定することであって、各特徴平面について１つのビンである、前記８つのビンを画定することと、
   Ｂｉｎ０：０，０．３７５、Ｂｉｎ１：０．３７５，１、Ｂｉｎ２：１，２．６６５、Ｂｉｎ３：２．６６５，＋∞、Ｂｉｎ４：＋∞，－２．６６５、Ｂｉｎ５：－２．６６５，－１、Ｂｉｎ６：－１，－０．３７５、Ｂｉｎ７：－０．３７５，０のそれぞれの方向最小及び最大範囲を前記ビンに割り当てることと、
   前記決定された比に従って前記画像ピクセルを前記ビンの１つに分類することと、
   前記画像ピクセルの対応する勾配の大きさを計算することと、
   前記分類されたビンに前記対応する勾配の大きさを割り当てて残りのビンにゼロ値を割り当てることと、
   を含む、前記１組の特徴平面を計算するステップと、
   前記画像における画像ピクセルのセルを画定するステップと、
   特徴平面の和をもたらすためにセルにおいて全ての前記画像ピクセルの対応する特徴平面を総計するステップと、
   前記画像においてセルの検出窓を画定するステップと、
   各検出窓について１組の部分特徴ベクトルを決定するために検出窓において全ての前記セルの対応する特徴平面の和を総計するステップと、
   前記部分特徴ベクトルを対応する部分オブジェクト分類子と比較して前記比較結果を前記メモリに格納するステップと、
   オブジェクトが前記検出窓に存在するかを決定するために前記比較結果を照合するステップと、
   を行なう、前記プロセッサと、
   を含む、オブジェクト検出システム。
2. 請求項１に記載のオブジェクト検出システムであって、
   前記１組の特徴平面を計算するステップが、
   前記画像ピクセルのカラースキームを表す第１、第２及び第３の特徴平面を計算することと、
   前記画像ピクセルの勾配大きさを表す第４の特徴平面を計算することと、
   前記画像ピクセルの勾配を表す５番目からｍ番目までの勾配方向ヒストグラム（ＨＯＧ）特徴平面を計算することと、
   を更に含む、オブジェクト検出システム。
3. 処理装置によって画像ピクセルの画像におけるオブジェクトを検出するプロセスであって、
   各画像ピクセルについて１組の特徴平面を計算することであって、
   勾配方向ヒストグラム（ＨＯＧ）特徴平面を計算することであって、
   前記画像ピクセルについて水平勾配と垂直勾配とを計算することと、
   前記画像ピクセルについて前記水平勾配と前記垂直勾配との比を決定することと、
   前記ＨＯＧ特徴平面について８つのビンを画定することであって、各特徴平面について１つのビンである、前記８つのビンを画定することと、
   Ｂｉｎ０：０，０．３７５、Ｂｉｎ１：０．３７５，１、Ｂｉｎ２：１，２．６６５、Ｂｉｎ３：２．６６５，＋∞、Ｂｉｎ４：＋∞，－２．６６５、Ｂｉｎ５：－２．６６５，－１、Ｂｉｎ６：－１，－０．３７５、Ｂｉｎ７：－０．３７５，０のそれぞれの方向最小及び最大範囲を最大角度と最小角度との前記タンジェント計算に対応する前記ビンに割り当てることと、
   前記決定された比に従って前記画像ピクセルを前記ビンの１つに分類することと、
   前記画像ピクセルの対応する勾配の大きさを計算することと、
   前記分類されたビンに前記対応する勾配の大きさを割り当てて残りのビンにゼロ値を割り当てることと、
   を含む、前記ＨＯＧ特徴平面を計算することと、
   前記ＨＯＧ特徴平面の各々についてビンを画定することと、
   前記ビンに方向範囲を割り当てることであって、各方向範囲の前記最大角度と前記最小角度とのタンジェント計算が有理数であるように前記方向範囲が０度から１８０度上に等しくなく間隔を空けられる、前記方向範囲を割り当てることと、
   各ピクセルを前記方向範囲に従って前記ビンの１つに分類することと、
   を含む、前記１組の特徴平面を計算することと、
   前記画像において画像ピクセルのセルを画定することと、
   特徴平面和をもたらすためにセルにおいて全ての前記画像ピクセルの対応する特徴平面を総計することと、
   前記画像においてセルの検出窓を画定することと、
   各検出窓について１組の部分特徴ベクトルを決定するために検出窓において全ての前記セルの対応する特徴平面和を総計することと、
   前記部分特徴ベクトルを対応する部分オブジェクト分類子と比較して前記比較結果をメモリに格納することと、
   前記検出窓にオブジェクトが存在するかを決定するために前記比較結果を照合することと、
   を含む、プロセス。
4. 請求項３に記載のプロセスであって、
   前記各画像ピクセルについて１組の特徴平面を計算することが、
   前記画像ピクセルのカラースキームを表す第１、第２及び第３の特徴平面を計算することと、
   前記画像ピクセルの強度を表す第４の特徴平面を計算することと、
   前記画像ピクセルの勾配と大きさとを表す５番目からｍ番目までの勾配方向ヒストグラム（ＨＯＧ）特徴平面を計算することと、
   を更に含む、プロセス。
5. 請求項３に記載のプロセスであって、
   前記勾配方向ヒストグラム（ＨＯＧ）特徴平面を計算することが、方向角の計算なしに前記画像ピクセルについて水平勾配と垂直勾配との比に従って勾配方向ヒストグラム（ＨＯＧ）ビンにおいて前記画像ピクセルを分類することを更に含む、プロセス。
6. 請求項３に記載のプロセスであって、
   前記セルを画定することが、水平及び垂直方向において等しい数のピクセルを有するセルを画定することを含む、プロセス。
7. 請求項３に記載のプロセスであって、
   前記セルを画定することが、１つのセルが他のセルに重なり、水平及び垂直方向において等しい数のピクセルを有するセルを画定することを含む、プロセス。
8. 請求項３に記載のプロセスであって、
   前記検出窓を画定することが、他の検出窓に重なる検出窓を画定することを含む、プロセス。

Images