JP5982026B2 - 多範囲オブジェクト検出装置および方法 - Google Patents

Description

関連出願への相互参照および優先権
本発明は、２０１４年３月７日に出願されたインド国仮特許出願第７９４／ＭＵＭ／２０１４号を基礎とする優先権を主張する。該インド国仮特許出願の開示内容の全ては、参照により、本明細書に組み込まれる。

ここに詳述される本発明は、多範囲（multi-range）オブジェクト検出方法および装置一般に関する。

輸送システムにおいて、運転の安全およびドライバー支援（driving safety and driver assistance）の確保は、重要な要求である。交通事故の原因となる要因の１つは、ドライバーの見落としや視野範囲の減少である。シートベルト、エアバック、アンチロックブレーキシステム（ＡＢＳ）等の従来の安全機能は、事故の重大度を軽減するために利用されている。さらに、今日におけるその他の安全機能としては、ドライバーに早期警戒を提供し、もし必要なら、車両のコントロールをドライバーから引き継ぐことによって、ドライバーの事故回避を補助するドライバー支援システムが挙げられる。

このようなドライバー支援システムの１つは、車両の経路内のオブジェクトを検出し、ドライバーに警告を行うことを可能とする衝突回避システムを含んでいる。オブジェクトを検出するために、画像が取得され、さらに、車両からのオブジェクトの実際の位置を検出するため、該画像が処理される。しかしながら、衝突回避システムを提供するために利用可能な現在の技術は、車両から遠い距離または近い距離に位置するオブジェクトを１つずつ検出している。よって、現在のドライバー衝突回避システムは、車両から遠い範囲および近い範囲に位置する複数のオブジェクトを同時に検出するという技術的課題に直面している。さらに、既存のシステムにおいて、異なる範囲（遠距離および近距離）に位置する複数のオブジェクトの算出は、多くの演算時間を必要とする。演算時間の増大は、ドライバーに対する警告通知の形態で提供される応答の遅延に繋がってしまう。

本概要は、多数の範囲における複数のオブジェクトを検出するための装置および方法に関する様態を説明するために提供されるものであり、そのコンセプトは、以下の詳細な説明においてさらに説明される。本概要は、本発明の本質的特徴を特定するものではなく、また、特許請求の範囲に記載された本発明の範囲を決定または限定するために用いられるものでもない。

実施形態の１つにおいて、車両の経路上の多数の範囲における複数のオブジェクトを同時に検出するための装置が開示される。該装置は、プロセッサーと、該プロセッサーに接続されたメモリとを含む。プロセッサーは、メモリ内に保存されている複数のモジュールを実行する。複数のモジュールは、受信モジュールと、分割モジュールと、検出モジュールとを含む。受信モジュールは、車両の経路上に現れたオブジェクトに対応する入力として、画像を受信する。さらに、分割モジュールは、画像を、関心のある領域（ＲＯＩｓ：Regions of interest）を示す複数のサブ画像に分割する。さらに、複数のサブ画像のそれぞれは、車両からオブジェクトまでの距離に基づいて算出されたピクセルの矩形窓（rectangular window）の形態をとる。さらに、検出モジュールは、複数のサブ画像から１つ以上の特徴を抽出することにより、複数のサブ画像から近距離オブジェクトおよび遠距離オブジェクトを検出する。さらに、検出モジュールは、抽出された１つ以上の特徴に基づいて、複数のサブ画像のそれぞれに関連付けられた勾配（gradient）を算出するため、複数のサブ画像のそれぞれを同時に処理する。さらに、検出モジュールは、算出された勾配に関連付けられた値に基づいて、配向ベースのヒストグラムチャンネル（orientation based histogram channel）の重みづけ票（weighted vote）を投じることにより、複数のセル（cell）を含むセルヒストグラムを生成する。さらに、検出モジュールは、複数のサブ画像を正規化するために、空間的ブロック内の複数のセルのセルをグループ化することによって算出された勾配を正規化する。さらに、検出モジュールは、近距離オブジェクトおよび遠距離オブジェクトを歩行者カテゴリーまたは車両カテゴリーに分類するため、正規化の後、サポートベクターマシーン（ＳＶＭ：Support Vector Machine）線型分類器を複数のサブ画像に適用する。

別の実施形態の１つにおいて、車両の経路上の多数の範囲における複数のオブジェクトを同時に検出するための方法が開示される。該方法は、プロセッサーによって、車両の経路上に現れたオブジェクトに対応する入力として、画像を受信する工程を含む。該方法は、さらに、プロセッサーによって、画像を、関心のある領域（ＲＯＩｓ）を示す複数のサブ画像に分割する工程を含む。さらに、複数のサブ画像のそれぞれは、車両からオブジェクトまでの距離に基づいて算出されたピクセルの矩形窓の形態をとる。該方法は、さらに、プロセッサーによって、複数のサブ画像から１つ以上の特徴を抽出することにより、複数のサブ画像から近距離オブジェクトおよび遠距離オブジェクトを検出する工程を含む。さらに、該方法は、抽出された１つ以上の特徴に基づいて、複数のサブ画像のそれぞれに関連付けられた勾配を算出するため、複数のサブ画像のそれぞれを同時に処理する工程を含む。さらに、該方法は、算出された勾配に関連付けられた値に基づいて、配向ベースのヒストグラムチャンネルの重みづけ票を投じることにより、複数のセルを含むセルヒストグラムを生成する工程を含む。該方法は、複数のサブ画像を正規化するために、空間的ブロック内の複数のセルのセルをグループ化することによって算出された勾配を正規化する工程を含む。さらに、該方法は、近距離オブジェクトおよび遠距離オブジェクトを歩行者カテゴリーまたは車両カテゴリーに分類するため、正規化の後、サポートベクターマシーン（ＳＶＭ）線型分類器を複数のサブ画像に適用する工程を含む。

さらに別の実施形態の１つにおいて、車両の経路上の多数の範囲における複数のオブジェクトを同時に検出するために演算装置において実行可能なプログラムを具体化(embodying)する非一時的コンピューター可読媒体（non-transitory computer readable medium）が開示される。該プログラムは、車両の経路上に現れたオブジェクトに対応する入力として、画像を受信するためのプログラムコードを含む。該プログラムは、さらに、画像を、関心のある領域（ＲＯＩｓ）を示す複数のサブ画像に分割するためのプログラムコードを含む。さらに、複数のサブ画像のそれぞれは、車両からオブジェクトまでの距離に基づいて算出されたピクセルの矩形窓の形態をとる。該プログラムは、さらに、複数のサブ画像から、近距離オブジェクトおよび遠距離オブジェクトを検出するためのプログラムコードを含む。該近距離オブジェクトおよび遠距離オブジェクトの検出は、複数のサブ画像から１つ以上の特徴を抽出する工程と、抽出された１つ以上の特徴に基づいて、複数のサブ画像のそれぞれに関連付けられた勾配を算出するために、複数のサブ画像のそれぞれを同時に処理する工程と、算出された勾配に関連付けられた値に基づいて、配向ベースのヒストグラムチャンネルの重みづけ票を投じることによって、複数のセルを含むセルヒストグラムを生成する工程と、複数のサブ画像を正規化するために、空間的ブロック内の複数のセルのセルをグループ化することにより算出された勾配を正規化する工程と、近距離オブジェクトおよび遠距離オブジェクトを歩行者カテゴリーまたは車両カテゴリーに分類するため、正規化の後、サポートベクターマシーン（ＳＶＭ）線型分類器を複数のサブ画像に適用する工程と、により実行される。

添付の図面を参照して、本発明の詳細な説明が提供される。添付の図面中の各参照番号の左端の数字は、その参照番号が最初に現れる図番号を表している。各図面において、同様の特徴およびコンポーネントには、同じ参照番号が付されている。

図１は、本発明の実施形態に係る多数の範囲における複数のオブジェクトを検出するための装置およびサーバーのネットワーク実施を示す図である。

図２は、本発明の実施形態に係る装置を示す図である。

図３は、本発明の実施形態に係る装置の詳細な動作を示す図である。

図４は、本発明の実施形態に係る多数の範囲における複数のオブジェクトを検出するための方法を示す図である。

車両の経路上の多数の範囲における複数のオブジェクトを同時に検出するための装置および方法が説明される。道路上で運転をしていると、様々なオブジェクト（例えば、車両、歩行者、動物、その他任意のオブジェクト）が車両の前に現れることがある。運転の安全のため、これらオブジェクトが車両に接近しすぎる前に、これらオブジェクトの位置を検出する必要がある。本発明の実施形態によれば、車両に設けられた１つ以上のオンボードカメラまたは画像取得ユニットは、車両からの多数の範囲において現れた複数のオブジェクトの画像を取得する。複数のオブジェクトはそれぞれ、車両から近い距離および遠い距離に位置している。本明細書において開示される装置は、近距離および遠距離に位置する複数のオブジェクトを同時に検出することができ、よって、多範囲オブジェクト検出を提供可能である。

画像取得ユニットによって取得されたオブジェクトの画像は、様々な段階で、本装置によって処理される。最初に、ユニットによって取得された入力画像フレームが、関心のある領域（ＲＯＩ）を示す画像の複数の画像スライス（片）に分割される。画像に対する処理は、ノイズを低減し、個々の要素を分離し、非接続部分を結合し、エッジを鮮明化し、平滑化フィルターを用いて複数の画像を平滑化（smoothening）するため、複数の画像に対して施される。様々な段階を経て画像を処理した後、１つ以上の特徴が抽出される。１つ以上の特徴に基づいて、これら複数の画像のそれぞれに対応する勾配が同時に算出される。さらに、該勾配に関連した値に基づいて、セルヒストグラムが生成される。該セルヒストグラムは、配向ベースのヒストグラムチャンネルの重みづけ票を投じることにより生成される。さらに、画像の明るさおよびコントラストの変化の影響を低減するため、算出された勾配が正規化ファクターを用いて正規化される。正規化の後、近距離オブジェクトおよび遠距離オブジェクトを歩行者カテゴリーまたは車両カテゴリーに同時に分類するために、サポートベクターマシーン（ＳＶＭ）線型分類器が適用される。よって、本装置によって、車両からの多数の範囲に位置する複数の様々なオブジェクト（近距離オブジェクトおよび遠距離オブジェクト）を同時に検出することができる。多数の範囲における複数のオブジェクトの検出は、車両安全（vehicle’s safety）に利用することができる。

以下説明される多数の範囲における複数のオブジェクトを同時に検出するための装置および方法の様態は、任意の数の異なる演算装置、環境および／または構成によって実施することができ、実施形態は以下の例示的な装置についてのコンテキスト（context:文脈、内容）において説明される。

図１には、本発明の実施形態に係る多数の範囲における複数のオブジェクトを同時に検出するための装置１０２およびサーバー１０４のネットワーク実施１００が図示されている。実施形態の１つにおいて、装置１０２は、車両１１０の経路内の１つ以上のオブジェクトの検出を容易にする。本発明はサーバー１０４が演算システムとして実施されているものとして説明されるが、サーバー１０４は多様な演算システム（例えば、ラップトップコンピューター、デスクトップコンピューター、ノート型コンピューター、ワークステーション、メインフレームコンピューター、サーバー、ネットワークサーバー、タブレット型コンピューター、携帯電話等）として実施されてもよいことは理解されるであろう。実施形態の１つにおいて、サーバー１０４は、クラウドベース環境内で実施されていてもよい。実施形態の１つによれば、装置１０２は、車両１１０を用いて実施されていてもよい。さらに、サーバー１０４は装置１０２の活動を追跡（track）し、装置１０２はネットワーク１０６を介してサーバー１０４と通信可能に接続されている。

実施形態の１つにおいて、ネットワーク１０６は、無線ネットワーク、有線ネットワークまたはこれらの組み合わせであってもよい。ネットワーク１０６は、異なる種類のネットワーク（例えば、イントラネット、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、インターネット等）の１つとして実施することができる。ネットワーク１０６は、専用ネットワークであってもよいし、共有ネットワークであってもよい。共有ネットワークは、異なる種類のネットワークの接続を意味し、様々なプロトコル（例えば、ハイパーテキストトランスファープロトコル（ＨＴＴＰ）、トランスミッションコントロールプロトコル／インターネットプロトコル（ＴＣＰ／ＩＰ）、ワイヤレスアプリケーションプロトコル（ＷＡＰ）等）を用いて、互いに通信する。さらに、ネットワーク１０６は、様々なネットワークデバイス（例えば、ルーター、ブリッジ、サーバー、演算装置、ストレージ装置等）を含んでいてもよい。

図２には、本発明の実施形態に係る装置１０２が図示されている。実施形態の１つにおいて、装置１０２は、少なくとも１つのプロセッサー２０２と、入出力（Ｉ／Ｏ）インターフェース２０４と、メモリ２０６とを備える。少なくとも１つのプロセッサー２０２は、１つ以上のマイクロプロセッサー、マイクロコンピューター、マイクロコントローラー、デジタル信号プロセッサー、中央演算装置（ＣＰＵ）、状態マシーン、論理回路および／または操作可能（operational）な命令に基づいて信号を操作する任意の装置として実施することができる。その他の機能の中でも、少なくとも１つのプロセッサー２０２は、メモリ２０６内に保存されているコンピューター可読命令またはモジュールをフェッチ（fetch:命令コードを読み出すこと）し、実行するよう構成されている。

Ｉ／Ｏインターフェース２０４は、様々なソフトウェアインターフェースおよびハードウェアインターフェース（例えば、ウェブインターフェース、グラフィックユーザーインターフェース等）を含む。Ｉ／Ｏインターフェース２０４は、デバイス１０２がユーザーと直接またはクライアント装置２０４を介して相互通信することを可能とする。さらに、Ｉ／Ｏインターフェース２０４は、装置１０２がその他の演算装置（例えば、ウェブサーバーおよび外部データサーバー）（図示せず）と通信を行うことを可能とする。Ｉ／Ｏインターフェース２０４は、有線ネットワーク（例えば、ＬＡＮ、ケーブル等）および無線ネットワーク（例えば、ＷＬＡＮ、セルラー、衛星等）を含む広範な種類のネットワークおよびプロトコル内での多数の通信を容易にする。Ｉ／Ｏインターフェース２０４は、多数の装置を互いにまたは他のサーバーに接続するための１つ以上のポートを含む。

メモリ２０６は、本分野において既知のコンピューター可読媒体またはコンピュータープログラム製品（例えば、静的ランダムアクセスメモリ（ＳＲＡＭ）や動的ランダムアクセスメモリ（ＤＲＡＭ）等の揮発性メモリおよび／またはリードオンリーメモリ（ＲＯＭ）、消去可能プログラム可能ＲＯＭ（ＥＰＲＯＭ）、フラッシュメモリ、ハードディスク、光学ディスク、コンパクトディスク（ＣＤｓ）、デジタル多用途ディスクまたはデジタルビデオディスク（ＤＶＤｓ）および磁気テープ等の不揮発性メモリ）を含む。メモリ２０６は、モジュール２０８と、データ２２０とを含む。

モジュール２０８は、特定のタスクを実行または特定の抽象データ型（abstract data type）を実装するルーチン（routine）、プログラム、オブジェクト、コンポーネント、データ構造等を含む。実施形態の１つにおいて、モジュール２０８は、受信モジュール２１０と、分割モジュール２１２と、検出モジュール２１４と、画像処理モジュール２１６と、その他モジュール２１８とを含む。その他モジュール２１８は、装置１０２のアプリケーションおよび機能を補完するプログラムまたはコード化命令を含んでいる。

とりわけ、データ２２０は、１つ以上のモジュール２０８によって処理され、受信され、生成されたデータを保存するためのレポジトリ（repository：データやプログラム等の一元的な保存場所）として機能する。また、データ２２０は、画像データベース２２２と、その他データ２２４とを含む。

図３は、本発明の実施形態に係る装置１０２の詳細な動作を図示している。本明細書において開示される装置１０２は、任意の種類の車両を用いて実施することができる。本説明では、四輪車、すなわち車両１１０が示されている（図１）。装置１０２は車両１１０からの近距離および遠距離（すなわち、多数の範囲）における複数のオブジェクトを検出し、車両１１０とオブジェクトとの衝突を回避するために設けられる。車両１１０が動いている間、車両１１０の経路内のオブジェクトを正確に検出することは、極めて重要である。オブジェクトは、車両１１０からの近距離においても遠距離においても出現し得る。さらに、オブジェクトは、静止しているかもしれないし、動いているかもしれない。１つの例では、図３に示すように、オブジェクト１は車両１１０からの遠距離に位置し、オブジェクト２は車両１１０からの近距離に位置する。よって、車両１１０からの遠距離に位置するオブジェクト（オブジェクト１）と近距離に位置するオブジェクト（オブジェクト２）の同時検出が要求される。本発明の装置１０２は、車両１１０からの近距離および遠距離における複数のオブジェクトの同時検出を容易にする。さらに、本発明の１つの実施形態によれば、遠距離は、８０メートル以下の範囲であり、近距離は５メートル以下の範囲である。本分野における当業者であれば、車両１１０からの近距離および遠距離に対応する範囲は変更可能であり、本発明は、上述の近距離および遠距離の範囲に限定されないことを理解できるであろう。

本発明の実施形態によれば、オブジェクト１およびオブジェクト２の画像を車両１１０の画像取得ユニット１０８によって取得することができる。画像取得ユニット１０８は、車両１１０からの近距離および遠距離に位置する１つ以上のオブジェクトの画像を取得するために用いられるモノタイプカメラまたはステレオタイプカメラ（撮像装置のペア）であってもよい。取得された画像は、装置１０２の画像データベース２２０内に保存される。装置１０２の受信モジュール２１０は、車両１１０の経路上に現れたオブジェクトに対応する画像を受信する。最初に、装置１０２の分割モジュール２１２は、受信した画像を、関心のある領域（ＲＯＩｓ）を示す複数のサブ画像／スライスに分割する。さらに、複数のサブ画像の各サブ画像は、検出距離（すなわち、オブジェクトと車両１１０との間の距離）に基づいて算出されたピクセルの矩形窓（rectangular windows of pixel）の形態をとってもよい。近距離範囲にあるオブジェクトはより大きく、遠距離範囲にあるオブジェクトはより小さく見えるため、短い距離範囲に対応する大きな矩形窓と、長い距離範囲に対応する小さな矩形窓が存在する。例示的な実施形態の１つにおいて、車両１１０から２０メートル以下、５０メートル以下、８０メートル以下の距離に位置するサブ画像が、それぞれＲＯＩ１、ＲＯＩ２およびＲＯＩ３となるようスライスされるように、関心のある領域（ＲＯＩ）の範囲が規定されてもよい。上述のＲＯＩｓの規定された範囲の上述の例は、ＶＧＡタイプのカメラに適用することができる。本分野における当業者であれば、検出距離（すなわち、ＲＯＩｓの規定された範囲）は、カメラの解像度とともに拡充し、さらに、ＲＯＩの選択は、それに伴い変更し得ることを理解できるであろう。

長距離（例えば、５０メートル）におけるオブジェクトは、知覚可能であるがサイズが小さいので、オリジナルの縮尺（original scale）においては、オブジェクト画像を検出することが困難である。装置１０２の画像処理モジュール２１６は、車両からの近距離オブジェクトおよび遠距離オブジェクトの距離に基づいて、複数のサブ画像の１つ以上のサブ画像を拡大してもよい。本発明の実施形態によれば、１つ以上のサブ画像は、バイリニア補間法（bilinear interpolation method）を用いて、ＲＯＩ２のオリジナルサイズの２倍、またはＲＯＩ３のオリジナルサイズの３倍に拡大されてもよい。１つ以上のサブ画像の補間の後、画像処理モジュール２１６は、１つ以上のサブ画像の補間による膨張（dilation）に続いて、収縮（erosion）処理を適用してもよい。収縮および膨張の適用は、１つ以上のサブ画像のノイズの低減、個々の要素の分離および１つ以上のサブ画像内における非接続部分の結合をもたらすことができる。さらに、膨張は、円形のカーネルを用いた１つ以上のサブ画像のコンボリューション（畳み込み積分）をもたらす。カーネルが１つ以上のサブ画像に対して走査されると、カーネルによって重ね合わせされた（オーバーラップされた）最大ピクセル値が見いだされ、ピクセル値が最大ピクセル値によって置き換えられる。また、膨張は、この動作と反対の動作を実行し、カーネル範囲のローカルミニマム（極小）を見いだすことを試みる。これにより、１つ以上のサブ画像内の明るい領域をより明るく（薄く）することができ、一方、暗い領域をより暗く（濃く)することができる。

収縮および膨張の適用の際に、さらに、画像処理モジュール２１６は、３ｘ３カーネルのメディアンを用いた２次元画像鮮明化フィルターを用いて、１つ以上のサブ画像を鮮明化してもよい。このステップは、１つ以上のサブ画像からノイズを除去する一方、エッジの鮮明化に有用である。本発明の実施形態によれば、画像鮮明化フィルターとして用いられるカーネルは、以下で与えられる。
Ｉｍａｇｅ［ｆｘ］［ｆｙ］＝ｉｎｐｕｔＰｉｘｅｌＶａｌｕｅ［ｘ＋ｆｘ−ｅｄｇｅｘ］［ｙ＋ｆｙ−ｅｄｇｅｙ］
ここで、ｅｄｇｅｘ＝窓の幅／２（window width/2）であり、ｅｄｇｅｙ＝窓の高さ／２（window height/2）である。

続いて、画像処理モジュール２１６は、３ｘ３ガウシアンカーネルを用いた２次元平滑化フィルターを用いて、１つ以上のサブ画像を平滑化するよう、さらに構成されていてもよい。ガウシアンカーネルを用いることは、１つ以上のサブ画像から、画像取得ユニット１０８の動き（モーション）に起因するボケ（blur）を低減させるために有用である。本発明の実施形態によれば、用いられるガウシアン関数は、以下で与えられる。

ここで、ｘは横軸における原点からの距離であり、ｙは縦軸における原点からの距離であり、αは標準偏差である。

１つ以上のサブ画像の平滑化および１つ以上のサブ画像からのボケの低減に続いて、装置１０２の検出モジュール２１４は、複数のサブ画像から１つ以上の特徴を抽出することにより、複数のサブ画像から近距離オブジェクトおよび遠距離オブジェクトを検出してもよい。検出モジュール２１４は、さらに、抽出した１つ以上の特徴に基づいて、複数のサブ画像のそれぞれに関連付けられた勾配を算出するために、複数のサブ画像のそれぞれを同時に処理してもよい。実施形態の１つにおいて、３つの異なるＲＯＩｓ（ＲＯＩ１、ＲＯＩ２およびＲＯＩ３）に関連付けられた勾配を算出するため、３つの異なる窓サイズが同時に処理されてもよい。実施形態によれば、１次元微分マスクが水平方向及び垂直方向に走査されてもよい。さらに、画像データの強度チャンネルが、以下で与えられるカーネルを用いてフィルタリングされる。

さらに、検出モジュール２１４は、算出された勾配に関連付けられた値に基づいて、配向ベースのヒストグラムチャンネルの重みづけ票を投じることにより、セルヒストグラムを生成してもよい。セルヒストグラムは矩形状の複数のセルを含み、チャンネルのヒストグラムは９つのヒストグラムチャンネルを用いた符号なしの勾配（unsigned gradient）を用いて１８０度の横軸（０〜１８０度の横軸）上に、配置される。

さらに、装置１０２の検出モジュール２１４は、明るさおよびコントラストの変化の影響を低減するため、勾配強度（gradient strength）を正規化してもよい。勾配強度を正規化するため、空間的ブロック内において複数のセルのセルがグループ化される。本発明の実施形態によれば、勾配が算出されたＲＯＩｓ（サブ画像）のそれぞれ用に、ＲＯＩに対して特有（固有）な窓サイズに勾配値が分け与えられる。例示的な例の１つにおいて、ＲＯＩ１用に、１２８ｘ６４ピクセルの窓サイズが使用され、勾配値が１６ｘ１６ピクセルのブロックに分け与えられ、８ｘ８ピクセルの４つのセルが順にブロック内に収納され、各セルに９つのヒストグラムビン値（histogram bin values）が順に収納される。よって、最終的に、３６の重みづけビン値（weighted bin values）が算出され、３７８０のディスクリプタ値（descriptor values）を生成する１０５のブロックと乗算される。よって、ＲＯＩｓのそれぞれおよび窓サイズ用に上述の方法の処理を実行することにより、検出モジュール２１４は、各窓の勾配を別々に算出する従来の方法と比較して、処理スピードを大幅に改善することができる。さらに、３つの異なるＲＯＩｓに関連付けられた勾配を算出するために３つの異なる窓サイズを同時に処理することにより、本発明による配向勾配の強調ヒストグラム（EHOG: Enhanced Histogram of Oriented Gradients）の考え方（コンセプト）が開示される。よって、３つの異なる窓サイズを同時に処理することにより、ＥＨＯＧは、配向勾配のヒストグラム（HOG: Histogram of Oriented Gradients）の制限、すなわち、同時に１つの窓サイズしか処理できないという制限を克服することができる。さらに、ブロック正規化は、以下の正規化ファクターを用いた検出モジュールによって実行されてもよい。

正規化の後、装置１０２の検出モジュール２１４は、近距離オブジェクトおよび遠距離オブジェクトを歩行者カテゴリーまたは車両カテゴリーに分類するため、複数のサブ画像に対し、サポートベクターマシーン（ＳＶＭ）線型分類器を適用する。実施形態において、ＳＶＭ学習は、上述の複数の窓サイズの１つのサイズにトリミングされている関心のあるオブジェクト（例えば、車両）の画像を含むサンプルを用いて実行される。さらに、検出モジュール２１４は、以下の式を用いて、各窓サイズおよび各ＲＯＩ用に、効率的に１つ以上のオブジェクト画像を同時に分類してもよい。

ここで、Ｘｉは配向勾配のヒストグラム（ＨＯＧ）の特徴ベクトルであり、ＹｉはＳＶＭ学習済データの特徴ベクトルであり、Ｎはブロック毎のサンプルの数であり、Ｍ１は１２８ｘ６４の窓毎のブロックの数であり、Ｍ２は６４ｘ６４の窓毎のブロックの数であり、Ｍ３は３２ｘ３２の窓毎のブロックの数である。ＳＶＭ学習済データは、所定のカテゴリーとして分類されたオブジェクトに関連付けられた所定の特徴を含む。（画像取得ユニット１０８によって取得された画像の）オブジェクトが検出され、カテゴリーに分類されるとき、ＳＶＭ分類器は、オブジェクトの１つ以上の特徴と、ＳＶＭ学習済データの所定の特徴とを比較する。比較に基づいて、オブジェクトが近距離オブジェクトおよび遠距離オブジェクトとして検出され、同時に、オブジェクトがカテゴリー毎に分類される。上述の式により、分類のため、３つの異なる大きさの窓が同時に処理される。これにより、演算の複雑性における（on the computational complexity）主要なオーバーヘッド（overhead:作業そのものに必要なコストとは別の付帯的コスト）なしに、カテゴリー（すなわち、歩行者、車両）へのオブジェクトのマルチスケール分類を保証することができる。本分野における当業者であれば、ＳＶＭ学習済データの所定の特徴に基づいて、オブジェクトがその他のカテゴリー（歩行者または車両以外）に分類されてもよいことは理解できるであろう。例えば、カテゴリー「歩行者」用の所定の特徴は、手、眼、足等である。同様に、カテゴリー「車両」用の所定の特徴は、ナンバープレート、車輪、ハンドル等である。

図４には、本発明の実施形態に係る車両の経路上の多数の範囲における複数のオブジェクトを同時に検出するための方法が図示されている。方法４００は、コンピューター実行可能命令の一般的なコンテキストにおいて説明される。一般的に、コンピューター実行可能命令は、特定の機能を実行するか特定の抽象データ型を実装するルーチン、プログラム、オブジェクト、コンポーネント、データ構造、プロシージャー、モジュール、ファンクション等を含む。また、方法４００は、通信ネットワークを介してリンクされる遠隔処理装置によって機能が実行される分散型演算環境（distributed computing environment）において実行されてもよい。分散型演算環境において、コンピューター実行可能命令は、ローカルおよび遠隔双方の演算ストレージ媒体（例えば、メモリストレージ装置）内に位置していてもよい。

ここに説明される方法４００の順番は、限定と解釈される意図はなく、説明される方法の任意の数のブロックが方法４００および代替的な方法を実施するために用いられてもよい。さらに、ここに説明される本発明の原理および範囲から逸脱しない範囲において、各ブロックを方法４００から削除することができる。さらに加えて、該方法は、任意の適したハードウェア、ソフトウェア、ファームウェアまたはこれらの組み合わせによって実施されてもよい。しかしながら、説明の簡易化のため、以下に説明する本実施形態では、方法４００は、上述の装置１０２において実行されるものとする。

ブロック４０２において、車両の経路上に現れたオブジェクトに対応する画像が受信される。受信された画像は、車両に設置された画像取得ユニットによって取得される。

ブロック４０４において、受信された画像は、関心のある領域（ＲＯＩｓ）を示す複数のサブ画像に分割される。さらに、複数のサブ画像のそれぞれは、車両からオブジェクトまでの距離に基づいて算出されたピクセルの矩形窓の形態をとる。複数のサブ画像は、画像からノイズを除去し、画像から個々の要素を分離し、画像の非接続部分を結合し、画像のエッジを鮮明化し、さらに、平滑化フィルターを用いて画像を平滑化するために、さらに処理される。

ブロック４０６において、ブロック４０６Ａ〜４０６Ｅに示されるステップを実行することにより、近距離オブジェクトおよび遠距離オブジェクトが複数のサブ画像から検出される。

ブロック４０６Ａにおいて、１つ以上の特徴が、複数のサブ画像から抽出される。

ブロック４０６Ｂにおいて、抽出した１つ以上の特徴に基づいて、複数のサブ画像のそれぞれに関連付けられた勾配を算出するために、複数のサブ画像のそれぞれが同時に処理される。

ブロック４０６Ｃにおいて、勾配に関連付けられた値に基づいて、配向ベースのヒストグラムチャンネルの重みづけ票を投じることにより、複数のセルを含むセルヒストグラムが生成される。

ブロック４０６Ｄにおいて、複数のサブ画像を正規化するために、空間的ブロック内において複数のセルのセルをグループ化することにより、算出された配向が正規化される。

ブロック４０６Ｅにおいて、近距離オブジェクトおよび遠距離オブジェクトを検出し、カテゴリーに分類するため、正規化の後、サポートベクターマシーン（ＳＶＭ）線型分類器が複数のサブ画像に適用される。

複数のオブジェクトを検出するための方法および装置の実施が、構造的特徴および／または方法を特定する説明において説明されたが、添付の特許請求の範囲は説明された特定の特徴または方法に必ずしも限定されないことは理解されるであろう。また、特定の特徴および方法が、近距離および遠距離における複数のオブジェクトを同時に検出するための実施形態の例として開示された。

Claims (10)

1. 車両の経路上の多数の範囲における複数のオブジェクトを同時に検出するための方法であって、
   プロセッサーによって、前記車両の前記経路上に現れた複数のオブジェクトに対応する入力として、画像を受信する工程と、
   前記プロセッサーによって、前記画像を、前記車両から前記オブジェクトまでの距離に基づいて算出されたピクセルの矩形窓の形態をとり、関心のある領域（ＲＯＩｓ）を示す複数のサブ画像に分割する工程と、
   ノイズを低減するため、前記複数のサブ画像から個々の複数の要素を分離するため、複数の非接続部分を結合するため、前記複数のサブ画像の少なくとも１つのエッジを鮮明化するため、および少なくとも１つの平滑化フィルターを用いて前記複数のサブ画像を平滑化するための少なくとも１つのために、前記プロセッサーによって、前記複数のサブ画像を処理する工程と、
   前記プロセッサーによって、前記複数のサブ画像から、静止している状態および動いている状態の少なくとも一方にある近距離オブジェクトおよび遠距離オブジェクトを検出する工程と、を含み、
   前記近距離オブジェクトおよび前記遠距離オブジェクトを検出する工程は、
   前記複数のサブ画像を処理する工程において前記複数のサブ画像を複数の様々な段階で処理した後に、前記複数のサブ画像から１つ以上の特徴を抽出する工程と、
   前記複数のサブ画像の抽出した前記１つ以上の特徴を、前記車両から前記オブジェクトまでの前記検出された距離に基づいて、複数の関心のある領域（ＲＯＩｓ）にスライスする工程と、
   抽出した前記１つ以上の特徴に基づいて、前記複数のサブ画像のそれぞれに関連付けられた勾配を算出するために、前記複数のサブ画像のそれぞれを同時に処理する工程であって、
   バイリニア補間法を用いて、前記複数のサブ画像を拡大する工程と、
   前記複数のサブ画像に対し、収縮処理を適用し、さらに、カーネルを用いて前記複数のサブ画像をコンボリューションすることにより、前記複数のサブ画像を膨張させる膨張処理を前記複数のサブ画像に対し適用する工程と、
   前記車両から前記オブジェクトまでの前記検出された距離に基づいて、前記複数のサブ画像の内の１つ以上のサブ画像を補間する工程と、を含む前記複数のサブ画像のそれぞれを同時に処理する工程と、
   算出した前記勾配に関連付けられた値に基づいて、配向ベースのヒストグラムチャンネルの重みづけ票を投じることにより、複数のセルを含むセルヒストグラムを生成する工程と、
   前記複数のサブ画像を正規化し、前記複数のサブ画像の明るさおよびコントラストの変化を低減するため、空間的ブロック内において前記複数のセルのセルをグループ化することにより算出された前記勾配を正規化する工程と、
   前記近距離オブジェクトおよび前記遠距離オブジェクトを検出し、前記近距離オブジェクトおよび前記遠距離オブジェクトを歩行者カテゴリーまたは車両カテゴリーに分類するため、前記正規化の後、前記複数のサブ画像に対しサポートベクターマシーン（ＳＶＭ）線型分類器を適用する工程と、により実行されることを特徴とする方法。
2. 前記画像は、前記車両の１つ以上の画像取得ユニットにより取得される請求項１に記載の方法。
3. 前記近距離オブジェクトおよび前記遠距離オブジェクトは、前記車両から０〜Ｎメートルの範囲内において、それぞれ、Ｘメートル以下およびＸ〜Ｎメートルの範囲内に位置する請求項１に記載の方法。
4. 前記複数のサブ画像のそれぞれは、前記車両から前記オブジェクトまでの距離の所定の範囲に基づいて、特定のＲＯＩ用に規定される請求項１に記載の方法。
5. 前記ＳＶＭ線型分類器は、以下の式を用いて、前記オブジェクトを前記近距離オブジェクトカテゴリーまたは前記遠距離オブジェクトカテゴリーに分類し、
   

   

   上記式中、Ｘｉは勾配のヒストグラム（ＨＯＧ）の特徴ベクトルを示し、ＹｉはＳＶＭ学習済データの特徴ベクトルを示し、
   前記ＳＶＭ学習済データは、所定のカテゴリーに分類された前記オブジェクトに関連付けられた所定の特徴を含み、
   前記分類する工程は、前記１つ以上の特徴と、前記ＳＶＭ学習済データの前記所定の特徴とを比較する工程をさらに含む請求項１に記載の方法。
6. 車両の経路上の多数の範囲における複数のオブジェクトを同時に検出するための装置１０２であって、
   プロセッサー２０２と、
   前記プロセッサー２０２に接続されたメモリ２０６と、を含み、
   前記プロセッサー２０２は、前記メモリ２０６内に保存された複数のモジュール２０８を実行し、前記複数のモジュール２０８は、
   前記車両の前記経路上に現れた複数のオブジェクトに対応する入力として、画像を受信する受信モジュール２１０と、
   前記画像を、前記車両から前記オブジェクトまでの距離に基づいて算出されたピクセルの矩形窓の形態をとり、関心のある領域（ＲＯＩｓ）を示す複数のサブ画像に分割する分割モジュール２１２と、
   ノイズを低減するため、前記複数のサブ画像から個々の複数の要素を分離するため、複数の非接続部分を結合するため、前記複数のサブ画像の少なくとも１つのエッジを鮮明化するため、および少なくとも１つの平滑化フィルターを用いて前記複数のサブ画像を平滑化するための少なくとも１つのために、前記複数のサブ画像を処理する画像処理モジュール２１６と、
   前記複数のサブ画像から、静止している状態および動いている状態の少なくとも一方にある近距離オブジェクトおよび遠距離オブジェクトを検出する検出モジュール２１４と、を含み、
   前記検出モジュール２１４による前記近距離オブジェクトおよび前記遠距離オブジェクトの検出は、
   前記複数のサブ画像を処理する工程において前記複数のサブ画像を複数の様々な段階で処理した後に、前記複数のサブ画像から１つ以上の特徴を抽出する工程と、
   前記複数のサブ画像の抽出した前記１つ以上の特徴を、前記車両から前記オブジェクトまでの前記検出された距離に基づいて、複数の関心のある領域（ＲＯＩｓ）にスライスする工程と、
   抽出した前記１つ以上の特徴に基づいて、前記複数のサブ画像のそれぞれに関連付けられた勾配を算出するために、前記複数のサブ画像のそれぞれを同時に処理する工程であって、
   バイリニア補間法を用いて、前記複数のサブ画像を拡大する工程と、
   前記複数のサブ画像に対し、収縮処理を適用し、さらに、カーネルを用いて前記複数のサブ画像をコンボリューションすることにより、前記複数のサブ画像を膨張させる膨張処理を前記複数のサブ画像に対し適用する工程と、
   前記車両から前記オブジェクトまでの前記検出された距離に基づいて、前記複数のサブ画像の内の１つ以上のサブ画像を補間する工程と、を含む前記複数のサブ画像のそれぞれを同時に処理する工程と、
   算出した前記勾配に関連付けられた値に基づいて、配向ベースのヒストグラムチャンネルの重みづけ票を投じることにより、複数のセルを含むセルヒストグラムを生成する工程と、
   前記複数のサブ画像を正規化し、前記複数のサブ画像の明るさおよびコントラストの変化を低減するため、空間的ブロック内において前記複数のセルのセルをグループ化することにより算出された前記勾配を正規化する工程と、
   前記近距離オブジェクトおよび前記遠距離オブジェクトを検出し、前記近距離オブジェクトおよび前記遠距離オブジェクトを歩行者カテゴリーまたは車両カテゴリーに分類するため、前記正規化の後、前記複数のサブ画像に対しサポートベクターマシーン（ＳＶＭ）線型分類器を適用する工程と、により実行されることを特徴とする装置１０２。
7. 前記画像は、前記車両の１つ以上の画像取得ユニットによって取得される請求項６に記載の装置１０２。
8. 前記近距離オブジェクトおよび前記遠距離オブジェクトは、前記車両から０〜Ｎメートルの範囲内において、それぞれ、Ｘメートル以下およびＸ〜Ｎメートルの範囲内に位置する請求項６に記載の装置１０２。
9. 前記複数のサブ画像のそれぞれは、前記車両から前記オブジェクトまでの距離の所定の範囲に基づいて、特定のＲＯＩ用に規定され、
   ２０メートル以下の前記オブジェクトの前記距離は、ＲＯＩ１に該当する請求項６に記載の装置１０２。
10. 車両の経路上の多数の範囲における複数のオブジェクトを同時に検出するために演算装置において実行可能なプログラムを具体化する非一時的コンピューター可読媒体であって、前記プログラムは、
    前記車両の前記経路上に現れた複数のオブジェクトに対応する入力として、画像を受信するためのプログラムコードと、
    前記画像を、前記車両から前記オブジェクトまでの距離に基づいて算出されたピクセルの矩形窓の形態をとり、関心のある領域（ＲＯＩｓ）を示す複数のサブ画像に分割するためのプログラムコードと、
    ノイズを低減するため、前記複数のサブ画像から個々の複数の要素を分離するため、複数の非接続部分を結合するため、前記複数のサブ画像の少なくとも１つのエッジを鮮明化するため、および少なくとも１つの平滑化フィルターを用いて前記複数のサブ画像を平滑化するための少なくとも１つのために、前記複数のサブ画像を処理するためのプログラムコードと、
    前記複数のサブ画像から、静止している状態および動いている状態の少なくとも一方にある近距離オブジェクトおよび遠距離オブジェクトを検出するためのプログラムコードと、を含み、
    前記近距離オブジェクトおよび前記遠距離オブジェクトの検出は、
    前記複数のサブ画像に対する処理において前記複数のサブ画像を複数の様々な段階で処理した後に、前記複数のサブ画像から１つ以上の特徴を抽出する工程と、
    抽出した前記１つ以上の特徴に基づいて、前記複数のサブ画像のそれぞれに関連付けられた勾配を算出するために、前記複数のサブ画像のそれぞれを同時に処理する工程であって、
    バイリニア補間法を用いて、前記複数のサブ画像を拡大する工程と、
    前記複数のサブ画像に対し、収縮処理を適用し、さらに、カーネルを用いて前記複数のサブ画像をコンボリューションすることにより、前記複数のサブ画像を膨張させる膨張処理を前記複数のサブ画像に対し適用する工程と、
    前記車両から前記オブジェクトまでの前記検出された距離に基づいて、前記複数のサブ画像の内の１つ以上のサブ画像を補間する工程と、を含む前記複数のサブ画像のそれぞれを同時に処理する工程と、
    算出した前記勾配に関連付けられた値に基づいて、配向ベースのヒストグラムチャンネルの重みづけ票を投じることにより、複数のセルを含むセルヒストグラムを生成する工程と、
    前記複数のサブ画像を正規化し、前記複数のサブ画像の明るさおよびコントラストの変化を低減するため、空間的ブロック内において前記複数のセルのセルをグループ化することにより算出された前記勾配を正規化する工程と、
    前記近距離オブジェクトおよび前記遠距離オブジェクトを検出し、前記近距離オブジェクトおよび前記遠距離オブジェクトを歩行者カテゴリーまたは車両カテゴリーに分類するため、前記正規化の後、前記複数のサブ画像に対しサポートベクターマシーン（ＳＶＭ）線型分類器を適用する工程と、により実行されることを特徴とする非一時的コンピューター可読媒体。

Images