JP5959682B2 - オブジェクトと車両との間の距離を算出するためのシステムおよび方法 - Google Patents

Description

関連出願への相互参照および優先権
本発明は、２０１４年４月７日に出願されたインド国仮特許出願第１２９７／ＭＵＭ／２０１４号を基礎とする優先権を主張する。該インド国仮特許出願の開示内容の全ては、参照により、本明細書に組み込まれる。

ここに詳述される本発明は、一般に、画像処理のためのシステムおよび方法に関し、より具体的には、画像処理を用いて、車両の経路内に現れたオブジェクトと車両との間の距離を算出するためのシステムおよび方法に関する。

今日のデジタル世界の時代では、多様に異なる運転条件におけるドライバーを支援し、それにより運転の安全性を確保するために、様々なデジタルシステムが車両内に集積または設けられている。このようなデジタルシステムとしては、これに限定されるものではないが、ステレオカメラやセンサー等が挙げられる。交通事故の原因となりうる要因の１つは、ドライバーの視野範囲の減少にある。そのような交通事故を克服するため、デジタルシステムは、車両周辺およびドライバーの運転動作を絶えず監視し、潜在的に危険な状況を早期に検出する。危機的な運転条件においては、そのようなデジタルシステムはドライバーに警告を発し、能動的にドライバーを支援し、もし必要であれば、衝突を回避、または衝突や事故の結果の重大さを軽減する試みに自動的に介入する。

ドライバーの安全を確保するために車両内で採用される安全装置の１つは、ドライバーに通知することによって衝突や事故を回避するために、車両の近辺に位置するオブジェクトの画像を取得し、それにより、オブジェクトと車両との間の距離を算出する従来のステレオカメラベースのシステムを含む。しかしながら、従来のステレオカメラベースのシステムは、車両から近い距離に位置するオブジェクトを検出することしかできず、そのため、車両の現在地からより離れた距離に位置するオブジェクトに対応した適切な視差（disparity）を見いだすことが困難という制限を有している。

本発明のシステムおよび方法を説明する前に、本開示においては明確に説明されない多数の可能な実施形態が存在し得ることから、本発明は説明される特定のシステムおよび方法に限定されないことは理解されるであろう。また、本説明において用いられる専門用語は、特定のバージョンまたは実施形態の説明のためにのみ用いられるものであって、本発明の権利範囲を限定するものではない。本概要は、車両の経路内に現れたオブジェクトと車両との間の距離を算出することに関するコンセプト（考え方）を説明するために提供されるものであって、該コンセプトは、以下の詳細な説明においてさらに説明される。本概要は、本発明の本質的特徴を特定するものではなく、また、本発明の権利範囲を決定または限定するために用いられるものではない。

実施形態の１つにおいて、車両の経路内に現れたオブジェクトと車両との間の距離を算出するためのシステムが開示される。１つの様態において、システムはプロセッサーと、該プロセッサーに接続されたメモリとを含む。プロセッサーは、メモリ内に存在する複数のモジュールを実行することができる。複数のモジュールは、画像取得モジュールと、関心のある領域（ＲｏＩ：Region of Interest）判別モジュールと、補間モジュールと、マッチングモジュールと、距離算出モジュールとを含む。画像取得モジュールは、ステレオ画像取得ユニットを用いて、左画像および右画像を取得する。関心のある領域（ＲｏＩ）判別モジュールは、所定の特徴記述子テーブル（pre-defined feature descriptor table）に基づいて、左画像および右画像内に存在するオブジェクトを検出する。所定の特徴記述子テーブルは、複数のオブジェクトと、該複数のオブジェクトの複数の窓サイズと、複数のオブジェクトと車両との間の距離の所定の複数の範囲とを含む。ＲｏＩ判別モジュールは、さらに、左画像および右画像内の関心のある領域（ＲｏＩｓ）を判別する。補間モジュールは、左画像および右画像にそれぞれ対応するＲｏＩｓの左重心および右重心を算出する。補間モジュールは、さらに、所定の特徴記述子テーブルに基づいて、左重心および右重心をそれぞれ補間することにより、左サブピクセル画像および右サブピクセル画像を生成する。実施形態の１つにおいて、左重心および右重心は、検出されたオブジェクトの種類および窓サイズに基づいて補間される。例えば、左画像および右画像内におけるオブジェクトが、「範囲１」内の「車両」であると検出されると（ここで、「範囲１」とは、検出されたオブジェクトに対応する窓サイズを示す。すなわち、車両は１２８×６４ピクセルである。）、その後、左重心および右重心を補間することにより、左サブピクセル画像および右サブピクセル画像が生成される。ここで、左重心および右重心は、所定の特徴記述子テーブルから決定された０．５サブピクセル解像度を用いて補間される。マッチングモジュールは、左サブピクセル画像内の参照重心（reference centroid）に対応する右サブピクセル画像のターゲット重心（target centroid）を判別するために、ブロックマッチング技術を用いて、生成された左サブピクセル画像および右サブピクセル画像をさらに処理する。距離算出モジュールは、ターゲット重心と参照重心との差、ステレオ画像取得ユニットの焦点距離、およびステレオ画像取得ユニットのベースライン（base line）を用いた三角測量技術に基づいて、オブジェクトと車両との間の距離を算出する。

異なる実施形態において、車両の経路内に現れたオブジェクトと車両との間の距離を算出するための方法が開示される。該距離を算出するため、最初に、ステレオ画像取得ユニットを用いて、左画像および右画像が取得される。左画像および右画像を取得した後、所定の特徴記述子テーブルに基づいて、左画像および右画像内に存在するオブジェクトが検出される。１つの様態において、所定の特徴記述子テーブルは、複数のオブジェクトと、該複数のオブジェクトの複数の窓サイズと、窓サイズに基づく複数のオブジェクトと車両との間の距離の対応する所定の複数の範囲とを含む。オブジェクトの検出に続いて、左画像および右画像内において、関心のある領域（ＲｏＩｓ）が判別される。ＲｏＩｓの判別後、左画像および右画像にそれぞれ対応するＲｏＩｓの左重心および右重心が算出される。左重心および右重心の算出の後、所定の特徴記述子テーブルに基づいて、左重心および右重心をそれぞれ補間することによって、左サブピクセル画像および右サブピクセル画像が生成される。実施形態の１つにおいて、左重心および右重心は、検出したオブジェクトの種類および窓サイズに基づいて補間される。例えば、左画像および右画像内におけるオブジェクトが、「範囲１」内の「車両」であると検出されると（ここで、「範囲１」とは、検出されたオブジェクトに対応する窓サイズを示す。すなわち、車両は１２８×６４ピクセルである。）、その後、左重心および右重心を補間することによって左サブピクセル画像および右ピクセル画像が生成される。ここで、左重心および右重心は、所定の特徴記述子テーブルから決定された０．５サブピクセル解像度を用いて補間される。続いて、左サブピクセル画像内の参照重心に対応する右サブピクセル画像のターゲット重心を判別するため、ブロックマッチング技術を用いて、左サブピクセル画像および右ピクセル画像が処理される。ターゲット重心が判別されると、ターゲット重心と参照重心との差、ステレオ画像取得ユニットの焦点距離、およびステレオ画像取得ユニットのベースラインを用いた三角測量技術に基づいて、オブジェクトと車両との間の距離が算出される。１つの様態において、オブジェクトと車両との間の距離を算出するための前述の方法は、メモリ内に保存されているプログラムされた命令を実行するプロセッサーを用いて実行される。

さらに別の実施形態において、車両の経路内に現れたオブジェクトと車両との間の距離を算出するために演算装置において実行可能なプログラムを具体化(embodying)する非一時的コンピューター可読媒体（non-transitory computer readable medium）が開示される。該プログラムは、ステレオ画像取得ユニットを用いて左画像および右画像を取得するためのプログラムコードを含む。該プログラムは、所定の特徴記述子テーブルに基づいて、左画像および右画像内に存在するオブジェクトを検出するためのプログラムコードを含む。ここで、所定の特徴記述子テーブルは、複数のオブジェクトと、該複数のオブジェクトの複数の窓サイズと、複数の窓サイズに対応する複数のオブジェクトと車両との間の距離の所定の複数の範囲とを含む。該プログラムは、左画像および右画像内の関心のある領域（ＲｏＩｓ）を判別するためのプログラムコードを含む。プログラムコードは、左画像および右画像にそれぞれ対応するＲｏＩｓの左重心および右重心を算出するためのプログラムコードを含む。該プログラムは、所定の特徴記述子テーブルに基づいて、左重心および右重心をそれぞれ補間することによって、左サブピクセル画像および右サブピクセル画像を生成するためのプログラムコードを含む。実施形態の１つにおいて、左重心および右重心は、検出したオブジェクトの種類および窓サイズに基づいて補間される。例えば、左画像および右画像内におけるオブジェクトが、「範囲１」内の「車両」であると検出されると（ここで、「範囲１」とは、検出されたオブジェクトに対応する窓サイズを示す。すなわち、車両は１２８×６４ピクセルである。）、その後、左重心および右重心を補間することによって左サブピクセル画像および右サブピクセル画像が生成される。ここで、左重心および右重心は、所定の特徴記述子テーブルから決定された０．５サブピクセル解像度によって補間される。該プログラムは、左サブピクセル画像内の参照重心に対応する右サブピクセル画像のターゲット重心を判別するため、ブロックマッチング技術を用いて、左サブピクセル画像および右サブピクセル画像を処理するためのプログラムコードを含む。該プログラムは、ターゲット重心と参照重心との差、ステレオ画像取得ユニットの焦点距離、およびステレオ画像取得ユニットのベースラインを用いた三角測量技術に基づいて、オブジェクトと車両との間の距離を算出するプログラムコードを含む。

実施形態の詳細な説明は、添付の図面と併せて参照されることによって、よりよく理解される。本発明の説明の目的のため、本発明の例示的な構成が本明細書に示されているが、本発明は、本明細書および図面に開示される特定の方法および装置に限定されるものではない。

添付の図面を参照して、本発明の詳細な説明が提供される。添付の図面中の各参照番号の左端の数字は、その参照番号が最初に現れる図番号を表している。各図面において、同様の特徴およびコンポーネントには、同じ参照番号が付されている。

図１は、本発明の実施形態に係る車両の経路内に現れたオブジェクトと車両との間の距離を算出するためのシステムのネットワーク実施を示す図である。

図２は、本発明の実施形態に係るシステムを示す図である。

図３は、本発明の実施形態に係るオブジェクトと車両との間の距離を算出するための方法を示す図である。

これら図面は、説明のためにのみ、本発明の様々な実施形態を示すものである。本分野における当業者であれば、以下の記述から、ここに説明される構造および方法の代替的な実施形態が、ここに説明される本発明の原理から解離することなく、実現可能であることは容易に理解できるであろう。

全ての特徴が説明された本発明のいくつかの実施形態が詳細に説明される。以下、「構成する」、「有する」、「含む」、「備える」およびそれらの他の形式は、同等な意味であり、これらの文言のいずれか１つに続く事項または複数の事項のオープンなリストであり、そのような事項に限定されるような排他的でクローズドなリストであるような意味ではなく、また、列挙された事項のみに限定されるという意味ではない。また、単数形“a”、“an”、“the”は、文脈が明確に示していなければ、複数形も含むことを留意されたし。ここで説明されるものと同等または対応する任意のシステムおよび方法は、本発明の実施形態の実施またはテストに使用することができ、典型例、システムおよび方法が以下に説明される。開示される実施形態は、様々な形態で実施可能な本発明の例示にすぎない。

本分野における当業者にとって、実施形態に対する様々な変更が可能であること、および、ここに説明される包括的原理（generic principles）がその他の実施形態に適用可能であることは容易に理解できるであろう。しかしながら、本分野における当業者であれば、本発明は説明される実施形態に限定されるものではなく、ここに説明される原理および特徴と一致する最も広い範囲と合致するものであることは容易に認識できるであろう。

車両の経路内に現れたオブジェクトと車両との間の距離を算出するためのシステムおよび方法が開示される。車両は、車両が運行中の間に車両経路の前方の車道領域内に現れ得る複数のオブジェクトの複数の画像を取得するためのステレオ画像取得ユニットを含む。ステレオ画像取得ユニットは、車両内に設けられている。ステレオ画像取得ユニットは、２つのカメラ、すなわち、左カメラおよび右カメラを含むことは理解されるであろう。左カメラと右カメラの双方は、複数の画像を取得することができる。実施形態の１つにおいて、複数の画像の内、左カメラによって取得された画像は、左画像と称される。一方、右カメラによって取得された画像は、右画像と称される。複数のオブジェクトの各オブジェクトは、車両からの様々な距離に位置していてもよいことは理解されるであろう。距離を算出するため、開示のシステムおよび方法は、左画像および右画像内に存在するオブジェクトをさらに検出する。１つの様態において、オブジェクトは、歩行者、車両、木のいずれか１つであると検出される。

オブジェクトを検出する際、左画像および右画像内において、関心のある領域（ＲｏＩ）が判別される。ＲｏＩは、配向勾配のヒストグラム（HOG: Histogram of Oriented Gradient）技術または配向勾配の強化ヒストグラム（EHOG: Enhanced Histogram of Oriented Gradient）を用いて判別されることは理解されるであろう。ＲｏＩの判別に続いて、ＲｏＩ内において、左画像と右画像の視差（disparity）が特定される。１つの様態において、視差は、ブロックマッチング技術を用いて左画像および右画像内のＲｏＩを補間することによって特定される。視差の特定の後、オブジェクトと車両との間の距離を算出するために、５次の多項式曲線フィッティングアプローチを用いた三角測量法が用いられる。ドライバーに、オブジェクトが算出された距離の車両の近辺に位置することを警告するため、該距離がディスプレイユニット上に表示され、ドライバーに通知される。警告は、衝突を回避し、または、衝突や事故の結果の重大性を軽減することを容易にする。よって、このような方法により、システムおよび方法は、オブジェクトと車両との間の距離を算出することができ、それにより、ドライバー支援および安全確保を容易とすることができる。

車両の経路内に現れたオブジェクトと車両との間の距離を算出するための前述のシステムおよび方法のいくつか様態が任意の数の異なる演算システム、環境および／または構成によって実施可能であるが、これら実施形態は以下の例示的なシステムのコンテキスト（context:文脈）の中で説明される。

図１を参照すると、本発明の実施形態に係る車両の経路内に現れたオブジェクトと車両との間の距離を算出するためのシステム１０２のネットワーク実施１００が示されている。１つの様態において、システム１０２は、ステレオ画像取得ユニット１０８を用いて、左画像および右画像を取得する。左画像および右画像を取得した後、システム１０２は、所定の特徴記述子テーブルに基づいて、左画像および右画像内に存在するオブジェクトを検出する。所定の特徴記述子テーブルは、複数のオブジェクトと、該複数のオブジェクトの複数の窓サイズと、複数のオブジェクトと車両との間の距離の所定の複数の範囲とを含む。オブジェクトの検出に続いて、システム１０２は、左画像および右画像内の関心のある領域（ＲｏＩｓ）を判別する。ＲｏＩｓの判別の後、システム１０２は、左画像および右画像にそれぞれ対応するＲｏＩｓの左重心および右重心を算出する。左重心および右重心の算出の後、システム１０２は、所定の特徴記述子テーブルに基づいて、左重心および右重心をそれぞれ補間することによって、左サブピクセル画像および右サブピクセル画像を生成する。続いて、システム１０２は、左サブピクセル画像内の参照重心に対応する右サブピクセル画像のターゲット重心を判別するため、ブロックマッチング技術を用いて、左サブピクセル画像および右サブピクセル画像を処理する。ターゲット重心が判別されると、システム１０２は、ターゲット重心と参照重心との差、ステレオ画像取得ユニット１０８の焦点距離、およびステレオ画像取得ユニット１０８のベースラインを用いた三角測量技術に基づいて、オブジェクトと車両との間の距離を算出する。

システム１０２が車両１０６内に実施されているものとして本発明を説明したが、システムは、様々な演算システム（例えば、ラップトップコンピューター、デスクトップコンピューター、ノートパソコン、ワークステーション、メインフレームコンピューター、サーバー、ネットワークサーバー、タブレット、携帯電話等）として実施されていてもよいことは理解されるであろう。さらに、サーバー１０４は、システム１０２の活動を追跡（トラッキング）してもよく、システム１０２は、ネットワーク１０４を介して、サーバーと通信可能に接続されている。

実施形態の１つにおいて、ネットワーク１０４は、無線ネットワーク、有線ネットワークまたはこれらの組み合わせであってもよい。ネットワーク１０４は、異なる種類のネットワーク（例えば、イントラネット、ローカエルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、インターネット等）のいずれか１つとして実施することができる。ネットワーク１０４は、専用ネットワークであってもよいし、共有ネットワークであってもよい。共有ネットワークは、異なる種類のネットワークの接続を意味し、様々なプロトコル（例えば、ハイパーテキストトランスファープロトコル（ＨＴＴＰ）、トランスミッションコントロールプロトコル／インターネットプロトコル（ＴＣＰ／ＩＰ）、ワイヤレスアプリケーションプロトコル（ＷＡＰ）等）を用いて、互いに通信する。さらに、ネットワーク１０４は、様々なネットワークデバイス（例えば、ルーター、ブリッジ、サーバー、演算装置、ストレージ装置等）を含んでいてもよい。

図２を参照すると、本発明の実施形態に係るシステム１０２が示されている。実施形態の１つにおいて、システム１０２は、少なくとも１つのプロセッサー２０２と、入力／出力（Ｉ／Ｏ）インターフェース２０４と、メモリ２０６とを含む。少なくとも１つのプロセッサー２０２は、１つ以上のマイクロプロセッサー、マイクロコンピューター、マイクロコントローラー、デジタル信号プロセッサー、中央演算装置（ＣＰＵ）、状態マシーン、論理回路および／または操作可能（operational）な命令に基づいて信号を操作する任意の装置として実施することができる。その他の機能の中でも、少なくとも１つのプロセッサー２０２は、メモリ２０６内に保存されているコンピューター可読命令をフェッチ（fetch:命令コードを読み出すこと）し、実行するよう構成されている。

Ｉ／Ｏインターフェース２０４は、様々なソフトウェアインターフェースおよびハードウェアインターフェース（例えば、ウェブインターフェース、グラフィックユーザーインターフェース等）を含む。Ｉ／Ｏインターフェース２０４は、システム１０２がユーザーと直接またはクライアント装置１０４を介して相互通信することを可能とする。さらに、Ｉ／Ｏインターフェース２０４は、システム１０２がその他の演算装置（例えば、ウェブサーバーおよび外部データサーバー）（図示せず）と通信を行うことを可能とする。Ｉ／Ｏインターフェース２０４は、有線ネットワーク（例えば、ＬＡＮ、ケーブル等）および無線ネットワーク（例えば、ＷＬＡＮ、セルラー、衛星等）を含む広範な種類のネットワークおよびプロトコル内での多数の通信を容易にする。Ｉ／Ｏインターフェース２０４は、多数の装置を互いにまたは他のサーバーに接続するための１つ以上のポートを含む。

メモリ２０６は、本分野において既知の任意のコンピューター可読媒体およびコンピュータープログラム製品（例えば、静的ランダムアクセスメモリ（ＳＲＡＭ）や動的ランダムアクセスメモリ（ＤＲＡＭ）等の揮発性メモリおよび／またはリードオンリーメモリ（ＲＯＭ）、消去可能プログラム可能ＲＯＭ（ＥＰＲＯＭ）、フラッシュメモリ、ハードディスク、光学ディスク、および磁気テープ等の不揮発性メモリ）を含む。メモリ２０６は、モジュール２０８と、データ２１０とを含む。

モジュール２０８は、特定のタスクを実行または特定の抽象データ型（abstract data type）を実装するルーチン（routine）、プログラム、オブジェクト、コンポーネント、データ構造等を含む。実施形態の１つにおいて、モジュール２０８は、画像取得モジュール２１２、関心のある領域（ＲｏＩ）判別モジュール２１４、補間モジュール２１６、マッチングモジュール２１７、距離算出モジュール２１８、ディスプレイモジュール２２０、およびその他モジュール２２２とを含む。その他モジュール２２２は、システム１０２のアプリケーションおよび機能を補完するプログラムまたはコード化命令を含んでいる。ここで説明されるモジュール２０８は、システム１０２のクラウドベース演算環境（cloud-based computing environment）において実行されるソフトウェアモジュールとして実施されていてもよい。

とりわけ、データ２１０は、１つ以上のモジュール２０８によって処理され、受信され、生成されたデータを保存するためのレポジトリ（repository：データやプログラム等の一元的な保存場所）として機能する。また、データ２１０は、システムデータベース２２４と、その他データ２２６とを含む。その他データ２２６は、その他モジュール２２２内の１つ以上のモジュールの実行による結果として生成されたデータを含む。

複数のオブジェクトが運行中の車両の経路内に現れ得ることが確認されている。また、車両の現在位置からの様々な距離に、複数のオブジェクトが位置し得ることは理解されるであろう。オブジェクトのいくつかは、車両１０６が走っている道路の両側に位置している一方、その他のいくつかのオブジェクトは、車両１０６の前方の道路内に位置している。さらに、車両１０６のドライバーは、運転中に注意散漫となり、事故の原因となる集中力の欠如を引き起こすことがあることが確認されている。このような注意散漫は、道路脇に位置する看板や広告掲示板の存在によって引き起こされ得る。そのような注意散漫による事故の発生を回避するため、システム１０２は、リアルタイム警告によってドライバーに警告を行うことを容易にする。警告は、車両１０６の経路内にオブジェクトが現れていることを示す。システム１０２は、オブジェクトから所定の距離において、警告を生成する。警告を生成するため、経路内に現れたオブジェクトと車両１０６との間の距離を算出する必要がある。該距離を算出するための詳細な実施形態が以下に説明される。

実施形態の１つにおいて、最初に、ユーザーは、警告を生成するために、クライアント装置を用いて、Ｉ／Ｏインターフェース２０４を介してシステム１０２にアクセスする。ユーザーは、システム１０２を使用するため、Ｉ／Ｏインターフェース２０４を用いて、自身を登録する。１つの様態において、ユーザーは、車両１０６の経路内に現れたオブジェクトと車両１０６との間の距離を算出するため、システム１０２のＩ／Ｏインターフェース２０４にアクセスする。距離を算出するため、システム１０２は、画像取得モジュール２１２と、ＲｏＩ判別モジュール２１４と、補間モジュール２１６と、マッチングモジュール２１７と、距離算出モジュール２１８と、ディスプレイモジュール２２０とを含む。これら複数のモジュールの詳細な動作は、以下に説明される。

最初に、画像取得ユニット２１２は、車両１０６に設けられたステレオ画像取得ユニット１０８を用いて、左画像および右画像を取得する。ステレオ画像取得ユニット１０８は、左カメラおよび右カメラを含むことは理解されるであろう。左カメラは、以下、左画像と称される画像を取得可能であり、右カメラは、以下、右画像と称される画像を取得可能である。１つの様態において、左画像および右画像は、車両１０６が走っている経路上に存在する複数のオブジェクトを含む。複数のオブジェクトの例としては、これに限られるものではないが、歩行者、車両、木が挙げられる。左画像および右画像内に存在する複数のオブジェクトは、車両１０６からの異なる範囲または様々な距離に位置していてもよい。ステレオ画像取得ユニット１０８によって取得された複数のオブジェクトは、ここに参照によって組み込まれるインド国特許出願第７９４／ＭＵＭ／２０１４号に開示の方法に基づいて検出されることは理解されるであろう。

複数の画像の取得の際、ＲｏＩ判別モジュール２１４は、複数の画像のうち、左画像および右画像内に存在するオブジェクトを検出する。オブジェクトは、所定の特徴記述子テーブルに基づいて検出される。所定の特徴記述子テーブルは、複数のオブジェクトと、該複数のオブジェクトの複数の窓サイズと、複数のオブジェクトと車両との間の距離の所定の複数の範囲とを含む。所定の特徴記述子テーブルは、複数のオブジェクトおよび複数のオブジェクトの複数の窓サイズに基づく所定の複数の範囲を保存していることは理解されるであろう。例えば、オブジェクトが、１２８×６４の窓サイズを有する「車両」であると検出されると、車両は２０メートル未満の範囲（範囲１）に位置することになる。同様に、６４×６４の窓サイズは、２０〜５０メートルの範囲（範囲２）におおよそ対応し、さらに、３２×３２の窓サイズは、５０メートルを超える範囲（範囲３）におおよそ対応する。１つの様態において、ＲｏＩ判別モジュール２１４は、オブジェクトの窓サイズに基づいて、オブジェクトが歩行者または車両のいずれであるのかを検出する。同様に、オブジェクトが６４×１２８の窓サイズを有する「歩行者」であると検出されると、歩行者は１５メートル未満の範囲（範囲１）に位置することとなる。同様に、３２×６４の窓サイズは、１５〜３０メートルの範囲（範囲２）におおよそ対応し、さらに、３２×３２の窓サイズは、３０メートルを超える範囲（範囲３）におおよそ対応する。１つの様態において、ＲｏＩ判別モジュール２１４は、オブジェクトの窓サイズに基づいて、オブジェクトが歩行者または車両のいずれかであるかを検出する。

オブジェクトを検出した後、さらに、ＲｏＩ判別モジュール２１４は、オブジェクトに識別番号を割り当てる。識別番号は、検出されたオブジェクトに基づいて割り当てられる。例えば、オブジェクトが「車両」であると検出されると、識別番号「１」がオブジェクトに割り当てられる。一方、オブジェクトが「歩行者」であると検出されると、識別番号「２」がオブジェクトに割り当てられる。識別番号が割り当てられると、ＲｏＩ判別モジュール２１４は、さらに、検出したオブジェクトに対応する識別番号を、その後の参照のため、システムデータベース２２４内に保存する。続いて、ＲｏＩ判別モジュール２１４は、左画像および右画像内の関心のある領域（ＲｏＩｓ）を検出する。１つの様態において、ＲｏＩは配向勾配のヒストグラム（ＨＯＧ）技術または配向勾配の強化ヒストグラム（ＥＨＯＧ）技術を用いて判別される。

実施形態の１つにおいて、ＲｏＩを判別するために、画像（左画像および右画像）が様々な段階において処理される。ＲｏＩは、画像を複数の画像スライス（片）に分割することによって特定される。複数の画像スライスは、オブジェクトのサイズおよびターゲットの検出距離に基づいて、分割される。画像は、画像からノイズを低減し、画像の個々の要素を分離し、画像の非接続部分を接合し、画像のエッジを鮮明化し、平滑化フィルターを用いて画像を平滑化するために分割されることは理解されるであろう。画像を複数の画像スライスに分割した後、ＲｏＩ判別モジュール２１４は、さらに、複数の画像スライスの各画像スライスに対応する勾配（gradients）を算出する。様々な距離におけるオブジェクトのスケール（大きさ）に基づいて、ＨＯＧの算出のために複数の窓サイズが選択され、さらに、特徴記述子が窓サイズを用いてトレーニングされる。１つの様態において、特徴記述子は、画像内のＲｏＩを判別するため、各画像スライスに対応して適用される。

ＲｏＩの判別に続いて、補間モジュール２１６は、左画像および右画像にそれぞれ対応するＲｏＩｓの左重心および右重心を算出する。左重心および右重心は、左画像および右画像のＲｏＩにそれぞれ対応するピクセルを示すことは理解されるであろう。左重心および右重心を算出した後、補間モジュール２１６は、左サブピクセル画像および右サブピクセル画像を生成する。左サブピクセル画像および右ピクセル画像は、所定の特徴記述子テーブルに基づいて、左重心および右重心をそれぞれ補間することによって生成される。１つの様態において、左サブピクセル画像および右サブピクセル画像は、複数のオブジェクトと車両との間の距離の所定の複数の範囲および検出されたオブジェクトを用いて、生成される。

左サブピクセル画像および右ピクセル画像を生成する補間モジュール２１６の機能を理解するために、左画像Ｌ_１がオブジェクトＯ_１を含み、右画像Ｒ_１がオブジェクトＯ_２を含む１つの例が、ＶＧＡ解像度カメラＶ_１で取得された場合を考える。前述の説明に従い、Ｌ_１およびＲ_１内のオブジェクトＯ_１およびオブジェクトＯ_２が、前述のＲｏＩ判別モジュール２１４によって、「範囲１」内の「車両」であると検出されると（ここで「範囲１」とは、検出したオブジェクトに対応する窓サイズを示す、すなわち、車両が１２８×６４ピクセルであることを示す。）、その後、検出された左重心および右重心を補間することによって、左サブピクセル画像および右サブピクセル画像が生成される。ここで、左重心および右重心は、所定の特徴記述子テーブルから判別された０．５サブピクセル解像度を用いて補間される。左画像Ｌ_１および右画像Ｒ_１はＶＧＡ解像度カメラＶ_１によって取得されるため、左重心および右重心は、０．５サブピクセル解像度を用いて補間されるが、サブピクセル解像度は、左画像および右画像を取得するために用いたステレオ画像取得ユニットの解像度の種類に依存して変更し得ることは理解されるであろう。同様に、Ｌ_１およびＲ_１内のオブジェクトＯ_１およびオブジェクトＯ_２が、「範囲２」内の「車両」であると検出されると（ここで、「範囲２」は検出したオブジェクトに対応する窓サイズ、すなわち、車両が６４×６４ピクセルであることを示す。）、その後、所定の特徴記述子テーブルから決定された０．２５サブピクセル解像度を用いて、左重心および右重心を補間することによって、左サブピクセル画像および右ピクセル画像が生成される。同様に、Ｌ_１およびＲ_１内のオブジェクトＯ_１およびオブジェクトＯ_２が、「範囲３」内の「車両」であると検出されると（ここで、「範囲３」は検出したオブジェクトに対応する窓サイズ、すなわち、車両が３２×３２ピクセルであることを示す。）、その後、所定の特徴記述子テーブルから決定された０．１サブピクセル解像度を用いて、左重心および右重心を補間することによって、左サブピクセル画像および右ピクセル画像が生成される。よって、このような方法によって、検出されたオブジェクトの種類（すなわち、車両であるか歩行者であるか）の判別およびオブジェクトに対応する窓サイズに基づいて、左重心および右重心をそれぞれ補間することにより、左サブピクセル画像および右ピクセル画像が動的に生成される。このサブピクセル画像（すなわち、左サブピクセル画像および右サブピクセル画像）の動的な生成は、オブジェクトが長距離に存在する場合であっても、距離を正確に算出するために有用である。上述の事項に加え、サブピクセル画像の動的生成は、演算の複雑性（computational complexity）を低減することをも容易にする。何故ならば、システム１０２は、車両からオブジェクトまでの距離の判別に基づいて、左重心および右重心の補間を行うためである。例えば、オブジェクトが車両から２０メートル未満の範囲内にある場合、システム１０２は０．５サブピクセル解像度のみによって左重心および右重心を補間することにより、正確に距離を算出することができる。

左サブピクセル画像および右サブピクセル画像が生成されると、マッチングモジュール２１７は、左サブピクセル画像および右サブピクセル画像をさらに処理する。１つの様態において、左サブピクセル画像および右サブピクセル画像は、左サブピクセル画像の参照重心に対応する右サブピクセル画像のターゲット重心Ｒ_{（ｘ，ｙ）}を判別するため、ブロックマッチング技術を用いて処理される。１つの様態において、ターゲット重心Ｒ_{（ｘ，ｙ）}は、以下の式（１）で算出される。

ここで、Ｔ´（ｘ´，ｙ´）は、以下の式（２）で決定される。

ここで、Ｉ´（ｘ＋ｘ´，ｙ＋ｙ´）は、以下の式（３）で決定される。

ここで、“Ｉ”はテンプレート画像を用いたマッチングが期待されるソース画像（source image）を示し、“Ｔ”はソース画像内の領域と比較されるパッチ画像（patch image）を示し、“Ｗ”はテンプレート画像の幅を示し、“Ｈ”はテンプレート画像の高さを示す。

左サブピクセル画像と右サブピクセル画像との間の視差を判別するために、ブロックマッチング技術がターゲット重心Ｒ_{（ｘ，ｙ）}および参照重心に適用されることは理解されるであろう。視差を判別するため、ブロックマッチング技術は、左サブピクセル画像および右サブピクセル画像を複数のブロックに分割する。左サブピクセル画像を分割する際、参照重心を含むブロックＢ_ＲＣが判別される。左サブピクセル画像内のＢ_ＲＣが判別されると、Ｂ_ＲＣは、右サブピクセル画像に関連付けられた複数のブロックの各ブロック（Ｂ_Ｌ１，Ｂ_Ｌ２，Ｂ_Ｌ３．．．．．Ｂ_ＬＮ）とマッチングされる。Ｂ_ＲＣとＢ_Ｌ１，Ｂ_Ｌ２，Ｂ_Ｌ３．．．．．ＢＬ_ＬＮとのマッチングの後、ブロックマッチング技術は、Ｂ_ＲＣとＢ_Ｌ１，Ｂ_Ｌ２，Ｂ_Ｌ３．．．．．ＢＬ_ＬＮのいずれか１つとの間の最も近いマッチングを判別することを容易にする。最も近いマッチングは、ブロックマッチング技術から得られた正規化相関係数（NCC: Normalized Correlation Coefficient）の極小値に基づいて判別される。Ｂ_ＲＣに最も近いブロックが（Ｂ_Ｌ１，Ｂ_Ｌ２，Ｂ_Ｌ３．．．．．Ｂ_ＬＮの内から）判別されると、ターゲット重心Ｒ_{（ｘ，ｙ）}が判別され、それにより左サブピクセル画像と右サブピクセル画像との間の視差が判別される。

視差の判別後、距離算出モジュール２１８は、三角測量法を用いて、（左画像および右画像内に存在する）オブジェクトと車両１０６との間の距離を算出する。１つの様態において、距離は、以下の式（４）を用いて算出される。

ここで“Ｂ”はステレオ画像取得ユニット１０８のベースラインであり、“ｆ”はステレオ画像取得ユニット１０８の焦点距離であり、“（ｘｌ−ｘｒ）”はターゲット重心と参照重心との差である視差である。実施形態の１つにおいて、上記の距離は、理論上の距離であって、実際の距離は、関数ｙ＝ｆ（ｘ）を用いて算出される。ここで、“ｙ”は実際の距離であり、“ｘ”は視差である。この関数は、理論上の距離と実際の距離との間の所定の関係を用いて得られる５次の多項式曲線を示すものであって、理論上の距離および実際の距離は、オフラインで得られる。１つの様態において、三角測量法は、オブジェクトと車両１０６との間の距離を算出するため、５次の多項式曲線フィッティングアプローチを実行する。

距離を算出した後、ディスプレイモジュール２２０は、衝突を回避し、または、衝突や事故の結果の重大性を低減するため、ディスプレイユニットに距離を表示させることにより、距離をドライバーに通知し、それにより、オブジェクトが算出された距離で車両の近辺に位置することをドライバーに警告する。よって、このような方法によって、システム１０２は車両１０６から異なる様々な距離に位置する複数のオブジェクトと車両１０６との間の距離を算出することができる。

図３を参照すると、本発明の実施形態に係る車両の経路内に現れたオブジェクトと車両との間の距離を算出するための方法３００が示されている。方法３００は、コンピューター実行可能命令の一般的なコンテキストにおいて説明される。一般的に、コンピューター実行可能命令は、特定の機能を実行するか特定の抽象データ型を実装するルーチン、プログラム、オブジェクト、コンポーネント、データ構造、プロシージャー、モジュール、ファンクション等を含む。また、方法３００は、通信ネットワークを介してリンクされる遠隔処理装置によって機能が実行される分散型演算環境（distributed computing environment）において実行されてもよい。分散型演算環境において、コンピューター実行可能命令は、ローカルおよび遠隔双方の演算ストレージ媒体（例えば、メモリストレージ装置）内に位置していてもよい。

ここに説明される方法３００の順番は、限定を構成するものではなく、説明される方法の任意の数のブロックが方法３００および代替的な方法を実施するために用いられてもよい。さらに、ここに説明される本発明の原理および範囲から逸脱しない範囲において、各ブロックを方法３００から削除することができる。さらに加えて、該方法は、任意の適したハードウェア、ソフトウェア、ファームウェアまたはこれらの組み合わせによって実施されてもよい。しかしながら、説明の簡易化のため、以下に説明する本実施形態では、方法３００は、上述のシステム１０２において実行されるものとする。

ブロック３０２において、ステレオ画像取得ユニット１０８を用いて、左画像および右画像が取得される。実施形態の１つにおいて、左画像および右画像は、画像取得モジュール２１２によって取得される。

ブロック３０４において、所定の特徴記述子テーブルに基づいて、左画像および右画像内に存在するオブジェクトが検出される。所定の特徴記述子テーブルは、複数のオブジェクトと、該複数のオブジェクトの複数の窓サイズと、複数のオブジェクトと車両との間の距離の所定の複数の範囲とを含む。実施形態の１つにおいて、左画像および右画像は、ＲｏＩ判別モジュール２１４によって検出される。

ブロック３０６において、左画像および右画像内において、関心のある領域（ＲｏＩｓ）が判別される。実施形態の１つにおいて、ＲｏＩｓは、ＲｏＩ判別モジュール２１４によって判別される。

ブロック３０８において、左画像および右画像にそれぞれ対応するＲｏＩｓの左重心および右重心が算出される。実施形態の１つにおいて、ＲｏＩｓの左重心および右重心は、補間モジュール２１６によって算出される。

ブロック３１０において、所定の特徴記述子テーブルに基づいて、左重心および右重心をそれぞれ補間することによって、左サブピクセル画像および右サブピクセル画像が生成される。実施形態の１つにおいて、左サブピクセル画像および右サブピクセル画像は、補間モジュール２１６によって生成される。

ブロック３１２において、左サブピクセル画像内の参照重心に対応する右サブピクセル画像のターゲット重心を判別するため、ブロックマッチング技術を用いて、左サブピクセル画像および右サブピクセル画像が処理される。実施形態の１つにおいて、左サブピクセル画像および右ピクセル画像は、マッチングモジュール２１７によって処理される。

ブロック３１４において、ターゲット重心と参照重心との差、ステレオ画像取得ユニット１０８の焦点距離、およびステレオ画像取得ユニット１０８のベースラインを用いた三角測量技術に基づいて、オブジェクトと車両との間の距離が算出される。実施形態の１つにおいて、オブジェクトと車両との間の距離は、距離算出モジュール２１８によって算出される。

車両の経路内に現れたオブジェクトと車両との間の距離を算出するための方法およびシステムの実施が、構造的特徴および／または方法を特定する記述において説明されたが、添付の特許請求の範囲は説明された特定の特徴または方法に必ずしも限定されないことは理解されるであろう。また、特定の特徴および方法が、車両の経路内に現れたオブジェクトと車両との間の距離を算出するための実施形態の例として開示された。

上述の例示的な実施形態は、特定の利点を提供することができる。本発明の実際の様態に要求されるものではないが、これら利点は以下の特徴によって提供されるものを含む。

いくつかの実施形態は、システムおよび方法が、車両からの異なる範囲または様々な距離に位置するオブジェクトを検出し、ステレオカメラを用いてリアルタイムで距離を算出し、それにより、自動車のドライバー支援および安全性確保を容易とすることを可能とする。

いくつかの実施形態は、従来の勾配のヒストグラムアルゴリズム（conventional Histogram of Gradients algorithm）を強化(enhance)することにより、システムおよび方法が、複数の大きさ（スケール）および配向によってオブジェクトを検出することを可能とする。

いくつかの実施形態は、システムおよび方法が、４０度の視野（FOV: Field of View）を有するＶＧＡ解像度センサーを用いて、車両から約８０メートルの距離の範囲までのオブジェクトを正確に検出することを可能とする。

より遠い距離のマッチング効率を向上させるため、検出されたオブジェクトが車両であるならば、最大０．１ピクセルの精度で補間が実行され、検出されたオブジェクトが歩行者であるならば、最大０．０１ピクセルの精度で補間が実行される。

Claims (10)

1. 車両（１０６）の経路内に現れたオブジェクトと前記車両との間の距離を算出するための方法であって、
   プロセッサーによって、ステレオ画像取得ユニット（１０８）を用いて、左画像および右画像を取得する工程と、
   前記プロセッサーによって、複数のオブジェクトと、前記複数のオブジェクトの複数の窓サイズと、前記複数のオブジェクトと前記車両（１０６）との間の距離の所定の複数の範囲とを含む所定の特徴記述子テーブルに基づいて、前記左画像および前記右画像内に存在するオブジェクトを検出する工程と、
   前記プロセッサーによって、前記左画像および前記右画像内の関心のある領域（ＲｏＩｓ）を判別する工程と、
   前記プロセッサーによって、前記左画像および前記右画像にそれぞれ対応する前記ＲｏＩｓの左重心および右重心を算出する工程と、
   前記プロセッサーによって、前記所定の特徴記述子テーブルに基づいて、前記左重心および前記右重心をそれぞれ補間することにより、左サブピクセル画像および右サブピクセル画像を生成する工程と、
   前記プロセッサーによって、前記左サブピクセル画像内の参照重心に対応する前記右サブピクセル画像のターゲット重心を判別するために、ブロックマッチング技術を用いて、前記左サブピクセル画像および前記右サブピクセル画像を処理する工程と、
   前記プロセッサーによって、前記ターゲット重心と前記参照重心との差、前記ステレオ画像取得ユニット（１０８）の焦点距離、および前記ステレオ画像取得ユニット（１０８）のベースラインを用いた三角測量技術に基づいて、前記オブジェクトと前記車両（１０６）との間の距離を算出する工程と、を含むことを特徴とする方法。
2. 前記複数のオブジェクトは、歩行者、車両および木を含む請求項１に記載の方法。
3. 前記複数の窓サイズは、１２８×６４ピクセル、６４×６４ピクセル、および３２×３２ピクセルを含む請求項１に記載の方法。
4. 前記複数のオブジェクトと前記車両（１０６）との間の前記距離の前記所定の複数の範囲は、５〜２０メートルの範囲、２１〜５０メートルの範囲、および５０メートルを超える範囲を含む請求項１に記載の方法。
5. 前記ＲｏＩは、配向勾配のヒストグラム（ＨＯＧ）技術または配向勾配の強化ヒストグラム（ＥＨＯＧ）技術を用いて、判別される請求項１に記載の方法。
6. 前記ブロックマッチング技術は、前記左サブピクセル画像内の前記参照重心と、対応する前記右サブピクセル画像の前記ターゲット重心との間の最も近いマッチングを判別するため、前記左サブピクセル画像および前記右サブピクセル画像に適用され、
   前記最も近いマッチングは、前記ブロックマッチング技術から得られた正規化相関係数（ＮＣＣ）の極小値に基づいて判別される請求項１に記載の方法。
7. 車両（１０６）の経路内に現れたオブジェクトと前記車両（１０６）との間の距離を算出するためのシステム（１００）であって、
   プロッセッサーと、
   前記プロセッサーに接続されたメモリと、を含み、
   前記プロセッサーは前記メモリ内に保存されている複数のモジュールを実行可能であり、
   前記複数のモジュールは、
   ステレオ画像取得ユニット（１０８）を用いて、左画像および右画像を取得する画像取得モジュール（２１２）と、
   複数のオブジェクトと、前記複数のオブジェクトの複数の窓サイズと、前記複数のオブジェクトと前記車両（１０６）との間の距離の所定の複数の範囲とを含む所定の特徴記述子テーブルに基づいて、前記左画像および前記右画像内のオブジェクトを検出し、さらに、前記左画像および前記右画像内の関心のある領域（ＲｏＩｓ）を判別する関心のある領域（ＲｏＩ）判別モジュール（２１４）と、
   前記左画像および前記右画像にそれぞれ対応する前記ＲｏＩｓの左重心および右重心を算出し、さらに、前記所定の特徴記述子テーブルに基づいて、前記左重心および前記右重心をそれぞれ補間することによって、左サブピクセル画像および右サブピクセル画像を生成する補間モジュール（２１６）と、
   前記左サブピクセル画像内の参照重心に対応する前記右サブピクセル画像のターゲット重心を判別するため、ブロックマッチング技術を用いて、前記左サブピクセル画像および前記右サブピクセル画像を処理するマッチングモジュール（２１７）と、
   前記ターゲット重心と前記参照重心との差、前記ステレオ画像取得ユニット（１０８）の焦点距離、および前記ステレオ画像取得ユニット（１０８）のベースラインを用いた三角測量技術に基づいて、前記オブジェクトと前記車両（１０６）との間の距離を算出する距離算出モジュール（２１８）と、を含むことを特徴とするシステム（１００）。
8. 前記複数のモジュールは、前記差に基づく前記オブジェクトと前記車両との間の前記距離をディスプレイユニット上に表示するディスプレイモジュール（２２０）をさらに含む請求項７に記載のシステム（１００）。
9. 前記マッチングモジュール（２１７）は、前記左サブピクセル画像内の前記参照重心と、対応する前記右サブピクセル画像の前記ターゲット重心との間の最も近いマッチングを判別するため、前記左サブピクセル画像および前記右サブピクセル画像に対し、前記ブロックマッチング技術を適用し、
   前記最も近いマッチングは、正規化相関係数（ＮＣＣ）に基づいて判別される請求項７に記載のシステム（１００）。
10. 車両（１０６）の経路内に現れたオブジェクトと前記車両（１０６）との間の距離を算出するために演算装置において実行可能なプログラムを具体化する非一時的コンピューター可読媒体であって、
    前記プログラムは、
    ステレオ画像取得ユニット（１０８）を用いて、左画像および右画像を取得するためのプログラムコードと、
    複数のオブジェクトと、前記複数のオブジェクトの複数の窓サイズと、前記複数のオブジェクトと前記車両（１０６）との間の距離の所定の複数の範囲とを含む所定の特徴記述子テーブルに基づいて、前記左画像および前記右画像内に存在するオブジェクトを検出するためのプログラムコードと、
    前記左画像および前記右画像内の関心のある領域（ＲｏＩｓ）を判別するためのプログラムコードと、
    前記左画像および前記右画像にそれぞれ対応する前記ＲｏＩｓの左重心および右重心を算出するためのプログラムコードと、
    前記所定の特徴記述子テーブルに基づいて、前記左重心および前記右重心をそれぞれ補間することによって、左サブピクセル画像および右サブピクセル画像を生成するためのプログラムコードと、
    前記左サブピクセル画像内の参照重心に対応する前記右サブピクセル画像のターゲット重心を判別するために、ブロックマッチング技術を用いて、前記左サブピクセル画像および前記右サブピクセル画像を処理するためのプログラムコードと、
    前記ターゲット重心と前記参照重心との差、前記ステレオ画像取得ユニット（１０８）の焦点距離、および前記ステレオ画像取得ユニット（１０８）のベースラインを用いた三角測量技術に基づいて、前記オブジェクトと前記車両（１０６）との間の距離を算出するためのプログラムコードと、を含むことを特徴とする非一時的コンピューター可読媒体。

Images