JP6906567B2 - 障害物の検知方法、システム、コンピュータ装置、コンピュータ記憶媒体 - Google Patents

Description

本発明は、自動車両の運転分野に関し、具体的に、障害物の検知方法、システム、コンピュータ装置、コンピュータ記憶媒体等に関する。

従来の無人車両では、単一のカメラヘッドで特定の角度方向における路面状況を検知する場合が多い。単一のカメラヘッドに基づく視覚的な検知はレーザーレーダと異なり、その検知環境の範囲は非常に狭く、当該カメラの視野角（ｆｏｖ）に依存することが一般的である。一般に、カメラの視野角（ｆｏｖ）は１８０度未満であり、検知距離とのバランスを取るために、視野角は広すぎてはならない場合がある。そのため、単一のカメラヘッドによっては特定の角度方向における路面状況しか検知できず、視野角内に存在しない障害物については検知できない。障害物が主車両（無人車両）から近すぎると、無人車両を急ブレーキや衝突等の事故を発生させやすい。さらに悪いことは、障害物が視野に現れたばかりの期間に、障害物の画像検出枠が遮断状態にあるため、画像枠が完了せず、その正確な３Ｄ位置を推定できなくなる。これにより、検知システムは障害物の速度を正確に推定できなくなり、無人車両の意思決定システムへ誤った情報を入力させ、無人車両が正常に動作できなくなる。

本発明は、少なくともある程度まで関連技術における技術課題の一部を解決することを目的とする。

本発明の第１態様によれば、自動車両に配置された少なくとも二つの隣り合うカメラによって、自動車両の周囲の障害物を連続的に撮影することと、一方のカメラの撮影した障害物画像を他方のカメラの撮影した障害物画像に関連付けることと、一方のカメラの撮影した障害物画像と他方のカメラの撮影した障害物画像とが同じ障害物に対するものであるか否かを判断することと、を含んでもよい障害物の検知方法を提供する。

本発明の第１態様の一実施例によれば、一方のカメラの撮影した障害物画像を他方のカメラの撮影した障害物画像に関連付けることは、
隣り合うカメラの視野が重なる場合、少なくとも二つの隣り合うカメラの撮影した障害物画像の画像枠の特徴によって、障害物画像を関連付けることを含んでもよい。

本発明の第１態様の他の実施例によれば、少なくとも二つの隣り合うカメラの撮影した障害物画像の画像枠の特徴によって、障害物画像を関連付けることは、
一方のカメラの撮影した障害物画像の第１画像枠を、参照座標系を介して他方のカメラの結像平面に投影することで、第２画像枠を構成し、第２画像枠と他方のカメラの撮影した障害物画像の第３画像枠とを比較して、画像枠の特徴に基づいて第２画像枠と第３画像枠とが同じ障害物に対するものであるか否かを判断することを含んでもよい。

本発明の第１態様のまた一実施例によれば、隣り合うカメラの視野が重ならない場合、障害物が一方のカメラの視野から消え、他方のカメラの視野に入ったばかりの時間帯に、運動方程式の推定を行って、障害物画像を関連付ける。

本発明の第１態様のまた一実施例によれば、障害物画像を関連付けることは、一方のカメラの撮影した障害物画像の第１画像枠における第１座標を参照座標系の参照座標に変換し、さらに参照座標を運動方程式の推定に従って連続的に更新し、障害物が他方のカメラの視野に入ったばかりの時、最新の更新された参照座標を他方のカメラの結像平面に投影することで、第２座標を構成し、第２座標が構成した障害物画像の第２画像枠と他方のカメラの撮影した障害物画像の第３画像枠とを比較し、さらに画像枠の特徴に基づいて第２画像枠と第３画像枠とが同じ障害物に対するものであるか否かを判断することを含む。

本発明の第１態様の一実施例によれば、運動方程式の推定は、等速、等加速又は等減速の場合に運動方程式の推定を行うことを含んでもよい。

本発明の第１態様の他の実施例によれば、画像枠の特徴は、他方のカメラの結像平面に投影された第２画像枠と他方のカメラの撮影した障害物画像の第３画像枠との間の中心距離、各画像枠のアスペクト比、及び／又は重なりの割合を含む。

本発明の第１態様のまた一実施例によれば、自動車両に配置された少なくとも二つの隣り合うカメラは、自動車両の車体左前、車体左後、車体真正面、車体真後ろ、車体右前、車体右後にそれぞれ配置された複数のカメラを含むことにより、自動車両の周囲３６０°内の障害物を検知することができる。

本発明の第１態様のまた一実施例によれば、一方のカメラの撮影した障害物画像と他方のカメラの撮影した障害物画像とが同じ障害物に対するものであるか否かを判断することは、障害物の類型、運動速度、運動方向及び／又は画像枠の特徴に基づいて判断することを含む。

本発明の第２態様に係る障害物の検知システムは、自動車両に配置された、自動車両の周囲の障害物を連続的に撮影するための少なくとも二つの隣り合うカメラと、一方のカメラの撮影した障害物画像を他方のカメラの撮影した障害物画像と関連付けるための関連手段と、一方のカメラの撮影した障害物画像と他方のカメラの撮影した障害物画像とが同じ障害物に対するものであるか否かを判断するための判断手段と、を備えてもよい。

本発明の第２態様の一実施例によれば、関連手段は、隣り合うカメラの視野が重なる場合、少なくとも二つの隣り合うカメラの撮影した障害物画像の画像枠の特徴によって、障害物画像を関連付けるためにさらに用いられる。

本発明の第２態様の他の実施例によれば、関連手段は、一方のカメラの撮影した障害物画像の第１画像枠を、参照座標系を介して他方のカメラの結像平面に投影することで、第２画像枠を構成し、第２画像枠と他方のカメラの撮影した障害物画像の第３画像枠とを比較して、画像枠の特徴に基づいて第２画像枠と第３画像枠とが同じ障害物に対するものであるか否かを判断するためにさらに用いられる。

本発明の第２態様のまた一実施例によれば、関連手段は、隣り合うカメラの視野が重ならない場合、障害物が一方のカメラの視野から消え、他方のカメラの視野に入ったばかりの時間帯に、運動方程式の推定を行って、障害物画像を関連付けるためにさらに用いられる。

本発明の第２態様のまた一実施例によれば、関連手段は、一方のカメラの撮影した障害物画像の第１画像枠における第１座標を参照座標系の参照座標に変換し、さらに参照座標を運動方程式の推定に従って連続的に更新し、障害物が他方のカメラの視野に入ったばかりの時、最新の更新された参照座標を他方のカメラの結像平面に投影することで、第２座標を構成し、第２座標が構成した障害物画像の第２画像枠と他方のカメラの撮影した障害物画像の第３画像枠とを比較し、さらに画像枠の特徴に基づいて第２画像枠と第３画像枠とが同じ障害物に対するものであるか否かを判断するためにさらに用いられる。

本発明の第２態様の一実施例によれば、運動方程式の推定は、等速、等加速又は等減速の場合に運動方程式の推定を行うことを含む。

本発明の第２態様の他の実施例によれば、画像枠の特徴は、他方のカメラの結像平面に投影された第２画像枠と他方のカメラの撮影した障害物画像の第３画像枠との間の中心距離、各画像枠のアスペクト比、及び／又は重なりの割合を含む。

本発明の第２態様のまた一実施例によれば、自動車両に配置された少なくとも二つの隣り合うカメラは、自動車両の車体左前、車体左後、車体真正面、車体真後ろ、車体右前、車体右後にそれぞれ配置された複数のカメラを含むことにより、自動車両の周囲３６０°内の障害物を検知することができる。

本発明の第２態様のまた一実施例によれば、一方のカメラの撮影した障害物画像と他方のカメラの撮影した障害物画像とが同じ障害物に対するものであるか否かを判断することは、障害物の類型、運動速度、運動方向及び／又は画像枠の特徴に基づいて判断することを含む。

本発明の第３態様に係るコンピュータ装置は、一つ又は複数のプロセッサーと、一つ又は複数のプログラムを記憶するためのメモリーと、を備え、一つ又は複数のプログラムが一つ又は複数のプロセッサーにより実行されると、一つ又は複数のプロセッサーが上記した方法を実現するようにすることを含んでもよい。

本発明の第４態様に係るコンピュータ可読記憶媒体は、コンピュータプログラムを記憶しており、当該プログラムはプロセッサーにより実行されると、上記した方法を実現する。

本発明の障害物の検知方法、システムによれば、自動車両、例えば無人車両に対して、車体の広い視野角範囲、例えば周り３６０度範囲の障害物の状況をリアルタイムに検知することができる。広い視野角範囲である場合、このような検知方法やシステムは、自動車両、例えば無人車両からの特定の範囲での障害物の運動状態（位置、速度等）を完全に表現できる。例えば、障害物の位置、速度、運動方向、障害物の類型等に対する正確な推定によって、自動車両、例えば無人車両の意思決定システムに正確な情報を提供し、衝突等のハイリスクの発生を防止する。

上記概説は明細書のためのものであって、いかなる方式で制限するためのものではない。上記説明される模式的な態様、実施形態及び特徴を除き、本発明のさらなる態様、実施形態及び特徴は、図面及び以下の詳細な説明によって明らかになる。

図面において、特に断りがない限り、複数の図面における同一記号は同様又は類似する部材又は要素を示す。これらの図面は比率で描かれるとは限らない。これらの図面は本発明の開示に係るいくつかの実施形態を描くものに過ぎず、本発明の範囲を制限するものと見なされるべきではないと理解すべきである。
本発明の第１態様の一実施例に係る障害物の検知方法を模式的に示す模式図である。 本発明の第１態様の一実施例に係る一方のカメラの撮影した障害物画像を他方のカメラの撮影した障害物画像に関連付けることを模式的に示す模式図である。 本発明の第１態様の一実施例に係る運動方程式の推定を模式的に示す模式図である。 本発明の第１態様の一実施例に係る画像枠の特徴を模式的に示す模式図である。 本発明の第１態様の一実施例に係る周囲にカメラが配置された自動車両を模式的に示す模式図である。 本発明の第１態様の一実施例に係る一方のカメラの撮影した障害物画像と他方のカメラの撮影した障害物画像とが同じ障害物に対するものであるか否かを判断することを模式的に示す模式図である。 本発明の第１態様の一実施例に係る二つの隣り合うカメラ１とカメラ２との視野が重なる場合を模式的に示す模式図である。 本発明の第１態様の一実施例に係る二つの隣り合うカメラ１とカメラ２の視野が重ならない場合を模式的に示す模式図である。 本発明の第１態様の一実施例に係る隣り合う複数のカメラが融合することを模式的に示す模式図である。 本発明の第２態様の一実施例に係る障害物の検知システムを模式的に示す模式図である。 本発明の第３態様に係るコンピュータ装置に関する一実施例を模式的に示す。

以下、本開示の実施例について、図面を参照しながら詳細に説明する。図面には本開示の幾つかの実施例が示されているが、本開示は様々な形態で実現でき、さらに、ここで説明した実施例に限定されると解釈してはならなく、逆に、本開示をより明らかで完全に理解するために、これらの実施例が提供されると理解すべきである。なお、本開示の図面及び実施例は例示的な役割のみに用いられ、本開示の保護範囲を限定するためのものではないことを理解すべきである。

本開示の実施例の説明において、用語「含む」及びその類似な用語は、開放的に含む、即ち「含むが、これに限定されない」と理解すべきである。用語「基づいて」は、「少なくとも一部に基づいて」と理解すべきである。「一実施例」又は「当該実施例」という用語は、「少なくとも一つの実施例」と理解すべきである。以下では、その他の明示的および暗黙的な定義を含む可能性もある。

以下、本発明の図１〜図１１を参照しながら詳細に説明する。

図１は、本発明の第１態様の一実施例に係る障害物の検知方法１００を模式的に示す模式図であり、次のようなステップを含むことができ、即ち、自動車両に配置された少なくとも二つの隣り合うカメラによって、自動車両の周囲の障害物を連続的に撮影するステップ１０２と、一方のカメラの撮影した障害物画像を他方のカメラの撮影した障害物画像に関連付けるステップ１０４と、一方のカメラの撮影した障害物画像と他方のカメラの撮影した障害物画像とが同じ障害物に対するものであるか否かを判断するステップ１０６と、を含む。

ここで示したのは、自動車両に配置された少なくとも二つの隣り合うカメラであり、必要に応じて、より多くのカメラが配置されてもよい。例えば、自動車両における少なくとも二つの隣り合うカメラは、自動車両の車体左前、車体左後、車体真正面、車体真後ろ、車体右前、車体右後にそれぞれ配置された複数のカメラを含むことができる。この様な状況は図５及び図１０に示され、自動車両の周囲の広い視野範囲、例えば３６０^ｏ内の障害物を検知することができる。カメラ毎に自分の視野、即ち視野角を持っているため、自動車両の周囲の大視角又は大視野、例えば３６０^ｏ内の障害物を検知する必要がある場合、例えば６個又は８個等のカメラを配置する必要がある可能性があり、この点については、当業者であれば理解できるだろう。

例えば、図５及び図１０に示す模式図では、自動車両８の周囲に８個のカメラを配置している。即ち、車体左前にカメラ２、車体左後にカメラ１、車体真正面にカメラ３、カメラ４及びカメラ５、車体真後ろにカメラ８、車体右前にカメラ６、車体右後にカメラ７が配置される。

本発明の明細書の各実施例で言及された用語の「障害物」は、広義に理解することができる。例えば、自動車両の周囲の歩行者、自転車、電気自転車、その他の非自動車両又は自動車両は、本車（自動車両）にとって、障害物であるとみなすことができる。

注意すべきことは、本発明の各実施例において出現する用語の「障害物画像」は、複数の障害物画像を含む場合もある。例えば、「障害物画像」は、歩行者の障害物画像、自転車の障害物画像、電気自転車の障害物画像、その他の非自動車両又は自動車両の障害物画像等を含む可能性がある。

本発明の明細書の各実施例において言及された用語の「カメラ」は、広義に理解することができる。例えば、魚眼カメラ、広角カメラ等を含むことができる。

本発明の明細書の各実施例において言及された用語の「参照座標系」や「参照座標」は、広義に理解することができる。例えば、車体座標系である場合の車体座標や、世界座標系である場合の世界座標を含むことができ、二つの隣り合うカメラからこの座標系への変換関係を承知できればよく、同様に、その他の座標系であってもよい。

自動車両に配置された少なくとも二つの隣り合うカメラによって、自動車両の周囲の障害物を連続的に撮影することは、障害物、例えば他の自動車両のリアルタイムな状況の検知に寄与でき、自動車両、例えば無人車両から特定の範囲での障害物の運動状態（位置、速度等）に対する自動車両の完全な記述に寄与できる。例えば、障害物の位置、速度、運動方向、障害物の類型等に対する正確な推定によって、自動車両、例えば無人車両の意思決定システムに正確な情報を提供し、衝突等のハイリスクの発生を防止する。

図２は、本発明の第１態様の一実施例に係る一方のカメラの撮影した障害物画像を他方のカメラの撮影した障害物画像に関連付けることを模式的に示す模式図である。一実施例において、一方のカメラの撮影した障害物画像を他方のカメラの撮影した障害物画像に関連付けるステップ１０４は、隣り合うカメラの視野が重なっている場合、少なくとも二つの隣り合うカメラの撮影した障害物画像の画像枠の特徴によって障害物画像を関連付けるステップ１０８を含んでもよい。また、本発明の一実施例において、少なくとも二つの隣り合うカメラの撮影した障害物画像の画像枠の特徴によって障害物画像を関連付けるステップ１０８は、一方のカメラの撮影した障害物画像の第１画像枠を、参照座標系を介して他方のカメラの結像平面に投影することで、第２画像枠を構成し、第２画像枠と他方のカメラの撮影した障害物画像の第３画像枠とを比較して、画像枠の特徴に基づいて第２画像枠と第３画像枠とが同じ障害物に対するものであるか否かを判断するステップ１１０を含んでもよい。

この点については、図７を参照できる。図７は、本発明の第１態様の一実施例に係る二つの隣り合うカメラ１とカメラ２との視野の重なる場合を模式的に示す模式図である。図７に示すカメラ１の視野をＶ１で表し、視野の横断面は略Ｖ字状の横断面である。同様に、カメラ２の視野をＶ２で表し、視野の横断面も略Ｖ字状の横断面である。視野Ｖ１と視野Ｖ２とは、重複領域Ａを有する。また、視野Ｖ１と視野Ｖ２とは、非重複領域Ｃ、及び重複領域と非重複領域との間にある領域Ｂを有する。ここでは、先ず障害物がカメラ１の視野Ｖ１から重複領域Ａを経てカメラ２の視野Ｖ２に入る場合を検討する。障害物がカメラ１の視野Ｖ１から非重複領域Ｃ又は領域Ｂ（重複領域もあるし、非重複領域もある）を経てカメラ２の視野Ｖ２に入る場合については、後述する。

上記の説明において、ステップ１０８では、隣り合うカメラの視野が重なっている場合、少なくとも二つの隣り合うカメラの撮影した障害物画像の画像枠の特徴によって障害物画像を関連付ける。そして、少なくとも二つの隣り合うカメラの撮影した障害物画像の画像枠の特徴によって障害物画像を関連付ける必要がある理由は、隣り合うカメラ、例えばカメラ１とカメラ２とが撮影した障害物画像を比較するためである。撮影された１つのフレームの画像において多くの障害物の画像枠、例えば歩行者、非自動車両、他の自動車両等の画像枠が含まれる可能性があるため、隣り合うカメラの撮影した障害物画像の画像枠の特徴を関連することは、同一の障害物画像であると初歩的にみなされる画像枠を関連すること、例えば、カメラ１の撮影した歩行者画像の画像枠をカメラ２の撮影した歩行者画像の画像枠に関連付けることと、カメラ１の撮影した自転車画像の画像枠をカメラ２の撮影した自転車画像の画像枠に関連付けることと、カメラ１の撮影した他の自動車両画像の画像枠をカメラ２の撮影した他の自動車両画像の画像枠に関連付けることとなどである。

上記に言及されたステップ１１０については、一方のカメラの撮影した障害物画像の第１画像枠を、参照座標系を介して他方のカメラの結像平面に投影することで、第２画像枠を構成し、第２画像枠と他方のカメラの撮影した障害物画像の第３画像枠とを比較して、画像枠の特徴に基づいて第２画像枠と第３画像枠とが同じ障害物に対するものであるか否かを判断する。ここで説明する必要があるのは、参照座標系が広義の概念であり、車体座標系である場合の車体座標や、世界座標系である場合の世界座標を含むことができ、上記にも説明したように、二つの隣り合うカメラからこの座標系への変換関係を承知できればよい。以下では、世界座標系を例として簡単に説明する。

例えば、カメラ１の結像平面における第１座標（ｕ１，ｖ１）は、回転・平行移動行列Ｒ１，Ｔ１を介して世界座標系における世界座標Ｐ（ｘ１，ｙ１，ｚ１）に変換することができ、さらに、当該世界座標Ｐ（ｘ１，ｙ１，ｚ１）を、回転・平行移動行列Ｒ２，Ｔ２を介してカメラ２の結像平面における第２座標に変換する。例えば、カメラ１が撮影した障害物画像の画像枠における第１点の第１座標（ｕ１，ｖ１）は、回転・平行移動行列Ｒ１，Ｔ１を介して世界座標系における世界座標Ｐ１（ｘ１，ｙ１，ｚ１）に変換することができ、さらに、当該世界座標Ｐ１（ｘ１，ｙ１，ｚ１）を、回転・平行移動行列Ｒ２，Ｔ２を介してカメラ２の結像平面における第１点の第２座標（ｕ１２，ｖ１２）に変換して、第１点の投影を完了する。同様に、カメラ１が撮影した障害物画像の画像枠における第２点の第１座標（ｕ２，ｖ２）は、回転・平行移動行列Ｒ１’，Ｔ１’を介して世界座標系における世界座標Ｐ２（ｘ２，ｙ２，ｚ２）に変換することができ、さらに、当該世界座標Ｐ２（ｘ２，ｙ２，ｚ２）を、回転・平行移動行列Ｒ２’，Ｔ２’を介してカメラ２の結像平面における第２点の第２座標（ｕ２２，ｖ２２）に変換して、第２点の投影を完了する。同様に、カメラ１が撮影した障害物画像の画像枠における第３点の第１座標（ｕ３，ｖ３）は、回転・平行移動行列Ｒ１’’，Ｔ１’’を介して世界座標系における世界座標Ｐ３（ｘ３，ｙ３，ｚ３）に変換することができ、さらに、当該世界座標Ｐ３（ｘ３，ｙ３，ｚ３）を、回転・平行移動行列Ｒ２’’，Ｔ２’’を介してカメラ２の結像平面における第３点の第２座標（ｕ３２，ｖ３２）に変換して、第３点の投影を完了する、等々。

カメラ１が撮影した障害物画像の第１画像枠におけるキーポイントの第１座標を、すべて世界座標系を介してカメラ２の結像平面中の第２画像枠におけるキーポイントの第２座標に変換すると、カメラ１の撮影した障害物画像の第１画像枠を、参照座標系を介してカメラ２の結像平面に投影して、第２画像枠を構成する処理が完了する。

如何にしてカメラ１の撮影した障害物画像の第１画像枠におけるキーポイントの第１座標を、世界座標系における世界座標に変換するか、及び如何にして世界座標をカメラ２の結像平面中の第２画像枠におけるキーポイントの第２座標に変換するかの技術は既知のものであり、本発明の発明点ではないため、ここでさらに詳しく説明しない。

図８は、本発明の第１態様の一実施例に係る二つの隣り合うカメラ１とカメラ２の視野が重なっていない場合を模式的に示す模式図である。図７に示す領域Ｃは、実際に二つの隣り合うカメラ１とカメラ２の視野の非重複領域であり、二つの隣り合うカメラ１とカメラ２の視野が重ならない別の場合にも属する。同様に、図８に示すカメラ１の視野をＶ１で表し、視野の横断面は略Ｖ字状の横断面であり、カメラ２の視野をＶ２で表し、視野の横断面も略Ｖ字状の横断面である。

図２を再度参照すると、図２は、隣り合うカメラの視野が重なっていない場合、障害物が一方のカメラの視野から消え、他方のカメラの視野に入ったばかりの時間帯に、運動方程式の推定を行って、障害物画像を関連付けるステップ１１２を示している。さらに、障害物画像を関連付けるステップ１１２は、一方のカメラの撮影した障害物画像の第１画像枠における第１座標を参照座標系の参照座標に変換し、さらに参照座標を運動方程式の推定に従って連続的に更新し、障害物が他方のカメラの視野に入ったばかりの時、最新の更新された参照座標を他方のカメラの結像平面における第２座標に投影し、第２座標の構成した障害物画像の第２画像枠を他方のカメラの撮影した障害物画像の第３画像枠と比較し、さらに画像枠の特徴に基づいて第１画像枠と第３画像枠とが同じ障害物に対するものであるか否かを判断するステップ１１４をさらに含んでもよい。

上記に言及したように、隣り合うカメラ、例えば図８に示す二つの隣り合うカメラの視野Ｖ１及びＶ２が重なっていない場合、又は、図７に示す二つの隣り合うカメラの視野Ｖ１及びＶ２の非重複領域Ｃにおいて、障害物がカメラ１の視野Ｖ１から消え、他方のカメラ２の視野Ｖ２に入ったばかりの時間帯に、運動方程式の推定を行って、障害物画像を関連付ける。ここで、障害物がカメラ１の視野Ｖ１から消え、他方のカメラ２の視野Ｖ２に入ったばかりの時間帯を考慮する理由は、障害物が運動している可能性があることを考えたためである。このような時間帯の存在し、この時間帯内に障害物がカメラにより撮影されても追跡されてもないため、この時間帯内における障害物の運動状況に対して運動方程式の推定を行う必要がある。運動方程式の推定は、既に図３で模式的に示されている。例えば、運動方程式の推定１１６は、等速の場合に行われる運動方程式の推定１１８や、等加速の場合に行われる運動方程式の推定又は等減速の場合に行われる運動方程式の推定等を含んでもよい。

上記に言及したように、一方のカメラ１の撮影した障害物画像の画像枠における第１点の第１座標（ｕ１，ｖ１）を参照座標系の参照座標Ｐ（ｘ１，ｙ１，ｚ１）に変換し、さらに、参照座標Ｐ（ｘ１，ｙ１，ｚ１）を運動方程式の推定に従って連続的に更新し、例えば、障害物が等速で運動すると仮定すると、更新後の第１点の参照座標はＰ（ｘ１＋ｖｔ，ｙ１＋ｖｔ，ｚ１＋ｖｔ）となり、ここで、ｖは障害物の運動速度であり、ｔは障害物がカメラ１の視野Ｖ１から離れた直後、現在までの時間帯であり、障害物がカメラ２の視野Ｖ２に入ったばかりであると、ｔは障害物がカメラ１の視野Ｖ１から離れた直後、カメラ２の視野Ｖ２に入る直前までの時間帯の長さを意味する。同様に、一方のカメラ１の撮影した障害物画像の画像枠における第２点の第１座標（ｕ２，ｖ２）を参照座標系の参照座標Ｐ（ｘ２，ｙ２，ｚ２）に変換し、さらに参照座標Ｐ（ｘ２，ｙ２，ｚ２）を運動方程式の推定に従って連続的に更新する。例えば、障害物が等速で運動すると仮定すると、更新後の第２点の参照座標はＰ（ｘ２＋ｖｔ，ｙ２＋ｖｔ，ｚ２＋ｖｔ）となり、ここで、ｖは障害物の運動速度であり、ｔは障害物がカメラ１の視野Ｖ１から離れた直後、現在までの時間帯であり、障害物がカメラ２の視野Ｖ２に入ったばかりであると、ｔは障害物がカメラ１の視野Ｖ１から離れた直後、カメラ２の視野Ｖ２に入る直前までの時間帯を意味する。一方のカメラ１の撮影した障害物画像の画像枠における第３点の第１座標（ｕ３，ｖ３）を参照座標系の参照座標Ｐ（ｘ３，ｙ３，ｚ３）に変換し、さらに参照座標Ｐ（ｘ３，ｙ３，ｚ３）を運動方程式の推定に従って連続的に更新する。例えば、障害物が等速で運動すると仮定すると、更新後の第３点の参照座標はＰ（ｘ３＋ｖｔ，ｙ３＋ｖｔ，ｚ３＋ｖｔ）となり、ここで、ｖは障害物の運動速度であり、ｔは障害物がカメラ１の視野Ｖ１から離れた直後、現在までの時間帯であり、障害物がカメラ２の視野Ｖ２に入ったばかりであると、ｔは障害物がカメラ１の視野Ｖ１から離れた直後、カメラ２の視野Ｖ２に入る直前までの時間帯を意味する、等々。

カメラ１の撮影した障害物画像の画像枠におけるキーポイントの参照座標をすべて最新の参照座標に更新すると、参照座標を運動方程式の推定に従って連続的に更新するステップが完了する。

障害物が他方のカメラＶ２の視野に入ったばかりの時、最新の更新された参照座標、例えばＰ（ｘ１＋ｖｔ，ｙ１＋ｖｔ，ｚ１＋ｖｔ）、Ｐ（ｘ２＋ｖｔ，ｙ２＋ｖｔ，ｚ２＋ｖｔ）、Ｐ（ｘ３＋ｖｔ，ｙ３＋ｖｔ，ｚ３＋ｖｔ）等を他方のカメラＶ２の結像平面中の第２座標、例えば（ｕ１２，ｖ１２）、（ｕ２２，ｖ２２）、（ｕ３２，ｖ３２）等に投影し、第２座標が構成した障害物画像の第２画像枠を他方のカメラの撮影した障害物画像の第３画像枠と比較し、さらにこれら二つの画像枠の画像枠の特徴に基づいて第２画像枠と第３画像枠とが同じ障害物に対するものであるか否かを判断する。

以上は障害物が等速で運動する場合について説明したが、障害物の等加速、等減速、ひいては静止の場合でも類似な方法を採用でき、第２座標が構成した障害物画像の第２画像枠を他方のカメラの撮影した障害物画像の第３画像枠と比較し、さらにこれら二つの画像枠の画像枠の特徴に基づいて二つの画像枠が同じ障害物に対するものであるか否かを判断する。

図４は画像枠の特徴１２４を示す示意図であり、例えば、他方のカメラの結像平面（障害物画像からなる）に投影された画像枠と他方のカメラの撮影した障害物画像の画像枠との間の中心距離１２６、各画像枠のアスペクト比１２８、及び／又は重なりの割合１３０を含むことができる。

なお、元のカメラＶ１の撮影した障害物画像の第１画像枠を、参照座標系を介して他方のカメラＶ２の結像平面に投影することで構成される第２画像枠とは、他方のカメラＶ２自身の撮影した障害物画像の第３画像枠との差が存在することが一般である。例えば、第２画像枠と第３画像枠とは完全に重複するものではない。そのため、他方のカメラＶ２に投影された障害物画像の第２画像枠と他方のカメラＶ２自身の撮影した障害物画像の第３画像枠の中心との間には中心距離が存在し、この中心距離は、第２画像枠と第３画像枠とが同じ障害物に対するものであるか否かを判断する判断指標の一つである。例えば、中心距離が特定の閾値より小さいである場合、二つの画像枠が同じ障害物に対するものであると判定することができる。特定の閾値の大きさについては、場合によって決定してもよい。

各画像枠のアスペクト比１２８も、これら二つの画像枠が同じ障害物に対するものであるか否かを判断する判断指標の一つである。画像枠のアスペクト比は近ければ近いほど、二つの画像枠が同じ障害物に対する撮影である可能性が高い。同様に、各画像枠のアスペクト比１２８が特定の閾値よりも大きい場合、二つの画像枠が同じ障害物に対するものであると判定することができる。特定の閾値の大きさについては、場合によって決定してもよい。

重なりの割合１３０とは、他方のカメラＶ２に投影された障害物画像の第２画像枠と他方のカメラＶ２自身の撮影した障害物画像の第３画像枠との間の重複率、即ち、それらの共通集合と合併集合との比を意味する。重なりの割合の比が１に近ければ近いほど、二つの画像枠が同じ障害物に対する撮影である可能性が高い。同様に、重なりの割合の比が特定の閾値よりも大きい場合、二つの画像枠が同じ障害物に対するものであると判定することができる。特定の閾値の大きさについては、場合によって決定してもよい。

本発明の一実施例において、一方のカメラの撮影した障害物画像と他方のカメラの撮影した障害物画像とが同じ障害物に対するものであるか否かを判断すること（ステップ１０６）は、次のような判断方式、即ち、図６に示すように、障害物の類型による判断方式（１３２）、障害物の運動速度による判断方式（１３４）、障害物の運動方向による判断方式（１３６）、及び／又は画像枠の特徴による判断方式（１３８）をさらに含んでもよい。

障害物の類型による判断方式（１３２）として、例えばカメラ１の追跡撮影した障害物が歩行者であれば、表示する障害物の画像枠が歩行者に対応し、隣り合うカメラ２の撮影した画像において、障害物が歩行者である画像枠だけでなく、障害物が自転車である画像枠も含まれる場合、言うまでもなく、カメラ２の視野に投影された障害物が歩行者である画像枠とカメラ２自身の撮影した障害物が歩行者である画像枠とを比較するだけで、カメラ１の撮影した歩行者である障害物画像とカメラ２自身の撮影した歩行者である障害物画像とは同じ障害物に対するものであるか否かを判断できる。同様に、カメラ１の追跡撮影した障害物が自転車であれば、表示する障害物の画像枠が自転車に対応し、隣り合うカメラ２の撮影した画像において、障害物が自転車である画像枠だけでなく、障害物が歩行者である画像枠等が含まれる場合、言うまでもなく、カメラ２の視野に投影された障害物が自転車である画像枠とカメラ２自身の撮影した障害物が自転車である画像枠とを比較するだけで、カメラ１が撮影した自転車である障害物画像とカメラ２自身の撮影した自転車である障害物画像とが同じ障害物に対するものであるか否かを判断できる。

なお、隣り合うカメラの視野に重複があってもなくても、一方のカメラの撮影した障害物画像と他方のカメラの撮影した障害物画像とは同じ障害物に対するものであるか否かを判断すること（ステップ１０６）は、いずれも一方のカメラの撮影した障害物画像の画像枠（第１画像枠）を隣り合うカメラの結像平面に投影して障害物の画像枠（第２画像枠）を構成し、その後に、第２画像枠と隣り合うカメラ自身の撮影した障害物の画像枠（第３画像枠）とを比較することにより達成される。

障害物の運動速度による判断方式（１３４）として、カメラの撮影した画像において、歩行者や、自転車、他の自動車両、木等が含まれ、これらの物体の運動速度が一致しない。例えば、カメラ１の撮影したのは歩行者であり、歩行者の画像枠をカメラ２の視野内の障害物が歩行者である画像枠に投影し、第１歩行者と第２歩行者の運動速度が通常同じではないので、カメラ１の撮影した第１歩行者の障害物画像とカメラ２自身の撮影した第２歩行者の障害物画像とが同じ歩行者の障害物であるか否かを判断できる。

画像枠の特徴による判断方式（１３８）の説明については、上述した画像枠の特徴の説明を参照でき、これにより、カメラ１の撮影した障害物画像とカメラ２自身の撮影した障害物画像とが同じ障害物に対するものであるか否かを判断できる。

ここでは、単に隣り合うカメラ１及びカメラ２を例として説明したが、当業者であれば、隣り合うカメラ２とカメラ３との間、隣り合うカメラ３とカメラ４との間、隣り合うカメラ４とカメラ５との間、隣り合うカメラ５とカメラ６との間、隣り合うカメラ６とカメラ７との間、隣り合うカメラ７とカメラ８との間、隣り合うカメラ８とカメラ１との間にも同様にカメラ１とカメラ２との間の関連方式を参照して関連付けを行うことができるのを理解できる。例えば、隣り合うカメラ間の視野が重なる場合はどのように関連付けるか、隣り合うカメラ間の視野が重ならない場合はどのように関連付けるかについては、上記の通りである。

図９は、本発明の第１態様の一実施例に係る複数の隣り合うカメラが融合することを模式的に示す模式図である。例えば、検出枠はカメラにより追跡する必要がある障害物の画像枠を示しており（ステップ１４０）、複数のカメラにより構成された多重目標追跡システムは、例えば歩行者や、自転車、電気自動車、木、他の自動車両及び非自動車両等を同時に追跡できる（ステップ１４２）。本発明の一態様に係る障害物の検知方法又はシステム等によって、対応するカメラと融合済みか否かを判断する必要がある。即ち、一方のカメラの撮影した障害物画像と他方のカメラの撮影した障害物画像とが同じ障害物に対するものであるか否かを判断するステップ１０６が完了したか否かを判断する必要がある。上記に言及したように、隣り合うカメラ１及びカメラ２の関連付けが完了したか否か、即ち、融合済みか否かについては、隣り合うカメラ２とカメラ３との間、隣り合うカメラ３とカメラ４との間、隣り合うカメラ４とカメラ５との間、隣り合うカメラ５とカメラ６との間、隣り合うカメラ６とカメラ７との間、隣り合うカメラ７とカメラ８との間、隣り合うカメラ８とカメラ１との間に全部関連すればこそ、関連が完了する。完了しないと、引き続けて隣り合うカメラの関連を行い（ステップ１４６）、完了したら、現在の追跡結果を出力する（ステップ１４８）。

なお、上記に言及された隣り合うカメラ１とカメラ２との間、隣り合うカメラ２とカメラ３との間、隣り合うカメラ３とカメラ４との間、隣り合うカメラ４とカメラ５との間、隣り合うカメラ５とカメラ６との間、隣り合うカメラ６とカメラ７との間、隣り合うカメラ７とカメラ８との間、隣り合うカメラ８とカメラ１との間は、全部関連すればこそ、関連完了又は融合済みとなり、自動車両の周囲３６０^ｏ内の障害物に対して検知を行う一実施例である。一部の場合、例えば自動車両８の左側のみの障害物を検知する必要があったら、隣り合うカメラ８とカメラ１との間、隣り合うカメラ１とカメラ２との間、隣り合うカメラ２とカメラ３との間を関連させばよい。一部の場合、例えば自動車両８の右側のみの障害物を検知する必要があったら、隣り合うカメラ５とカメラ６との間、隣り合うカメラ６とカメラ７との間、隣り合うカメラ７とカメラ８との間を関連させばよい。

本発明の第２態様によれば、障害物の検知システム３００を提供し、図１０に模式的に示すように、自動車両８に配置された、自動車両の周囲の障害物を連続的に撮影するための少なくとも二つの隣り合うカメラ、例えばカメラ１〜８と、一方のカメラの撮影した障害物画像を他方のカメラの撮影した障害物画像と関連付けるための関連手段３０２と、一方のカメラの撮影した障害物画像と他方のカメラの撮影した障害物画像とが同じ障害物に対するものであるか否かを判断するための判断手段３０４と、を備えてもよい。

本発明の第２態様の一実施例によれば、関連手段３０２は、隣り合うカメラの視野が重なる場合、少なくとも二つの隣り合うカメラの撮影した障害物画像の画像枠の特徴によって、障害物画像を関連付けるためにさらに用いられる。

本発明の第２態様の他の実施例によれば、関連手段３０２は、一方のカメラの撮影した障害物画像の第１画像枠を、参照座標系を介して他方のカメラの結像平面に投影することで、第２画像枠を構成し、第２画像枠と他方のカメラの撮影した障害物画像の第３画像枠とを比較して、画像枠の特徴に基づいて第２画像枠と第３画像枠とが同じ障害物に対するものであるか否かを判断するためにさらに用いられる。

本発明の第２態様のまた一実施例によれば、関連手段３０２は、隣り合うカメラの視野が重なっていない場合、障害物が一方のカメラの視野から消え、他方のカメラの視野に入ったばかりの時間帯に、運動方程式の推定を行って、障害物画像を関連付けるためにさらに用いられる。

本発明の第２態様のまた一実施例によれば、関連手段３０２は、一方のカメラの撮影した障害物画像の第１画像枠における第１座標を参照座標系の参照座標に変換し、さらに参照座標を運動方程式の推定に従って連続的に更新し、障害物が他方のカメラの視野に入ったばかりの時、最新の更新された参照座標を他方のカメラの結像平面に投影することで第２座標を構成し、第２座標の構成した障害物画像の第２画像枠と他方のカメラの撮影した障害物画像の第３画像枠とを比較し、さらに画像枠の特徴に基づいて第１画像枠と第３画像枠とが同じ障害物に対するものであるか否かを判断するためにさらに用いられる。

好ましくは、運動方程式の推定は、等速、等加速又は等減速の場合に運動方程式の推定を行うことを含んでもよい。

本発明の第２態様の一実施例によれば、画像枠の特徴は、他方のカメラの結像平面に投影された第２画像枠と他方のカメラの撮影した障害物画像の第３画像枠との間の中心距離、各画像枠のアスペクト比、及び／又は重なりの割合を含んでもよい。

好ましくは、自動車両に配置された少なくとも二つの隣り合うカメラは、自動車両の車体左前、車体左後、車体真正面、車体真後ろ、車体右前、車体右後にそれぞれ配置された複数のカメラを含んでもよく、これにより、自動車両の周囲３６０^ｏ内の障害物を検知することができる。

好ましくは、一方のカメラの撮影した障害物画像と他方のカメラの撮影した障害物画像とが同じ障害物に対するものであるか否か判断することは、障害物の類型、運動速度、運動方向及び／又は画像枠の特徴に基づいて判断することを含んでもよい。

本発明の第３態様の実施例によれば、一つ又は複数のプロセッサーと、一つ或複数のプログラムを記憶するためのメモリーと、を備え、一つ又は複数のプログラムが一つ又は複数のプロセッサーにより実行される時、一つ又は複数のプロセッサーが上記した方法を実現するようにするコンピュータ装置を提供する。

本発明の第４態様の実施例によれば、コンピュータプログラムを記憶しているコンピュータ可読記憶媒体を提供し、当該プログラムはプロセッサーにより実行される時、上記した方法を実現することを特徴とする。

例えば、図１１には本開示の実施例を実施するための例示的なコンピュータ装置４００の模式ブロック図を示している。また、理解すべきものは、コンピュータ装置４００は、本開示に記述された障害物の検知方法１００を実現するために用いられることである。図面に示すように、コンピュータ装置４００は、中央処理ユニット（ＣＰＵ）４０２を備え、当該ＣＰＵ４０２は、読み出し専用メモリー（ＲＯＭ）４０４に記憶されたコンピュータプログラム命令又は記憶手段４１６からランダムアクセスメモリ（ＲＡＭ）４０６にロードされたコンピュータプログラム命令に応じて、様々な適切な動作及び処理を実行することができる。ＲＡＭ４０６には、コンピュータ装置４００の操作に必要な各種のプログラム及びデータが記憶されてもよい。ＣＰＵ４０２、ＲＯＭ４０４及びＲＡＭ４０６はバス４０８を介して互いに接続される。入力／出力（Ｉ／Ｏ）インタフェース４１０もバス４０８に接続されている。

コンピュータ装置４００における複数の部材は、Ｉ／Ｏインタフェース４１０に接続され、その複数の部材は、例えばキーボードや、マウス等の入力手段４１２と、例えば各種タイプのディスプレイや、スピーカー等の出力手段４１４と、例えば磁気ディスクや、光ディスク等の記憶手段４１６と、例えばネットワークカードや、モデム、無線通信送受信機等の通信手段４１８と、を備える。コンピュータ装置４００は、通信手段４１８により、インターネットのようなコンピュータネットワーク及び／又は各種の電気通信ネットワークを介して、他の装置と情報／データを交換することができる。

処理手段４０２は上述した各方法及びプロセス、例えば方法１００を実行する。例えば、一部の実施例において、方法１００は、コンピュータソフトウェアプログラムとして実現されることができ、プログラムが物理的に例えば記憶手段４１６のような機械可読媒体に含まれる。一部の実施例において、コンピュータプログラムの一部又は全部は、ＲＯＭ４０４及び／又は通信手段４１８を介してコンピュータ装置４００にロード及び／又はインストールされることができる。コンピュータプログラムがＲＡＭ４０６にロードされてＣＰＵ６２により実行される時、上記した方法１００の一つ又は複数の動作又はステップを実行することができる。好ましくは、他の実施例において、ＣＰＵ４０２はいずれか他の適切な方式（例えば、ファームウェアを介して）により方法１００を実行するように配置されることができる。

以上、本明細書で説明した機能は、一つ又は複数のハードウェア論理部材により少なくとも一部が実行される。例えば、限定的ではないが、使用可能な模範タイプのハードウェア論理部材として、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、専用集積回路（ＡＳＩＣ）、専用標準製品（ＡＳＳＰ）、システム・オン・チップのシステム（ＳＯＣ）、ロード・プログラマブル・ロジック・デバイス（ＣＰＬＤ）等を含む。

本明細書の説明において、用語「一実施例」、「いくつかの実施例」、「例」、「具体例」、又は「いくつかの例」等の説明とは、該実施例又は例を参照すると説明した具体的な特徴、構造、材料又は特性が本発明の少なくとも１つの実施例又は例に含まれることを意味する。且つ、説明される具体的な特徴、構造、材料又は特性はいずれか１つ又は複数の実施例又は例で適切な方式で結合してもよい。また、矛盾しない限り、当業者は本明細書に説明される様々な実施例又は例、及び様々な実施例又は例の特徴を結合及び組み合わせすることができる。

また、用語の「第１」、「第２」は説明のためのものに過ぎず、相対重要性を指示又は示唆し、又は指示された技術的特徴の数を暗示すると理解すべきではない。従って、「第１」、「第２」で制限された特徴は少なくとも１つの該特徴を明示的又は暗示的に含んでもよい。本発明の説明において、特に明確且つ具体的に制限しない限り、「複数」の意味は２つ又は２つ以上である。

当業者であれば、フローチャートにおける、又はここでほかの方式で説明されるいかなる過程又は方法についての説明は、確定の論理機能又は過程を実現するための１つ又は複数のステップの実行可能命令のコードを含むモジュール、セグメント又は部分を示すと理解されてもよく、且つ本発明の好適な実施形態の範囲はほかの実現を含み、指示又は検討される順序通りでなくてもよく、関わる機能に基づいて、ほぼ同時に、又は逆順序で機能を実行してもよいと理解すべきである。

フローチャートに示す、又はここでほかの方式で説明される論理及び／又はステップは、例えば、論理機能を実現するための実行可能命令の順序付けリストであると見なされてもよく、具体的にいかなるコンピュータ可読媒体に実現されてもよく、命令実行システム、装置又はデバイス（例えばコンピュータに基づくシステム、プロセッサーを含むシステム又は命令実行システム、装置又はデバイスから命令を受信し且つ命令を実行するシステム）の使用に備え、又はこれらの命令実行システム、装置又はデバイスと組み合わせて使用される。本明細書については、「コンピュータ可読媒体」はプログラムを包含、記憶、通信、伝播又は伝送することにより、命令実行システム、装置又はデバイス、又はこれらの命令実行システム、装置又はデバイスと組み合わせて使用されるいかなる装置であってもよい。コンピュータ可読媒体のさらなる具体例（非網羅的リスト）は、１つ又は複数の配線を有する電気接続部（電子装置）、ポータブルコンピュータケース（磁気装置）、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリー（ＲＯＭ）、電気的消去再書込み可能な読出し専用メモリー（ＥＰＲＯＭ又はフラッシュメモリー）、光ファイバー装置、及び携帯型読み出し専用メモリー（ＣＤＲＯＭ）を含む。また、コンピュータ可読媒体は更にその上に前記プログラムを印刷できる用紙又はほかの適切な媒体であってもよい理由は、例えば用紙又はほかの媒体を光学的に走査し、次に編集、解釈し、又は必要な時にほかの適切な方式で処理して、電子方式で前記プログラムを取得し、次にそれをコンピュータメモリに記憶することができるためである。

本発明の各部分はハードウェア、ソフトウェア、ファームウェア又はそれらの組み合わせで実現されてもよいと理解すべきである。上記実施形態において、複数のステップ又は方法は、メモリーに記憶される、且つ適切な命令実行システムで実行するソフトウェア又はファームウェアで実現されてもよい。例えば、ハードウェアで実現する場合は、別の実施形態と同様に、データ信号に対して論理機能を実現する論理ゲート回路を有する離散論理回路、適切な組み合わせ論理ゲート回路を有する確定用途向け集積回路、プログラマブルゲートアレイ（ＰＧＡ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）等の本分野での公知技術のうちのいずれか１つ又はそれらの組み合わせで実現してもよい。

当業者であれば、上記実施例方法におけるステップの全部又は一部の実現がプログラムによって関連するハードウェアを命令して完了させてもよく、前記プログラムがコンピュータ可読記憶媒体に記憶されてもよく、実行時に、該プログラムは方法実施例のステップの１つ又はそれらの組み合わせを含むと理解される。

また、本発明の各実施例における各機能ユニットが１つの処理モジュールに統合されてもよく、各ユニットが独立して物理的に存在してもよく、２つ又は２つ以上のユニットが１つのモジュールに統合されてもよい。上記統合モジュールはハードウェアのタイプで実現されてもよいし、ソフトウェア機能モジュールのタイプで実現されてもよい。前記統合モジュールはソフトウェア機能モジュールのタイプで実現され、且つ独立した製品として販売又は使用される時、１つのコンピュータ可読記憶媒体に記憶されてもよい。前記記憶媒体は読み出し専用メモリー、磁気ディスク又は光ディスク等であってもよい。

以上の説明は、本発明の具体的な実施形態に過ぎず、本発明の保護範囲を制限するためのものではなく、当業者が本発明に開示される技術的範囲内に容易に想到し得る種々の変更又は置換は、いずれも本発明の保護範囲内に含まれるべきである。従って、本発明の保護範囲は特許請求の範囲に準じるべきである。

Claims (20)

1. 障害物の検知方法であって、
   自動車両に配置された少なくとも二つの隣り合うカメラによって、前記自動車両の周囲の障害物を連続的に撮影することと、
   一方のカメラが撮影した障害物画像を他方のカメラが撮影した障害物画像に関連付けることと、
   前記一方のカメラが撮影した障害物画像と前記他方のカメラが撮影した障害物画像とは同じ障害物に対するものであるか否かを判断することと、を含み、
   前記一方のカメラが撮影した障害物画像を前記他方のカメラが撮影した障害物画像に関連付けることは、
   前記隣り合うカメラの視野が重ならない場合、運動方程式の推定によって、前記一方のカメラが撮影した障害物画像に基づいて、前記障害物が前記一方のカメラの視野から消えて前記他方のカメラの視野に入った時点の障害物画像を推定して、前記推定された障害物画像と、前記他方のカメラが撮影した前記時点の障害物画像とを関連付けることを含む、
   ことを特徴とする障害物の検知方法。
2. 前記隣り合うカメラの視野が重ならない場合における前記関連付けることは、
   前記一方のカメラが撮影した障害物画像及び前記他方のカメラが撮影した障害物画像のそれぞれの画像枠の特徴に基づいて、前記一方のカメラが撮影した障害物画像と前記他方のカメラが撮影した障害物画像との関連付けを行うことを含む、
   ことを特徴とする請求項１に記載の障害物の検知方法。
3. 前記隣り合うカメラの視野が重ならない場合における前記関連付けることは、
   前記一方のカメラが撮影した障害物画像の第１画像枠における第１座標を参照座標系の参照座標に変換し、さらに前記参照座標を前記運動方程式の推定に従って連続的に更新し、前記障害物が前記他方のカメラの視野に入ったばかりの時、最新の更新された参照座標を前記他方のカメラの結像平面に投影することで第２座標を構成し、前記第２座標が構成した障害物画像の第２画像枠と前記他方のカメラが撮影した障害物画像の第３画像枠とを比較し、さらに画像枠の特徴に基づいて前記第１画像枠と前記第３画像枠とが同じ障害物に対するものであるか否かを判断することを含むことを特徴とする請求項２に記載の障害物の検知方法。
4. 前記運動方程式の推定は、等速、等加速又は等減速の場合に運動方程式の推定を行うことを含むことを特徴とする請求項１又は３に記載の障害物の検知方法。
5. 前記一方のカメラが撮影した障害物画像を前記他方のカメラが撮影した障害物画像に関連付けることは、
   前記隣り合うカメラの視野が重なる場合、前記少なくとも二つの隣り合うカメラが撮影した障害物画像の画像枠の特徴によって、前記障害物画像を関連付けることをさらに含む、
   ことを特徴とする請求項１乃至４のいずれか一項に記載の障害物の検知方法。
6. 前記少なくとも二つの隣り合うカメラが撮影した障害物画像の画像枠の特徴によって、前記障害物画像を関連付けることは、
   前記一方のカメラが撮影した障害物画像の第１画像枠を、参照座標系を介して前記他方のカメラの結像平面に投影することで、第２画像枠を構成し、前記第２画像枠と前記他方のカメラが撮影した障害物画像の第３画像枠と比較して、画像枠の特徴に基づいて前記第２画像枠と前記第３画像枠とが同じ障害物に対するものであるか否かを判断することを含むことを特徴とする請求項５に記載の障害物の検知方法。
7. 前記画像枠の特徴は、前記他方のカメラの結像平面に投影された第２画像枠と前記他方のカメラが撮影した障害物画像の第３画像枠との間の中心距離、各画像枠のアスペクト比、及び／又は重なりの割合を含むことを特徴とする請求項２、３、５、６のいずれか一項に記載の障害物の検知方法。
8. 前記自動車両に配置された少なくとも二つの隣り合うカメラは、前記自動車両の車体左前、車体左後、車体真正面、車体真後ろ、車体右前、車体右後にそれぞれ配置された複数のカメラを含むことにより、前記自動車両の周囲３６０°内の障害物を検知することができることを特徴とする請求項１乃至７のいずれか一項に記載の障害物の検知方法。
9. 前記一方のカメラが撮影した障害物画像と前記他方のカメラが撮影した障害物画像とが同じ障害物に対するものであるか否かを判断することは、障害物の類型、運動速度、運動方向及び／又は障害物画像の画像枠の特徴に基づいて判断することを含むことを特徴とする請求項１乃至８のいずれか一項に記載の障害物の検知方法。
10. 障害物の検知システムであって、自動車両に配置された、前記自動車両の周囲の障害物を連続的に撮影するための少なくとも二つの隣り合うカメラと、
    一方のカメラが撮影した障害物画像と他方のカメラが撮影した障害物画像とを関連付けるための関連手段と、
    前記一方のカメラが撮影した障害物画像と前記他方のカメラが撮影した障害物画像とが同じ障害物に対するものであるか否かを判断するための判断手段と、を備え、
    前記関連手段は、前記隣り合うカメラの視野が重ならない場合、運動方程式の推定によって、前記一方のカメラが撮影した障害物画像に基づいて、前記障害物が前記一方のカメラの視野から消えて前記他方のカメラの視野に入った時点の障害物画像を推定して、前記推定された障害物画像と、前記他方のカメラが撮影した前記時点の障害物画像とを関連付けるためにさらに用いられることを特徴とする障害物の検知システム。
11. 前記関連手段は、前記一方のカメラが撮影した障害物画像及び前記他方のカメラが撮影した障害物画像のそれぞれの画像枠の特徴に基づいて、前記一方のカメラが撮影した障害物画像と前記他方のカメラが撮影した障害物画像との関連付けを行うことにさらに用いられることを特徴とする請求項１０に記載の障害物の検知システム。
12. 前記関連手段は、前記一方のカメラが撮影した障害物画像の第１画像枠における第１座標を参照座標系の参照座標に変換し、さらに前記参照座標を前記運動方程式の推定に従って連続的に更新し、前記障害物が前記他方のカメラの視野に入ったばかりの時、最新の更新された参照座標を前記他方のカメラの結像平面に投影することで第２座標を構成し、前記第２座標が構成した障害物画像の第２画像枠と前記他方のカメラが撮影した障害物画像の第３画像枠とを比較し、さらに画像枠の特徴に基づいて前記第１画像枠と前記第３画像枠とが同じ障害物に対するものであるか否かを判断するためにさらに用いられることを特徴とする請求項１１に記載の障害物の検知システム。
13. 前記運動方程式の推定は、等速、等加速又は等減速の場合に運動方程式の推定を行うことを含むことを特徴とする請求項１０又は１２に記載の障害物の検知システム。
14. 前記画像枠の特徴は、前記他方のカメラの結像平面に投影された第２画像枠と前記他方のカメラが撮影した障害物画像の第３画像枠との間の中心距離、各画像枠のアスペクト比、及び／又は重なりの割合を含むことを特徴とする請求項１１又は１２に記載の障害物の検知システム。
15. 前記関連手段は、前記隣り合うカメラの視野が重なる場合、前記少なくとも二つの隣り合うカメラが撮影した障害物画像の画像枠の特徴によって、前記障害物画像を関連付けるためにさらに用いられることを特徴とする請求項１０乃至１４のいずれか一項に記載の障害物の検知システム。
16. 前記関連手段は、前記一方のカメラが撮影した障害物画像の第１画像枠を、参照座標系を介して前記他方のカメラの結像平面に投影することで、第２画像枠を構成し、前記第２画像枠と前記他方のカメラが撮影した障害物画像の第３画像枠とを比較して、画像枠の特徴に基づいて前記第２画像枠と前記第３画像枠とが同じ障害物に対するものであるか否かを判断するためにさらに用いられることを特徴とする請求項１５に記載の障害物の検知システム。
17. 前記自動車両に配置された少なくとも二つの隣り合うカメラは、前記自動車両の車体左前、車体左後、車体真正面、車体真後ろ、車体右前、車体右後にそれぞれ配置された複数のカメラを含むことによって、前記自動車両の周囲３６０°内の障害物を検知することができることを特徴とする請求項１０乃至１６のいずれか一項に記載の障害物の検知システム。
18. 前記一方のカメラが撮影した障害物画像と前記他方のカメラが撮影した障害物画像とが同じ障害物に対するものであるか否かを判断することは、障害物の類型、運動速度、運動方向及び／又は障害物画像の画像枠の特徴に基づいて判断することを含むことを特徴とする請求項１１、１２、１４、１５、１６のいずれか一項に記載の障害物の検知システム。
19. コンピュータ装置であって、
    一つ又は複数のプロセッサーと、
    一つ又は複数のプログラムを記憶するためのメモリーと、を備え、
    前記一つ又は複数のプログラムが前記一つ又は複数のプロセッサーにより実行される時、前記一つ又は複数のプロセッサーが請求項１乃至９のいずれか一項に記載の方法を実現するようにすることを特徴とするコンピュータ装置。
20. コンピュータプログラムが記憶されたコンピュータ可読記憶媒体であって、前記コンピュータプログラムはプロセッサーにより実行されると、請求項１乃至９のいずれか一項に記載の方法を実現することを特徴とするコンピュータ可読記憶媒体。

Images