JP6726006B2

JP6726006B2 - 単眼ビデオカメラを使用した、車両からの目標点の距離および方向の算定

Info

Publication number: JP6726006B2
Application number: JP2016057847A
Authority: JP
Inventors: マーク，ゲールケ
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2015-04-01
Filing date: 2016-03-23
Publication date: 2020-07-22
Anticipated expiration: 2036-03-23
Also published as: DE102016203710A1; DE102016203710B4; US9802539B2; JP2016195390A; US20160288711A1

Description

本発明は、単眼ビデオカメラを使用して、車両からの物体の距離を算定する方法および装置に関する。

ビデオカメラは、それらの低コストと無理のない処理要求により車用途に益々使用されている。単眼ビデオカメラは、優れた角度分解能を提供するが、距離分解能はほとんど提供しない。

故に、車両からの物体の目標点が望まれる用途において、距離を求めることが課題である。

１つの実施形態において、本発明は車両に配設されたビデオカメラと、ビデオカメラの視野内の物体の注視点としての目標点との間の距離および方向を求める方法を提供し、方法は、世界座標グリッドを表す点のグリッドをスクリーン座標グリッド上にマッピングし、マッピングされたグリッドを電子制御ユニット内に格納することによって事前初期化することと、ビデオカメラで画像を生成して、プロセッサとメモリを含む電子制御ユニットにビデオ画像を提供することと、スクリーン座標グリッドを使用してビデオ画像をディスプレイ上に表示することと、ビデオ画像内の物体の注視点としての目標点を取得することと、目標点を包囲するスクリーン座標グリッドの４つのグリッド点の位置を求めることと、目標点から、目標点を包囲する４つのグリッド点それぞれまでのスクリーン距離を求めて格納することと、目標点を包囲しているスクリーン座標グリッドからの４つのグリッド点を世界座標グリッドにマッピングすることと、スクリーン距離によって重み付けされた世界座標グリッド内の目標点の位置を求めるために補間を適用することと、世界座標内のビデオカメラの既知の位置と、世界座標内の目標点の求められた位置を使用して、ビデオカメラの位置と物体の目標点の間の距離を求めることを含む。

１つの実施形態において、目標点の位置を求めるために補間を適用することは、目標点を包囲する世界座標内の４つのグリッド点それぞれを、スクリーン座標グリッド内の４つのグリッド点それぞれに関して求められたスクリーン距離の逆二乗によって重み付けし、逆二乗されたスクリーン距離の和によって正規化することで、世界座標内の目標点の位置を求めることによるバイリニア補間を適用することを含む。

１つの実施形態において、ビデオカメラは単眼パノラマビデオカメラを備えている。別の実施形態において、付帯的ビデオカメラ較正パラメータはビデオカメラのレンズのレンズ特性を含む。

別の実施形態において、世界座標グリッドを表す点のグリッドをスクリーン座標グリッド上にマッピングして格納することによる事前初期化は、付帯的ビデオカメラ較正パラメータを電子制御ユニットに提供することと、世界座標の世界座標グリッドに既知の物理的寸法を提供することと、較正パラメータを考慮して世界座標グリッドをスクリーン座標グリッドに変換することと、スクリーン座標のスクリーン座標グリッドを提供することを含む。

一つの実施形態は、衝突を回避するために、車両に配設されたビデオカメラから物体の目標点までの距離の変化を求めることを含む。

一つの実施形態において、ディスプレイはタッチスクリーンを備え、目標点を、ビデオ画像に示された物体の注視点として取得することは、そこに表示されたビデオ画像内の物体の目標点においてタッチスクリーンをタッチすることを含む。

別の実施形態において、目標点を、ビデオ画像内に示された物体の注視点として取得することは、さらに、ビデオ画像に示された物体を、タッチスクリーンのタッチされた目標点において拡大してセンタリングすることと、拡大されたビデオ画像を、タッチスクリーンを目標点で再度タッチすることにより、拡大されたビデオ画像内の物体の厳密な目標点を選択することと、タッチスクリーンが再度タッチされたことに応答して、厳密な目標点を規定することを含む。

別の実施形態において、本発明は、車両に配設されたビデオカメラと、ビデオカメラの視野内の物体の注視点としての目標点との間の距離および方向を求めるシステムを提供し、システムは、ビデオ画像を生成するための車両に固定されたビデオカメラと、プロセッサおよびメモリを含む電子制御ユニットとを備えている。電子制御ユニットは、世界座標グリッドを表す点のグリッドをスクリーン座標グリッド上にマッピングし、マッピングされたグリッドをメモリ内に格納することによって事前初期化し、ビデオカメラからビデオ画像を受け取り、スクリーン座標グリッドを使用してビデオ画像をディスプレイ上に表示し、ディスプレイ上のビデオ画像に表示された物体の注視点としての目標点を取得し、目標点を包囲するスクリーン座標グリッドの４つのグリッド点の位置を求め、目標点から、４つのグリッド点それぞれまでのスクリーン距離を求めて格納し、目標点を包囲しているスクリーン座標グリッドからの４つのグリッド点を世界座標グリッドにマッピングし、スクリーン距離によって重み付けされた世界座標グリッド内の目標点の位置を求めるために補間を適用し、世界座標内のビデオカメラの既知の位置と、世界座標内の目標点の位置を使用して、ビデオカメラの位置から物体の目標点までの距離および方向を求めるように構成されている。

本発明の他の態様は、詳細な説明と添付の図面を考慮することにより明白となる。

単眼ビデオカメラが配設された車両を示す図である。システムの事前初期化ステップを示すフローチャートである。世界座標のグラフである。スクリーン座標のグラフである。システムのオペレーションを示すフローチャートである。注視点としての目標物を備えたスクリーン座標のグラフである。スクリーン座標上の目標点を示す図６からの拡大グラフ部分である。図５のグリッド点に対応する世界座標と、世界座標内の目標点を示す拡大グラフ部分である。

本発明の如何なる実施形態をも詳細に説明する前に、本発明は、その適用において、以下の説明に規定される、または以下の図面に示される構成要素の構造および議論の詳細に限定されないということを理解されたい。本発明は別の実施形態が可能であり、また、様々な方式で実施または実行されることが可能である。

図１は、車両からの物体の距離を推定するシステム２０を備えた車両１８を示す。システム２０は、プロセッサ２４と、揮発性メモリおよび不揮発性メモリ２６のうち少なくとも１つを備えた電子制御ユニット（ＥＣＵ）２２を含む。図１において、システム２０は車両１８の後部に固定された単眼ビデオカメラ３０を含む。ビデオカメラ３０は、ビデオカメラの視野内の物体の注視点としての目標点を取得するために配設されている。いくつかの実施形態において、ビデオカメラ３０は単眼パノラマビデオカメラである。

ＥＣＵ２２は、ビデオカメラ３０から入力を受け取り、通信関係にあるディスプレイ３２に出力を提供するように構成されている。いくつかの実施形態において、ディスプレイ３２は、入力を受け取るためのタッチスクリーンディスプレイである。入力を受け取るための他のインターフェースも想定されうる。ＥＣＵ２２は、車両運転者に音声警告を提供するために車両内のスピーカー３４と通信する。ビデオカメラ３０と物体の間の判定された距離は、駐車支援、衝突回避およびその他の目的のうち１以上のために利用される。

較正

システム２０を作動させる前に、ビデオカメラ３０の、ＥＣＵ２２およびディスプレイ３２との較正が、システム２０を事前初期化することによって実行される。図２のフローチャート４０は、ステップ４２で、プロセッサ２４が付帯的ビデオカメラ較正パラメータを取得することで、事前初期化がＥＣＵ２２によって始動することを示している。パラメータは、ビデオカメラ３０の視野、レンズ特性、ビデオカメラモデルおよびその他のビデオカメラ特性を含む。１つの実施形態において、パラメータはビデオカメラ３０の較正信号によって取得される。別の実施形態において、パラメータはディスプレイ３２上に表示されるメニューと運転者による入力または選択から取得される。特定のビデオカメラ３０に対応するフラッシュドライブ等の他の構成が想定される。

図３に示されるステップ４４において、電子制御ユニット２２はまた、世界座標である既知の物理的寸法を持つ長方形グリッドの点を受け取り、メモリ２６に格納または収容する。図３は、車両側または車両に沿った距離ｙと、車両から離れる距離ｘを持つ世界座標の世界座標グリッドの１つの実施形態を示す。点のグリッドが説明されているが、グリッド点は、グリッドを形成する線の交点に配置されている。

図２に示されるステップ４６において、プロセッサ２４は、ビデオカメラ較正パラメータを考慮して、世界座標を持つ点のグリッドを、同じグリッド線を持つスクリーン座標の対応するマップを算出または求めることによって、変換する。図４は、図３に示された世界座標とは大きく異なるスクリーン座標の図を示す。１つの要素は例えば、ビデオカメラパラメータがパノラマレンズ用のデータを含んでいる場合、その形状によって引き起こされる画像への変更は、スクリーン座標を変更することにより考慮されなければならない。ステップ４８において、プロセッサ２４は、世界座標グリッドを表す点のグリッドを、対応するスクリーン座標グリッド上にマッピングされた状態で格納する。ステップ４８の後で、事前初期化ルーチンは終了する。こうして、世界座標グリッドを表す点のグリッドは、プロセッサ２４によってスクリーン座標グリッド上にマッピングされ、メモリ２６に格納される。システム２０の事前初期化ステップは典型的には車両の出荷の前か、またはシステム２０の最初の初期始動の際に発生する。

オペレーション

図５に示されるフローチャート５０はシステム２０のオペレーションを例証する。システム２０は、運転者によって駆動されるか、または、ビデオカメラ３０によって自動的に始動する。システム２０を始動させる他の方式も想定される。

図５のステップ５２において、ビデオカメラ３０によって生成したビデオ画像はＥＣＵ２２に通信される。ステップ５４において、ビデオ画像は、スクリーン座標グリッドを使用してディスプレイ３２上に表示される。ディスプレイ上に物体を表示することは、その開示を参照により本明細書に組み込む、２０１５年４月１日に出願された、所有者が共通する米国特許出願１４／６７５８７２号（ＭＢＦＮｏ．０８１２７６−９８０５）によって規定されている。次にプロセッサ２４はステップ５６に進む。

ステップ５６において、ビデオ画像を見ている運転者は、注視物体に対応する視野スクリーン上の目標点を、追尾用に選択する。１つの実施形態において、ディスプレイ３２はタッチスクリーンであり、ビデオ画像はその上に表示される。運転者は、タッチスクリーンをタッチすることによって注視物体のための目標点を選択する。したがって、タッチされた点は、取得された目標点を規定する。図６は、運転者によってタッチスクリーン上で選択されたディスプレイ３２上で見える注視物体に対応する目標点ｐを示す。目標点ｐは注視物体のための目標点であり、その境界内に物体全体を含むわけではない。故に、図６は本発明のオペレーションの図示のために配設されており、目標点に対応する物体やタッチスクリーン上のビデオ画像を図示していない。

別の実施形態において、ステップ５６は２ステップのプロセスである。第１のステップにおいて、タッチスクリーンの最初のタッチは、タッチされたスクリーンの位置の周りの領域を拡大しセンタリングする。タッチスクリーン上の拡大されたビデオ画像を再度タッチすることは、厳密な目標点ｐを位置特定して規定する。この２ステップの手法は、取得された厳密な目標点ｐの選択に、より一層の精度を提供する。

ステップ５６の後で、プロセッサ２４はプログラムをステップ６０に進める。図５のステップ６０において、プロセッサ２４は目標点ｐを包囲する、目標点ｐに最も近いスクリーン座標内の４つのグリッド点の位置を見出すか、突き止めるよう動作する。この構成は図７に示されており、そこで、角部グッド点ｑ_１、ｑ_２、ｑ_３、ｑ_４が目標点ｐを包囲している。その後、プロセッサ２４はステップ６２に進む。ステップ６２において、プロセッサ２４はスクリーン座標内での、４つの角部スクリーン座標グリッド点ｑ_１−ｑ_４それぞれから目標点ｐまでの距離を算出する。スクリーン距離はメモリ２６に記憶される。その後、プロセッサ２４はステップ６４に進む。

ステップ６４において、プロセッサ２４は４つの角部グリッド点ｑ_１、ｑ_２、ｑ_３、ｑ_４を世界座標グリッド上の世界座標にマッピングして、ステップ６６に進む。マッピングされた座標は、図８において４つの世界角部グリッド点Ｑ_１、Ｑ_２、Ｑ_３、Ｑ_４として示されている。

図５のステップ６６において、プロセッサ２４は、スクリーン距離によって重み付けされた世界座標内の目標点ｐの位置を求めるために線形補間を適用する。１つの実施形態において、線形補間はバイリニア補間を適用する。より詳細には、１つの実施形態において、角部グリッド点はそれぞれ、スクリーン座標グリッドの４つのグリッド点それぞれに関する対応するスクリーン距離の逆二乗によって重み付けされる。逆二乗された距離の和は正規化され、世界座標内の目標点ｐの位置を求める。こうして、目標点ｐが、図８に示すように世界座標内に提供される。図３でわかるように、世界座標は、例証のためにセンチメートルで提供される距離である。次にプロセッサ２４はステップ７０に進む。

車両１８上のビデオカメラ３０の位置は判っている。図３において、ｘ方向および値はビデオカメラ３０から離れる距離であり、センチメートルで提供されている。負の値−１００センチメートルは、この実施形態においてビデオカメラ３０が車両の外側に配設されている例に関して提供されている。ビデオカメラ３０は、図３の値００のところで車両の後部にセンタリングされている。こうしてｙ方向における右または左への運動が、正および負のセンチメートルで提供される。プロセッサ２４が計算のために位置を理解している限り、ｙ方向における位置に他の値も割り当てられうる。地面からのビデオカメラ３０の高さに関するｚ座標の値も利用される。いくつかの実施形態において、ビデオカメラ３０の高さはゼロの所与のｚ世界座標値に対応する。他の構成も想定される。ｚ方向は、ｘ方向とｙ方向両方に対して直角であるため、図３において標識付けされていない。

ステップ７０において、ビデオカメラ３０からの目標点ｐの距離および方向が、ｘ、ｙ、およびｚ世界座標を使用して算出される。三角方程式またはプロセッサ２４によって実行されるその他のプログラムが、ビデオカメラ３０の世界座標および目標点ｐからの距離および角度／方向を求める。その後、プロセッサ２４はステップ７２に進む。

ステップ７２において、ビデオカメラ３０と目標点ｐの間の距離および／または方向がもう１つの別のＥＣＵに提供されるか、または、ＥＣＵ２２は、駐車動作中の衝突回避のために距離値および対応する方向を利用する。さらに、駐車動作およびその他の運転状況中に衝突を回避するために距離の経時変化が求められる。

ビデオカメラ３０は車両１８の後部に取り付けられて示されているが、いくつかの実施形態においてビデオカメラまたは付加的なビデオカメラは、車両の前方および／または側部に取り付けられて、前向き駐車または斜めの駐車への支援を提供する。

いくつかの実施形態において、スピーカー３４は目標点ｐからのビデオカメラ３０の距離および方向に基づいて警告メッセージを提供する。本明細書では仔細に説明しないが、システム２０は、車両の運転者が多数の目標点ｐを選択することができ、車両の運転者が多数の物体に対応する多数の目標点の位置を認識できるよう、各目標点がフォローされるように構成されている。

本明細書では仔細に説明しないが、いくつかの実施形態において、システム２０は、物体の運動を判断し、したがって、車両１８に搭載されたビデオカメラ３０に対する目標点ｐの運動を判断するために、選択された目標点ｐまたはその付近の領域での物体を認識するための画像分析を利用する。

このように、本発明は、とりわけ、車両１８の後部にある物体を単一のビデオカメラ３０で追尾するための方法およびシステムを提供する。そのような構成は、複数のビデオカメラ３０およびその他のセンサを必要とするシステムよりも低費用である。さらに、運転者の選択により任意の物体が検出される。本発明の様々な特徴および利点は以下の特許請求の範囲に規定される。

１８車両
２０システム
２２ＥＣＵ
２４プロセッサ
２６メモリ
３０ビデオカメラ
３２ディスプレイ
３４スピーカー

Claims

車両に配設されたビデオカメラと、前記ビデオカメラの視野内の物体の注視点としての目標点との間の距離および方向を求める方法であって、
世界座標グリッドを表す点のグリッドをスクリーン座標グリッド上にマッピングし、マッピングされたグリッドを電子制御ユニット内に格納することによって事前初期化することと、
ビデオカメラで画像を生成して、プロセッサとメモリを含む電子制御ユニットにビデオ画像を提供することと、
スクリーン座標グリッドを使用してビデオ画像をディスプレイ上に表示することと、
ビデオ画像内の物体の注視点としての目標点を取得することと、
目標点を包囲するスクリーン座標グリッドの４つのグリッド点の位置を求めることと、
目標点から、目標点を包囲する４つのグリッド点それぞれまでのスクリーン距離を求めて格納することと、
目標点を包囲しているスクリーン座標グリッドからの４つのグリッド点を世界座標グリッド上にマッピングすることと、
スクリーン距離によって重み付けされた世界座標グリッド内の目標点の位置を求めるために補間を適用することと、
世界座標内のビデオカメラの既知の位置と、世界座標内の目標点の求められた位置を使用して、ビデオカメラの位置と物体の目標点の間の距離および方向を求める、
ことを含む方法。
前記目標点の位置を求めるために補間を適用することは、バイリニア補間を適用することを含む請求項１に記載の方法。
目標点の位置特定のためのバイリニア補間は、
目標点を包囲する世界座標グリッド内の４つのグリッド点それぞれを、スクリーン座標グリッド内の４つのグリッド点それぞれに関して求められたスクリーン距離の逆二乗によって重み付けし、
世界座標内の目標点の位置を求めるために、逆二乗されたスクリーン距離の和によって正規化することを含む、請求項２に記載の方法。
前記ビデオカメラは単眼パノラマビデオカメラを備えている、請求項１に記載の方法。
世界座標グリッドを表す点のグリッドをスクリーン座標グリッド上にマッピングし格納することによる前記事前初期化は、
付帯的ビデオカメラ較正パラメータを電子制御ユニットに提供することと、
世界座標の世界座標グリッドに既知の物理的寸法を提供することと、
較正パラメータを考慮して世界座標グリッドをスクリーン座標グリッドに変換することと、
スクリーン座標のスクリーン座標グリッドを提供することを含む、請求項１に記載の方法。
付帯的ビデオカメラ較正パラメータはビデオカメラのレンズのレンズ特性を含む、請求項５に記載の方法。
前記ビデオカメラは単眼パノラマビデオカメラを備えている、請求項６に記載の方法。
衝突を回避するために、車両に配設されたビデオカメラから物体の目標点までの距離の変化を求めることを含む、請求項１に記載の方法。
前記ディスプレイはタッチスクリーンを備え、目標点を、ビデオ画像に示された物体の注視点として取得することは、そこに表示されたビデオ画像内の物体の目標点においてタッチスクリーンをタッチすることを含む、請求項１に記載の方法。
目標点を、ビデオ画像内に示された物体の注視点として取得することは、さらに、
ビデオ画像に示された物体を、タッチスクリーンのタッチされた目標点において拡大しセンタリングし、
タッチスクリーンを目標点で再度タッチすることにより、拡大されたビデオ画像内の物体の厳密な目標点を選択することと、
タッチスクリーンが再度タッチされたことに応答して、厳密な目標点を規定することを含む、請求項９に記載の方法。
車両に配設されたビデオカメラと、ビデオカメラの視野内の物体の注視点としての目標点との間の距離および方向を求めるシステムであって、
ビデオ画像を生成するための車両に固定されたビデオカメラと、
プロセッサおよびメモリを含む電子制御ユニットとを備え、前記電子制御ユニットは、
世界座標グリッドを表す点のグリッドをスクリーン座標グリッド上にマッピングし、マッピングされたグリッドをメモリ内に格納することによって事前初期化し、
ビデオカメラからビデオ画像を受け取り、
スクリーン座標グリッドを使用してビデオ画像をディスプレイ上に表示し、
ディスプレイ上のビデオ画像に表示された物体の注視点としての目標点を取得し、
目標点を包囲しているスクリーン座標グリッドの４つのグリッド点の位置を求め、
目標点から、４つのグリッド点それぞれまでのスクリーン距離を求めて格納し、
目標点を包囲しているスクリーン座標グリッドからの４つのグリッド点を世界座標グリッド上にマッピングし、
スクリーン距離によって重み付けされた世界座標グリッド内の目標点の位置を求めるために補間を適用し、
世界座標内のビデオカメラの既知の位置と、世界座標内の目標点の求められた位置を使用して、ビデオカメラの位置から物体の目標点までの距離および方向を求めるように構成されているシステム。
前記目標点の位置を求めるための補間はバイリニア補間を含む請求項１１に記載のシステム。
目標点の位置特定のためのバイリニア補間はさらに、
目標点を包囲する世界座標グリッド内の４つのグリッド点それぞれを、スクリーン座標グリッド内の４つのグリッド点それぞれに関して求められたスクリーン距離の逆二乗によって重み付けし、
世界座標における目標点の位置を求めるために、逆二乗されたスクリーン距離の和によって正規化することを含む、請求項１２に記載のシステム。
前記ビデオカメラは単眼パノラマビデオカメラを備えている、請求項１１に記載のシステム。
前記電子制御ユニットは、
ビデオカメラの付帯的ビデオカメラ較正パラメータを取得し、
世界座標の世界座標グリッドに既知の物理的寸法を取得し、
較正パラメータを考慮して世界座標グリッドをスクリーン座標グリッドに変換し、
スクリーン座標グリッドに、変換された世界座標を提供する、
ことによって、世界座標グリッドを表す点のグリッドをスクリーン座標グリッド上にマッピングし、マッピングされたグリッドをメモリ内に格納することによって事前初期化するように構成されている、請求項１１に記載のシステム。
付帯的ビデオカメラ較正パラメータはビデオカメラのレンズのレンズ特性を含む、請求項１５に記載のシステム。
前記ビデオカメラは単眼パノラマビデオカメラを備えている、請求項１６に記載のシステム。
前記電子制御ユニットは、衝突を回避するために、車両に配設されたビデオカメラから物体の目標点までの距離の変化を求めるように構成されている、請求項１１に記載のシステム。
前記ディスプレイはタッチスクリーンを備え、前記電子制御ユニットは、運転者による、タッチスクリーンの目標点でのタッチからの信号を受け取るように構成されている、請求項１１に記載のシステム。
前記電子制御ユニットはさらに、
ビデオ画像に示された物体を、タッチスクリーンのタッチされた目標点において拡大しセンタリングし、
厳密な物体の目標点を拡大されたビデオ画像内で取得するために、タッチスクリーン上に拡大されたビデオ画像の運転者による再度のタッチからの信号を受け取り、
厳密な目標点を拡大されたビデオ画像に規定して格納する、
ように構成されている、請求項１９に記載のシステム。