JP6877636B2

JP6877636B2 - 車載カメラ装置

Info

Publication number: JP6877636B2
Application number: JP2020516227A
Authority: JP
Inventors: 衛大場
Original assignee: Hitachi Astemo Ltd
Current assignee: Hitachi Astemo Ltd
Priority date: 2018-04-23
Filing date: 2019-04-12
Publication date: 2021-05-26
Anticipated expiration: 2039-04-12
Also published as: CN111971528A; WO2019208257A1; JPWO2019208257A1; CN111971528B

Description

本発明は、撮像画像から先行車両との車間距離を測定する車載カメラ装置に関する。

撮像画像から先行車両との車間距離を測定する車載カメラ装置として、近接配置した二つのカメラ（ステレオカメラ）の視差を利用した複眼視によって車間距離を測定するものが知られている。

例えば、特許文献１の請求項１には、「車外の設定範囲内の対象に対し、互いに異なる方向から複数枚の画像を撮像する撮像系を備え、上記撮像系で撮像した複数枚の画像を処理して画像全体に渡る距離分布を出力する画像処理手段に、上記撮像系で撮像した複数枚の画像に対応して、所定の領域毎に一致度を高速で計算する一致度計算部と、上記一致度計算部で計算した一致度の最小値に基づいて、上記複数枚の画像の対応する画素位置のずれ量を上記距離分布に係わる情報として決定するずれ量決定部とを備えたことを特徴とする車輌用距離検出装置」と記載されている。

特開平５−１１４０９９号公報

車両前方を撮像する車載カメラ装置を車室内に取り付ける場合、その取り付け位置によっては、車両前方に死角が生じることがある。通常、カメラの仰角方向の視野角は一定であるから、車載カメラ装置の取り付け位置が高くなるほど、車両前方の死角が増加する。
そして、先行車両に接近するほど、先行車両が死角に入る可能性が高まり、ステレオカメラを利用して先行車両を検出する特許文献１の方式では、車間距離を検知できなくなることが多い。

特に、車高の高いボックスタイプの車両は、車載カメラ装置の設置位置の高さの影響により死角が大きくなる構造に加え、一般的な乗用車と同じ車間距離の場合でも、短いボンネットの影響により先行車両と車載カメラ装置の距離も短くなるため、ある程度の車間距離を確保していても、先行車両の一部が死角に入りこむ可能性が高くなる。このような構造上の問題により、ボックスタイプの車両では、一般的な乗用車に比べ、ステレオカメラを利用しての車間距離測定が不能となる場合が多かった。

本発明はこれらの問題を踏まえてなされたものであり、先行車両の一部が車載カメラ装置の死角に入り込んだ場合であっても、車間距離の正確な測定を継続できる車載カメラ装置を提供することを目的とする。

上記課題を解決するために、本発明の車載カメラ装置は、左右に近接配置した二つの撮像部と、該二つの撮像部が撮像した一対の撮像画像の視差から該撮像画像中の障害物との距離を測定する視差測距部と、一方の撮像部の撮像画像から前記障害物の特徴点を抽出する特徴点抽出部と、前記視差測距部が測定した距離と、前記視差測距部が距離を測定した以降の前記特徴点の移動距離に基づいて、前記撮像画像中の障害物との距離を測定する単眼測距部と、前記視差測距部と前記単眼測距部が測定した前記障害物との距離の一方を選択して出力する距離出力部と、備えたものとした。

本発明によれば、自車両が先行車両に接近し、先行車両の一部が車載カメラ装置の死角に入った場合でも、車間距離を正確に測定することができる。

実施例１の車載カメラ装置の概略構成を示すブロック図。車載カメラ装置の取り付け位置と死角の関係を説明する概略図。先行車両が普通車である場合の、視差検出限界前後の撮像画像を比較した図。先行車両がトラックである場合の、視差検出限界前後の撮像画像を比較した図。実施例１における先行車両の特徴点の抽出方法を示した図。実施例１における車間距離測定処理を説明するフロー図。図６の二閾値の大小関係を示す図。実施例２における車間距離測定処理を説明するフロー図。

以下、本発明の実施例について図面を用いて説明する。

まず、図２を用いて、自車両１０と先行車両２０の位置関係、および、本実施例の車載カメラ装置１の取り付け位置とその死角の関係を説明する。ここに例示する自車両１０は車高が高くボンネットの短いボックスタイプの車両であり、先行車両２０は車高の低い普通車であるが、両車両の組合せはこの例に限定されない。

車載カメラ装置１は、先行車両２０から車載カメラ装置１までの距離（以下、「距離Ｒ」と称する）を測定するためのステレオカメラであり、自車両１０の車室内であって、自車両１０の先端から距離ｒ１の位置、かつ、地面から高さｈの位置に設置されている。自車両１０がボックスタイプの場合、距離ｒ１は約２０ｃｍ程度であるが、一般的な車両の場合には、距離ｒ１は約２ｍ程度となることもある。

車載カメラ装置１が測定する距離Ｒは、前述の距離ｒ１と、先行車両２０の後端から自車両１０の先端までの距離（以下、「車間距離ｒ２」と称する）の和であるため、距離Ｒから既知の距離ｒ１を減算することで車間距離ｒ２を算出できる。なお、上述したように、車載カメラ装置１の取り付け位置が高くなるほど、また、距離ｒ１が短くなるほど、自車両前方の死角領域（図２の斜線領域）が広がる傾向があるため、本実施例のように、車載カメラ装置１の取り付け位置が高く、距離ｒ１が短いボックスタイプの自車両１０では、先行車両２０に接近した場合、視差を利用した距離Ｒの測定が不能となることが多い。

次に、図１のブロック図を用いて、本実施例に係る車載カメラ装置１の概要を説明する。ここに示すように、車載カメラ装置１は、主に、右撮像部２Ｒと、左撮像部２Ｌと、測距装置３より構成されたものであり、測距装置３からは測定した距離ＲがＥＣＵ８に出力される。この測距装置３は、撮像部が撮像した撮像画像に基づいて距離Ｒを演算するものであり、これを実現するためのハードウェアとして、図示しない、ＣＰＵ、主記憶装置、補助記憶装置、通信装置等を備えている。そして、主記憶装置にロードしたプログラムをＣＰＵが実行することで、後述する視差測距部４、特徴点抽出部５、単眼測距部６、距離出力部７の各機能を実現するものであるが、以下では、このような周知技術を適宜省略しながら説明する。なお、図１では測距装置３とＥＣＵ８を分離した構成を示しているが、本実施例の測距装置３をＥＣＵ８に統合した構成としても良い。以下、各々の構成について、更に詳細に説明する。

右撮像部２Ｒと左撮像部２Ｌは、レンズ等を介してカメラ前方の状態を画像として取り込むものであり、近接配置された二つの撮像部によりステレオカメラを構成する。

視差測距部４は、右撮像部２Ｒと左撮像部２Ｌで撮像した一対の撮像画像の視差から、画像内立体物の奥行方向の距離を求める、ステレオ視での距離測定機能を持つ。ここで、ステレオ視での距離測定方法は、画像内立体物を構成する縦辺に注目し、右撮像部２Ｒと左撮像部２Ｌでその縦辺の画素上のずれを奥行方向の距離に換算するものであるが、これは周知技術であるので、その具体的な説明は省略する。

特徴点抽出部５は、右撮像部２Ｒあるいは左撮像部２Ｌから入力された撮像画像に基づいて、先行車両２０の特徴的な部分（以下、「特徴点２０ａ」と称する）を抽出するものである。ここで、特徴点２０ａとは、例えば、コントラストの濃淡の境界部（ルーフとリアガラスの境目、ルーフそのもの）や、特徴的な形状部（ルーフアンテナ等の突起）のように、撮像画像の画素レベルでユニークな部分であり、異なるタイミングに撮像した撮像画像からも容易に同一部を抽出できるような特徴的な部分である。ここで、特徴点２０ａの候補が複数ある場合は、なるべく画像上部のものを抽出することが望ましい。抽出された特徴点２０ａは、撮像画像上での座標ｙとして随時、単眼測距部６に出力される。なお、図１に例示する特徴点抽出部５では、左撮像部２Ｌの撮像画像が入力されているが、右撮像部２Ｒの撮像画像が入力される構成としても良い。

単眼測距部６は、視差測距部４が測定したステレオ視での距離Ｒと、特徴点抽出部５が抽出した特徴点２０ａの座標ｙの変化に基づいて、一方の撮像部（以下、「単眼」と称する）の撮像画像から距離Ｒ’を算出するものである。

距離出力部７は、視差測距部４が測定した距離Ｒと、単眼測距部６が測定した距離Ｒ’のいずれかを選択してＥＣＵ８に出力する。距離Ｒと距離Ｒ’の双方が測定できた場合には、距離出力部７は、原理的に精度が高い視差測距部４による距離Ｒを選択して出力するが、視差測距部４による測定が不能となった場合には、単眼測距部６による距離Ｒ’を選択して出力する。

次に、図３と図４を用いて、視差測距部４による測定が不能となる状況を説明する。

図３は、先行車両２０が普通車であるときの、視差測距部４による視差検出限界距離前後の撮像画像を比較した図である。図３（ａ）、（ｂ）を比較すると、図３（ａ）では、先行車両２０の後端位置を示す網掛けした先行車検出枠３０と、視差測距部４が測定した距離Ｒに相当する「測定距離２ｍ」が表示されているのに対し、図３（ｂ）では、これらが表示されていない。

このような違いが生じるのは、車間距離がある程度確保されている図３（ａ）では、先行車両２０の一部（後バンパーや後輪など）が死角に入り撮像できていないものの、車両の横部分を含む先行車両２０の大部分が撮像されており、立体物を構成する縦辺部を検出できるため、視差による先行車両２０の検出や距離測定が可能であるのに対し、図３（ｂ）では、自車両１０が先行車両２０にさらに接近し、先行車両２０の大部分が死角に入った結果、縦辺部が検出できなくなり、視差での先行車両２０の検出や距離測定が不能となったからである。

また、図４は、先行車両２０が荷台を持つトラック２１であるときの、視差測距部４による視差検出限界距離前後の撮像画像を比較した図である。図４（ａ）、（ｂ）を比較すると、図４（ａ）では、トラック２１の後端位置を示す先行車検出枠３０と「測定距離２ｍ」が正常に表示されているのに対し、図４（ｂ）では、トラック２１のキャビン部分に先行車検出枠３０が誤って表示され、本来の車間距離は１ｍ未満であるのに視差測距部４は「測定距離３ｍ」と誤検出している。

このような違いが生じるのは、十分な車間距離が確保されている図４（ａ）では、車両全体が見えており、トラック２１の荷台後方部を正しく検出できるが、図４（ｂ）のように荷台後方部が死角に入りこむ場合は、荷台を見失う一方で、キャビン部分を先行車両として検知し、キャビン部分との距離を誤って測定するからである。

図３（ｂ）や図４（ｂ）の状況は、複眼視によっては、先行車両２０を見失ったり、距離測定に失敗したりした状況であるので、複眼視による測定距離を利用する従来技術では、追従走行や先行車両２０の発進お知らせ等のアプリケーションを正常に利用することができなかった。

そこで、本実施例では、視差測距部４による距離測定に失敗した場合は、単眼測距部６により距離測定に切り替え、所望のアプリケーションの利用を継続できるようにした。単眼測距部６による距離Ｒ’の測定方法には各種方法があるが、以下では、視差検出限界距離前後の撮像画像を比較した図５等を用いて、距離Ｒ’の算出方法の一例を説明する。なお、視差検出限界距離は、自車両１０への車載カメラ装置１の取り付け位置から予め計算でき、例えば、一般的な乗用車のルーフ部しか見えなくなる車間距離を視差検出限界距離とする場合には、２ｍ程度である。

図５（ａ）は、視差検出限界距離以上の距離が確保されており、視差測距部４による距離測定が成功した時点の撮像画像である。ここでは、視差測距部４が測定した距離Ｒ_０と、特徴点抽出部５が抽出したこの時点の特徴点２０ａの撮像画像上での高さ方向の座標ｙ_０を図示している。一方、図５（ｂ）は、車間距離が縮小した結果、視差測距部４による距離測定が失敗した状況を示しており、特徴点抽出部５が抽出したこの時点の特徴点２０ａの撮像画像上での高さ方向の座標ｙ_１と、図５（ａ）の特徴点２０ａから図５（ｂ）の特徴点２０ａ’への移動距離Ｒ_１を図示している。この場合、単眼測距部６が測定する距離Ｒ’は、視差測距部４が測定した距離Ｒ_０と、特徴点２０ａの移動距離Ｒ_１を用いて、次の式１に基づいて算出できる。

ここで、単眼測距部６で実行される、特徴点２０ａの移動距離Ｒ_１の算出方法には、種々方法があり、例えば、次の式２、式３の何れかを用いることができる（ただし、式２、式３におけるＲ_１の最大値はＲ_０）。

なお、式２、式３には、単純化した演算式を例示しているが、実際には、画素の距離的な重みに関する補正をほどこし、より精度の良く距離を求めることとしても良い。

図７に本実施例の車載カメラ装置１が実行する距離測定処理のフローチャートを示す。
視差測距部４による距離測定精度は、単眼測距部６による距離測定精度よりも高いため、ここに示すフローチャートは、通常は、視差測距部４により測定し、これに失敗した場合に、単眼測距部６による測定を行うものとなっている。

自車両１０が走行を開始し先行車両２０を見つけ、追従等の車間距離情報を利用した制御を実行する場合、先ずは、精度が良い視差測距部４を用いた距離測定を実行する（Ｓ６１）。そして、視差測距部４で測定した距離が視差検出限界距離（閾値、例えば２ｍ）以下であるかを判定する（Ｓ６２）。ＮＯの場合（十分な車間距離が確保されている場合）は、そのまま視差での距離測定を継続する（Ｓ６１）。一方、ＹＥＳの場合は、単眼測距部６による距離測定を準備する。すなわち、特徴点抽出部５は、撮像画像から先行車両２０の特徴点２０ａを抽出し、また、単眼測距部６は、画像上での特徴点２０ａの座標ｙ_０と、現時点での視差による測定距離Ｒ_０を記憶する（Ｓ６３）。

そして、所定時間経過後、視差測距部４による距離測定を再度実行し（Ｓ６４）、その成否を判断する（Ｓ６５）。視差測距部４による距離測定が成功した場合は（Ｓ６５でＹｅｓ）、視差での距離測定が実現可能な距離が確保されているため、Ｓ６１に戻り、視差測距部４による距離測定を継続する。一方、自車両１０が先行車両２０に更に接近していた場合等は、視差での距離測定が不能となっているため（Ｓ６５でＮｏ）、視差測距部４による距離測定から単眼測距部６による距離測定を利用した制御に移行する（Ｓ６６）。
続いて、単眼測距部６が再測定した測定距離Ｒ’と視差検出限界距離（閾値）を比較し（Ｓ６７）、測定距離Ｒ’が視差検出限界距離（閾値）以上となるまで、単眼測距部６による距離測定を継続する（Ｓ６６）。一方、単眼測距部６が測定した測定距離Ｒ’が視差検出限界距離（閾値）以上となった場合は、再び視差測距部４による距離測定に復帰する（Ｓ６１）。

次に、図７を用いて、先行車両２０との距離と、距離測定に用いる測距部の関係を説明する。図７のグラフは、横軸が時間、縦軸が先行車両２０との距離であり、自車両１０が先行車両２０に接近し、先行車両２０との距離が時間と共に短くなる様子を示したものである。

ここに示すように、距離が視差検出限界距離（閾値）となったタイミングＴ_１で特徴点抽出部５による特徴点２０ａの抽出と、単眼測距部５による座標ｙ_０と距離Ｒ_０の記憶が開始され、単眼での距離測定に必要な準備を開始する。すなわち、このタイミングＴ_１までは、特徴抽出部５と単眼測距部６を停止しておいても良く、車載カメラ装置１のＣＰＵの処理能力を抑制できる。自車両１０が更に先行車両２０に接近し、視差での距離検出結果が無くなったタイミングＴ_２以降は、視差測距部４を停止し、単眼測距部６による距離測定結果を使用しての制御を実行する。

以上の実施例によれば、先行車両２０等の接近により視差を利用した距離測定が不能となった場合でも、単眼視による距離測定に切り替えることで、所望のアプリケーションの利用を継続することが可能となる。その際、視差で距離測定結果を単眼視での距離情報として引き継ぐため、単に単眼視による距離測定を実行する場合よりも精度の良い距離測定が可能となる。また、単眼視により距離測定する際は、抽出した特徴点のみに注目して先行車両２０の移動量を推定するためＣＰＵの処理負荷を低減することも可能である。

次に、図８を用いて、本発明の実施例２の車載カメラ装置１を説明する。なお、実施例１との共通点は重複説明を省略する。

実施例１でも説明したように、ステレオ視により距離を測定するには、同時に撮像された二つの撮像画像を必要とする。しかし、実使用時には、片側の撮像部が故障したり、片側のレンズが遮蔽されたりして、突発的に一つの撮像画像しか得られなくなる場合もある。

実施例１では、ＣＰＵの処理負荷を軽減するために、車間距離が所定未満となった時のみ、特徴点抽出部５と単眼測距部６を稼働する構成とした。しかし、より高性能なＣＰＵを持つシステムの場合は、上記の処理開始に関する制限を設けることなく、常に特徴点抽出部５と単眼測距部６を稼働することで、撮像画像が突如一枚しか正常に撮像できなくなった場合も距離測定の継続が可能となる。

図８に、これらの処理を常時実施する場合のフローチャートを示す。ここに示す本実施例のフローチャートは、図７に示したフローチャートに対して、視差検出限界距離付近まで先行車接近していることを判定する処理（Ｓ６２等）が削除された代わりに、先行車両２０の特徴点２０ａの抽出、記憶処理（Ｓ８１）と、視差測距部４による距離測定、記憶処理（Ｓ８２）と、単眼測距部６による距離測定、記憶処理（Ｓ８３）を常に実行し、更に、両測定距離の比較を行うものである（Ｓ８４）。

通常は、視差測距部４と単眼測距部６の測定距離は一致しないながらも、略同程度の距離を測定できるため、距離出力部７は、より精度の高い視差測距部４による測定距離を選択して出力する（Ｓ８５）。一方、何らかの事情により片方の撮像画像に突発的な不備が生じた場合は、視差測距部４と単眼測距部６の測定距離に誤差が大きくなるため、その誤差が所定値（例えば±５％）を超える場合、距離出力部７は、片方の撮像画像に不備が生じたと判断し、単眼測距部６による測定距離Ｒ’を選択して出力する（Ｓ８６）。

このような処理により、本実施例の車載カメラ装置では、突発的に片側の撮像部に不備が生じた場合でも、視差測距部４から単眼測距部６に随時切り替えることができるため、先行車両２０などの前方障害物の距離測定を継続することが可能となる。また、視差、単眼の両方が距離測定が可能な状態では、両者の測定結果を比較することにより、システムの信頼性をより向上させることが可能である。

１０…自車両、１…車載カメラ装置、２Ｒ…右撮像部、２Ｌ…左撮像部、３…測距装置、４…視差測距部、５…特徴点抽出部、６…単眼測距部、７…距離出力部、８…ＥＣＵ２０…先行車両、２０ａ…特徴点、２１…トラック、３０…先行車検出枠

Claims

左右に近接配置した二つの撮像部と、
該二つの撮像部が撮像した一対の撮像画像の視差から該撮像画像中の障害物との距離を測定する視差測距部と、
一方の撮像部の撮像画像から前記障害物の特徴点を抽出する特徴点抽出部と、
前記視差測距部が測定した距離と、前記視差測距部が距離を測定した以降の前記特徴点の移動距離に基づいて、前記撮像画像中の障害物との距離を測定する単眼測距部と、
前記視差測距部と前記単眼測距部が測定した前記障害物との距離の一方を選択して出力する距離出力部と、を備えたことを特徴とする車載カメラ装置。
前記距離出力部は、
前記視差測距部による距離測定が可能な場合は、前記視差測距部が測定した前記障害物との距離を出力し、
前記視差測距部による距離測定が不能な場合は、前記単眼測距部が測定した前記障害物との距離を出力することを特徴とする請求項１に記載の車載カメラ装置。
前記視差測距部が測定した前記障害物との距離が所定の閾値以上である場合は、前記特徴点抽出部と前記単眼測距部の処理を停止するとともに、
前記視差測距部が測定した前記障害物との距離が所定の閾値未満である場合は、前記特徴点抽出部と前記単眼測距部の処理を実行することを特徴とする請求項１に記載の車載カメラ装置。
前記距離出力部は、
前記視差測距部と前記単眼測距部が測定した前記障害物との距離の誤差が所定値未満である場合は、前記視差測距部が測定した前記障害物との距離を出力し、
前記視差測距部と前記単眼測距部が測定した前記障害物との距離の誤差が所定値以上である場合は、前記単眼測距部が測定した前記障害物との距離を出力することを特徴とする請求項１に記載の車載カメラ装置。
前記二つの撮像部の取り付け高さ、前記二つの撮像部から自車両の前面ノーズまでの長さ、および、前記車載カメラ装置の視野角から計算される車両近傍の死角に前記障害物が入り込んだ場合、
前記単眼測距部は、前記障害物が死角に入りこむ前に前記視差測距部が測定した距離と、前記特徴点抽出部が抽出した前記障害物が死角に入りこむ前後の特徴点の移動距離に基づいて、前記障害物までの距離を測定することを特徴とする請求項１に記載の車載カメラ装置。