JP7033649B2

JP7033649B2 - 車載ステレオカメラ

Info

Publication number: JP7033649B2
Application number: JP2020508214A
Authority: JP
Inventors: 彰二村松; 健志磨; 真工藤
Original assignee: Hitachi Astemo Ltd
Current assignee: Hitachi Astemo Ltd
Priority date: 2018-03-22
Filing date: 2019-03-11
Publication date: 2022-03-10
Anticipated expiration: 2039-03-11
Also published as: CN111868784B; JPWO2019181591A1; US11367175B2; CN111868784A; US20210019877A1; WO2019181591A1

Description

本発明は、車載ステレオカメラに関する。

特許文献１には、複数の撮像装置にて、重複領域を有するように撮像された撮像画像をそれぞれ取得し、取得した複数の撮像画像において重複領域をそれぞれ抽出し、抽出した複数の重複領域においてそれぞれ画像特徴を抽出し、また、複数の重複領域における画像特徴を比較し、これらの画像特徴が類似するか否かを判定し、類似していない場合に撮像装置が故障していると判定する技術が示されている。そして、故障していると特定されるカメラがある場合には、フェールセーフ設定が行われ、故障しているカメラによる撮像画像を利用しないような指示を出力することが説明されている。

特開２０１６－１５６３８号公報

例えば、ステレオカメラによるセンシング情報に基づいて自動運転を行っている途中でステレオカメラに遮蔽物が付着して視界が妨げられた場合や、ステレオカメラに故障が発生した場合にも、走行制御に必要なセンシング機能を維持し、ドライバが運転を引き継ぐまで自動運転を継続することが求められる。

本発明は、上記の点に鑑みてなされたものであり、その目的とするところは、撮像に不具合が生じた場合に自動運転を継続することが可能な車載ステレオカメラを提供することにある。

上記課題を解決する本発明の車載ステレオカメラは、
一対の撮像部によって互いに重複する領域を有するように撮像された一対の撮像画像を取得する撮像画像取得部と、
前記一対の撮像画像を用いて物体を認識する物体認識処理を行う物体認識部と、
前記一対の撮像画像の少なくとも一方に異常領域が存在しているか否かを判定し、前記異常領域が存在している場合には前記異常領域が前記物体認識部の前記物体認識処理に与える影響度を診断する影響度診断部と、
を備え、
前記物体認識部は、前記影響度に応じて前記物体認識処理の処理内容を変更することを特徴とする。

本発明によれば、撮像に不具合が生じた場合に自動運転を継続することが可能な車載ステレオカメラを得ることができる。本発明に関連する更なる特徴は、本明細書の記述、添付図面から明らかになるものである。また、上記した以外の、課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

本発明の第１実施形態に係る車載ステレオカメラの構成を説明する機能ブロック図。本発明の第１実施形態に係る車載ステレオカメラの制御処理を説明するフローチャート。異常検知処理により異常の影響度を診断する方法の具体例を説明する図。物体認識処理の内容を説明するフローチャート。物体認識処理の他の実施例を説明するフローチャート。異常領域と正常領域を有する一方の撮像画像の模式図。物体認識処理の他の実施例を説明するフローチャート。正常に動作しているテーブルの一例を説明する図。異常領域が存在するときのテーブルの一例を説明する図。異常領域が存在するときの左画像と右画像の模式図。ステレオ視による視差画像の模式図。異常領域の単眼視による補完状態を示す模式図。異常時にハードウエアの構成を切り替える方法を説明する図。

次に、本発明の実施の形態について図面を用いて説明する。
図１は、本発明の実施形態に係る車載ステレオカメラの構成を説明する機能ブロック図である。

本実施形態の車載ステレオカメラは、自車両に搭載されており、自車両の前方を撮像した画像に基づいて歩行者や他車両などの物体認識を行う構成を有している。車載ステレオカメラで検出された物体認識の情報は、自車両の走行制御部１０５に出力され、自動ブレーキ制御、自動走行制御、または、自動駐車制御等の種々の車両走行制御に用いられる。

車載ステレオカメラは、図１に示すように、一対の撮像部（撮像手段）１０１、１０２及び制御部を有している。一対の撮像部１０１、１０２は、互いに重複する領域を有するように車両前方を撮像する。一対の撮像部１０１、１０２は、本実施の形態では車載ステレオカメラと一体に構成されているが、車載ステレオカメラとは別体に設けて撮像画像を車載ステレオカメラに供給する構成としてもよい。

制御部は、正常時にステレオ視による物体認識を行う第１の物体認識部１０３と、異常時に単眼視による物体認識を行う第２の物体認識部１０４とを有している。第１の物体認識部１０３は、一対の撮像画像から視差を計算する手段１１１と、視差から距離を算出する手段１１２と、距離情報から物体認識を行う手段１１３を有する。第２の物体認識部１０４は、いずれか一方の撮像部により撮像された撮像画像に異常を検知する手段１２１と、他方の撮像部により撮像された撮像画像を用いて単眼処理を行う手段１２２と、その結果に基づいて物体認識を行う手段１２３を有する。

図２は、本実施形態に係る車載ステレオカメラの制御処理を説明するフローチャートである。

制御部では、最初に、一対の撮像部によって互いに重複する領域を有するように撮像された一対の撮像画像を取得する撮像画像取得処理（Ｓ２０１）が行われる。そして、一対の撮像画像の少なくとも一方に異常があるか否かを検知する異常検知処理（Ｓ２０２）が行われる。Ｓ２０２の異常検知処理では、一対の撮像画像の少なくとも一方に異常領域が存在しているか否かが判定され、異常領域が存在している場合には異常領域が物体認識部の物体認識処理に与える影響度を診断する影響度診断処理が行われる。そして、一対の撮像画像を用いて物体を認識する物体認識処理（Ｓ２０３）が行われる。Ｓ２０３の物体認識処理では、影響度診断処理により診断された影響度に応じて物体認識処理の処理内容を変更する処理が行われる。

図３は、異常検知処理により異常の影響度を診断する方法の具体例を説明する図である。

図３に示す例では、左右一対の撮像画像のうち、右画像３０２に汚れ３０３があり、左画像３０１には汚れがない。このような場合、異常検知処理により、右画像３０２に異常があり、異常領域が存在していると判定される。そして、物体認識における影響度を診断するために、左画像３０１と右画像３０２を互いに比較して、汚れ３０３の大きさと透明度を推定する。影響度は、汚れ３０３の大きさと透明度に影響を受け、汚れが大きいほどまたは透明度が低いほど影響度は大きく、汚れが小さいほどまたは透明度が高いほど影響度は小さくなる。

異常検知処理では、左画像３０１と右画像３０２との差を算出し、汚れ部分の差が大きい場合、汚れ３０３が付着していると判断することができる。例えば、泥やゴミなどの明らかな汚れは、単眼カメラによる単一の画像から検出できるが、カメラレンズに付着した雨滴などの薄い汚れを検出することは困難である。一方、ステレオカメラは、左右の二つの同様な画像が得られるので、薄い汚れも検出することができる。

例えば、透明度（１）のように汚れの透明度が高い場合は、物体認識処理において物体の誤検知や不検知が少なく、影響度は小さいと診断される。また、透明度（５）のように汚れの透明度が低い場合は、物体認識処理において物体の誤検知や不検知の可能性が高くなる。つまり、誤検知や不検知のリスクが高く、影響度は大きいと診断される。図３に示す右画像３０２の汚れ３０３は、雨滴などの薄い汚れであり、透明度（３）に相当する。

図４は、Ｓ２０３の物体認識処理の内容を説明するフローチャートである。
物体認識処理では、影響度診断処理により診断された影響度に応じて物体認識処理の処理内容を変更する。例えば、ステップＳ４０１では、異常領域が存在しているか否かが判定される。そして、異常領域が存在していない場合（Ｓ４０１でＮＯ）には、ステップＳ４０３に移行し、一対の撮像画像を用いたステレオ視による物体認識が行われる。

一方、異常領域が存在している場合（Ｓ４０１でＹＥＳ）には、その影響度を診断すべくステップＳ４０２以降に移行する。ステップＳ４０２では、影響度が予め設定されている閾値よりも小さいか否かが判断され、影響度が予め設定されている閾値よりも小さいと診断された場合（Ｓ４０２でＹＥＳ）には、ステップＳ４０３に移行し、一対の撮像画像を用いたステレオ視による物体認識が行われる。

そして、影響度が閾値以上と診断された場合（Ｓ４０２でＮＯ）には、ステップＳ４０４に移行し、いずれか他方の撮像画像のみを用いた単眼視による物体認識処理を行う。例えば、図３に示す透明度（３）を閾値とした場合、透明度（１）と透明度（２）は閾値よりも小さいので、左画像３０１と右画像３０２のステレオ視による物体認識処理が行われ、透明度（３）－（５）は閾値以上なので左画像３０１の単眼視による物体認識処理が行われる。

上記した物体認識処理によれば、一方の撮像画像に異常がありその影響度が閾値以上の場合には、一対の撮像画像を用いたステレオ視から他方の撮像画像のみを用いた単眼視に物体認識処理の内容を変更するので、認識性能は低下するかもしれないが、最低限の機能は維持することができ、物体認識を継続することができる。したがって、ステレオカメラによるセンシング情報に基づいて自動運転を行っている途中でステレオカメラに遮蔽物が付着して視界が妨げられた場合や、ステレオカメラに故障が発生した場合にも、走行制御に必要なセンシング機能を維持し、ドライバが運転を引き継ぐまで自動運転を継続することができる。

図５は、物体認識処理の他の実施例を説明するフローチャートであり、図４に対応するものである。

本実施例において特徴的なことは、撮像画像の異常領域のみを、単眼視による物体認識処理により補完する構成としたことである。ステップＳ５０１からステップＳ５０３までの処理内容は、図４に示す実施例のステップＳ４０１からステップＳ４０３と同じである。ステップＳ５０４では、一方の撮像画像から異常領域を除いた正常領域の画像と、他方の撮像画像であって一方の撮像画像の正常領域に対応する正常領域の画像とを用いたステレオ視による物体認識と、他方の撮像画像であって一方の撮像画像の異常領域に対応する正常領域の画像を用いた単眼視による物体認識とを行う。

図６は、異常領域と正常領域を有する一方の撮像画像の模式図である。一方の撮像画像６０１は、正常に撮像されている正常領域６０２、６０３と、影響度が閾値以上の汚れがある異常領域６０４とを有している。他方の撮像画像６１１は、汚れがなく、一方の撮像画像６０１の領域６０２～６０４に対応する正常領域６１２～６１４を有している。

かかる場合、一方の撮像画像６０１の正常領域６０２、６０３と他方の撮像画像６１１の正常領域６１２、６１３を用いたステレオ視による物体認識処理が行われる。そして、一方の撮像画像６０１の異常領域６０４については、一方の撮像画像６０１の異常領域６０４に対応する他方の撮像画像６１１の正常領域６１４の画像を用いた単眼視による物体認識処理が行われる。

上記した物体認識処理によれば、正常領域６０２、６０３については、他方の撮像画像６１１との間で視差計算をすることができる。したがって、異常となった一方の撮像画像６０１の一部についてはステレオ視による物体認識を行うという正常パスを残すことができる。したがって、異常時のダメージに応じたレベルで機能の維持を図ることができる。

なお、上記した実施例では、一方の撮像画像６０１のみに異常領域が存在する場合について説明したが、これに限定されるものではなく、一方の撮像画像６０１と他方の撮像画像６１１の両方に異常領域が存在する場合についても適用することができる。例えば、一方の撮像画像６０１の領域６０４と他方の撮像画像６１１の領域６１２がそれぞれ異常領域であった場合、一方の撮像画像６０１の領域６０４については他方の撮像画像の正常領域６１４を用いて単眼視による物体認識を行い、他方の撮像画像６１１の領域６１２については一方の撮像画像の正常領域６０２を用いて単眼視による物体認識を行ってもよい。

図７は、物体認識処理の他の実施例を説明するフローチャートであり、図５に対応するものである。本実施例において特徴的なことは、撮像画像に異常がある場合には、影響度に応じて異常領域についての物体認識処理を変更することである。

例えば、ステップＳ７０１では、異常領域が存在しているか否かが判定される。そして、異常領域が存在していない場合（Ｓ７０１でＮＯ）には、第１の物体認識処理を実行すべくステップＳ７０３に移行し、一対の撮像画像を用いたステレオ視による物体認識が行われる。そして、異常領域が存在している場合（Ｓ７０１でＹＥＳ）には、その影響度を診断すべくステップＳ７０２以降に移行する。

ステップＳ７０２では、影響度が予め設定されている閾値よりも小さいか否かが判断され、影響度が予め設定されている閾値よりも小さいと診断された場合（Ｓ７０２でＹＥＳ）には、第２の物体認識処理を実行すべくステップＳ７０４に移行し、影響度が閾値以上であると診断された場合（Ｓ７０２でＮＯ）には、第３の物体認識処理を実行すべくステップＳ７０５に移行する。

ステップＳ７０４では、正常領域どうしについてはステレオ視による物体認識が行われる。そして、異常領域については、正常領域のステレオ視とは異なる処理で、立体物の位置が計測される。異なる処理としては、例えば、テクスチャの相関処理でマッチングする方法や、エッジ情報や明るさの勾配でマッチングする方法が挙げられる。例えば、一方の撮像画像に影響度が閾値よりも小さい異常領域がある場合、異常領域に対応する他方の撮像画像の正常領域についてマッチングを行う。

ステップＳ７０５では、正常領域どうしについてはステレオ視による物体認識が行われる。そして、異常領域については、正常な他方の撮像画像のみを用いた単眼視による物体認識が行われる。例えば、一方の撮像画像に影響度が閾値以上の異常領域がある場合、異常領域に対応する他方の撮像画像の正常領域について単眼視による物体認識を行う。物体認識処理では、ステップＳ７０４またはステップＳ７０５によって異常領域に物体が検知された場合、その物体を異常領域の位置に入れて補完したテーブルを作成する。

図８は、正常に動作しているテーブルの一例を説明する図、図９は、異常領域が存在するときのテーブルの一例を説明する図である。例えば、ステップＳ７０１で異常領域が存在していないと判断され、ステップＳ７０３でステレオ視による物体認識が行われた場合、図８に示すテーブルが作成される。図８に示すテーブルには、ステレオ視により認識された物体の情報が示されており、物体ＩＤ（１）～（５）と、各物体の３次元座標位置と、各物体のサイズが検知されている。

また、異常領域が一方の撮像画像に存在している場合、ステレオ視による物体認識だけでは、物体ＩＤ（３）、（４）が不検知となり、テーブルは、図９（ａ）に示すものとなる。本実施例では、異常領域についてはマッチングや単眼視による物体認識が行われ、補完される。補完された物体ＩＤ（３）、（４）は、図９（ｂ）に示すように、その位置Ｘａ３、Ｙａ３、Ｚａ３、Ｘａ４、Ｙａ４、Ｚａ４とサイズＳａ２、Ｓａ４がテーブルに入れられる。

図１０は、異常領域が存在するときの左画像と右画像の模式図、図１１は、ステレオ視による視差画像の模式図、図１２は、異常領域の単眼視による補完状態を示す模式図である。

左画像９０１と右画像９０２には、自車両の走行車線の側方に配置されている制限速度を示す道路標識９０３と、自車両の前方を自車両と同一の方向に向かって移動する先行車両９０４が映っている。そして、右画像９０２に映る先行車両９０４は、右側の撮像部に付着した泥汚れ９０５によって、その一部が完全に隠れている。したがって、図１１に示すように、ステレオ視による物体認識を行った場合、正常領域である道路標識９０３と先行車両９０４の一部については、自車両からの離間距離、つまり、位置が求まり、物体検出が可能となるが、泥汚れ９０５によって隠された異常領域９０６については、ステレオ視では位置が求まらない。

これに対し、本実施例では、図１２に示すように、左の撮像画像９０１を用いて右の撮像画像９０２の異常領域を補完し、右の撮像画像９０２の汚れて隠れた部分の画像９０７を生成する。画像９０７は、例えば、左の撮像画像９０１を処理して、先行車両９０４のサイズを推定することによって生成される。そして、図１２に示すように異常領域が補完された右の撮像画像９０２と、左の撮像画像９０１とを用いて物体認識が行われる。

図１３は、異常時にハードウエアの構成を切り替える方法を説明する図である。
車載ステレオカメラは、ステレオ視による物体認識として、一対の撮像画像の視差を計算し、視差に基づいて撮像画像における距離情報を算出し、距離情報に基づいて物体を検知する処理を行う第１の処理回路部と、単眼視による物体認識として、撮像画像における特徴点を抽出し、特徴点に基づいて物体を識別する処理を行う第２の処理回路部と、を有する。第１の処理回路部は、図１に示す第１の物体認識部を構成し、第２の処理回路部は、図１に示す第２の物体認識部を構成する。

本実施形態の車載ステレオカメラは、ＣＰＵ、メモリ、及びＦＰＧＡ回路などのハードウエアを有している。ハードウエアは、図１３に示すように、正常時はステレオ視による物体認識を行うための回路として、画像入力回路１３０１と、アフィン回路１３０２と、左右画像視差計算回路１３０３を備えており、ＣＰＵによる視差（三次元情報）処理をソフトウエアによって行い、物体を検出している。そして、異常時には、単眼視による物体認識を行う回路として、左右画像視差計算回路１３０３を特徴抽出回路１３０４に切り替えて、ＣＰＵによる特徴点を機械学習による識別処理（ソフト処理）で物体を検出する。

本実施例では、ハードウエアの使用構成を変更することによって、ステレオ視による物体認識処理を実行する構成と、単眼視による物体認識処理を実行する構成とのいずれか一方に切り替える。例えば、一方の撮像画像に異常がある場合に、ステレオ視による物体認識処理を停止させ、単眼視による物体認識処理に切り替える。その際、（１）ＦＰＧＡ回路のステレオ視処理回路を単眼視処理用のハードウエアアクセラレータに書き換えること、（２）メモリの使用領域を変更すること、（３）ＣＰＵの使用構成（マルチコアの構成など）を変更することを行う。したがって、異常時にのみ使用するハードウエアを節約でき、ハードウエア規模を小さくすることができる。

以上、本発明の実施形態について詳述したが、本発明は、前記の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の精神を逸脱しない範囲で、種々の設計変更を行うことができるものである。例えば、前記した実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。さらに、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

３０１左画像
３０２右画像
３０３汚れ
６０１一方の撮像画像
６０２、６０３正常領域
６０４異常領域
６１１他方の撮像画像
６１２～６１４正常領域
９０１左画像
９０２右画像
９０３道路標識
９０４先行車両
９０５泥汚れ
Ｓ２０１撮像画像取得処理（撮像画像取得部）
Ｓ２０２異常検知処理（影響度診断部）
Ｓ２０３物体認識処理（物体認識部）

Claims

一対の撮像部によって互いに重複する領域を有するように撮像された一対の撮像画像を取得する撮像画像取得部と、
前記一対の撮像画像を用いて物体を認識する物体認識処理を行う物体認識部と、
前記一対の撮像画像の少なくとも一方に異常領域が存在しているか否かを判定し、前記異常領域が存在している場合には前記異常領域が前記物体認識部の前記物体認識処理に与える影響度を診断する影響度診断部と、
を備え、
前記物体認識部は、
前記影響度診断部により前記一対の撮像画像のいずれにも前記異常領域が存在していないと診断された場合、若しくは、前記影響度が予め設定されている閾値よりも小さいと診断された場合に、前記一対の撮像画像を用いたステレオ視による物体認識を行い、
前記影響度診断部により前記一対の撮像画像のいずれか一方の撮像画像に前記異常領域が存在しており、前記影響度が前記閾値以上と診断された場合に、
前記一方の撮像画像から前記異常領域を除いた正常領域の画像と、前記一対の撮像画像の他方の撮像画像とを用いたステレオ視による物体認識と、
前記他方の撮像画像であって前記異常領域に対応する領域の画像を用いた単眼視による物体認識とを行う
ことを特徴とする車載ステレオカメラ。
前記物体認識部は、
前記ステレオ視による物体認識として、前記一対の撮像画像の視差を計算し、該視差に基づいて前記撮像画像における距離情報を算出し、該距離情報に基づいて物体を検知する処理を行う第１の処理回路部と、
前記単眼視による物体認識として、前記撮像画像における特徴点を抽出し、該特徴点に基づいて物体を識別する処理を行う第２の処理回路部と、
を有することを特徴とする請求項１に記載の車載ステレオカメラ。
ハードウエアの使用構成を変更することによって、前記ステレオ視による物体認識処理を実行する構成と、前記単眼視による物体認識処理を実行する構成とのいずれか一方に切り替えることを特徴とする請求項１に記載の車載ステレオカメラ。
前記異常領域の影響度は、前記撮像画像における前記異常領域の大きさ、または、透明度の少なくとも一方であることを特徴とする請求項１に記載の車載ステレオカメラ。