JPWO2018123640A1

JPWO2018123640A1 - 撮像装置

Info

Publication number: JPWO2018123640A1
Application number: JP2018559042A
Authority: JP
Inventors: 大堤; 直也多田; 健永崎; 寛人三苫
Original assignee: Hitachi Automotive Systems Ltd
Current assignee: Hitachi Astemo Ltd
Priority date: 2016-12-26
Filing date: 2017-12-15
Publication date: 2019-10-31
Anticipated expiration: 2037-12-15
Also published as: CN110088803B; CN110088803A; WO2018123640A1; JP6841553B2

Abstract

本発明は、白線を初めとする基準直線が無い道路等を車両等の移動体が走行中であっても、自車両が直進しているか否を判定可能な撮像装置を実現する。本発明は、自車両３００の周囲に存在する静止対象物３０２を撮像部１０１、１０１’が連続して撮像し、自車両３００のボンネットの先端を原点とした座標を用いて、撮像した画像における対象物３０２の軌跡が、直線か否かにより、自車両３００が、直進しているか否かを判定する。これによって、白線を初めとする基準直線が無い道路等を車両等の移動体が走行中であっても、自車両が直進しているか否を判定可能となる。

Description

本発明は、車両等の移動体に搭載され、舵角補正を行うための撮像装置に関する。

近年、自動運転を初めとする車両制御技術に注目が集まっている。正確な車両制御を行う為にはリアルタイムに更新される多数の車載センサ出力値が必要であり、中でも自車挙動を計算する際に利用される操舵角センサ値は精度が求められる。

しかし、操舵角センサ値のゼロ点には経年劣化によりオフセットが加算される。このため、精度良く、遅れの無い操舵角値を得る為には、操舵角補正値計算を行う事が肝要である。

また、コスト低減の為、操舵角センサ値を受け取る側（例えば、車載ステレオカメラ等の車両制御を行うための撮像装置)で操舵角補正値計算を行う事が望ましい。

このため、従来から、操舵角補正値計算を行う様々な技術や、撮像装置が提案されてきた。

例えば、特許文献１には、車載カメラで撮像した画像上の白線に着目し、操舵角補正値計算を行う撮像装置が記載されている。

特開２００６−１９９２４２号公報

しかしながら、特許文献１等に記載された従来技術では、白線を初めとした画像上の基準線が撮像されていないと目標走行ラインが設定出来ず、舵角補正値計算を行う事が出来ない。

白線等の基準線がない道路であっても、舵角補正値計算を行うことが可能となれば、車両制御の精度を向上することができる。

このため、その実現化が望まれている。

本発明の目的は、白線を初めとする基準直線が無い道路等を車両等の移動体が走行中であっても、自車両が直進しているか否を判定可能な撮像装置を実現することである。

上記目的を達成するため、本発明は次のように構成される。

本発明の撮像装置は、
複数の画像を取得する複数の撮像素子を有する撮像部と、
取得された上記複数の画像から、静止物である撮像対象物の視差画像を生成する視差画像生成部と、
上記視差画像生成部により生成された上記視差画像に基づいて、上記撮像対象物の、時系列の複数の三次元位置情報を取得する三次元位置情報抽出部と、
上記三次元位置情報抽出部により取得された上記複数の三次元位置情報に基づいて、移動体の直進判定をする直進判定部と、を備える。

本発明によれば、白線を初めとする基準直線が無い道路等を車両等の移動体が走行中であっても、自車両が直進しているか否を判定可能な撮像装置を実現することができ、道路状況に寄らない舵角補正値計算をすることができる。

前述した以外の課題、構成、効果は以下の実施形態の説明にて述べる。

本発明の一実施例である撮像装置の概略構成図であり、車両に搭載される撮像装置の例を示す図である。図１に示した三次元位置情報抽出部の内部構成を示す図である。本発明の一実施例を説明する上で、自車両が走行する路面の状況を定義するための図である。図３を俯瞰したイメージを示す俯瞰図である。本発明の一実施例における静止立体物の三次元位置軌跡に基づく直進判定ロジックの概略説明図である。直進判定部が、自車両の直進判定を行う際の処理フローである。図６のステップ６０５においてプロット結果が直線になっているかどうか判定するフローの一例を示す図である。図１に示した撮像装置の構成に舵角補正値演算部を備える撮像装置の構成図である。

本発明の実施形態について、添付図面を参照して説明する。

図１は、本発明の一実施例である撮像装置の概略構成図であり、車両に搭載される撮像装置の例である。

図１において、撮像部を構成する複数のＣＭＯＳ素子（撮像素子）１０１および１０１’は、ステレオカメラを構成し、入力画像を撮像する（入力画像を取得する）。視差画像生成部１０３は、ＣＭＯＳ素子１０１および１０１’が撮像した入力画像を用いて、視差を生成する。

三次元位置情報抽出部１０５は、視差画像生成部１０３が生成する視差を用いて、特徴となる三次元位置情報を抽出する（取得する）。直進判定部１０７は、三次元位置情報抽出部１０５が出力した三次元位置情報を基に、自車の直進判定を行う。

図２は、図１に示した三次元位置情報抽出部１０５の内部構成を示した図である。

図２において、三次元位置情報抽出部１０５は、認識部１１３と、三次元位置軌跡生成部１１５とを備える。

認識部１１３は、視差画像生成部１０３が生成した視差画像を用いて、撮像対象物（例えば静止立体物や路面テクスチャ）の認識を行い、その結果を三次元位置軌跡生成部１１５に出力する。三次元位置軌跡生成部１１５は、認識部１１３が認識した対象（例えば静止立体物または路面テクスチャ）の三次元位置を、撮影画像のフレーム毎にプロットし、対象の三次元位置の時系列推移（三次元位置軌跡）を生成する。

そして、三次元位置軌跡生成部１１５は、生成した三次元位置軌跡を直進判定部１０７に出力する。

図３は、本発明の一実施例を説明する上で、路面３０１の状況を定義するための図である。今回説明する一実施例は、先行車３０３（図４に示す）、左右の白線３０１Ｌ、３０１Ｒ、路面テクスチャ（図示は省略図する）、標識（静止立体物）３０２が、路面３０１上に存在していると仮定する。

なお、図３に示した例は一例であり、実際には静止立体物、または検出可能なテクスチャが１つ以上存在していれば本発明は機能し、実施可能である。

図４は、図３を俯瞰したイメージを示す俯瞰図である。図４において、撮像装置の撮像部１０１、１０１’が撮影する範囲を点線で記載している。図４に示した例では、自車両３００の前方に先行車３０３が存在し、前方左側に標識３０２が存在している。自車両３００の前方部に撮像部１０１、１０１’が配置されている。

図５は、本発明の一実施例における静止立体物の三次元位置軌跡に基づく直進判定ロジックの概略説明図である。図５の（ａ）は、自車両３００が図４に示した状態から１フレーム間に移動した状態の俯瞰図であり、図５の（ｂ）は、直進判定をイメージ的に説明する図である。

図３、図４、図５において、撮像画像の現フレームをｎとした時、同フレームｎで標識３０２を静止立体物として検出した場合を考える。

自車両３００の長さ方向中心線上かつ自車両３００の前方部であるボンネットの先端を原点Ｏとしたとき、標識３０２の三次元位置を（ｘ，ｙ，ｚ）とする。

そして、フレームｎの次のフレームであるｎ＋１フレームで、同標識３０２が移動した三次元位置を（ｘ’，ｙ’，ｚ’）とする。

三次元位置情報抽出部１０５の認識部１１３が認識した情報に基づいて、三次元位置軌跡生成部１１５は、ｎフレームとｎ＋１フレームとの複数のフレームの間に渡って標識３０２の三次元位置を監視し、標識３０２の三次元位置軌跡５０１を算出する。図５の（ｂ）の矢印５００は自車両３００の進行方向を示している。

三次元位置軌跡生成部１１５が生成した軌跡から、直進判定部１０７が、標識３０２の三次元位置軌跡が直線を描いていたと判定した場合は、自車両３００が直進していると判断する。

以上の手法を取る事で、白線を初めとする基準直線が無い路面でも、対象（例えば静止立体物（一例として標識３０２）や路面テクスチャさえあれば直進判定する事が可能となる。

図６は、直進判定部１０７が、自車両３００の直進判定を行う際の処理フローの一例を示す図である。

図６において、静止立体物（標識３０２）の三次元位置座標を取得する（ステップ６０１）。次に、静止立体物３０２の過去に取得された三次元位置情報と現時点で抽出された静止立体物３０２の三次元位置情報とを複数フレーム間プロットする（ステップ６０３）。

そして、プロット結果が直線になっているかどうか判定する（ステップ６０５）。このステップ６０５で、直線になっていると判定した場合は、自車両３００が直進していると判定する（ステップ６０７）。ステップ６０５で、直線になっていないと判定した場合は、自車両３００が直進していないと判定する（６０９）。

図７は、図６のステップ６０５において、プロット結果が直線になっているかどうか判定するフローの一例を示す図である。

図７において、ｎ個（例えば３点）の三次元位置座標が得られた場合、３点の座標（ｘ，ｙ，ｚ）から３点の二次元座標（ｘ，ｙ）を抽出する（ステップ７０１）。

抽出した３点の二次元時座標を用いて、例えば、次式（１）を用いて、未知数ａ、ｂ、Ｒの連立方程式を解き、半径Ｒを求める（ステップ７０３）。

（ｘ−ａ）^２＋（ｙ−ｂ）^２＝Ｒ^２・・・（１）
上記式（１）で求めた半径Ｒが閾値（例えばＲ＝１０００ｍ）以上か否かを判断する（ステップ７０５）。半径Ｒが閾値（例えばＲ＝１０００ｍ）以上であれば、直線であると判定して処理を終える（ステップ７０７）。

そして、半径Ｒが閾値未満であれば直線では無いと判定し、処理を終える（ステップ７０９）。

図８は、図１の撮像装置の構成に舵角補正値演算部８０９を備える撮像装置の構成図である。

舵角補正値演算部８０９は、直線判定部８０７により直進していると判定された場合に舵角補正を行う。舵角補正は、公知の手法を用いて行うことができる。

舵角補正値演算部８０９は、直線判定部８０７により、直進していると判定された場合のみならず、直進していないと判定された場合であっても、直進判定部８０７で求めたＲの曲率や偏差を用いて、一律に舵角補正値を演算するように構成することもできる。

以上のように、本発明の一実施例によれば、自車両３００の周囲に存在する静止対象物３０２を撮像部１０１、１０１’が連続して撮像し、撮像した画像における対象物３０２の軌跡が、直線か否かにより、自車両３００が、直進しているか否かを判定するように構成したので、白線を初めとする基準直線が無い道路等を車両等の移動体が走行中であっても、自車両が直進しているか否を判定可能な撮像装置を実現することができる。

なお、上述した例は、静止対象物を標識３０２としたが、建造物、木々等の他の静止物であってもよい。静止物は複数存在する物のうちから自動的に決定することができる。例えば、得られた画像から最初に静止物と判定したものを対象物としてもよい。

また、複数の静止立体物を対象に、それぞれの軌跡から自車両３００の直進判定をしてもよい。

また、撮像素子に対象が撮像される距離、例えば０．１ｍ〜３００ｍの間であれば、直進判定可能である。

また、上述した例は、自車両３００の前方に存在する静止物を直進判定の対象物としたが、自車両を中心とした全方位の静止物を対象とする事も可能である。例えば、自車両の後方に存在する静止物を直進判定の対象物とすることも可能である。この場合は、自車両３００の後方部に、複数の撮像素子を有する撮像部が配置されていることが必要である。

また、自車両３００の周辺を撮像する複数の撮像部を配置する事も可能である。例えば、自車両３００の前方及び後方に撮像部を配置し、撮像した静止物を直進判定の対象物とすることも可能である。
さらに、上述した例においては、本発明を車両に搭載する撮像装置に適用した場合の例を説明したが、車両に限らず、移動体であり、外界を認識して操舵し、移動するものであれば、本発明を適用することができる。

例えば、目的箇所に、荷物等を運搬する荷物運搬用ロボット等にも本発明は適用可能であり、その場合は、白線等の基準線が存在しない場合でも、走行中に直進判定が可能である。

１０１、１０１’・・・撮像部、
１０３・・・視差画像生成部、
１０５・・・三次元位置情報抽出部、
１０７・・・直進判定部、
１１３・・・認識部、
１１５・・・三次元位置軌跡生成部、
３００・・・自車両、
３０１・・・路面、
３０２・・・標識（静止対象物）、
３０３・・・先行車、
３０１Ｌ、３０１Ｒ・・・白線、
５００・・・自車進行方向、
５０１・・・静止対象物の軌跡、
８０９・・・舵角補正値演算部

Claims

複数の画像を取得する複数の撮像素子を有する撮像部と、
取得された上記複数の画像から、静止物である撮像対象物の視差画像を生成する視差画像生成部と、
上記視差画像生成部により生成された上記視差画像に基づいて、上記撮像対象物の、時系列の複数の三次元位置情報を取得する三次元位置情報抽出部と、
上記三次元位置情報抽出部により取得された上記複数の三次元位置情報に基づいて、移動体の直進判定をする直進判定部と、
を備えることを特徴とする撮像装置。
請求項１に記載の撮像装置において、
上記三次元位置情報抽出部は、
上記視差画像生成部により生成された上記視差画像に基づいて、上記撮像対象物を認識する認識部と、
上記認識部により、認識された上記撮像対象物の三次元位置情報を取得し、過去に取得された三次元位置情報と現時点で抽出された三次元位置情報とから上記撮像対象物の三次元位置軌跡を生成する三次元位置軌跡生成部とを有し、
上記直進判定部は、上記三次元位置軌跡生成部が生成した三次元位置軌跡が所定の曲率以上であるか否かに基づいて、直進判定をすることを特徴とする撮像装置。
請求項１に記載の撮像装置において、
上記三次元位置軌跡生成部が生成した三次元位置軌跡に基づいて、上記移動体の舵角補正を行う舵角補正値演算部を有することを特徴とする撮像装置。
請求項３に記載の撮像装置において、
上記直進判定部は上記直進判定に用いた情報を上記舵角補正値演算部に出力し、上記舵角補正値演算部は、上記直進判定部から出力された上記情報に基づいて舵角補正を行うことを特徴とする撮像装置。
請求項２に記載の撮像装置において、
上記三次元位置情報抽出部は、上記移動体の３点間の移動軌跡を表す二次方程式を算出し、上記直進判定部は、上記三次元位置情報抽出部が算出した上記二次方程式から算出される曲率が、予め定めた曲率より以上か否かにより、上記移動体の直進判定をすることを特徴とする撮像装置。
請求項１に記載の撮像装置において、
上記撮像部は、上記移動体の前方部に配置されていることを特徴とする撮像装置。
請求項１に記載の撮像装置において、
上記撮像部は、上記移動体の後方部に配置されていることを特徴とする撮像装置。