JP5163091B2 - 車両用物体監視装置、及び車両用画像解析装置 - Google Patents

Description

本発明は、車両周辺を撮像する撮像手段により異なる時点において撮像された複数の撮像画像を解析して、撮像された物体までの距離算出を含む物体監視を行なう車両用物体監視装置に関する。

従来、車両に搭載されたＣＣＤ（Charge Coupled Device）カメラやＣＭＯＳ（Complementary Metal Oxide Semiconductor）カメラ等により撮像された画像を解析して、撮像された物体までの距離を算出したり、位置を把握したりする技術について研究が進められている。

係る技術の具体的種類としては、カメラを複数備えて三角測量の原理により物体までの距離算出等を行なうもの（ステレオカメラ）や、単独のカメラにより異なる時点において撮像された複数の撮像画像を比較して、複数の撮像画像間における物体の移動量（視差）を用いて物体までの距離算出等を行なうもの（移動ステレオ）等が知られている。本発明は、これらのうち後者に関するものである。

係る技術により認識された物体までの距離等は、例えば衝突予測制御に利用される。具体的には、自車両から所定距離以内に車両や歩行者等が存在することが撮像画像から認識され、且つそれらが自車両に所定速度以上で接近しているような場合に、シートベルトを自動的に巻き取って衝突時の衝撃から乗員を保護したり、自動的にブレーキをかけて衝突を回避したりする。このように、撮像画像解析による物体認識は、安全運転の観点から重要な役割を果たすため、認識誤差を小さくして精度を向上させることが望まれる。

移動ステレオの原理により物体までの距離算出を行なう装置についての発明が開示されている（例えば、特許文献１参照）。この装置では、入力画像の画面内で同一位置にある画素毎に、画素値が最大のものをその位置にある画素の代表値として求め、代表値からなる合成画像に示された撮像点の軌跡に基づいて、上記物体の移動量を求めるものとしている。
特開２００４−１１０５２１号公報

ところで、複数の撮像画像における物体を対応付ける（同一物体を発見する）際には、カメラの分解能（画素密度）や画像解析の際のフィルター特性、間引き処理の手法等に起因して、対応付け誤差が生じる場合がある。

しかしながら、上記特許文献１には、複数の撮像画像における物体を少ない演算量で対応付け、物体の移動量を精度良く求めることができる旨が記載されているが、上記対応付け誤差により距離算出の際に生じる誤差を抑制することについての考慮がなされていない。

本発明はこのような課題を解決するためのものであり、移動ステレオの原理によって物体までの距離をより正確に認識することが可能な車両用物体認識装置を提供することを、主たる目的とする。

上記目的を達成するための本発明の第１の態様は、
車両周辺を撮像する撮像手段を備え、
該撮像手段により異なる時点において撮像された複数の撮像画像を解析して、撮像された物体までの距離を算出する車両用物体認識装置であって、
前記複数の撮像画像における第１の画像領域では、横方向の視差に基づいて前記物体までの距離を算出し、
前記複数の撮像画像における第２の画像領域では、縦方向の視差に基づいて前記物体までの距離を算出することを特徴とする、
車両用物体認識装置である。

ここで、「縦方向」とは、文字通りの撮像画像における縦方向（横方向に直交する方向）であってもよいし、２次元平面上で自車両から遠ざかる方向を画像平面に写像した方向であってもよい。

この本発明の第１の態様によれば、第１及び第２の画像領域において、移動ステレオの原理において、横方向の視差と縦方向の視差のいずれを用いて物体までの距離等を算出するかを切替えるため、物体までの距離をより正確に認識することができる。

本発明の第１の態様において、
前記第１の画像領域は、前記複数の撮像画像における横方向に関する両端部に設定され、前記第２の画像領域は、前記複数の撮像画像における横方向に関する中央部に設定されることを特徴とするものすると、好適である。

また、本発明の第１の態様において、
車速を検出する車速検出手段を備え、
前記車速検出手段により検出された車速に基づいて前記第１の領域及び前記第２の領域を設定することを特徴とするものとすると、好適である。

この場合、
前記車速検出手段により検出された車速が高くなるのに応じて前記第１の領域が広くなるように、前記第１の領域及び前記第２の領域を設定することを特徴とするものとすると、更に好適である。

本発明の第２の態様は、
車両に搭載された撮像手段により異なる時点において撮像された複数の撮像画像を解析して、撮像された物体までの距離を算出する車両用画像解析装置であって、
前記複数の撮像画像における横方向に関する両端部に、信号として入力された車速が高くなるのに応じて広くなるように第１の画像領域を設定し、
前記複数の撮像画像における横方向に関する中央部に、信号として入力された車速が高くなるのに応じて狭くなるように第２の画像領域を設定し、
前記第１の画像領域では横方向の視差に基づいて前記物体までの距離を算出すると共に、前記第２の画像領域では縦方向の視差に基づいて前記物体までの距離を算出することを特徴とする、
車両用画像解析装置である。

本発明によれば、移動ステレオの原理によって物体までの距離をより正確に認識することが可能な車両用物体認識装置を提供することができる。

以下、本発明を実施するための最良の形態について、添付図面を参照しながら実施例を挙げて説明する。

以下、本発明の一実施例に係る車両用物体認識装置１について説明する。

［構成］
図１は、車両用物体認識装置１の全体構成の一例を示す図である。車両用物体認識装置１は、主要な構成として、カメラ１０と、車速センサー２０と、画像解析装置３０と、を備える。

カメラ１０は、例えば、ウインドシールド中央上部に配設されたＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子を利用したカメラであり、数［ｍｓ］毎に繰り返し車両前方を撮像する。なお、カメラ１０の配設位置や撮像方向はこれに限らず、車両の任意の位置に配設され、車両後方や斜め前方又は後方、車両側方等を撮像するものとしてもよい。以下、カメラ１０がＣＣＤカメラであるものとして説明する。

図２は、カメラ１０のハードウエア構成の一例を示す図である。カメラ１０は、例えば、撮像レンズ１２と、イメージセンサー１４と、電子制御部１６と、を備える。

イメージセンサー１４は、例えばインターライン型イメージセンサーであり、光電変換を行なう受光素子であるフォトダイオードと、これに対応するＣＣＤとをそれぞれ２次元平面状に配列し、フォトダイオードとＣＣＤの間にアナログスイッチとして機能するトランスファゲートを有する。各フォトダイオードの前側（撮像レンズ１２側）には、集光のためのマイクロレンズが取り付けられている。なお、こうした構造は、あくまでイメージセンサー１４の機能を簡易に説明するために模式的に例示したものであり、機能性向上等のための如何なる設計変更も許容される。また、インターライン型イメージセンサーに限らず、ＣＣＤ自体が受光素子として機能するフルフレームトランスファ型やフレームトランスファ型のイメージセンサーを用いてもよい。

電子制御部１６は、例えば、マイクロコンピューターや電子回路等が用いられ、イメージセンサー１４が有するトランスファゲートの開閉タイミングを制御することによりカメラ１０のシャッタースピードや撮像周期を調節する。そして、電子制御部１６は、イメージセンサー１４の出力回路から出力されるデータに対して所定のゲインによる増幅等を行なって、画像データとして画像解析装置３０に出力する。

車速センサー２０は、例えば、車両の各車輪に取り付けられた車輪速センサーとスキッドコントロールコンピューターからなり、車輪速センサーが出力する車輪速パルス信号をスキッドコントロールコンピューターが車速矩形波パルス信号（車速信号）に変換して画像解析装置３０に出力する。なお、係る情報通信は、専用通信線を用いて行なわれてもよいが、複数の制御装置が情報を参照可能な多重通信線に情報が出力される態様であってもよい。

画像解析装置３０は、例えば、ＣＰＵを中心としてＲＯＭやＲＡＭ等がバスを介して相互に接続されたコンピューターユニットであり、その他、ＨＤＤ（Hard Disc Drive）やＤＶＤ（Digital Versatile Disk）等の記憶媒体やＩ／Ｏポート、タイマー、カウンター等を備える。ＲＯＭには、ＣＰＵが実行するプログラムやデータが格納されている。

［画像解析］
画像解析装置３０は、カメラ１０により異なる時点において撮像された複数の撮像画像に係る画像データを比較して、当該複数の画像データにおける同一物体の移動量（視差）を用いて、移動ステレオの原理により当該物体までの距離算出等を行なう。図３は、係る処理の概略を示すフローチャートである。

まず、直近に入力された画像データと、その直前又は数フレーム前の画像データを抽出する（Ｓ１００）。

そして、抽出した２つの画像データにおいて、物体の対応付けを行なう（Ｓ１０２）。すなわち、画像データにおける特定の画素集合が同一物体を示すものであることを認識する。複数画像における物体の対応付けに関しては、既に種々の手法が知られており、本発明の適用上、物体の対応付け手法に特段の制限は存在しない。例えば、パターンマッチング等の手法が知られている。また、後述する物体の移動量（視差）までを含めて処理する手法として、ＳＡＤ（Sum of Absolute Difference）、ＳＳＤ(Sum of Squared Differece)、ＺＮＣＣ（Zero-mean Normalized Cross- Correlation)等の手法が知られている。

物体の対応付けが行なわれると、同一物体と認識された物体の移動量（視差）に基づいて、移動ステレオの原理により当該物体までの距離を算出する（Ｓ１０４、Ｓ１０６）。また、必要に応じて当該物体の方位等も併せて算出してよい。

視差に基づく物体までの距離算出には、横方向（カメラ１０の撮像画像における横方向＝撮像対象における水平方向）の視差を算出基準にする手法と、縦方向の視差を算出基準にする手法が考えられる。ここで、「縦方向」とは、文字通りカメラ１０の撮像画像における縦方向（上記横方向に直交する方向）であってもよいし、２次元平面上で自車両（カメラ１０）から遠ざかる方向を画像平面に写像したものであってもよい。図４（Ａ）は、前者の場合の縦横方向を示す図であり、図４（Ｂ）は後者の場合の縦横方向を示す図である。

本実施例では、カメラ１０の撮像画像における解析対象領域のうち、両端部に位置する第１の画像領域においては横方向の視差に基づいて物体までの距離算出等を行ない、中央部に位置する第２の画像領域においては縦方向の視差に基づいて物体までの距離算出等を行なうこととした（次式（１）参照）。式（１）において、２フレーム間の車両の走行距離は、入力された車速信号を積分したり、車輪速パルス信号をカウントしたりすることにより、求めることができる。また、カメラ１０の設置パラメータは、設置された高さ、焦点距離、光軸の向きである。

図５は、カメラ１０の撮像画像に設定される第１及び第２の画像領域を示す図である。係る領域は、後述する処理によって車速センサー２０から入力される車速信号に応じて画像解析装置３０が動的に設定する。なお、解析対象領域は、車両の形状やカメラ１０の設置位置、焦点距離等によって任意に定めてよい。

（物体までの距離）＝ｆ｛（横方向又は縦方向の視差），（２フレーム間の車両の走行距離），（カメラ１０の設置パラメータ）｝ …（１）

図６は、カメラ１０の撮像画像において横方向視差を用いて物体までの距離算出等を行なう部分と、と縦方向視差を用いて物体までの距離算出等を行なう部分を、上記の如き手法により区別する理由を説明するための説明図である。

図６（Ａ）は、当該物体がカメラ１０の撮像画像において横方向に関する中央部から遠い位置に撮像されている場合の、二次元平面におけるカメラ１０と物体の位置関係を示す。これに対し、図６（Ｂ）は、当該物体がカメラ１０の撮像画像において横方向に関する中央部に近い位置に撮像されている場合の、二次元平面におけるカメラ１０と物体の位置関係を示す。両図において、実線で表された丸は、認識しようとする物体の実際の位置を、破線で表された丸は、当該物体がその位置に在ると誤って認識してしまう可能性がある、最も実際の位置から遠い位置を、それぞれ示す。

このような誤認識は、前述した物体の対応付け誤差によって生じるものである。物体の対応付け誤差は、カメラ１０の分解能（画素密度）や、対応付け処理においてフィルター処理や間引き処理等を行なう場合のフィルター特性、間引きの程度等に起因して生じるものである。図６（Ａ）及び（Ｂ）において、第２フレーム撮像時点における対応付け誤差の領域をそれぞれ示している。

図６（Ａ）と図６（Ｂ）を比較すると、対応付け誤差の領域は同じであるが、同じ対応付け誤差を生じている場合でも、物体までの距離を誤認識する程度が異なっているのが判る。移動ステレオの原理において利用する幾何学的関係から、当該物体がカメラ１０の撮像画像において横方向に関する中央部に近い位置に撮像されている場合は、横方向に関する中央部から遠い位置に撮像されている場合に比して、対応付け誤差が同じであっても物体までの距離をより大きく誤認識する可能性があるのである。

そこで、本実施例の車両用物体認識装置１では、前述の如く、カメラ１０の撮像画像における解析対象領域のうち、両端部に位置する第１の画像領域においては横方向の視差に基づいて物体までの距離算出等を行ない、中央部に位置する第２の画像領域においては縦方向の視差に基づいて物体までの距離算出等を行なうこととしている。これにより、撮像画像の中央部に撮像されている物体の距離等を誤認識するのを抑制することができる。

また、本実施例の物体認識装置１では、車速センサー２０から入力される車速信号に基づいて、第１及び第２の画像領域を動的に設定している。車速が高いときには、画像中央部であっても視差が十分に大きくなり、その結果、物体の距離等を誤認識する程度が小さくなるからである。

図７は、車速に基づいて第１及び第２の領域を設定する様子を示す図である。まず。車速（以下、車速Ｖと表記する）が高くなるのに応じて大きくなる値として、自車両前方の距離Ｚを導出する。距離Ｚは、予めＲＯＭ等記憶させておいたマップに基づいて導出してもよいし、車速Ｖをパラメータとする関数の演算を行なって導出してもよい。そして、自車両前方の距離Ｚにおいて、自車両中心線の延長線から左右に一定距離Ｈずつ移動した地点をＢ１、Ｂ２とし（Ｂ１、Ｂ２は、例えば、カメラ１０の設置された高さと同じ高さを有する地点であるものとする）、Ｂ１に相当する画像上の位置を通る画像縦方向の線、及びＢ２に相当する画像上の位置を通る画像縦方向の線を、第１及び第２の画像領域の境界線とする。なお、図７は、係る手法により画像領域を設定した場合の、二次元平面と画像平面の対応関係を示している。

こうすることにより、車速が比較的高い場合には、図８に示す如く、第１の画像領域が比較的広くなる。これにより、一般的には視差が比較的大きい横方向の視差に基づいて、車両前方の比較的遠い位置に存在する歩行者や車両を感度良く認識することができる。

一方、車速が比較的低い場合には、図９に示す如く、第２の画像領域が比較的広くなる。これにより、前述した如き画像中央部に存在する物体の距離等を誤認識することを抑制することができる。

こうして算出された物体までの距離は、例えば、衝突予測制御を行なうプリクラッシュＥＣＵ等により利用される。具体的には、歩行者等が自車両の走行する走行車線上に存在し、自車両との距離が所定距離以内となり、且つ自車両の速度が所定速度以上である場合に、歩行者を回避するように操舵力を自動的に出力したり、歩行者の手前で自車両が停止するように制動力を自動的に出力したりする。また、自車両において衝突の衝撃に備えるためにシートベルトの自動巻き取りやプリクラッシュエアバッグの展開を行なったり、歩行者の頭部を保護するためにボンネット上にエアバッグを展開したり、ボンネットを持ち上げて歩行者の頭部を受け止めたりする制御を行なってもよい。

本実施例の物体認識装置１によれば、前述した如く、第１及び第２の画像領域を設定し、これを車速に基づいて動的に変更するため、移動ステレオの原理によって物体までの距離をより正確に認識することができる。

以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

例えば、第１及び第２の画像領域は、以下の如き手法により設定してもよい。図１０は、第１及び第２の領域を設定する他の手法を説明するための説明図である。本図も図７と同様、二次元平面と画像平面の対応関係を示している。図示する如く、Ｂ１地点及びＢ２地点よりも自車両から遠い地点においては、自車両の進行方向に平行な方向に沿った線を画像平面に写像した線を、第１及び第２の画像領域の境界線とする。

図１１及び図１２は、図１０に示した手法により第１及び第２の画像領域を設定する場合において、高車速の場合に設定される第１及び第２の画像領域、及び低車速の場合に設定される第１及び第２の画像領域を、それぞれ示す図である。係る手法によっても、実施例と同様に、移動ステレオの原理によって物体までの距離をより正確に認識することができる。

本発明は、自動車製造業や自動車部品製造業等に利用可能である。

車両用物体認識装置１の全体構成の一例を示す図である。 カメラ１０のハードウエア構成の一例を示す図である。 画像解析装置３０による処理の概略を示すフローチャートである。 カメラ１０の撮像画像における横方向と縦方向の定義を説明するための説明図である。 カメラ１０の撮像画像に設定される第１及び第２の画像領域を示す図である。 カメラ１０の撮像画像において横方向視差を用いて物体までの距離算出等を行なう部分と、と縦方向視差を用いて物体までの距離算出等を行なう部分を区別する理由を説明するための説明図である。 車速に基づいて第１及び第２の領域を設定する様子を示す図である。 車速が高い場合の第１及び第２の領域の設定例を示す図である。 車速が低い場合の第１及び第２の領域の設定例を示す図である。 車速に基づいて第１及び第２の領域を設定する様子を示す図である。 車速が高い場合の第１及び第２の領域の設定例を示す図である。 車速が低い場合の第１及び第２の領域の設定例を示す図である。

符号の説明

１ 車両用物体認識装置
１０ カメラ
１２ 撮像レンズ
１４ イメージセンサー
１６ 電子制御部
２０ 車速センサー
３０ 画像解析装置

Claims (4)

1. 車両周辺を撮像する撮像手段を備え、
   該撮像手段により異なる時点において撮像された複数の撮像画像を解析して、撮像された物体までの距離を算出する車両用物体認識装置であって、
   前記複数の撮像画像における横方向に関する両端部に設定された第１の画像領域で、横方向の視差に基づいて前記物体までの距離を算出し、
   前記複数の撮像画像における横方向に関する中央部に設定された第２の画像領域で、縦方向の視差に基づいて前記物体までの距離を算出することを特徴とする、
   車両用物体認識装置。
2. 車速を検出する車速検出手段を備え、
   前記車速検出手段により検出された車速に基づいて前記第１の領域を設定することを特徴とする、請求項１記載の車両用物体認識装置。
3. 前記車速検出手段により検出された車速が高くなるのに応じて前記第１の領域が広くなるように、前記第１の領域を設定することを特徴とする、
   請求項２記載の車両用物体認識装置。
4. 車両に搭載された撮像手段により異なる時点において撮像された複数の撮像画像を解析して、撮像された物体までの距離を算出する車両用画像解析装置であって、
   前記複数の撮像画像における横方向に関する両端部に、信号として入力された車速が高くなるのに応じて広くなるように第１の画像領域を設定し、
   前記複数の撮像画像における横方向に関する中央部に、信号として入力された車速が高くなるのに応じて狭くなるように第２の画像領域を設定し、
   前記第１の画像領域では横方向の視差に基づいて前記物体までの距離を算出すると共に、前記第２の画像領域では縦方向の視差に基づいて前記物体までの距離を算出することを特徴とする、
   車両用画像解析装置。

Images