JP6072892B2 - 撮像装置及び車両制御装置 - Google Patents

Description

本発明は、２つの撮像部を備えた撮像装置及び車両制御装置に関する。

本技術分野の背景技術として、特許文献１がある。

特許文献１は、歩行者の挙動（走行路横断行動）に関し、歩行者の意思が反映された膝部位置移動速度及Ｖｋｔ及び肩部位置移動速度Ｖｓｔを用いて、歩行者動き出し条件式を、膝部及び肩部の運動エネルギの形（Ｖｓｔ／α）²＋（Ｖｋｔ／α）²＞１ （但し、Ｖｓｔ＞０且つＶｋｔ＞０、α：正規化係数）とすることにより、その運動エネルギにおける速度の２乗値に基づき、歩行者の挙動予測に及ぼす膝部位置移動速度Ｖｋｔ及び肩部位置移動速度Ｖｓｔの反映度を高め、判定精度を高めることが開示されている。

特開２０１０−６６８１０号公報

横切り方向の移動体を検知して、自動車などの乗り物のブレーキ制御を行う場合、本当に横切ってくるかどうかを判定するために正確な横移動速度を求める必要がある。一方、歩行者などは形状変化が大きく、歩行者の位置を認識したとしても、どれだけ動いたかを正確に求めにくい。誤って速度を算出してしまうと、歩行者が自車に衝突してしまうと判定して、誤って急ブレーキをかけてしまうといった問題がある。

つまり、本発明の目的は、移動体が横切るような場合であっても、誤った移動体の認識を低減し、誤ったブレーキ操作を防ぐ撮像装置を提供することである。

上記課題を解決するために、本発明の撮像装置は、２つの撮像部で撮像された２つの画像から相関値演算を行う相関値算出部と、２つの画像から立体物を検出する立体物検出部と、立体物を含む画像領域を複数の領域に分割する領域分割部と、複数の領域の領域毎に相対速度を算出する相対速度算出部と、領域毎に算出された相対速度に基づいて立体物の信頼度を算出する信頼度算出部と、を有する構成とする。

また、本発明の車両制御装置は、２つの撮像部で撮像された２つの画像から相関値演算を行う相関値算出部と、２つの画像から立体物を検出する立体物検出部と、立体物を含む画像領域を複数の領域に分割する領域分割部と、複数の領域の領域毎に相対速度を算出する相対速度算出部と、領域毎に算出された相対速度に基づいて立体物の信頼度を算出する信頼度算出部と、を有する撮像装置と、撮像装置で算出された信頼度に基づいて減速加速度を制御する制御部と、を有する構成とする。

本発明は、移動体が横切るような場合であっても、誤った移動体の認識を低減し、誤ったブレーキ操作を防ぐことが出来る撮像装置を提供することが出来る。

ステレオカメラの原理を説明する図である。 本発明に係る撮像装置の構成の一例を示す図である。 本発明に係る撮像装置の領域分割処理を説明する図である。 本発明に係る撮像装置の構成の他の例を示す図である。 本発明に係る撮像装置の相関値算出を説明する図である。 自動車と人が衝突するシーンの位置関係を説明する図である。 信頼度に応じて減速加速度を可変にする図である。 本発明に係る撮像装置を搭載した車両制御装置の構成の一例を示す図である。

以下、各実施例を図面を用いて説明する。

本実施例では、立体物を検知して相対速度を算出し、信頼度を出力する撮像装置の例を説明する。なお、ここでは立体物を歩行者などの移動体とした場合で説明する。

近年、ステレオカメラなど複数の撮像部（カメラ）を用いて歩行者や車両などの移動体を検出する移動体検出装置が実用化されている。ステレオカメラとは、同時刻に撮像された複数の画像上における同一対象物（立体物）の位置ずれ（視差）を、テンプレートマッチングにより算出し、算出した視差をもとに対象物（立体物）の実空間上の位置を、周知の変換式により算出する装置である。

このステレオカメラは、２台の撮像部で撮像した一対の画像を用いて、歩行者などの対象物の距離を算出し、対象物の認識を行なうものであり、不審者の侵入や異常を検知する監視システムや車の安全走行を支援する車載システムなどに適用することができる。

上述の監視システムや車載システムで利用されるステレオカメラは、位置間隔をあけて撮像された一対の画像に対して三角測量技術を適用して距離を求めるというものであり、少なくとも２つの撮像部と、これらの撮像部で撮像された２つの撮像画像に対して三角測量処理を行う画像処理部であるステレオ画像処理ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）と、を備えているのが一般的である。この画像処理部であるステレオ画像処理ＬＳＩ は、一対の画像に含まれる画素情報を重ね合わせて２つの画像の一致した位置のずれ量（視差）を求めるという処理を行なうことによって、三角測量処理を実現する。そのため、一対の画像間には視差以外のずれが存在しないことが理想的であり、各々の撮像部ごとに、光学特性や信号特性のずれがないよう調整するか、カメラ間の位置関係などを求めておく必要がある。

図１は、ステレオカメラの一般的な原理を示した図である。図１において、δは視差、Ｚ は計測距離（レンズから計測点までに距離）、ｆ は焦点距離（撮像面からレンズまでに距離）、ｂ は基線長（２つの撮像素子間の長さ）をそれぞれ表し、これらの間には次式１で示すような関係が成り立つ。

（数１）
Ｚ ＝ ｂ ｆ ／ δ （１）
図２は、本発明の第１の実施の形態におけるステレオカメラである撮像装置の距離測定方法のシステム全体の構成を示す。

第１の撮像部であるカメラ２０１と第２の撮像部であるカメラ２０２を備え、ステレオでの距離計測が可能な構成である。カメラ２０１とカメラ２０２を制御するカメラ制御部２０３、一時記憶領域であるＲＡＭ２０４、プログラムや各種初期値を格納するＲＯＭ２０５、ブレーキなどの制御系やユーザにカメラの認識状態を通知するための通信手段である外部ＩＦ２０６、相関値算出部２０７、システム全体の制御を行うＣＰＵ２０８、相関値算出部２０７の出力結果を用いて立体物検知を行う立体物検知部２０９、立体物検知結果２０９の結果のうち任意に領域を分割する領域分割部２１０、領域分割された領域ごとに相対速度を算出する相対速度算出部２１１、相対速度結果から信頼度を算出する信頼度算出部２１２で構成され、互いが通信線であるバス１を介してデータの授受することができる。

カメラ２０１、カメラ２０２はＣＣＤ（Charge Coupled Device Image Sensor）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどの撮像素子である。

カメラ制御部２０３は、カメラ２０１、カメラ２０２の制御を行うブロックで、２つのカメラの撮像タイミングが同じになるように制御する機能と、カメラの露光量が同一になるように制御する機能を有する。これは、カメラ２０１、カメラ２０２を用いて距離を測定する際に、両方のカメラの対応する点を探索する際に、輝度値が同じになるようにするためである。

相関値算出部２０７について図５を用いて詳しく説明する。

相関値演算は、カメラ２０１とカメラ２０２から得られる画像から、相関が高い位置を水平方向に探索して、その位置を特定する演算であり、ステレオカメラのカメラ２０１の探索開始位置とカメラ２０２での相関が最も高い位置の差が視差δとなる。視差δが大きいと物体の距離は近く、視差δが小さいと遠方であることを表す。本実施例における相関値の算出方法は、差分絶対値和（Sum of Absolute Difference ）を用いるが、本発明はこれに限定するものではない。相関値の算出には数画素を１ブロックとしてブロックごとに比較を行う。

図５は、１ブロックが縦４画素、横４画素の時のイメージ図をあらわしている。点線で囲われた領域は、カメラ２０１の１ブロックをテンプレートとしてカメラ２０２の画像から探索する様子を表している。この探索処理をカメラ２０１のブロックサイズごとに行い、視差画像を生成する。視差画像は、各画素の距離を現しているが、縦４画素、横４画素毎に１つの視差を求めているため、解像度としては四分の一になる。

以上のように相関値算出部２０７は、相関値演算を行い、視差を算出し、視差画像を生成するものである。

立体物検出部２０９は、視差画像から３次元位置を算出し、距離が近いものをグルーピングすることで任意立体物（歩行者などの移動体）を発見することができる。また、もともとの画像、すなわちカメラ２０１で撮像された撮像画像の輝度情報を用いてパターンマッチングすることにより物体の識別処理などが一般に行われる。

領域分割部２１０は、立体物検出部２０９からの出力結果に基づいて領域を分割する。分割方法は限定しないが、一例として、図３に示すように、第１の領域（上半身３０１）と第２の領域（下半身３０３）に分割する。分割位置は身長に対して半分にするなど限定はしないが、肩の高さ位置で分割すると腕の広がりにより相対速度の誤差の影響が小さいため、歩いているときとの区別がしやすい。

相対速度算出部２１１は、領域分割部２１０の出力結果に対して、記憶部に記憶された過去画像と現在の画像の対応を探索し、同一であるものを選択する。なお記憶部は、過去の位置と画像が記憶されている。対応したものに対して移動量を算出する。本発明では移動量の算出方法は、限定しないが、例えば、立体物を検知する領域（第１の領域、第２の領域）の重心位置３０２，３０４を求め、その重心位置の移動量とすればよい。前回のフレームと今回のフレームまでに要した時間（ｄｔ）と移動距離（ｄｘ）から以下、式２にように相対速度（ｄｖ）が求まる。

（数２）
ｄｖ＝ｄｘ÷ｄｖ （２）
つまり、相対速度算出部２１１では、移動量を算出し、算出した移動量から相対速度を算出するものである。

信頼度算出部２１２は、相対速度算出部２１１から得られた相対速度から信頼度を算出する。信頼度の算出方法は、一つの立体物に対して分割された領域ごとに求められた相対速度の一致度によって出力する。例えば領域ごとの相対速度差分の逆数を一致度とすることができる。上半身３０１の相対速度と下半身３０３の相対速度差が同じであれば、確実に移動しているため信頼度が高い。一方、上半身３０１だけが相対速度をもち、下半身３０３の相対速度が小さい場合、屈伸運動をしただけなど、本当に移動しているわけではない可能性が高い。このように形状変化が大きい立体物の信頼度算出に特に有効である。但し、信頼度の算出方法についてはこれに限定しない。

以上により、立体物に対して本当に移動しているかどうかの信頼度を出力することができる。

図４は、本発明の第２の実施の形態におけるステレオカメラである撮像装置の距離測定方法のシステム全体の構成を示す。本実施例では、信頼度の算出方法が画像の類似度に基づく場合について説明する。図４は、信頼度の算出方法が画像の類似度に基づく場合の構成図である。既に実施例１で説明したブロックについては説明を省略する。

特徴量算出部４１０は、立体物検出部２０９から出力される立体物の位置情報から画像上での位置に対して特徴量を算出する。特徴量算出部４１０は、過去の画像と今回の画像の一致度を判定するための特徴量を算出するため、過去画像を保存する。

ここで、輝度値の差分を特徴量とする例について説明する。立体物の位置情報から取得した画像を比較しやすいように拡大縮小して正規化する。この正規化された正規化画像の輝度値の差分を特徴量算出部４１０の出力とする。

一致度判定部４１３では、そうして得られた特徴量を過去の特徴量と現在の特徴量を比較して、特徴量が一致しているかどうかによって一致度を算出する。一致度算出は、例えば過去と現在の特徴量の差分和とすれば、特徴量が似ているときは０に近付き、似ていないときは値が大きくなる。

相対速度算出部４１１は、一致度算出部４１３の出力結果に応じて相対速度を求める。相対速度は前回位置との差分で求めることができるが、過去の数フレームを保持して、一致度が高いフレームを選択して相対速度を算出する。すると、形状が安定していることから相対速度を精度よく算出できる。実施例１で示したように分割された領域ごとに一致度を算出してもよい。すると画像全体ではなく、一致度が高い部分のみ一致している部分を用いて相対速度を算出すれば精度高く求めることができる。

信頼度算出部４１２は、相対速度算出部４１１が相対速度を算出したときに用いた一致度に基づいて信頼度を出力する。例えば、過去３フレームのうち１フレーム目と３フレーム目が一致度が高いときについて説明する。

１，２フレーム目から求めたときは信頼度が低いが、３フレーム目は、１，３フレーム目を用いた相対速度（Ｖａ）と２，３フレーム目から求めた相対速度（Ｖｂ）が使用でき、信頼度が２倍異なるときは、以下の式３で計算される。

（数３）
相対速度＝（Ｖａ×２＋Ｖｂ）÷３ （３）
このように信頼度が高い相対速度に重みをおいて算出した場合、高い信頼度を出力する。

以上により精度よく相対速度が算出でき、また、そのときの信頼度も出力できる。

本実施例では、上記実施例１，２で説明した撮像装置１と、その撮像装置１の出力に基づいて車両を制御する制御部２と、を備えた車両制御装置の例について図８を用いて説明する。つまり、実施例１および２にて出力された信頼度によって自動車を制御する例である。

図６のように自動車が歩行者に衝突しそうなシーンについて説明する。但し、矢印は移動方向をあらわしており、自動車の進行路に人が横断する（横切る）様子を示す。

自動車には実施例１および２で説明したステレオカメラである撮像装置を取り付け、衝突可能性がある場合、自動的にブレーキがかかる例を示す。

歩行者までの距離と自動車の車速および、歩行者の移動速度から衝突可能性を判定できる。しかし、実施例１および２の撮像装置の信頼度算出部２１２、４１２から出力された信頼度が予め定めた値より低い場合、本当に歩行者が進行（移動）しているのではなく、誤計測している可能性が高いと判断する。

そこで、信頼度に基づいて減速加速度を制御する制御部２を有する構成とする。これにより、図７に示すようなブレーキの減速が通常状態と減速加速度抑制状態とで、異なるような特性を用いて、制御部２にて減速加速度を制御することで、誤って自動車が急停車しないようにできる。

また、運転者が意図しない自動ブレーキは非常に危険なため、信頼度が予め定めた値より低いときには減速はせず、車内に取り付けられた警報音のみにすることも可能である。つまり、制御部２は、撮像装置１で算出された信頼度に基づいて、減速加速度の制御をするか、警報信号を出力するかを判断する判断部３を備えるものとする。このような構成により、警報音が鳴れば運転者は本当に危なければブレーキを踏むことができるし、万が一撮像装置が横切ってこない歩行者を誤検知した場合にも自動ブレーキがかからないため最悪の事態は防げる。

２０１ カメラ
２０２ カメラ
２０３ カメラ制御部
２０７ 相関値算出部
２０９ 立体物検出部
２１０ 領域分割部
２１１ 相対速度算出部
２１２ 信頼度算出部

Claims (6)

1. ２つの撮像部を有する撮像装置において、
   前記２つの撮像部で撮像された２つの画像から相関値演算を行う相関値算出部と、
   前記２つの画像から立体物を検出する立体物検出部と、
   前記立体物を含む画像領域を複数の領域に分割する領域分割部と、
   前記複数の領域の領域毎に相対速度を算出する相対速度算出部と、
   領域毎に算出された前記相対速度に基づいて立体物の信頼度を算出する信頼度算出部と、
   前記立体物検出部にて検出された立体物を含む画像から特徴量を算出する特徴量算出部と、
   記憶された過去の特徴量と算出された現在の特徴量との特徴量の一致度を算出する一致度算出部と、を有し、
   前記相対速度算出部は、算出された前記一致度に基づいて相対速度を算出し、
   前記相対速度算出部は、記憶された過去のフレームから最も特徴量の一致度が高いフレームを選択して、相対速度を算出する撮像装置。
2. 請求項１記載の撮像装置において、
   前記領域分割部は、前記立体物を含む画像領域を縦に２分割する撮像装置。
3. 請求項２記載の撮像装置において、
   前記領域分割部は、前記立体物検出部で検出された前記立体物が歩行者である場合、前記歩行者の肩の位置を基準に２分割する撮像装置。
4. 請求項１記載の撮像装置において、
   前記相関値算出部は、相関値演算した結果から視差画像を生成し、
   前記立体物検出部は、前記視差画像を用いて立体物を検出する撮像装置。
5. 請求項１記載の撮像装置において、
   前記信頼度算出部は、領域毎に算出された相対速度の一致度に基づいて立体物が移動しているか否かの信頼度を算出する撮像装置。
6. 請求項１記載の撮像装置において、
   前記信頼度算出部は、前記特徴量の一致度に基づいて立体物の信頼度を算出する撮像装置。

Images