JP7256835B2 - 画像処理装置 - Google Patents

Description

本発明は画像処理装置に関し、特に車載用画像処理装置に関する。

生産時に組み込まれた運転支援機能を有する車両が普及しつつある。この種の運転支援機能には、カメラやレーダで車両の進行方向や車両の周囲の物標を検知し、運転者に注意を促したり、あるいは操舵や制動を行ったりするものがある。このような運転支援機能を果たす装置として、移動体を検知して警報を出力する装置が提案されている（例えば特許文献１等参照）。

特許文献１に記載された装置は、車載カメラにより画像を撮影し、撮影した画像からオプティカルフローを算出し、オプティカルフローの中から移動体を検出する。さらに、オプティカルフローから水蒸気または光源変動による見かけの動きを検出して、水蒸気または光源変動による輝度変化を含む領域を警報抑制領域として設定する。そして検出された移動体のうち、警報抑制領域に含まれる移動体を無効な移動体であるとして、警報の対象から除外する。

このような機能を果たすため、特許文献１に記載された装置には、画像のみならず車輪速センサからの車輪速や舵角センサからの舵角など、車両の有するセンサからの信号が提供されており、さらにその機能は車両に搭載されたＥＣＵにより実現されている。このように車輪速や舵角を車両のセンサから得ているため、移動する自車両を基準として移動体を特定すればよく、警報の対象から除外されるのは、見かけ上移動体に見えるが移動体としての実体がない光源の変動と水蒸気とに限られている。

特開２０１３－１８６６６８号公報（図１、図１４、段落００３２－００５４等）

特許文献１に記載された装置は、生産時に車両に組み込まれることが前提であり、既にある車両に後付けすることは困難である。特に、車輪速や舵角の提供を車両から受けられなければ、後付けの運転支援装置が独自に取得した情報に基づいて車速や旋回などの車両の挙動を特定する必要がある。

本発明は上記従来例に鑑みて成されたもので、車両に後付け可能であり、車両の挙動を高精度で特定可能な画像処理装置を提供することを目的とする。

上記目的を達成するために、本発明は以下の構成を有する。すなわち、車両に搭載された画像処理装置であって、
画像取得部と、
前記画像取得部により取得した画像を処理する処理部と、
を有し、
前記処理部は、
前記画像取得部により取得した画像から移動体を認識して、前記画像中で認識された移動体にマスキング処理を行い、
マスキング処理した前記画像に基づいて前記画像処理装置の空間的な動きを推定し、
前記画像取得部は、外界と隔てられた空間の内部と外部との仕切りに設けられた透過部を通して外界の画像を取得し、
前記処理部は、前記透過部を通して取得した前記車両の左右方の画像それぞれの間の差分に基づいて前記車両の進行方向を推定する
ことを特徴とする画像処理装置が提供される。

本発明によれば、車両に後付け可能であり、車両の挙動を高精度で特定可能な画像処理装置を提供することができる。

実施形態のドライブレコーダのカメラを取り付けた車両の図である。 実施形態のドライブレコーダの制御構成のブロック図である。 第１実施形態のドライブレコーダによる速度推定処理のフローチャートである。 車両の速度を推定する構成を示す図である。 速度水平方向のシフト量を推定する構成を示す図である。 実施形態のドライブレコーダによる運転支援処理の一例のフローチャートである。 画像中の移動体の検出およびマスキングの一例を示す図である。 第２実施形態のドライブレコーダによる速度推定処理のフローチャートである。 対象物までの距離推定の原理を示す図である。 速度推定の原理を示す図である。 実施形態のドライブレコーダによる運転支援処理の他の一例のフローチャートである。

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態で説明されている特徴の組み合わせの全てが発明に必須のものとは限らない。実施形態で説明されている複数の特徴のうち二つ以上の特徴は任意に組み合わされてもよい。また、同一若しくは同様の構成には同一の参照番号を付し、重複した説明は省略する。

［第１実施形態］
●ドライブレコーダを取り付けた車両の構成
図１は、車両１００に本実施形態のドライブレコーダを取り付けた様子を示す図である。図１（Ａ）は、車両のフロントウィンドウの上部を前席左側付近から見た様子を示す、フロントウィンドウ中央情報には、ルームミラー１１１が設けられている。またその左側にはドライブレコーダのカメラユニット１１０が設けられている。カメラユニット１１０には、車両の後方を向いて車室内を撮影する車内カメラ１０１と、車両の前方を向いてフロントウィンドウ越しに車両前方を撮影する車外カメラ１０２とが設けられている。本例では車内カメラおよび車外カメラとも単眼レンズを備える。車内カメラ１０１と車外カメラ１０２はそれぞれ独立してその撮影範囲を調整可能である。しかしながら車内カメラ１０１は広角レンズまたは魚眼レンズを採用しているため、撮影範囲は固定されていてもよい。

制御部を含む本体はカメラユニット１１０に組み込まれていてもよいし、カメラユニットから離れた位置に設けられ、カメラユニット１１０とケーブルにより接続されていてもよい。

図１（Ｂ）は、車両１００を、そのルーフを透かして上方から見た図である。この例では、車両１００の前方（進行前方）は図の左側であり、前方に向かってルームミラー１１１の左側にカメラユニット１１０が設けられている。車両１００の室内には、右前席（右ハンドルでは運転席とも呼ぶ。）１０４Ｒと左前席（右ハンドルでは助手席とも呼ぶ。）１０４Ｌ、後席１０５が設けられている。車両１００の側方には透過部として窓があり、窓を通して車室の内部から外部を観察できる。なお窓はガラス製であり、その開閉に関わらず透過部として機能する。また、カメラユニット１１０の車内カメラ１０２は、前席１０４Ｒ，１０４Ｌ，後席１０５に着座した乗員のほか、窓を通して車両の外部の風景を撮影できる。すなわち撮影した画像には、車両１００の内部の画像と外部の画像とを含み、外部に位置する車両等の移動体も含めて撮影される。

なおカメラユニット１１０はルームミラー１１１の右側に設けてもよい。ただし、室内カメラ１０１のレンズの光軸が、面対称に設けられた窓の対称面に沿うよう、すなわち平行になるよう室内カメラ１０１の撮影範囲が調整されることが望ましい。また、カメラユニット１１０は、ルームミラー１１１に可能な限り近い位置に設けられることが望ましい。これらはいずれも、カメラの方向が対称面からずれることに起因する、左右それぞれの窓を通して撮影した外部の映像から推定した速度の左右差を小さくするためである。このようにカメラユニット１１０は、外界と隔てられた車両１００の空間の内部に設けられる。

●ドライブレーダの構成例
図２に実施形態のドライブレコーダの制御構成の一例を示す。このドライブレコーダは車両に後付けするものであり、外部からの入力信号はなくてよい。ただし、ドライブレコーダの電源は車両１００に依存し、またユーザインタフェースについても車両１００に搭載されたデバイスを利用できる。本実施形態ではドライブレコーダにより画像処理を行って運転支援を実現する構成及び手順を説明することから、その点に着目してドライブレコーダのことを画像処理装置あるいは運転支援装置と呼ぶこともある。

図２において、ドライブレコーダは制御部２００と車内カメラ１０１と車外カメラ１０２とを含む。これらのカメラ特に車内カメラ１０１のことを画像取得部などと呼ぶこともある。カメラインタフェース（ＩＦ）２１０、２０２はそれぞれ車内カメラ１０１、車外カメラ１０２との信号のインタフェースである。それぞれのカメラは、所定のフレームレート、たとえば２９ｆｐｓ（フレーム／秒）で映像（動画）を撮影する。撮影した画像は画像処理部２０３により画像処理が施され、さらに必要な処理がＣＰＵ２０４により実行されて、消去可能ＲＯＭ２０９に映像ファイルとして保存される。映像ファイルは所定時間、たとえば３０秒から６０秒程度の長さの映像を含み、所定時間の記録を終えると、新たな映像ファイルが記録される。映像ファイルは少なくとも２つあり、消去可能ＲＯＭ２０９に空き空間がなくなると、最も古い映像ファイルを消去して空き空間が確保され、そこに新たな映像ファイルが記録される。

ドライブレコーダとしての機能を果たすために、ドライブレコーダには加速度センサなども含まれ、所定値を超える加速度が検知されると映像ファイルの記録を停止するなどの制御が行われる。しかし本実施形態では、このドライブレコーダの運転支援機能に着目して説明するために、そのドライブレコーダとしての機能やデバイスについての説明は省略する。

通信部２０８は有線または無線通信機能を提供する。たとえば後述する警告を出力するために、通信部２０８を介してスマートフォンなどに接続し、そこに警告を出力してもよい。また他の目的のための通信を行うことももちろん可能である。

入力部２０６および出力部２０７はユーザインタフェースとしての入出力部を含み、入出力部はたとえば操作部を構成するタッチパネルなどで実現されてよい。あるいは、車両１００に備えられたディスプレイオーディオデバイスと接続するインタフェースを提供してもよい。ＲＡＭ２０５は、ＣＰＵ２０４や画像処理部２０３の動作に必要なデータメモリや、ＣＰＵ２０４により実行されるプログラムを格納するためのメモリとして用いられる。電源部２１０は、車両１００から提供される電源と接続され、ドライブレコーダに適した電源電力を提供する。

図３以降の図を参照して説明する処理は、ＣＰＵ２０４により実行されるものとするが、画像処理部２０３で実行してもよい。いずれにしても処理の主体を処理部とよぶことがある。また制御部２００のことを処理部と呼んでもよい。

●画像の速度推定処理
図３に、車内カメラ１０１により撮影した画像から車両１００の速度を推定する手順を示す。撮影される画像は動画像であり、所定時間おきに撮影されたフレーム（あるいは画像フレーム）で構成され、動画あるいは映像と呼ぶこともある。図3の手順では、車内カメラ１０１により撮影した１フレーム（フレームｋ）を取得し、そのフレームｋおよびそのフレームの直前のフレームｋ－１を対象として速度推定処理を実行する。このため本速度推定処理では、撮影されたフレームは少なくとも次のフレームが撮影され、速度推定処理が行われるまで保存される。処理の対象となるフレームｋを対象フレームとも呼ぶ。なお図３の処理は撮影と並行して実時間で実行される。

図３において、対象フレームを例えばＲＡＭ２０５に読み込んで図3の処理が開始される。処理の主体は例えばＣＰＵ２０４であってよい。まずフレーム内の画像認識が行われる（Ｓ３０１）。ステップＳ３０１における認識の対象は移動体であり、認識の結果移動体が検出される（Ｓ３０３）。移動体には、自律的に或いは外部からの付勢により移動し得るもの（物および人などの生き物を含む）。具体的には、自動車や自転車などの車両、人、犬や猫などの動物、ハンカチなどの移動しやすい物が移動体に含まれる。これらの移動体を認識するために、たとえば予め機械学習により移動体の外観を学習させた学習済モデルを例えば消去可能ＲＯＭ２０９に格納し、対象フレームを入力として認識結果を得てよい。出力は、対象フレーム中に含まれた移動体に相当する領域を示す情報でよい。あるいは、様々な視点から見た各種移動体の特徴情報を例えば消去可能ＲＯＭ２０９に格納しておき、対象フレームから抽出した特徴点と照合して、所定程度以上の相関があればその特徴に相当する領域を移動体として特定してもよい。

次に検出された移動体を含む領域をマスクする（Ｓ３０５）。マスク処理は、例えば移動体の領域を黒あるいは白などの特定の色で一様に塗りつぶしてよい。撮影したフレームには、車両の内部の光景と窓越しに見える外部の光景とが含まれている。車両の外部の画像には、他の車両や人などの移動体が含まれる可能性がある。また車両の内部にも、移動し得るもの、たとえば乗員や車内に置かれたハンカチなどの移動しやすい物体、吊り下げられたアクセサリやお守りなどの移動体が含まれる可能性がある。そこでステップＳ３０５では、フレームから検出した移動体の領域をマスキング処理する。マスキング処理では、画像から検出された移動体が、例えば黒色領域により覆われてマスク処理される。これにより画像中には移動しないものが残される。

図３に戻り、移動体をマスキングしたなら、対象フレームをＲＡＭ２０５等に保存する。そして、対象フレームと、過去に撮影したフレームとから車両１００の速度を推定する（Ｓ３０７）。Ｓ３０５におけるマスク処理によって、フレーム内の画像からは移動体がマスクされており、オブジェクトの移動は車両１００の移動によってもたらされる見かけの移動である。図４、図５に速度推定の例を示す。

次に、図４、図５を参照して、車両の移動量（速度レベル）を推定する処理について説明する。なお、速度レベルは車両の移動速度をいう。しかし、予め移動速度に対応付けられた速度の程度（例えば高速、中速、低速など）を表してもよい。ドライブレコーダは、車内カメラ１０１により、例えば所定の時間間隔で撮像画像を取得する。制御部２００は、例えば、ある時刻（例えばｋ）に撮像された撮像画像（フレーム）４０１と、時刻ｋより前の時刻（例えばｋ－１）に撮像された撮像画像とを取得する。これらの撮影画像は、本実施形態では、車両の前部窓または後部窓越しに撮影されたものであってよいが、ここでは後部窓越しの画像を例とする。前部窓越しの画像を用いた場合には、前進と後退の判断が逆転する。また図４，図５の例では移動体が画像に含まれないために明示していないが、図３のステップＳ３０５によりマスキングされている。

制御部２００は、時刻ｋ－１に撮像された撮像画像に対し、互いに異なる複数の倍率で拡大又は縮小した変倍画像を生成する。例えば、時刻ｋ－１に撮像された撮像画像を、段階的に異なる変倍率｛Ｅ_ｎ、Ｅ_ｍ、・・・、１、・・・、Ｒ_ｍ、Ｒ_ｎ｝（ここで、Ｅ_ｎ＞Ｅ_ｍ＞・・・＞１＞・・・＞Ｒ_ｍ＞Ｒ_ｎ＞０）で変倍した変倍画像（例えば変倍画像４１１～４１５）を生成する。そして、制御部２００は、生成した変倍画像４１１～４１５と撮像画像４０１のそれぞれの所定領域７２１を切り出す。このとき、切り出される各所定領域は、同一サイズであり、時刻ｋ及びｋ－１で撮像された撮像画像の中心と同一の中心を有する。変倍率｛Ｅ_ｎ、Ｅ_ｍ、・・・、１、・・・、Ｒ_ｍ、Ｒ_ｎ｝はそれぞれ、車両がどの速度レベルで前進又は後退するかに関連付けられている。このため、ある変倍率で変倍された画像は、関連付けられた速度で車両が走行する際に、次のタイミング（つまり時刻ｋ）で撮像される画像と類似する。

制御部２００は、時刻ｋの撮像画像４０１から切り出した所定領域の画素値と時刻ｋ－１の撮像画像を変倍した変倍画像４１１～４１５のそれぞれの所定領域４２１の画素値との差分を算出し、複数の差分画像を生成する。差分は対応する画素間の差分であってよい。

制御部２００は、得られた複数の差分画像のそれぞれを２値化した２値化画像を生成し、２値化画像の画素値の総和を算出する。２値化は例えば所定の２値化閾値と各画素値とを比較して、差が所定の閾値より大きければ１とし、閾値以下ならば０とするなどにより行ってよい。２値画像の画素値の総和は、画素値が"１"の画素数を表すことになる。制御部２００は、各変倍率に対応する２値化した差分画像の画素値の総和のうち、総和が最小となる変倍率を選択する。例えば、Ｅ_ｎ、Ｅ_ｍ、１、Ｒ_ｍ、Ｒ_ｎで時刻ｋ－１の撮像画像を変倍し、そのうち、Ｅ_ｍで変倍した変倍画像を用いた画素値の総和が最小となる場合、制御部２０１は、変倍率Ｅ_ｍを選択する。２値化後の画素値の総和は、画素値が１の画素数を表す。すなわち、対応する画素間の差が閾値よりも大きい差素数が画素値の総和により示される。また画像取得のレート（フレームレート）は一定であるため、選択された変倍率は車両の速度に応じた値となる。そこでそれぞれの変倍率を車両の速度レベルと関連付けておくことで、変倍率Ｅ_ｍに関連付けられている速度レベルが車両１００の速度レベル（移動量）として推定される。なお、車内カメラ１０１は固定されているので、撮影画像内における前部窓または後部窓の位置は、たとえば画像の中心から一定の幅の範囲であり、図４の処理により速度を推定する場合には、その窓の領域に限って用いてもよい。

なお、本実施形態では、差分画像を２値化する場合を例に説明したが、差分画像を２値化する代わりに他の画像処理を施してもよい。また、制御部２００は、差分を算出する前に各画像を輝度画像に変換したり、エッジを強調したりするなどの所定の画像処理を行ってよい。

更に、図５を参照して、車両の移動量（水平方向の移動量）を推定する処理について説明する。ここでいう水平方向の移動量は、左右方向の移動量であり、それに基づいて車両の転回方向（あるいは進行方向）を推定でき、さらに転回量も推定できる。上述のように、ドライブレコーダは、車内カメラ１０１により、例えば所定の時間間隔で撮像画像を取得する。制御部２００は、例えば、ある時刻（例えばｋ）に撮像された撮像画像５０１と、時刻ｋより前の時刻（例えばｋ－１）に撮像された撮像画像とを取得する。制御部２００は、時刻ｋ－１に撮像された撮像画像から、画像の中心から互いに異なる複数のシフト量で水平方向にシフトした所定領域を切り出す。例えば、時刻ｋ－１に撮像された撮像画像から、段階的に異なるシフト量｛－Ｓ_ｎ、－Ｓ_ｍ、・・・、０、・・・、Ｓ_ｍ、Ｓ_ｎ｝（ここで、Ｓ_ｎ＞Ｓ_ｍ＞・・・＞０）でシフトした所定領域（例えば所定領域５２１～５２５）を切り出す。また、制御部２００は、撮像画像５０１の所定領域８２０を切り出す。シフト量｛－Ｓ_ｎ、－Ｓ_ｍ、・・・、０、・・・、Ｓ_ｍ、Ｓ_ｎ｝はそれぞれ、車両がどの移動量で左側又は右側に移動するかに関連付けられている。このため、あるシフト量で切り出された領域は、関連付けられた移動量で車両が移動する際に撮像される画像の中央部を切り出した所定領域と類似する。

制御部２００は、時刻ｋの撮像画像５０１から切り出した所定領域５２０の画素値と、撮像画像５１１から切り出した所定領域５２１～５２５のそれぞれの画素値との差分を算出し、複数の差分画像を生成する。

制御部２００は、得られた複数の差分画像のそれぞれを２値化した２値化画像を生成し、２値化画像の画素値の総和を算出する。制御部２００は、各シフト量に対応する画素値の総和のうち、画素値の総和が最小となるシフト量を選択する。例えば、時刻ｋ－１の撮像画像において－Ｓ_ｎ、－Ｓ_ｍ、０、Ｓ_ｍ、Ｓ_ｎのシフト量で移動させた所定領域のうち、Ｓ_ｍでシフトした所定領域を用いた画素値の総和が最小となる場合、制御部２００は、シフト量Ｓ_ｍを選択する。上述のように、それぞれのシフト量は車両の移動量と関連付けられているため、シフト量Ｓ_ｍに関連付けられている移動量が車両１００の水平方向の移動量として推定される。

なお、図５の処理において、画像ｋ－１を水平方向にシフトする際に、図４の処理で選択した変倍率で変倍し、それを所定画素ずつシフトしてもよい。このようにすることで比較する画像内の距離が一致するため、より高精度にシフト量を推定できる。さらに、図４の要領で選択した変倍率と図５の要領で選択したシフト量とに関連付けて、車両１００の走行軌道を推定してもよい。たとえばカーブ走行時の曲率や半径などを変倍率とシフト量とに対応付けて登録しておき、登録された値から該当する値を現在の走行軌道を示す値として決定してよい。たとえば対象画像として後部窓の領域を選択しておけば、シフト量から車幅方向の移動量が推定でき、それは車両１００のフレーム間の時間に生じたヨー軸周り回転量に対応する。一方変倍率からは速度が推定できるため、上述したように、カーブ走行時の曲率や半径などを変倍率とシフト量とに対応付けておくことができる。また、いったん車両が左右いずれかの方向へと移動していると判定した場合には、切り出す領域５２１～５２５を、車両が転回する方向へとずらしてもよい。すなわち、２つの画像を相関させる方向を移動させる。この場合、切り出す領域の位置は、車両の転回方向とは逆方向へずらされる。これにより、画像間の相関をより確実にとることができる。この切り出される領域を変換領域と呼び、その中心を画像変換中心と呼ぶこともある。

●運転支援手順
さて、以上のようにして推定した車両の速度は、例えば図６に示す運転支援処理において利用することが可能である。本例では、車両１００の空間的な動きとして速度を用いて運転支援を行う。図６では、物標との接触の可能性を予想し、警告を出力する手順を示す。図６の手順は、車外カメラ１０２により撮影した映像を対象として例えばＣＰＵ２０４により実時間で実行される。

まず車外カメラ１０２により撮影された映像のフレームを取得し、画像認識を行って（Ｓ６０１）、物標特に速度制限の標識を検出する（Ｓ６０３）。次に、図３の手順で得られた車両１００の速度と、標識から認識された制限速度と比較する（Ｓ６０５）。推定速度が制限速度を超えていれば、その旨の警告を出威力する（Ｓ６０７）。警告は出力部２０７から表示や音声で行ってもよいし、スマートフォンに通知して行ってもよいし、接続されたディスプレイオーディオデバイスを介して行ってもよい。このようにして速度超過の可能性を予測し、可能性があれば運転者に警告することができる。

以上説明したように本実施形態によれば、画像に含まれた移動体のオブジェクトをマスキングすることで、固定された物に基づいて速度を推定するため、より推定の精度が向上する。

［第２実施形態］
●画像の速度推定処理
本実施形態では、第１実施形態と同様の図１，２に示した構成により、図３の手順に代えて図８の手順を実行して速度推定する。なお図８のステップＳ８０１からＳ８０５は図３のステップＳ３０１からＳ３０５と同様である。ここでステップＳ３０１におけるマスキング処理について説明する。

図７に対象フレームの一部から移動体を検出し、マスキングする例を示す。図７に示したフレームは、車内カメラ１０１で撮影したフレームの、右半分を切り出したもので、窓の配置が右半分とほぼ対称となるフレームの左半分については割愛した。左半分については、画像の内容が右半分と相違しても処理の内容は同様である。

図７（Ａ）は、対象フレームであるフレーム７００から移動体を検出した様子を示す図である。フレーム７００には、車両の内部の光景と窓越しに見える外部の光景とが含まれている。車両の外部の画像には、他の車両や人などの移動体が含まれる可能性がある。また車両の内部にも、移動し得るもの、たとえば乗員や車内に置かれたハンカチなどの移動しやすい物体、吊り下げられたアクセサリやお守りなどの移動体が含まれる可能性がある。図７（Ａ）にはそれらの移動体が検出された領域を示している。ここでは、車外の移動体として領域７０１（車両）、領域７０４（人）が検出され、車内の移動体として領域７０３（手巾）が検出されている。検出処理では、特に車外と車内とを区別する必要はない。

図７（Ｂ）はフレーム７００から検出した移動体の領域をマスキング処理する様子を示す図である。検出された移動体はマスク７１１とマスク７１３とでマスク処理される。図の見やすさのためにマスクはハッチングで示しているが、黒画素や白画素など、同色の画素で一様に塗りつぶしてよい。また塗りつぶしの範囲も、図７（Ｂ）では、検知された移動体の領域としているが、所定幅の余白を含めた領域であってもよい。

図８のステップＳ８０５で移動体をマスキングしたなら、対象フレームから物標を検出する（Ｓ８０７）。ステップＳ８０７の処理はステップＳ８０３と同様であってよいが、検出対象が異なる。ここでは、車両の外部に見えるであろう物標を対象として画像認識が行われる。検出対象の物標には、たとえばビルなどの建物や、電柱、看板などの施設、樹木などが含まれてよい。物標が検出されたなら、その物標を基準として、物標の方向および距離が推定される（Ｓ８０９）。そのために、たとえばカメラユニット１１０の取り付け時に、車内カメラ１０１の光軸の方向、特に水平方向についての方向を、入力部２０６から入力してそれを基準にしてよい。あるいは、カメラユニット１１０が、車内カメラ１０１の光軸が車両１００の前後方向に沿うように取り付けられることを前提としてもよい。このようにして基準となる方向を定めておけば、フレーム画像内において、その中心すなわち光軸の位置から水平方向に離間した距離に応じて方向を推定できる。

ここで、ステップＳ８０９で実行される距離の推定方法の一例を、図９を参照して説明する。この方法の実現のために、カメラユニット１１０の取り付け後に、フレーム内の物標と距離との関係について較正を行っておく。本例の方法では、フレーム画像から物標と路面との境界を検出し、その境界までの距離を推定する。そこで、車内カメラ１０１により撮影したフレームに含まれた物標と路面との境界（すなわち接地位置）を特定し、カメラユニット１１０からその接地位置までの距離を実測しておき、特定した境界のフレーム内における接地位置の高さと接地位置までの実際の距離とを関連付けておく。この関連付けは消去可能ＲＯＭ２０９などに保存される。カメラユニット１１０は車両１００に対して固定されているので、この関連付けを基準として、フレーム画像内で特定された位置について、それが路面にあることを条件とすることで距離を推定できる。なおこの実施形態では、特定した接地位置のフレーム内における高さに代えて、接地位置から、光軸すなわち画像の中心を含む水平な線までの高さと、カメラユニット１１０から接地位置までの距離とを関連付けているが、フレームの下辺から光軸を含む水平線までの高さは一定なので、両者の意味するところは同じである。予め関連付けられて保存された、画像中の接地位置の高さと実際の接地位置までの距離とを、それぞれ高さをｈ０、長さをＬ０とする。

図９において、カメラユニット１１０は、車両１００の車内に、車内カメラ１０１の光軸９０２が、水平方向９０３に対して俯角ωとなるように取り付けられている。車内カメラ１０１は、車両１００の窓越しに物標９０５を含む光景を撮影し、その画像は画像９１０に投影されているものとする。画像９１０は、撮影された物標と画像との対応を示している。物標９０５が路面（道路でなくとも道路と概ね面一の面を路面と呼ぶ。）に接している接地位置９０１は、画像９１０においては位置９１１に対応する。光軸９０２が画面９１０に投影された位置９１０（中心位置と呼ぶ）から位置９１１までのフレーム中での高さがｈ１である、求める接地位置９０１までの距離をＬとする。この場合、Ｌ０：ｈ０＝Ｌ：ｈ１なので、Ｌ＝ｈ１・Ｌ０／ｈ０と与えられる。

なお物標と路面との境界が特定できなければ、たとえば大きさを推定しやすい物標の画像中の大きさ（画角）と距離との対応をあらかじめ記憶しておき、それを基準として距離を推定してもよい。たとえば電柱などはその標準的な太さをあらかじめ定め、太さの画角と距離とを対応付けてあらかじめ記憶しておいておく。フレーム中から電柱が検出されたなら、その太さの画角と予め記憶した太さの画角との比を、予め定めた太さと関連付けられた距離に乗じて距離を推定する。これは図９で説明したものと同様である。

以上のようにしてステップＳ８０９では物標の方向と距離とを推定する。なおこの推定は、車内カメラ１０１で撮影したフレームの右半分と左半部とのそれぞれについて実行される。図８に戻り、推定した方向と距離とを保存する（Ｓ８１１）。次に、前のフレームについて図８の処理を行った結果ステップＳ８１１で保存された物標の方向と距離とを読み出す（Ｓ８１３）。そしてステップＳ８０９で求めた推定値とステップＳ８１３で読み出した推定値とに基づいて車両１００の速度を推定する（Ｓ８１５）。推定された速度は保存される。速度の推定も、フレームの右半分を用いた推定値と左半分を用いた推定値とに戻づいて、フレームの左右それぞれについて行われる。なお、速度の推定のためには、フレーム間における物標の同一性が必要となるが、そのために、前のフレームで検出された物標の画像をその位置と対応付けて記憶しておき、対象フレームそれぞれで検出された物標の画像との相関を求め、相関値が一定以上あれば同一物標と判定してもよい。この場合、フレーム間で同一と判定された物標の方向および距離に基づいて速度が推定される。さらに左右それぞれの推定速度から、より遅い方が転回方向（あるいは進行方向）であると判定することができる。また左右の速度の平均速度と、左右間の速度差とから転回の半径を推定することもできる。

図１０に速度推定の仕方の一例を示す。前のフレームから検出された物標１００１に対応するフレーム１０１０中の画像が物標画像１０１１である。一方、対象フレームから検出された物標１００２に対応するフレーム中の画像が物標画像１０１２である。車両１００の進行に伴って物標の位置は移動しているが、物標１００１と物標１００２とは同一の物標である。物標画像１０１１から推定された距離がＬ１、方向がθ１である。一方、物標画像１０１２から推定された距離がＬ２、方向がθ２である。なお物標の方向は、車両の前後方向の中心線に沿った車内カメラ１０１の光軸の方向を基準として示すものとする。

このとき、距離Ｌ１の車両１００の進行方向成分はＬ１・ｃｏｓ（θ１）であり、距離Ｌ２の車両１００の進行方向成分はＬ２・ｃｏｓ（θ２）であるので、その差ＬはＬ２・ｃｏｓ（θ２）－Ｌ１・ｃｏｓ（θ１）となる。この距離を１フレーム間隔の時間で除算することで、速度を推定できる。フレームレートがＦ（ｆｐｓ）であれば、長さの単位がメートルならば速度はＬ・Ｆ（ｍ／ｓ）である。以上のようにして、撮影した画像から速度を推定する。もちろんこれは一例であって、他の方法で推定することも可能であるし、その方法を用いてもよい。

以上の手順により、車両１００の速度を推定することができる。推定した速度は、図６の運転支援処理において参照することができる。また撮影した画像から移動体をマスキング処理したことで、高精度の速度推定を実現できる。

●そのほかの運転支援手順
本実施形態と同様の構成により、推定した速度を例えば図１１に示す運転支援処理において利用することが可能である。図１１では、物標との接触の可能性を予想し、警告を出力する手順を示す。本例では、車両１００の空間的な動きとして、進行方向も含めた速度を求め、それを用いて運転支援を行う。図１１の手順は、車外カメラ１０２により撮影した映像を対象として例えばＣＰＵ２０４により実時間で実行される。

まず車外カメラ１０２により撮影された映像のフレームを取得し、画像認識を行って（Ｓ１１０１）、物標を検出する（Ｓ１１０３）。検出対象の物標は、道路を走行中に障害になり得るものであり、車両や人、道路わきに設置される施設などであってよい。また特定の物標ではなく、道路ではないなにものかであってもよい。次に物標の距離及び方向（あるいは位置）を推定する（Ｓ１１０５）。これは例えば図３のステップＳ３０９で説明した方法と同じ方法であってよい。

次に図３の手順で得られている車両１００の左右の速度に基づいて、進行方向を含む車両１００の速度ベクトルを推定する（Ｓ１１０７）。車両の左右の車輪間の幅（トレッド幅）は固定値であるので、例えばトレッド幅の両端を始点とする左右それぞれの速度ベクトルを想定する。前輪と後輪のトレッド幅が異なる場合には例えばその平均値を用いてよい。それぞれの速度ベクトルは、図３の手順で推定された左右それぞれの速度を大きさとし、車両１００の前方を向いたベクトルとする。そして、それぞれの速度ベクトルの終点を結んだ線分の法線方向で、かつ左右それぞれの速度の平均値を大きさとするベクトルを、車両１００の速度ベクトルとする。すなわち、左右の速度ベクトルのいずれかを基準と決めて求めたベクトルの大きさの差をＶｆとし、車両１００のトレッド幅をＴｗとする。この場合、基準と決めた速度ベクトルの方向を基準として、そこからＶｆ／Ｔｗ傾けた方向かつＶｆの大きさのベクトルが、車両１００の速度ベクトルであると推定する。もちろんこれは一例であって、これ以外の方法で速度を推定してもよい。

Ｓ１１０７で推定した自車両の速度から、Ｓ１１０５で距離と方向とを推定した物標に車両１００が所定の距離以内に接近する可能性を判定し、可能性があれば接触接近するまでの時間を推定する（Ｓ１１０９）。たとえば車両の現在位置から推定した速度ベクトルを延長した線上あるいはそこから所定距離内に検出した物標があれば、所定距離内に接近する可能性があると判定できる。また、物標の位置から車両１００までの距離を推定した速度の大きさで除算することで、そこに至る時間を推定できる。

次に、接触する可能性があり、接触するまでの時間が推定されていれば、その時間を所定の閾値と比較し、閾値以下なら警告を出力する（Ｓ１１１１）。警告は出力部２０７から表示や音声で行ってもよいし、スマートフォンに通知して行ってもよいし、接続されたディスプレイオーディオデバイスを介して行ってもよい。このようにして物標との接触を予測し、可能性があれば運転者に警告することができる。このようにして物標との過度な接近の可能性を予測し、可能性があれば運転者に警告することができる。

以上のように本実施形態によれば、撮影した画像に含まれた移動体をマスクすることで、移動体に対する相対的な速度ではなく、車両の絶対的な速度、すなわち対地速度を推定することができる。またマスクの対象となる移動体に、車外の移動体のみならず車内における移動体を含めることで、画像の中から車内と車外とを区別することなく、速度を予測することができる。さらに車両の左右の窓を通して左右それぞれの側について速度を推定することで、画像から車両の進行方向を推定することができる。

●変形例１
第1実施形態では前方または後方の画像を撮影し、画像間の差分に基づいて速度を推定した。第2実施形態では、側方の画像についても同様の処理を施す。これを第2実施形態のように、特に前席中央付近から車室方向（すなわち後方）に対して広角のカメラを用いて、左右の窓から撮影した車両外部の映像から車両の転回を判定してもよい。左右窓からの画像では、画像中のオブジェクトは前後（すなわち画像の水平方向）へ移動する。そこで本実施形態では左右それぞれの画像について、図７に示したようにマスキング処理を施し、図５で説明した要領でフレーム間の相関を検出して水平方向の差分を特定する。これにより、時間差で撮影された左右それぞれの画像（フレーム）の差分を検出する。差分が大きい方が転回の外側と判定できる。

この場合、差分については方向に応じて符号を決めておき、符号も含めて左右それぞれの差分を評価する。ただし符号は左右で逆にしておく。たとえば、右側窓から撮影した画像では、前へ直進しているならば、新しい画像ほど中のオブジェクトは右側へ移動する。そこでフレーム間で相関するオブジェクトが、時間の経過に応じて右側へ移動する場合、その差分を正、左側を負とする。左側の窓から撮影した画像については、その逆とする。このように決めたうえで左右それぞれの画像間の差分の大小を判定する。右側の差分が小さければ転回方向は右、左側の差分が小さければ展開方向は左と判定できる。符号を決めたのは、転回中心側の画像では、画像（フレーム）間で相関しているオブジェクトのずれの方向が、直進時のずれ方向とは逆方となることもあり得るためである。

あるいは、転回の外側の窓からの画像はオブジェクトの移動量が大きく、フレームレートや図5に示した画像のずらし量によっては画像間の相関が取れない場合もあり得る。逆に転回の内側の窓からの画像はオブジェクトの移動量が小さい。そこでいずれか一方の窓からの画像についてのみ相関が取れた場合には、相関がとれた側を転回の中心として車両は展開していると判定することもできる。このようにして車両側方の画像から車両の直進や転回を判断することもできる。

●変形例２
車内カメラ１０１として単眼カメラを用いたが、双眼のステレオカメラを用いれば、それぞれのカメラで撮影した画像の視差から物標の距離及び方向を特定することができる。この場合には、物標の大きさと距離の関係や、接地位置を距離との関係などをあらかじめ登録しておく必要はない。また、上記実施形態では移動体をマスクしたが、画像そのものを加工せず、物標を認識する範囲から外すだけであってもよい。

●実施形態のまとめ
以上説明した本実施形態をまとめると以下のとおりである。

本発明の第１の態様によれば、画像処理装置であって、
画像取得部と、
前記画像取得部により取得した画像を処理する処理部と、
を有し、
前記処理部は、
前記画像取得部により取得した画像から移動体を認識して、前記画像中で認識された移動体にマスキング処理を行い、
マスキング処理した前記画像に基づいて前記画像処理装置の空間的な動きを推定する画像処理装置が提供される。
この構成により、移動体にマスキング処理することで、移動体の動きによる影響を含まない、精度の高い動きを推定することができる。

本発明の第２の態様によれば、第１の態様に加えて、
前記画像取得部は、外界と隔てられた空間の内部に設けられており、前記画像には前記空間の内部の画像と外部の画像とを含み、前記移動体は前記空間の外部に位置すると推定される移動体を含む
ことを特徴とする画像処理装置が提供される。
この構成により、外部空間の移動体の影響を含まない精度の高い動きを推定することができる。

本発明の第３の態様によれば、第２の態様に加えて、
前記移動体は前記空間の内部に位置すると推定される移動体をさらに含む
ことを特徴とする画像処理装置が提供される。
この構成により、内部空間の移動体の影響を含まない精度の高い動きを推定することができる。

本発明の第４の態様によれば、第１乃至第３の態様に加えて、
前記画像取得部は、外界と隔てられた空間の内部と外部との仕切りに設けられた透過部を通して外界の画像を取得する
ことを特徴とする画像処理装置が提供される。
この構成により、外部と隔てられた内部空間からであっても、外部の画像に基づいて動きを推定できる。

本発明の第５の態様によれば、第４の態様に加えて、
前記の透過部は、複数個所に面対称となるよう設けられており、
前記画像取得部はカメラを含み、前記面対称の対称面に光軸が沿うように配置される
ことを特徴とする画像処理装置が提供される。
この構成により、１つの画像に対称的に配置された透過部を通した外部の画像を取得でき。それぞれから動きを推定できる。

本発明の第６の態様によれば、第５の態様に加えて、
前記画像処理装置は車両に搭載され、前記空間の内部は車室の内部であって、前記カメラは、前記車室に設けられたルームミラー近傍に、前記車両の後方に向けて設けられる
ことを特徴とする画像処理装置が提供される。
この構成により、車両の車内カメラにより、車両に設けた左右の透過部を通して画像を取得でき、それぞれから車両の動きを推定できる。

本発明の第７の態様によれば、第１乃至第６の態様に加えて、
前記処理部は、一定の時間をおいて取得した少なくとも２つの画像についてマスキング処理を行い、マスキング処理した前記少なくとも２つの画像間の差に基づいて前記車両の移動の速度を推定する
ことを特徴とする画像処理装置が提供される。
この構成により、時間差を置いて取得した少なくとも２つの画像間にマスキング処理することで、移動体の動きによる影響を含まない、精度の高い動きを推定することができる。さらに速度推定を簡易な処理で実現できる。

本発明の第８の態様によれば、第１乃至第６の態様に加えて、
前記処理部は、一定の時間をおいて取得した少なくとも２つの画像についてマスキング処理を行い、マスキング処理した前記少なくとも２つの画像それぞれに含まれた同一の物標の位置を推定し、推定した前記位置の差から、前記空間的な動きとして前記車両の移動の速度を推定する
ことを特徴とする画像処理装置が提供される。
この構成により、時間差を置いて取得した少なくとも２つの画像に含まれた移動体にマスキング処理することで、移動体の動きによる影響を含まない、精度の高い動きを推定することができる。

本発明の第９の態様によれば、第１乃至第８の態様に加えて、
前記処理部は、一定の時間をおいて取得した少なくとも２つの画像についてマスキング処理を行い、マスキング処理した前記少なくとも２つの画像間の差に基づいて前記車両の転回方向を推定する
ことを特徴とする画像処理装置が提供される。
この構成により、時間差を置いて取得した少なくとも２つの画像に含まれた移動体にマスキング処理することで、移動体の動きによる影響を含まない、高精度で転回方向を推定することができる。

本発明の第１０の態様によれば、第９の態様に加えて、
前記処理部は、前記転回方向に応じて、前記少なくとも２つの画像を相関させる方向を移動させる
画像処理装置が提供される。
この構成より、画像間の相関をより確実にとることができる。

本発明の第１１の態様によれば、第５または第６の態様に加えて、
前記処理部は、面対称となる前記透過部それぞれを通して撮影した画像それぞれの間の差分に基づいて前記車両の進行方向を推定する
ことを特徴とする画像処理装置が提供される。
この構成により、画像のみから車両などの転回の方向を推定できる。

発明は上記の実施形態に制限されるものではなく、発明の要旨の範囲内で、種々の変形・変更が可能である。

１０１ 車内カメラ、１０２ 車外カメラ、１１０ カメラユニット、２００ 制御部

Claims (10)

1. 車両に搭載された画像処理装置であって、
   画像取得部と、
   前記画像取得部により取得した画像を処理する処理部と、
   を有し、
   前記処理部は、
   前記画像取得部により取得した画像から移動体を認識して、前記画像中で認識された移動体にマスキング処理を行い、
   マスキング処理した前記画像に基づいて前記画像処理装置の空間的な動きを推定し、
   前記画像取得部は、外界と隔てられた空間の内部と外部との仕切りに設けられた透過部を通して外界の画像を取得し、
   前記処理部は、前記透過部を通して取得した前記車両の左右方の画像それぞれの間の差分に基づいて前記車両の進行方向を推定する
   ことを特徴とする画像処理装置。
2. 請求項1に記載の画像処理装置であって、
   前記画像取得部は、外界と隔てられた空間の内部に設けられており、前記画像には前記空間の内部の画像と外部の画像とを含み、前記移動体は前記空間の外部に位置すると推定される移動体を含む
   ことを特徴とする画像処理装置。
3. 請求項２に記載の画像処理装置であって、
   前記移動体は前記空間の内部に位置すると推定される移動体をさらに含む
   ことを特徴とする画像処理装置。
4. 請求項１乃至３のいずれか一項に記載の画像処理装置であって、
   前記透過部は、複数個所に面対称となるよう設けられており、
   前記画像取得部はカメラを含み、前記面対称の対称面に光軸が沿うように配置される
   ことを特徴とする画像処理装置。
5. 請求項４に記載の画像処理装置であって、
   前記空間の内部は車室の内部であって、前記カメラは、前記車室に設けられたルームミラー近傍に、前記車両の後方に向けて設けられる
   ことを特徴とする画像処理装置。
6. 請求項1乃至５のいずれか一項に記載の画像処理装置であって、
   前記処理部は、一定の時間をおいて取得した少なくとも２つの画像についてマスキング処理を行い、マスキング処理した前記少なくとも２つの画像間の差に基づいて前記車両の移動の速度を推定する
   ことを特徴とする画像処理装置。
7. 請求項１乃至５のいずれか一項に記載の画像処理装置であって、
   前記処理部は、一定の時間をおいて取得した少なくとも２つの画像についてマスキング処理を行い、マスキング処理した前記少なくとも２つの画像それぞれに含まれた同一の物標の位置を推定し、推定した前記位置の差から、前記空間的な動きとして前記車両の移動の速度を推定する
   ことを特徴とする画像処理装置。
8. 請求項１乃至７のいずれか一項に記載の画像処理装置であって、
   前記処理部は、一定の時間をおいて取得した少なくとも２つの画像についてマスキング処理を行い、マスキング処理した前記少なくとも２つの画像間の差に基づいて前記車両の転回方向を推定する
   ことを特徴とする画像処理装置。
9. 請求項８に記載の画像処理装置であって、
   前記処理部は、前記転回方向に応じて、前記少なくとも２つの画像を相関させる方向を移動させる
   ことを特徴とする画像処理装置。
10. 請求項４または５に記載の画像処理装置であって、
    前記処理部は、面対称となる前記透過部それぞれを通して取得した画像それぞれの間の差分に基づいて前記車両の進行方向を推定する
    ことを特徴とする画像処理装置。

Images