WO2019215979A1 - 画像処理装置、車載装置、画像処理方法及びプログラム - Google Patents

Abstract

魚眼レンズの射影特性に応じて設定される動きベクトルの異なる探索範囲を、移動体の移動速度に応じて切り替える制御部を有する画像処理装置である。

Description

画像処理装置、車載装置、画像処理方法及びプログラム

　本開示は、画像処理装置、車載装置、画像処理方法及びプログラムに関する。

　車両に搭載したカメラを使用して、車両の前方に存在する物体を検出する技術が知られている。例えば、下記の特許文献１には、魚眼レンズを使用したカメラにより、車両の前方に存在する物体を検出する技術が記載されている。

特開２０１７－４１１００号公報

　しかしながら、特許文献１には、物体を検出する物体検出システムが魚眼レンズの特性を利用した処理を行う点についての記載はない。

　本開示は、魚眼レンズの特性を利用した処理を行う画像処理装置、車載装置、画像処理方法及びプログラムを提供することを目的の一つとする。

　本開示は、例えば、
　魚眼レンズの射影特性に応じて設定される動きベクトルの異なる探索範囲を、移動体の移動速度に応じて切り替える制御部を有する
　画像処理装置である。

　本開示は、例えば、
　魚眼レンズと、
　撮像部と、
　魚眼レンズ及び撮像部により得られる画像に基づいて、動きベクトルを検出するための探索範囲を設定する制御部と
　を有し、
　制御部は、魚眼レンズの射影特性に応じて設定される動きベクトルの異なる探索範囲を、移動体の移動速度に応じて切り替える
　車載機器である。

　本開示は、例えば
　制御部が、魚眼レンズの射影特性に応じて設定される動きベクトルの異なる探索範囲を、移動体の移動速度に応じて切り替える
　画像処理方法である。

　本開示は、例えば
　制御部が、魚眼レンズの射影特性に応じて設定される動きベクトルの異なる探索範囲を、移動体の移動速度に応じて切り替える
　画像処理方法をコンピュータに実行させるプログラムである。

　本開示の少なくとも一つの実施の形態によれば、魚眼レンズの特性を利用した処理を行うができる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれの効果であっても良い。また、例示された効果により本開示の内容が限定して解釈されるものではない。

図１Ａ及び図１Ｂは、魚眼レンズの第１の射影特性を説明するための図である。 図２は、魚眼レンズの第２の射影特性を説明するための図である。 図３は、一実施の形態に係るドライブレコーダの構成例を示すブロック図である。 図４は、一実施の形態に係る画像符号化部の構成例を示すブロック図である。 図５は、全周魚眼画像において分割された領域の例を示す図である。 図６は、対角魚眼画像の例を説明するための図である。 図７は、対角魚眼画像において分割された領域の例を示す図である。 図８は、一実施の形態に係るドライブレコーダで行われる処理の流れを示すフローチャートである。 図９は、変形例に係る動体検知装置の構成例を示すブロック図である。 図１０は、車両制御システムの概略的な構成の一例を示すブロック図である。 図１１は、車外情報検出部及び撮像部の設置位置の一例を示す説明図である。

　以下、本開示の実施の形態等について図面を参照しながら説明する。なお、説明は以下の順序で行う。
＜魚眼レンズの特性について＞
＜一実施の形態＞
＜変形例＞
＜応用例＞
　以下に説明する実施の形態等は本開示の好適な具体例であり、本開示の内容がこれらの実施の形態等に限定されるものではない。

＜魚眼レンズの特性について＞
　始めに、本開示の理解を容易とするために、魚眼レンズの特性について説明する。魚眼レンズとは、画角１８０度の範囲を撮影することが可能なレンズである。画角１８０度の範囲を撮影面に投射する方式として複数の方式が知られているものの、本例では、等距離射影と呼ばれる方式に基づいて説明する。

　魚眼レンズの特性として、周辺部ほど圧縮されて歪んだ画像が得られる点が挙げられる。このため、画像周辺部より中心部の動きが大きく見える傾向がある。一方、車載機器に魚眼レンズを適用した場合には、車両の基本的な動きである前進または後退の１次元的な動きにより視野が変化する。この場合、画像中心部より周辺部の動きが大きく見えるという魚眼レンズの特性が挙げられる。

（魚眼レンズの第１の射影特性）
　係る魚眼レンズを通して見る対象物の移動が投射面上である撮影面上（撮像素子面上）にどのように投影されるかという魚眼レンズの射影特性について説明する。図１Ａに示すように、撮影点Ｐ１から距離ｌ離れた面上に対象物があり、当該面の中心から対象物までの距離がｘであり、当該対象物を見る角度（視角）がθであるとする。図１Ｂに示すように、魚眼レンズを通した投射面上では、中心から距離θ離れた場所にｘが投射（投影）される。

　ここで、撮影面上での中心から対象物までの距離ｌは、撮影点Ｐ１から対象物を見る角度θに比例する。対象物の移動距離をｘとすると、下記の数式１が成り立つ。

　数式１に基づいて、撮影点Ｐ１から距離ｌ離れた面上を移動する対象物の変位ｄｘをθの変位ｄθで表すと、下記の数式２が得られる。

　数式２から次のことがわかる。即ち、θの変位に対して、
　θ＝０°(撮影点Ｐ１の正面)付近ではｘの変位が小さい。
　また、θ＝９０°(撮影点Ｐ１の真横方向)付近ではｘの変位が大きい。換言すれば、ｘの変位がθに伝わらない。
　これは、対象物が中心から離れるほど、対象物の移動距離が撮影面上では圧縮されることを意味する。係る魚眼レンズの射影特性を第１の射影特性と適宜、称する。

（魚眼レンズの第２の射影特性）
　次に、魚眼レンズで撮影しながら撮影者（例えば、車両等の移動体）が対象物に接近する場合を考える。図２に示すように、撮影点Ｐ１から距離ｌ離れた面上に対象物があり、その面の中心から対象物までの距離をｘとする。距離ｌは、下記の数式３によって表すことができる。

　対象物が静止（ｘが固定値）であるときの、距離ｌと視角θの変位量との関係について、下記の数式４が成り立つ。

　数式４から下記の数式５が導かれる。

　数式５から次のことがわかる。即ち、θの変位に対して、
　θ＝４５°付近ではｌの変位が小さい。
　また、θ＝０°（撮影点Ｐ１の正面）及び９０°（撮影点Ｐ１の真横方向）ではｌの変位が大きい。換言すれば、ｌの変位がθに伝わらない。
　これは、対象物が４５度の方向に見えている状態で撮影者が前進すると、撮影面上で対象物が大きく動くことを意味する。係る魚眼レンズの射影特性を第２の射影特性と適宜、称する。

（魚眼レンズの射影特性のまとめ）
　魚眼レンズの第１の射影特性によれば、撮影者が静止しており、且つ、対象物が動いている場合、画面中心部に見えている対象物の動きが撮影面上で大きく投影されることになる。
　また、魚眼レンズの第２の射影特性によれば、対象物が静止しており、且つ、撮影者が動いている場合、４５度方向に見えている対象物の動きが撮影面上で大きく投影されることになる。
　上記いずれの場合でも、縁の方に見えている対象物の動きは撮影面上で小さく投影されることになる。

　ここで、魚眼レンズを使用した撮影により得られる画像に基づいて、動き検出を行うことを考える。動き検出では、現在のフレームと、前（例えば、直前）のフレームとを比較し、動きベクトルを検出する処理が行われる。動きベクトルとは、画面内の被写体が動いた分の移動方向と移動量とを示す値である。動きベクトルを検出する代表的な手法としてブロック・マッチング法が挙げられる。ブロック・マッチング法とは、現在のフレームにおける所定のブロック（ｍ画素×ｎ画素からなる矩形のブロック）と、前のフレームの同位置のブロック周辺の画素とを、設定された探索範囲内で比較し、その結果に基づいて動きベクトルを求める方法である。探索範囲を広くすることにより動きベクトルの検出精度が向上するものの、演算量が多くなり且つ多くのメモリ容量も必要とされる。従って、動きベクトルの検出精度を低下させることなく、探索範囲を小さくできることが好ましい。

　そこで、本開示の実施の形態では、上述した魚眼レンズの射影特性を踏まえて、動きベクトルの探索範囲を設定する。魚眼レンズの第１の射影特性から、中心から離れた対象物の動きは撮影面上では小さく投影されることが示された。この第１の射影特性によれば、撮影側が静止若しくは低速での移動の場合には、所定のブロックに対応するブロックが、前フレームにおける当該所定のブロックの位置の近傍で検索される可能性が高くなる。従って、画面周辺部では、動きベクトルの探索範囲を小さくすることができる。

　また、魚眼レンズの第２の射影特性から、対象物が正面（０度方向）または真横（９０度方向）に見えているときは撮影面上での対象物の動きは小さいことが示された。この第２の射影特性によれば、撮影者が移動している場合には、画面中央部と周辺部とでは、所定のブロックに対応するブロックが、前フレームにおける当該所定のブロックの位置の近傍で検索される可能性が高くなる。従って、画面中央部及び周辺部では、動きベクトルの探索範囲を小さくすることができる。

　魚眼レンズの第１の射影特性は、移動体が停止又低速の場合に表れる。また、魚眼レンズの第２の射影特性は、移動体が移動する場合に表れる。従って、魚眼レンズを移動体の車載機器に対して適用した場合には、移動体の移動速度に応じて、動きベクトルの探索範囲を設定すれば、動きベクトルの探索範囲を最適化することができ、処理を効率化することができる。以上を踏まえ、本開示の実施の形態について詳細に説明する。

＜一実施の形態＞
　次に、一実施の形態について説明する。一実施の形態では、移動体として、自動車を例に説明する。移動体は、少なくとも一方向への動き（例えば、前進、後退）が可能なものであれば、電車、バイク、自転車等であっても構わない。また、一実施の形態では、本開示の画像処理装置が適用される機器として、車載機器、より具体的には、自動車の移動中に撮影された画像を記録するドライブレコーダを例にして説明する。

［ドライブレコーダ］
（ドライブレコーダの構成例）
　図３は、一実施の形態に係るドライブレコーダ（ドライブレコーダ１）の構成例を示すブロック図である。ドライブレコーダ１は、例えば、魚眼レンズ２、撮像部３、制御部４、メモリ部５及び車速センサ６を有している。

　魚眼レンズ２は、画角１８０度の範囲を撮影することが可能なレンズである。魚眼レンズ２は、上述した第１及び第２射影特性を有している。

　撮像部３は、魚眼レンズ２を介して得られる光を電気信号に変換する撮像素子である。撮像部３としては、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサやＣＣＤ(Charge Coupled Device)センサが挙げられる。

　制御部４は、ドライブレコーダ１の各部を制御する。例えば、制御部４は、撮像部３から入力される画像信号をデジタル信号に変換し、デジタル画像信号に対して種々の画像処理を行う。また、制御部４は、魚眼レンズの射影特性に応じて設定される動きベクトルの異なる探索範囲を、移動体の移動速度に応じて切り替える。

　本実施の形態に係る制御部４は、例えば、ＲＯＭ(Read Only Memory)４ａ、ＲＡＭ（Random Access Memory）４ｂ、探索範囲設定部４ｃ及び画像符号化部４ｄを有している。ＲＯＭ４ａには、制御部４により実行されるプログラムが格納されている。ＲＡＭ４ｂは、制御部４がプログラムを実行する際のワークメモリとして使用される。探索範囲設定部４ｃは、自動車の車速に応じて、動きベクトルの探索範囲を設定し、動きベクトルの探索範囲を示す探索範囲設定情報を出力する。画像符号化部４ｄは、撮像部３から入力される画像を符号化する。本実施の形態に係る画像符号化部４ｄは、Ｈ．２６４／ＡＶＣ(Audio Video Coding)と呼ばれる方式で画像信号を符号化する。なお、符号化方式はＨ．２６４／ＡＶＣに限定されるものではなく、ブロック・マッチング法により動きベクトルを検出する他の符号化方式を適用することが可能である。符号化された画像信号は、制御部４の制御に応じてメモリ部５に記憶される。

　メモリ部５は、各種の情報を記憶する記憶部である。メモリ部５としては、例えば、ＨＤＤ（Hard Disk Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、光磁気記憶デバイス等が挙げられる。メモリ部５は、ドライブレコーダ１に内蔵されるものでも良いし、ドライブレコーダ１に着脱自在とされるものでも良いし、その両方であっても良い。

　車速センサ６は、自動車の移動速度である車速を検出するセンサである。車速センサ６により検出された車速を示す車速情報が制御部４に入力される。

（画像符号化部の構成例）
　図４は、画像符号化部４ｄの構成例を示すブロック図である。なお、Ｈ．２６４／ＡＶＣの符号化方法そのものは公知であるので、画像符号化部４ｄの構成については、概略的な説明に留める。

　画像符号化部４ｄは、例えば、符号化制御部４０１、ＤＣＴ（Discrete Cosine Transform）量子化部４０２、可変長符号化部４０３、逆量子化部４０４、デブロッキングフィルタ４０５、フレームメモリ４０６、動き補償部４０７、重み付き予測部４０８、画面内予測部４０９、動きベクトル検出部４１０、スイッチ４１１、減算器４１２及び加算器４１３を有している。

　符号化制御部４０１は、量子化特定を指定する情報等をＤＣＴ量子化部４０２に設定する他、画像信号を符号化する際の各種の制御を行う。ＤＣＴ量子化部４０２は、ＤＣＴによる量子化を行い、可変長符号化部４０３は、ＤＣＴ量子化部４０２により量子化された情報に適切な符号（ビット）を割り当てる可変長符号を行う。逆量子化部４０４は、ＤＣＴ量子化部４０２により量子化された画像を逆量子化する。デブロッキングフィルタ４０５は、画像を符号化した際に生じるブロック歪みを減少させるフィルタである。フレームメモリ４０６は、受信側で再生される画像と同じ画像を一時的に蓄積するメモリである。フレームメモリ４０６に蓄積された画像は、次の入力画像の圧縮時等において参照される。

　動き補償部４０７は、動きベクトル検出部４１０により検出された動きベクトルに基づく動き補償を行う。重み付き予測部４０８は、動き補償を行った画像信号に一定の係数ではなく、適応的に重み係数をかけ算して予測信号を生成する。画面内予測部４０９は、フレーム内モードが選択されている場合に、現在のフレーム内だけで当該フレームを圧縮符号化する。動きベクトル検出部４１０は、入力画像を使用して動きベクトルを検出する。動きベクトル検出部４１０には、探索範囲設定部４ｃから供給される探索範囲設定情報により指定された探索範囲において、動きベクトルを検出する。

　スイッチ４１１は、上述したフレーム内モードと、前後のフレーム間の動きの差を利用して圧縮符号化するフレーム間モードとを切り替えるスイッチである。減算器４１２は、入力画像とスイッチ４１１から供給される画像（予測画像）との差分を計算する。加算器４１３は、入力画像と逆量子化部４０４の出力とを加算する。

（ドライブレコーダの動作例）
　ドライブレコーダ１の動作例について、概略的に説明する。自動車の走行中に、魚眼レンズ２及び撮像部３により得られる画像に対して、制御部４による画像処理が行われる。そして、制御部４の画像符号化部４ｄにより符号化された画像がメモリ部５により記憶される。これにより、自動車が走行中の動画をメモリ部５に記憶することができる。なお、メモリ部５に記憶される動画は、本実施の形態では自動車の前方を撮影した動画として説明するが、自動車の後方等、任意の方向を撮影した動画でも良い。また、本実施の形態では、自動車の走行中だけでなく、自動車の使用時における停車中にも撮影がなされる。自動車の不使用時における停車の際に撮影がなされても良い。

［動きベクトルの探索範囲について］
　次に、本実施の形態において設定される動きベクトルの探索範囲について説明する。動きベクトルの探索範囲としては、第１及び第２の探索範囲が設定可能とされている。動きベクトルの第１の探索範囲は、自動車の車速が閾値より小さい低速（停止を含む）の場合に設定される。動きベクトルの第２の探索範囲は、自動車の車速が閾値より大きい高速の場合に設定される。

　魚眼レンズ２を介して得られる画像が、自動車と撮影対象物とがなす角度（自動車から見た視角）に応じて、複数の領域に分割される。そして、第１、第２の探索範囲のそれぞれにおいて、領域毎に動きベクトルの探索範囲が設定される。

　魚眼レンズ２を介して得られる全周魚眼画像は撮影面上に円状の形に投影される。係る全周魚眼画像を、図５に示すように、例えば、中央部ＡＲ１、中間部ＡＲ２及び周辺部ＡＲ３の３領域に分割する。中央部ＡＲ１は、自動車と対象物とがなす角度が０度、即ち、自動車の正面付近における画像領域を含む。中間部ＡＲ２は、自動車と対象物とがなす角度が４５度における画像領域を含む。周辺部ＡＲ３は、自動車と対象物とがなす角度が９０度、即ち、自動車の真横付近における画像領域を含む。各角度に対応する撮像部３の撮像素子上の投影位置は予め決まっているので、各領域を適切に設定することができる。その他の公知の手法を用いて各領域が設定されても良い。

　なお、魚眼レンズを使用するシステムでは、全周魚眼画像よりも対角魚眼画像を用いる場合が多い。対角魚眼画像とは、図６に示すように、全周魚眼画像に内接する矩形の画像であり、対角線方向に１８０°の画角を持つ。得られる画像が矩形であり、撮像部３の撮像素子の領域全てを使うことができるので、後段における画像処理がし易くなる。図７に示すように、対角魚眼画像の場合も中央部ＡＲ１、中間部ＡＲ２及び周辺部ＡＲ３の３領域に分割することができる。この場合は、中央部ＡＲ１、中間部ＡＲ２及び周辺部ＡＲ３は、各画素の水平座標だけで簡易的に長方形に区切ることができる。

　なお、中央部ＡＲ１、中間部ＡＲ２及び周辺部ＡＲ３をどのような大きさで分割するかは適宜、設定できる。例えば、各画像領域の面積が略等しくなるように設定されても良い。また、自動車と対象物とがなす角度の範囲が各領域に設定されても良い。

（動きベクトルの第１の探索範囲について）
　始めに、動きベクトルの第１の探索範囲について説明する。第１の探索範囲は、魚眼レンズ２の第１の射影特性に対応して設定される探索範囲である。魚眼レンズの第１の射影特性によれば、中心から離れた対象物は撮影面上の動きが小さくなる点については説明した通りである。つまり、同じ移動距離であっても、中心から離れた対象物の移動距離は撮影面上で小さく反映されることになることから、動きベクトルの探索範囲を小さく設定したとしても、フレーム間で所定のブロックに対応するブロックがすぐに見つかる可能性が高い。従って、第１の探索範囲としては、周辺部ＡＲ３における動きベクトルの探索範囲が、中央部ＡＲ１及び中間部ＡＲ２における動きベクトルの探索範囲に比べて小さくなるように設定される。

（動きベクトルの第２の探索範囲について）
　始めに、動きベクトルの第２の探索範囲について説明する。第２の探索範囲は、魚眼レンズ２の第２の射影特性に対応して設定される探索範囲である。魚眼レンズの第２の射影特性によれば、自動車から見た対象物が正面（０度方向）または真横（９０度方向）に見えているときは撮影面上での対象物の動きが小さく反映されることになることから、動きベクトルの探索範囲を小さく設定したとしても、フレーム間で所定のブロックに対応するブロックがすぐに見つかる可能性が高い。従って、第２の探索範囲として、中央部ＡＲ１及び周辺部ＡＲ３における動きベクトルの探索範囲が、中間部ＡＲ２における動きベクトルの探索範囲に比べて小さくなるように設定される。

［車速に対して設定される閾値］
　上述したように、動きベクトルの第１の探索範囲は、自動車の車速が閾値より小さい低速（停止でも良い）の場合に設定される。また、動きベクトルの第２の探索範囲は、自動車の車速が閾値より大きい高速の場合に設定される。ここで、自動車の車速に対して設定される閾値の一例について説明する。

　一例として、人間の有効視野とされる水平３０度付近に見える対象物を想定する。正面視からの角度としては左右１５度になる。なお、有効視野とは、いくつか定義があるが、本例では、頭を動かさず前方一点を見ている状態で視覚情報を得られる範囲のことをいう。

　上述した対象物の移動距離を示す数式２及び撮影側（本実施の形態では自動車）の移動距離を示す数式５のそれぞれにθ＝１５°を代入する。それぞれの計算の結果、撮影面上に現れる動き量（変位）ｄθへ与える影響には約３．７倍の差があることがわかる。

　想定する対象物を歩行者とし、移動速度を４ｋｍ／ｈと想定すれば（例えば、市街地における移動速度を想定）、自身の速度が１５ｋｍ／ｈより速くなれば動き量に対して支配的な影響を与え得る。従って、係る想定下では、車速に対する閾値として１５ｋｍ／ｈ程度が設定される。なお、ここでの閾値は、有効視野内よりも、その外側の領域（４５度方向）の動き検出を広く探索するべき閾値が１５ｋｍ／ｈということを意味する。

［処理の流れ］
　次に、図８のフローチャートを参照して、一実施の形態に係るドライブレコーダ１で行われる処理の流れについて説明する。なお、特に断らない限り、以下に説明する処理は、例えば、制御部４によって行われる。

　処理が開始されると、ステップＳＴ１１では、車速センサ６により自動車の車速が取得される。自動車の車速を示す車速情報が、車速センサ６から制御部４に対して供給される。なお、車速情報は、例えば、所定の周期でもって制御部４に入力される。そして、処理がステップＳＴ１２に進む。

　ステップＳＴ１２では、制御部４が車速情報と閾値とを比較し、車速情報により示される車速が閾値より大きいか否かを判断する。ここで、例えば、車速が閾値以下の場合には、処理がステップＳＴ１３に進む。以下の場合は、自動車の車速が停止又は低速であるため、動きベクトルの探索範囲として第１の探索範囲が設定される。

　ステップＳＴ１３では、現在のフレームにおける所定のブロックが中央部ＡＲ１に存在しているか否かが判断される。なお、所定のブロックが中央部ＡＲ１及び中間部ＡＲ２に跨がる場合等は、重なる領域が大きい方を当該ブロックが存在している領域として判断されるようにしても良い。所定のブロックが中央部ＡＲ１に存在する場合には、処理がステップＳＴ１４に進む。

　ステップＳＴ１４では、制御部４の探索範囲設定部４ｃは、（前フレーム）において、所定のブロックに対応するブロックを探索する探索範囲を「大」に設定し、設定した探索範囲を探索範囲設定情報として動きベクトル検出部４１０に出力する。そして、処理がステップＳＴ１８に進む。

　ステップＳＴ１８では、動きベクトル検出部４１０が探索範囲設定情報に基づく探索範囲でブロック・マッチングを行い、その結果に基づいて動きベクトルを検出する。そして、検出された動きベクトルを使用した符号化処理が画像符号化部４ｄにより行われる。なお、図示はしていないが、圧縮符号化された映像がメモリ部５に記憶される。

　ステップＳＴ１３の処理において、所定のブロックが中央部ＡＲ１に存在しない場合には、処理がステップＳＴ１５に進む。ステップＳＴ１５では、所定のブロックが中間部ＡＲ２に存在するか否かが判断される。所定のブロックが中間部ＡＲ２に存在する場合は、処理がステップＳＴ１６に進む。

　中間部ＡＲ２は、中央部ＡＲ１に比べて周辺側に位置する領域である。従って、ステップＳＴ１６では、制御部４の探索範囲設定部４ｃが、前フレームにおいて所定のブロックに対応するブロックを探索する探索範囲として、ステップＳＴ１４で設定される探索範囲より小さい「中」に設定し、設定した探索範囲を探索範囲設定情報として動きベクトル検出部４１０に出力する。そして、処理がステップＳＴ１８に進む。ステップＳＴ１８で行われる処理については上述した通りである。

　ステップＳＴ１５の処理において、所定のブロックが中間部ＡＲ２に存在しない場合には、当該所定のブロックが周辺部ＡＲ３に存在することになる。そして、処理がステップＳＴ１７に進む。

　ステップＳＴ１７では、制御部４の探索範囲設定部４ｃが、前フレームにおいて所定のブロックに対応するブロックを探索する探索範囲として、ステップＳＴ１４、ＳＴ１６で設定される探索範囲より小さい「小」に設定し、設定した探索範囲を探索範囲設定情報として動きベクトル検出部４１０に出力する。そして、処理がステップＳＴ１８に進む。ステップＳＴ１８で行われる処理については上述した通りである。このように、車速が静止又は低速である場合には、所定のブロックの位置が画像の中央から周辺になるほど、動きベクトルの探索範囲が小さくなるように設定される。

　一方、ステップＳＴ１２の処理において、車速情報により示される車速が閾値より大きい場合には、処理がステップＳＴ１９に進む。以下の場合は、自動車の車速が一定以上の高速であるため、動きベクトルの探索範囲として第２の探索範囲が設定される。

　ステップＳＴ１９では、現在のフレームにおける所定のブロックが中央部ＡＲ１に存在しているか否かが判断される。所定のブロックが中央部ＡＲ１に存在する場合には、処理がステップＳＴ２０に進む。

　ステップＳＴ２０において、制御部４の探索範囲設定部４ｃは、前フレームにおいて、所定のブロックに対応するブロックを探索する探索範囲を「小」に設定し、設定した探索範囲を探索範囲設定情報として動きベクトル検出部４１０に出力する。なお、この動きベクトルの探索範囲である「小」は、上述したステップＳＴ１７で設定される動きベクトルの探索範囲と同じ大きさでも良いし、異なる大きさでも良い。そして、処理がステップＳＴ１８に進む。ステップＳＴ１８の処理は上述してあるので重複した説明は省略する。

　ステップＳＴ１９の処理において、所定のブロックが中央部ＡＲ１に存在しない場合には、処理がステップＳＴ２１に進む。ステップＳＴ２１では、所定のブロックが中間部ＡＲ２に存在するか否かが判断される。所定のブロックが中間部ＡＲ２に存在する場合は、処理がステップＳＴ２２に進む。

　動きベクトルの第２の探索範囲では、中間部ＡＲ２の探索範囲が大きくされる。従って、ステップＳＴ２０において、制御部４の探索範囲設定部４ｃは、前フレームにおいて、所定のブロックに対応するブロックを探索する探索範囲を、ステップＳＴ２０で設定される探索範囲に比べて大きい「大」に設定し、設定した探索範囲を探索範囲設定情報として動きベクトル検出部４１０に出力する。なお、この動きベクトルの探索範囲である「大」は、上述したステップＳＴ１４で設定される動きベクトルの探索範囲と同じ大きさでも良いし、異なる大きさでも良い。そして、処理がステップＳＴ１８に進む。ステップＳＴ１８の処理は上述してあるので重複した説明は省略する。

　ステップＳＴ２１の処理において、所定のブロックが中間部ＡＲ２に存在しない場合には、当該所定のブロックが周辺部ＡＲ３に存在することになる。そして、処理がステップＳＴ２３に進む。

　ステップＳＴ２３において、制御部４の探索範囲設定部４ｃは、前フレームにおいて、所定のブロックに対応するブロックを探索する探索範囲を、ステップＳＴ２２で設定される探索範囲に比べて小さい「小」に設定し、設定した探索範囲を探索範囲設定情報として動きベクトル検出部４１０に出力する。なお、この動きベクトルの探索範囲である「小」は、上述したステップＳＴ１７、ＳＴ２０で設定される動きベクトルの探索範囲と同じ大きさでも良いし、異なる大きさでも良い。そして、処理がステップＳＴ１８に進む。ステップＳＴ１８の処理は上述してあるので重複した説明は省略する。

　なお、上述した説明では、説明の便宜を考慮して、探索範囲を「大」、「中」、「小」に区分して説明した。実際の探索範囲の大きさは、フレームメモリ４０６の容量、フレームメモリ４０６に対する制御部４のアクセス性能、メモリバスの許容範囲等を考慮して、適切に設定される。

［一実施の形態で得られる効果］
　上述した一実施の形態では、例えば、以下の効果が得られる。魚眼レンズの射影特性を考慮した処理を行うことにより、移動体の車速に応じて、動きベクトルの探索範囲を最適化することができる。より具体的には、車速が低い場合には、対象物の動きが反映されやすい画面中央部を広く細かく探索することで動きベクトルを精度よく得られる。また、車速が低い場合には、対象物の動きが圧縮される画面周辺部に対し動きベクトルの探索範囲を制限することで処理時間の短縮とメモリアクセス帯域の削減、消費電力の低減等の効果が得られる。

　一方、車速が速い場合には、自動車の動きによる動きベクトルが大きく現れる角度４５度周辺部を広く探索することで、効率よく動きベクトルを検出することができる。また、車速が速い場合には、相対的に動き量が小さく見える画面中央部と周辺部とに対し動きベクトルの探索範囲を制限することで処理時間の短縮とメモリアクセス帯域の削減、消費電力の低減等の効果が得られる。このように、動きベクトルの探索範囲を車速に応じて適応的に切り替えることで、処理時間の短縮とメモリアクセス帯域の削減、消費電力の低減等の効果が得られる。

＜変形例＞
　以上、本開示の複数の実施の形態について具体的に説明したが、本開示の内容は上述した実施の形態に限定されるものではなく、本開示の技術的思想に基づく各種の変形が可能である。以下、変形例について説明する。

　本開示は、ドライブレコーダ以外の装置に対しても適用可能である。図９は、本開示を動体検知装置（動体検知装置１０）に適用した場合の、動体検知装置１０の構成例を示すブロック図である。なお、動体検知装置１０において、ドライブレコーダ１が有する構成と同一又は同質の構成については、同一の参照符号を付している。

　動体検知装置１０は、魚眼レンズ２、撮像部３、車速センサ６、動き検出部１１、物体抽出部１２、動体判定部１３及び動体検知結果出力部１４を有している。魚眼レンズ２、撮像部３及び車速センサ６については、一実施の形態で説明しているため、重複した説明を省略する。

　動き検出部１１は、動きベクトルを検出する。動きベクトルの検出結果が物体抽出部１２に供給される。物体抽出部１２は、動きベクトル検出結果に基づいて、同じ方向に移動する領域を動体（例えば、歩行者、自転車等）として抽出する。動体判定部１３は、物体抽出部１２により抽出された物体（動体）の動きを判定する。動体検知結果出力部１４は、動体の検知結果を表示等により出力するものである。

　動体の検知結果が、例えば、移動体の運転者に対してフィードバックされ、危険の予測や警告として伝達される。動体の検知結果が、自動運転装置が周辺状況を認識するために用いられても良い。

　動き検出部１１が動きベクトルを検出する際に、一実施の形態と同様にして、本開示を適用することができる。即ち、動き検出部１１に車速センサ６からの車速情報を入力することにより、動き検出部１１が動きベクトルを検出する際の探索範囲を最適化することができる。これにより、一実施の形態と同様の効果を得ることができる。

　その他の変形例について説明する。上述した一実施の形態では、等距離射影を例に挙げて説明してきたが、他の射影特性（例えば、等立体角射影方式、正射影方式等）を有する魚眼レンズに対しても本開示を適用することができる。また、画面中央の広い範囲で歪を減らし、周辺部を強く歪ませて、中央部の線形性と広い画角を両立させる特殊な射影特性を持つ光学系（例えば、超広角レンズ）に対しても、本開示を適用することができる。

　上述した一実施の形態では、車速センサを使用して、移動体の移動速度を得る構成について説明したが、これに限定されるものではない。例えば、魚眼レンズを介して得られる画像を使用して移動体の移動速度を得るようにしても良い。画像から移動体の移動速度を得る方法としては公知の方法を適用することができる。一例を挙げれば、分割されているセンターラインの繰り返し周期に基づいて、移動体の移動速度を得ることができる。移動体の移動速度の検出精度をより向上させるため、車速センサ及び魚眼レンズを介して得られる画像の両方を使用して、移動体の移動速度を検出するようにしても良い。

　本開示は、装置、方法、プログラム、システム等により実現することもできる。例えば、上述した実施の形態で説明した機能を行うプログラムをダウンロード可能とし、実施の形態で説明した機能を有しない装置が当該プログラムをダウンロードしてインストールすることにより、当該装置において実施の形態で説明した制御を行うことが可能となる。本開示は、このようなプログラムを配布するサーバにより実現することも可能である。また、各実施の形態、変形例で説明した事項は、適宜組み合わせることが可能である。

　本開示は、以下の構成も採ることができる。
（１）
　魚眼レンズの射影特性に応じて設定される動きベクトルの異なる探索範囲を、移動体の移動速度に応じて切り替える制御部を有する
　画像処理装置。
（２）
　前記魚眼レンズを介して得られる画像が、前記移動体と対象物とがなす角度に応じて複数の領域に分割され、前記領域毎に前記動きベクトルの探索範囲が設定される
　（１）に記載の画像処理装置。
（３）
　前記移動体と前記対象物とがなす角度に応じて、前記画像が、中央部、中間部及び周辺部に分割される
　（２）に記載の画像処理装置。
（４）
　前記動きベクトルの探索範囲として、第１の探索範囲と第２の探索範囲とが設定され、
　前記第１の探索範囲として、前記周辺部における動きベクトルの探索範囲が、前記中央部及び前記中間部における動きベクトルの探索範囲に比べて小さくなるように設定され、
　前記第２の探索範囲として、前記中央部及び前記周辺部における動きベクトルの探索範囲が、前記中間部における動きベクトルの探索範囲に比べて小さくなるように設定される
　（３）に記載の画像処理装置。
（５）
　前記制御部は、
　前記移動体の移動速度が所定の閾値より小さい低速の場合には、前記動きベクトルの探索範囲として、前記第１の探索範囲として設定し、
　前記移動体の移動速度が前記所定の閾値より高速の場合には、前記動きベクトルの探索範囲として、前記第２の探索範囲として設定する
　（４）に記載の画像処理装置。
（６）
　前記中央部は、前記移動体と前記対象物とがなす角度が０度における画像領域を含み、
　前記中間部は、前記移動体と前記対象物とがなす角度が４５度における画像領域を含み、
　前記周辺部は、前記移動体と前記対象物とがなす角度が９０度における画像領域を含む
　（３）から（５）までの何れかに記載の画像処理装置。
（７）
　前記画像が矩形画像である
　（３）から（６）までの何れかに記載の画像処理装置。
（８）
　前記移動体の移動速度が、車速センサ及び前記魚眼レンズを介して得られる画像の少なくとも一方を使用して検出される
　（１）から（７）までの何れかに記載の画像処理装置。
（９）
　魚眼レンズと、
　撮像部と、
　前記魚眼レンズ及び前記撮像部により得られる画像に基づいて、動きベクトルを検出するための探索範囲を設定する制御部と
　を有し、
　前記制御部は、魚眼レンズの射影特性に応じて設定される動きベクトルの異なる探索範囲を、移動体の移動速度に応じて切り替える
　車載機器。
（１０）
　制御部が、魚眼レンズの射影特性に応じて設定される動きベクトルの異なる探索範囲を、移動体の移動速度に応じて切り替える
　画像処理方法。
（１１）
　制御部が、魚眼レンズの射影特性に応じて設定される動きベクトルの異なる探索範囲を、移動体の移動速度に応じて切り替える
　画像処理方法をコンピュータに実行させるプログラム。

＜応用例＞
　本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される装置として実現されてもよい。

　図１０は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図１０に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Controller　Area　Network）、ＬＩＮ（Local　Interconnect　Network）、ＬＡＮ（Local　Area　Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。

　各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図１０では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。

　駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Antilock　Brake　System）又はＥＳＣ（Electronic　Stability　Control）等の制御装置としての機能を有してもよい。

　駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。

　ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。

　バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。

　車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Time　Of　Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。

　環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light　Detection　and　Ranging、Laser　Imaging　Detection　and　Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。

　ここで、図１１は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。

　なお、図１１には、それぞれの撮像部７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。

　車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２６，７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０～７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。

　図１０に戻って説明を続ける。車外情報検出ユニット７４００は、撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。

　また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。

　車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。

　統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Personal　Digital　Assistant）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。

　記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Read　Only　Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Random　Access　Memory）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Hard　Disc　Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。

　汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（登録商標）（Global　System　of　Mobile　communications）、ＷｉＭＡＸ（登録商標）、ＬＴＥ（登録商標）（Long　Term　Evolution）若しくはＬＴＥ－Ａ（LTE－Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ－Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Peer　To　Peer）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Machine　Type　Communication）端末）と接続してもよい。

　専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless　Access　in　Vehicle　Environment）、ＤＳＲＣ（Dedicated　Short　Range　Communications）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Vehicle　to　Vehicle）通信、路車間（Vehicle　to　Infrastructure）通信、車両と家との間（Vehicle　to　Home）の通信及び歩車間（Vehicle　to　Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。

　測位部７６４０は、例えば、ＧＮＳＳ（Global　Navigation　Satellite　System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global　Positioning　System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。

　ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。

　車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near　Field　Communication）又はＷＵＳＢ（Wireless　USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal　Serial　Bus）、ＨＤＭＩ（登録商標）（High-Definition　Multimedia　Interface、又はＭＨＬ（Mobile　High-definition　Link）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。

　車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。

　統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced　Driver　Assistance　System）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。

　マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。

　音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１０の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Augmented　Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。

　なお、図１０に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。

　なお、図３を用いて説明した本実施の形態に係るドライブレコーダ１の各機能を実現するためのコンピュータプログラムを、いずれかの制御ユニット等に実装することができる。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体を提供することもできる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。

　以上説明した車両制御システム７０００において、図３を用いて説明した本実施の形態に係るドライブレコーダ１は、図１０に示した応用例の車外情報検出ユニット７４００に適用することができる。

　また、図３を用いて説明したドライブレコーダ１の少なくとも一部の構成要素は、図１０に示した統合制御ユニット７６００のためのモジュール（例えば、一つのダイで構成される集積回路モジュール）において実現されてもよい。あるいは、図３を用いて説明したドライブレコーダ１が、図１０に示した車両制御システム７０００の複数の制御ユニットによって実現されてもよい。

１・・・ドライブレコーダ、２・・・魚眼レンズ、４・・・制御部、４ｃ・・・探索範囲設定部、４ｄ・・・画像符号化部、６・・・車速センサ、４１０・・・動きベクトル検出部

Claims (11)

1. 　魚眼レンズの射影特性に応じて設定される動きベクトルの異なる探索範囲を、移動体の移動速度に応じて切り替える制御部を有する
   　画像処理装置。
2. 　前記魚眼レンズを介して得られる画像が、前記移動体と対象物とがなす角度に応じて複数の領域に分割され、前記領域毎に前記動きベクトルの探索範囲が設定される
   　請求項１に記載の画像処理装置。
3. 　前記移動体と前記対象物とがなす角度に応じて、前記画像が、中央部、中間部及び周辺部に分割される
   　請求項２に記載の画像処理装置。
4. 　前記動きベクトルの探索範囲として、第１の探索範囲と第２の探索範囲とが設定され、
   　前記第１の探索範囲として、前記周辺部における動きベクトルの探索範囲が、前記中央部及び前記中間部における動きベクトルの探索範囲に比べて小さくなるように設定され、
   　前記第２の探索範囲として、前記中央部及び前記周辺部における動きベクトルの探索範囲が、前記中間部における動きベクトルの探索範囲に比べて小さくなるように設定される
   　請求項３に記載の画像処理装置。
5. 　前記制御部は、
   　前記移動体の移動速度が所定の閾値より小さい低速の場合には、前記動きベクトルの探索範囲として、前記第１の探索範囲として設定し、
   　前記移動体の移動速度が前記所定の閾値より高速の場合には、前記動きベクトルの探索範囲として、前記第２の探索範囲として設定する
   　請求項４に記載の画像処理装置。
6. 　前記中央部は、前記移動体と前記対象物とがなす角度が０度における画像領域を含み、
   　前記中間部は、前記移動体と前記対象物とがなす角度が４５度における画像領域を含み、
   　前記周辺部は、前記移動体と前記対象物とがなす角度が９０度における画像領域を含む
   　請求項３に記載の画像処理装置。
7. 　前記画像が矩形画像である
   　請求項３に記載の画像処理装置。
8. 　前記移動体の移動速度が、車速センサ及び前記魚眼レンズを介して得られる画像の少なくとも一方を使用して検出される
   　請求項１に記載の画像処理装置。
9. 　魚眼レンズと、
   　撮像部と、
   　前記魚眼レンズ及び前記撮像部により得られる画像に基づいて、動きベクトルを検出するための探索範囲を設定する制御部と
   　を有し、
   　前記制御部は、魚眼レンズの射影特性に応じて設定される動きベクトルの異なる探索範囲を、移動体の移動速度に応じて切り替える
   　車載機器。
10. 　制御部が、魚眼レンズの射影特性に応じて設定される動きベクトルの異なる探索範囲を、移動体の移動速度に応じて切り替える
    　画像処理方法。
11. 　制御部が、魚眼レンズの射影特性に応じて設定される動きベクトルの異なる探索範囲を、移動体の移動速度に応じて切り替える
    　画像処理方法をコンピュータに実行させるプログラム。

Images