JP5040831B2 - 車両用撮影装置および撮影方法 - Google Patents

Description

本発明は、車両用撮影装置および撮影方法に関する。

従来より、車両に搭載されたカメラから車外の風景を撮影することにより、撮影画像を取得する手法が知られている。例えば、特許文献１には、カーナビゲーションシステムから車両の現在の走行環境情報を取得し、その取得した走行環境に応じてカメラの撮影映像の出力制御を行う、具体的には、撮影映像の明るさを制御する手法が開示されている。
特開２００４−１２３０６１号公報

しかしながら、特許文献１に開示された手法によれば、車両走行中に撮影を行うため、走行環境や周辺環境の変化にともない、撮影者（乗員）が意図する撮影対象を遮蔽する遮蔽物が映り込んでしまう可能性がある。そのため、乗員の意図した撮影画像を得ることができないという問題である。

本発明はかかる事情に鑑みてなされたものであり、その目的は、遮蔽物の影響を低減させて、乗員が意図した撮影対象を撮影した撮影画像を得ることである。

かかる課題を解決するために、本発明は、撮影範囲において撮影対象と車両との間に存在することにより、撮影画像において撮影対象を遮蔽する遮蔽物が存在するか否かを判定する遮蔽物判定処理を行う。乗員から指示された撮影タイミングにおいて遮蔽物が存在すると判定した場合、この判定以降に遮蔽物が存在しないと判定したことを条件に再撮影タイミングを指示する。そして、指示された再撮影タイミングと対応する撮影画像を取得する。

本発明によれば、遮蔽物判定処理により、撮影タイミングに遮蔽物が存在することを判断することができる。これにより、撮影画像が乗員の意図する撮影対象を遮蔽する遮蔽物が存在することを判断することができる。また、遮蔽物判定処理により、この遮蔽物が存在しなくなったことを判定することができるので、撮影対象の再撮影を行うタイミング（再撮影タイミング）を指示することができる。これにより、遮蔽物の影響が低減させて、乗員が意図した撮影対象を撮影した撮影画像を得ることができる。

（第１の実施形態）
図１は、本発明の第１の実施形態にかかる車両用撮影装置のシステム構成を模式的に示すブロック図である。車両用撮影装置は、車両に搭載されており、乗員による操作に対応して車外の景色を撮影する装置である。本実施形態において、車両用撮影装置は、撮影部１、画像処理部２、遮蔽物検出部３、タイミング入力部４、車両情報検出部５、画像格納部６および表示部７で構成されている。

撮影部（撮影手段）１は、車両を基点として、撮影範囲に含まれる景色を撮影する。撮影部１は、イメージセンサ（例えば、ＣＣＤまたはＣＭＯＳセンサ等）を内蔵している。撮影部１は、ドアミラーやフロントピラー（Ａピラー）などに取り付けられており、例えば、車両前方（具体的には、右前方）の景色を撮影する。撮影部１は、画像処理部２によって制御されており、画像処理部２による撮影画像の取得周期に対応して、撮影範囲内の景色を連続して時系列的に撮影し、撮影画像を画像処理部２に順次出力する。また、撮影部１は、画像処理部２からの撮影指示に対応して、撮影画像を画像処理部２に出力することもできる。

画像処理部２は、撮影部１から所定の周期で撮影画像を取得（撮影）し、この撮影画像を処理対象として各種の処理を実行する。画像処理部２としては、後述する遮蔽物検出部３とともに、ＣＰＵ、ＲＯＭ、ＲＡＭ、Ｉ／Ｏインターフェースを主体に構成されたマイクロコンピュータで構成することができる。

画像処理部（処理手段）２は、取得した撮影画像を表示部７に出力することにより、撮影部１によって撮影される景色を表示部７を介して動画表示させる。また、画像処理部２は、タイミング入力部４から指示される撮影タイミングと対応する撮影画像、または、遮蔽物検出部３から指示される再撮影タイミングと対応する撮影画像を取得する。これらの撮影画像は、乗員の撮影タイミングと対応する撮影画像であることを示す撮影対象フレーム、または、再撮影タイミングと対応する撮影画像であることを示す再撮影対象フレームとして、画像格納部６に格納したり、表示部７に表示させたりすることができる。また、本実施形態において、画像処理部２は、タイミング入力部４からの撮影タイミングが指示された場合、この撮影タイミングを遮蔽物検出部３へと指示する。

また、画像処理部２は、撮影画像を取得すると、この取得した撮影画像と、当該撮影画像よりも撮影されたタイミングが前の撮影画像とに基づいて、オプティカルフロー（実オプティカルフロー）を算出する。ここで、オプティカルフローは、一対の撮影画像において対応するピクセルの流れ（移動）をベクトルで表現したものである。画像処理部２において算出されたオプティカルフローは、遮蔽物検出部３に対して出力される。

遮蔽物検出部（判定手段）３は、撮影対象に対する遮蔽物が存在するか否かを判断する（遮蔽物判定処理）。ここで、撮影対象は、乗員が撮影の対象とする被写体（景色）であり、本実施形態では、近くの景色よりも遠くの景色がこれに該当する。車両用撮影装置は、車両に搭載されている。高速で移動する車両から捉えた場合、遠くの景色と比較して、近くの景色は移動速度が相対的に速くなる。そのため、近くの景色は撮影のタイミングを図ることが難しく、乗員は遠くの景色を撮影対象として選択することが一般的と考えられる。一方、遮蔽物は、撮影部１による撮影範囲に含まれる景色において撮影対象と車両（自車両）との間に存在することにより、撮影画像において撮影対象を遮蔽する物体である。

本実施形態において、遮蔽物検出部３は、画像処理部２において算出されたオプティカルフローに基づいて、遮蔽物が存在するか否かを判定する。具体的には、遮蔽物検出部３は、撮影画像ベースに算出されたオプティカルフローと、基準オプティカルフローとを比較することにより、遮蔽物が存在するか否かを判定する。ここで、基準オプティカルフローは、車速といった車両の状態量（車両情報検出部５によって検出される車両情報）を条件として、撮影部１によって撮影される撮影画像に関して算出され得るオプティカルフローの基準値である。

また、遮蔽物検出部３は、タイミング入力部４による撮影タイミングにおいて遮蔽物が存在すると判定した場合には、以下の処理を行う。具体的には、遮蔽物検出部３は、この判定以降に、遮蔽物が存在しないと判定したことを条件に、画像処理部２に対して再撮影タイミングを指示する。

タイミング入力部４は、乗員からの撮影タイミングを画像処理部２に指示するための機能を担っている。タイミング入力部４としては、押し込み式のボタンスイッチや、２段動作の押し込み式のボタンスイッチなどを用いることができる。タイミング入力部４は、ステアリングホイールの近傍、または、インストルメントパネルの周辺に配置されており、乗員によって操作することができる。

車両情報検出部５は、車両の状態量を車両情報として検出し、この検出された車両情報は、遮蔽物検出部３に出力される。車両情報検出部５が検出する車両情報は、時系列的に撮影される撮影画像において、フレーム間でオプティカルフローの変化要因となる車両の状態量の変化である。この車両の状態量としては、少なくとも車速が挙げられ、これに加え操舵角、操舵角速度、加速度（前後方向および横方向）などを挙げることができる。また、車両の状態量としては、これらのパラメータ以外にも、車体の軸方向に関する傾斜角の変化、例えば、ヨー角やヨーレイト、ロール角やロール角速度、ピッチング角やピッチング角速度などを挙げることができる。

画像格納部６は、画像処理部２から出力される撮影画像を格納（保存）する。画像格納部６として、ハードディスク装置、あるいは、車両用撮影装置に対して着脱可能なカード型の不揮発性メモリ、例えば、フラッシュメモリタイプのメモリカードを用いる。そのため、この車両用撮影装置には、メモリカードに対してデータ（撮影画像）の保存および読み込みが可能なドライブ或いはソケット（以下、これらを総称して単に「ドライブ」という）が設けられている。本明細書では、実質的なデータの格納動作を考慮した上で、ドライブによってアクセスされるメモリカードを、狭義において、画像格納部６という。画像格納部６として機能する不揮発性メモリは、必ずしも着脱可能である必要はなく、車両用撮影装置と一体的に取付けられていてもよい。なお、メモリカードにアクセス可能なドライブも、このメモリカードと組合わされて画像格納部６の一部として機能するため、広義において、メモリカードが取り外された状態であっても、このドライブが単独で画像格納部６を構成する。また、フラッシュメモリタイプのメモリカードに限定されず、磁気式、光学式等といった各種の記録媒体を広く用いることもできる。

また、画像格納部６に撮影画像を格納する場合には、メタデータとして撮影条件を撮影画像を関連付けて保存することができる。撮影条件としては、撮影対象フレームであるのかそれとも再撮影対象フレームであるのかといった点、撮影時の速度、操舵角、操舵角速度、車体の傾斜角および加速度などが挙げられる。

表示部７は、撮影部１によって撮影される撮影画像を表示する機能を担っている。表示部７としては、液晶型の表示装置のように周知の表示手段を用いることができる。表示部７は、画像処理部２から時系列的に出力される１フレーム相当の撮影画像を順次表示させることにより、撮影範囲内の景色を動画として表示することができる。これにより、乗員に対して、撮影範囲を認識させることができるとともに、撮影タイミングを決定させることができる。さらに、表示部７は、画像処理部２からの指示に応じて、撮影対象フレームが設定された撮影画像、あるいは、再撮影対象フレームが設定された撮影画像をそれぞれ表示することができる。例えば、撮影画像について、個々の撮影のタイミングから数秒間だけその撮影画像を表示するといった如くである。また、表示部７は、乗員による操作デバイス（図示せず）の操作に対応して画像格納部６に格納された撮影画像の表示指示がなされた場合には、画像格納部６から表示指示と対応する撮影画像を読み込み、これを表示することができる。

図２は、本発明の第１の実施形態にかかる車両用撮影装置の処理手順（撮影方法）を示すフローチャートである。このフローチャートに示す処理は、所定の周期（例えば、１００msec）で呼び出され、マイクロコンピュータ（画像処理部２および遮蔽物検出部３）によって実行される。

まず、ステップ１（Ｓ１）において、画像処理部２は撮影部１によって撮影される撮影画像を取得する。取得された撮影画像は、ステップ２（Ｓ２）以降の処理に供されるとともに、動画の１フレームを構成すべく表示部７に出力される。

ステップ２において、画像処理部２は、オプティカルフロー（実オプティカルフロー）Ｏｎを算出する。具体的には、遮蔽物検出部３は、撮影フレーム間、すなわち、従前の処理サイクル（例えば、前回の処理サイクル）における撮影画像（以下「前撮影画像」という）と、本処理サイクルにおいて取得された撮影画像との間のピクセル移動量に基づいて演算を行う。オプティカルフローＯｎの算出手法としては、勾配法など周知の手法を用いることができる。撮影画像において、オプティカルフローＯｎ（具体的には、その移動速度）は、遠くの景色ほど小さくなり、近くの景色ほど大きくなる傾向を有している。

ステップ３（Ｓ３）において、画像処理部２は、遮蔽物判定フラグＦhoが「１」にセットされているか否かを判断する。この遮蔽物判定フラグＦhoは、遮蔽物検出部３において遮蔽物が存在していると判定されているか、それとも遮蔽物が存在していないと判定されているかを示すフラグである。遮蔽物検出部３において遮蔽物が存在していると判定されている場合には、遮蔽物判定フラグＦhoは「１」にセットされ、一方、遮蔽物が存在していないと判定されている場合には、遮蔽物判定フラグＦhoは「０」にセットされる。

ステップ３において否定判定された場合、すなわち、遮蔽物判定フラグＦhoが「０」の場合には、ステップ４（Ｓ４）に進む。一方、ステップ３において肯定判定された場合、すなわち、遮蔽物判定フラグＦhoが「１」の場合には、ステップ６（Ｓ６）の処理にスキップする。

ステップ４において、画像処理部２は、乗員による撮影指示があったか否か、すなわち、タイミング入力部４から撮影タイミングが指示されたか否かを判定する。このステップ４において肯定判定された場合、すなわち、撮影タイミングが指示されている場合には、ステップ５（Ｓ５）に進む。一方、ステップ４において否定判定された場合、すなわち、撮影タイミングが指示されていない場合には、本ルーチンを抜ける。

ステップ５において、画像処理部２は、本処理サイクルのステップ１において取得した撮影画像を、撮影対象フレームとして設定する。画像処理部２は、撮影対象フレームに設定された撮影画像を、メタデータとともに画像格納部６に格納する。

ステップ６において、遮蔽物検出部３は、車両情報検出部５によって検出される車両情報Ｖｓを読み込む。ステップ７（Ｓ７）において、遮蔽物検出部３は、読み込まれた車両情報Ｖｓに基づいて、基準オプティカルフローＯｂを算出する。具体的には、遮蔽物検出部３は、車両情報の各パラメータの組み合わせに関する複数の条件毎に、基準オプティカルフローＯｂの値が関連付けられた対応関係をマップまたは演算式として保持している。そして、遮蔽物検出部３は、読み込まれた車両情報Ｖｓに基づいて、マップまたは演算式から基準オプティカルフローＯｂを算出する。この基準オプティカルフローＯｂは、後述するステップ８（Ｓ８）の処理に示すように、基準オプティカルフローＯｂとオプティカルフローＯｎとの比較において、遮蔽物に対応するオプティカルフローの基準値が、実験やシミュレーションを通じて予め設定されている。

図３は、車両と遮蔽物との位置関係を示す説明図であり、図４は、撮影画像におけるオプティカルフローの説明図である。タイミングｔ０（図３参照）において車両から撮影を行った場合、車両前方の撮影範囲内に遮蔽物ｈｏが存在する。図４（ｂ）に示すように、撮影画像では、車両と遮蔽物ｈｏとの位置関係により、撮影対象の大半が遮蔽物ｈｏによって遮蔽された状態となる。このシーンの撮影画像では、近くの景色の割合が多いため、オプティカルフローＯｎの大きい領域が多くの割合を占めることとなる。

また、タイミングｔ０よりも車両が進行した状態で撮影を行った場合、図４（ｂ）に示すように、撮影画像では、車両と遮蔽物ｈｏとの位置関係により、撮影対象の半分程度が遮蔽物ｈｏによって遮蔽された状態となる。このシーンの撮影画像では、近くの景色と遠くの景色との割合が同程度となり、オプティカルフローＯｎの移動速度が大きな領域が半分程度の割合を占めることとなる。

また、さらに時間が経過したタイミングｔ１（図３参照）において車両から撮影を行った場合、車両前方の撮影範囲内に遮蔽物ｈｏが存在する。図４（ｃ）に示すように、撮影画像では、車両と遮蔽物ｈｏとの位置関係により、撮影対象の僅かな領域が遮蔽物ｈｏによって遮蔽された状態となる。このシーンの撮影画像では、遠くの景色の割合が多いため、オプティカルフローＯｎの小さい領域が多くの割合を占めることとなる。

このようなオプティカルフローＯｎの傾向を考慮して、ステップ８（Ｓ８）において、遮蔽物検出部３は、基準オプティカルフローＯｂと、画像ベースのオプティカルフローＯｎとを比較することにより、遮蔽物が存在するか否かを判定する。具体的には、遮蔽物検出部３は、撮影画像を構成する各ピクセル（あるいは、ドット）毎に、基準オプティカルフローＯｂと画像ベースのオプティカルフローＯｎとの差を算出する。そして、遮蔽物検出部３は、規定ピクセル数以上において、画像ベースのオプティカルフローＯｎが基準オプティカルフローＯｂ以上である場合には、遮蔽物が存在すると判断する。ここで、規定ピクセル数は、撮影画像において遮蔽物が存在すると認められる程度のピクセル数の規定値であり、実験やシミュレーションを通じて、全ピクセルに対する割合（（例えば、３分の１）等として設定されている。あるいは、遮蔽物検出部３は、予め登録してある代表点におけるオプティカルフローＯｎが基準オプティカルフローＯｂ以上である場合には、遮蔽物が存在すると判断する。

このステップ８において肯定判定された場合、すなわち、遮蔽物が存在する場合には、ステップ９（Ｓ９）に進む。一方、ステップ８において否定判定された場合、すなわち、遮蔽物が存在しない場合には、ステップ１０（Ｓ１０）に進む。

ステップ９において、遮蔽物検出部３は、遮蔽物判定フラグＦhoを「１」にセットする。すなわち、次回以降の処理サイクルでは、遮蔽物判定フラグＦhoが再度「０」にセットされるまで、ステップ３の判断において肯定判定される。

ステップ１０において、画像処理部２は、遮蔽物判定フラグＦhoが「１」にセットされているか否かを判断する。このステップ１０において否定判定された場合、すなわち、遮蔽物判定フラグＦhoが「０」の場合には、本ルーチンを抜ける。一方、ステップ１０において肯定判定された場合、すなわち、遮蔽物判定フラグＦhoが「１」の場合には、ステップ１１（Ｓ１１）に進む。

ステップ１１において、画像処理部２は、本処理サイクルにおいて取得した撮影画像を、再撮影対象フレームとして設定する。そして、画像処理部２は、メタデータとともに撮影画像を画像格納部６に格納する。

ステップ１２（Ｓ１２）において、遮蔽物判定フラグＦhoが「０」にセットされ、本ルーチンを抜ける。

このように本実施形態において、遮蔽物検出部３は、撮影範囲において撮影対象と車両との間に存在することにより、撮影画像において撮影対象を遮蔽する遮蔽物が存在するか否かを判定する（遮蔽物判定処理）。ここで、画像処理部２は、撮影部１を制御することにより、タイミング入力部４から指示された撮影タイミングと対応する撮影画像を取得する。遮蔽物検出部３は、タイミング入力部４から指示された撮影タイミングにおいて遮蔽物が存在すると判定した場合、この判定以降に遮蔽物が存在しないと判定したことを条件に画像処理部２に再撮影タイミングを指示する。そして、画像処理部２は、遮蔽物検出部３から指示された再撮影タイミングと対応する撮影画像を取得する。

かかる構成によれば、遮蔽物判定処理により、図５（ｂ）に示すように、撮影タイミングに遮蔽物が存在することを判断することができる。これにより、この撮影画像が乗員の意図する撮影画像と相違するものであることを判断することができる。また、遮蔽物判定処理により、この遮蔽物が存在しなくなったことを判定することができるので、撮影対象の再撮影を行うタイミング（再撮影タイミング）を指示することができる。これにより、図５（ａ）に示すように、遮蔽物の影響が低減させて、乗員が意図した撮影対象を撮影した撮影画像を得ることができる。

また、本実施形態によれば、遮蔽物が存在する場合には、再撮影が自動的に行われるため、ドライバーが運転操作中に撮影操作を行う場合であっても、周辺の遮蔽物に気を取られる心配がなくなる。そのため、より運転操作に集中することが可能となる。

また、本実施形態において、画像格納部６に格納される撮影画像には、撮影対象フレームであるか、または再撮影対象フレームであるかを示すメタデータが関連付けられている。そのため、撮影画像を整理する場合に、遮蔽物の映り込みの有無を容易に識別することができる。

また、本実施形態において、画像処理部２は、撮影部１において時系列的に撮影される撮影画像を順次取得する。また、画像処理部２は、撮影されたタイミングが前後する一対の撮影画像に基づいて、この一対の撮影画像においてオプティカルフロー（実オプティカルフロー）Ｏｎを算出する。遮蔽物検出部３は、画像処理部２において算出されたオプティカルフローＯｎに基づいて、遮蔽物が存在するか否かを判定する。

かかる構成によれば、撮影部１が取得する撮影画像をベースに遮蔽物の有無を判定することができる。

また、本実施形態において、車両用撮影装置は、車両の状態量を車両情報として検出する車両情報検出部５をさらに有している。この場合、遮蔽物検出部３は、車両情報検出部５によって検出される車両情報を条件として撮影部１によって撮影される撮影画像に関して算出され得るオプティカルフロー（基準オプティカルフローＯｂ）算出する。そして、遮蔽物検出部３は、基準オプティカルフローＯｂと、オプティカルフローＯｎとを比較することにより、遮蔽物が存在するか否かを判定する。

かかる構成によれば、遮蔽物の有無を有効に判定することができる。また、基準オプティカルフローＯｂを算出する場合、車速以外にも、操舵等といった種々の車両の状態量を示すパラメータを用いることができる。これにより、ステアリング操作などに伴って遮蔽物の検出精度を低下させる要因を抑制することができる。そのため、再撮影タイミングを精度よく判定することができる。

（第２の実施形態）
図６は、本発明の第２の実施形態にかかる車両用撮影装置のシステム構成を模式的に示すブロック図である。本実施形態にかかる車両用撮影装置が、第１の実施形態のそれと相違する点は、車両周囲の立体物を地図情報から検出することにより、遮蔽物が存在するか否か判定することにある。なお、第１の実施形態と対応する構成については、同一の符号を引用するとともに、その詳細な説明は省略することとする。以下、第１の実施形態との相違点を中心に説明を行う。

本実施形態において、車両用撮影装置は、撮影部１、画像処理部２、遮蔽物検出部３、タイミング入力部４、車両情報検出部５、画像格納部６および表示部７に加え、位置検出部８、地図情報記憶部９および立体物検出部１０を有している。

位置検出部（位置検出手段）８は、現在の車両の位置を検出する。具体的には、位置検出部８は、ＧＰＳ受信器（図示せず）から出力される情報に基づいて、車両位置を検出する。なお、車両位置を検出する手法は、ＧＰＳを用いた手法に限らず、例えば、複数の基地局から発信される電波を同時に受信し、電波の到達時間から割り出した基地局までの距離に基づいて三角測量により検出するといった手法でもよい。位置検出部８によって検出された車両位置は、立体物検出部１０に出力される。

地図情報記憶部（記憶手段）９は、地図情報を格納している。この地図情報としては、ナビゲーションシステムなどで利用されるナビゲーション用の情報を利用することができる。地図情報は、自車両が走行する経路（道路）に関する情報である道路情報と、道路周辺の立体物（典型的には、建物）に関する立体物情報とを含む。道路情報は、点データ（ノードまたは補完点）と、各点データを結ぶリンクデータで構成される。立体物情報は、立体物の端点を示す点、点を結ぶリンクデータ、各点から構成される面情報から構成される。各点データには位置情報(緯度、経度、高度)が記録されている。地図情報記憶部９に格納された地図情報は、必要に応じて立体物検出部１０によって読み込まれる。

立体物検出部（立体物検出手段）１０は、車両周辺の立体物を検出する。立体物検出部１０としては、画像処理部２および遮蔽物検出部３とともに、ＣＰＵ、ＲＯＭ、ＲＡＭ、Ｉ／Ｏインターフェースを主体に構成されたマイクロコンピュータで構成することができる。立体物検出部１０は、位置検出部８から車両位置を取得するとともに、この車両位置周辺の立体物情報を地図情報記憶部９から読み込む。立体物検出部１０は、読み込まれた立体物情報と、予め設定されている撮影部１の撮影範囲の情報とに基づいて、撮影範囲において車両から所定距離以内に立体物があるか否かを判断する。所定距離以内に立体物があると判断した場合、立体物検出部１０は、立体物情報から得られる立体物の形状に基づいて、この立体物が撮影範囲において占有する割合を遮蔽物割合（撮影画像における遮蔽物の占有割合）として算出する。この算出結果は、遮蔽物検出部３に対して出力される。

なお、本実施形態において、画像処理部２は、オプティカルフローＯｎの算出を行わない点以外については、第１の実施形態と同様である。また、遮蔽物検出部３は、オプティカルフローをベースとして遮蔽物判定処理を行うのではなく、立体物検出部１０から読み込んだ遮蔽物割合と、予め保持する遮蔽部部割合の基準値（以下「基準遮蔽物割合」という）とを比較して、撮影対象に対する遮蔽物が存在するか否かを判断する。

図７は、本発明の第２の実施形態にかかる車両用撮影装置の処理手順（撮影方法）を示すフローチャートである。このフローチャートに示す処理は、所定の周期（例えば、１００msec）で呼び出され、マイクロコンピュータ（画像処理部２、遮蔽物検出部３および立体物検出部１０）によって実行される。

まず、ステップ２０（Ｓ２０）において、画像処理部２は撮影部１によって撮影される撮影画像を取得する。取得された撮影画像は、ステップ２１（Ｓ２１）以降の処理に供されるとともに、動画の１フレームを構成すべく表示部７に出力される。

ステップ２１において、画像処理部２は、遮蔽物判定フラグＦhoが「１」にセットされているか否かを判断する。このステップ２１において否定判定された場合、すなわち、遮蔽物判定フラグＦhoが「０」の場合には、ステップ２２（Ｓ２２）に進む。一方、ステップ３２において肯定判定された場合、すなわち、遮蔽物判定フラグＦhoが「１」の場合には、ステップ２４（Ｓ２４）の処理にスキップする。

ステップ２２において、画像処理部２は、撮影指示があったか否か、すなわち、タイミング入力部４から撮影タイミングが指示されたか否かを判定する。このステップ２２において肯定判定された場合、すなわち、撮影タイミングが指示されている場合には、ステップ２３（Ｓ２３）に進む。一方、ステップ２２において否定判定された場合、すなわち、撮影タイミングの指示が入力されていない場合には、本ルーチンを抜ける。

ステップ２３において、画像処理部２は、本処理サイクルにおいて取得した撮影画像を、撮影対象フレームとして設定する。そして、画像処理部２は、メタデータとともに撮影画像を画像格納部６に格納する。

ステップ６において、遮蔽物の推定が行われる。具体的には、立体物検出部１０は、位置検出部８から現在の車両位置を取得するとともに、この取得した車両位置周辺の立体物情報を地図情報記憶部９から読み込む。図８に示すように、立体物検出部１０は、予め設定されている撮影範囲Ａｐと、自車位置、立体物情報を重ね合わせる。そして、立体物検出部１０は、所定距離Ｌ以内に立体物ｈｏがあるか否かを判断する。立体物検出部１０は、立体物ｈｏがある場合、この立体物ｈｏが撮影範囲に対して何％占有するかを演算し、この演算結果を遮蔽物割合として、遮蔽物検出部３に出力する。

ステップ２５（Ｓ２５）において、遮蔽物検出部３は、立体物検出部１０から出力された遮蔽物割合と、基準遮蔽物割合とを比較することにより、遮蔽物が存在するか否かを判断する。ここで、基準遮蔽物割合は、遮蔽物の有無を判定するための値であり、実験やシミュレーションを通じて、撮影範囲に対する割合（例えば、３分の１）として設定されている。このステップ２５において肯定判定された場合、すなわち、遮蔽物が存在する場合には、ステップ２６（Ｓ２６）に進む。一方、ステップ２５において否定判定された場合、すなわち、遮蔽物が存在しない場合には、ステップ２７（Ｓ２７）に進む。

ステップ２６において、遮蔽物検出部３は、遮蔽物判定フラグＦhoを「１」にセットする。すなわち、次回以降の処理サイクルでは、遮蔽物判定フラグＦhoが再度「０」にセットされるまで、ステップ２１の判断において肯定判定される。

ステップ２７において、画像処理部２は、遮蔽物判定フラグＦhoが「１」にセットされているか否かを判断する。このステップ２７において否定判定された場合、すなわち、遮蔽物判定フラグＦhoが「０」の場合には、本ルーチンを抜ける。一方、ステップ２７において肯定判定された場合、すなわち、遮蔽物判定フラグＦhoが「１」の場合には、ステップ２８（Ｓ２８）に進む。

ステップ２８において、画像処理部２は、本処理サイクルにおいて取得した撮影画像を、再撮影タイミングと対応する撮影画像であることを示す再撮影対象フレームとして設定する。そして、画像処理部２は、メタデータとともに、この撮影画像を画像格納部６に格納する。

ステップ２９（Ｓ２９）において、遮蔽物判定フラグＦhoが「０」にセットされ、本ルーチンを抜ける。

このように本実施形態によれば、第１の実施形態と同様に、遮蔽物の影響が低減させて、乗員が意図した撮影対象を撮影した撮影画像を得ることができる。

また、本実施形態において、立体物検出部１０は、位置検出部８によって検出された車両位置に基づいて、地図情報記憶部９より車両周辺の地図情報を読み込むとともに、この読み込んだ地図情報に基づいて、立体物を検出する。遮蔽物検出部３は、立体物検出部１０によって検出された立体物に基づいて、遮蔽物が存在するか否かを判定する。

かかる構成によれば、画像処理などの手法を用いずに、遮蔽物の存在を判定することができる。

（第３の実施形態）
図９は、本発明の第３の実施形態にかかる車両用撮影装置のシステム構成を模式的に示すブロック図である。本実施形態にかかる車両用撮影装置が、第１の実施形態または第２の実施形態のそれと相違する点は、撮影範囲と対応する実空間内をセンシングすることにより、立体物を検出することにある。なお、第１の実施形態または第２の実施形態と対応する構成については、同一の符号を引用するとともに、その詳細な説明は省略することとする。以下、第１の実施形態または第２の実施形態との相違点を中心に説明を行う。

本実施形態において、車両用撮影装置は、撮影部１、画像処理部２、遮蔽物検出部３、タイミング入力部４、車両情報検出部５、画像格納部６および表示部７に加え、周辺情報検出部１１を有している。

周辺情報検出部（周辺情報検出手段）１１は、レーザーレーダ、ミリ波レーダあるいはソナーといった外界センサを備えており、撮影範囲と対応する実空間内をセンシングすることにより、立体物を検出する。具体的には、周辺情報検出部１１は、撮影範囲において車両から所定距離以内に立体物があるか否かを判断する。所定距離以内に立体物があると判断した場合、周辺情報検出部１１は、センシングすることにより得られる立体物の形状に基づいて、この立体物が撮影範囲において占有する割合を遮蔽物割合として算出する。この算出結果は、遮蔽物検出部３に対して出力される。

なお、本実施形態において、画像処理部２は、オプティカルフローＯｎの算出を行わない点以外については、第１の実施形態と同様である。また、遮蔽物検出部３は、オプティカルフローをベースとして遮蔽物判定処理を行うのではなく、周辺情報検出部１１から読み込んだ遮蔽物割合と、予め保持する遮蔽割合の基準値（以下「基準遮蔽割合」という）とを比較して、撮影対象に対する遮蔽物が存在するか否かを判断する。

また、第３の実施形態にかかる車両用撮影装置の処理手順（撮影方法）は、上述した第２の実施形態と基本的に同一の手順で進行する。この場合、ステップ２４における遮蔽物の推定処理は、周辺情報検出部１１によって実行されることとなる。

このように本実施形態によれば、第１の実施形態と同様に、遮蔽物の影響が低減させて、乗員が意図した撮影対象を撮影した撮影画像を得ることができる。

また、本実施形態において、周辺情報検出部１１は、撮影範囲と対応する実空間内をセンシングすることにより、立体物を検出する。遮蔽物検出部３は、周辺情報検出部１１によって検出される立体物に基づいて、遮蔽物が存在するか否かを判定する。

かかる構成によれば、画像処理などの手法を用いずに、遮蔽物の存在を判定することができる。

なお、上述した各実施形態は、それぞれ組み合わせて利用することができる。例えば、第１の実施形態と第２の実施形態とを組み合わせてもよいし、第１の実施形態と第３の実施形態とを組み合わせてもよい。また、第１の実施形態から第３の実施形態までの全てを組み合わせてもよい。このような複合的な手法では、いずれか一つの条件において遮蔽物が存在すると判定されたことを条件として、再撮影タイミングを決定するといった手法を用いることができる。

本実施形態では、自動車に適用されているが、二輪車などの各種の車両に対して適用可能である。また、本発明では、広義において、車両という用語を、列車や船舶、飛行機などの移動体を含む意味で用いることとする。

また、本実施形態では、撮影タイミングと、撮影部１によって実際に撮影されたタイミングとは対応していればよく、厳密な一致を要求しない。すなわち、本実施形態に示すように、撮影画像の取得周期と、対応するタイミング（撮影タイミングまたは再撮影タイミング）とで、これを対象フレームに対応づけてもよい。また、撮影タイミングまたは再撮影タイミングに応じて、撮影部１から撮影画像を割り込み的に取得し、これを対象フレームに設定してもよい。

第１の実施形態にかかる車両用撮影装置のシステム構成を模式的に示すブロック図 第１の実施形態にかかる車両用撮影装置の処理手順（撮影方法）を示すフローチャート 車両と遮蔽物との位置関係を示す説明図 撮影画像におけるオプティカルフローの説明図 撮影対象フレームおよび再撮影対象フレームが設定された撮影画像の説明図 第２の実施形態にかかる車両用撮影装置のシステム構成を模式的に示すブロック図 第２の実施形態にかかる車両用撮影装置の処理手順（撮影方法）を示すフローチャート 遮蔽物の推定処理を示す説明図 第３の実施形態にかかる車両用撮影装置のシステム構成を模式的に示すブロック図

符号の説明

１ 撮影部
２ 画像処理部
３ 遮蔽物検出部
４ タイミング入力部
５ 車両情報検出部
６ 画像格納部
７ 表示部
８ 位置検出部
９ 地図情報記憶部
１０ 立体物検出部
１１ 周辺情報検出部

Claims (6)

1. 撮影範囲に含まれる撮影対象を撮影し、撮影画像を出力する撮影手段と、
   乗員によって操作され、撮影タイミングを指示する入力手段と、
   前記撮影範囲において撮影対象と車両との間に存在することにより、前記撮影画像において前記撮影対象を遮蔽する遮蔽物が存在するか否かを判定する遮蔽物判定処理を行う判定手段と、
   前記撮影手段を制御することにより、前記入力手段から指示された撮影タイミングと対応する前記撮影画像を取得する処理手段とを有し、
   前記判定手段は、前記入力手段から指示された撮影タイミングにおいて前記遮蔽物が存在すると判定した場合、当該判定以降に前記遮蔽物が存在しないと判定したことを条件に前記処理手段に再撮影タイミングを指示し、
   前記処理手段は、前記判定手段から指示された再撮影タイミングと対応する前記撮影画像を取得することを特徴とする車両用撮影装置。
2. 前記処理手段は、前記撮影手段において連続して撮影される前記撮影画像を順次取得するとともに、撮影されたタイミングが前後する一対の撮影画像に基づいて、当該一対の撮影画像において対応する画素の流れをベクトルで表現したオプティカルフローを実オプティカルフローとして算出し、
   前記判定手段は、前記処理手段において算出された実オプティカルフローに基づいて、前記遮蔽物が存在するか否かを判定する請求項１に記載された車両用撮影装置。
3. 車両の状態量を車両情報として検出する車両情報検出手段をさらに有し、
   前記判定手段は、前記車両情報検出手段によって検出される車両情報を条件として、前記撮影手段によって撮影される撮影画像に関して算出され得るオプティカルフローを基準オプティカルフローとして算出しており、当該算出された基準オプティカルフローと、前記実オプティカルフローとを比較することにより、前記遮蔽物が存在するか否かを判定する請求項２に記載された車両用撮影装置。
4. 車両の位置を検出する位置検出手段と、
   立体物に関する情報を含む地図情報を格納する記憶手段と、
   前記位置検出手段によって検出された車両の位置に基づいて、前記記憶手段より車両周辺の地図情報を読み込むとともに、当該車両周辺の地図情報に基づいて、立体物を検出する立体物検出手段とをさらに有し、
   前記判断手段は、前記立体物検出手段によって検出された立体物に基づいて、前記遮蔽物が存在するか否かを判定する請求項１に記載された車両用撮影装置。
5. 前記撮影範囲と対応する実空間内をセンシングすることにより、立体物を検出する周辺情報検出手段と、
   前記判定手段は、前記周辺情報検出手段によって検出される立体物に基づいて、前記遮蔽物が存在するか否かを判定する請求項１に記載された車両用撮影装置。
6. 撮影方法において、
   車両の乗員から指示される撮影タイミングを取得する第１のステップと、
   前記撮影タイミングと対応する、車両を基点として撮影範囲に含まれる景色が撮影された撮影画像を取得する第２のステップと、
   前記撮影タイミングにおいて、前記撮影範囲において撮影対象と車両との間に存在することにより、前記撮影画像において前記撮影対象を遮蔽する遮蔽物が存在するか否かを判定する遮蔽物判定処理を行う第３のステップと、
   前記第３のステップにおいて前記遮蔽物が存在すると判定された場合、当該判定以降に前記遮蔽物が存在しないと判定したことを条件に再撮影タイミングを指示する第４のステップと、
   前記再撮影タイミングと対応する前記撮影画像を取得する第５のステップと
   を有することを特徴とする撮影方法。

Images