JP5125619B2 - 車載カメラシステム - Google Patents

Description

本発明は、車載されたカメラで撮影された画像を補正調整する車載カメラシステムに関する。

従来、この種の技術としては、例えば以下に示す文献に記載されたものが知られている（特許文献１参照）。この文献には、車両に設置された車外を撮影する撮影システムであって、カメラにより車外を撮影するとともに、カーナビゲーションシステムから車両の現在の走行環境情報を取得し、その走行環境に応じてカメラの撮影映像を出力する際に通常時よりも明るくまたは暗く出力し、車両の現在の走行環境に応じた適切な映像表示を行う発明が記載されている。

例えばこの撮影システムでは、車両の現在走行する地域が高速道路であると判断した場合には、撮影映像を通常時よりも明るく出力し、車両の現在走行する地域が直線的な郊外路であると判断した場合には、撮影映像を通常時よりも暗く出力する。
特開２００４−１２３０６１

上記従来の車両用の撮影システムにおいては、撮影画像の出力補正は、車両外部の走行環境のみを考慮して行っていた。すなわち、撮影画像の出力補正において、撮影システムを搭載した車両の挙動、例えば走行時か停止時か、走行速度、車両姿勢といった要件は考慮されていなかった。このため、これらの要件に起因した不具合、例えば撮影を指示したときの画像と実際に撮影された画像とが異なってしまうといった不具合を招くおそれがあった。

そこで、本発明は、上記に鑑みてなされたものであり、その目的とするところは、車両挙動を考慮して撮影範囲を補正して、車両挙動の影響を抑えた撮影画像を得る車載カメラシステムを提供することにある。

上記目的を達成するために、本発明の課題を解決する手段は、車両に設置されて、車外を撮影する撮影手段と、前記撮影手段に撮影を指示したときの前記車両の挙動と、前記撮影手段が撮影の指示を受けて実際に撮影したときの前記車両の挙動との車両情報を検出する車両情報検出手段と、前記車両情報検出手段で検出された車両情報に基づいて、前記撮影手段が実際に撮影したときの撮影範囲から前記撮影手段に撮影が指示されたときの撮影範囲を算出して撮影範囲を補正し、補正した撮影範囲の画像を撮影画像とする撮影画像補正手段とを有することを特徴とする。

本発明によれば、車両の挙動に影響されることなく、撮影指示時と実際の撮影時との間の撮影画像の相違を回避して、撮影指示時に撮影した撮影画像に相当する撮影画像を得ることが可能となる。

以下、図面を用いて本発明を実施するための最良の実施例を説明する。

図１は本発明の実施例１に係る車載カメラシステムの構成を示す図である。図１に示す実施例１のシステムは、車両情報検出手段１０１、撮影タイミング入力手段１０２、撮影画像補正手段１０３、撮影手段１０４、撮影画像格納手段１０５ならびに表示手段１０６を備えて構成されている。なお、以下の説明において、撮影手段１０４で実際に撮影される撮影範囲ならびに撮影画像を実撮影範囲ならびに実撮影画像と呼び、実際の撮影範囲よりも狭い予め設定された範囲の撮影範囲ならびにその範囲の撮影画像は、そのまま撮影範囲ならびに撮影画像と呼ぶことにする。

車両情報検出手段１０１は、所定時間毎（例えば１ｍｓｅｃ）毎に車載ＬＡＮを介して少なくとも車速センサ等で検出された自車両の車速と、操舵角センサ等で検出されたステアリング操舵角度を含む車両の挙動の車両情報を検出して取得する。また、車両情報検出手段１０１は、各種センサで運転者の運転操作や車速を検出してブレーキ圧やエンジン出力を自動的にコントロールし車両の安定性を向上させたＶＤＣ（ビーグルダイナミクスコントロール）等の車両制御システムを搭載した車両では、車体の複数軸を有する車両の傾斜角度を車両の挙動の車両情報として検出して取得する。

撮影タイミング入力手段１０２は、プッシュスイッチやデジタルカメラなどに備わる２段階のプッシュスイッチ機構を用い、ステアリング近傍もしくはインストルメントパネル周辺に配置され、運転者もしくは同乗者がスイッチ操作を行うことによって撮影手段１０４に撮影（タイミング）を指示する。撮影タイミング入力手段１０２は、撮影を指示した際に撮影を指示したタイミングを撮影手段１０４を介して撮影画像補正手段１０３に通知する。

撮影画像補正手段は１０３は、撮影タイミング入力手段１０２によって指示された撮影タイミング（ｔ１）時の車両情報（Ｖｓ）、及び撮影手段１０４で実際に撮影が実施された撮影タイミング（ｔ２）の車両情報（Ｖｒ）を車両情報検出手段１０１で取得する。撮影画像補正手段１０３は、取得した車両情報（Ｖｓ）−車両情報（Ｖｒ）の差に基づいて車両の傾きを算出推定し、推定された傾きに基づいて撮影を指示したタイミング（ｔ１）から実際に撮影が行われたタイミング（ｔ２）までの間に変化した撮影範囲を算出する。撮影画像補正手段１０３は、算出した撮影範囲に基づいて撮影画像を補正して補正後の撮影画像を撮影画像格納手段１０５へ記録する。

撮影手段１０４は、例えば車両のサイドミラーやＡピラーなどに固定設置され、車両周辺状況を静止画もしくは動画で撮影することが可能な手段である。撮影手段１０４の撮像素子には、例えばＣＣＤやＣＭＯＳ等を用いてもよい。撮影手段１０４は、操作者があらかじめ撮影範囲を確認するため、実撮影範囲より狭い撮影範囲の画像を表示手段１０６に出力し表示する。撮影手段１０４の操作者は、表示手段１０６に表示された画像を見ながら撮影タイミングを決定する。撮影手段１０４は、撮影タイミング入力手段１０２の撮影指示に基づいて撮影を実施し、撮影された実撮影画像は撮影画像補正手段１０３に与えられる。

撮影画像格納手段１０５は、ハードディスクやフラッシュメモリ等で構成されたデータ記録手段である。撮影画像補正手段１０３を介して実撮影画像、車両情報（Ｖ０，Ｖｓ，Ｖｒ）、補正後の撮影画像を記録する。撮影画像格納手段１０５に記録された情報は表示手段１０６で表示可能な他、ＣＦカードやＳＤカードなどの外部記録媒体に記録し移動可能である。

表示手段１０６は、操作者が撮影タイミングを決定するための、撮影範囲の表示と、撮影された画像を確認するための撮影画像の表示を行う。表示手段１０６は、例えば液晶画面に画像を表示し、例えばカーナビゲーションシステムに用いられている表示手段と共有してもよい。操作者が撮影タイミングを決定する際に表示手段１０６に表示される画像の範囲は、撮影手段１０４が実際に撮影する実撮影範囲よりも狭い予め設定された範囲の撮影範囲がリアルタイムで表示される。

図２は時間軸に沿った撮影の様子を示す図である。図２において、車載カメラシステムを搭載した車両が例えば停車時（ｔ０）から走行を開始して、時間（ｔ１）で撮影が指示された場合に、操作者が撮影タイミングを指示した際に表示手段１０６に表示された画像を例えば符号２０１で示す画像とし、そのときの車両姿勢のイメージを例えば符号２０２で示すイメージとする。その後時間（ｔ２）で実際に撮影が実施され、そのときの車両姿勢が撮影を指示した時間（ｔ１）の車両姿勢に比べて例えば符号２０３に示す車両姿勢のイメージのように傾いていると、撮影手段１０４で実際に撮影された実撮影範囲は符号２０４に示す範囲となり、撮影画像補正手段１０３で算出された撮影範囲は符号２０５で示す範囲となり、表示手段１０６に表示された画像の表示範囲は符号２０６に示すような範囲となる。また、補正後の撮影画像は符号２０７で示すような撮影画像となる。

次に、図３に示すフローチャートを参照して、車載カメラシステムの動作手順を説明する。本フローは車載システムの動作時に一定周期で繰り返し実行される。

図３において、先ず、撮影タイミング入力手段１０２で撮影指示の操作が行われたか否かを判別する（ステップ３０１）。判別の結果、撮影が指示されていない場合には、撮影手段１０４の実撮影範囲よりも狭い範囲の撮影範囲の撮影画像が表示手段１０６に表示され（ステップ３０２）、この表示を見ながら操作者は撮影のタイミングを調整する。

一方、判別の結果、撮影が指示された場合には、撮影画像補正手段１０３は撮影タイミングの通知に基づいて、車両情報検出手段１０１から撮影指示時（ｔ０）の車両情報（Ｖｓ）を取得し、撮影指示時間（ｔ０）と車両情報（Ｖｓ）を記録する（ステップ３０３）。

その後、撮影手段１０４は撮影タイミング入力手段１０２からの撮影指示に基づいて車両周辺を撮影する（ステップ３０４）。撮影された実撮影画像は撮影画像補正手段１０３に与えられる。

また、撮影が実際に行われた際に、撮影手段１０４からの通知に基づいて、撮影画像補正手段１０３は車両情報検出手段１０１から撮影時間（ｔ１）の車両情報（Ｖｒ）を取得し、撮影時間（ｔ１）と車両情報（Ｖｒ）を記録する（ステップ３０５）。

次に、実際に撮影が行われた撮影範囲を推定する（ステップ３０６）。先ず、車両情報ＶｒとＶｓとに基づいて車速、操舵角の変位を算出する。なお、先に触れたように車両情報に車体の傾斜角度の情報が含まれる場合には、予め実験等により用意された傾斜角度と撮影範囲の変位との関係を示すマップや、予めシミュレーション等の机上検討により用意された算出式を用いて、図２の符号２０５で示すような撮影範囲を算出する。

一方、車両情報に傾斜角度が含まれていない場合には、予め実験等により用意された車速、操舵角の変化と車両の傾斜角との関係を示すマップ等に基づいて車両の傾斜角度を推定し、推定された傾斜角度に基づいて上述したと同様に撮影範囲を算出する。

例えば、撮影指示時に対して実際の撮影時における車両が減速した場合には、図４（ａ）、（ｂ）、（ｃ）に示すような車両のＸ軸、Ｙ軸ならびにＺ軸に対して車両はＸ軸を中心に車体前方に沈み込みが発生する。このため、撮影範囲は、図５（ａ）に示すように停車時の基撮影範囲に対して同図（ｂ）に示すように下方側に変位することになる。具体的には、例えば図６に示すように、実撮影範囲６００に対して、この実撮影範囲６００よりも狭い撮影範囲の座標（Ｐ１（ｘ１，ｙ１），Ｐ２（ｘ２，ｙ２），Ｐ３（ｘ３，ｙ３），Ｐ４（ｘ４，ｙ４））は、撮影指示時に対して車両の沈み込みのためＹ軸のマイナス側に変位している。したがって、車両姿勢の変位に対応した補正分（Δ）だけＹ軸の座標値をプラス側に移動させて、撮影範囲の座標を（Ｐ１ｍ（ｘ１，ｙ１＋Δ），Ｐ２ｍ（ｘ２，ｙ２＋Δ），Ｐ３ｍ（ｘ３，ｙ３＋Δ），Ｐ４ｍ（ｘ４，ｙ４＋Δ））に補正する。これにより、補正された撮影範囲に対応した画像を撮影指示時の撮影画像とする。

なお、撮影手段１０４に撮影を指示した時点と、撮影手段１０４が実際に撮影した時点との間の任意の時点の車両の姿勢を、両時点の車両の姿勢から線形補間法等により補間して推定し、推定した車両の姿勢に基づいて、撮影手段１０４に撮影を指示したときと実際に撮影したときとの間の任意の撮影範囲を算出することも可能である。このような補間の手法を採用することで、車両情報が取得されていなくとも、撮影指示時と撮影時との間の任意の時点の撮影範囲を算出推定することが可能となり、撮影範囲を拡げることができる。

また、前記撮影手段に撮影を指示したときの車両の姿勢に代えて、予め用意された車両の停止時の車両の姿勢を用いて撮影範囲を算出するようにしてもよい。この場合には、撮影を指示した地点で車両が停止した状態で撮影した際に相当する撮影範囲を算出することが可能となり、停止して撮影した画像と同等の画像を得ることができる。

撮影範囲を補正した後、補正後の撮影画像、補正後の撮影範囲ならびに車両情報（Ｖｒ、Ｖｓ）を併せて撮影画像格納手段１０５に格納して記録する（ステップ３０７）。記録されたデータは、表示手段１０６で表示可能な他、外部記録メディアなどにＲＡＷデータやＪＰＥＧデータとして保存し利用するようにしてもよい。

以上説明したように、上記実施例においては、撮影指示時と撮影時との車両の姿勢に基づいて撮影範囲を補正することで、撮影指示時と撮影時との間で車両の姿勢が変化して撮影範囲が変位している場合であっても、撮影指示時の撮影範囲を推定することが可能となる。これにより、撮影指示時に撮影した撮影画像に相当する撮影画像を得ることが可能となり、撮影指示時と撮影時との間の撮影画像の相違を回避することができる。

また、撮影範囲、撮影画像、ならびにこれらのデータを得たときの車両情報を併せて撮影画像格納手段１０５に記録保存することで、車両情報を考慮した撮影画像の加工や、前述した補間による撮影範囲の算出等の後処理を容易に行うことができる。さらに加えて、車速が所定速度以上または以下の撮影画像の検索や、車両の傾斜が所定以上または以下の撮影画像の検索等車両の挙動に応じた様々な検索を可能とし、検索の自由度が向上する。

本発明の実施例１に係る車載カメラシステムの構成を示す図である。 撮影指示時と撮影時とにおける車両情報、撮影範囲の様子を示す図である。 本発明の実施例１に係る動作処理の手順を示すフローチャートである。 車両における座標軸を示す図である。 車両挙動と撮影範囲との関係を示す図である。 撮影範囲の補正の一例を示す図である。

符号の説明

１０１…車両情報検出手段
１０２…撮影タイミング入力手段
１０３…撮影画像補正手段
１０４…撮影手段
１０５…撮影画像格納手段
１０６…表示手段

Claims (5)

1. 車両に設置されて、車外を撮影する撮影手段と、
   前記撮影手段に撮影を指示したときの前記車両の挙動と、前記撮影手段が撮影の指示を受けて実際に撮影したときの前記車両の挙動との車両情報を検出する車両情報検出手段と、
   前記車両情報検出手段で検出された車両情報に基づいて、前記撮影手段が実際に撮影したときの撮影範囲から前記撮影手段に撮影が指示されたときの撮影範囲を算出して撮影範囲を補正し、補正した撮影範囲の画像を撮影画像とする撮影画像補正手段と
   を有することを特徴とする車載カメラシステム。
2. 前記撮影画像補正手段は、前記撮影手段に撮影を指示したときの前記車両の挙動と、前記撮影手段が撮影の指示を受けて実際に撮影したときの前記車両の挙動との間の任意の車両の挙動を推定し、推定した車両の挙動に基づいて、前記撮影手段に撮影を指示したときの前記車両の挙動と前記撮影手段が撮影の指示を受けて実際に撮影したときの前記車両の挙動との間の任意の撮影範囲を算出する
   ことを特徴とする請求項１に記載の車載カメラシステム。
3. 前記撮影画像補正手段は、前記車両の停止時の車両の姿勢の情報を有し、前記車両情報検出手段で検出された車両情報に代えて、前記車両の停止時の車両の姿勢の情報を前記撮影手段に撮影を指示したときの車両の姿勢として撮影範囲を算出する
   ことを特徴とする請求項１または２に記載の車載カメラシステム。
4. 前記撮影画像補正手段は、前記車両の車速ならびに操舵角の車両情報に基づいて、前記車両の姿勢の傾斜角を算出し、算出した傾斜角に基づいて撮影範囲を補正する
   ことを特徴とする請求項１〜３のいずれか１項に記載の車載カメラシステム。
5. 撮影画像と、この撮影画像を得た際の車両情報を併せて記録保存する格納手段
   を有することを特徴とする請求項１〜４のいずれか１項に記載の車載カメラシステム。

Images