JP4735339B2 - 映像表示装置 - Google Patents

Description

本発明は、車両走行時に、車両周囲の状況を表示しての障害物等の存在を通知する映像表示装置に関する。

従来より、カメラによって撮像した映像を車載ディスプレイに表示させることによって、他車両や歩行者等の障害物の存在を、運転者に知らせる技術が知られている。この種の技術においては、運転者がディスプレイを見て、映像内から障害物や接近車両、二輪車、歩行者等を探す必要があり、前景視認等の運転に不可欠な視覚行動を秒単位で中断しなければならないのが一般的である。

この視覚探索の負荷を低減するため、下記の特許文献１，２に記載されているように、映像の距離感を補完したり、下記の特許文献３に記載されているように、映像内において注目すべき対象を強調する技術がある。
特開２００５−４５３３８号公報 特開平３−５４３号公報 特開２００５−１８４５２３号公報

しかしながら、上述した特許文献１に記載された技術は、ステレオカメラで車両周囲を撮像してステレオディスプレイに表示することによって、映像の奥行感を補完するが、専用ハードウエアを必要とするという問題がある。また、運転者にとっては映像全体において障害物の有無を確認する必要がある。

また、特許文献２は、撮像した映像のフレームを間引いて表示することによって、距離の遠近による運動の見え方の違いを強調して映像の奥行感を補完するが、映像がぎくしゃくとした運動となり不自然で煩わしい表示となってしまい、さらには、運転者にとっては映像全体において障害物の有無を確認する必要がある。

更に、特許文献３は、映像の中の重要な部分をマーク、枠、点滅等の手段によって強調表示するが、対象認識の複雑な処理を必要とし、マーク、枠、点滅ともに強調された像の視認性を低下させるものであり、煩わしい表示となる。

このように、従来の技術においては、共通して、映像中心に対する視野周辺部に動画が表示されることから生じる視線誘引の可能性、煩わしさに対する対策がとられていない。

そこで、本発明は、上述した実情に鑑みて提案されたものであり、映像を視認する運転者の視覚的な負荷を低減することができる映像表示装置を提供することを目的とする。

本発明に係る映像表示装置は、カメラによって撮像した自車両の周囲を表す映像を表示手段に表示する映像表示装置において、上述の課題を解決するために、自車両の車速を入力して、当該自車両の車速によって、カメラで撮像した映像データに、画素値の時間的な変化である時間周波数が高い変化成分を取り除くフィルタリング処理を行い、当該フィルタリング処理を施した映像データを表示手段に表示することを特徴とする。

また、本発明を適用した映像表示装置は、自車両の進行方向と平行した方向を撮像方向としたカメラと、カメラで撮像した映像データに、画素値の時間的な変化である時間周波数が高い変化成分を取り除くフィルタリング処理を行う時間周波数フィルタリング処理手段と、時間周波数フィルタリング処理手段で行うフィルタリング処理のカットオフ周波数を、カメラで撮像した映像データの画素ごとに設定するカットオフ周波数設定手段と、カットオフ周波数設定手段で設定されたカットオフ周波数に従ってフィルタリング処理がされた映像を表示する表示手段とを備えることを特徴とする。

本発明に係る映像表示装置によれば、自車両の車速に応じてカメラで撮像した映像データに、画素値の時間的な変化である時間周波数が高い変化成分を取り除くフィルタリング処理を行うので、運転に対する視覚的な負荷が高い場合と低い場合とで異なるフィルタリング処理を行って、映像を視認する運転者の視覚的な負荷を低減することができる。

以下、本発明の実施の形態について図面を参照して説明する。

本発明は、例えば図１に示すように構成された映像表示システムにおける映像処理装置１に適用される。

この映像表示システムは、例えば自車両の後側方の状況を広角カメラ２で撮像し、映像処理装置１によって、当該撮像した映像に時間周波数フィルタリング（ローパス・フィルタリング）処理を施し、その結果を車室前方に設置された車載ディスプレイ３に表示して、後側方の状況を視認させるものである。

広角カメラ２は、自車両の真後ろを撮像方向とするように車体後部に設置されている。この広角カメラ２によって撮像された映像は、映像処理装置１のフレームバッファ１１に送られて保持される。

映像処理装置１は、フレームバッファ１１，時間周波数フィルタリング処理部１２，処理制御部１３とを有する。

フレームバッファ１１は、広角カメラ２から送信された映像データをフレーム単位で記憶する。フレームバッファ１１は、広角カメラ２がアナログ方式の映像信号を送信するものである場合には、Ａ／Ｄ変換されたディジタル方式の映像データを記憶し、広角カメラ２がディジタル方式の映像データを送信するものである場合には、そのままの映像データを記憶する。フレームバッファ１１は、例えば６５フレーム分の映像を記憶する容量を有し、新しい映像データを受信する度に最も古い映像データを消去して、常に最新の６４フレームの映像データを保持し、残りの１フレーム分を車載ディスプレイ３への出力用とする。

また、フレームバッファ１１は、広角カメラ２からの入力側のバッファのみならず、時間周波数フィルタリング処理部１２及び処理制御部１３で処理された表示用の映像データも記憶するものであってもよい。

時間周波数フィルタリング処理部１２は、フレームバッファ１１の記憶領域に対応する番地（アドレス）にある画素値を読み出し、画素毎にフィルタリング処理計算を行う。このとき、時間周波数フィルタリング処理部１２は、カットオフ周波数設定手段である処理制御部１３の制御に従って、映像データにフィルタリング処理を施し、フレームバッファ１１に処理結果である表示用の映像データを書き込む。表示用の映像データがフレームバッファ１１に書き込まれると、フレームバッファ１１は、当該表示用の映像データを車載ディスプレイ３に出力する。なお、車載ディスプレイ３がアナログ方式の映像データを表示するものである場合、フレームバッファ１１は、ディジタル方式の映像データをＤ／Ａ変換して車載ディスプレイ３に出力する。

処理制御部１３によって現在の車速が高いと判定された場合、時間周波数フィルタリング処理部１２は、映像データに含まれる画素値の時間的な変化である時間周波数の高時間周波数成分を取り除いた低時間周波数成分のみからなる表示用の映像データを作成するフィルタリング処理を行う。一方、処理制御部１３によって現在の車速が低い又は停車状態であると判定された場合、時間周波数フィルタリング処理部１２は、映像データに含まれる高時間周波数成分を取り除かずに高時間周波数成分を含む表示用の映像データを作成する。

処理制御部１３は、図示しない車速センサ等から車速信号を入力し、現在の車速と映像の中心からの距離（映像内における離心角）に基づいて、画素のアドレス毎にローパスフィルタリング処理のカットオフ周波数を算出し、時間周波数フィルタリング処理部１２の動作を制御する。処理制御部１３は、自車両の低速走行時には、図２に示すように、高い時間周波数を含むようなカットオフ周波数を設定する。これによって、時間の経過に伴って速い画素値変化を示す画素を多く含む映像データを作成する。また、処理制御部１３は、自車両の高速走行時には、図２に示すように、低速走行時よりも高い時間周波数を含まない低い時間周波数の変化成分を多く含む映像データを作成する。この高速走行時において、処理制御部１３は、映像内の略中心であって運転者の離心角中心付近における映像のカットオフ周波数を低くし、映像の端部に向かうほど離心角中心付近におけるカットオフ周波数よりも高い時間周波数の変化成分を含むようなカットオフ周波数でフィルタリング処理を行う。

この処理制御部１３が算出するカットオフ周波数Ｆｃは、
Ｆｃ＝1＋5×sin｜θ｜×V×0.025＋0.375×（40−V）（ただしV＜40（低速時）） （式１）
Ｆｃ＝1＋5×sin｜θ｜（ただしV＞＝40（高速時）） （式２）
で計算される。ここで、上記式１，式２において、θは映像内における進行方向軸からの離心角、Ｖは車速（ｋｍ／ｈ）である。なお、式１，式２は、サイン関数を用いた関数であるが、当該サイン関数に類似した波形を有する関数で表現されたものであっても良い。この式１，式２より、処理制御部１３は、車速が所定値の４０ｋｍ／ｈよりも低い低速時には、式１によってカットオフ周波数Ｆｃを設定し、車速が所定値の４０ｋｍ／ｈ以上である高速時には、式２によってカットオフ周波数Ｆｃを設定する。

また、高速走行時（４０ｋｍ／ｈ以上）では、離心角θが大きい映像領域の画素ほど、式２におけるサイン関数（ｓｉｎ｜θ｜）が大きくなることによりカットオフ周波数Ｆｃが高く設定されてフィルタリング処理がなされることにより、処理後の映像に含まれる周波数帯域が広がる。このように、離心角θによって画素毎の時間周波数帯域が変化するが、映像全体においては主に低時間周波数帯域の情報を表示させることになる。

低速走行時（４０ ｋｍ／ｈ未満）では、式１に示すように、式２のカットオフ周波数Ｆｃに対して、V×0.025＋0.375×（40−V）という数式が加えられることによって、カットオフ周波数Ｆｃが引き上げられ、低時間周波数帯域の映像に加えて、中・高時間周波数帯域までの情報を表示させることになる。

なお、本例では、式１，式２によって離心角θに応じたカットオフ周波数Ｆｃを設定した場合を説明したが、離心角θとカットオフ周波数Ｆｃとの関係を示した参照テーブルを低速走行時用と高速走行時用との２つ用意しておいて、当該参照テーブルを参照してカットオフ周波数Ｆｃを設定してもよい。

このように処理制御部１３によってカットオフ周波数Ｆｃを決定して、時間周波数フィルタリング処理部１２によって映像データの各画素についてフィルタリング処理を施すことにより、高速走行時には、図３に示すように、高時間周波数成分を除いたぼやけた映像であって、背後の後続車と道路環境レイアウトを表す映像のみを表示させることができる。また、停車又は低速走行時には、図４に示すように、高時間周波数成分を含む比較的明確な映像であって、背後の後続車と道路環境自車両に対し相対速度が大きい歩行者などを含む広帯域の映像を表示させることができる。

その結果、高速走行時では、ぼやけた背景上に自車両に危険を及ぼす可能性のある後続車の道路上での配置や挙動を一目で把握させることができる。また、低速走行時では、肉眼で見るのとほぼ同様の映像を車体による死角なしに把握させることができる。したがって、本発明を適用した映像表示システムによれば、高速走行時に背後の道路を横切る歩行者など、自車両の進行方向に直交した運動をする対象は表示されないが、背後であるために確認が不要な映像を除いて、走行に必要な情報を提示できる。また、低速で後退する場合は、速度条件から表示される時間周波数帯域を広げることができるため、歩行者を明確に表示させることができる。

以上説明したように、本発明を適用した映像表示システムによれば、広角カメラ２で撮像した映像に対して時間周波数フィルタリングを行うことによって視覚情報の取捨選択を行い、選択した時間周波数帯域のみからなる映像を表示するので、必要な情報取得のための視線の迷走を最低限に抑えることができ、また、例えばインストルメントパネル中央など視野周辺部に車載ディスプレイ３が設けられている場合であっても、高速走行時に余分な視線誘導をさせずに煩わしくない表示をすることができる。また、既存の広角カメラ２及び車載ディスプレイ３が使用可能であると共に、簡単な処理でフィルタリング処理を行うことができ、専用の部品を追加することなく実現できる。

例えば自車両の後側方の映像を提示する場合、低時間周波数帯域を選択するようにフィルタリング処理を行うことにより、道路等の環境レイアウト、後続車とその挙動のみを表示させることができ、その結果、運転者にとって一目で必要な情報を視認させることができる。なお、時間周波数フィルタリング処理部１２における時間周波数フィルタリングは、単純計算であり、目的に応じてフィルタリング変数を画素毎に変更するだけで、対象認識など複雑で精度が不安定な処理を必要としないという利点もある。

また、この映像表示システムによれば、映像内の自車両の進行方向中心からの離心角が大きいほど、フィルタリング処理のカットオフ周波数を高く設定するので、離心角の差違にのみ起因する時間周波数領域における分布の差違によって、必要な情報が映像から削除されることを抑制できる。例えば、自車両と並走車との相対速度が変化した時、自車両に対する並走車の位置によって同じ変化であっても、並走車の像が分布する時間周波数帯域が変化するからである。

更に、この映像表示システムによれば、広角カメラ２で撮像された映像内の自車両の進行方向中心からの離心角が大きいほど、フィルタリング処理のカットオフ周波数を高く設定する計算式として、式１や式２に示したようにサイン関数又は当該サイン関数に類似した波形を有する関数を使用するので、簡単な処理によって上述の効果を発揮させることができる。

更にまた、この映像表示システムによれば、広角カメラ２で撮像された映像内の自車両の進行方向中心からの離心角が大きくなるほどカットオフ周波数を高くする度合いを、低速走行時よりも高速走行時を高くするので、低速走行時における映像を正確に提示すると共に高速走行時における視線の迷走を抑制できる。

更にまた、この映像表示システムによれば、自車両の後側方や前方を撮像方向とした広角カメラ２によって撮像された映像に車速に応じたフィルタリング処理を施して提示するので、それぞれの撮像方向において必要な情報を含むようにフィルタリング処理を行うことができる。

なお、上述の実施の形態は本発明の一例である。このため、本発明は、上述の実施形態に限定されることはなく、この実施の形態以外であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論である。

すなわち、上述した実施の形態では、後側方の映像を表示させた例について説明したが、前方映像であっても、自動車専用道路など歩行者の存在を想定する必要性がない状況では、後側方の場合と同様のフィルタリング処理を行うことにより、上述と同様の効果を得ることができる。また、歩行者検知などの技術と併用することによって、歩行者がいる可能性の高い映像の部分を、時間周波数フィルタリング処理の対象から除くことによって、スポットライトに類似した誘目性を高める効果を利用し、一般道における前方映像に対しても応用可能である。

本発明を適用した映像処理装置を含む映像表示システムの構成を示すブロック図である。 フィルタリング処理における離心角とカットオフ周波数との関係を示す図である。 フィルタリング処理を施すことによって生成された高速走行時に提示する映像を示す図である。 フィルタリング処理を施すことによって生成された停車又は低速走行時に提示する映像を示す図である。

符号の説明

１ 映像処理装置
２ 広角カメラ
３ 車載ディスプレイ
１１ フレームバッファ
１２ 時間周波数フィルタリング処理部
１３ 処理制御部

Claims (9)

1. カメラによって撮像した自車両の周囲を表す映像を表示手段に表示する映像表示装置において、
   自車両の車速を入力して、当該自車両の車速によって、前記カメラで撮像した映像データに、画素値の時間的な変化である時間周波数が高い変化成分を取り除くフィルタリング処理を行い、当該フィルタリング処理を施した映像データを前記表示手段に表示することを特徴とする映像表示装置。
2. 前記映像内の自車両の進行方向中心からの離心角が大きいほど、前記フィルタリング処理のカットオフ周波数を高く設定することを特徴とする請求項１に記載の映像表示装置。
3. 前記フィルタリング処理のカットオフ周波数を、自車両の停車又は低速走行時には高く設定し、自車両の高速走行時には低く設定することを特徴とする請求項１に記載の映像表示装置。
4. 自車両の進行方向と平行した方向を撮像方向としたカメラと、
   前記カメラで撮像した映像データに、画素値の時間的な変化である時間周波数が高い変化成分を取り除くフィルタリング処理を行う時間周波数フィルタリング処理手段と、
   前記時間周波数フィルタリング処理手段で行うフィルタリング処理のカットオフ周波数を、前記カメラで撮像した映像データの画素ごとに設定するカットオフ周波数設定手段と、
   前記カットオフ周波数設定手段で設定されたカットオフ周波数に従ってフィルタリング処理がされた映像を表示する表示手段と
   を備えることを特徴とする映像表示装置。
5. 前記カットオフ周波数設定手段は、前記カメラで撮像された映像内の自車両の進行方向中心からの離心角が大きいほど、前記フィルタリング処理のカットオフ周波数を高く設定することを特徴とする請求項４に記載の映像表示装置。
6. 前記カットオフ周波数設定手段は、前記カメラで撮像された映像内の自車両の進行方向中心からの離心角が大きいほど、前記フィルタリング処理のカットオフ周波数を高く設定する計算式として、サイン関数又は当該サイン関数に類似した波形を有する関数を用いることを特徴とする請求項５に記載の映像表示装置。
7. 前記カットオフ周波数設定手段は、前記カメラで撮像された映像内の自車両の進行方向中心からの離心角が大きくなるほどカットオフ周波数を高くする度合いを、自車両の低速走行時よりも自車両の高速走行時を高くすることを特徴とする請求項２、請求項５又は請求項６の何れか一項に記載の映像表示装置。
8. 前記カメラは、自車両の後側方を撮像方向とし、
   前記カットオフ周波数設定手段は、当該後側方を撮像した場合に提示する必要の低い情報を取り除くカットオフ周波数に時間周波数を設定することを特徴とする請求項１乃至請求項７の何れか一項に記載の映像表示装置。
9. 前記カメラは、自車両の前方を撮像方向とし、
   前記カットオフ周波数設定手段は、前記前方を撮像した場合に提示する必要の低い情報を取り除くカットオフ周波数に時間周波数を設定することを特徴とする請求項１乃至請求項７の何れか一項に記載の映像表示装置。