JP4581294B2

JP4581294B2 - Vehicle display device

Info

Publication number: JP4581294B2
Application number: JP2001171444A
Authority: JP
Inventors: 浩斎藤
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 2001-06-06
Filing date: 2001-06-06
Publication date: 2010-11-17
Anticipated expiration: 2021-06-06
Also published as: JP2002369185A

Description

【０００１】
【発明の属する技術分野】
本発明は、車両に搭載されたカメラ装置により車両周囲を撮像して運転者から死角となる領域を表示する車両用表示装置に関する。
【０００２】
【従来の技術】
従来より、自車両が走行しているときにおいて、自車両に搭載されたカメラ装置により車両周囲を撮像して映像データを生成し、生成した映像データのうち、運転者から死角となる領域を表示する車両用表示装置が知られている。
【０００３】
従来の車両用表示装置としては、例えば特開平２００１−１０４３２号公報や、特開平２０００−２２９５４７号公報に開示されているように、自車両に搭載されたカメラ装置により生成した映像データを、カメラ装置の視点とは異なる視点から見た映像に座標変換して、運転者にとっての死角領域を見やすくして提示することが提案されている。
【０００４】
【発明が解決しようとする課題】
従来の車両用表示装置では、自車両を真上から見下ろす視点に変換して座標変換をし、座標変換をした映像データに自車両を示すアイコン状の自車両図形画像を描画して表示しているが、車両周囲と自車両との位置関係を運転者が把握しやすいように、実際の車両サイズに応じた大きさで自車両図形画像を描画することが望ましい。
【０００５】
しかし、車両周囲に対して自車両図形画像を実際の車両サイズに応じた大きさで描画すると、図１３に示すように、自車両画像１０１が自車両図形画像１０２よりも大きくなり、自車両画像１０１が自車両図形画像１０２からはみ出してしまうという問題が発生する。
【０００６】
これは、図１４及び図１５に示すように車体１１１とタイヤ１１２とからなる車両の後方にカメラ装置１１３Ａ、１１３Ｂを搭載した場合に、カメラ装置１１３Ａ、１１３Ｂで路面１１４を撮像すると、図１４の背面図に示すように車両の左右方向ではカメラ装置の撮像点Ａが路面１１４上の点Ａ’に投影され、図１５の側面図に示すように車両の後方ではカメラ装置の撮像点Ｂが路面１１４の点Ｂ’に投影されることによる。
【０００７】
この状態で撮像した映像データを座標変換すると、車両の左右方向ではδ１だけ大きく車両サイズが変換され、車両の後方ではδ２だけ大きく車両サイズが変換されることにより、図１３に示すように自車両が拡大した画像に変換されてしまう。
【０００８】
これに対し、変換することで拡大された車両を隠蔽して表示するように、車両図形画像を実際の車両サイズよりも大きくすると、車両に側近の溝や障害物などが車両図形画像により隠蔽されてしまうために、表示した内容と実際の車両周囲とが異なる結果となってしまう。
【０００９】
そこで、本発明は、上述した実情に鑑みて提案されたものであり、撮像した映像のうちカメラ装置にとって死角となる領域を画像で表示することができる車両用表示装置を提供するものである。
【００１０】
【課題を解決するための手段】
請求項１に係る発明では、車両に搭載され、車両周囲を第１視点で撮像した映像データを生成する１又は複数の撮像手段と、上記撮像手段で撮像して生成した映像データを上記第１視点とは異なる第２視点から見た映像データに変換する映像データ変換手段と、上記映像データ変換手段により変換された映像データに自車両を示す自車両画像を描画すると共に、上記第１視点から路面を見たときに自車両によって遮蔽される路面部分の少なくとも一部を表す路面遮蔽領域を路面遮蔽画像として描画する描画手段と、上記描画手段で描画された映像データを表示する表示手段とを備えることで上述の課題を解決する。
【００１１】
請求項２に係る発明では、上記描画手段は、上記自車両画像を上記車両の大きさに応じて描画する。
【００１２】
請求項３に係る発明では、上記撮像手段で撮像して生成した映像データの輝度情報を検出して映像の明るさを判定する判定手段を更に備え、上記描画手段は、上記判定手段での判定結果に基づいて、上記自車両画像及び路面遮蔽画像の明るさを調整して描画する。
【００１３】
請求項４に係る発明では、上記描画手段は、上記判定手段により車両周囲の映像の明るさが所定の明るさよりも明るいと判定された場合には、路面遮蔽画像を車両周囲の映像よりも暗く描画し、自車両画像を路面遮蔽画像よりも明るく描画し、上記判定手段により車両周囲の映像の明るさが所定の明るさよりも暗いと判定された場合には、路面遮蔽画像を車両周囲の映像よりも明るく描画し、自車両画像を路面遮蔽画像よりも暗く描画する。
【００１４】
請求項５に係る発明では、車両に搭載されたライトの状態を検出するライト状態検出手段を更に備え、上記描画手段は、上記ライト状態検出手段での検出結果に基づいて、上記自車両画像及び路面遮蔽画像の明るさを調整して描画する。
【００１５】
請求項６に係る発明では、上記描画手段は、上記ライト状態検出手段でライトがオン状態であると検出された場合には、路面遮蔽画像を車両周囲の映像より明るく描画し、自車両画像を路面遮蔽画像よりも暗く描画し、上記ライト状態検出手段でライトがオフ状態であると検出された場合には、路面遮蔽画像を車両周囲の映像より暗く描画し、自車両画像を路面遮蔽画像よりも明るく描画する。
【００１６】
【発明の効果】
請求項１に係る発明によれば、撮像手段で撮像して生成した映像データを第１視点とは異なる第２視点から見た映像データに変換し、変換された映像データに自車両を示す自車両画像を描画すると共に、第１視点から路面を見たときに自車両によって遮蔽される路面部分の少なくとも一部を表す路面遮蔽領域を路面遮蔽画像として描画するので、撮像した映像のうち死角となる領域を正確に画像で表示することができる。したがって、この請求項１に係る発明によれば、映像データの変換や撮像手段から死角となる領域を車両運転者に提示して、直視やミラーによる間接視によって注意を払う必要があることを喚起することができる。
【００１７】
請求項２に係る発明によれば、描画手段により自車両画像を車両の大きさに応じて描画するので、請求項１に係る発明の効果に加えて、車両運転者にとって自車両と周囲との相対関係を把握しやすくして表示することができる。
【００１８】
請求項３に係る発明によれば、映像の明るさを判定する判定手段での判定結果に基づいて、自車両画像及び路面遮蔽画像の明るさを調整して描画するので、外部環境の明るさによらず、車両運転者から識別しやすいコントラストで路面遮蔽画像及び自車両画像を描画することができ、運転者にとって認識しやすい表示画面を提示することができる。
【００１９】
請求項４に係る発明によれば、車両周囲の映像の明るさが所定の明るさよりも明るいと判定された場合には自車両画像を路面遮蔽画像よりも明るく描画し、車両周囲の映像の明るさが所定の明るさよりも暗いと判定された場合には、自車両画像を路面遮蔽画像よりも暗く描画するので、外部環境の明るさによらず、車両運転者から識別しやすいコントラストで路面遮蔽画像及び自車両画像を描画することができ、運転者にとって認識しやすい表示画面を提示することを実現することができる。
【００２０】
請求項５に係る発明によれば、車両に搭載されたライトの状態を検出するライト状態検出手段での検出結果に基づいて、自車両画像及び路面遮蔽画像の明るさを調整して描画するので、簡単な構成で、外部環境の明るさによらず、車両運転者から識別しやすいコントラストで路面遮蔽画像及び自車両画像を描画することができ、車両運転者にとって認識しやすい表示画面を提示することができる。
【００２１】
請求項６に係る発明によれば、ライトがオン状態であると検出された場合には、自車両画像を路面遮蔽画像よりも暗く描画し、ライトがオフ状態であると検出された場合には、自車両画像を路面遮蔽画像よりも明るく描画するので、簡単な構成で、外部環境の明るさによらず、車両運転者から識別しやすいコントラストで路面遮蔽画像及び自車両画像を描画することができ、車両運転者にとって認識しやすい表示画面を提示することを実現することができる。
【００２２】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して説明する。
【００２３】
本発明は、例えば図１に示すように構成された第１実施形態に係る車両用表示装置に適用される。
【００２４】
［第１実施形態に係る車両用表示装置］
『第１実施形態に係る車両用表示装置の構成』
図１に、第１実施形態に係る車両用表示装置の構成を示すブロック図を示す。この車両用表示装置は、車体の後端における左右に設けられるカメラ装置１Ａ、１Ｂ（以下、総称するときには単に「カメラ装置１」と呼ぶ。）と、車両内部に設けられる画像変換合成部２、路面遮蔽領域描画部３、車両図形描画部４と、車両運転者から視認可能な位置に設けられた表示部５と、車両操作に応じて動作する起動・解除部６とを備えて構成されている。
【００２５】
カメラ装置１Ａ、１Ｂは、車両後方端における左右に設けられ、車両用表示装置が起動することに応じて車両後方における周囲を撮像し、撮像して得た映像データを画像変換合成部２に出力する。
【００２６】
画像変換合成部２は、カメラ装置１Ａ、１Ｂからの各映像データを入力し、入力した各映像データに座標変換処理（透視変換）をすることでカメラ装置１で撮像した視点とは異なる視点の座標変換映像データにする。これにより、画像変換合成部２は、車両の真上から見るような視点の座標変換映像データを得る。
【００２７】
また、この画像変換合成部２は、座標変換した各座標変換映像データを表示部５において一画面に表示するように合成処理をして、一つの合成映像データにする。画像変換合成部２は、合成して得た合成映像データを路面遮蔽領域描画部３に出力する。
【００２８】
路面遮蔽領域描画部３は、画像変換合成部２からの合成映像データに、画像変換合成部２による座標変換処理によって発生した車両映像の変形により生じる路面遮蔽領域に遮蔽領域画像を貼り付けるようにして描画する合成映像データを生成して、車両図形描画部４に出力する。なお、この路面遮蔽領域描画部３により合成映像データに貼り付けられる遮蔽領域画像は、例えば路面遮蔽領域描画部３内に設けられたメモリ領域に予め格納しておき、路面遮蔽領域描画部３により読み出されることで合成映像データに貼り付けられる。
【００２９】
車両図形描画部４は、路面遮蔽領域描画部３からの合成映像データに、車体の形状や視点位置に従って貼り付け位置を決定して、自車両を示す自車両図形画像を貼り付けるようにして描画する合成映像データを生成して、表示部５に出力する。なお、この車両図形描画部４により合成映像データに貼り付けられる自車両図形画像は、例えば車両図形描画部４内に設けられたメモリ領域に予め格納されて、車両図形描画部４により読み出されることで合成映像データに貼り付けられる。
【００３０】
表示部５は、運転者に各種映像を提示する表示モニタを備え、車両図形描画部４からの合成映像データを表示する。
【００３１】
起動・解除部６は、外部から運転者が車両を操作する操作入力信号が入力され、車両用表示装置を起動させることで、カメラ装置１により映像データを取り込んで表示部５に合成映像データを表示させ、また、車両用表示装置による合成映像データの表示を解除する。この起動・解除部６には、車両をバック運転するために、シフトレバー（ギア）をリバースに入れたことによる操作入力信号が入力される。
【００３２】
『第１実施形態に係る車両用表示装置の車両周囲表示処理』
図２に、上述の車両用表示装置による車両周囲表示処理の処理手順を示す。
【００３３】
この車両用表示装置は、先ず、ステップＳ１において、例えば車両が駐車動作を行うに際して、運転者によりギア（シフトレバー）がリバースに操作されることにより、起動・解除部６に操作入力信号が入力され、車両用表示装置を起動してステップＳ２に処理を進める。
【００３４】
ステップＳ２において、カメラ装置１Ａ、１Ｂにより車両後方の映像データを撮像することで、２枚の映像データＩ_１（ｘ，ｙ）、Ｉ_２（ｘ，ｙ）を取得して画像変換合成部２に出力し、次のステップＳ３において画像変換合成部２内のメモリに一時的に映像データＩ_１（ｘ，ｙ）、映像データＩ_２（ｘ，ｙ）を記憶して、次のステップＳ４に処理を進める。
【００３５】
ステップＳ４においては、ステップＳ２においてカメラ装置１Ａ、１Ｂで撮像した時の視点とは異なる、自車両を真上から見下ろしたような視点から見た映像データとする座標変換処理を画像変換合成部２により行って２枚の座標変換映像データを生成し、次いで、各座標変換映像データを合成処理することで一枚の合成映像データＴ（ｘ，ｙ）とする。なお、このステップＳ４における座標変換処理、合成処理の処理内容については後述する。
【００３６】
次のステップＳ５において、路面遮蔽領域描画部３によりカメラ装置１Ａ、１Ｂの取り付け位置、画像変換合成部２により変換した後の合成映像データＴ（ｘ，ｙ）の視点位置及び車体形状に基づいて路面遮蔽領域の位置を決定する。このステップＳ５では、路面遮蔽領域の位置を合成映像データＴ（ｘ，ｙ）の絵柄に基づいて計算して求めても良く、予め座標変換映像データを作成し、変形した車体端を包含する領域を手作業により抽出してテンプレートとして保持しておいて合成映像データＴ（ｘ，ｙ）に合成しても良い。
【００３７】
次に、ステップＳ４により発生した車体により路面を遮蔽する領域である路面遮蔽領域に遮蔽領域画像を貼り付けるように描画する合成映像データＴ（ｘ，ｙ）とする。このとき、路面遮蔽領域描画部３により内部のメモリに遮蔽領域画像として所定のテクスチャを格納しておき、合成映像データＴ（ｘ，ｙ）の所定位置に貼り付ける。
【００３８】
これにより、図３に示すように、右側後方映像１１Ａ、左側後方映像１１Ｂ、路面遮蔽画像１２からなる合成映像データＴ（ｘ，ｙ）を作成して、ステップＳ６に処理を進める。図３に示す一例では、車両図形描画部４により矩形状の路面遮蔽画像１２を所定のテクスチャとして格納している場合を示している。
【００３９】
ステップＳ６において、車両図形描画部４により、画像変換合成部２により変換した視点位置及び車体形状に基づいて自車両図形画像についての貼り付け位置、貼り付けサイズを決定し、路面遮蔽領域描画部３からの合成映像データＴ（ｘ，ｙ）に対し、自車両図形画像を貼り付ける処理をしてステップＳ７に処理を進める。このとき、車両図形描画部４により予めメモリに格納したテンプレートを自車両図形画像として用意しておく。
【００４０】
これにより、図４に示すように、右側後方映像１１Ａ、左側後方映像１１Ｂ、路面遮蔽画像１２上に貼り付けられた自車両図形画像１３からなる合成映像データＴ（ｘ，ｙ）を作成して表示部５に出力して、ステップＳ７に処理を進める。ここで、図４に示す一例では、予めメモリに矩形状の自車両図形画像１３を格納している場合を示している。
【００４１】
ステップＳ７において、車両図形描画部４から出力された合成映像データＴ（ｘ，ｙ）を表示モニタに表示するように表示部５により表示処理をしてステップＳ８に処理を進める。
【００４２】
ステップＳ８において、起動・解除部６により、シフトレバー（ギア）がリバース位置以外となっているか否かの判定をする。起動・解除部６によりリバース位置以外となっていると判定したときにはステップＳ９に処理を進め、リバース位置以外となっていないと判定したときにはステップＳ６で生成した合成映像データＴ（ｘ，ｙ）に従って表示部５により表示する処理を継続すると共にステップＳ２に処理を戻してステップＳ２以降の処理を繰り返して行う。
【００４３】
ステップＳ９において、起動・解除部６により、表示部５による合成映像データＴ（ｘ，ｙ）を表示する処理を解除して処理を終了する。
【００４４】
つぎに、上述のステップＳ４における座標変換処理について説明する。
【００４５】
路面遮蔽領域描画部３の座標変換処理により自車両を真上から見下ろした映像データに変換するには、カメラ装置１Ａ、カメラ装置１Ｂの幾何学的配置である配設位置、光学的な情報であるレンズ画角、焦点位置に基づいて、カメラ装置１Ａ、１Ｂで撮像して得た各映像データを構成する画素データの座標を変換する演算をする。
【００４６】
本例におけるステップＳ４では、演算量の削減を図り、予め各画素データの座標を変換するための座標変換マップを作成して画像変換合成部２に格納しておき、画像変換合成部２に各映像データが入力されると座標変換マップを読み出して参照することで各映像データの座標変換をする。
【００４７】
この座標変換マップは、上述のカメラ装置１の配設位置及び光学的な情報に基づいて、カメラ装置１Ａ、カメラ装置１Ｂにより生成された映像データの各画素の座標位置と、変換先の座標位置とが対応づけられて構成されている。
【００４８】
座標変換マップＭ（ｘ、ｙ）は、カメラ装置１Ａにより生成された映像データＩ_１（ｘ，ｙ）を構成する各画素のｘ座標を変換するための第１ｘ座標変換マップＭ_ｘ１（ｘ、ｙ）、カメラ装置１Ａにより生成された映像データＩ_１（ｘ，ｙ）を構成する各画素のｙ座標を変換するための第１ｙ座標変換マップＭ_ｙ１（ｘ、ｙ）、カメラ装置１Ｂにより生成された映像データＩ_２（ｘ，ｙ）を構成する各画素のｘ座標を変換するための第２ｘ座標変換マップＭ_ｘ２（ｘ、ｙ）、カメラ装置１Ｂにより生成された映像データＩ_２（ｘ，ｙ）を構成する各画素のｙ座標を変換するための第２ｙ座標変換マップＭ_ｙ２（ｘ、ｙ）からなる。
【００４９】
図５に、路面遮蔽領域描画部３により座標変換マップを使用して座標変換処理を行うときの処理手順を示す。
【００５０】
図５によれば、先ず、ステップＳ１１において、映像データＩ_１（ｘ，ｙ）及び映像データＩ_２（ｘ，ｙ）の画面左上、すなわち映像データＩ_１（ｘ，ｙ）、映像データＩ_２（ｘ，ｙ）のぞれぞれについてｘ座標値が「０」、ｙ座標値が「０」の画素からラスタ方向にスキャンを開始して、ステップＳ１２に処理を進める。
【００５１】
ステップＳ１２において、映像データＩ_１（ｘ，ｙ）におけるｘ座標値、ｙ座標値における画素値、映像データＩ_２（ｘ，ｙ）におけるｘ座標値、ｙ座標値における画素値を取得してステップＳ１３に処理を進める。
【００５２】
具体的には、ステップＳ１２では、図６（ａ）に示すように、映像データＩ_１（ｘ，ｙ）のある画素Ｉ_１（ｉ，ｊ）における画素値ａ、映像データＩ_２（ｘ，ｙ）のある画素Ｉ_２（ｋ，ｌ）における画素値ｂを得る。
【００５３】
ステップＳ１３において、座標変換マップＭ（ｘ、ｙ）を参照して、ステップＳ１２で取得した映像データＩ_１（ｘ，ｙ）を構成する画素のｘ座標値、ｙ座標値に対する座標変換後の合成映像データＴ（ｘ，ｙ）のｘ座標値、ｙ座標値を得て、ステップＳ１４に処理を進める。
【００５４】
具体的には、図６（ｂ）に示すように、第１ｘ座標変換マップＭ_ｘ１（ｘ、ｙ）を参照して変換前の画素Ｉ_１（ｉ，ｊ）に対する変換後のｘ座標値ｐ（Ｍ_ｘ１（ｉ，ｊ）＝ｐ）、第１ｙ座標変換マップＭ_ｙ１（ｘ、ｙ）を参照して変換前の画素Ｉ_１（ｉ，ｊ）に対する変換後のｙ座標値ｑ（Ｍ_ｙ１（ｉ，ｊ）＝ｑ）を得る。更に、第２ｘ座標変換マップＭ_ｘ２（ｘ、ｙ）を参照して変換前の画素Ｉ_２（ｋ，ｌ）に対する変換後のｘ座標値ｒ（Ｍ_ｘ２（ｋ，ｌ）＝ｒ）、第２ｙ座標変換マップＭ_ｙ２（ｘ、ｙ）を参照して変換前の画素Ｉ_２（ｋ，ｌ）に対する変換後のｙ座標値ｓ（Ｍ_ｙ２（ｋ，ｌ）＝ｓ）を得る。
【００５５】
ステップＳ１４において、ステップＳ１３で得た映像データＩ_１（ｘ，ｙ）、映像データＩ_２（ｘ，ｙ）についての変換後のｘ座標値、ｙ座標値から合成映像データＴ（ｘ，ｙ）上の各座標値を得る。次いで、この合成映像データＴ（ｘ，ｙ）上の各座標値の画素の画素値を、映像データＩ_１（ｘ，ｙ）の画素値、映像データＩ_２（ｘ，ｙ）の画素値にして、合成映像データの生成をして、ステップＳ１５に処理を進める。
【００５６】
具体的には、図６（ｃ）に示すように、ステップＳ１３で得た画素Ｉ_１（ｉ，ｊ）の変換後のｘ座標値ｐ、ｙ座標値ｑから合成映像データＴ（ｘ，ｙ）における座標値Ｔ（ｐ，ｑ）を得る。次いで、この座標値Ｔ（ｐ，ｑ）における画素の画素値を、画素Ｉ_１（ｘ，ｙ）の画素値ａにする（Ｔ（ｐ，ｑ）＝ａ）。また、ステップＳ１３で得た画素Ｉ_２（ｉ，ｊ）の変換後のｘ座標値ｒ、ｙ座標値ｓから合成映像データＴ（ｘ，ｙ）における座標値Ｔ（ｒ，ｓ）を得る。次いで、この座標値Ｔ（ｒ，ｓ）における画素の画素値を、画素Ｉ_２（ｋ，ｌ）の画素値ｂにする（Ｔ（ｒ，ｓ）＝ｂ）。
【００５７】
ステップＳ１５において、映像データＩ_１（ｘ，ｙ）、映像データＩ_２（ｘ，ｙ）の全ての画素についてステップＳ１２〜ステップＳ１４の処理を行ったか否かの判定をする。全画素についてステップＳ１２〜ステップＳ１４の処理を行っていないと判定したときにはステップＳ１２に戻って次の画素についてステップＳ１２〜ステップＳ１４の処理を行い、全画素についてステップＳ１２〜ステップＳ１４の処理を行ったと判定したときには処理を終了する。
【００５８】
『第１実施形態に係る車両用表示装置の効果』
以上説明したように、第１実施形態に係る車両用表示装置によれば、車両に搭載したカメラ装置１Ａ、１Ｂで撮像した映像データを座標変換して自車両図形画像の周囲に車両周囲の画像を表示するに際して、車両形状に基づいて路面遮蔽画像、自車両図形画像を合成映像データ上に貼り付けて描画する構成にしたので、カメラ装置１にとって自車両により死角となる領域を正確に表示することができ、運転者にカメラ装置１の死角領域を提示して、直視やミラーによる間接視によって注意を払う必要があることを喚起することができる。
【００５９】
また、第１実施形態に係る車両用表示装置によれば、自車両図形画像を実サイズで描画するため、運転者にとって自車両と周囲との相対関係を把握しやすくして表示することができる。
【００６０】
［第２実施形態に係る車両用表示装置］
『第２実施形態に係る車両用表示装置の構成』
図７に、第２実施形態に係る車両用表示装置の構成を示すブロック図を示す。なお、以下の第２実施形態に係る車両用表示装置の説明では、上述した第１実施形態に係る車両用表示装置と同一の部分については同一符号を付することによりその詳細な説明を省略する。
【００６１】
第２実施形態に係る車両用表示装置は、上述した第１実施形態に係る車両用表示装置とは、画像変換合成部２からの合成映像データに基づいて合成映像データの平均明度情報を算出する画像平均明度算出部７と、画像平均明度算出部７からの平均明度情報に基づいて路面遮蔽画像及び画像図形画像の描画色を決定する描画色決定部８とを更に備える点で異なる。
【００６２】
画像平均明度算出部７は、画像変換合成部２からの合成映像データを構成する各画素の輝度情報を検出し、検出した輝度情報の平均値を算出することで画像の明るさを示す平均明度情報を作成する。
【００６３】
描画色決定部８は、画像平均明度算出部７からの平均明度情報に基づいて路面遮蔽領域描画部３で描画する路面遮蔽画像の描画色を決定すると共に、車両図形描画部４で描画する自車両図形画像の描画色を決定して、路面遮蔽領域描画部３及び車両図形描画部４に描画色決定情報を出力する。
【００６４】
これにより、路面遮蔽領域描画部３及び車両図形描画部４は、それぞれ、描画色決定情報に従った描画色で路面遮蔽画像及び自車両図形画像を描画して、表示部５に向かって出力する。
【００６５】
『第２実施形態に係る車両用表示装置の車両周囲表示処理』
図８に、第２実施形態に係る車両用表示装置による車両周囲表示処理の処理手順を示す。この車両用表示装置では、ギアがリバースに操作されていることにより、図２と同様にステップＳ１〜ステップＳ４の処理を行って、ステップＳ１１に処理を進める。
【００６６】
ステップＳ１１において、画像平均明度算出部７によりステップＳ４で生成した合成映像データの画素値（輝度情報）を検出して、全画素値から平均値を求めて平均明度情報を算出して描画色決定部８に出力してステップＳ１２に処理を進める。このステップＳ１１における平均明度情報を算出するときには、路面遮蔽領域、自車両図形画像を描画する領域の画素値を除外する。
【００６７】
なお、このステップＳ１１において路面遮蔽画像、自車両図形画像を描画する領域を求める処理はカメラ装置１の取り付け位置、ステップＳ４で変換する視点位置及び車体形状により決定する。路面遮蔽領域、自車両図形画像を描画する領域は計算により求めても良く、更には予め実際に変換画像データを作成しておき変形した車体端を包含する領域を手作業で切り出してテンプレートとして保持しておいても良い。
【００６８】
ステップＳ１２において、平均明度情報から合成映像データが予め設定した所定明度よりも大きい、すなわち合成映像データが所定の明るさよりも明るいときには描画色決定部８により路面遮蔽画像を暗い色に決定すると共に自車両図形画像を明るい色に決定する。一方、平均明度情報から合成映像データが予め設定した所定明度よりも小さい、すなわち合成映像データが所定の明るさよりも暗いときには描画色決定部８により路面遮蔽画像を明るい色に決定すると共に自車両図形画像を暗い色に決定する。
【００６９】
これにより、図９に示すように右側後方映像１１Ａ及び左側後方映像１１Ｂが明るい時には、路面遮蔽画像１２を自車両図形画像１３よりも明るい色で表示する。また、図１０に示すように右側後方映像１１Ａ及び左側後方映像１１Ｂが暗い時には、路面遮蔽画像１２を自車両図形画像１３よりも暗い色で表示する。
【００７０】
路面遮蔽画像及び自車両図形画像を決定するときには、描画色決定部８により合成映像データの明るさと路面遮蔽画像及び自車両図形画像を描画する明るさとの関係を、予めルックアップテーブルとして保持して参照する。
【００７１】
そして、描画色決定部８により決定した描画色決定情報を路面遮蔽領域描画部３及び車両図形描画部４に出力する。なお、路面遮蔽領域描画部３及び車両図形描画部４により路面遮蔽画像及び自車両図形画像を明るい色で描画するには入力された合成映像データを構成する各画素についての色の明度又は彩度を高く設定し、路面遮蔽画像及び自車両図形画像を暗い色で描画するには入力された合成映像データを構成する各画素についての色の明度又は彩度を低く設定する。
【００７２】
『第２実施形態に係る車両用表示装置の効果』
以上説明したように、第２実施形態に係る車両用表示装置によれば、上述した第１実施形態での効果に加えて、合成映像データの明るさに基づいて路面遮蔽画像及び自車両図形画像の明るさを決定するので、外部環境の明るさによらず、運転者から識別しやすいコントラストで路面遮蔽画像及び自車両図形画像を描画することができ、運転者にとって認識しやすい表示画面を提示することができる。
【００７３】
［第３実施形態に係る車両用表示装置］
『第３実施形態に係る車両用表示装置の構成』
図１１に、第３実施形態に係る車両用表示装置の構成を示すブロック図を示す。なお、以下の第３実施形態に係る車両用表示装置の説明では、上述した実施形態に係る車両用表示装置と同一の部分については同一符号を付することによりその詳細な説明を省略する。
【００７４】
第３実施形態に係る車両用表示装置は、上述した第１実施形態に係る車両用表示装置とは、車両に搭載されているライトのオン、オフ状態を示すライト状態検出情報を取得するライトＳＷ情報取得部９と、ライトＳＷ情報取得部９からのライト状態検出情報に基づいて路面遮蔽画像及び自車両図形画像の描画色を決定する描画色決定部１０とを更に備える点で異なる。
【００７５】
ライトＳＷ情報取得部９は、図示しないライト機構又は運転者が操作するライトスイッチと接続され、ライトのオン、オフ状態を示すライト状態検出情報を取得して描画色決定部１０に出力する。
【００７６】
描画色決定部１０は、ライトＳＷ情報取得部９からのライト状態検出情報に基づいて路面遮蔽領域描画部３で描画する路面遮蔽画像の描画色を決定すると共に、車両図形描画部４で描画する自車両図形画像の描画色を決定して、路面遮蔽領域描画部３及び車両図形描画部４に描画色決定情報を出力する。
【００７７】
これにより、路面遮蔽領域描画部３及び車両図形描画部４は、それぞれ、描画色決定情報に従った描画色で路面遮蔽画像及び自車両図形画像を描画して、表示部５に向かって出力する。
【００７８】
『第３実施形態に係る車両用表示装置の車両周囲表示処理』
図１２に、上述の車両用表示装置による車両周囲表示処理の処理手順を示す。この車両用表示装置では、ギアがリバースに操作されていることにより、図２と同様にステップＳ１〜ステップＳ４の処理を行って、ステップＳ２１に処理を進める。
【００７９】
ステップＳ２１において、ライトＳＷ情報取得部９によりライト状態検出情報を取得して、ライトＳＷがオン状態にあるか否かの判定をする。ライトＳＷがオン状態であると判定したときにはステップＳ２２に処理を進め、ライトＳＷがオフ状態であると判定したときにはステップＳ２３に処理を進める。
【００８０】
ステップＳ２２において、ライトがオン状態である時の路面遮蔽画像及び自車両図形画像の描画色を決定して描画色決定情報を作成する。車両前部に設けられているライトがオン状態である時には、車両の後部に設けられているカメラ装置１の映像が暗い場合が多い。したがって、図１０に示すように、自車両図形画像１３を路面遮蔽画像１２よりも暗く、路面遮蔽画像１２を合成映像データよりも明るく描画するように描画色決定部１０により描画色決定情報を生成する。
【００８１】
ステップＳ２３において、ライトがオフ状態である時の路面遮蔽画像及び自車両図形画像の描画色を決定して描画色決定情報を作成してステップＳ５に処理を進める。車両前部に設けられているライトがオフ状態である時には、車両の後部に設けられているカメラ装置１の映像が明るい場合が多い。したがって、図９に示すように、路面遮蔽画像１２を合成映像データよりも暗く、自車両図形画像１３を路面遮蔽画像１２よりも明るく描画するように描画色決定部１０により描画色決定情報を生成する。
【００８２】
路面遮蔽画像及び自車両図形画像を決定するときには、描画色決定部１０により合成映像データの明るさと路面遮蔽画像及び自車両図形画像を描画する明るさとの関係を、予めルックアップテーブルとして保持して参照する。
【００８３】
『第３実施形態に係る車両用表示装置の効果』
以上説明したように、第３実施形態に係る車両用表示装置によれば、ライトのオン、オフ状態に基づいて自車両図形画像と路面遮蔽画像の明るさを決定するので、上述した第１実施形態での効果に加えて、簡単な構成で、外部環境の明るさによらず、運転者から識別しやすいコントラストで路面遮蔽画像及び自車両図形画像を描画することができ、運転者にとって認識しやすい表示画面を提示することができる。
【００８４】
なお、上述の実施の形態は本発明の一例である。このため、本発明は、上述の実施形態に限定されることはなく、この実施の形態以外であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論である。
【００８５】
すなわち、上述した実施形態では、カメラ装置１が車両後方に設けられた一例について説明したが、カメラ装置１の配設位置が異なっていても本発明が適用可能であることは勿論である。
【００８６】
また、上述した実施形態では、路面遮蔽画像１２と自車両図形画像１３との色の明暗を区別するように路面遮蔽画像１２及び自車両図形画像１３の描画色を決定する一例について説明したが、これに限らず、路面遮蔽画像１２及び自車両図形画像１３の輝度（明るさ）を区別して表示しても良い。
【図面の簡単な説明】
【図１】本発明を適用した第１実施形態に係る車両用表示装置の構成を示すブロック図である。
【図２】本発明を適用した第１実施形態に係る車両用表示装置による車両周囲表示処理の処理手順を示すフローチャートである。
【図３】表示部により表示する路面遮蔽画像について説明するための図である。
【図４】表示部により表示する路面遮蔽画像及び自車両図形画像について説明するための図である。
【図５】路面遮蔽領域描画部により座標変換マップを使用して座標変換処理を行うときの処理手順を示すフローチャートである。
【図６】座標変換マップを使用した座標変換処理について説明するための図であり、（ａ）は２枚の映像データから画素値を検出することを示す図であり、（ｂ）は座標変換マップを参照して変換後の座標値を得ることを示す図であり、（ｃ）は合成映像データの画素値を得ることを示す図である。
【図７】本発明を適用した第２実施形態に係る車両用表示装置の構成を示すブロック図である。
【図８】本発明を適用した第２実施形態に係る車両用表示装置による車両周囲表示処理の処理手順を示すフローチャートである。
【図９】本発明を適用した第２実施形態において合成映像データが明るいときの路面遮蔽画像及び自車両図形画像の描画例を説明するための図、本発明を適用した第３実施形態に係る車両用表示装置においてライトＳＷがオフ状態であるときの路面遮蔽画像及び自車両図形画像の描画例を説明するための図である。
【図１０】本発明を適用した第２実施形態において合成映像データが暗いときの路面遮蔽画像及び自車両図形画像の描画例を説明するための図、本発明を適用した第３実施形態に係る車両用表示装置においてライトＳＷがオン状態であるときの路面遮蔽画像及び自車両図形画像の描画例を説明するための図である。
【図１１】本発明を適用した第３実施形態に係る車両用表示装置の構成を示すブロック図である。
【図１２】本発明を適用した第３実施形態に係る車両用表示装置による車両周囲表示処理の処理手順を示すフローチャートである。
【図１３】従来の車両用表示装置による自車両画像及び自車両図形画像の描画例を説明するための図である。
【図１４】車両用表示装置におけるカメラ装置の配設位置を示す背面図である。
【図１５】車両用表示装置におけるカメラ装置の配設位置を示す側面図である。
【符号の説明】
１カメラ装置
２画像変換合成部
３路面遮蔽領域描画部
４車両図形描画部
５表示部
６起動・解除部
７画像平均明度算出部
８描画色決定部
９ライトＳＷ情報取得部
１０描画色決定部
１１Ａ右側後方映像
１１Ｂ左側後方映像
１２路面遮蔽画像
１３自車両図形画像[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a display device for a vehicle that displays an area that becomes a blind spot from a driver by imaging the surroundings of the vehicle with a camera device mounted on the vehicle.
[0002]
[Prior art]
Conventionally, when the host vehicle is traveling, a camera device mounted on the host vehicle captures the surroundings of the vehicle to generate video data, and displays a blind spot from the driver in the generated video data. A vehicular display device is known.
[0003]
As a conventional vehicle display device, as disclosed in, for example, Japanese Patent Application Laid-Open No. 2001-10432 and Japanese Patent Application Laid-Open No. 2000-229547, video data generated by a camera device mounted on the host vehicle is used as a camera. It has been proposed that coordinates are converted into an image viewed from a viewpoint different from the viewpoint of the device, and the blind spot area is presented to the driver in an easy-to-see manner.
[0004]
[Problems to be solved by the invention]
In a conventional vehicle display device, the vehicle is converted into a viewpoint that looks down from directly above, coordinate conversion is performed, and an icon-shaped vehicle graphic image representing the vehicle is drawn and displayed on the coordinate-converted video data. However, it is desirable to draw the own vehicle graphic image in a size corresponding to the actual vehicle size so that the driver can easily grasp the positional relationship between the vehicle periphery and the own vehicle.
[0005]
However, when the own vehicle graphic image is drawn around the vehicle in a size corresponding to the actual vehicle size, the own vehicle image 101 becomes larger than the own vehicle graphic image 102 as shown in FIG. There arises a problem that 101 protrudes from the own vehicle graphic image 102.
[0006]
As shown in FIGS. 14 and 15, when the camera devices 113A and 113B are mounted on the rear side of the vehicle including the vehicle body 111 and the tires 112, when the road surface 114 is imaged by the camera devices 113A and 113B, FIG. As shown in the rear view, in the left-right direction of the vehicle, the imaging point A of the camera device is projected onto a point A ′ on the road surface 114, and as shown in the side view of FIG. By projecting to 114 point B ′.
[0007]
When the image data captured in this state is coordinate-converted, the vehicle size is converted by δ1 larger in the left-right direction of the vehicle, and the vehicle size is converted by δ2 behind the vehicle. Will be converted to an enlarged image.
[0008]
On the other hand, if the vehicle graphic image is made larger than the actual vehicle size so as to conceal and display the vehicle enlarged by the conversion, grooves and obstacles close to the vehicle are hidden by the vehicle graphic image. As a result, the displayed content differs from the actual vehicle periphery.
[0009]
Therefore, the present invention has been proposed in view of the above-described circumstances, and is an area that is a blind spot for the camera device in the captured image. The picture The present invention provides a display device for a vehicle that can display an image.
[0010]
[Means for Solving the Problems]
In the invention according to claim 1, one or a plurality of imaging means mounted on a vehicle and generating video data obtained by imaging the periphery of the vehicle from a first viewpoint, and the video data generated by imaging with the imaging means is the first. A video data converting means for converting the video data to be viewed from a second viewpoint different from the viewpoint; a host vehicle image representing the host vehicle is drawn on the video data converted by the video data converting means; A road surface shielding area representing at least a part of a road surface portion shielded by the own vehicle when the road surface is viewed from the first viewpoint. Road shielding image As The above-described problems are solved by providing drawing means for drawing and display means for displaying video data drawn by the drawing means.
[0011]
In the invention which concerns on Claim 2, the said drawing means draws the said own vehicle image according to the magnitude | size of the said vehicle.
[0012]
According to a third aspect of the present invention, the image processing apparatus further includes a determination unit that detects brightness information of the video data generated by imaging with the imaging unit and determines the brightness of the video, and the drawing unit performs the determination by the determination unit. Based on the result, the brightness of the vehicle image and the road surface shielding image is adjusted and drawn.
[0013]
In the invention according to claim 4, the drawing means makes the road surface shielding image darker than the image around the vehicle when the determination means determines that the brightness of the image around the vehicle is brighter than the predetermined brightness. The vehicle image is drawn brighter than the road surface shielding image, and when the brightness of the image around the vehicle is determined to be darker than the predetermined brightness by the determination means, the road surface shielding image is displayed as the image around the vehicle. The vehicle image is drawn darker than the road surface shielding image.
[0014]
The invention according to claim 5 further includes light state detection means for detecting a state of a light mounted on the vehicle, wherein the drawing means is configured to detect the vehicle image and the vehicle image based on a detection result of the light state detection means. Draw by adjusting the brightness of the road shielding image.
[0015]
In the invention according to claim 6, when the light state detecting means detects that the light is on, the drawing means draws a road surface shielding image brighter than the video around the vehicle, and displays the own vehicle image. If the light is detected to be darker than the road surface shielding image and the light state detection means detects that the light is off, the road surface shielding image is rendered darker than the surrounding image of the vehicle, and the own vehicle image is drawn from the road surface shielding image. Even draw brighter.
[0016]
【The invention's effect】
According to the first aspect of the present invention, the video data generated by imaging by the imaging means is converted into video data viewed from a second viewpoint different from the first viewpoint, and the vehicle indicating the own vehicle is displayed in the converted video data. While drawing the vehicle image, A road surface shielding area representing at least a part of a road surface portion shielded by the own vehicle when the road surface is viewed from the first viewpoint. Road shielding image As Since the drawing is performed, it is possible to accurately display an area that becomes a blind spot in the captured image. Therefore, according to the first aspect of the present invention, it is necessary to present the vehicle driver with a blind spot area from the video data conversion and imaging means, and to pay attention by direct view or indirect view using a mirror. can do.
[0017]
According to the second aspect of the present invention, since the own vehicle image is drawn according to the size of the vehicle by the drawing means, in addition to the effect of the first aspect of the invention, for the vehicle driver, The relative relationship can be easily displayed.
[0018]
According to the invention of claim 3, since the brightness of the host vehicle image and the road surface shielding image is adjusted and drawn based on the determination result of the determination means for determining the brightness of the video, the brightness of the external environment Regardless of this, it is possible to draw the road surface shielding image and the own vehicle image with a contrast that can be easily identified by the vehicle driver, and to present a display screen that is easy for the driver to recognize.
[0019]
According to the fourth aspect of the present invention, when it is determined that the brightness of the image around the vehicle is brighter than the predetermined brightness, the subject vehicle image is drawn brighter than the road surface shielding image, and the brightness of the image around the vehicle is increased. If it is determined that the vehicle is darker than the predetermined brightness, the vehicle image is drawn darker than the road shielding image. Therefore, the road surface shielding is performed with a contrast that is easy to identify from the driver regardless of the brightness of the external environment. An image and a vehicle image can be drawn, and a display screen that can be easily recognized by the driver can be presented.
[0020]
According to the fifth aspect of the present invention, the brightness of the host vehicle image and the road surface shielding image is adjusted and drawn based on the detection result of the light state detection means for detecting the state of the light mounted on the vehicle. The road screen image and the vehicle image can be drawn with a contrast that is easy to identify from the vehicle driver regardless of the brightness of the external environment, and a display screen that is easy for the vehicle driver to recognize is presented. be able to.
[0021]
According to the invention of claim 6, when it is detected that the light is on, the vehicle image is rendered darker than the road surface shielding image, and when the light is detected to be off. Since the host vehicle image is drawn brighter than the road surface shielding image, the road surface shielding image and the host vehicle image can be drawn with a simple configuration and with a contrast that is easy to identify from the driver regardless of the brightness of the external environment. It is possible to realize a display screen that can be easily recognized by the vehicle driver.
[0022]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[0023]
The present invention is applied, for example, to the vehicle display device according to the first embodiment configured as shown in FIG.
[0024]
[Vehicle Display Device According to First Embodiment]
“Configuration of Vehicle Display Device According to First Embodiment”
FIG. 1 is a block diagram showing the configuration of the vehicle display device according to the first embodiment. The vehicle display device includes camera devices 1A and 1B (hereinafter simply referred to as “camera device 1” when collectively referred to as “camera device 1”) provided on the left and right sides of the rear end of the vehicle body, and an image conversion / synthesis unit 2 provided inside the vehicle. The road surface shielding area drawing unit 3, the vehicle figure drawing unit 4, a display unit 5 provided at a position visible from the vehicle driver, and an activation / release unit 6 that operates according to the vehicle operation. Yes.
[0025]
The camera devices 1A and 1B are provided on the left and right sides at the rear end of the vehicle, take an image of the surroundings in the rear of the vehicle in response to the start of the vehicle display device, and output video data obtained by the imaging to the image conversion / synthesis unit 2 To do.
[0026]
The image conversion / synthesizing unit 2 inputs each video data from the camera devices 1A and 1B, and performs a coordinate conversion process (perspective transformation) on each input video data, so that a viewpoint different from the viewpoint captured by the camera device 1 is obtained. Use coordinate conversion video data. As a result, the image conversion / synthesis unit 2 obtains coordinate-converted video data of a viewpoint as seen from directly above the vehicle.
[0027]
In addition, the image conversion / synthesis unit 2 performs synthesis processing so that each coordinate-converted video data subjected to coordinate conversion is displayed on one screen on the display unit 5, thereby obtaining one composite video data. The image conversion synthesis unit 2 outputs the synthesized video data obtained by the synthesis to the road surface shielding area drawing unit 3.
[0028]
The road surface shielding area drawing unit 3 pastes the shielding area image on the road surface shielding area generated by the deformation of the vehicle image generated by the coordinate conversion processing by the image conversion synthesis unit 2 to the synthesized video data from the image conversion synthesis unit 2. The composite video data to be drawn is generated and output to the vehicle figure drawing unit 4. The shielding area image pasted on the composite video data by the road surface shielding area drawing unit 3 is stored in advance in, for example, a memory area provided in the road surface shielding area drawing unit 3, and the road surface shielding area drawing unit 3 By being read, it is pasted on the composite video data.
[0029]
The vehicle graphic drawing unit 4 determines the pasting position on the composite video data from the road surface shielding area drawing unit 3 according to the shape of the vehicle body and the viewpoint position, and draws the own vehicle graphic image indicating the own vehicle. The synthesized video data to be generated is generated and output to the display unit 5. The vehicle figure image pasted on the composite video data by the vehicle figure drawing unit 4 is stored in advance in a memory area provided in the vehicle figure drawing unit 4 and read by the vehicle figure drawing unit 4, for example. Is pasted into the composite video data.
[0030]
The display unit 5 includes a display monitor that presents various images to the driver, and displays the composite image data from the vehicle graphic drawing unit 4.
[0031]
The start / release unit 6 receives an operation input signal for a driver to operate the vehicle from the outside and activates the display device for the vehicle, thereby capturing the video data by the camera device 1 and displaying the composite video data on the display unit 5. In addition, the display of the composite video data by the vehicle display device is canceled. An operation input signal is input to the start / release unit 6 when the shift lever (gear) is put in reverse to drive the vehicle back.
[0032]
“Vehicle Surrounding Display Processing of Vehicle Display Device According to First Embodiment”
FIG. 2 shows a processing procedure of vehicle surroundings display processing by the vehicle display device described above.
[0033]
In the vehicle display device, first, in step S1, for example, when the vehicle performs a parking operation, an operation input signal is input to the start / release unit 6 when the driver reversely operates the gear (shift lever). Then, the vehicle display device is activated and the process proceeds to step S2.
[0034]
In step S2, the image data behind the vehicle is captured by the camera devices 1A and 1B, whereby two pieces of image data I ₁ (X, y), I ₂ (X, y) is acquired and output to the image conversion / synthesis unit 2, and the video data I is temporarily stored in the memory in the image conversion / synthesis unit 2 in the next step S3. ₁ (X, y), video data I ₂ (X, y) is stored, and the process proceeds to the next step S4.
[0035]
In step S4, the image conversion synthesis unit 2 performs coordinate conversion processing for converting video data viewed from a viewpoint such that the own vehicle is looked down from above, which is different from the viewpoint when captured by the camera devices 1A and 1B in step S2. To generate two pieces of coordinate-converted video data, and then synthesize each coordinate-converted video data into one piece of composite video data T (x, y). The contents of the coordinate conversion process and the synthesis process in step S4 will be described later.
[0036]
In the next step S5, based on the attachment positions of the camera devices 1A and 1B by the road surface shielding area drawing unit 3, the viewpoint position of the composite video data T (x, y) converted by the image conversion synthesis unit 2, and the vehicle body shape. The position of the road surface shielding area is determined. In this step S5, the position of the road surface shielding area may be obtained by calculation based on the pattern of the composite video data T (x, y), or the area including the deformed vehicle body end by creating the coordinate conversion video data in advance. May be extracted manually and held as a template to be synthesized with the synthesized video data T (x, y).
[0037]
Next, the combined video data T (x, y) is drawn so as to paste the shielding area image on the road surface shielding area which is the area shielding the road surface by the vehicle body generated in step S4. At this time, a predetermined texture is stored as a shielding area image in the internal memory by the road surface shielding area drawing unit 3 and pasted at a predetermined position of the composite video data T (x, y).
[0038]
Thereby, as shown in FIG. 3, the composite video data T (x, y) composed of the right rear video 11A, the left rear video 11B, and the road surface shielding image 12 is created, and the process proceeds to step S6. In the example illustrated in FIG. 3, a case where the rectangular road surface shielding image 12 is stored as a predetermined texture by the vehicle figure drawing unit 4 is illustrated.
[0039]
In step S6, the vehicle figure drawing unit 4 determines the paste position and paste size for the vehicle graphic image based on the viewpoint position and the vehicle body shape converted by the image conversion synthesis unit 2, and the road surface shielding area drawing unit 3 A process of pasting the own vehicle graphic image is performed on the synthesized video data T (x, y) and the process proceeds to step S7. At this time, the template previously stored in the memory by the vehicle graphic drawing unit 4 is prepared as the vehicle graphic image.
[0040]
As a result, as shown in FIG. 4, composite video data T (x, y) composed of the right rear video 11A, the left rear video 11B, and the own vehicle graphic image 13 pasted on the road surface shielding image 12 is created. The data is output to the display unit 5, and the process proceeds to step S7. Here, in the example shown in FIG. 4, the case where the rectangular own vehicle figure image 13 is previously stored in the memory is shown.
[0041]
In step S7, display processing is performed by the display unit 5 so as to display the composite video data T (x, y) output from the vehicle figure drawing unit 4 on the display monitor, and the process proceeds to step S8.
[0042]
In step S8, the start / release unit 6 determines whether or not the shift lever (gear) is in a position other than the reverse position. When the start / cancel unit 6 determines that the position is not the reverse position, the process proceeds to step S9. When it is determined that the position is not the reverse position, the synthesized video data T (x, y) generated in step S6 is determined. The process of displaying on the display unit 5 is continued, and the process is returned to step S2 to repeat the processes after step S2.
[0043]
In step S9, the start / cancel unit 6 cancels the process of displaying the composite video data T (x, y) by the display unit 5 and ends the process.
[0044]
Next, the coordinate conversion process in step S4 will be described.
[0045]
In order to convert the own vehicle into video data looking down from directly above by the coordinate conversion processing of the road surface shielding area drawing unit 3, the geometrical arrangement of the camera device 1A and the camera device 1B is determined using the optical information. Based on a certain lens angle of view and focal position, an operation is performed to convert coordinates of pixel data constituting each video data obtained by imaging with the camera devices 1A and 1B.
[0046]
In step S4 in this example, the amount of calculation is reduced, a coordinate conversion map for converting the coordinates of each pixel data is created in advance and stored in the image conversion composition unit 2, and each image conversion composition unit 2 stores each coordinate conversion map. When video data is input, the coordinate conversion map is read and referenced to convert the coordinate of each video data.
[0047]
This coordinate conversion map is based on the above-described arrangement position of the camera device 1 and optical information, and the coordinate position of each pixel of the video data generated by the camera device 1A and the camera device 1B and the coordinate position of the conversion destination. Are associated with each other.
[0048]
The coordinate conversion map M (x, y) is the video data I generated by the camera device 1A. ₁ First x-coordinate conversion map M for converting the x-coordinate of each pixel constituting (x, y) _x1 (X, y), video data I generated by the camera device 1A ₁ First y-coordinate conversion map M for converting the y-coordinate of each pixel constituting (x, y) _y1 (X, y), video data I generated by the camera device 1B ₂ Second x-coordinate conversion map M for converting the x-coordinate of each pixel constituting (x, y) _x2 (X, y), video data I generated by the camera device 1B ₂ Second y-coordinate conversion map M for converting the y-coordinate of each pixel constituting (x, y) _y2 (X, y).
[0049]
FIG. 5 shows a processing procedure when the road surface shielding area drawing unit 3 performs the coordinate conversion process using the coordinate conversion map.
[0050]
According to FIG. 5, first, in step S11, the video data I ₁ (X, y) and video data I ₂ The upper left corner of the screen (x, y), that is, video data I ₁ (X, y), video data I ₂ For each of (x, y), scanning is started in the raster direction from a pixel whose x coordinate value is “0” and y coordinate value is “0”, and the process proceeds to step S12.
[0051]
In step S12, video data I ₁ X coordinate value at (x, y), pixel value at y coordinate value, video data I ₂ The x-coordinate value at (x, y) and the pixel value at the y-coordinate value are acquired, and the process proceeds to step S13.
[0052]
Specifically, in step S12, as shown in FIG. ₁ Pixel I with (x, y) ₁ Pixel value a and video data I at (i, j) ₂ Pixel I with (x, y) ₂ The pixel value b at (k, l) is obtained.
[0053]
In step S13, the video data I acquired in step S12 with reference to the coordinate conversion map M (x, y). ₁ The x coordinate value and y coordinate value of the composite video data T (x, y) after coordinate conversion with respect to the x coordinate value and y coordinate value of the pixels constituting (x, y) are obtained, and the process proceeds to step S14.
[0054]
Specifically, as shown in FIG. 6B, the first x-coordinate transformation map M _x1 Pixel I before conversion with reference to (x, y) ₁ X coordinate value p (M) after conversion for (i, j) _x1 (I, j) = p), first y-coordinate transformation map M _y1 Pixel I before conversion with reference to (x, y) ₁ Y coordinate value q (M) after conversion for (i, j) _y1 (I, j) = q) is obtained. Further, the second x coordinate conversion map M _x2 Pixel I before conversion with reference to (x, y) ₂ X coordinate value r (M) after conversion for (k, l) _x2 (K, l) = r), the second y coordinate transformation map M _y2 Pixel I before conversion with reference to (x, y) ₂ Y coordinate value s (M) after conversion for (k, l) _y2 (K, l) = s).
[0055]
In step S14, the video data I obtained in step S13. ₁ (X, y), video data I ₂ Each coordinate value on the composite video data T (x, y) is obtained from the converted x-coordinate value and y-coordinate value for (x, y). Next, the pixel value of each coordinate value on the composite video data T (x, y) is converted into the video data I ₁ Pixel value of (x, y), video data I ₂ The composite video data is generated with the pixel value of (x, y), and the process proceeds to step S15.
[0056]
Specifically, as shown in FIG. 6C, the pixel I obtained in step S13. ₁ A coordinate value T (p, q) in the synthesized video data T (x, y) is obtained from the converted x-coordinate value p and y-coordinate value q of (i, j). Next, the pixel value of the pixel at this coordinate value T (p, q) is determined as the pixel I ₁ The pixel value a is set to (x, y) (T (p, q) = a). Further, the pixel I obtained in step S13. ₂ A coordinate value T (r, s) in the synthesized video data T (x, y) is obtained from the converted x-coordinate value r and y-coordinate value s of (i, j). Next, the pixel value of the pixel at the coordinate value T (r, s) is determined as the pixel I. ₂ The pixel value b of (k, l) is set (T (r, s) = b).
[0057]
In step S15, the video data I ₁ (X, y), video data I ₂ It is determined whether or not the processing of step S12 to step S14 has been performed for all the pixels of (x, y). When it is determined that the processing of step S12 to step S14 is not performed for all pixels, the process returns to step S12, the processing of step S12 to step S14 is performed for the next pixel, and the processing of step S12 to step S14 is performed for all the pixels. When it is determined, the process is terminated.
[0058]
“Effect of the vehicle display device according to the first embodiment”
As described above, according to the vehicular display device according to the first embodiment, the image data captured by the camera devices 1A and 1B mounted on the vehicle is coordinate-transformed, and the image around the vehicle is displayed around the vehicle graphic image. Since the road surface shielding image and the own vehicle graphic image are pasted and drawn on the composite video data based on the vehicle shape, the camera device 1 accurately displays the blind spot area by the own vehicle. It is possible to present the blind spot area of the camera device 1 to the driver and alert the driver that attention needs to be paid by direct view or indirect view using a mirror.
[0059]
Further, according to the vehicle display device according to the first embodiment, since the own vehicle graphic image is drawn in an actual size, it is possible for the driver to easily display the relative relationship between the own vehicle and the surroundings. .
[0060]
[Vehicle Display Device According to Second Embodiment]
“Configuration of Vehicle Display Device According to Second Embodiment”
FIG. 7 is a block diagram showing the configuration of the vehicle display device according to the second embodiment. In the following description of the vehicular display device according to the second embodiment, the same parts as those in the vehicular display device according to the first embodiment described above are denoted by the same reference numerals, and detailed description thereof is omitted. .
[0061]
The vehicle display device according to the second embodiment calculates the average brightness information of the composite video data based on the composite video data from the image conversion / synthesis unit 2 with the vehicle display device according to the first embodiment described above. The difference is that an image average brightness calculation unit 7 and a drawing color determination unit 8 that determines the drawing color of the road surface shielding image and the image graphic image based on the average brightness information from the image average brightness calculation unit 7 are different.
[0062]
The average image brightness calculation unit 7 detects the luminance information of each pixel constituting the composite video data from the image conversion / synthesis unit 2, and calculates the average value of the detected luminance information to indicate the average brightness of the image. Create information.
[0063]
The drawing color determination unit 8 determines the drawing color of the road surface shielding image to be drawn by the road surface shielding region drawing unit 3 based on the average lightness information from the image average lightness calculation unit 7, and automatically draws it by the vehicle figure drawing unit 4. The drawing color of the vehicle graphic image is determined, and the drawing color determination information is output to the road surface shielding area drawing unit 3 and the vehicle graphic drawing unit 4.
[0064]
Thereby, the road surface shielding area drawing unit 3 and the vehicle figure drawing unit 4 draw the road surface shielding image and the own vehicle figure image with the drawing color according to the drawing color determination information, respectively, and output the image to the display unit 5. .
[0065]
“Vehicle display processing of the vehicle display device according to the second embodiment”
FIG. 8 shows a processing procedure of vehicle surroundings display processing by the vehicle display device according to the second embodiment. In this vehicular display device, since the gear is operated in reverse, the processing of step S1 to step S4 is performed as in FIG. 2, and the processing proceeds to step S11.
[0066]
In step S11, the pixel value (luminance information) of the composite video data generated in step S4 is detected by the image average brightness calculation unit 7, the average value is calculated from all pixel values, and the average brightness information is calculated to determine the drawing color. It outputs to the part 8 and advances a process to step S12. When calculating the average brightness information in step S11, the pixel values of the road surface shielding area and the area in which the vehicle graphic image is drawn are excluded.
[0067]
In this step S11, the process for obtaining the area for drawing the road surface shielding image and the own vehicle graphic image is determined by the mounting position of the camera device 1, the viewpoint position converted in step S4, and the vehicle body shape. The road surface shielding area and the area where the vehicle graphic image is drawn may be obtained by calculation. Furthermore, the converted image data is actually created in advance, and the area including the deformed body edge is manually cut out and held as a template. You can keep it.
[0068]
In step S12, when the composite video data is larger than the predetermined brightness set in advance from the average brightness information, that is, when the composite video data is brighter than the predetermined brightness, the drawing color determination unit 8 determines the road surface shielding image to be a dark color and automatically. The vehicle graphic image is determined to be a bright color. On the other hand, when the synthesized video data is smaller than the predetermined brightness set in advance from the average brightness information, that is, when the synthesized video data is darker than the predetermined brightness, the drawing color determining unit 8 determines the road surface shielding image to be a bright color and the own vehicle figure. Determine the image to be dark.
[0069]
As a result, as shown in FIG. 9, when the right rear video 11 </ b> A and the left rear video 11 </ b> B are bright, the road surface shielding image 12 is displayed in a brighter color than the vehicle graphic image 13. Further, as shown in FIG. 10, when the right rear image 11 </ b> A and the left rear image 11 </ b> B are dark, the road surface shielding image 12 is displayed in a darker color than the vehicle graphic image 13.
[0070]
When determining the road surface shielding image and the own vehicle graphic image, the drawing color determining unit 8 holds in advance a relationship between the brightness of the synthesized video data and the brightness for rendering the road surface shielding image and the own vehicle graphic image as a lookup table. refer.
[0071]
Then, the drawing color determination information determined by the drawing color determination unit 8 is output to the road surface shielding region drawing unit 3 and the vehicle figure drawing unit 4. In order to render the road surface shielding image and the own vehicle graphic image in a bright color by the road surface shielding area drawing unit 3 and the vehicle graphic drawing unit 4, the lightness or saturation of the color for each pixel constituting the input composite video data Is set high, and in order to draw the road surface shielding image and the own vehicle graphic image in a dark color, the lightness or saturation of the color for each pixel constituting the input composite video data is set low.
[0072]
“Effects of the vehicle display device according to the second embodiment”
As described above, according to the vehicle display device according to the second embodiment, in addition to the effects of the first embodiment described above, the road surface shielding image and the vehicle graphic image are based on the brightness of the composite video data. Because the brightness of the vehicle is determined, the road screen image and the vehicle graphic image can be drawn with a contrast that is easily discernable by the driver, regardless of the brightness of the external environment, and a display screen that is easy for the driver to recognize is presented. can do.
[0073]
[Vehicle Display Device According to Third Embodiment]
“Configuration of Vehicle Display Device According to Third Embodiment”
FIG. 11 is a block diagram showing the configuration of the vehicle display device according to the third embodiment. In the following description of the vehicular display device according to the third embodiment, the same parts as those in the vehicular display device according to the above-described embodiment will be denoted by the same reference numerals, and detailed description thereof will be omitted.
[0074]
The vehicle display device according to the third embodiment is different from the vehicle display device according to the first embodiment described above in that the light SW that acquires the light state detection information indicating the on / off state of the light mounted on the vehicle. The difference is that the information acquisition unit 9 further includes a drawing color determination unit 10 that determines the drawing color of the road surface shielding image and the vehicle graphic image based on the light state detection information from the light SW information acquisition unit 9.
[0075]
The light SW information acquisition unit 9 is connected to a light mechanism (not shown) or a light switch operated by the driver, acquires light state detection information indicating the on / off state of the light, and outputs it to the drawing color determination unit 10.
[0076]
The drawing color determination unit 10 determines the drawing color of the road surface shielding image drawn by the road surface shielding region drawing unit 3 based on the light state detection information from the light SW information acquisition unit 9 and draws it by the vehicle figure drawing unit 4. The drawing color of the own vehicle figure image is determined, and the drawing color determination information is output to the road surface shielding area drawing unit 3 and the vehicle figure drawing unit 4.
[0077]
Thereby, the road surface shielding area drawing unit 3 and the vehicle figure drawing unit 4 draw the road surface shielding image and the own vehicle figure image with the drawing color according to the drawing color determination information, respectively, and output the image to the display unit 5. .
[0078]
“Vehicle Surrounding Display Processing of Vehicle Display Device According to Third Embodiment”
FIG. 12 shows a processing procedure of vehicle surroundings display processing by the vehicle display device described above. In this vehicle display device, since the gear is operated in reverse, the processing of step S1 to step S4 is performed similarly to FIG. 2, and the processing proceeds to step S21.
[0079]
In step S21, the light SW information acquisition unit 9 acquires the light state detection information, and determines whether or not the light SW is in an on state. When it is determined that the light SW is on, the process proceeds to step S22. When it is determined that the light SW is off, the process proceeds to step S23.
[0080]
In step S22, drawing color determination information is created by determining the drawing color of the road surface shielding image and the vehicle graphic image when the light is on. When the light provided in the front part of the vehicle is in the on state, the image of the camera device 1 provided in the rear part of the vehicle is often dark. Therefore, as shown in FIG. 10, the drawing color determination unit 10 generates drawing color determination information so that the vehicle graphic image 13 is drawn darker than the road shielding image 12 and the road shielding image 12 is drawn brighter than the composite video data. To do.
[0081]
In step S23, the drawing color determination information is generated by determining the drawing color of the road surface shielding image and the vehicle graphic image when the light is off, and the process proceeds to step S5. When the light provided at the front part of the vehicle is in the off state, the image of the camera device 1 provided at the rear part of the vehicle is often bright. Therefore, as shown in FIG. 9, the drawing color determination unit 10 generates the drawing color determination information so that the road surface shielding image 12 is darker than the composite video data and the vehicle graphic image 13 is drawn brighter than the road surface shielding image 12. To do.
[0082]
When determining the road surface shielding image and the own vehicle graphic image, the drawing color determination unit 10 holds in advance a relationship between the brightness of the synthesized video data and the brightness for rendering the road surface shielding image and the own vehicle graphic image as a lookup table. refer.
[0083]
“Effects of the vehicle display device according to the third embodiment”
As described above, according to the display device for a vehicle according to the third embodiment, the brightness of the vehicle graphic image and the road surface shielding image is determined based on the on / off state of the light. In addition to the effects of the form, it is possible to draw the road surface shielding image and the vehicle graphic image with a simple configuration and with a contrast that is easily discernable by the driver, regardless of the brightness of the external environment. An easy display screen can be presented.
[0084]
The above-described embodiment is an example of the present invention. For this reason, the present invention is not limited to the above-described embodiment, and various modifications can be made depending on the design and the like as long as the technical idea according to the present invention is not deviated from this embodiment. Of course, it is possible to change.
[0085]
That is, in the above-described embodiment, an example in which the camera device 1 is provided on the rear side of the vehicle has been described, but it is needless to say that the present invention can be applied even if the arrangement position of the camera device 1 is different.
[0086]
In the above-described embodiment, an example in which the drawing colors of the road surface shielding image 12 and the host vehicle graphic image 13 are determined so as to distinguish between the light and dark colors of the road surface shielding image 12 and the host vehicle graphic image 13 has been described. Not only this but the brightness | luminance (brightness) of the road surface shielding image 12 and the own vehicle figure image 13 may be distinguished and displayed.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration of a vehicle display device according to a first embodiment to which the present invention is applied.
FIG. 2 is a flowchart showing a processing procedure of vehicle surroundings display processing by the vehicle display device according to the first embodiment to which the present invention is applied.
FIG. 3 is a diagram for explaining a road surface shielding image displayed by a display unit.
FIG. 4 is a diagram for explaining a road surface shielding image and a host vehicle graphic image displayed by a display unit.
FIG. 5 is a flowchart illustrating a processing procedure when a coordinate conversion process is performed using a coordinate conversion map by a road surface shielding area drawing unit;
6A and 6B are diagrams for explaining a coordinate conversion process using a coordinate conversion map, in which FIG. 6A is a diagram illustrating detection of pixel values from two pieces of video data, and FIG. 6B is a coordinate conversion process; It is a figure which shows obtaining the coordinate value after conversion with reference to a map, (c) is a figure which shows obtaining the pixel value of synthetic | combination video data.
FIG. 7 is a block diagram showing a configuration of a vehicle display device according to a second embodiment to which the present invention is applied.
FIG. 8 is a flowchart showing a processing procedure of vehicle surroundings display processing by the vehicle display device according to the second embodiment to which the present invention is applied.
FIG. 9 is a diagram for explaining a drawing example of a road surface shielding image and a vehicle graphic image when the synthesized video data is bright in the second embodiment to which the present invention is applied, and relates to the third embodiment to which the present invention is applied; It is a figure for demonstrating the example of a drawing of a road surface shielding image and the own vehicle figure image when light SW is an OFF state in the display apparatus for vehicles.
FIG. 10 is a diagram for explaining a drawing example of a road surface shielding image and a vehicle graphic image when the synthesized video data is dark in the second embodiment to which the present invention is applied, and relates to the third embodiment to which the present invention is applied. It is a figure for demonstrating the example of a drawing of a road surface shielding image and the own vehicle figure image when light SW is an ON state in the display apparatus for vehicles.
FIG. 11 is a block diagram showing a configuration of a vehicle display device according to a third embodiment to which the present invention is applied.
FIG. 12 is a flowchart showing a processing procedure of vehicle surroundings display processing by the vehicle display device according to the third embodiment to which the present invention is applied.
FIG. 13 is a diagram for explaining a drawing example of a host vehicle image and a host vehicle graphic image by a conventional vehicle display device.
FIG. 14 is a rear view showing the arrangement position of the camera device in the vehicle display device.
FIG. 15 is a side view showing the arrangement position of the camera device in the vehicle display device.
[Explanation of symbols]
1 Camera device
2 Image conversion / synthesis unit
3 Road surface shielding area drawing part
4 Vehicle figure drawing part
5 display section
6 start-up / release part
7 Image average brightness calculator
8 Drawing color determination part
9 Light SW information acquisition unit
10 Drawing color decision section
11A Rear right video
11B Left rear video
12 Road shielding image
13 Vehicle graphic image

Claims

One or a plurality of imaging means mounted on a vehicle and generating video data obtained by imaging the periphery of the vehicle from a first viewpoint;
Video data conversion means for converting video data generated by imaging with the imaging means into video data viewed from a second viewpoint different from the first viewpoint;
A road surface representing at least a part of a road surface portion that is drawn by the host vehicle when the host vehicle image showing the host vehicle is drawn on the video data converted by the video data conversion unit and the road surface is viewed from the first viewpoint. A drawing means for drawing the shielding area as a road surface shielding image;
A vehicle display device comprising: display means for displaying video data drawn by the drawing means.

The vehicle display device according to claim 1, wherein the drawing means draws the own vehicle image according to a size of the vehicle.

A determination means for detecting brightness information of video data generated by imaging by the imaging means and determining brightness of the video;
The vehicle display device according to claim 1, wherein the drawing means draws by adjusting the brightness of the host vehicle image and the road surface shielding image based on the determination result of the determination means.

When the determining unit determines that the brightness of the image around the vehicle is brighter than the predetermined brightness, the drawing unit draws the road surface shielding image darker than the image around the vehicle, and the vehicle image is displayed on the road surface. When the determination unit determines that the brightness of the video around the vehicle is darker than the predetermined brightness, the road surface shielding image is drawn brighter than the video around the vehicle. The vehicle display device according to claim 3, wherein the image is drawn darker than the road surface shielding image.

A light state detecting means for detecting the state of the light mounted on the vehicle;
2. The vehicle display device according to claim 1, wherein the drawing means draws the image of the own vehicle and the road surface shielding image by adjusting brightness based on a detection result of the light state detection means.

When the light state detection means detects that the light is on, the drawing means draws the road shielding image brighter than the image around the vehicle and draws the own vehicle image darker than the road shielding image. When the light state detecting means detects that the light is off, the road surface shielding image is rendered darker than the image around the vehicle, and the host vehicle image is rendered lighter than the road surface shielding image. The vehicle display device according to claim 5.