JP3797343B2

JP3797343B2 - 車両周辺表示装置

Info

Publication number: JP3797343B2
Application number: JP2003132806A
Authority: JP
Inventors: 久仁夫加藤; 勝之今西
Original assignee: Denso Corp; Nippon Soken Inc
Current assignee: Denso Corp; Soken Inc
Priority date: 2003-05-12
Filing date: 2003-05-12
Publication date: 2006-07-19
Anticipated expiration: 2023-05-12
Also published as: JP2004336613A

Description

【０００１】
【発明の属する技術分野】
本発明は、自車両の画像と撮影された車両の周辺の画像とが合成された画像を表示させる車両周辺表示装置に関するものである。
【０００２】
【従来の技術】
従来、鳥瞰図画像を用いて車両周辺を表示し、その中に自車両を重ねて描画することにより周辺の障害物や駐車スペースとの位置関係の把握を容易にするという技術が提案されている。（例えば、特許文献１、２参照）。
【０００３】
【特許文献１】
特開２００２−８７１６０号公報
【０００４】
【特許文献２】
特開２００２−１２０６７５号公報
【０００５】
【発明が解決しようとする課題】
しかし、このように自車両を車両周辺画像に重ねて表示することで、自車両と重なる部分の車両周辺画像の情報が隠され、情報量が減ってしまうという問題がる。例として、図１２に、駐車マス９５に車両を停止させるとき、車両周辺表示装置が表示する車両ｃ周辺の鳥瞰図を示す。後退することによって車両ｃが輪止め９４に近くなると、輪止めの位置が自車両の画像で隠されるために視認できず、後輪がこの輪止めに接触するまであとどれだけ移動できるかを細かく把握することが困難となる。
【０００６】
本発明は、上記問題点に鑑み、撮影された車両周辺の画像と自車両の画像とが合成された画像の表示のための車両周辺表示装置において、自車両の陰となる部分の車両周辺画像が隠されることによる情報の損失を抑えることを目的とする。
【０００７】
【課題を解決するための手段】
上記目的を達成するための請求項１に記載の発明は、撮影された車両周辺の画像を取得する取得手段（１０５）と、前記取得手段が取得した車両周辺の画像で自車両の陰となる部分が視認できるように、前記車両周辺の画像と自車両の画像とを表示手段（３）に表示させる表示制御手段（１１０、１１５、１２０）と、を備え、前記表示制御手段は、前記自車両の画像を更に前記自車両の車輪と輪止めとの位置関係が視認できるようなものとする車両周辺表示装置であって、前記表示制御手段は、前記自車両の画像を更に、その自車両の車輪のうち前記輪止めに接触する部分の位置が示されたものとすることを特徴とする車両周辺表示装置である。
【０００８】
これによって、車両周辺の画像で自車両の陰となる部分が表示装置において視認できるので、撮影された車両周辺の画像と自車両の画像とを合成した画像の表示のための車両周辺表示装置において、自車両の陰となる部分の車両周辺画像が隠されることによる情報の損失を抑えることができる。
【０００９】
なお、車両周辺の画像が視認できるようになっているのは、前記表示手段に表示させる画像のうち、前記車両周辺の画像が前記自車両の陰になる部分の全部であってもよいし、一部であってもよい。また、「車両周辺」には、車両の存在する場所そのものも含まれる。また、「輪止めに接触する部分」とは、輪止めに接触すると推定される部分をも含む概念である。
【００１０】
また、請求項２に記載の発明は、請求項１に記載の車両周辺表示装置において、前記表示制御手段は、前記車両周辺の画像と前記自車両の画像を透過的な画像とすることで、前記取得手段が取得した車両周辺の画像で自車両の陰となる部分が視認できるようにすることを特徴とする。
【００１１】
また、請求項３に記載の発明は、請求項２に記載の車両周辺表示装置において、前記表示制御手段は、前記自車両の画像を、その自車両の外枠線が描かれ、かつこの外枠線の内側部分が透明となっているものとすることを特徴とする。
【００１２】
なお、「外枠線の内側部分が透明となっている」とは、外枠線の内側部分の全体が透明となっている場合、および外枠線の内側部分の一部が透明となっている場合の双方を含む概念である。
【００１３】
また、請求項４に記載の発明は、請求項２に記載の車両周辺表示装置において、前記表示制御手段は、前記自車両の画像を半透明なものとすることを特徴とする。
【００１４】
また、請求項５に記載の発明は、請求項４に記載の車両周辺表示装置において、前記表示制御手段は、前記自車両の画像を更にその自車両の外枠が描かれたものとすることを特徴とする。
【００１５】
また、請求項６に記載の発明は、請求項２ないし５のいずれか１つに記載の車両周辺表示装置において、前記表示手段は、前記自車両の画像を更にその自車両の線画が描かれたものとすることを特徴とする。
【００１７】
また、請求項７に記載の発明は、請求項１ないし６のいずれか１つに記載の車両周辺表示装置において、前記表示制御手段は、前記自車両の画像を更にその自車両の車輪の位置が示されたものとすることを特徴とする。
【００２１】
なお、上記各手段の括弧内の符号は、後述する実施形態に記載の具体的手段との対応関係を示すものである。
【００２２】
【発明の実施の形態】
以下に、本発明を適用した車両周辺表示装置１の一実施形態を説明する。本実施形態の基本的なシステム構成を図１に示す。車両周辺表示装置１は、車両ｃの後部に配置されたカメラ２（例えばＣＣＤカメラ）および画像取り込み装置７と、車内のダッシュボード等に配置された車載モニタ３（例えば液晶ディスプレイ）およびスピーカ４と、画像処理を行う画像処理ユニット５と、車両周辺表示装置１の電源のオン／オフ等の切り替え入力を行うことのできる操作スイッチ群６を備えている。
【００２３】
図２に、画像処理ユニット５の当該車両ｃに搭載された装置との入出力関係をブロック図として示す。
【００２４】
カメラ２は、車両後方の映像を電気信号に変換して画像取り込み装置７に出力する。
【００２５】
画像取り込み装置７は、カメラ２から入力された信号をデジタル画像データにし、一定時間間隔で画像処理ユニット５にこの画像データを出力する。
【００２６】
ジャイロスコープ８は、車両ｃの回転角速度を検知し、それを信号として画像処理ユニット５に出力する。
【００２７】
車速センサ９は、車速パルス信号を画像処理ユニット５に出力する。
【００２８】
シフト位置センサ１０は、車両のシフト位置、あるいは車両のドライブレンジ（Ｌ、Ｄ、Ｒ、Ｎ、Ｐ等）の状態を検知し、それぞれの状態に基づいた信号を画像処理ユニット５に出力する。
【００２９】
画像処理ユニット５は、ＥＣＵを主要部とする画像データの処理を行う装置である。この画像処理ユニット５は、図示しないＣＰＵ、ＲＡＭ、ＲＯＭ、およびフラッシュメモリを有し、ＣＰＵがＲＯＭから所定のプログラムを読み出して実行することで動作し、その動作の必要に応じてＲＯＭ、ＲＡＭ、フラッシュメモリから情報を読み出し、またＲＡＭ、フラッシュメモリに対して情報を書き込む。また画像処理ユニット５は、その動作中に操作スイッチ群６、画像取り込み装置７、ジャイロスコープ８、車速センサ９、およびシフト位置センサ１０から信号の入力を受け、また必要に応じて車載モニタ３およびスピーカ４に信号を出力する。なお、以下においては、上記ＣＰＵによるプログラムの実行を、画像処理ユニット５によるプログラムの実行であるとして説明する。
【００３０】
次に、本実施形態において画像処理ユニット５がＲＯＭから読み出して実行する車両周辺表示プログラムについて説明する。図３に、このプログラムのフローチャートを示す。画像処理ユニット５は、操作スイッチ群６に対するユーザの電源オンの操作に基づいて起動し、その後このプログラムを読み出して実行する。
【００３１】
まず、ステップ１００にて、設定情報をフラッシュメモリから読み込む。この設定情報は、車両周辺表示装置１の製造時にあらかじめフラッシュメモリに保存されている。この設定情報には、後述する透過表示方法の指定、後輪の位置の表示方法の指定、車両ｃの各パーツの形状、寸法、配置等の情報が含まれている。
【００３２】
次にステップ１０３にて、シフト位置がバック（またはドライブレンジがＲ）であるか否かを判定する。ここで肯定と判断されると処理はステップ１０５に進み、一方否定と判断されると処理はステップ１７０に進む。尚、シフト位置は、シフト位置センサ１０からの信号により検出することができる。
【００３３】
ステップ１０５では、画像取り込み装置７から出力された画像、すなわち車両ｃの周辺の画像を取得する。
【００３４】
次にステップ１１０では、画像取り込み装置７から入力された画像を鳥瞰図画像に変換して、その変換された画像データを車載モニタ３に出力する。この鳥瞰図画像への変換は、具体的には図４に示すように、地上の画像の位置データを地上からの高さＨにあるカメラ位置Ｒからの焦点距離ｆにあるスクリーン平面Ｔに投影する変換の逆変換である。すなわち、鳥瞰図画像への変換は、カメラ２によって撮影した画像の、カメラ２を視点として投影した地上面座標系のデータへの座標変換である。この変換の技術は、例えば特開平１４−０８７１６０号公報、特開平１０−２１１８４９号公報に開示されている。
【００３５】
また、車載モニタ３に出力する画像には、カメラ２の視野の内から外に出た部分についても、その部分の位置を推定して含めるようにする。具体的には、ステップ１０３〜１２０の繰り返し処理において画像取り込み装置７から取得する時間的に連続した２つの鳥瞰図画像の間で一致する領域を抽出し、それに基づいて現在のカメラ１の視野から外れる移動領域を抽出する。そして、この一致する領域の鳥瞰図中における移動量だけ、鳥瞰図中のカメラ２の視野以外の部分の画像をずらし、その後移動領域の画像を描画する（合成画像を作成する）。更に、自車両及び視野角を示す逆Ｖ字状の線の描画を行う。
【００３６】
以上のステップ１１０の処理によって、図５の左側の図に示すような地上に引かれた駐車マス用ライン４１を含む画像データが画像取り込み装置７から入力された場合、その画像が図５右側の図に示すような車両ｃ及び逆Ｖ字形状４３を更に含む鳥瞰図に変換され、車載モニタ３に表示される。
【００３７】
次にステップ１１５にて、車両ｃの画像を描画する。具体的には、ステップ１１０で車載モニタ３に出力した鳥瞰図に、この鳥瞰図として描画された車両周辺に対して車両ｃが存在する位置に車両ｃが重なるよう、車両ｃの画像を車載モニタ３に出力する。また、この車両ｃの画像は透過的な画像とする。
【００３８】
図６に、透過的な車両の画像の具体例として、線画透明表示による車両の画像６２、半透明表示による車両の画像６３、および枠線透明表示による車両の画像６４を示す。
【００３９】
を示す。図中左側の塗りつぶし表示による車両の画像６１は、従来の技術による車両の表示例である。このような塗りつぶし表示による車両の画像６１を車両周辺の画像に重ねると、重なった部分、すなわち車両の陰となる部分は車両に隠されてしまう。
【００４０】
線画透明表示による車両の画像６２は、車両の意匠が線画によって表現され、線画以外の部分は透明となっている。このような画像が車両周辺の画像に重ねられると、この透明部分を通して車両の陰となる部分が視認できるような画像が合成される。
【００４１】
線画透明表示による車両の画像６３は、車両の存在する領域が半透明で表現された画像である。車両を半透明で表示する方法としては、例えば車両と周辺の画像とが重なる部分における周辺の画像をそれ以外の周辺の画像より薄く表示させたものを、車両の画像として重ねる等、各種公知の半透明表示手段を用いることができる。このような半透明の画像が車両周辺の画像に重ねられることで、この半透明部分を通して車両の陰となる部分が視認できるような画像が合成される。
【００４２】
枠線透明表示による車両の画像６４は、車両の外周の輪郭が枠線によって表現され、この枠線の内側部分は透明となっている。このような画像が車両周辺の画像に重ねられると、この透明部分を通して車両の陰となる部分が視認できるような画像が合成される。
【００４３】
なお、透過的表示としては、枠線表示、線画表示、半透明表示、透明表示を、本発明の課題が達成できる範囲内で適宜組み合わせたものを用いてもよい。また、画像６２の線画の最外周部分、および画像６４の枠線は、図６に示したように太線等で強調表示するようになっていてもよいし、強調表示されていなくてもよい。
【００４４】
ステップ１１５の処理によって合成された画像の例を図７、図８に示す。図７においては、車両ｃは線画表示および半透明表示を組み合わせて表示されている。また、図８においては、車両ｃは枠線表示および線画表示を組み合わせて表示されている。これらによって、路上の駐車マスの枠の線７１が視認できるようになっている。
【００４５】
なお、画像処理ユニット５は、上記した車両の透過表示の方法のうち複数を実現できるようになっており、ステップ１００で取得した設定情報に記載の透過表示方法の指定に基づいてそれらのうちの１つを選択して用いるようになっている。
【００４６】
また、車両の枠線を表示するときには、設定情報に記載の車両の全長、全幅等の情報に基づいて枠線の大きさを決定する。また、車両の線画を表示するときは、設定情報に記載の車両の各パーツの形状、寸法、配置等の情報に基づいて線画の意匠を決定する。
【００４７】
次にステップ１２０で、車両ｃの画像の一部として後輪の位置を示すための表示である後輪マーカの画像を車載モニタ３に出力する。図９に、枠線透明表示された車両ｃにおける後輪の位置を表示する方法の例を示す。後輪の位置の表示の具体例としては、図９に示す様に、後輪タイヤの領域９１、後輪の車軸９２、後輪タイヤが典型的な輪止めと接触する位置９３がある。
【００４８】
図１０に、これら３つの後輪位置を示すための後輪マーカ９１〜９３の位置関係を示す。後輪タイヤの領域９１、後輪の車軸９２は、設定情報に記載されている車両のタイヤ、車軸等の配置の情報に基づいて決定される。また、後輪タイヤが典型的な輪止めと接触する位置９３は、設定情報に記載されている輪止めの典型的な高さｈおよびタイヤの外径ｒから、後輪タイヤが典型的な輪止めと接触する位置９３と後輪の車軸９２との間の距離Ｌを求めることで決定される。なお、図１０の右上部に示した様な、車両の側方から見た場合の後輪タイヤの領域９１と輪止め９４との位置関係を示す画像を車載モニタ３に出力するようになっていてもよい。
【００４９】
なお、画像処理ユニット５は、上記した車両の後輪の位置の表示の方法のうち複数を実現できるようになっており、ステップ１００で取得した設定情報に記載の後輪の位置の表示方法の指定に基づいてそれらのうちの１つを選択して用いるようになっている。
【００５０】
ステップ１２０の後、処理はステップ１０３に戻る。
【００５１】
なお、上記したステップ１０３〜１２０のくり返し処理時において、画像処理ユニット５はスピーカ４に対して、例えば「周囲を確認してください」、「輪止めと車輪の位置関係を確認してください」等の、注意を促すメッセージの音声信号を繰り返し出力してもよい。
【００５２】
ステップ１７０では、以前に描画したカメラ２の視野外の領域の画像を消去し、すなわち、現在のカメラの画像（鳥瞰図画像）のみを表示し、ステップ１００に戻る。
【００５３】
以上のような画像処理ユニット５および車両周辺表示プログラムの処理の、ステップ１１０および１１５によって、車両周辺の画像に車両ｃ（すなわち自車両）の画像が重なることで合成された画像が車載モニタ３に表示される。そして、車両周辺の画像で車両ｃの陰となる部分が視認できるように、車両ｃの画像は半透明色、枠線、線図等で透過的に描かれているので、自車両の陰となる部分の車両周辺画像が隠されることによる情報の損失を抑えることができる。
【００５４】
また、車両の画像には、後輪の位置を示す表示が含まれているので、車両の後輪と車止めとの位置関係が視認できる。これによって、輪止めに後輪が勢い良く当たって車輪が衝撃を受けることを避けるよう、ユーザが上記表示を確認して運転することができる。また例えば、車両ｃの乗るべきレール、駐車マスの枠線、駐車スペースの路面に書かれた駐車マス番号等の路面表示が隠されることが防止される。
【００５５】
図１１に、車両ｃの表示方法として枠線透明表示、後輪の位置表示方法としてタイヤ領域表示が用いられている場合に、図３のステップステップ１０３〜１２０の処理が繰り返された場合の車載モニタ３における表示画像の変化を示す。この図中に示された３つの表示画面（ａ）、（ｂ）、（ｃ）は、車両ｃの後退時における時系列順に左から右へ並べられている。（ａ）、（ｂ）、（ｃ）においては路上に書かれた白線７１が、図（ｂ）に示す段階で車止め９４が車両ｃの陰に入るが、車両ｃが透過表示されているのでこれら白線７１車止め９４は隠されず、また後輪タイヤの領域９１が併せて表示されるので、車止め９４と後輪タイヤの領域９１との位置関係が視認できる。
【００５６】
なお、上記した実施形態において、図３のステップ１００で画像処理ユニット５がフラッシュメモリから読み出す設定情報の記載内容を書き換えるための書き換え用プログラムがＲＯＭに保存されており、そのプログラムをユーザが実行することにより、この情報が書き換わるようになっていてもよい。この書き換え用プログラムは、ユーザが設定情報を特定する操作スイッチ群１６を操作することで画像処理ユニット５に入力された信号に基づいて設定情報を書き換えるようになっていてもよいし、あるいはユーザが車種（例えばセダン、ワゴン等の車両区分、カローラ（登録商標）、フィールダー（登録商標）等の車両の名称）を特定する操作をスイッチ群１６に対して行うことによって画像処理ユニット５に入力された信号、およびＲＯＭまたはフラッシュメモリに保存された車種と設定情報との対応表に基づいて設定情報を書き換えるようになっていてもよい。
【００５７】
また、上記した実施形態において、専用の車両周辺表示装置１として本発明を実現しているが、例えば車載の後方カメラから映像信号の入力を受けるカーナビゲーション装置の一機能として、車両周辺表示装置１の上記した機能が実現されていてもよい。
【００５８】
また、上記した実施形態においては、撮像表示処理手段は鳥瞰図を表示するようになっているが、必ずしも鳥瞰図に限る必要はなく。例えば斜視図であってもよいし、３次元的表示であってもよい。すなわち、撮像表示処理手段が表示手段に表示させる形式は、車両周辺の画像に車両ｃの陰になる部分ができるような形式となっていれば足りる。
【００５９】
また、上記した実施形態において、画像処理ユニット５および画像処理ユニット５が実行するプログラムは、取得した車両周辺の画像中の輪止めの存在を認識するようになっていてよい。更に、この輪止めに車両が接近したことを検知すると、車載モニタ３に表示させる画像を、当該輪止め近辺を拡大した画像とするようになっていてもよい。
【００６０】
また、画像処理ユニット５および画像処理ユニット５が実行するプログラムは、認識した輪止めの地上からの高さを検知するようになっており、この検知に基づいて、車両ｃの後輪における当該輪止めとの接触位置を検出し、この検出した接触位置を図３のステップ１２０において表示するようになっていてもよい。
【図面の簡単な説明】
【図１】本発明の実施形態における主要なシステム構成を示す図である。
【図２】画像処理ユニット５の当該車両ｃに搭載された装置との入出力関係を示すブロック図である。
【図３】車両周辺表示プログラムのフローチャートである。
【図４】図３のステップ１１０における鳥瞰図画像への変換を説明する図である。
【図５】図３のステップ１１０における鳥瞰図画像への変換前後の画像の一例を示す図である。
【図６】透過的な車両の画像の具体例を示す図である。
【図７】図３のステップ１１５の処理によって合成された画像の一例を示す図である。
【図８】図３のステップ１１５の処理によって合成された画像の一例を示す図である。
【図９】枠線透明表示された車両ｃにおける後輪の位置を表示する方法の例を示す図である。
【図１０】後輪マーカ９１〜９３の位置関係を示す図である。
【図１１】車載モニタ３における表示画像の変化の一例を示す図である。
【図１２】従来例において、駐車マス９５に車両を停止させるとき、に表示される車両ｃ周辺の鳥瞰図である。
【符号の説明】
１…車両周辺表示装置、２…カメラ、３…車載モニタ、４…スピーカ、
５…画像処理ユニット、６…操作スイッチ群、７…画像取り込み装置、
８…ジャイロスコープ、９…車速センサ、１０…シフト位置センサ
６１…塗りつぶし表示による車両の画像、
６２…線画透明表示による車両の画像、６３…半透明表示による車両の画像、
６４…枠線透明表示による車両の画像、９１…後輪タイヤの領域、
９２…後輪の車軸、９３…後輪タイヤが典型的な輪止めと接触する位置、
９４…車止め、９５…駐車マス。

Claims

撮影された車両周辺の画像を取得する取得手段（１０５）と、前記取得手段が取得した車両周辺の画像で自車両の陰となる部分が視認できるように、前記車両周辺の画像と自車両の画像とを表示手段（３）に表示させる表示制御手段（１１０、１１５、１２０）と、を備え、前記表示制御手段は、前記自車両の画像を更に前記自車両の車輪と輪止めとの位置関係が視認できるようなものとする車両周辺表示装置であって、
前記表示制御手段は、前記自車両の画像を更に、その自車両の車輪のうち前記輪止めに接触する部分の位置が示されたものとすることを特徴とする車両周辺表示装置。
前記表示制御手段は、前記車両周辺の画像と前記自車両の画像を透過的な画像とすることで、前記取得手段が取得した車両周辺の画像で自車両の陰となる部分が視認できるようにすることを特徴とする請求項１に記載の車両周辺表示装置。
前記表示制御手段は、前記自車両の画像を、その自車両の外枠線が描かれ、かつこの外枠線の内側部分が透明となっているものとすることを特徴とする請求項２に記載の車両周辺表示装置。
前記表示制御手段は、前記自車両の画像を半透明なものとすることを特徴とする請求項２に記載の車両周辺表示装置。
前記表示制御手段は、前記自車両の画像を更にその自車両の外枠が描かれたものとすることを特徴とする請求項４に記載の車両周辺表示装置。
前記表示制御手段は、前記自車両の画像を更にその自車両の線画が描かれたものとすることを特徴とする請求項２ないし５のいずれか１つに記載の車両周辺表示装置。
前記表示制御手段は、前記自車両の画像を更にその自車両の車輪の位置が示されたものとすることを特徴とする請求項１ないし６のいずれか１つに記載の車両周辺表示装置。