JP4595649B2 - 駐車支援方法及び駐車支援装置 - Google Patents

駐車支援方法及び駐車支援装置 Download PDF

Info

Publication number
JP4595649B2
JP4595649B2 JP2005125436A JP2005125436A JP4595649B2 JP 4595649 B2 JP4595649 B2 JP 4595649B2 JP 2005125436 A JP2005125436 A JP 2005125436A JP 2005125436 A JP2005125436 A JP 2005125436A JP 4595649 B2 JP4595649 B2 JP 4595649B2
Authority
JP
Japan
Prior art keywords
image data
vehicle
parking
imaging
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005125436A
Other languages
English (en)
Other versions
JP2006298256A (ja
Inventor
俊宏 森
聖治 榊原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin AW Co Ltd
Original Assignee
Aisin AW Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin AW Co Ltd filed Critical Aisin AW Co Ltd
Priority to JP2005125436A priority Critical patent/JP4595649B2/ja
Publication of JP2006298256A publication Critical patent/JP2006298256A/ja
Application granted granted Critical
Publication of JP4595649B2 publication Critical patent/JP4595649B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Description

本発明は、駐車支援方法及び駐車支援装置に関する。
従来より、自動車を駐車させる際の運転操作を支援する装置として、車両の後端に取り付けられたカメラにより、周辺視界を撮像し、その撮像データを車室内に配設されたディスプレイに出力する装置が知られている(例えば、特許文献1参照)。このような後方カメラは、車両の後端の略中央において取付けられ、その光軸は、下方に所定角度傾けた状態で固定されている。そして、この後方カメラは、車両の後端から後方数メートルを撮像可能になっている。
特開2000−280823号公報
ところが、上記した駐車支援装置は、車両がバック走行しながら駐車枠に進入開始した時点では、駐車枠を示す白線や輪止めがディスプレイに表示されるが、車両が白線の終端や輪止めに接近するに従って、画面から駐車枠がはみ出し、最終的には白線や輪止めが全く表示されなくなってしまう。このため、運転者は、駐車枠に進入するに従って、車両と駐車目標領域との相対位置及び相対方向、ずれ量を把握し難くなる。その結果、タイヤと輪止めとの接触による衝撃が大きくなったり、白線に対して斜めに駐車したり、車両が駐車枠からはみ出てしまうことがある。
本発明は、上記問題点に鑑みてなされたものであり、その目的は、駐車目標領域に車両が進入した後も、駐車目標領域内に車両を誘導することができる駐車支援方法及び駐車支援装置を提供することにある。
上記問題点を解決するために、請求項1に記載の発明は、車両に設けられた撮像装置から、前記車両の周辺を撮像した画像データを、各撮像地点で取得する画像取得手段と、車両の位置を特定する位置特定手段と、前記画像データに基づく撮像画面を表示する表示手段と、制御手段とを用い、駐車操作を支援する駐車支援方法であって、前記制御手段が、記各撮像地点で撮像した前記画像データを、前記各撮像地点での前記車両の位置と関連付けて画像データ記憶手段に格納する画像データ記憶工程と、駐車目標領域を設定する設定工程と、設定した前記駐車目標領域が、現在地点の前記画像データに基づく撮像画面からはみ出すか否かを判断する判断工程と、前記判断工程においてはみ出すと判断した場合に、少なくともはみ出した部分を補完する補完部分を含む過去画像データを、前記画像データ記憶手段から読み出す画像データ読み出し工程と、現在地点の前記画像データを縮小した縮小画像データを生成し、当該縮小画像データと前記過去画像データの補完部分とを合成して、前記駐車目標領域全体を含む画像合成データを生成する画像合成工程と、前記画像合成データを出力して、当該画像合成データに基づく合成画面を前記表示手段に表示させる表示制御工程と
を有することを要旨とする。
請求項2に記載の発明は、請求項1に記載の駐車支援方法において、前記制御手段が、設定された前記駐車目標領域を表す座標を、前記車両の移動に応じて変換する変換工程をさらに有し、前記判断工程では、前記変換工程において変換された前記駐車目標領域を表す座標に基づいて、設定した前記駐車目標領域が現在地点の前記撮像データに基づく撮像画面からはみ出すか否かを判断することを要旨とする。
請求項3に記載の発明は、請求項2に記載の駐車支援方法において、前記変換工程では、前記駐車目標領域の座標を、現在地点の前記撮像データに基づく撮像画面上の座標に変換することを要旨とする。
請求項4に記載の発明は、車両に設けられた撮像装置から、前記車両の周辺を撮像した画像データを、各撮像地点で取得する画像取得手段と、前記画像データに基づく撮像画面を表示する表示手段と、前記車両の位置を特定する位置特定手段と、前記各撮像地点で生成した前記画像データを、前記各撮像地点での前記車両の位置と関連付けて格納する画像データ記憶手段と、駐車目標領域を設定する設定手段と、設定した前記駐車目標領域が、現在地点の前記画像データに基づく撮像画面からはみ出すか否かを判断する判断手段と、前記判断手段がはみ出すと判断した場合に、少なくともはみ出した部分を補完する補完部分を含む過去画像データを、前記画像データ記憶手段から読み出す画像データ読出手段と、現在地点の前記画像データを縮小した縮小画像データを生成し、当該縮小画像データと、前記過去画像データの前記補完部分とを合成し、前記駐車目標領域全体を含む画像合成データを生成する画像合成手段と、前記画像合成データを出力して、当該画像合成データに基づく合成画面を前記表示手段に表示させる表示制御手段とを備えたことを要旨とする。
請求項5に記載の発明は、請求項4に記載の駐車支援装置において、設定された前記駐車目標領域を表す座標を、前記車両の移動に応じて変換する変換手段をさらに有し、前記判断手段は、前記変換手段によって変換された前記駐車目標領域を表す座標に基づいて、設定した前記駐車目標領域が現在地点の前記撮像データに基づく撮像画面からはみ出すか否かを判断することを要旨とする。
請求項6に記載の発明は、請求項5に記載の駐車支援装置において、前記変換手段は、前記駐車目標領域の座標を、現在地点の前記撮像データに基づく撮像画面上の座標に変換することを要旨とする。
請求項7に記載の発明は、請求項4〜6のいずれか1項に記載の駐車支援装置において、前記設定手段は、前記表示手段に表示される画面に、前記駐車目標領域を設定するための設定指標を表示させるとともに、前記設定指標の位置又は形状又は大きさを指定する入力信号に基づいて、前記駐車目標領域の位置又は形状又は大きさを決定することを要旨とする。
請求項8に記載の発明は、請求項4〜7のいずれか1項に記載の駐車支援装置において、現在の前記車両の位置を示す車両位置指標を、前記合成画面内の前記車両の位置に応じた位置に重ね合わせた画面を生成する車両位置表示手段をさらに備え、前記表示制御手段は、前記車両位置指標を重ね合わせた画面を前記表示手段に表示させることを要旨とする。
請求項9に記載の発明は、請求項4〜8のいずれか1項に記載の駐車支援装置において、前記画像合成手段は、前記過去画像データによる前記補完部分に応じて、現在地点で生成した前記画像データを縮小し、当該縮小した現在地点で生成した画像データと前記過去画像データの前記補完部分とを合成することを要旨とする。
請求項10に記載の発明は、請求項4〜9のいずれか1項に記載の駐車支援装置において、前記各撮像地点で生成した前記過去画像データの座標を、前記現在地点の画像データ内の座標に変換する座標変換手段を備えたことを要旨とする。
請求項11に記載の発明は、請求項4〜10のいずれか1項に記載の駐車支援装置において、前記画像データ及び前記過去画像データの歪曲収差を補正する収差補正手段をさらに備えたことを要旨とする。
請求項12に記載の発明は、請求項4〜11のいずれか1項に記載の駐車支援装置において、前記画像合成手段は、前記合成画面が表示された際に、現在の前記画像データに基づく画像と、前記過去画像データに基づく画像とを視認によって判別可能となるように、現在地点の前記画像データと前記過去画像データの前記補完部分とを合成することを要旨とする。
請求項13に記載の発明は、請求項4〜12のいずれか1項に記載の駐車支援装置において、前記画像取得手段は、前記車両の後方に設けられた前記撮像装置から、前記車両の後方周辺を撮像した前記画像データを取得することを要旨とする。
請求項1に記載の発明によれば、制御手段は、撮像装置が各撮像地点で生成した画像データを、位置特定手段が算出した車両の位置と関連付けて画像データ記憶手段に格納する。また、駐車目標領域を設定し、この駐車目標領域が現在地点の画像データに基づく撮像画面からはみ出すか否かを判断する。駐車目標領域が画面からはみ出す場合に、そのはみ出した部分を補完する補完部分を含む過去画像データを読出し、その過去画像データにより現在の画像データを補完するように画像合成データを生成する。このため、車両の移動に伴って、画面から駐車目標領域がはみ出しても、蓄積した過去画像データを合成することにより、駐車目標領域全体を仮想的に表示手段に表示できる。従って、運転者は、表示手段の画面に基づき、駐車目標領域からずれることなく、駐車目標領域内に車両を駐車させることができる。
請求項2に記載の発明によれば、制御手段は、設定された駐車目標領域を表す座標を、車両の移動に応じて変換する。このため、駐車目標領域を、各地点の画像データに基づいて逐次検出するような処理を行うことなく、駐車目標領域が現在地点の画像データに基づく撮像画面からはみ出すか否かを判断できる。
請求項3に記載の発明によれば、制御手段は、駐車目標領域の座標を、現在地点の撮像データに基づく撮像画面上の座標に変換する。このため、駐車目標領域を、表示手段の画面上で区画表示することが可能となる。
請求項4に記載の発明によれば、駐車支援装置は、撮像装置が各撮像地点で生成した画像データを、その時点の車両の位置と関連付けて画像データ記憶手段に格納する。また、設定手段により駐車目標領域を設定するようにした。そして、駐車目標領域が現在地点の画像データに基づく撮像画面からはみ出すか否かを判断する。駐車目標領域が画面からはみ出す場合に、そのはみ出し部分を少なくとも含む補完部分を有する過去画像データを読出し、その過去画像データにより現在地点の画像データを補完するように画像合成データを生成する。このため、現在地点の撮像データに基づく撮像画面から駐車目標領域がはみ出しても、蓄積した過去画像データを合成することにより、駐車目標領域全体を仮想的に表示手段に表示できる。従って、運転者は、駐車目標領域に基づき、駐車目標領域内に車両を駐車させることができる。
請求項5に記載の発明によれば、駐車支援装置は、設定された駐車目標領域を表す座標を、車両の移動に応じて変換する変換手段をさらに有する。即ち、設定された駐車目標領域を変換するので、車両の移動に伴い、駐車目標領域を逐次検出する必要がない。
請求項6に記載の発明によれば、変換手段は、駐車目標領域の座標を、現在地点の撮像データに基づく撮像画面上の座標に変換する。このため、駐車目標領域を、表示手段の画面上で区画表示することが可能となる。
請求項7の記載の発明によれば、設定手段は、駐車目標領域を設定するための設定指標を画面に表示させる。そして、設定指標の位置又は形状又は大きさを指定する入力信号に基づいて、駐車目標領域の位置又は形状又は大きさを決定する。このため、画面の任意の場所に駐車目標領域を設定することができる。
請求項8に記載の発明によれば、現在地点での車両の位置を示す車両位置指標を、合成画面内の車両の位置に応じた位置に重ね合わせた画面を生成する。このため、運転者は、車両の位置と、駐車目標領域とのずれ量を把握することができるので、駐車目標領域内の所望の位置に車両を駐車させることができる。
請求項9に記載の発明によれば、画像合成手段は、過去画像データが補完する補完領域に応じて、現在地点で生成した画像データを縮小する。このため、駐車目標領域全体を含む合成画面を表示した際に、画像の連続性を良好にすることができる。
請求項10に記載の発明によれば、画像変換手段によって、各撮像地点での、異なる視点から撮像された過去画像データの座標を、現在地点の画像データ内の座標に変換する。このため、例えば、異なる視点から撮像した過去画像データを、仮想的に、現在地点で撮像された画像データの視点に変換することができる。このため、各画像データが描画する画像の連続性を良好にすることができる。
請求項11に記載の発明によれば、駐車支援装置は、画像データに生じた歪曲収差を補正する収差補正手段を備えている。このため各画像データを合成し、表示手段に表示した際に、画像の連続性を良好にすることができるので、ユーザに違和感を与えないようにすることができる。
請求項12に記載の発明によれば、画像合成手段は、画像データに基づく画像と、現在地点で生成された画像データに基づく画像と区別できるように合成する。このため、合成画面が表示された際に、過去画像データに基づく画像部分と、現在地点での画像データに基づく部分とを判別できるので、画面内に進入した障害物がどの時点で撮像されたか、或いは、合成画面のうち信頼性が高い画像はどの部分であるかを判断できる。
請求項13に記載の発明によれば、画像取得手段により、車両の後方に設けられた撮像装置から、車両の後方周辺を撮像した画像データが取得される。このため、車両が駐車目標領域に向ってバックした際に、車両後方を撮像した画像データを用いて画像合成データを生成し、運転操作が難しい場合に駐車支援を行うため、特に効果を発揮できる。
以下、本発明の駐車支援装置を、自動車(車両)に搭載され、経路案内を行うナビゲーション装置に具体化した実施形態を図1〜図20に従って説明する。図1は、ナビゲーション装置1の構成を説明するブロック図である。
図1に示すように、ナビゲーション装置1は、制御手段としての制御装置2を備えている。この制御装置2は、主制御を行う制御部3、画像データ記憶手段としてのRAM4、ROM5を備えている。制御部3は、ROM5に格納された経路案内プログラム、画像データ保存プログラム、合成データ出力プログラム、駐車案内プログラム等、各種プログラムに従って、各種処理を行う。尚、制御部3は、特許請求の範囲に記載の画像取得手段、位置特定手段、演算手段、画像データ読出手段、画像合成手段、変換手段、表示制御手段、目標領域設定手段、車両位置表示手段、座標変換手段及び収差補正手段を構成する。
また、ROM5には、輪郭描画データ5aが格納されている。輪郭描画データ5aは、車両Cの輪郭をディスプレイ12に表示するためのデータである。また、輪郭描画データ5aは、車両Cの大きさに応じて設定され、車両Cが小型車である場合には、画面に応じた小型車の大きさの輪郭を描画するようになっている。
また、制御装置2は、GPS受信部6及び位置特定手段を構成する自車位置検出部7を備えている。GPS受信部6は、GPS衛星からの電波を受信する。自車位置検出部7は、GPS受信部6から受信した検出データに基づいて、自車位置の絶対位置を示す緯度・経度・高度等の測位データを定期的に算出する。
さらに、制御装置2は、センサインターフェース(I/F部8)を備えている。制御部3は、このI/F部8を介して、車両Cに配設された車速センサ20及びジャイロセンサ21から、車両Cの速度及び相対方位を取得し、これらを自車位置検出部7に送信する。自車位置検出部7は、GPS受信部6による測位データにより算出した基準自車位置をもとに、車速及び相対方位に基づき、自律航法による自車位置データを生成する。このとき、自車位置検出部7は、図3に示すように、車両Cの後輪C1の車軸C2の中心点25を自車位置データとして算出する。そして、GPS受信部6から測位データを逐次取得しながら、自律航法による自車位置を補正し、自車位置を決定する。
また、制御装置2は、地図データ記憶部9を備えている。地図データ記憶部9には、地図データとしての経路データ9a及び地図描画データ9bが格納されている。経路データ9aは、各道路の交差点や曲点を示すノードを示すノードデータや、各ノードを接続するリンクを示すリンクデータ等を格納しており、制御部3は、目的地までの経路案内処理を行う際に、この経路データ9a及びROM5に格納された経路案内プログラムに従って経路を探索する。また、制御部3は、上記したように算出した自車位置データと、走行軌跡、経路データ9aを照合して、自車位置座標を適切な道路上に位置決めし、自車位置データをさらに補正する。地図描画データ9bは、広範囲から狭範囲の地図を表示するためのデータであって、経路データ9aと関連付けられている。
また、制御装置2は、画像取得手段を構成する撮像データ取得部10を備えている。撮像データ取得部10は、車両Cに設けられた撮像装置としての後方カメラ22から撮像データを、車両Cの所定移動量ごとに、或いは所定時間ごとに取得する。
後方カメラ22は、図2に示すように、車両Cのバックドア等、車両Cの後端の略中央に、光軸Aを下方に向けて取り付けられている。この後方カメラ22は、広角レンズ、ミラー等から構成される光学機構と、CCD撮像素子(いずれも図示せず)とを備えている。図3に示すように、後方カメラ22は、例えば左右140度の後方視野を有し、車両Cの後端を含む、後方約3mの撮像範囲S(周辺視界)を撮像可能になっている。また、制御部3は、自車位置検出部7から取得した自車位置データに基づいて、後方カメラ22の撮像範囲Sを、車両C用のXY座標系(以下、車両座標系という)の座標として演算可能になっている。この車両座標系は、路面と平行な水平面の座標である。
後方カメラ22によって生成された撮像データは、アナログ/デジタル変換されたデジタルデータであって、撮像データ取得部10は、各種補正や合成等の画像処理が可能な画像データGとして、制御部3に送信する。制御部3は、その画像データGを取得すると、図4に示すように、画像データG(撮像データ)を生成した地点の自車位置データ16と関連付けて、画像データGをRAM4に一時格納する。また、このとき、画像データGに、自車位置データ16に基づいて算出した撮像範囲Sの座標を示す撮像範囲データ17を関連付けて格納してもよい。これらの自車位置データ16及び撮像範囲データ17は、車両座標系の座標で示されている。また、画像データGは、後方カメラ22が広角レンズを用いているため、ナビゲーション装置1が具備する表示手段としてのディスプレイ12に表示した際に、画面周辺の画像が縮む、いわゆる歪曲収差が生じている。
さらに、図1に示すように、制御装置2は、I/F部8を介して、車両Cに設けられた
ステアリングセンサ23、シフトセンサ24と接続されている。制御部3は、ステアリングセンサ23,シフトセンサ24から舵角検出信号及びシフトポジション信号を取得する。そして、制御部3は、シフトポジション信号に基づいて、変速機のシフトポジションがリバース状態であるか否かを判断する。シフトポジションがリバースであって、車両Cの後方の画像を単に表示する場合には、制御部3は、ROM5に格納された駐車案内プログラムに従って、RAM4に一時格納された現在地点の画像データGを読出し、図5に示す周辺視界画面としての後方視界画面40をディスプレイ12に表示する。また、車幅延長線42と、舵角検出信号に基づいた予想軌跡線41とを、公知の方法で、後方視界画面40に重ねて描画する。予想軌跡線41は、車両Cの舵角及び車幅に応じた進行軌跡を示す。車幅延長線42は、車両Cの車幅を後方に延長した指標である。従って、運転者は、駐車する際に、予想軌跡線41と、車幅延長線42とのずれ量に応じて操舵を行う。
また、ナビゲーション装置1のディスプレイ12は、タッチパネルであって、制御部3から送信された画像データGや、画像データGを合成した画像合成データを所定のタイミングで出力する。さらに、ディスプレイ12は、変速機のシフトポジションがリバースになっていない場合には、制御部3から送信された地図描画データ9bを出力して、自車位置周辺の地図画面12a(図1参照)を自車位置マーク等と併せて表示する。
さらに、制御装置2は、入力信号取得部13を備え、この入力信号取得部13により、ディスプレイ12のタッチパネル操作によって入力された入力信号、ナビゲーション装置1に配設された操作ボタン14を押釦することによって入力された入力信号を取得して、制御部3に送信する。この操作ボタン14の中には、目標設定ボタン14aが備えられている。
目標設定ボタン14aは、駐車操作を行う際に、駐車目標領域を設定するために行う。この目標設定ボタン14aを、例えば、図13に示すように、路面に標示された白線43によって区画された駐車領域Rが、車両Cの後方になるような地点で操作すると、図14に示すような目標設定画面44がディスプレイ12に表示される。目標設定画面44には、背景画像45と、背景画像45に重ねられた、略台形状の駐車目標枠(以下、目標枠46という)が表示されている。駐車目標領域及び設定指標としての目標枠46は、駐車の目標となる領域を設定するための指標であって、初期画面では、予め定められた形状及び大きさになっている。そして、目標設定画面44に表示された拡大ボタン47、縮小ボタン48を入力操作すると、目標枠46が拡大又は縮小され、図15の目標設定画面44に示すように、目標枠46の大きさ(形状)を、背景画像45内の白線49に沿うように変化することができる。また、タッチパネル操作等により、目標枠46をスライドさせ、目標枠46の位置を設定できるようになっている。そして、設定ボタン56を操作することにより、目標枠46の大きさ(形状)、位置が確定される。
また、図1に示すように、ナビゲーション装置1は、スピーカ15を備えている。スピーカ15は、制御部3から送信された音声出力信号に基づき、各種案内音声や案内音を出力する。
また、制御装置2は、図1に示すように、変換手段、画像合成手段、目標領域設定手段、車両位置表示手段、座標変換手段及び収差補正手段を構成する画像処理部11を備えている。画像処理部11は、RAM4から画像データGを取得して、画像データGの補正や、画像合成データの生成等を行う。画像データGの補正では、画像処理部11は、各画像データGに生じた、広角レンズによる歪曲収差を補正する。
また、画像処理部11は、図6に示すように、自車位置Aの後方カメラ22の撮像画面30のxy座標系(以下、画面座標系という)上に設定された座標点、即ち画素点の座標
を示す画素座標31を、自車位置Bの撮像画面30内の座標に変換する。このとき、例えば、制御部3により、自車位置Aから自車位置Bまでの車両Cの移動量及び移動方向を求める。そして、画像処理部11により、その移動距離及び移動方位に基づいて、自車位置A内の画素座標31を、平行移動、回転移動等させ、自車位置Bの撮像画面30内の画素座標33に変換する。
或いは、例えば、後方カメラ22の光軸Aの角度及び撮像範囲S等に基づき、画面座標系(xy座標系)と車両座標系(XY座標系)との関係式を予め求め、その関係式に基づいて、画素座標31を、車両座標系の座標に変換する。そして、このとき、車両座標系の自車位置を示す中心点25の座標を加味することにより、特定の自車位置(自車位置A)での撮像画面30内の画素座標31を、車両座標系の座標点32に変換する。さらに、車両系座標の座標点32を、上記した関係式により自車位置Bの撮像画面30内の画素座標33に変換する。これにより、自車位置Aで生成した画像データGを、自車位置Bの後方カメラ22のカメラ視点で撮像した画像データGのように変換することができる。
また、画像処理部11は、図14に示す目標設定画面44で目標枠46が設定されると、その目標枠46の画面座標系の座標を取得する。具体的には、画像処理部11は、制御部3を介して入力信号取得部13から入力信号を受信して、図7に示すように、ディスプレイ12の撮像画面30内で、目標枠46の角部の4点にあたる画素座標31a〜31dの座標を取得する。尚、ディスプレイ12の表示領域は、画面座標系内の領域とする。
また、画像処理部11は、制御部3から、車両Cの基準位置からの移動距離及び移動方位等の移動量を取得して、その移動量に基づき、画素座標31a〜31dを変位させる。例えば、車両Cが、初期位置から駐車領域Rに接近する方向に平行移動した場合には、図7の鎖線で示すように、画素座標31a〜31dをそれぞれ異なる方向に平行移動させて、目標枠46を拡大する。また、車両Cが初期位置から旋回した場合には、図7中1点鎖線で示すように、画素座標31a〜31dを回転移動させて、目標枠46の形状及び位置を変更する。
また、画像処理部11は、RAM4に蓄積された画像データGのうち、現在の自車位置(以下、現在地点と言う)での画像データG1と、その画像データG1よりも過去に生成及び蓄積された過去画像データG2とを合成する。まず、画像処理部11は、上記したように、車両Cの移動距離及び移動方位に応じて目標枠46を変更し、変更した目標枠46が、画面座標系の撮像画面30(ディスプレイ12の表示領域)内に収容されるか否かを判断する。そして、図8に示すように、目標枠46が、撮像画面30からはみ出すと判断した場合には、そのはみ出し部分46aを含む、補完部分としての画面外領域51の座標を取得する。また、図14に示すように、後方カメラ22は、車両Cの後方バンパーB(図2参照)等の車体の後端部分を撮像しているので、この車両後端画像54にあたる、車両後端範囲55の座標を取得し、画面外領域51に含めるようにする。尚、この車両後端範囲55は、常に一定のデータ領域である。
さらに、その画面外領域51の各画素座標を、上記したように、画面座標系の各画素座標から車両座標系の各座標点に座標変換する。そして、車両座標系の各座標点のデータを制御部3に送信する。制御部3は、その車両座標系の各座標点を撮像範囲データ17内に含む画像データGを、RAM4に蓄積された画像データG内において検索する。該当する過去画像データG2を検出した場合には、その過去画像データG2を読み出す。このとき、その各座標点をそれぞれ部分的に含む、複数の画像データGを読み出してもよい。
画像処理部11は、制御部3を介して、現在地点での実際の画像データG1をRAM4から取得する。さらに、図8に示す目標枠46を、図9に示すように撮像画面30内に収
まるように縮小する。そして、そのときの縮小率に基づいて、現在地点での画像データG1を図9に示す縮小範囲52まで縮小し、縮小画像データG1aを生成する。
そして、例えば、1つの過去画像データG2を用いる場合には、図10に模式的に示すように、この縮小画像データG1aを、図9に示す縮小範囲52と撮像画面30との相対位置に基づいて、過去に生成した過去画像データG2に重ね、画像合成データGAを生成する。これにより、図9の撮像画面30のうち、縮小範囲52以外の領域を、過去画像データG2によって合成する。つまり、過去画像データG2により、図8の画面外領域51に対応する補完範囲53(図9参照)が補完されて、目標枠46を撮像画面30内に収容可能な画像合成データGAが生成される。また、複数の過去画像データG2を用いて画像合成データGAを生成する場合には、複数の過去画像データG2によって、補完範囲53の異なる領域をそれぞれ補完する。
次に、本実施形態の処理手順について、図11及び図12に従って説明する。図11は、画像データ保存処理の手順を示し、図12は、画像合成データ出力処理の手順を示す。尚、制御装置2は、この画像データ保存処理及び画像合成データ出力処理を並行して行う。
図11に示す画像データ保存処理は、制御装置2が、ROM5に格納した画像データ保存プログラムに従って行う処理である。まず、制御部3は、変速機のシフトポジションがリバースであるか否かを判断する(ステップS1−1)。具体的には、制御部3が、I/F部8を介して、シフトセンサ24からシフトポジション信号を取得することにより判断する。
シフトポジションがリバースでない場合には(ステップS1−1においてNO)、ステップS1−1の判断処理を繰り返す。シフトポジションがリバースであると判断した場合には(ステップS1−1においてYES)、制御部3は、自車位置検出部7から自車位置データ16を取得する(ステップS1−2)。自車位置データ16を取得すると、制御部3は、撮像データ取得部10から画像データGを取得する(ステップS1−3)。そして、現在地点の撮像範囲Sの座標を示す撮像範囲データ17を算出し、自車位置データ16及び撮像範囲データ17と、取得した画像データGとを関連付けて、RAM4に格納する(ステップS1−4)。
そして、制御部3は、I/F部8及び入力信号取得部13が終了トリガがあるか否かを判断し(ステップS1−5)、予め設定した終了トリガがある場合には(ステップS1−5においてYES)、処理を終了する。具体的には、I/F部8を介して、パーキング又はドライブを示すシフトポジション信号の受信や、図示しない車両ECUからのイグニッションモジュールのオフ信号の受信があった場合に処理を終了する。又は、入力信号取得部13を介して、目標設定ボタン14aの入力操作信号を受信した場合に処理を終了する。終了トリガがない場合には(ステップS1−5においてNO)、ステップS1−2に戻って上記した処理を繰り返す。
このようなステップS1−2〜ステップS1−5の処理は、自車位置が数十mm移動した撮像地点、又は数十ミリ秒〜1秒が経過した時点の撮像地点ごとに繰り返し行われる。このため、車両Cがバック走行する際には、RAM4には、互いに連続性のある各画像データGが蓄積されていく。この画像データGは、画像データGの合成だけでなく、図5に示す後方視界画面40をディスプレイ12に表示する際にも使用される。
次に、図12に従って、画像合成データ出力処理について説明する。この画像データ合成処理は、制御装置2が、ROM5に格納した合成データ出力プログラムに従って行う処
理である。
まず、制御部3は、画像データ保存処理と同様に、シフトポジションがリバースであるか否かを判断する(ステップS2−1)。シフトポジションがリバースである場合には(ステップS2−1においてYES)、目標枠46の設定を待つ(ステップS2−2)。詳述すると、制御部3は、目標設定ボタン14aの入力操作を待つ。そして、入力信号を入力信号取得部13から取得した場合に、図14に示す目標設定画面44をディスプレイ12に表示する。さらに、目標設定画面44で、目標枠46が縮小又は拡大され、設定ボタン56が入力操作されると(ステップS2−2においてYES)、上記したように画面座標系での目標枠46の座標を取得し、ステップS2−3に進む。
目標設定ボタン14aの操作が行われなかったり、目標枠46の設定が完了していない間は(ステップS2−2においてNO)、図5に示す、後方視界画面40や目標設定画面44をディスプレイ12に表示しながら、ステップS2−2の目標設定画面44での目標枠46の設定を待つ。
ステップS2−3では、制御部3は、自車位置データ16を取得する。目標枠46が設定されたときの自車位置データ16は、初期位置として設定される。例えば、図13に示す車両Cの位置で目標枠46が設定されると、その位置を初期位置とする。
そして、制御部3は、車両Cの移動量を演算する(ステップS2−4)。このとき、制御部3は、例えば、初期位置からの移動量(移動距離及び移動方位)を算出する。
さらに、制御部3は、移動量を画像処理部11に送信し、上記したように、目標枠46の座標を車両Cの移動量に応じて更新させる(ステップS2−5)。このとき、移動量が所定値以下である場合には、画像処理部11は目標枠46を更新しないようにしてもよい。
そして、制御部3は、画像処理部11に基づいて、更新した目標枠46の座標が図8に示すように、撮像画面30からはみ出すか否かを判断する(ステップS2−6)。
目標枠46が撮像画面30内に収容されていると判断した場合には(ステップS2−6においてNO)、現在地点の画像データGをRAM4から読出し、車両Cの後方を表示した後方視界画面40を表示しながら、ステップS2−13に進み、終了トリガがあるか否かを判断する。この終了トリガの判断では、画像データ保存処理と同様に、パーキング又はドライブを示すシフトポジション信号、図示しない車両ECUからのイグニッションモジュールのオフ信号、目標設定ボタン14aの操作による入力操作信号の受信の有無に基づく。終了トリガが無い場合には(ステップS2−13においてNO)、ステップS2−3に戻る。
目標枠46が撮像画面30からはみ出すと判断した場合には(ステップS2−6においてYES)、制御部3及び画像処理部11は、はみ出し量に基づき、必要な画像データGを推測する(ステップS2−7)。上記したように、画像処理部11は、目標枠46のはみ出し部分46a、後方バンパーB等の画像にあたる車両後端範囲55を含む画面外領域51の各座標を取得し、その各座標を、車両座標系に座標変換する。そして、その座標のデータを制御部3に送信し、制御部3は、その座標データを撮像範囲データ17内に含む画像データGを検索する。即ち、制御部3は、目標枠46のはみ出し部分46a等を補完するために、その領域を撮像した画像データGを検索する。
各画像データGの中から、該当する過去画像データG2を検出すると、制御部3は、その過去画像データG2を読み出す(ステップS2−8)。このとき、制御部3は、例えば、図16に示すような撮像範囲Sを撮像した過去画像データG2を一つ読出す。この過去
画像データG2は、画面外領域51に相当する撮像範囲を全て含んでいる。また、その過去画像データG2に関連付けられた、自車位置データ16及び撮像範囲データ17も読出す。
そして、制御部3は、その過去画像データG2、自車位置データ16及び撮像範囲データ17を画像処理部11に送り、画像処理部11により、その過去画像データG2を補正させる(ステップS2−9)。画像処理部11は、まず過去画像データG2の歪曲収差を補正する。そして、画像処理部11は、上記したような方法で、図6に示すように、過去画像データG2に対応する自車位置(自車位置A)での画素座標31を、現在地点(自車位置B)での撮像画面30内の座標に変換する。これにより、他の地点で生成した過去画像データG2を、現在地点の後方カメラ22のカメラ視点で撮像したように変換することができる。
さらに、画像処理部11は、過去画像データG2に対し、色調補正、増減色等の画像加工を行い、現在地点の画像データG1の色調等と異ならせる。これにより、ディスプレイ12に表示された際に、過去画像データG2の画像と、現在地点の画像データG1の画像とを視認により区別できる。
また、画像処理部11は、現在地点の画像データG1を補正する(ステップS2−10)。詳述すると、画像処理部11は、図8のように撮像画面30からはみ出した目標枠46を、図9に示すように撮像画面30内に収まるように縮小する。そして、そのときの縮小率に基づいて、現在地点での画像データG1を図9に示すような縮小範囲52まで縮小し、縮小画像データG1aを生成する。
そして、画像処理部11は、縮小画像データG1a、過去画像データG2を合成する(ステップS2−11)。例えば、1つの過去画像データG2を用いる場合には、画像処理部11は、図10に示すように、過去画像データG2に、現在地点の縮小画像データG1aを重ね、縮小画像データG1aを表示される側にする。このとき、過去画像データG2は、補完範囲53を補完するように、縮小画像データG1aと重ねられる。その結果、画像合成データGAが生成される。複数の過去画像データG2を用いる場合には、補完範囲53を、複数の過去画像データG2で補完するように、縮小画像データG1aと重ね合わせる。
画像合成データGAを生成すると、制御部3は、その画像合成データGA及び他の指標をディスプレイ12に表示する(ステップS2−12)。画像合成データGAのみを出力した状態では、図17に表示されるような合成画面58がディスプレイ12に表示される。合成画面58には、現在の縮小画像データG1aに基づく現在画像59と、過去画像データG2によって補完された補完画像60と、縮小された目標枠46とが重ねられて表示されている。補完画像60は、過去画像データG2を加工しているため、視認によって現在画像59と識別可能になっている。従って、現在画像59が、現在撮像されている画像だと認識することができるので、現在地点の後方カメラ22の撮像範囲S内に、障害物62(図17参照)が進入してきても、現在画像59によって、それが現時点で進入した障害物であると判断できる。また、補完画像60が、過去の画像であると認識できるので、その補完画像60に対応する実際の場所を目視する等、その領域内の障害物等に特に注意を払うことができる。
画像処理部11は、実際には、ROM5に格納された輪郭描画データ5a(図1参照)を用いて、図17の合成画面58のうち車体の下方にあたる領域に、図18に示すように、車両位置指標としての車両輪郭線61を重ねて描画する。
輪郭描画データ5aによって描画された車両輪郭線61は、撮像画面30のうち、自車位置に応じた位置に、必要な部分だけ描画される。図18に示す合成画面58aでは、車体の下方にあたる領域、つまり補完画像60によって補完される領域が比較的小さいため、車体の後方(例えば、バンパー、バックドア、トランクのあたり)に相当する車両輪郭線61を、補完画像60(過去画像データG2)の部分に重ねて描画する。これにより、車体の下方にあたる補完画像60が、車体を透過してディスプレイ12に表示されているように見える。運転者は、車両輪郭線61と、目標枠46全体とを視認して、目標枠46との相対位置やずれ量を把握したり、車両Cと障害物62との相対距離を把握する。
また、制御部3は、ステアリングセンサ23から舵角検出信号を受信して、画像合成データGAに、予想軌跡線41及び車幅延長線42を表示する。ここでは、操舵が行われていないため、予想軌跡線41上に車幅延長線42が重なって表示されている。
次に、制御部3は、終了トリガがあるか否かを判断する(ステップS2−13)。終了トリガがあると(ステップS2−13においてYES)、そのまま処理を終了する。終了トリガが無いと判断すると(ステップS2−13においてNO)、ステップS2−3に戻る。そして、上記した処理を繰り返す。
上記した処理を何回か繰り返し、車体の約半分が駐車領域Rに進入すると、図19に示すような合成画面63が表示される(ステップS2−12)。合成画面63は、現在画像64、補完画像65、車両輪郭線61が表示されている。この合成画面63において、車両輪郭線61は、車体の外形を示す外郭描画線66、各後輪を示す後輪描画線67とから構成されている。即ち、車両Cが駐車領域Rに向かってバック走行するに従って、撮像画面30のうち、補完画像65の割合が多くなり、現時点の画像である現在画像59の表示範囲(縮小範囲52)が狭められて行く。そして、補完画像65の表示範囲(補完範囲53)の割合が増えると同時に、車両輪郭線61が示す車体の描画範囲が、図中y矢印方向(車両Cの進行方向)に向かって拡大し、車体の全体が車両輪郭線61によって徐々に表示されていく。尚、実際の合成画面63では、予想軌跡線41、車幅延長線42も表示されているが、ここでは図示を省略する。
さらに、車体全体が駐車領域R(目標枠46)内に進入すると、図20に示すような合成画面68がディスプレイ12に表示される(ステップS2−12)。合成画面68では、現在画像69、補完画像70、車両輪郭線61が表示されている。車両輪郭線61としては、外郭描画線66、後輪描画線67の他、前輪描画線71が表示されている。このため、この車両輪郭線61によって、車体が目標枠46に沿って真っ直ぐであるかどうかを確認できる。このように、車両輪郭線61が目標枠46に収められると、運転者は、シフトチェンジ、エンジンの停止、目標設定ボタン14aの操作を行い、制御部3は終了トリガがあると判断し(ステップS2−13)、画像合成データ出力処理を終了する。
上記実施形態によれば、以下のような効果を得ることができる。
(1)上記実施形態では、ナビゲーション装置1の制御装置2は、車両Cの後方カメラ22により生成された画像データGを、各撮像地点で取得するようにした。また、制御装置2の制御部3は、取得した画像データGを、自車位置検出部7から取得した自車位置データ16、撮像範囲データ17と関連付けてRAM4に格納するようにした。また、制御部3及び画像処理部11により、目標設定画面44で予め設定された駐車領域R(目標枠46)の座標を、現在地点の車両の位置に応じて変換するようにした。さらに、画像処理部11により、車両Cの位置に応じて変換された目標枠46が、撮像画面30からはみ出すか否かを判断し、はみ出すと判断した場合に、補完が必要な領域(画面外領域51)の座標を演算するようにした。また、画像処理部11及び制御部3により、RAM4に格納された各画像データGのうち、画面外領域51の座標と関連付けられた過去画像データG
2を読み出し、過去画像データG2により現在地点で生成した画像データG1を補完させることにより、目標枠46が撮像画面30内に含まれた画像合成データGAを生成するようにした。そして、制御部3により、画像合成データGAをディスプレイ12に表示するようにした。
従って、例えば車両Cが駐車領域R内に進入し、後方カメラ22により駐車領域Rの全体を撮像できなくなっても、目標枠46が画面からはみ出す部分にあたる画像を、過去画像データG2で補完することにより、目標枠46全体をディスプレイ12に表示できる。従って、運転者は、車両Cが駐車領域R内に進入し、駐車領域Rが車体の下方に位置するようになっても、駐車領域Rの全体(目標枠46全体)をディスプレイ12で視認することができる。このため、車体が、その駐車領域Rからずれたり、曲がったりすることのないように、車両Cを駐車させることができる。
(2)上記実施形態では、制御部3及び画像処理部11は、ディスプレイ12に、駐車領域Rを設定するための目標枠46を目標設定画面44上に表示するようにした。さらに、運転者による、目標枠46の位置又は形状又は大きさを指定する入力操作に基づいて、駐車領域R(目標枠46)の画面座標系の座標を決定するようにした。このため、運転者は、画面の任意の場所に駐車領域Rを設定することができる。
(3)上記実施形態では、制御部3及び画像処理部11は、画像合成データGAと重ねて、現在地点の自車位置に応じた車両輪郭線61を合成画面58a,63,68に表示するようにした。このため、車両Cの位置と、駐車領域R(目標枠46)とのずれ量を把握し易くすることができるので、車両Cを駐車領域R内に、より確実に誘導することができる。
(4)上記実施形態では、画像処理部11は、目標枠46の縮小率や、過去画像データG2が補完する補完範囲53に応じて、現在地点で生成した画像データG1を縮小し、過去画像データG2の補完範囲53以外の領域に重ねて合成するようにした。このため、ディスプレイ12に合成画面58a,63,68を表示した際に、画像の連続性を良好にすることができる。
(5)上記実施形態では、撮像データ取得部10は、車両Cの後端部に設けられた後方カメラ22から、車両Cの後方の撮像範囲Sを撮像した画像データGを取得するようにした。このため、車両Cが駐車領域Rに向ってバックした際に、車両C後方を撮像した画像データGを用いて画像合成データGAを生成して、運転操作が難しい場合に駐車支援を行うため、特に効果を発揮できる。
(6)上記実施形態では、画像処理部11は、各画像データGの歪曲収差を補正するようにした。このため各画像データGを合成し、ディスプレイ12に表示した際に、画像の連続性を良好にすることができるので、ユーザに違和感を与えないようにすることができる。
(7)上記実施形態では、RAM4から読出した各過去画像データG2を、現在地点での撮像画面30の画面座標系に変換するようにした。このため、異なるカメラ視点で撮像して生成した画像データを、現在地点のカメラ視点で撮像した画像データG1のように変換できるので、合成画面58a,63,68として表示した際に、画像の連続性をより良好にすることができる。
(8)上記実施形態では、画像合成データGAがディスプレイ12に表示された際に、現在地点で生成された画像データG1に基づく画像と、過去画像データG2に基づく画像
が視認によって判別可能となるように画像加工し、過去の画像が表示されていることを警告するようにした。このため、合成画面58a,63,68のうち、補完した領域と、現在地点での画像の領域とを判別できるので、運転者に、例えば、車両Cの側方等、過去の画像に相当する場所に対する注意を促すことができる。従って、運転者は、過去の画像に相当する場所を実際に目視して、注意を払い、障害物と車両Cとの衝突等の事故を未然に防ぐことができる。
(9)上記実施形態では、駐車支援装置を、自車位置検出部7を備えるナビゲーション装置1に具体化したので、精度の高い自車位置検出機能を利用して、画像データGの保存及びその画像データGの合成を行うことができる。このため、自車位置データ16を有効利用して、画像連続性の良好な合成画面58a,63,68をディスプレイ12に表示することができる。
尚、上記各実施形態は以下のように変更してもよい。
・上記実施形態では、車両Cが並列駐車する場合についてのみ説明したが、縦列駐車する場合に、目標枠46が撮像画面30からはみ出した場合に、過去画像データG2を用いて、現在の画像データG1を補完してもよい。
・上記実施形態の目標設定ボタン14aは、シフトポジションがリバースになった際に、ディスプレイ12上に表示される操作ボタンでもよい。
・上記実施形態では、制御装置2は、画像データ保存処理及び画像合成データ出力処理の際に、目標設定ボタン14aの入力操作信号の受信、又はシフトポジションがリバースになった初期位置を基準点(ゼロ地点)として、車速及び方位のみによって基準点からの相対位置を自車位置として検出するようにしてもよい。
・上記実施形態では、初期状態の目標枠46を縮小又は拡大することで、駐車目標領域を設定するようにしたが、目標設定画面44上で、任意の4点又は辺の位置等を決定することで目標枠46を生成するようにしてもよい。
・上記実施形態では、目標枠46によって駐車目標領域を設定したが、画像データGの画像処理、又は白線43を検知するセンサを用いて、路面の白線43を検出し、制御装置2が、検出された白線43から所定の距離(例えば、内側15cm)までを自動的に駐車目標領域として設定してもよい。
・上記実施形態では、目標設定画面44で設定された目標枠46を、車両Cの移動量に基づき、目標枠46の画素座標を変更して、変更した目標枠46が、画面座標系の撮像画面30(ディスプレイ12の表示領域)内に収容されるか否かを判断した。これ以外に、所定のタイミング、例えば、車両Cが所定距離移動する毎、又は所定時間毎に、路面の白線43を検出して目標枠46を設定し、設定された目標枠46の画素座標が画面座標系の撮像画面30(ディスプレイ12の表示領域)内に収容されるか否かを判断してもよい。この場合、移動量に基づく座標変換処理を不要とすることができる。
・上記実施形態では、車両Cが後退する際に、目標枠46をディスプレイ12の画面に表示するようにしたが、目標枠46をディスプレイ12に表示せず、予め取得した目標枠46の座標が撮像画面30からはみ出すか否かを判断するようにしてもよい。このとき、目標枠46を、目標設定画面44のみに表示して、その位置等をユーザにより設定可能とし、車両Cが後退を始めたり、所定距離だけ移動した際に、目標枠46を消去するようにしてもよい。また、上記したように、制御装置2が、白線43を検出し、自動的に目標枠46を設定するようにしてもよい。このようにすると、画面に、車幅延長線42、予想軌跡線41、車両輪郭線61等の各種指標を表示する場合に、画面が煩雑になるのを抑制し
、画面を見やすくすることができる。
・上記実施形態では、自車位置データ16に基づいて撮像範囲データ17を予め算出し、その撮像範囲データ17を画像データGに関連付けてRAM4に格納したが、撮像範囲データ17は予め算出せず、画像データGには少なくとも自車位置データ16が関連付けられていればよい。そして、合成する過去の過去画像データG2を読み出す際に、自車位置データ16に基づいて、目標枠46のはみ出し部分のデータを含む画像データGであるかどうかを算出するようにしてもよい。
・上記実施形態では、図4に示すようなデータ構成で画像データGをRAM4に格納するのではなく、画像データGの識別子と、自車位置データ16とからなる属性データを格納したテーブルを生成し、そのテーブルをRAM4に格納するようにしてもよい。
・上記実施形態では、目標枠46内に、車両輪郭線61等の車体の大きさを示す描画線全てが収容された時に、制御部3又は画像処理部11により終了トリガがある(ステップS2−13においてYES)と判断してもよい。
・上記実施形態では、車両位置指標としては、車両輪郭線61以外に、画面内で車両Cの占める領域を示す車両占有領域や、後車軸の中心点や重心点等、車両の所定の位置を示す点でもよい。
・上記実施形態では、画像処理部11は、歪曲収差の補正を省略するようにしてもよい。
・上記実施形態では、自車位置は、後車軸の中心点25としたが、重心位置等、その他の車両Cの所定の位置でよい。
・上記実施形態では、現在地点と異なる地点で生成された画像データGを、現在地点の撮像画面30の画面座標系の座標に変換する座標変換を省略してもよい。このようにすると、制御装置2の負担を軽減できる。
・後方カメラ22は、車両Cの車体後端のいずれの位置に設けてもよい。また、後方カメラ22は、車両Cの前端、側端、車室内に取り付けられてもよい。この場合にも、このカメラによって生成された画像データGを使用して、車体の下方の領域を表示することができるため、車両C前方の見えにくい障害物を視認しやすくすることができる。また、車両周辺を撮像するカメラは、1つではなく、複数でもよい。
・上記実施形態では、駐車支援装置を経路案内を行うナビゲーション装置1に具体化したが、経路案内を省略した装置としてもよい。この場合、地図データ記憶部9、スピーカ15が省略される。
本実施形態のナビゲーション装置の構成を説明するブロック図。 車両に配設された後方カメラの取付位置を説明する説明図。 同後方カメラの撮像範囲を説明する説明図。 RAMに蓄積される画像データのデータ構成を説明する説明図。 同ナビゲーション装置のディスプレイに表示される画面の説明図。 本実施形態の座標変換処理の説明図。 本実施形態の目標枠の更新処理の説明図。 更新された目標枠と撮像画面との関係を説明する説明図。 縮小された目標枠、撮像画面、補完される範囲の関係を説明する説明図。 縮小画像データと過去画像データとの合成の概念図。 本実施形態の画像データ保存処理の処理手順の説明図。 本実施形態の画像合成データ出力処理の処理手順の説明図。 撮像又は目標設定を行う車両位置を説明する説明図。 目標設定画面の初期状態の説明図。 目標設定画面の設定時の説明図。 画面外領域を含む過去画像データの説明図。 縮小画像データと過去画像データとを単に重ねた状態の合成画面の説明図。 ディスプレイに表示される合成画面の説明図。 駐車目標領域への進入開始時点における合成画面の説明図。 駐車目標領域への進入終了時点における合成画面の説明図。
符号の説明
1…駐車支援装置としてのナビゲーション装置、3…画像取得手段、位置特定手段、変換手段、画像データ読出手段、画像合成手段、表示制御手段、目標領域設定手段、車両位置表示手段、座標変換手段及び収差補正手段を構成する制御部、4…画像データ記憶手段としてのRAM、7…位置特定手段を構成する自車位置検出部、10…画像取得手段を構成する撮像データ取得部、11…変換手段、画像合成手段、目標領域設定手段、車両位置表示手段を構成する画像処理部、座標変換手段及び収差補正手段を構成する画像処理部、12…表示手段としてのディスプレイ、22…撮像装置としての後方カメラ、40…周辺視界画面としての後方視界画面、46…設定指標としての目標枠、51…補完部分としての画面外領域、58,58a,63,68…合成画面、61…車両位置指標としての車両輪郭線、C…車両、G,G1,G2…画像データ、G2…過去画像データ、GA…画像合成データ、R…駐車目標領域、S…周辺視界としての撮像範囲。

Claims (13)

  1. 車両に設けられた撮像装置から、前記車両の周辺を撮像した画像データを、各撮像地点で取得する画像取得手段と、車両の位置を特定する位置特定手段と、前記画像データに基づく撮像画面を表示する表示手段と、制御手段とを用い、駐車操作を支援する駐車支援方法であって、
    前記制御手段が、
    記各撮像地点で撮像した前記画像データを、前記各撮像地点での前記車両の位置と関連付けて画像データ記憶手段に格納する画像データ記憶工程と、
    駐車目標領域を設定する設定工程と、
    設定した前記駐車目標領域が、現在地点の前記画像データに基づく撮像画面からはみ出すか否かを判断する判断工程と、
    前記判断工程においてはみ出すと判断した場合に、少なくともはみ出した部分を補完する補完部分を含む過去画像データを、前記画像データ記憶手段から読み出す画像データ読み出し工程と、
    現在地点の前記画像データを縮小した縮小画像データを生成し、当該縮小画像データと前記過去画像データの補完部分とを合成して、前記駐車目標領域全体を含む画像合成データを生成する画像合成工程と、
    前記画像合成データを出力して、当該画像合成データに基づく合成画面を前記表示手段に表示させる表示制御工程と
    を有することを特徴とする駐車支援方法。
  2. 請求項1に記載の駐車支援方法において、
    前記制御手段が、設定された前記駐車目標領域を表す座標を、前記車両の移動に応じて変換する変換工程をさらに有し、
    前記判断工程では、前記変換工程において変換された前記駐車目標領域を表す座標に基づいて、設定した前記駐車目標領域が現在地点の前記撮像データに基づく撮像画面からはみ出すか否かを判断することを特徴とする駐車支援方法。
  3. 請求項2に記載の駐車支援方法において、
    前記変換工程では、前記駐車目標領域の座標を、現在地点の前記撮像データに基づく撮像画面上の座標に変換することを特徴とする駐車支援方法。
  4. 車両に設けられた撮像装置から、前記車両の周辺を撮像した画像データを、各撮像地点で取得する画像取得手段と、
    前記画像データに基づく撮像画面を表示する表示手段と、
    前記車両の位置を特定する位置特定手段と、
    前記各撮像地点で生成した前記画像データを、前記各撮像地点での前記車両の位置と関連付けて格納する画像データ記憶手段と、
    駐車目標領域を設定する設定手段と、
    設定した前記駐車目標領域が、現在地点の前記画像データに基づく撮像画面からはみ出すか否かを判断する判断手段と、
    前記判断手段がはみ出すと判断した場合に、少なくともはみ出した部分を補完する補完部分を含む過去画像データを、前記画像データ記憶手段から読み出す画像データ読出手段と、
    現在地点の前記画像データを縮小した縮小画像データを生成し、当該縮小画像データと、前記過去画像データの前記補完部分とを合成し、前記駐車目標領域全体を含む画像合成データを生成する画像合成手段と、
    前記画像合成データを出力して、当該画像合成データに基づく合成画面を前記表示手段に表示させる表示制御手段と
    を備えたことを特徴とする駐車支援装置。
  5. 請求項4に記載の駐車支援装置において、
    設定された前記駐車目標領域を表す座標を、前記車両の移動に応じて変換する変換手段をさらに有し、
    前記判断手段は、前記変換手段によって変換された前記駐車目標領域を表す座標に基づいて、設定した前記駐車目標領域が現在地点の前記撮像データに基づく撮像画面からはみ出すか否かを判断することを特徴とする駐車支援装置。
  6. 請求項5に記載の駐車支援装置において、
    前記変換手段は、
    前記駐車目標領域の座標を、現在地点の前記撮像データに基づく撮像画面上の座標に変換することを特徴とする駐車支援装置。
  7. 請求項4〜6のいずれか1項に記載の駐車支援装置において、
    前記設定手段は、
    前記表示手段に表示される画面に、前記駐車目標領域を設定するための設定指標を表示させるとともに、前記設定指標の位置又は形状又は大きさを指定する入力信号に基づいて、前記駐車目標領域の位置又は形状又は大きさを決定することを特徴とする駐車支援装置。
  8. 請求項4〜7のいずれか1項に記載の駐車支援装置において、
    現在の前記車両の位置を示す車両位置指標を、前記合成画面内の前記車両の位置に応じた位置に重ね合わせた画面を生成する車両位置表示手段をさらに備え、前記表示制御手段は、前記車両位置指標を重ね合わせた画面を前記表示手段に表示させることを特徴とする駐車支援装置。
  9. 請求項4〜8のいずれか1項に記載の駐車支援装置において、
    前記画像合成手段は、
    前記過去画像データによる前記補完部分に応じて、現在地点で生成した前記画像データを縮小し、当該縮小した現在地点で生成した画像データと前記過去画像データの前記補完部分とを合成することを特徴とする駐車支援装置。
  10. 請求項4〜9のいずれか1項に記載の駐車支援装置において、
    前記各撮像地点で生成した前記過去画像データの座標を、前記現在地点の画像データ内の座標に変換する座標変換手段を備えたことを特徴とする駐車支援装置。
  11. 請求項4〜10のいずれか1項に記載の駐車支援装置において、
    前記画像データ及び前記過去画像データの歪曲収差を補正する収差補正手段をさらに備えたことを特徴とする駐車支援装置。
  12. 請求項4〜11のいずれか1項に記載の駐車支援装置において、
    前記画像合成手段は、
    前記合成画面が表示された際に、現在の前記画像データに基づく画像と、前記過去画像データに基づく画像とを視認によって判別可能となるように、現在地点の前記画像データと前記過去画像データの前記補完部分とを合成することを特徴とする駐車支援装置。
  13. 請求項4〜12のいずれか1項に記載の駐車支援装置において、
    前記画像取得手段は、前記車両の後方に設けられた前記撮像装置から、前記車両の後方周辺を撮像した前記画像データを取得することを特徴とする駐車支援装置。
JP2005125436A 2005-04-22 2005-04-22 駐車支援方法及び駐車支援装置 Expired - Fee Related JP4595649B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005125436A JP4595649B2 (ja) 2005-04-22 2005-04-22 駐車支援方法及び駐車支援装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005125436A JP4595649B2 (ja) 2005-04-22 2005-04-22 駐車支援方法及び駐車支援装置

Publications (2)

Publication Number Publication Date
JP2006298256A JP2006298256A (ja) 2006-11-02
JP4595649B2 true JP4595649B2 (ja) 2010-12-08

Family

ID=37466825

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005125436A Expired - Fee Related JP4595649B2 (ja) 2005-04-22 2005-04-22 駐車支援方法及び駐車支援装置

Country Status (1)

Country Link
JP (1) JP4595649B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4900326B2 (ja) * 2008-06-10 2012-03-21 日産自動車株式会社 駐車支援装置及び駐車支援方法
GB2469438B (en) * 2009-03-09 2014-04-09 Applic Solutions Electronics & Vision Ltd Display movement of an object
JP4924770B2 (ja) * 2011-11-14 2012-04-25 日産自動車株式会社 駐車支援装置及び駐車支援方法
JP2012030797A (ja) * 2011-11-14 2012-02-16 Nissan Motor Co Ltd 駐車支援装置及び駐車支援方法
JP6555195B2 (ja) * 2016-06-13 2019-08-07 株式会社デンソー 画像生成装置
WO2020170835A1 (ja) * 2019-02-18 2020-08-27 ソニー株式会社 情報処理装置、情報処理方法及び情報処理プログラム
CN111791801B (zh) * 2019-04-04 2023-09-26 中科创达(重庆)汽车科技有限公司 实时校准动态倒车辅助线显示位置的方法、装置及电子设备
CN116923147B (zh) * 2023-09-18 2023-12-08 合肥有感科技有限责任公司 无线充电车辆引导定位方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002029314A (ja) * 2000-07-12 2002-01-29 Nissan Motor Co Ltd 駐車支援装置
JP2003209835A (ja) * 2002-01-11 2003-07-25 Clarion Co Ltd 車両周囲監視装置
JP2004254219A (ja) * 2003-02-21 2004-09-09 Denso Corp 車両周辺画像処理装置及びプログラム並びに記録媒体
JP2005001570A (ja) * 2003-06-12 2005-01-06 Equos Research Co Ltd 駐車支援装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002029314A (ja) * 2000-07-12 2002-01-29 Nissan Motor Co Ltd 駐車支援装置
JP2003209835A (ja) * 2002-01-11 2003-07-25 Clarion Co Ltd 車両周囲監視装置
JP2004254219A (ja) * 2003-02-21 2004-09-09 Denso Corp 車両周辺画像処理装置及びプログラム並びに記録媒体
JP2005001570A (ja) * 2003-06-12 2005-01-06 Equos Research Co Ltd 駐車支援装置

Also Published As

Publication number Publication date
JP2006298256A (ja) 2006-11-02

Similar Documents

Publication Publication Date Title
JP4595649B2 (ja) 駐車支援方法及び駐車支援装置
JP4561479B2 (ja) 駐車支援方法及び駐車支援装置
US7363130B2 (en) Parking assist systems, methods, and programs
EP1777498B1 (en) Vehicle moving distance detecting method, vehicle moving distance detecting device, current vehicle position detecting method, and current vehicle position detecting device
US7680570B2 (en) Parking assist devices, methods, and programs
JP4914458B2 (ja) 車両周辺表示装置
JP2007099261A (ja) 駐車支援方法及び駐車支援装置
US7212653B2 (en) Image processing system for vehicle
JP4696691B2 (ja) 駐車支援方法及び駐車支援装置
US20070147664A1 (en) Driving assist method and driving assist apparatus
JP2006298115A (ja) 運転支援方法及び運転支援装置
JP4904997B2 (ja) 駐車支援方法及び駐車支援装置
CN103140377A (zh) 用于在显示装置上显示图像的方法和驾驶员辅助系统
JP2007269060A (ja) 運転支援方法及び運転支援装置
JP2007226300A (ja) 運転支援方法及び運転支援装置
JP2008099201A (ja) 運転支援方法及び運転支援装置
JP2006298258A (ja) 駐車支援方法及び駐車支援装置
JP4561470B2 (ja) 駐車支援装置
JP2014199677A (ja) 運転支援装置
JP4561512B2 (ja) 駐車支援方法及び駐車支援装置
JP4670460B2 (ja) 駐車支援方法及び駐車支援装置
JP2006306241A (ja) 駐車支援方法及び駐車支援装置
JP4946045B2 (ja) 画像表示方法及び運転支援装置
JP2007122395A (ja) 車両の方向転回判定方法及び車両の方向転回判定装置
JP4658724B2 (ja) 後側方視認システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080212

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100210

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100615

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100806

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100824

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100906

R150 Certificate of patent or registration of utility model

Ref document number: 4595649

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131001

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131001

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141001

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees