JP3624769B2 - 車両後方監視装置用画像変換装置 - Google Patents
車両後方監視装置用画像変換装置 Download PDFInfo
- Publication number
- JP3624769B2 JP3624769B2 JP37217099A JP37217099A JP3624769B2 JP 3624769 B2 JP3624769 B2 JP 3624769B2 JP 37217099 A JP37217099 A JP 37217099A JP 37217099 A JP37217099 A JP 37217099A JP 3624769 B2 JP3624769 B2 JP 3624769B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- vehicle
- coordinate value
- coordinate system
- monitor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000006243 chemical reaction Methods 0.000 title claims description 114
- 238000012806 monitoring device Methods 0.000 title claims description 38
- 230000003287 optical effect Effects 0.000 claims description 23
- 238000012544 monitoring process Methods 0.000 claims description 14
- 238000010586 diagram Methods 0.000 description 8
- 238000000034 method Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000037237 body shape Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
- B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
- B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/8066—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/8086—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for vehicle path indication
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mechanical Engineering (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Processing (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、カメラで撮影した車両の後方画像を運転席のモニタ画面に表示し、車両後退時の安全の確保をより確実に行うための車両後方監視装置に用いられる画像変換装置に関する。
【０００２】
【従来の技術】
従来、車両の後進時に運転者が車両の死角により目標とする場所が見えなくなる場合に備えて、車両後方に設置されたカメラにより撮像された車両の後方視界を運転席のモニタに写し出すようにした画像装置が提案されている。
図１１（ａ）に示すように、車両１の後部のナンバープレート６の近傍の高さｈの位置には、車両１の後方の視界を撮影するカメラ２が取り付けられている。カメラ２は、図示しないレンズとＣＣＤを備え、車両１の後方の画像がレンズを介してＣＣＤ面上に取り込まれる。車両１の運転席にはカラータイプの液晶ディスプレイからなるモニタ４が配置されており、運転席に設けられたシフトレバー５が後進位置に操作されるとカメラ２による映像が表示されるようになっている。
【０００３】
このような装置によれば、車両の後進時に後方の道路の状況等の画像がモニタ４の画面上に表示されるため、運転者は、モニタ４の画面を見て後方の視界を確認し、車両を後退させることができる。
ここで、図１１（ｂ）に示すように、地面１０上において、地面１０とカメラ２の撮像の中心であるカメラ光軸７との交点を原点Ｏとして、車両１の後方をＹ軸正方向、車両１の左方をＸ軸正方向として、地面座標系を想定すると共に、地面１０上に、Ｘ、Ｙ軸にそれぞれ平行な直線を升目状にしたグリッド線１１を想定する。このグリッド線１１を、カメラ２で撮影した場合のカメラ２のＣＣＤ面での画像は、図１１（ｃ）のように取り込まれる。このＣＣＤ面での画像がモニタ４に映し出される。
【０００４】
【発明が解決しようとする課題】
しかしながら、カメラ２の取付位置は、車両後方からの見栄え等を考慮し、ナンバープレート６の近傍等の比較的高さの低い位置に設置される場合が多い。このように、カメラ取付位置の高さが低い場合、カメラ２で撮影したままの画像をモニタ４に表示すると、モニタ４の画面から見える後方の視界の視点が地面１０に近いため、人間の視覚において見にくい画像となってしまうという問題点がある。
また、車両が動いたとき、図１１（ｃ）に示すようにモニタ４の画像上で車両に近い領域と遠い領域とにおいて、画像の動く速度が異なるため、見にくい画像となってしまう。
さらに、図１１（ｃ）に示すように、レンズ歪を含む画像となるために、地面１０上に描かれた直線が曲線に見え、さらに見にくい画像となってしまう。
一方、車両１のリヤウインドウ８の位置に視点をおいたモニタ画像を得たいときには、カメラ２の取付けができないため、このような視点からの画像を得ることができないという問題点もある。
【０００５】
この発明はこのような問題点を解消するためになされたもので、車両後退時に、カメラの取付位置によらずに車両の後方の画像が運転者にとって見やすい車両後方監視装置用画像変換装置を提供するものである。
【０００６】
【課題を解決するための手段】
この発明の請求項１に記載の車両後方監視装置用画像変換装置は、車両の後方を撮影するために車両に搭載されたカメラと、車両の運転席に配置されたモニタと、車両の後退時に、カメラにより撮影された画像である入力画像を、カメラが搭載された実カメラ位置と異なる位置である仮想カメラ位置から後方を所定の伏角で撮影したと仮想された画像である出力画像に変換して、この出力画像をモニタに表示する表示制御手段とを備え、表示制御手段は、出力画像における仮想カメラ位置での仮想ＣＣＤ面座標系で表された座標値を仮想カメラ位置の地面座標系における座標値に変換する第１の変換手段と、仮想カメラ位置の地面座標系における座標値に変換された座標値を、仮想カメラ位置にカメラを配置したと仮想したときのカメラの光軸の中心である仮想カメラ光軸中心と実カメラ光軸中心とのオフセット分のみシフトした実カメラ位置の地面座標系で表された座標値に変換する第２の変換手段と、実カメラ位置の地面座標系における座標値に変換された座標値を、実カメラ位置での実ＣＣＤ面座標系で表された座標値に変換する第３の変換手段と、実ＣＣＤ面座標系における座標値に変換された座標値から、カメラのレンズ歪を加えた入力画像における座標値に変換する第４の変換手段とを備えた変換テーブルを有し、この変換テーブルにより、モニタに表示する出力画像の各画素に対応した入力画像の各画素との位置関係を定めるようにしたことを特徴とするものである。
【０００７】
この発明の請求項２に記載の車両後方監視装置用画像変換装置は、請求項１の装置において、表示制御手段は、入力画像に対する出力画像の切り取り範囲を平行移動させる機能を含むものである。
この発明の請求項３に記載の車両後方監視装置用画像変換装置は、請求項１あるいは２の装置において、表示制御手段は、入力画像に対する出力画像の切り取り範囲を拡大して出力画像に変換するものである。
この発明の請求項４に記載の車両後方監視装置用画像変換装置は、請求項１〜３のいずれか一項に記載の装置において、表示制御手段は、入力画像に対してレンズ歪を除去した出力画像に変換するものである。
【０００８】
この発明の請求項５に記載の車両後方監視装置用画像変換装置は、請求項１〜４のいずれか一項に記載の装置において、表示制御手段は、入力画像の各画素のうち、変換テーブルにより位置関係が定められた入力画像の画素のみが、変換テーブルにより変換され、出力画像としてモニタに表示するものである。
【０００９】
この発明の請求項６に記載の車両後方監視装置用画像変換装置は、請求項１〜５のいずれか一項の装置において、表示制御手段は、第３の変換手段により実カメラ位置での実ＣＣＤ面座標系で表された座標値を実ＣＣＤ面上で入力画像に対する出力画像の切り取り範囲を拡大するように変換する画像切り取り範囲拡大手段を備え、この画像切り取り範囲拡大手段で変換された座標値を第４の変換手段によりカメラのレンズ歪を加えた入力画像における座標値に変換するものである。
この発明の請求項７に記載の車両後方監視装置用画像変換装置は、請求項１〜６のいずれか一項に記載の装置において、表示制御手段は、出力画像における仮想カメラ位置での仮想ＣＣＤ面座標系で表された座標値を仮想ＣＣＤ面座標系の原点を移動した座標系での座標値に変換する画像移動手段を備え、この画像移動手段で変換された座標値を第１の変換手段により仮想カメラ位置の地面座標系における座標値に変換するものである。
【００１０】
この発明の請求項８に記載の車両後方監視装置用画像変換装置は、請求項１〜７のいずれか一項に記載の装置において、表示制御手段は、後退時に車両の運転を支援するためのガイド表示を前記モニタ上に重畳して表示するものである。
この発明の請求項９に記載の車両後方監視装置用画像変換装置は、請求項８に記載の装置において、ガイド表示は、前記モニタの画面に所定位置に固定表示され且つ車両が直進後退したときの車両両側部の予想位置を示す車幅ガイドラインを含むものである。
【００１１】
この発明の請求項１０に記載の車両後方監視装置用画像変換装置は、請求項８あるいは９に記載の装置において、ハンドルの操舵角を検知する操舵角センサを備え、ガイド表示は、モニタの画面に移動表示され且つ操舵角センサにより検出したハンドル操舵角のまま車両が後退したときの車両の予想位置を示す車両軌跡ガイドラインを含むものである。
この発明の請求項１１に記載の車両後方監視装置用画像変換装置は、請求項８〜１０のいずれか一項に記載の装置において、ハンドルの操舵角を検知する操舵角センサを備え、ガイド表示は、モニタの画面の所定位置に固定表示され且つ駐車のための適正な操舵開始地点をガイドする線分からなる操舵開始ガイドラインと、操舵角センサにより検出したハンドル操舵角の大きさに従ってモニタの画面上の操舵開始ガイドラインに沿って移動表示される操舵量ガイドマークとを含むものである。
【００１２】
請求項１に記載の車両後方監視装置用画像変換装置では、カメラが搭載された実カメラ位置と異なる位置から車両の後方を立体的に撮影した画像がモニタに表示され、変換テーブルにより、出力画像の各画素に対応した入力画像の各画素との位置関係を定められる。
【００１３】
請求項２に記載の車両後方監視装置用画像変換装置では、請求項１において、実カメラ位置からの入力画像の中心に対して、出力画像の中心位置をずらした画像がモニタに表示される。
請求項３に記載の車両後方監視装置用画像変換装置では、請求項１あるいは２において、より視界の広い画像がモニタに表示される。
請求項４に記載の車両後方監視装置用画像変換装置では、請求項１〜３のいずれか一項の装置において、レンズ歪のない画像がモニタに表示される。
【００１４】
請求項５に記載の車両後方監視装置用画像変換装置では、請求項１の装置において、入力画像の各画素のうち、変換テーブルにより位置関係が定められた入力画像の画素のみが、変換テーブルにより変換され、出力画像としてモニタに表示される。
【００１５】
請求項６に記載の車両後方監視装置用画像変換装置では、請求項１あるいは５の装置において、表示制御手段は、第３の変換手段により実カメラ位置での実ＣＣＤ面座標系で表された座標値を実ＣＣＤ面上で入力画像に対する出力画像の切り取り範囲を拡大するように変換し、この変換された座標値を第４の変換手段によりカメラのレンズ歪を加えた入力画像における座標値に変換するので、より視界の広い画像がモニタに表示される。
請求項７に記載の車両後方監視装置用画像変換装置では、請求項１、５、６のいずれか一項の装置において、表示制御手段は、画像移動手段により出力画像における仮想カメラ位置での仮想ＣＣＤ面座標系で表された座標値を仮想ＣＣＤ面座標系の原点を移動した座標系での座標値に変換し、この座標値を第１の変換手段により仮想カメラ位置の地面座標系における座標値に変換するので、実カメラ位置からの入力画像の中心に対して、出力画像の中心位置をずらした画像がモニタに表示される。
【００１６】
請求項８に記載の車両後方監視装置用画像変換装置では、請求項１〜７のいずれか一項に記載の装置において、モニタの画面に、カメラが搭載された実カメラ位置と異なる位置から車両の後方を立体的に撮影した画像とともに、後退時に車両の運転を支援するためのガイド表示が重畳して表示され、運転者は車両後方の画像とガイド表示を参考にしながら車両を後退させる。
請求項９に記載の車両後方監視装置用画像変換装置では、請求項８に記載の装置において、モニタの画面に、車両が直進後退したときの車両両側部の予想位置を示す車幅ガイドライン所定位置が固定表示され、運転者は車両両側部の予想位置を把握しつつ車両の操舵を行う。
【００１７】
請求項１０に記載の車両後方監視装置用画像変換装置では、請求項８あるいは９に記載の装置において、モニタの画面に、操舵角センサにより検出したハンドル操舵角のまま車両が後退したときの車両の予想位置を示す車両軌跡ガイドラインが移動表示され、車両の予想位置を把握しつつ車両の操舵を行う。
この発明の請求項１１に記載の車両後方監視装置用画像変換装置では、請求項８〜１０のいずれか一項に記載の装置において、モニタの画面に、駐車のための適正な操舵開始地点をガイドする線分からなる操舵開始ガイドラインが所定位置に前記出力画像に重畳して固定表示され且つ操舵量ガイドマークが操舵角センサにより検出したハンドル操舵角の大きさに従ってモニタの画面上の操舵開始ガイドラインに沿って重畳して移動表示され、運転者は適正なハンドル操舵開始点とハンドル操舵量を把握しつつ車両の操舵を行う。
【００１８】
【発明の実施の形態】
実施の形態１．
以下、この発明に係る車両後方監視装置用画像変換装置の実施の形態を添付図面に基づいて説明する。
図１（ａ）に示すように、車両１の後部において、リヤバンパ３の上部にあるナンバープレート６の近傍の高さｈ１の実カメラ位置２３には、車両１の後方を撮影するためにカメラ２が伏角ω１で搭載されている。車両１の運転席にはカラータイプの液晶ディスプレイからなるモニタ４が配置されている。また、車両１には図示しないコントローラが搭載され、運転席には、ハンドル１６および車両１の後退を指示するシフトレバー５が設けられている。
【００１９】
さらに、符号７はカメラ２の撮像の中心であるカメラ光軸を表し、地面１０とカメラ光軸７との交点を実カメラ光軸中心ＯＡとして表している。また、リヤウインドウ８には、高さｈ２の位置に、実カメラ位置２３と高さのみ異なる位置である仮想カメラ位置３１が仮想されている。符号３７はカメラ２を仮想カメラ位置３１に伏角ω２で配置したと仮想したときのカメラ光軸である仮想カメラ光軸を表し、地面１０と仮想カメラ光軸３７との交点を仮想カメラ光軸中心ＯＢとして表している。
また、平面ＰＬＡは、地面上の任意の点Ｐ３を含み、カメラ光軸７に垂直な平面を表し、平面ＰＬＢは、同じく点Ｐ３を含み、仮想カメラ光軸３７に垂直な平面を表している。
【００２０】
図２にこの発明の実施の形態１に係る車両後方監視装置用画像変換装置の構成を示す。
カメラ２は、レンズ２１およびＣＣＤ（電荷結合素子）２２を備えている。カメラ２には表示制御手段であるコントローラ３０が接続され、コントローラ３０にはモニタ４が接続されている。また、車両１にはシフトレバー５が後進位置に切り換えられたか否かを検知するリヤ位置スイッチ１５が設けられ、このリヤ位置スイッチ１５がコントローラ３０に接続されている。さらに、コントローラ３０は、画像変換の処理を行うＣＰＵ３３、制御プログラムを記憶したＲＯＭ３４、カメラ２からの入力画像データやモニタ４に表示する出力画像データを一時的に格納する作業用のＲＡＭ３５を備えている。
【００２１】
コントローラ３０は、制御プログラムに基づいて動作し、リヤ位置スイッチ１５によりシフトレバー５が後進位置に切り換えられたことを検知すると、カメラ２により撮影されＣＣＤ２２の面上に取り込まれたレンズ歪を含む入力画像に対して、変換テーブルを用いて画像変換処理を行い、レンズ歪のない、仮想カメラ位置３１から後方を立体的に撮影したと仮想された画像である出力画像に変換してこの出力画像をモニタ４に表示する。
【００２２】
次に、カメラ２により撮影された入力画像をモニタ４に表示するための出力画像に変換する処理を説明する。
まず、図１（ｂ）に示すように、地面１０上において実カメラ光軸中心ＯＡを原点、車両１の後方をＹＡ軸正方向、車両１の左方をＸＡ軸正方向として地面座標系Ａを想定すると共に、地面１０上において仮想カメラ光軸中心ＯＢを原点、車両１の後方をＹＢ軸正方向、車両１の左方をＸＢ軸正方向として地面座標系Ｂを想定する。さらに、地面１０上には、モニタ４の画像表示の説明の便宜のため、ＸＡ軸およびＹＡ軸にそれぞれ平行な直線を升目状にしたグリッド線１１を想定する。また、Ｐ３は、変換テーブルの作成の説明に使用する地面１０上の点を表している。
【００２３】
ＣＣＤ２２面上に取り込まれた入力画像は、図５（ａ）に示すように、レンズ歪を含んだ画像であり、この入力画像がコントローラ３０に入力される。
コントローラ３０では、この入力画像を後述する変換テーブルに基づいた演算をしてレンズ歪のない出力画像に変換する。
【００２４】
ここで、変換テーブルの作成方法を説明する。
変換テーブルは、仮想カメラ位置３１から後方を仮想的に撮影したと仮想された出力画像を構成する各画素に対応する実カメラ位置２３での入力画像の画素を探索するテーブルである。
【００２５】
第一に、出力画像において仮想カメラ位置３１の仮想ＣＣＤ面座標系で表されている画素の座標に対応する地面座標系Ｂにおける座標を定める（ステップ１）。
図３（ａ）に示すように、出力画像４１の各画素のうち、例えば点Ｐ１の座標（Ｘ１，Ｙ１）について極座標の半径ｒ１，位相角ψ１を用いて表すと、
Ｘ１＝ｒ１ ・ｃｏｓψ１ ………………（１）
Ｙ１＝ｒ１ ・ｓｉｎψ１ ………………（２）
となる。
次に、この点Ｐ１に対応した図３（ｃ）に示した地面座標系Ｂにおける点Ｐ３の座標（ｘＢ，ｙＢ）との関係においては、次の式が成立する。
但し、ＬＢ ：仮想カメラ位置３１と平面ＰＬＢとの間の距離
ｆ ：レンズ２１の焦点距離
ｒ２ ：地面座標系Ｂにおける点Ｐ３を平面ＰＬＢ上に投影した点Ｐ２
（図３（ｂ）参照）から仮想カメラ光軸までの距離
式（１）〜（４）により、仮想ＣＣＤ面座標系で表された点Ｐ１に対応した地面座標系Ｂにおける点Ｐ３の座標（ｘＢ，ｙＢ）が定まる。
【００２６】
第二に、地面座標系Ｂにおける点Ｐ３の座標に対して、図４（ａ）に示すような地面座標系Ａにおける座標ｘＡ，ｙＢを定める（ステップ２）。
この場合、地面座標系Ａにおける点Ｐ３の座標に対して地面１０上での仮想カメラ光軸中心ＯＢ と実カメラ光軸中心ＯＡ との距離Δｙだけ、点Ｐ３のｙＢ座標をシフトする。
ここで、Δｙは次式で表される。
Δｙ＝ｈ２ ／ｔａｎω２ −ｈ１ ／ｔａｎω１ ……………（５）
式（５）により、点Ｐ３の地面座標系Ａにおける座標（ｘＡ，ｙＡ）が定まる。
【００２７】
第三に、地面座標系Ａにおける点Ｐ３の座標について、図４（ｃ）に示すように点Ｐ３に対応した実カメラ位置２３の実ＣＣＤ面座標系で表される点Ｐ５の座標を定める（ステップ３）。
地面座標系Ａにおける点Ｐ３の座標（ｘＡ，ｙＡ）とこれに対応した実カメラ位置２３の実ＣＣＤ面座標系での点Ｐ５の座標（Ｘ５，Ｙ５）との間には、点Ｐ５の極座標をｒ５ ，ψ５ として、次の式が成立する。
但し、ＬＡ ：実カメラ位置２３と平面ＰＬＡとの間の距離
ｆ ：レンズ２１の焦点距離
ｒ４ ：地面座標系Ａにおける点Ｐ３を平面ＰＬＡ上に投影した点Ｐ４（
図４（ｂ）参照）から実カメラ光軸までの距離
式（６）〜（９）により、地面座標系Ａにおける点Ｐ３の実カメラ位置２３における実ＣＣＤ面座標系でのＸ５座標、Ｙ５座標が定まる。
【００２８】
最後に、実カメラ位置２３の実ＣＣＤ面座標系で表される点Ｐ５にレンズ歪を加えた点Ｐ６の座標を定める（ステップ４）。
点Ｐ６のＸ６座標、Ｙ６座標を求めるにあたり、図４（ｄ）に示すように、点Ｐ６を極座標（ｒ６ ，ψ６ ）で表すと、次のレンズ歪補正式が成立する。このレンズ歪補正式は、位相角ψ５、ψ６は変化させずに、レンズ２１の焦点からの距離のみを変化させることにより、レンズ歪を除去するレンズ歪補正を行うものである。
ａ・ｒ６ ２＋（ｂ−１００／ｒ５ ）・ｒ６ ＋ｃ＋１００＝０………………（１０）
ψ６ ＝ψ５ ………………（１１）
Ｘ６＝ｒ６ ・ｃｏｓψ６ ………………（１２）
Ｙ６＝ｒ６ ・ｓｉｎψ６ ………………（１３）
但し、ａ，ｂ，ｃは補正係数であり、例えばａ＝−８．９、ｂ＝−１．４、ｃ＝１．９の値を用いる。
式（１０）〜（１３）により、実カメラ位置のＣＣＤ面座標系で表される点Ｐ５の位置に対してレンズ歪を加えた場合の点Ｐ６の座標（Ｘ６ ，Ｙ６）が定まる。
【００２９】
以上の処理手順により変換テーブルが作成され、モニタ４に表示する出力画像における仮想カメラ位置３１での仮想ＣＣＤ面座標系で表された画素と入力画像の各画素との位置関係が定められる。
【００３０】
すなわち、図５（ａ）に示すレンズ歪を含んだ入力画像からレンズ歪を除去した（図５（ｂ）参照）後、さらに図５（ｃ）に示されるように仮想カメラ位置３１から撮影したと仮想される出力画像に変換する。
このように、コントローラ３０は、この変換テーブルを用いて、カメラ２により撮影された入力画像を、仮想カメラ位置３１から後方を立体的に撮影したと仮想された出力画像に変換して、図５（ｃ）のような画像をモニタ４に表示するので、カメラ２の取付位置によらず、運転者にとって見やすいカメラ位置およびカメラの伏角によるモニタ画像を得ることができる。
また、変換テーブルでレンズ歪も除去しているので、図５（ｃ）に示すように、人間の視覚に対して見やすい自然な画像を得ることができる。
また、図５（ｃ）に示すように、実カメラ位置２３に対して高い位置にある仮想カメラ位置３１からの画像に変換できるので、図５（ｂ）に示すような歪補正が施された実カメラ位置２３からの画像に対して、特に車両１の左右方向の視野が広い画像を得ることができる。
【００３１】
なお、仮想カメラ位置３１は、実カメラ位置２３に対して車両の左右方向にずれた位置に設定してもよい、この場合、ステップ２における地面座標系における座標の移動を車両の左右方向に行えばよい。
【００３２】
実施の形態２．
この発明に係る画像変換装置の別の実施形態として、図６に示すように、モニタ４に表示する仮想カメラ位置の仮想ＣＣＤ面座標系での出力画像５１の大きさが小さく、入力画像５２の大きさに対して出力画像の表示領域に余裕がある場合、実施の形態１の変換テーブルの作成処理のステップ３とステップ４との間で、仮想カメラ位置３１の仮想ＣＣＤ面座標系での出力画像の各画素に対応する入力画素に対してｘ、ｙ座標値をそれぞれｄ１／ｃ１倍、ｂ１／ａ１倍した画素をそれぞれ対応画素とした処理を行う。
これにより、出力画像５１をＸ軸方向にｄ１／ｃ１倍、Ｙ軸方向にｂ１／ａ１倍拡大した出力画像５３を得ることができる。運転者にとって見やすいモニタ画像を得ることができる。
【００３３】
実施の形態３．
この発明に係る画像変換装置の別の実施形態として、図７（ａ）に示すように、実施の形態１の変換テーブルの作成処理のステップ１の前に、仮想カメラ位置での仮想ＣＣＤ面座標系の原点位置Ｏ１を図７（ｂ）に示す原点位置Ｏ２にシフトする。これにより、図７（ａ）に示す原点位置Ｏ１をシフトする前の入力画像６２に対応した出力画像６３に対して、図７（ｂ）に示す原点位置Ｏ２をシフトした後の出力画像６５には、入力画像６２のうち、車両１から離れた後方視界の部分６４（図中の斜線部分）が含まれるようになる。
これにより、モニタ４の画面に表示される後方視界の領域を変化させることができる。
【００３４】
実施の形態４．
図８にこの発明の実施の形態４に係る車両後方監視装置用画像変換装置の構成を示す。
図において、仮想カメラ位置７１と実カメラ位置７３との関係は高さの相違のみではなく、車両１の前後方向にも距離ｍだけずれた関係になっている。
車両１の車体形状により、カメラ２の取付位置に制限があり、車両１の最後端に取りつけられない場合、仮想カメラ位置７１について、実カメラ位置７３と高さのみを変えたのでは、モニタ４に表示される画像の中に占めるリヤバンパ３の割合が大きくなり、車両後退時に必要な車両後方の視界を十分確保できない。このような場合、変換テーブルを予め作成しておくことで、実カメラ位置と異なる位置である仮想カメラ位置から後方を撮影したような画像を容易に表示させることができる。
【００３５】
実施の形態５．
図９にこの発明の実施の形態５に係る画像変換装置の構成をあらわすブロック図を示す。この画像変換装置の構成は、図２に示した実施の形態１の装置において、操舵角センサ８１を追加し、またＲＯＭ３４の代わりにＲＯＭ３６を設けたものである。操舵角センサ８１は、ハンドル１６の操舵角を検出するものであり、車両１のハンドル１６に取り付けられ、コントローラ３０に接続されている。この画像変換装置は、図９に示すモニタ４の画面に図１に示すレンズ歪を除去し且つ仮想カメラ位置３１から後方を所定の伏角で撮影したと仮想された実施の形態１で説明した出力画像を表示するとともに、車両１が後退して並列駐車をする際のガイド表示を重畳して表示するものであり、ＲＯＭ３６には、図１０（ａ）に示される、操舵開始ガイドライン１００、１１０、操舵量ガイドマーク１２０、車幅ガイドライン１４０および車両軌跡ガイドライン１３０を含むガイド表示のデータが格納されている。操舵開始ガイドライン１００、１１０は、ハンドル１６の操舵にかかわらずモニタ４の画面の所定位置に固定表示されるものであり、並列駐車のための適正な操舵開始地点を示す線分である。操舵開始ガイドライン１００は、右後方への駐車を行うための右後方駐車用の操舵開始ガイドラインであり、操舵開始ガイドライン１１０は、左後方への駐車を行うための左後方駐車用の操舵開始ガイドラインである。
【００３６】
また、操舵量ガイドマーク１２０は、操舵角センサ８１から検出したハンドル操舵角の大きさに応じて操舵開始ガイドライン１００あるいは１１０に沿ってＣＰＵ３３によってモニタ４に表示される、例えば赤色の丸印である。操舵量ガイドマーク１２０は、ハンドル１６を右に操舵した場合には操舵開始ガイドライン１００上を、ハンドル１６を左に操舵した場合には操舵開始ガイドライン１１０上を、それぞれハンドル操舵角が大きいほどモニタ４の画面の下方に向かって移動する。
【００３７】
さらに、左右一対の車幅ガイドライン１４０は、直進後退時の車両１の両側部の予想位置を示すものであり、現在の車両位置のリヤバンパ３に接して車両１を仮想的に配置したときの、その仮想的な車両の平面投影パターンの外形線を描いたものである。この車幅ガイドライン１４０は予めＲＯＭ３６に記憶された車両１の全幅のデータを基にＣＰＵ３３によってモニタ４に表示される。また、車幅ガイドライン１４０の下方の線分１４１は現在の車両のリヤバンパ３の位置を示すバンパラインである。
【００３８】
また、破線で示される車両軌跡ガイドライン１３０は、操舵角センサ８１に検出されたハンドル操舵角のまま後退した時の車両１の予想軌跡がＣＰＵ３３によって演算されて、モニタ４に表示されたものである。車両軌跡ガイドライン１３０の線分１３１、１３２、１３３の両端は、その時点のハンドル操舵角を保持したまま、車両１が路面上で現在のリヤバンパ３の位置からそれぞれ、１ｍ、１．５ｍ、２．５ｍ分後退した場合のリヤバンパ３の位置を表している。
【００３９】
次に、この画像変換装置の作用について、車両１を右後方の駐車スペースに並列駐車する場合を例にして図１０（ａ）および（ｂ）を用いて説明する。
まず、運転者は、車両後方にある駐車しようとする駐車スペース１５０に対して直角に近い角度で且つ車両後端が駐車スペース１５０から２〜３ｍ行き過ぎた位置で停止する。次に、運転者は、初めは目視で車両後方の安全及び駐車スペース１５０と自車との位置関係を確認してシフトレバー５を後進位置に操作する。このとき、シフトレバー５の切り換えによりリヤ位置スイッチ１５からの検知信号に基づいて、図１０（ａ）に示されるように、操舵開始ガイドライン１００、１１０、車幅ガイドライン１４０および車両軌跡ガイドライン１３０が出力画像に重畳してモニタ４に表示される。
運転者は、車両１を直進後退させ、駐車スペース１５０の車両から遠方側の側方駐車枠線１３５の先端である目標点ＴＰが操舵開始ガイドライン１００と重なったところで停車させる。その位置に停車した状態で、運転者はハンドル１６を切ると、操舵量ガイドマーク１２０が操舵開始ガイドライン１００上に表示され、ハンドル１６を切り進むに従って、操舵開始ガイドライン１００上を下方に移動する。そして、運転者は操舵量ガイドマーク１２０が目標点ＴＰに重なるまでハンドル１６を操舵する。操舵量ガイドマーク１２０が目標点ＴＰに重なったら、ハンドル１６をその操舵角のまま保持した状態で後退する。車両１は、約９０°の範囲を一定の車両旋回半径で旋回しながら後退し、運転者はハンドル操舵量を微修正することなく駐車スペース１５０に適正に車両１を進入させることができる。
【００４０】
次に、図１０（ｂ）に示されるように、車幅ガイドライン１４０が側方駐車枠線１３５と平行になったところで車両１を停止させる。運転者はハンドル１６を直進状態に戻し、ゆっくりと直進後退をはじめ、後方駐車枠線１３６に車幅ガイドライン１４０のバンパラインの線分１４１とが適当な間隔になったら、車両１を停止させる。以上で並列駐車が完了する。
【００４１】
この画像変換装置は、モニタ４の画面に、レンズ歪を除去し且つ図１に示す仮想カメラ位置３１から後方を所定の伏角で撮影したと仮想された出力画像を表示するとともに、車両１が後退して並列駐車をする際のガイド表示を重畳して表示している。仮想カメラ位置３１は、実カメラ位置２３より高い位置にあり、仮想カメラ位置３１から撮影したと仮想された出力画像では、図１０（ａ）に示すように、車両後方の視野が広い画像となっている。
一方、実カメラ位置２３からの画像にガイド表示を重畳して表示した例を参考のために図１０（ｃ）に示す。実カメラ位置２３からの画像では、車両後方の視野が狭い画像となっている。すなわち、図１０（ａ）および（ｃ）の画像を比較したとき、仮想カメラ位置３１からの画像は実カメラ位置２３からの画像に比べ、車両後方の視野がより広い画像となっている。
したがって、この仮想カメラ位置３１からの出力画像とともに並列駐車を支援するガイド表示が重畳して表示されると、運転者はより一層容易に並列駐車を行うことができる。
また、図１０（ｂ）に示すように、出力画像に車幅ガイドライン１４０が重畳表示されるので、駐車スペース１５０周辺の視界も広くなるとともに、駐車スペース１５０の側方駐車枠線１３５と車幅ガイドライン１４０とが平行であるかを判断しやすく、安全で精度の高い並列駐車が可能になる。
【００４２】
なお、縦列駐車の際においても、レンズ歪を除去し且つ仮想カメラ位置から後方を所定の伏角で撮影したと仮想された出力画像とともに縦列駐車を支援するガイド表示を重畳表示することで、運転者はより視野が広い車両後方画像に基づいたガイド表示を利用することで縦列駐車がより一層容易になり、且つ縦列駐車する駐車スペースの側方駐車枠線と車両１とが平行か否かの判断が容易になる。
【００４３】
【発明の効果】
以上説明したように、請求項１に記載の車両後方監視装置用画像変換装置によれば、車両の後方を撮影するために車両に搭載されたカメラと、車両の運転席に配置されたモニタと、車両の後退時に、カメラにより撮影された画像である入力画像をカメラが搭載された実カメラ位置と異なる位置である仮想カメラ位置から後方を所定の伏角で撮影したと仮想された画像である出力画像に変換して、この出力画像をモニタに表示する表示制御手段とを備えており、表示制御手段が有する変換テーブルにより、出力画像における仮想カメラ位置での仮想ＣＣＤ面座標系で表された座標値を仮想カメラ位置の地面座標系における座標値に変換され、実カメラ位置の地面座標系で表された座標値に変換され、実カメラ位置での実ＣＣＤ面座標系で表された座標値に変換され、カメラのレンズ歪を加えた入力画像における座標値に変換され、出力画像の各画素に対応した入力画像の各画素との位置関係を定められるので、カメラの取付位置によらずに、運転者にとって見やすい車両の後方のモニタ画像が得られ、変換テーブルに基づいて、入力画像に対応した出力画像が容易に演算され、カメラの取付位置によらずに、運転者にとって見やすい車両の後方のモニタ画像が簡易な方法で得られる。
【００４４】
請求項２に記載の車両後方監視装置用画像変換装置によれば、表示制御手段が、入力画像に対する出力画像の切り取り範囲を平行移動させる機能を含むので、車両の後方の視界のうち運転者にとって必要な範囲のモニタ画像を選択することができる。
請求項３に記載の車両後方監視装置用画像変換装置によれば、表示制御手段は、入力画像に対する出力画像の切り取り範囲を拡大して出力画像に変換するので、車両の後方の視界のうち運転者にとって必要な範囲を拡大した画像が得られると共に、レンズ歪除去処理によって縮小される視界を広げることができる。
請求項４に記載の車両後方監視装置用画像変換装置によれば、表示制御手段は、入力画像に対してレンズ歪を除去した出力画像に変換するので運転者にとって見やすい自然な画像を得ることができる。
【００４５】
請求項５に記載の車両後方監視装置用画像変換装置によれば、入力画像の各画素のうち、変換テーブルにより位置関係が定められた入力画像の画素のみが変換テーブルにより変換され、モニタに表示しない入力画像の画素について出力画像に変換する演算が行われないので、画像変換装置の画像変換処理速度が向上する。
【００４６】
請求項６に記載の車両後方監視装置用画像変換装置によれば、表示制御手段が
第３の変換手段により実カメラ位置での実ＣＣＤ面座標系で表された座標値を実ＣＣＤ面上で入力画像に対する出力画像の切り取り範囲を拡大するように変換する画像切り取り範囲拡大手段を備え、画像切り取り範囲拡大手段で変換された座標値を第４の変換手段によりカメラのレンズ歪を加えた入力画像における座標値に変換するので、より視界の広い画像がモニタに表示される。
請求項７に記載の車両後方監視装置用画像変換装置によれば、表示制御手段は、出力画像における仮想カメラ位置での仮想ＣＣＤ面座標系で表された座標値を仮想ＣＣＤ面座標系の原点を移動した座標系での座標値に変換するので、車両の後方の視界のうち運転者にとって必要な範囲のモニタ画像を選択することができる。
【００４７】
請求項８に記載の車両後方監視装置用画像変換装置によれば、表示制御手段は、後退時に車両の運転を支援するためのガイド表示を前記モニタ上に重畳して表示するので、より視野が広い車両後方画像に基づいたガイド表示により駐車操作がより一層容易になる。
請求項９に記載の車両後方監視装置用画像変換装置によれば、ガイド表示は、モニタの画面に所定位置に固定表示され且つ車両が直進後退したときの車両両側部の予想位置を示す車幅ガイドラインを含むので、駐車スペース周辺の視界もより広くなるとともに、駐車スペースの側方駐車枠線と車幅ガイドラインとが平行か否かの判断が容易になる。
【００４８】
請求項１０に記載の車両後方監視装置用画像変換装置によれば、ハンドルの操舵角を検知する操舵角センサを備え、ガイド表示は、モニタの画面に移動表示され且つ操舵角センサにより検出したハンドル操舵角のまま車両が後退したときの車両の予想位置を示す車両軌跡ガイドラインを含むので、ハンドルを操舵した状態で車両が後退したときの車両の予想位置を把握しやすく、安全で精度の高い駐車が可能になる。
請求項１１に記載の車両後方監視装置用画像変換装置によれば、ハンドルの操舵角を検知する操舵角センサを備え、ガイド表示は、モニタの画面の所定位置に固定表示され且つ駐車のための適正な操舵開始地点をガイドする線分からなる操舵開始ガイドラインと操舵角センサにより検出したハンドル操舵角の大きさに従ってモニタの画面上の操舵開始ガイドラインに沿って移動表示される操舵量ガイドマークとを含むので、運転者は適正なハンドル操舵開始点とハンドル操舵量とを把握することができ、駐車操作を簡単に行うことができる。
【図面の簡単な説明】
【図１】この発明の実施の形態１に係る車両後方監視装置用画像変換装置を搭載した車両を示すものであり、（ａ）は車両を右側方から見た側面図、（ｂ）は車両を上方から見た平面図である。
【図２】実施の形態１の画像変換装置の構成を示すブロック図である。
【図３】実施の形態１における変換テーブルにより変換される出力画像の画素と入力画像の画素との対応関係を示した模式図である。
【図４】実施の形態１における変換テーブルにより変換される出力画像の画素と入力画像の画素との対応関係を示した模式図である。
【図５】実施の形態１の画像変換装置に係る画像変換の効果を説明する概略図であり、（ａ）はレンズ歪を含んだ入力画像であり、（ｂ）はレンズ歪を除去した画像であり、（ｃ）は仮想カメラ位置の出力画像である。
【図６】実施の形態２の画像変換装置に係る画像変換を説明する概略図である。
【図７】実施の形態３の画像変換装置に係る画像変換を説明する概略図であり、（ａ）は仮想ＣＣＤ画面座標系の原点位置のシフト前を、（ｂ）は原点位置のシフト後を表す概略図である。
【図８】この発明の実施の形態４に係る車両後方監視装置用画像変換装置を搭載した車両を示すものであり、（ａ）は車両を右側方から見た側面図、（ｂ）は車両を上方から見た平面図である。
【図９】実施の形態５の画像変換装置の構成を示すブロック図である。
【図１０】実施の形態５における並列駐車時の車両の位置とモニタ画面を模式的に示す概略図であり、（ａ）および（ｂ）は、仮想カメラ位置からの歪補正をした出力画像にガイド表示を重畳表示したものであり、（ｃ）は、実カメラ位置からの歪補正をした画像にガイド表示を重畳表示したものである。
【図１１】従来の車両後方監視装置用画像処理装置を搭載した車両を示すものであり、（ａ）は車両を右側方から見た側面図、（ｂ）は車両を上方から見た平面図であり、（ｃ）はレンズ歪を含んだ入力画像である。
【符号の説明】
１…車両、２…カメラ、４…モニタ、１６…ハンドル、２３，７３…実カメラ位置、３０…コントローラ、３１，７１…仮想カメラ位置、８１…操舵角センサ、１００，１１０…操舵開始ガイドライン、１２０…操舵量ガイドマーク、１３０…車両軌跡ガイドライン、１４０…車幅ガイドライン、ＯＡ…実カメラ光軸中心、ＯＢ…仮想カメラ光軸中心。
【発明の属する技術分野】
この発明は、カメラで撮影した車両の後方画像を運転席のモニタ画面に表示し、車両後退時の安全の確保をより確実に行うための車両後方監視装置に用いられる画像変換装置に関する。
【０００２】
【従来の技術】
従来、車両の後進時に運転者が車両の死角により目標とする場所が見えなくなる場合に備えて、車両後方に設置されたカメラにより撮像された車両の後方視界を運転席のモニタに写し出すようにした画像装置が提案されている。
図１１（ａ）に示すように、車両１の後部のナンバープレート６の近傍の高さｈの位置には、車両１の後方の視界を撮影するカメラ２が取り付けられている。カメラ２は、図示しないレンズとＣＣＤを備え、車両１の後方の画像がレンズを介してＣＣＤ面上に取り込まれる。車両１の運転席にはカラータイプの液晶ディスプレイからなるモニタ４が配置されており、運転席に設けられたシフトレバー５が後進位置に操作されるとカメラ２による映像が表示されるようになっている。
【０００３】
このような装置によれば、車両の後進時に後方の道路の状況等の画像がモニタ４の画面上に表示されるため、運転者は、モニタ４の画面を見て後方の視界を確認し、車両を後退させることができる。
ここで、図１１（ｂ）に示すように、地面１０上において、地面１０とカメラ２の撮像の中心であるカメラ光軸７との交点を原点Ｏとして、車両１の後方をＹ軸正方向、車両１の左方をＸ軸正方向として、地面座標系を想定すると共に、地面１０上に、Ｘ、Ｙ軸にそれぞれ平行な直線を升目状にしたグリッド線１１を想定する。このグリッド線１１を、カメラ２で撮影した場合のカメラ２のＣＣＤ面での画像は、図１１（ｃ）のように取り込まれる。このＣＣＤ面での画像がモニタ４に映し出される。
【０００４】
【発明が解決しようとする課題】
しかしながら、カメラ２の取付位置は、車両後方からの見栄え等を考慮し、ナンバープレート６の近傍等の比較的高さの低い位置に設置される場合が多い。このように、カメラ取付位置の高さが低い場合、カメラ２で撮影したままの画像をモニタ４に表示すると、モニタ４の画面から見える後方の視界の視点が地面１０に近いため、人間の視覚において見にくい画像となってしまうという問題点がある。
また、車両が動いたとき、図１１（ｃ）に示すようにモニタ４の画像上で車両に近い領域と遠い領域とにおいて、画像の動く速度が異なるため、見にくい画像となってしまう。
さらに、図１１（ｃ）に示すように、レンズ歪を含む画像となるために、地面１０上に描かれた直線が曲線に見え、さらに見にくい画像となってしまう。
一方、車両１のリヤウインドウ８の位置に視点をおいたモニタ画像を得たいときには、カメラ２の取付けができないため、このような視点からの画像を得ることができないという問題点もある。
【０００５】
この発明はこのような問題点を解消するためになされたもので、車両後退時に、カメラの取付位置によらずに車両の後方の画像が運転者にとって見やすい車両後方監視装置用画像変換装置を提供するものである。
【０００６】
【課題を解決するための手段】
この発明の請求項１に記載の車両後方監視装置用画像変換装置は、車両の後方を撮影するために車両に搭載されたカメラと、車両の運転席に配置されたモニタと、車両の後退時に、カメラにより撮影された画像である入力画像を、カメラが搭載された実カメラ位置と異なる位置である仮想カメラ位置から後方を所定の伏角で撮影したと仮想された画像である出力画像に変換して、この出力画像をモニタに表示する表示制御手段とを備え、表示制御手段は、出力画像における仮想カメラ位置での仮想ＣＣＤ面座標系で表された座標値を仮想カメラ位置の地面座標系における座標値に変換する第１の変換手段と、仮想カメラ位置の地面座標系における座標値に変換された座標値を、仮想カメラ位置にカメラを配置したと仮想したときのカメラの光軸の中心である仮想カメラ光軸中心と実カメラ光軸中心とのオフセット分のみシフトした実カメラ位置の地面座標系で表された座標値に変換する第２の変換手段と、実カメラ位置の地面座標系における座標値に変換された座標値を、実カメラ位置での実ＣＣＤ面座標系で表された座標値に変換する第３の変換手段と、実ＣＣＤ面座標系における座標値に変換された座標値から、カメラのレンズ歪を加えた入力画像における座標値に変換する第４の変換手段とを備えた変換テーブルを有し、この変換テーブルにより、モニタに表示する出力画像の各画素に対応した入力画像の各画素との位置関係を定めるようにしたことを特徴とするものである。
【０００７】
この発明の請求項２に記載の車両後方監視装置用画像変換装置は、請求項１の装置において、表示制御手段は、入力画像に対する出力画像の切り取り範囲を平行移動させる機能を含むものである。
この発明の請求項３に記載の車両後方監視装置用画像変換装置は、請求項１あるいは２の装置において、表示制御手段は、入力画像に対する出力画像の切り取り範囲を拡大して出力画像に変換するものである。
この発明の請求項４に記載の車両後方監視装置用画像変換装置は、請求項１〜３のいずれか一項に記載の装置において、表示制御手段は、入力画像に対してレンズ歪を除去した出力画像に変換するものである。
【０００８】
この発明の請求項５に記載の車両後方監視装置用画像変換装置は、請求項１〜４のいずれか一項に記載の装置において、表示制御手段は、入力画像の各画素のうち、変換テーブルにより位置関係が定められた入力画像の画素のみが、変換テーブルにより変換され、出力画像としてモニタに表示するものである。
【０００９】
この発明の請求項６に記載の車両後方監視装置用画像変換装置は、請求項１〜５のいずれか一項の装置において、表示制御手段は、第３の変換手段により実カメラ位置での実ＣＣＤ面座標系で表された座標値を実ＣＣＤ面上で入力画像に対する出力画像の切り取り範囲を拡大するように変換する画像切り取り範囲拡大手段を備え、この画像切り取り範囲拡大手段で変換された座標値を第４の変換手段によりカメラのレンズ歪を加えた入力画像における座標値に変換するものである。
この発明の請求項７に記載の車両後方監視装置用画像変換装置は、請求項１〜６のいずれか一項に記載の装置において、表示制御手段は、出力画像における仮想カメラ位置での仮想ＣＣＤ面座標系で表された座標値を仮想ＣＣＤ面座標系の原点を移動した座標系での座標値に変換する画像移動手段を備え、この画像移動手段で変換された座標値を第１の変換手段により仮想カメラ位置の地面座標系における座標値に変換するものである。
【００１０】
この発明の請求項８に記載の車両後方監視装置用画像変換装置は、請求項１〜７のいずれか一項に記載の装置において、表示制御手段は、後退時に車両の運転を支援するためのガイド表示を前記モニタ上に重畳して表示するものである。
この発明の請求項９に記載の車両後方監視装置用画像変換装置は、請求項８に記載の装置において、ガイド表示は、前記モニタの画面に所定位置に固定表示され且つ車両が直進後退したときの車両両側部の予想位置を示す車幅ガイドラインを含むものである。
【００１１】
この発明の請求項１０に記載の車両後方監視装置用画像変換装置は、請求項８あるいは９に記載の装置において、ハンドルの操舵角を検知する操舵角センサを備え、ガイド表示は、モニタの画面に移動表示され且つ操舵角センサにより検出したハンドル操舵角のまま車両が後退したときの車両の予想位置を示す車両軌跡ガイドラインを含むものである。
この発明の請求項１１に記載の車両後方監視装置用画像変換装置は、請求項８〜１０のいずれか一項に記載の装置において、ハンドルの操舵角を検知する操舵角センサを備え、ガイド表示は、モニタの画面の所定位置に固定表示され且つ駐車のための適正な操舵開始地点をガイドする線分からなる操舵開始ガイドラインと、操舵角センサにより検出したハンドル操舵角の大きさに従ってモニタの画面上の操舵開始ガイドラインに沿って移動表示される操舵量ガイドマークとを含むものである。
【００１２】
請求項１に記載の車両後方監視装置用画像変換装置では、カメラが搭載された実カメラ位置と異なる位置から車両の後方を立体的に撮影した画像がモニタに表示され、変換テーブルにより、出力画像の各画素に対応した入力画像の各画素との位置関係を定められる。
【００１３】
請求項２に記載の車両後方監視装置用画像変換装置では、請求項１において、実カメラ位置からの入力画像の中心に対して、出力画像の中心位置をずらした画像がモニタに表示される。
請求項３に記載の車両後方監視装置用画像変換装置では、請求項１あるいは２において、より視界の広い画像がモニタに表示される。
請求項４に記載の車両後方監視装置用画像変換装置では、請求項１〜３のいずれか一項の装置において、レンズ歪のない画像がモニタに表示される。
【００１４】
請求項５に記載の車両後方監視装置用画像変換装置では、請求項１の装置において、入力画像の各画素のうち、変換テーブルにより位置関係が定められた入力画像の画素のみが、変換テーブルにより変換され、出力画像としてモニタに表示される。
【００１５】
請求項６に記載の車両後方監視装置用画像変換装置では、請求項１あるいは５の装置において、表示制御手段は、第３の変換手段により実カメラ位置での実ＣＣＤ面座標系で表された座標値を実ＣＣＤ面上で入力画像に対する出力画像の切り取り範囲を拡大するように変換し、この変換された座標値を第４の変換手段によりカメラのレンズ歪を加えた入力画像における座標値に変換するので、より視界の広い画像がモニタに表示される。
請求項７に記載の車両後方監視装置用画像変換装置では、請求項１、５、６のいずれか一項の装置において、表示制御手段は、画像移動手段により出力画像における仮想カメラ位置での仮想ＣＣＤ面座標系で表された座標値を仮想ＣＣＤ面座標系の原点を移動した座標系での座標値に変換し、この座標値を第１の変換手段により仮想カメラ位置の地面座標系における座標値に変換するので、実カメラ位置からの入力画像の中心に対して、出力画像の中心位置をずらした画像がモニタに表示される。
【００１６】
請求項８に記載の車両後方監視装置用画像変換装置では、請求項１〜７のいずれか一項に記載の装置において、モニタの画面に、カメラが搭載された実カメラ位置と異なる位置から車両の後方を立体的に撮影した画像とともに、後退時に車両の運転を支援するためのガイド表示が重畳して表示され、運転者は車両後方の画像とガイド表示を参考にしながら車両を後退させる。
請求項９に記載の車両後方監視装置用画像変換装置では、請求項８に記載の装置において、モニタの画面に、車両が直進後退したときの車両両側部の予想位置を示す車幅ガイドライン所定位置が固定表示され、運転者は車両両側部の予想位置を把握しつつ車両の操舵を行う。
【００１７】
請求項１０に記載の車両後方監視装置用画像変換装置では、請求項８あるいは９に記載の装置において、モニタの画面に、操舵角センサにより検出したハンドル操舵角のまま車両が後退したときの車両の予想位置を示す車両軌跡ガイドラインが移動表示され、車両の予想位置を把握しつつ車両の操舵を行う。
この発明の請求項１１に記載の車両後方監視装置用画像変換装置では、請求項８〜１０のいずれか一項に記載の装置において、モニタの画面に、駐車のための適正な操舵開始地点をガイドする線分からなる操舵開始ガイドラインが所定位置に前記出力画像に重畳して固定表示され且つ操舵量ガイドマークが操舵角センサにより検出したハンドル操舵角の大きさに従ってモニタの画面上の操舵開始ガイドラインに沿って重畳して移動表示され、運転者は適正なハンドル操舵開始点とハンドル操舵量を把握しつつ車両の操舵を行う。
【００１８】
【発明の実施の形態】
実施の形態１．
以下、この発明に係る車両後方監視装置用画像変換装置の実施の形態を添付図面に基づいて説明する。
図１（ａ）に示すように、車両１の後部において、リヤバンパ３の上部にあるナンバープレート６の近傍の高さｈ１の実カメラ位置２３には、車両１の後方を撮影するためにカメラ２が伏角ω１で搭載されている。車両１の運転席にはカラータイプの液晶ディスプレイからなるモニタ４が配置されている。また、車両１には図示しないコントローラが搭載され、運転席には、ハンドル１６および車両１の後退を指示するシフトレバー５が設けられている。
【００１９】
さらに、符号７はカメラ２の撮像の中心であるカメラ光軸を表し、地面１０とカメラ光軸７との交点を実カメラ光軸中心ＯＡとして表している。また、リヤウインドウ８には、高さｈ２の位置に、実カメラ位置２３と高さのみ異なる位置である仮想カメラ位置３１が仮想されている。符号３７はカメラ２を仮想カメラ位置３１に伏角ω２で配置したと仮想したときのカメラ光軸である仮想カメラ光軸を表し、地面１０と仮想カメラ光軸３７との交点を仮想カメラ光軸中心ＯＢとして表している。
また、平面ＰＬＡは、地面上の任意の点Ｐ３を含み、カメラ光軸７に垂直な平面を表し、平面ＰＬＢは、同じく点Ｐ３を含み、仮想カメラ光軸３７に垂直な平面を表している。
【００２０】
図２にこの発明の実施の形態１に係る車両後方監視装置用画像変換装置の構成を示す。
カメラ２は、レンズ２１およびＣＣＤ（電荷結合素子）２２を備えている。カメラ２には表示制御手段であるコントローラ３０が接続され、コントローラ３０にはモニタ４が接続されている。また、車両１にはシフトレバー５が後進位置に切り換えられたか否かを検知するリヤ位置スイッチ１５が設けられ、このリヤ位置スイッチ１５がコントローラ３０に接続されている。さらに、コントローラ３０は、画像変換の処理を行うＣＰＵ３３、制御プログラムを記憶したＲＯＭ３４、カメラ２からの入力画像データやモニタ４に表示する出力画像データを一時的に格納する作業用のＲＡＭ３５を備えている。
【００２１】
コントローラ３０は、制御プログラムに基づいて動作し、リヤ位置スイッチ１５によりシフトレバー５が後進位置に切り換えられたことを検知すると、カメラ２により撮影されＣＣＤ２２の面上に取り込まれたレンズ歪を含む入力画像に対して、変換テーブルを用いて画像変換処理を行い、レンズ歪のない、仮想カメラ位置３１から後方を立体的に撮影したと仮想された画像である出力画像に変換してこの出力画像をモニタ４に表示する。
【００２２】
次に、カメラ２により撮影された入力画像をモニタ４に表示するための出力画像に変換する処理を説明する。
まず、図１（ｂ）に示すように、地面１０上において実カメラ光軸中心ＯＡを原点、車両１の後方をＹＡ軸正方向、車両１の左方をＸＡ軸正方向として地面座標系Ａを想定すると共に、地面１０上において仮想カメラ光軸中心ＯＢを原点、車両１の後方をＹＢ軸正方向、車両１の左方をＸＢ軸正方向として地面座標系Ｂを想定する。さらに、地面１０上には、モニタ４の画像表示の説明の便宜のため、ＸＡ軸およびＹＡ軸にそれぞれ平行な直線を升目状にしたグリッド線１１を想定する。また、Ｐ３は、変換テーブルの作成の説明に使用する地面１０上の点を表している。
【００２３】
ＣＣＤ２２面上に取り込まれた入力画像は、図５（ａ）に示すように、レンズ歪を含んだ画像であり、この入力画像がコントローラ３０に入力される。
コントローラ３０では、この入力画像を後述する変換テーブルに基づいた演算をしてレンズ歪のない出力画像に変換する。
【００２４】
ここで、変換テーブルの作成方法を説明する。
変換テーブルは、仮想カメラ位置３１から後方を仮想的に撮影したと仮想された出力画像を構成する各画素に対応する実カメラ位置２３での入力画像の画素を探索するテーブルである。
【００２５】
第一に、出力画像において仮想カメラ位置３１の仮想ＣＣＤ面座標系で表されている画素の座標に対応する地面座標系Ｂにおける座標を定める（ステップ１）。
図３（ａ）に示すように、出力画像４１の各画素のうち、例えば点Ｐ１の座標（Ｘ１，Ｙ１）について極座標の半径ｒ１，位相角ψ１を用いて表すと、
Ｘ１＝ｒ１ ・ｃｏｓψ１ ………………（１）
Ｙ１＝ｒ１ ・ｓｉｎψ１ ………………（２）
となる。
次に、この点Ｐ１に対応した図３（ｃ）に示した地面座標系Ｂにおける点Ｐ３の座標（ｘＢ，ｙＢ）との関係においては、次の式が成立する。
ｆ ：レンズ２１の焦点距離
ｒ２ ：地面座標系Ｂにおける点Ｐ３を平面ＰＬＢ上に投影した点Ｐ２
（図３（ｂ）参照）から仮想カメラ光軸までの距離
式（１）〜（４）により、仮想ＣＣＤ面座標系で表された点Ｐ１に対応した地面座標系Ｂにおける点Ｐ３の座標（ｘＢ，ｙＢ）が定まる。
【００２６】
第二に、地面座標系Ｂにおける点Ｐ３の座標に対して、図４（ａ）に示すような地面座標系Ａにおける座標ｘＡ，ｙＢを定める（ステップ２）。
この場合、地面座標系Ａにおける点Ｐ３の座標に対して地面１０上での仮想カメラ光軸中心ＯＢ と実カメラ光軸中心ＯＡ との距離Δｙだけ、点Ｐ３のｙＢ座標をシフトする。
ここで、Δｙは次式で表される。
Δｙ＝ｈ２ ／ｔａｎω２ −ｈ１ ／ｔａｎω１ ……………（５）
式（５）により、点Ｐ３の地面座標系Ａにおける座標（ｘＡ，ｙＡ）が定まる。
【００２７】
第三に、地面座標系Ａにおける点Ｐ３の座標について、図４（ｃ）に示すように点Ｐ３に対応した実カメラ位置２３の実ＣＣＤ面座標系で表される点Ｐ５の座標を定める（ステップ３）。
地面座標系Ａにおける点Ｐ３の座標（ｘＡ，ｙＡ）とこれに対応した実カメラ位置２３の実ＣＣＤ面座標系での点Ｐ５の座標（Ｘ５，Ｙ５）との間には、点Ｐ５の極座標をｒ５ ，ψ５ として、次の式が成立する。
ｆ ：レンズ２１の焦点距離
ｒ４ ：地面座標系Ａにおける点Ｐ３を平面ＰＬＡ上に投影した点Ｐ４（
図４（ｂ）参照）から実カメラ光軸までの距離
式（６）〜（９）により、地面座標系Ａにおける点Ｐ３の実カメラ位置２３における実ＣＣＤ面座標系でのＸ５座標、Ｙ５座標が定まる。
【００２８】
最後に、実カメラ位置２３の実ＣＣＤ面座標系で表される点Ｐ５にレンズ歪を加えた点Ｐ６の座標を定める（ステップ４）。
点Ｐ６のＸ６座標、Ｙ６座標を求めるにあたり、図４（ｄ）に示すように、点Ｐ６を極座標（ｒ６ ，ψ６ ）で表すと、次のレンズ歪補正式が成立する。このレンズ歪補正式は、位相角ψ５、ψ６は変化させずに、レンズ２１の焦点からの距離のみを変化させることにより、レンズ歪を除去するレンズ歪補正を行うものである。
ａ・ｒ６ ２＋（ｂ−１００／ｒ５ ）・ｒ６ ＋ｃ＋１００＝０………………（１０）
ψ６ ＝ψ５ ………………（１１）
Ｘ６＝ｒ６ ・ｃｏｓψ６ ………………（１２）
Ｙ６＝ｒ６ ・ｓｉｎψ６ ………………（１３）
但し、ａ，ｂ，ｃは補正係数であり、例えばａ＝−８．９、ｂ＝−１．４、ｃ＝１．９の値を用いる。
式（１０）〜（１３）により、実カメラ位置のＣＣＤ面座標系で表される点Ｐ５の位置に対してレンズ歪を加えた場合の点Ｐ６の座標（Ｘ６ ，Ｙ６）が定まる。
【００２９】
以上の処理手順により変換テーブルが作成され、モニタ４に表示する出力画像における仮想カメラ位置３１での仮想ＣＣＤ面座標系で表された画素と入力画像の各画素との位置関係が定められる。
【００３０】
すなわち、図５（ａ）に示すレンズ歪を含んだ入力画像からレンズ歪を除去した（図５（ｂ）参照）後、さらに図５（ｃ）に示されるように仮想カメラ位置３１から撮影したと仮想される出力画像に変換する。
このように、コントローラ３０は、この変換テーブルを用いて、カメラ２により撮影された入力画像を、仮想カメラ位置３１から後方を立体的に撮影したと仮想された出力画像に変換して、図５（ｃ）のような画像をモニタ４に表示するので、カメラ２の取付位置によらず、運転者にとって見やすいカメラ位置およびカメラの伏角によるモニタ画像を得ることができる。
また、変換テーブルでレンズ歪も除去しているので、図５（ｃ）に示すように、人間の視覚に対して見やすい自然な画像を得ることができる。
また、図５（ｃ）に示すように、実カメラ位置２３に対して高い位置にある仮想カメラ位置３１からの画像に変換できるので、図５（ｂ）に示すような歪補正が施された実カメラ位置２３からの画像に対して、特に車両１の左右方向の視野が広い画像を得ることができる。
【００３１】
なお、仮想カメラ位置３１は、実カメラ位置２３に対して車両の左右方向にずれた位置に設定してもよい、この場合、ステップ２における地面座標系における座標の移動を車両の左右方向に行えばよい。
【００３２】
実施の形態２．
この発明に係る画像変換装置の別の実施形態として、図６に示すように、モニタ４に表示する仮想カメラ位置の仮想ＣＣＤ面座標系での出力画像５１の大きさが小さく、入力画像５２の大きさに対して出力画像の表示領域に余裕がある場合、実施の形態１の変換テーブルの作成処理のステップ３とステップ４との間で、仮想カメラ位置３１の仮想ＣＣＤ面座標系での出力画像の各画素に対応する入力画素に対してｘ、ｙ座標値をそれぞれｄ１／ｃ１倍、ｂ１／ａ１倍した画素をそれぞれ対応画素とした処理を行う。
これにより、出力画像５１をＸ軸方向にｄ１／ｃ１倍、Ｙ軸方向にｂ１／ａ１倍拡大した出力画像５３を得ることができる。運転者にとって見やすいモニタ画像を得ることができる。
【００３３】
実施の形態３．
この発明に係る画像変換装置の別の実施形態として、図７（ａ）に示すように、実施の形態１の変換テーブルの作成処理のステップ１の前に、仮想カメラ位置での仮想ＣＣＤ面座標系の原点位置Ｏ１を図７（ｂ）に示す原点位置Ｏ２にシフトする。これにより、図７（ａ）に示す原点位置Ｏ１をシフトする前の入力画像６２に対応した出力画像６３に対して、図７（ｂ）に示す原点位置Ｏ２をシフトした後の出力画像６５には、入力画像６２のうち、車両１から離れた後方視界の部分６４（図中の斜線部分）が含まれるようになる。
これにより、モニタ４の画面に表示される後方視界の領域を変化させることができる。
【００３４】
実施の形態４．
図８にこの発明の実施の形態４に係る車両後方監視装置用画像変換装置の構成を示す。
図において、仮想カメラ位置７１と実カメラ位置７３との関係は高さの相違のみではなく、車両１の前後方向にも距離ｍだけずれた関係になっている。
車両１の車体形状により、カメラ２の取付位置に制限があり、車両１の最後端に取りつけられない場合、仮想カメラ位置７１について、実カメラ位置７３と高さのみを変えたのでは、モニタ４に表示される画像の中に占めるリヤバンパ３の割合が大きくなり、車両後退時に必要な車両後方の視界を十分確保できない。このような場合、変換テーブルを予め作成しておくことで、実カメラ位置と異なる位置である仮想カメラ位置から後方を撮影したような画像を容易に表示させることができる。
【００３５】
実施の形態５．
図９にこの発明の実施の形態５に係る画像変換装置の構成をあらわすブロック図を示す。この画像変換装置の構成は、図２に示した実施の形態１の装置において、操舵角センサ８１を追加し、またＲＯＭ３４の代わりにＲＯＭ３６を設けたものである。操舵角センサ８１は、ハンドル１６の操舵角を検出するものであり、車両１のハンドル１６に取り付けられ、コントローラ３０に接続されている。この画像変換装置は、図９に示すモニタ４の画面に図１に示すレンズ歪を除去し且つ仮想カメラ位置３１から後方を所定の伏角で撮影したと仮想された実施の形態１で説明した出力画像を表示するとともに、車両１が後退して並列駐車をする際のガイド表示を重畳して表示するものであり、ＲＯＭ３６には、図１０（ａ）に示される、操舵開始ガイドライン１００、１１０、操舵量ガイドマーク１２０、車幅ガイドライン１４０および車両軌跡ガイドライン１３０を含むガイド表示のデータが格納されている。操舵開始ガイドライン１００、１１０は、ハンドル１６の操舵にかかわらずモニタ４の画面の所定位置に固定表示されるものであり、並列駐車のための適正な操舵開始地点を示す線分である。操舵開始ガイドライン１００は、右後方への駐車を行うための右後方駐車用の操舵開始ガイドラインであり、操舵開始ガイドライン１１０は、左後方への駐車を行うための左後方駐車用の操舵開始ガイドラインである。
【００３６】
また、操舵量ガイドマーク１２０は、操舵角センサ８１から検出したハンドル操舵角の大きさに応じて操舵開始ガイドライン１００あるいは１１０に沿ってＣＰＵ３３によってモニタ４に表示される、例えば赤色の丸印である。操舵量ガイドマーク１２０は、ハンドル１６を右に操舵した場合には操舵開始ガイドライン１００上を、ハンドル１６を左に操舵した場合には操舵開始ガイドライン１１０上を、それぞれハンドル操舵角が大きいほどモニタ４の画面の下方に向かって移動する。
【００３７】
さらに、左右一対の車幅ガイドライン１４０は、直進後退時の車両１の両側部の予想位置を示すものであり、現在の車両位置のリヤバンパ３に接して車両１を仮想的に配置したときの、その仮想的な車両の平面投影パターンの外形線を描いたものである。この車幅ガイドライン１４０は予めＲＯＭ３６に記憶された車両１の全幅のデータを基にＣＰＵ３３によってモニタ４に表示される。また、車幅ガイドライン１４０の下方の線分１４１は現在の車両のリヤバンパ３の位置を示すバンパラインである。
【００３８】
また、破線で示される車両軌跡ガイドライン１３０は、操舵角センサ８１に検出されたハンドル操舵角のまま後退した時の車両１の予想軌跡がＣＰＵ３３によって演算されて、モニタ４に表示されたものである。車両軌跡ガイドライン１３０の線分１３１、１３２、１３３の両端は、その時点のハンドル操舵角を保持したまま、車両１が路面上で現在のリヤバンパ３の位置からそれぞれ、１ｍ、１．５ｍ、２．５ｍ分後退した場合のリヤバンパ３の位置を表している。
【００３９】
次に、この画像変換装置の作用について、車両１を右後方の駐車スペースに並列駐車する場合を例にして図１０（ａ）および（ｂ）を用いて説明する。
まず、運転者は、車両後方にある駐車しようとする駐車スペース１５０に対して直角に近い角度で且つ車両後端が駐車スペース１５０から２〜３ｍ行き過ぎた位置で停止する。次に、運転者は、初めは目視で車両後方の安全及び駐車スペース１５０と自車との位置関係を確認してシフトレバー５を後進位置に操作する。このとき、シフトレバー５の切り換えによりリヤ位置スイッチ１５からの検知信号に基づいて、図１０（ａ）に示されるように、操舵開始ガイドライン１００、１１０、車幅ガイドライン１４０および車両軌跡ガイドライン１３０が出力画像に重畳してモニタ４に表示される。
運転者は、車両１を直進後退させ、駐車スペース１５０の車両から遠方側の側方駐車枠線１３５の先端である目標点ＴＰが操舵開始ガイドライン１００と重なったところで停車させる。その位置に停車した状態で、運転者はハンドル１６を切ると、操舵量ガイドマーク１２０が操舵開始ガイドライン１００上に表示され、ハンドル１６を切り進むに従って、操舵開始ガイドライン１００上を下方に移動する。そして、運転者は操舵量ガイドマーク１２０が目標点ＴＰに重なるまでハンドル１６を操舵する。操舵量ガイドマーク１２０が目標点ＴＰに重なったら、ハンドル１６をその操舵角のまま保持した状態で後退する。車両１は、約９０°の範囲を一定の車両旋回半径で旋回しながら後退し、運転者はハンドル操舵量を微修正することなく駐車スペース１５０に適正に車両１を進入させることができる。
【００４０】
次に、図１０（ｂ）に示されるように、車幅ガイドライン１４０が側方駐車枠線１３５と平行になったところで車両１を停止させる。運転者はハンドル１６を直進状態に戻し、ゆっくりと直進後退をはじめ、後方駐車枠線１３６に車幅ガイドライン１４０のバンパラインの線分１４１とが適当な間隔になったら、車両１を停止させる。以上で並列駐車が完了する。
【００４１】
この画像変換装置は、モニタ４の画面に、レンズ歪を除去し且つ図１に示す仮想カメラ位置３１から後方を所定の伏角で撮影したと仮想された出力画像を表示するとともに、車両１が後退して並列駐車をする際のガイド表示を重畳して表示している。仮想カメラ位置３１は、実カメラ位置２３より高い位置にあり、仮想カメラ位置３１から撮影したと仮想された出力画像では、図１０（ａ）に示すように、車両後方の視野が広い画像となっている。
一方、実カメラ位置２３からの画像にガイド表示を重畳して表示した例を参考のために図１０（ｃ）に示す。実カメラ位置２３からの画像では、車両後方の視野が狭い画像となっている。すなわち、図１０（ａ）および（ｃ）の画像を比較したとき、仮想カメラ位置３１からの画像は実カメラ位置２３からの画像に比べ、車両後方の視野がより広い画像となっている。
したがって、この仮想カメラ位置３１からの出力画像とともに並列駐車を支援するガイド表示が重畳して表示されると、運転者はより一層容易に並列駐車を行うことができる。
また、図１０（ｂ）に示すように、出力画像に車幅ガイドライン１４０が重畳表示されるので、駐車スペース１５０周辺の視界も広くなるとともに、駐車スペース１５０の側方駐車枠線１３５と車幅ガイドライン１４０とが平行であるかを判断しやすく、安全で精度の高い並列駐車が可能になる。
【００４２】
なお、縦列駐車の際においても、レンズ歪を除去し且つ仮想カメラ位置から後方を所定の伏角で撮影したと仮想された出力画像とともに縦列駐車を支援するガイド表示を重畳表示することで、運転者はより視野が広い車両後方画像に基づいたガイド表示を利用することで縦列駐車がより一層容易になり、且つ縦列駐車する駐車スペースの側方駐車枠線と車両１とが平行か否かの判断が容易になる。
【００４３】
【発明の効果】
以上説明したように、請求項１に記載の車両後方監視装置用画像変換装置によれば、車両の後方を撮影するために車両に搭載されたカメラと、車両の運転席に配置されたモニタと、車両の後退時に、カメラにより撮影された画像である入力画像をカメラが搭載された実カメラ位置と異なる位置である仮想カメラ位置から後方を所定の伏角で撮影したと仮想された画像である出力画像に変換して、この出力画像をモニタに表示する表示制御手段とを備えており、表示制御手段が有する変換テーブルにより、出力画像における仮想カメラ位置での仮想ＣＣＤ面座標系で表された座標値を仮想カメラ位置の地面座標系における座標値に変換され、実カメラ位置の地面座標系で表された座標値に変換され、実カメラ位置での実ＣＣＤ面座標系で表された座標値に変換され、カメラのレンズ歪を加えた入力画像における座標値に変換され、出力画像の各画素に対応した入力画像の各画素との位置関係を定められるので、カメラの取付位置によらずに、運転者にとって見やすい車両の後方のモニタ画像が得られ、変換テーブルに基づいて、入力画像に対応した出力画像が容易に演算され、カメラの取付位置によらずに、運転者にとって見やすい車両の後方のモニタ画像が簡易な方法で得られる。
【００４４】
請求項２に記載の車両後方監視装置用画像変換装置によれば、表示制御手段が、入力画像に対する出力画像の切り取り範囲を平行移動させる機能を含むので、車両の後方の視界のうち運転者にとって必要な範囲のモニタ画像を選択することができる。
請求項３に記載の車両後方監視装置用画像変換装置によれば、表示制御手段は、入力画像に対する出力画像の切り取り範囲を拡大して出力画像に変換するので、車両の後方の視界のうち運転者にとって必要な範囲を拡大した画像が得られると共に、レンズ歪除去処理によって縮小される視界を広げることができる。
請求項４に記載の車両後方監視装置用画像変換装置によれば、表示制御手段は、入力画像に対してレンズ歪を除去した出力画像に変換するので運転者にとって見やすい自然な画像を得ることができる。
【００４５】
請求項５に記載の車両後方監視装置用画像変換装置によれば、入力画像の各画素のうち、変換テーブルにより位置関係が定められた入力画像の画素のみが変換テーブルにより変換され、モニタに表示しない入力画像の画素について出力画像に変換する演算が行われないので、画像変換装置の画像変換処理速度が向上する。
【００４６】
請求項６に記載の車両後方監視装置用画像変換装置によれば、表示制御手段が
第３の変換手段により実カメラ位置での実ＣＣＤ面座標系で表された座標値を実ＣＣＤ面上で入力画像に対する出力画像の切り取り範囲を拡大するように変換する画像切り取り範囲拡大手段を備え、画像切り取り範囲拡大手段で変換された座標値を第４の変換手段によりカメラのレンズ歪を加えた入力画像における座標値に変換するので、より視界の広い画像がモニタに表示される。
請求項７に記載の車両後方監視装置用画像変換装置によれば、表示制御手段は、出力画像における仮想カメラ位置での仮想ＣＣＤ面座標系で表された座標値を仮想ＣＣＤ面座標系の原点を移動した座標系での座標値に変換するので、車両の後方の視界のうち運転者にとって必要な範囲のモニタ画像を選択することができる。
【００４７】
請求項８に記載の車両後方監視装置用画像変換装置によれば、表示制御手段は、後退時に車両の運転を支援するためのガイド表示を前記モニタ上に重畳して表示するので、より視野が広い車両後方画像に基づいたガイド表示により駐車操作がより一層容易になる。
請求項９に記載の車両後方監視装置用画像変換装置によれば、ガイド表示は、モニタの画面に所定位置に固定表示され且つ車両が直進後退したときの車両両側部の予想位置を示す車幅ガイドラインを含むので、駐車スペース周辺の視界もより広くなるとともに、駐車スペースの側方駐車枠線と車幅ガイドラインとが平行か否かの判断が容易になる。
【００４８】
請求項１０に記載の車両後方監視装置用画像変換装置によれば、ハンドルの操舵角を検知する操舵角センサを備え、ガイド表示は、モニタの画面に移動表示され且つ操舵角センサにより検出したハンドル操舵角のまま車両が後退したときの車両の予想位置を示す車両軌跡ガイドラインを含むので、ハンドルを操舵した状態で車両が後退したときの車両の予想位置を把握しやすく、安全で精度の高い駐車が可能になる。
請求項１１に記載の車両後方監視装置用画像変換装置によれば、ハンドルの操舵角を検知する操舵角センサを備え、ガイド表示は、モニタの画面の所定位置に固定表示され且つ駐車のための適正な操舵開始地点をガイドする線分からなる操舵開始ガイドラインと操舵角センサにより検出したハンドル操舵角の大きさに従ってモニタの画面上の操舵開始ガイドラインに沿って移動表示される操舵量ガイドマークとを含むので、運転者は適正なハンドル操舵開始点とハンドル操舵量とを把握することができ、駐車操作を簡単に行うことができる。
【図面の簡単な説明】
【図１】この発明の実施の形態１に係る車両後方監視装置用画像変換装置を搭載した車両を示すものであり、（ａ）は車両を右側方から見た側面図、（ｂ）は車両を上方から見た平面図である。
【図２】実施の形態１の画像変換装置の構成を示すブロック図である。
【図３】実施の形態１における変換テーブルにより変換される出力画像の画素と入力画像の画素との対応関係を示した模式図である。
【図４】実施の形態１における変換テーブルにより変換される出力画像の画素と入力画像の画素との対応関係を示した模式図である。
【図５】実施の形態１の画像変換装置に係る画像変換の効果を説明する概略図であり、（ａ）はレンズ歪を含んだ入力画像であり、（ｂ）はレンズ歪を除去した画像であり、（ｃ）は仮想カメラ位置の出力画像である。
【図６】実施の形態２の画像変換装置に係る画像変換を説明する概略図である。
【図７】実施の形態３の画像変換装置に係る画像変換を説明する概略図であり、（ａ）は仮想ＣＣＤ画面座標系の原点位置のシフト前を、（ｂ）は原点位置のシフト後を表す概略図である。
【図８】この発明の実施の形態４に係る車両後方監視装置用画像変換装置を搭載した車両を示すものであり、（ａ）は車両を右側方から見た側面図、（ｂ）は車両を上方から見た平面図である。
【図９】実施の形態５の画像変換装置の構成を示すブロック図である。
【図１０】実施の形態５における並列駐車時の車両の位置とモニタ画面を模式的に示す概略図であり、（ａ）および（ｂ）は、仮想カメラ位置からの歪補正をした出力画像にガイド表示を重畳表示したものであり、（ｃ）は、実カメラ位置からの歪補正をした画像にガイド表示を重畳表示したものである。
【図１１】従来の車両後方監視装置用画像処理装置を搭載した車両を示すものであり、（ａ）は車両を右側方から見た側面図、（ｂ）は車両を上方から見た平面図であり、（ｃ）はレンズ歪を含んだ入力画像である。
【符号の説明】
１…車両、２…カメラ、４…モニタ、１６…ハンドル、２３，７３…実カメラ位置、３０…コントローラ、３１，７１…仮想カメラ位置、８１…操舵角センサ、１００，１１０…操舵開始ガイドライン、１２０…操舵量ガイドマーク、１３０…車両軌跡ガイドライン、１４０…車幅ガイドライン、ＯＡ…実カメラ光軸中心、ＯＢ…仮想カメラ光軸中心。
Claims (11)
- 車両の後方を撮影するために車両に搭載されたカメラと、
車両の運転席に配置されたモニタと、
車両の後退時に、前記カメラにより撮影された画像である入力画像を、前記カメラが搭載された実カメラ位置と異なる位置である仮想カメラ位置から後方を所定の伏角で撮影したと仮想された画像である出力画像に変換して、この出力画像を前記モニタに表示する表示制御手段と
を備え、
前記表示制御手段は、
出力画像における仮想カメラ位置での仮想ＣＣＤ面座標系で表された座標値を仮想カメラ位置の地面座標系における座標値に変換する第１の変換手段と、
仮想カメラ位置の地面座標系における座標値に変換された座標値を、仮想カメラ位置に前記カメラを配置したと仮想したときの前記カメラの光軸の中心である仮想カメラ光軸中心と実カメラ光軸中心とのオフセット分のみシフトした実カメラ位置の地面座標系で表された座標値に変換する第２の変換手段と、
実カメラ位置の地面座標系における座標値に変換された座標値を、実カメラ位置での実ＣＣＤ面座標系で表された座標値に変換する第３の変換手段と、
実ＣＣＤ面座標系における座標値に変換された座標値から、前記カメラのレンズ歪を加えた入力画像における座標値に変換する第４の変換手段とを備えた変換テーブルを有し、
この変換テーブルにより、前記モニタに表示する出力画像の各画素に対応した入力画像の各画素との位置関係を定めるようにしたことを特徴とする車両後方監視装置用画像変換装置。 - 前記表示制御手段は、入力画像に対する出力画像の切り取り範囲を平行移動させる機能を含むことを特徴とする請求項１に記載の車両後方監視装置用画像変換装置。
- 前記表示制御手段は、入力画像に対する出力画像の切り取り範囲を拡大して出力画像に変換することを特徴とする請求項１あるいは２に記載の車両後方監視装置用画像変換装置。
- 前記表示制御手段は、入力画像に対してレンズ歪を除去した出力画像に変換することを特徴とする請求項１〜３のいずれか一項に記載の車両後方監視装置用画像変換装置。
- 前記表示制御手段は、
入力画像の各画素のうち、前記変換テーブルにより位置関係が定められた入力画像の画素のみが、前記変換テーブルにより変換され、出力画像として前記モニタに表示することを特徴とする請求項１〜４のいずれか一項に記載の車両後方監視装置用画像変換装置。 - 前記表示制御手段は、
前記第３の変換手段により実カメラ位置での実ＣＣＤ面座標系で表された座標値を実ＣＣＤ面上で入力画像に対する出力画像の切り取り範囲を拡大するように変換する画像切り取り範囲拡大手段を備え、
前記画像切り取り範囲拡大手段で変換された座標値を前記第４の変換手段により前記カメラのレンズ歪を加えた入力画像における座標値に変換することを特徴とする請求項１〜５のいずれか一項に記載の車両後方監視装置用画像変換装置。 - 前記表示制御手段は、
出力画像における仮想カメラ位置での仮想ＣＣＤ面座標系で表された座標値を前記仮想ＣＣＤ面座標系の原点を移動した座標系での座標値に変換する画像移動手段を備え、
前記画像移動手段で変換された座標値を前記第１の変換手段により仮想カメラ位置の地面座標系における座標値に変換することを特徴とする請求項１〜６のいずれか一項に記載の車両後方監視装置用画像変換装置。 - 前記表示制御手段は、後退時に車両の運転を支援するためのガイド表示を前記モニタ上に重畳して表示することを特徴とする請求項１〜７のいずれか一項に記載の車両後方監視装置用画像変換装置。
- ガイド表示は、前記モニタの画面に所定位置に固定表示され且つ車両が直進後退したときの車両両側部の予想位置を示す車幅ガイドラインを含む請求項８記載の車両後方監視装置用画像変換装置。
- ハンドルの操舵角を検知する操舵角センサを備え、
ガイド表示は、前記モニタの画面に移動表示され且つ前記操舵角センサにより検出したハンドル操舵角のまま車両が後退したときの車両の予想位置を示す車両軌跡ガイドラインを含む請求項８あるいは９に記載の車両後方監視装置用画像変換装置。 - ハンドルの操舵角を検知する操舵角センサを備え、
ガイド表示は、前記モニタの画面の所定位置に固定表示され且つ駐車のための適正な操舵開始地点をガイドする線分からなる操舵開始ガイドラインと、前記操舵角センサにより検出したハンドル操舵角の大きさに従って前記モニタの画面上の操舵開始ガイドラインに沿って移動表示される操舵量ガイドマークとを含む請求項８〜１０のいずれか一項に記載の車両後方監視装置用画像変換装置。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP37217099A JP3624769B2 (ja) | 1999-09-30 | 1999-12-28 | 車両後方監視装置用画像変換装置 |
| US09/856,921 US6985171B1 (en) | 1999-09-30 | 2000-09-22 | Image conversion device for vehicle rearward-monitoring device |
| PCT/JP2000/006523 WO2001024527A1 (fr) | 1999-09-30 | 2000-09-22 | Dispositif de conversion d'image pour dispositif de surveillance arriere de vehicule |
| DE10083445T DE10083445B4 (de) | 1999-09-30 | 2000-09-22 | Fahrzeug-Rückwärts-Überwachungsvorrichtung mit einer Anzeigesteuereinrichtung zur Transformation eines Eingabebildes |
| GB0113009A GB2361376B (en) | 1999-09-30 | 2000-09-22 | Image conversion device for vehicle rearward-monitoring device |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11-279197 | 1999-09-30 | ||
| JP27919799 | 1999-09-30 | ||
| JP37217099A JP3624769B2 (ja) | 1999-09-30 | 1999-12-28 | 車両後方監視装置用画像変換装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001163132A JP2001163132A (ja) | 2001-06-19 |
| JP3624769B2 true JP3624769B2 (ja) | 2005-03-02 |
Family
ID=26553214
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP37217099A Expired - Fee Related JP3624769B2 (ja) | 1999-09-30 | 1999-12-28 | 車両後方監視装置用画像変換装置 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US6985171B1 (ja) |
| JP (1) | JP3624769B2 (ja) |
| DE (1) | DE10083445B4 (ja) |
| GB (1) | GB2361376B (ja) |
| WO (1) | WO2001024527A1 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9308862B2 (en) | 2006-03-27 | 2016-04-12 | Panasonic Intellectual Property Management Co., Ltd. | Drive assistance device |
Families Citing this family (38)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4629839B2 (ja) * | 2000-09-07 | 2011-02-09 | クラリオン株式会社 | 画像変換装置 |
| JP4512293B2 (ja) * | 2001-06-18 | 2010-07-28 | パナソニック株式会社 | 監視システムおよび監視方法 |
| JP3960092B2 (ja) * | 2001-07-12 | 2007-08-15 | 日産自動車株式会社 | 車両用画像処理装置 |
| JP4956880B2 (ja) * | 2001-09-27 | 2012-06-20 | アイシン精機株式会社 | 車両用監視装置 |
| JP4364471B2 (ja) * | 2001-12-28 | 2009-11-18 | 株式会社エクォス・リサーチ | 車両の画像処理装置 |
| JP4021685B2 (ja) * | 2002-03-04 | 2007-12-12 | 松下電器産業株式会社 | 画像合成変換装置 |
| JP2003267171A (ja) * | 2002-03-13 | 2003-09-25 | Nissan Motor Co Ltd | 車両後方監視装置 |
| JP3871614B2 (ja) * | 2002-06-12 | 2007-01-24 | 松下電器産業株式会社 | 運転支援装置 |
| JP3982357B2 (ja) * | 2002-07-24 | 2007-09-26 | 住友電気工業株式会社 | 画像変換システム及び画像処理装置 |
| SE525848C2 (sv) | 2002-12-17 | 2005-05-10 | Volvo Lastvagnar Ab | Rangeringsanordning för ett fordon samt en metod för att underlätta rangering av fordon |
| JP2004212658A (ja) * | 2002-12-27 | 2004-07-29 | Sumitomo Electric Ind Ltd | 画像表示システム、画像表示方法及び画像処理装置 |
| JP2005311698A (ja) * | 2004-04-21 | 2005-11-04 | Auto Network Gijutsu Kenkyusho:Kk | 車両周辺視認装置 |
| JP4560716B2 (ja) * | 2004-09-28 | 2010-10-13 | アイシン精機株式会社 | 車両の周辺監視システム |
| JP4564320B2 (ja) * | 2004-09-29 | 2010-10-20 | アイシン精機株式会社 | ドライバモニタシステム |
| GB0422585D0 (en) | 2004-10-12 | 2004-11-10 | Trw Ltd | Sensing apparatus and method for vehicles |
| JP4596978B2 (ja) * | 2005-03-09 | 2010-12-15 | 三洋電機株式会社 | 運転支援システム |
| US8194132B2 (en) * | 2006-01-20 | 2012-06-05 | Old World Industries, Llc | System for monitoring an area adjacent a vehicle |
| JP2008037320A (ja) * | 2006-08-08 | 2008-02-21 | Suzuki Motor Corp | 駐車支援装置、駐車支援方法及び駐車支援プログラム |
| JP5013773B2 (ja) * | 2006-08-18 | 2012-08-29 | パナソニック株式会社 | 車載画像処理装置及びその視点変換情報生成方法 |
| US8233045B2 (en) * | 2007-07-16 | 2012-07-31 | Trw Automotive U.S. Llc | Method and apparatus for distortion correction and image enhancing of a vehicle rear viewing system |
| JP4450036B2 (ja) * | 2007-09-10 | 2010-04-14 | トヨタ自動車株式会社 | 複合画像生成装置、及びプログラム |
| US8218007B2 (en) | 2007-09-23 | 2012-07-10 | Volkswagen Ag | Camera system for a vehicle and method for controlling a camera system |
| DE102007049821A1 (de) * | 2007-10-16 | 2009-04-23 | Daimler Ag | Verfahren zum Kalibrieren einer Anordnung mit mindestens einer omnidirektionalen Kamera und einer optischen Anzeigeeinheit |
| JP5240453B2 (ja) * | 2008-02-14 | 2013-07-17 | 株式会社リコー | 画像処理方法、画像処理装置及び画像撮像装置 |
| JP2010016805A (ja) * | 2008-06-04 | 2010-01-21 | Sanyo Electric Co Ltd | 画像処理装置、運転支援システム、及び画像処理方法 |
| JP5035284B2 (ja) * | 2009-03-25 | 2012-09-26 | 株式会社日本自動車部品総合研究所 | 車両周辺表示装置 |
| JP5223811B2 (ja) * | 2009-08-06 | 2013-06-26 | 株式会社日本自動車部品総合研究所 | 画像補正装置、画像補正方法、及びそれらに用いられる変換マップ作成方法 |
| KR101123738B1 (ko) * | 2009-08-21 | 2012-03-16 | 고려대학교 산학협력단 | 중장비 동작 안전 모니터링 시스템 및 방법 |
| WO2011141971A1 (ja) * | 2010-05-14 | 2011-11-17 | 三菱電機株式会社 | 駐車支援装置、駐車支援システム、および駐車支援カメラユニット |
| WO2011163480A2 (en) * | 2010-06-24 | 2011-12-29 | Tk Holdings Inc. | Vehicle display enhancements |
| JP5447490B2 (ja) * | 2011-11-18 | 2014-03-19 | アイシン精機株式会社 | 車両用監視装置 |
| KR102175961B1 (ko) * | 2013-11-29 | 2020-11-09 | 현대모비스 주식회사 | 차량 후방 주차 가이드 장치 |
| DE102014212819A1 (de) * | 2014-07-02 | 2016-01-07 | Zf Friedrichshafen Ag | Ortspositionsabhängige Darstellung von Fahrzeugumfelddaten auf einer mobilen Einheit |
| JP6361382B2 (ja) * | 2014-08-29 | 2018-07-25 | アイシン精機株式会社 | 車両の制御装置 |
| DE102016211227A1 (de) * | 2016-06-23 | 2017-12-28 | Conti Temic Microelectronic Gmbh | Verfahren und Fahrzeugsteuersystem zum Erzeugen von Abbildungen eines Umfeldmodells und entsprechendes Fahrzeug |
| JP6854095B2 (ja) * | 2016-07-01 | 2021-04-07 | フォルシアクラリオン・エレクトロニクス株式会社 | 駐車支援装置 |
| DE102016225066A1 (de) | 2016-12-15 | 2018-06-21 | Conti Temic Microelectronic Gmbh | Rundumsichtsystem für ein Fahrzeug |
| CN109720274B (zh) * | 2017-10-27 | 2021-07-27 | 厦门歌乐电子企业有限公司 | 一种车辆开门碰撞预警装置和方法 |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2610146B2 (ja) * | 1987-12-04 | 1997-05-14 | 本田技研工業株式会社 | 車両の後方視界表示装置 |
| JPH0399952A (ja) * | 1989-09-12 | 1991-04-25 | Nissan Motor Co Ltd | 車両用周囲状況モニタ |
| US5121200A (en) * | 1990-07-06 | 1992-06-09 | Choi Seung Lyul | Travelling monitoring system for motor vehicles |
| US5289321A (en) * | 1993-02-12 | 1994-02-22 | Secor James O | Consolidated rear view camera and display system for motor vehicle |
| JPH0717328A (ja) * | 1993-06-30 | 1995-01-20 | Mitsubishi Motors Corp | 車両用周辺認識補助装置 |
| JP3381351B2 (ja) * | 1993-12-24 | 2003-02-24 | 日産自動車株式会社 | 車両用周囲状況表示装置 |
| JPH0896118A (ja) * | 1994-09-28 | 1996-04-12 | Nissan Motor Co Ltd | 車両用周囲状況表示装置 |
| DE19539642A1 (de) * | 1995-10-25 | 1996-11-14 | Daimler Benz Ag | Verfahren zur Visualisierung eines nicht unmittelbar einsehbaren Überwachungsraumes insbesondere bei einem Fahrzeug, und Vorrichtung zur Visualisierung eines nicht unmittelbar einsehbaren Überwachungsraumes |
| JPH10109590A (ja) * | 1996-10-07 | 1998-04-28 | Nippon Buyuutec:Kk | 自動車 |
| JPH10271490A (ja) * | 1997-03-24 | 1998-10-09 | Yazaki Corp | 車両後方監視装置 |
| JP3917241B2 (ja) | 1997-06-25 | 2007-05-23 | 富士重工業株式会社 | 車両用運転支援装置 |
| EP2267656A3 (en) * | 1998-07-31 | 2012-09-26 | Panasonic Corporation | Image displaying apparatus und image displaying method |
| JP2000295604A (ja) * | 1999-04-06 | 2000-10-20 | Yazaki Corp | 車両用後側方監視装置 |
-
1999
- 1999-12-28 JP JP37217099A patent/JP3624769B2/ja not_active Expired - Fee Related
-
2000
- 2000-09-22 DE DE10083445T patent/DE10083445B4/de not_active Expired - Fee Related
- 2000-09-22 US US09/856,921 patent/US6985171B1/en not_active Expired - Fee Related
- 2000-09-22 GB GB0113009A patent/GB2361376B/en not_active Expired - Fee Related
- 2000-09-22 WO PCT/JP2000/006523 patent/WO2001024527A1/ja active Application Filing
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9308862B2 (en) | 2006-03-27 | 2016-04-12 | Panasonic Intellectual Property Management Co., Ltd. | Drive assistance device |
Also Published As
| Publication number | Publication date |
|---|---|
| DE10083445B4 (de) | 2005-09-22 |
| GB0113009D0 (en) | 2001-07-18 |
| JP2001163132A (ja) | 2001-06-19 |
| GB2361376B (en) | 2004-07-28 |
| WO2001024527A1 (fr) | 2001-04-05 |
| GB2361376A (en) | 2001-10-17 |
| DE10083445T1 (de) | 2001-11-08 |
| US6985171B1 (en) | 2006-01-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3624769B2 (ja) | 車両後方監視装置用画像変換装置 | |
| JP5003946B2 (ja) | 駐車支援装置 | |
| JP5182545B2 (ja) | 駐車支援装置 | |
| KR101362496B1 (ko) | 주차 지원 장치 및 주차 지원 방법 | |
| JP5380941B2 (ja) | 駐車支援装置及び方法 | |
| EP2402219B1 (en) | Parking assistance device | |
| JP3427823B2 (ja) | 縦列駐車時の車両後退支援装置 | |
| JP4108314B2 (ja) | 車両用周辺監視装置 | |
| JP4639753B2 (ja) | 運転支援装置 | |
| JP3575364B2 (ja) | 操舵支援装置 | |
| JP3508665B2 (ja) | 操舵支援装置 | |
| JP2008007090A (ja) | 駐車支援方法及び駐車支援装置 | |
| JP5013205B2 (ja) | 駐車支援装置 | |
| JP2008114691A (ja) | 車両周辺監視装置および車両周辺監視映像表示方法 | |
| JP3395725B2 (ja) | 並列駐車時の操舵支援装置 | |
| JP2008213647A (ja) | 駐車支援方法及び駐車支援装置 | |
| JP3674473B2 (ja) | 車両後方視界支援装置 | |
| KR101861523B1 (ko) | 차량 운전 보조 장치 및 방법 | |
| JP4156181B2 (ja) | 駐車支援装置 | |
| JP3906896B2 (ja) | 駐車支援装置 | |
| JP2006027334A (ja) | 運転支援装置および方法 | |
| JP2017149397A (ja) | 駐車支援装置および駐車支援方法 | |
| JP2010184606A (ja) | 車両周辺表示装置 | |
| JP3630053B2 (ja) | 駐車時の操舵支援装置 | |
| JP2003159995A (ja) | 車両用周辺監視装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040810 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041006 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041109 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041122 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111210 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111210 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121210 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |