JP4724522B2 - 車両周囲視界支援システム - Google Patents

車両周囲視界支援システム Download PDF

Info

Publication number
JP4724522B2
JP4724522B2 JP2005300198A JP2005300198A JP4724522B2 JP 4724522 B2 JP4724522 B2 JP 4724522B2 JP 2005300198 A JP2005300198 A JP 2005300198A JP 2005300198 A JP2005300198 A JP 2005300198A JP 4724522 B2 JP4724522 B2 JP 4724522B2
Authority
JP
Japan
Prior art keywords
bird
vehicle
eye
image
parking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2005300198A
Other languages
English (en)
Other versions
JP2006151370A (ja
Inventor
勝之 今西
武典 松江
道長 名倉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Soken Inc
Original Assignee
Denso Corp
Nippon Soken Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp, Nippon Soken Inc filed Critical Denso Corp
Priority to JP2005300198A priority Critical patent/JP4724522B2/ja
Priority to DE102005051777A priority patent/DE102005051777B4/de
Publication of JP2006151370A publication Critical patent/JP2006151370A/ja
Application granted granted Critical
Publication of JP4724522B2 publication Critical patent/JP4724522B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D15/00Steering not otherwise provided for
    • B62D15/02Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027Parking aids, e.g. instruction means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D15/00Steering not otherwise provided for
    • B62D15/02Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027Parking aids, e.g. instruction means
    • B62D15/028Guided parking by providing commands to the driver, e.g. acoustically or optically
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明は、例えばユーザが自車両を旋回させながら後退させて駐車させる場合の運転を支援する駐車支援システムに適用可能な車両周囲視界支援システムに関する。
例えばユーザが自車両を旋回させながら後退させて駐車させる場合の運転を支援する駐車支援システムとして、出願人は、特願2004−053805を出願した。この特願2004−053805に記載されている駐車支援システムでは、ユーザが自車両を前進させて駐車開始位置に停止させると、自車両の車体の後部に取付けられている後方撮影カメラが自車両の後方を撮影し、その撮影された後方撮影画像を鳥瞰変換して後方鳥瞰画像を作成し、その作成された後方鳥瞰画像を表示画像として表示装置(モニタ)に表示することにより、ユーザが目標とする駐車位置を表示画像内で容易に設定することを可能とし、ユーザが駐車位置を設定した後に、自車両を駐車開始位置から駐車位置まで自動操舵させるものである。
ところで、図15に示すように、例えばユーザが自車両を前進させて既に駐車されている駐車車両(図15中では駐車車両A)の横に一旦停止させた後に旋回させながら後退させて当該駐車車両の後方に駐車させる場合(いわいる縦列駐車させる場合)を想定すると、上記した特願2004−053805に記載されている駐車支援システムでは、自車両が前進して駐車車両の横に一旦停止した後、つまり、自車両が駐車開始位置に停止した後に自車両の後方を撮影し、その後方撮影画像を鳥瞰変換して後方鳥瞰画像を表示画像として表示する構成であるので、駐車車両の陰となる部分が死角となり、駐車可能スペースの一部が視認不可となる場合がある。そうなると、ユーザが目標とする駐車位置を設定しようとする領域を適切に表示することができず、ユーザが目標とする駐車位置を表示画像内で適切に設定することができないという問題がある。これと同様の問題は、例えばユーザが自車両を建造物(家屋や倉庫など)の横に一旦停止させた後に旋回させながら後退させて当該建造物の後方に駐車させる場合でも起こり得る。
本発明は、上記した事情に鑑みてなされたものであり、その目的は、自車両の周囲を適切な表示画像として表示することができ、例えばユーザが自車両を前進させて既に駐車されている駐車車両の横に一旦停止させた後に旋回させながら後退させて当該駐車車両の後方に駐車させる場合であっても、ユーザが目標とする駐車位置を表示画像内で適切に設定することができる車両周囲視界支援システムを提供することにある。
請求項1に記載した発明によれば、制御手段は、自車両が前進しているときに撮影手段により複数のタイミングで撮影された複数の後方撮影画像及び複数の側方撮影画像を鳥瞰画像作成手段により鳥瞰変換させて複数の後方鳥瞰画像及び複数の側方鳥瞰画像を作成させ、それら複数の後方鳥瞰画像と複数の側方鳥瞰画像とを合成鳥瞰画像作成手段により合成させて合成鳥瞰画像を作成させ、その合成鳥瞰画像を表示画像として自車両の位置を表す自車両図形と共に表示手段に表示させる。
このものによれば、従来のものとは異なって、ユーザが自車両を前進させて駐車車両の横に一旦停止させた後の後方撮影画像が鳥瞰変換された後方鳥瞰画像を表示画像として表示するのではなく、ユーザが自車両を前進させて駐車車両の横に一旦停止させる前、つまり、駐車開始位置に停止させる前の後方撮影画像及び側方撮影画像が鳥瞰変換されて合成された合成鳥瞰画像を表示画像として表示することになるので、自車両が前進して駐車開始位置に停止する直前にユーザにより駐車位置が設定される領域(この場合は駐車車両の後方)の横を通過していれば、駐車車両の陰となる部分が死角となることがなく、駐車可能スペースの全体を視認可とすることができ、ユーザが目標とする駐車位置を設定しようとする領域を適切に表示することができる。
これにより、自車両の周囲を適切な表示画像として表示することができ、例えばユーザが自車両を前進させて既に駐車されている駐車車両の横に一旦停止させた後に旋回させながら後退させて当該駐車車両の後方に駐車させる場合(いわいる縦列駐車させる場合)であっても、ユーザが目標とする駐車位置を表示画像内で適切に設定することができる。
また、自車両の後方の様子を表す後方撮影画像及び自車両の側方の様子を表す側方撮影画像が鳥瞰変換されて合成された合成鳥瞰画像によりユーザが目標とする駐車位置を設定しようとする領域を表示することができ、自車両の後方及び自車両の側方の視界を適切に確保することができる。
さらに、傾き検出手段は、撮影手段により複数のタイミングで撮影された複数の後方撮影画像及び複数の側方撮影画像や鳥瞰画像作成手段により作成された複数の後方鳥瞰画像及び複数の側方鳥瞰画像を画像解析して自車両に対する駐車車両や駐車枠の傾きを検出し、合成鳥瞰画像作成手段は、鳥瞰画像作成手段により作成された複数の側方鳥瞰画像を傾き検出手段により検出された自車両に対する駐車車両や駐車枠の傾きに略平行な方向に合成して合成鳥瞰画像を作成する。
これにより、いわゆる縦列駐車させる場合や例えばユーザが自車両を前進させて既に駐車されている駐車車両の前または後に一旦停止させた後に略直角に旋回させながら後退させて当該駐車車両の側方に駐車させる場合ではなく、例えばユーザが自車両を前進させて既に駐車されている駐車車両の斜め前または斜め後に一旦停止させた後に鈍角に旋回させながら後退させて当該駐車車両の側方に駐車させる場合(いわゆる斜め駐車させる場合)であっても、複数の側方鳥瞰画像を自車両に対する駐車車両や駐車枠の傾きに略平行な方向に合成して合成鳥瞰画像を作成することにより、駐車車両の陰となる部分が死角となることがなく、駐車可能スペースの全体を視認可とすることができ、ユーザが目標とする駐車位置を設定しようとする領域を適切に表示することができる。
請求項に記載した発明によれば、合成鳥瞰画像作成手段は、後方鳥瞰画像と側方鳥瞰画像とが重複する箇所では側方鳥瞰画像が視認可能となるように合成鳥瞰画像を作成する。これにより、側方撮影画像の解像度が後方撮影画像の解像度よりも高ければ、鮮明な合成鳥瞰画像を表示画像として表示することできる。
請求項3に記載した発明によれば、制御手段は、自車両が前進して駐車開始位置に停止した場合に、合成鳥瞰画像作成手段により作成された合成鳥瞰画像を表示画像として自車両の位置を表す自車両図形と共に表示手段に表示させる。これにより、自車両が前進して駐車開始位置に停止した直後、つまり、ユーザが目標とする駐車位置を設定しようとするタイミングでユーザが目標とする駐車位置を設定しようとする領域を適切に表示することができる。
請求項に記載した発明によれば、制御手段は、自車両が前進して駐車開始位置に停止した後にユーザにより目標とする駐車位置が設定された場合に、合成鳥瞰画像作成手段により作成された合成鳥瞰画像に基づいて駐車開始位置から駐車位置までの自車両の進路を設定する。これにより、ユーザが駐車位置を設定すると、ユーザが目標とする駐車位置を設定しようとする領域が表示された表示画像に基づいて駐車開始位置から駐車位置までの自車両の進路を適切に設定することができる。
(第1の実施形態)
以下、本発明の車両周囲視界支援システムを、ユーザが自車両を既に駐車されている駐車車両の横に一旦停止させた後に旋回させながら後退させて当該駐車車両の後方に駐車させる場合(いわゆる縦列駐車させる場合)の運転を支援する駐車支援システムに適用した第1の実施形態について、図1ないし図8を参照して説明する。
図2は、駐車支援システムの全体構成を機能ブロック図として示している。駐車支援システム1は、CPU2(本発明でいう鳥瞰画像作成手段、合成鳥瞰画像作成手段、制御手段)、後方撮影カメラ3(本発明でいう撮影手段)、撮影画像用フレームメモリ4、ワークメモリ5、マップメモリ6、中間画像用メモリ7、表示画像用メモリ8、タッチパネルモニタ9(本発明でいう表示手段)、車速センサ10、ステアリングセンサ11、ヨーレイトセンサ12、障害物検出センサ13及び操舵制御回路14を備えて構成されている。
CPU2は、制御プログラムを実行して駐車支援システム1の動作全般を制御する。後方撮影カメラ3は、例えば自車両の車体の後部に取付けられており、自車両の後方を撮影する。撮影画像用フレームメモリ4は、後方撮影カメラ3により撮影された後方撮影画像を一時的に記憶する。ワークメモリ5は、CPU2が制御プログラムを実行するに際して各種のデータを一時的に記憶するなどの作業用の記憶領域として機能する。
マップメモリ6は、CPU2が後方撮影画像のレンズ収差に起因する歪みを収差補正するのに用いる収差補正用パラメータ、CPU2が収差補正画像を鳥瞰変換するのに用いる鳥瞰変換用パラメータ、CPU2が複数の後方鳥瞰画像を合成するのに用いる合成用パラメータなどを記憶している。中間画像用メモリ7は、CPU2が収差補正用パラメータを用いて作成した収差補正画像、CPU2が鳥瞰変換用パラメータを用いて作成した後方鳥瞰画像、CPU2が合成用パラメータを用いて作成した合成鳥瞰画像などを一時的に記憶する。
表示画像用メモリ8は、CPU2が作成した合成鳥瞰画像を一時的に記憶する。タッチパネルモニタ9は、CPU2が作成した合成鳥瞰画像を表示画像として表示する表示機能とユーザの操作をタッチパネルにより受付ける操作受付機能とを備えており、CPU2から表示指令が入力されると、表示画像用メモリ8に一時的に記憶されている合成鳥瞰画像を表示画像として表示すると共に、CPU2から操作受付指令が入力されると、ユーザの操作を受付けて操作情報をCPU2に通知する。
車速センサ10は、自車両の車速を検出して車速検出信号(車速パルス)をCPU2に出力し、ステアリングセンサ11は、自車両のステアリング角度を検出してステアリング角度検出信号をCPU2に出力し、ヨーレイトセンサ12は、ヨーレイトを検出してヨーレイト検出信号をCPU2に出力する。これに伴って、CPU2は、車速センサ10から車速検出信号が入力されたり、ステアリングセンサ11からステアリング角度検出信号が入力されたり、ヨーレイトセンサ12からヨーレイト検出信号が入力されたりすると、その入力された車速検出信号、ステアリング角度検出信号及びヨーレイト検出信号を解析し、自車両の移動距離や回転半径(自車両の移動状態)を計算したり、自車両の進路を計算したりする。
障害物検出センサ13は、例えばソナーやレーダなどにより構成され、反射電波の受信状態に応じた障害物検出信号をCPU2に出力する。これに伴って、CPU2は、障害物検出センサ13から障害物検出信号が入力されると、その入力された障害物検出信号を解析し、障害物の位置を検出する。操舵制御回路14は、CPU2から操舵制御信号が入力されると、その入力された操舵制御信号に基づいて自車両の自動操舵を制御する。尚、上記した構成において、駐車支援システム1は、その機能ブロックの一部または全体が自車両に搭載可能な周知のナビゲーション装置から構成されていても良い。
次に、上記した構成の作用について、図1、図3ないし図8を参照して説明する。ここで、図3は、CPU2が行う処理をフローチャートとして示している。
ユーザは、例えば自車両を既に駐車されている駐車車両の横に一旦停止させた後に旋回させながら後退させて当該駐車車両の後方に駐車させる場合には、自車両を既に駐車されている駐車車両の横に一旦停止させ、つまり、自車両を駐車開始位置に一旦停止させるものであるが、本実施形態では、自車両を前進させているときに駐車支援システムを起動させるための所定操作を行う。尚、本実施形態では、ユーザが所定操作を行うことで駐車支援システムが起動される場合を説明するが、ユーザが所定音声を発することで音声認識の技術により駐車支援システムが起動される構成であっても良いし、自車両が減速して自車両の前進速度が所定速度以下に低下した場合に駐車支援システムが自動的に起動される構成であっても良い。
CPU2は、ユーザにより駐車支援システムを起動させるための所定操作が行われた旨を検出すると(ステップS1にて「YES」)、予め所定周期(例えば数十ミリ間隔)に設定されている撮影タイミングを計時するタイマをスタートさせ、撮影タイミングに到達したか否かを判定する(ステップS2)。ここで、CPU2は、撮影タイミングに到達した旨を検出すると(ステップS2にて「YES」)、自車両の後方を後方撮影カメラ3により撮影させ(ステップS3)、後方撮影カメラ3から撮影画像用フレームメモリ4を通じて入力された後方撮影画像を鳥瞰変換して後方鳥瞰画像を作成し(ステップS4)、その作成された後方鳥瞰画像を過去画像として記憶させる(ステップS5)。
次いで、CPU2は、次回の撮影タイミングに到達したか否かを判定すると共に(ステップS6)、自車両が駐車開始位置に停止したか否かを判定する(ステップS7)。ここで、CPU2は、次回の撮影タイミングに到達した旨を検出すると(ステップS6にて「YES」)、上記した処理と同様にして、自車両の後方を後方撮影カメラ3により撮影させ(ステップS8)、後方撮影カメラ3から撮影画像用フレームメモリ4を通じて入力された後方撮影画像を鳥瞰変換して後方鳥瞰画像を作成する(ステップS9)、そして、CPU2は、ここでは、その作成された後方鳥瞰画像と過去画像とを合成して合成鳥瞰画像を作成し(ステップS10)、その作成された合成鳥瞰画像を過去画像として記憶させる(ステップS11)。これ以降、CPU2は、自車両が駐車開始位置に停止した旨を検出するまで上記した処理を繰返して行う。
そして、CPU2は、自車両が駐車開始位置に停止した旨を検出すると(ステップS7にて「YES」)、このようにして作成された合成鳥瞰画像を表示画像として自車両の位置を表す自車両図形と共にタッチパネルモニタ9に表示させ(ステップS12)、一連の処理を終了し、ユーザが目標とする駐車位置を設定する旨を待機する。
以上に説明した処理により、CPU2は、駐車支援システムが起動された以後では、図4〜図6に示すように、自車両が前進している場合に、それら各々の位置で自車両の後方を後方撮影カメラ3により撮影させ、後方撮影画像を鳥瞰変換して後方鳥瞰画像を作成し、後方鳥瞰画像と過去画像とを合成して合成鳥瞰画像を作成する。そして、CPU2は、図7に示すように、自車両が駐車開始位置に停止した場合に、自車両が前進しているときに撮影された複数の後方鳥瞰画像が鳥瞰変換されて合成された合成鳥瞰画像を表示画像として自車両の位置を表す自車両図形と共にタッチパネルモニタ9に表示させる。尚、図7にて示す表示画像では駐車車両や駐車枠(例えば白線やロープ)などは省略している。
また、CPU2は、自車両が前進している場合には、上記したようにして逐一作成される合成鳥瞰画像をタッチパネルモニタ9に表示させても良いし、後方撮影カメラ3により撮影されたリアルタイムの後方撮影画像をタッチパネルモニタ9に表示させても良い。さらに、本実施形態では、自車両が移動して新規に撮影された後方撮影画像が鳥瞰変換された後方鳥瞰画像を切り出して合成することにより、合成鳥瞰画像を作成するものであるが、切り出しは、自車両の移動距離、回転半径及び回転角度から過去に合成された合成鳥瞰画像を平行移動・回転させ、空いた領域に対応する後方鳥瞰画像を新規の後方鳥瞰画像から切り出して貼付けて合成するものである。また、自車両が直線的に移動する場合には後方鳥瞰画像を短冊状に切り出すことになるが、自車両が曲線的に移動する(カーブする)場合には後方鳥瞰画像を円弧状に切り出すことになる。
ところで、以上は、自車両が駐車開始位置に停止する時点よりも十分に前に駐車支援システムが起動したことにより、十分な過去画像が存在する場合を説明したものであるが、例えば自車両が駐車開始位置に停止する直前に駐車支援システムが起動したことにより、十分な過去画像が存在しない場合には、図8に示すように、自車両の遠方の部分を現在の後方鳥瞰画像で補って表示することになる。また、本実施形態では、自車両が駐車開始位置に停止したタイミングで合成鳥瞰画像を表示する場合を説明したものであるが、シフトギアがバック位置に操作されたタイミングやユーザが所定音声を発したタイミングで合成鳥瞰画像を表示する構成であっても良い。
そして、これ以降、ユーザは、タッチパネルモニタ9に表示される合成鳥瞰画像を見ながら目標とする駐車位置を設定し、CPU2は、ユーザにより駐車位置が設定された旨を検出すると、操舵制御信号を操舵制御回路14へ出力し、自車両の駐車開始位置から駐車位置までの自動操舵を制御する。
以上に説明したように第1の実施形態によれば、駐車支援システム1において、自車両が駐車開始位置に停止すると、自車両が前進しているときに後方撮影カメラ3により複数のタイミングで撮影された複数の後方撮影画像が鳥瞰変換されて合成された合成鳥瞰画像を表示画像として自車両図形と共に表示するように構成した。したがって、ユーザが自車両を前進させて駐車車両の横に一旦停止させる前、つまり、駐車開始位置に停止させる前の後方撮影画像が鳥瞰変換されて合成された合成鳥瞰画像を表示画像として表示することになるので、自車両が前進して駐車開始位置に停止する直前にユーザにより駐車位置が設定される領域(この場合は駐車車両の後方)の横を通過していれば、駐車車両の陰となる部分が死角となることがなく、駐車可能スペースの全体を視認可とすることができ、ユーザが目標とする駐車位置を設定しようとする領域を適切に表示することができる。これにより、自車両の後方を適切な表示画像として表示することができ、例えば自車両が前進して既に駐車している駐車車両の横に一旦停止した後に旋回しながら後退して当該駐車車両の後方に駐車する場合であっても、ユーザが目標とする駐車位置を表示画像内で適切に設定することができる。
(第2の実施形態)
次に、本発明の第2の実施形態について、図9ないし図12を参照して説明する。尚、上記した第1の実施形態と同一部分については説明を省略し、異なる部分について説明する。上記した第1の実施形態は、自車両の周囲を撮影する撮影カメラとして自車両の後方を撮影する後方撮影カメラ3が配設されている構成であるが、これに対して、第2の実施形態は、自車両の周囲を撮影する撮影カメラとして自車両の後方を撮影する後方撮影カメラ3の他に自車両の右側方を撮影する右側方撮影カメラ及び自車両の左側方を撮影する左側方撮影カメラが配設されている。
すなわち、駐車支援システム21は、CPU22(本発明でいう鳥瞰画像作成手段、合成鳥瞰画像作成手段、制御手段)、後方撮影カメラ3、右側方撮影カメラ23(本発明でいう撮影手段)、左側方撮影カメラ24(本発明でいう撮影手段)、撮影画像用フレームメモリ4、ワークメモリ5、マップメモリ6、中間画像用メモリ7、表示画像用メモリ8、タッチパネルモニタ9、車速センサ10、ステアリングセンサ11、ヨーレイトセンサ12、障害物検出センサ13及び操舵制御回路14を備えて構成されている。右側方撮影カメラ23は、例えば自車両の右サイドミラーに取付けられており、自車両の右側方を撮影し、左側方撮影カメラ24は、例えば自車両の左サイドミラーに取付けられており、自車両の左側方を撮影する。
この場合、CPU22は、駐車支援システムが起動された以後では、図10に示すように、自車両が前進している場合に、それら各々の位置で自車両の後方、自車両の右側方及び自車両の左側方の各々を後方撮影カメラ3、右側方撮影カメラ23及び左側方撮影カメラ24により撮影させ、後方撮影画像、右側方撮影画像及び左側方撮影画像を鳥瞰変換して後方鳥瞰画像、右側方鳥瞰画像及び左側方鳥瞰画像を作成し、後方鳥瞰画像、右側方鳥瞰画像及び左側方鳥瞰画像と過去画像とを合成して合成鳥瞰画像を作成する。
そして、CPU22は、図11に示すように、自車両が駐車開始位置に停止した場合に、自車両が前進しているときに撮影された複数の後方鳥瞰画像、複数の右側方鳥瞰画像及び複数の左側方鳥瞰画像が合成された合成鳥瞰画像を表示画像として自車両の位置を表す自車両図形と共にタッチパネルモニタ9に表示させる。また、この場合、CPU22は、後方鳥瞰画像と右側方鳥瞰画像や左側方鳥瞰画像とが重複する箇所では、右側方鳥瞰画像や左側方鳥瞰画像が視認可能となるように合成鳥瞰画像を作成する。尚、図11にて示す表示画像でも駐車車両や駐車枠などは省略している。
ところで、このように後方撮影カメラ3の他に右側方撮影カメラ23及び左側方撮影カメラ24が配設されている構成の利点の一つとして、次の点が挙げられる。すなわち、図12に示すように、後方撮影カメラ3だけでは駐車可能スペースの全体を撮影することが不可能な位置を駐車開始位置として自車両が停止するような場合を想定すると、後方撮影カメラ3だけが配設されている構成では、ユーザは、駐車可能スペースの全体を確認することができるように自車両を駐車開始位置からさらに前進させる必要があるが、一方、後方撮影カメラ3の他に右側方撮影カメラ23及び左側方撮影カメラ24が配設されている構成では、ユーザは、この場合であれば、後方撮影カメラ3だけでは確認不可能な領域を左側方撮影カメラ24により撮影された左側方鳥瞰画像により確認することができるので、自車両を駐車開始位置からさらに前進させる必要はなく、自車両を駐車支援のために不必要に前進させることを回避することができる。
以上に説明したように第2の実施形態によれば、駐車支援システム21において、自車両が駐車開始位置に停止すると、自車両が前進しているときに後方撮影カメラ3、右側方撮影カメラ23及び左側方撮影カメラ24により複数のタイミングで撮影された複数の後方撮影画像、複数の右側方撮影画像及び複数の左側方撮影画像が鳥瞰変換されて合成された合成鳥瞰画像を表示画像として自車両図形と共に表示するように構成した。したがって、ユーザが自車両を前進させて駐車車両の横に一旦停止させる前、つまり、駐車開始位置に停止させる前の後方撮影画像、右側方撮影画像及び左側方撮影画像の各々が鳥瞰変換されて合成された合成鳥瞰画像を表示画像として表示することになるので、この場合も、上記した第1の実施形態に記載したものと同様にして、自車両が前進して駐車開始位置に停止する直前にユーザにより駐車位置が設定される領域の横を通過していれば、駐車車両の陰となる部分が死角となることがなく、駐車可能スペースの全体を視認可とすることができ、ユーザが目標とする駐車位置を設定しようとする領域を適切に表示することができる。これにより、自車両の後方および自車両の側方を適切な表示画像として表示することができ、例えば自車両が前進して既に駐車している駐車車両の横に一旦停止した後に旋回しながら後退して当該駐車車両の後方に駐車する場合であっても、ユーザが目標とする駐車位置を表示画像内で適切に設定することができる。
また、この場合は、後方鳥瞰画像と右側方鳥瞰画像や左側方鳥瞰画像とが重複する箇所では右側方鳥瞰画像や左側方鳥瞰画像が視認可能となるように合成鳥瞰画像を作成するように構成したので、右側方撮影カメラ23により撮影される右側方撮影画像や左側方撮影カメラ24により撮影される左側方撮影画像の解像度が後方撮影カメラ3により撮影される後方撮影画像の解像度よりも高ければ、鮮明な合成鳥瞰画像を表示画像として表示することできる。
(第3の実施形態)
次に、本発明の第3の実施形態について、図13及び図14を参照して説明する。尚、上記した第2の実施形態と同一部分については説明を省略し、異なる部分について説明する。上記した第2の実施形態は、後方鳥瞰画像、右側方鳥瞰画像及び左側方鳥瞰画像と過去画像とを合成して合成鳥瞰画像を作成する場合に、右側方鳥瞰画像及び左側方鳥瞰画像を自車両に対して略直角な方向に切り出して合成鳥瞰画像を作成する構成であるが、これに対して、第3の実施形態は、自車両に対する駐車車両や駐車枠の傾きを検出することにより、右側方鳥瞰画像及び左側方鳥瞰画像を自車両に対する駐車車両や駐車枠の傾きに略平行な方向に切り出して合成鳥瞰画像を作成する。
すなわち、駐車支援システム31において、CPU32(本発明でいう鳥瞰画像作成手段、合成鳥瞰画像作成手段、制御手段、傾き検出手段)は、画像解析の機能を有して構成されている。この場合、CPU32は、後方撮影カメラ3により撮影された後方撮影画像、右側方撮影カメラ23により撮影された右側方撮影画像及び左側方撮影カメラ24により撮影された左側方撮影画像や、後方撮影画像が鳥瞰変換された後方鳥瞰画像、右側方撮影画像が鳥瞰変換された右側方鳥瞰画像及び左側方撮影画像が鳥瞰変換された左側方鳥瞰画像を所定の画像解析アルゴリズムにしたがって画像解析して自車両に対する駐車車両や駐車枠の傾きを検出する。次いで、CPU32は、後方鳥瞰画像、右側方鳥瞰画像及び左側方鳥瞰画像と過去画像とを合成して合成鳥瞰画像を作成する場合に、右側方鳥瞰画像及び左側方鳥瞰画像を自車両に対する駐車車両や駐車枠の傾きに略平行な方向に切り出して合成鳥瞰画像を作成する。
そして、CPU32は、図14に示すように、自車両が駐車開始位置に停止した場合に、自車両が前進しているときに撮影された複数の後方鳥瞰画像、複数の右側方鳥瞰画像及び複数の左側方鳥瞰画像が合成された合成鳥瞰画像を表示画像として自車両の位置を表す自車両図形と共にタッチパネルモニタ9に表示させる。また、この場合も、CPU32は、後方鳥瞰画像と右側方鳥瞰画像や左側方鳥瞰画像とが重複する箇所では、右側方鳥瞰画像や左側方鳥瞰画像が視認可能となるように合成鳥瞰画像を作成する。尚、図14にて示す表示画像では駐車枠を検出して表示する例を示している。
以上に説明したように第3の実施形態によれば、駐車支援システム31において、自車両に対する駐車車両や駐車枠の傾きを検出し、後方鳥瞰画像、右側方鳥瞰画像及び左側方鳥瞰画像と過去画像とを合成して合成鳥瞰画像を作成する場合に、右側方鳥瞰画像及び左側方鳥瞰画像を自車両に対する駐車車両や駐車枠の傾きに略平行な方向に切り出して合成鳥瞰画像を作成するように構成した。これにより、いわゆる縦列駐車させる場合や例えばユーザが自車両を前進させて既に駐車されている駐車車両の前または後に一旦停止させた後に略直角に旋回させながら後退させて当該駐車車両の側方に駐車させる場合ではなく、例えばユーザが自車両を前進させて既に駐車されている駐車車両の斜め前または斜め後に一旦停止させた後に鈍角に旋回させながら後退させて当該駐車車両の側方に駐車させる場合(いわゆる斜め駐車させる場合)であっても、駐車車両の陰となる部分が死角となることがなく、駐車可能スペースの全体を視認可とすることができ、ユーザが目標とする駐車位置を設定しようとする領域を適切に表示することができる。
(その他の実施形態)
本発明は、上記した実施形態にのみ限定されるものではなく、以下のように変形または拡張することができる。
ユーザが自車両を前進させて既に駐車されている駐車車両の横に一旦停止させた後に旋回させながら後退させて当該駐車車両の後方に駐車(縦列駐車)させる場合に適用する構成に限らず、ユーザが自車両を建造物(家屋や倉庫など)の横に一旦停止させた後に旋回させながら後退させて当該建造物の後方に駐車させる場合に適用する構成であっても良い。また、周囲に死角を発生させる要因となる駐車車両や建造物が存在しない場合でユーザが自車両を旋回させながら後退させて駐車させる場合に適用する構成であっても良い。さらに、自車両の後方の視界を支援するシステムに適用する構成に限らず、自車両の前方の視界を支援するシステムに適用する構成であっても良い。
後方撮影カメラ、右側方撮影カメラ及び左側方撮影カメラの取付箇所は例えばバンパー付近などの他の位置であっても良い。
本発明の第1の実施形態を示すものであって、後方鳥瞰画像が合成される態様を概略的に示す図 機能ブロック図 フローチャート 自車両が前進しているときの後方撮影カメラの撮影範囲を示す図 図4相当図 自車両が駐車開始位置に停止したときの後方撮影カメラの撮影範囲を示す図 表示画像を概略的に示す図 後方鳥瞰画像が合成される態様を概略的に示す図 本発明の第2の実施形態を示す機能ブロック図 自車両が前進しているときの後方撮影カメラ、右側方撮影カメラ及び左側方撮影カメラの撮影範囲を示す図 図7相当図 自車両が駐車開始位置に停止したときの後方撮影カメラ、右側方撮影カメラ及び左側方撮影カメラの撮影範囲を示す図 本発明の第3の実施形態を示す機能ブロック図 図7相当図 従来例を示す図
符号の説明
図面中、1は駐車支援システム(車両周囲視界支援システム)、2はCPU(鳥瞰画像作成手段、合成鳥瞰画像作成手段、制御手段)、3は後方撮影カメラ(撮影手段)、9はタッチパネルモニタ(表示手段)、21は駐車支援システム(車両周囲視界支援システム)、22はCPU(鳥瞰画像作成手段、合成鳥瞰画像作成手段、制御手段)、23は右側方撮影カメラ(撮影手段)、24は左側方撮影カメラ(撮影手段)、31は駐車支援システム(車両周囲視界支援システム)、32はCPU(鳥瞰画像作成手段、合成鳥瞰画像作成手段、制御手段、傾き検出手段)である。

Claims (4)

  1. 自車両の周囲の特定領域として自車両の後方及び自車両の側方を撮影する撮影手段と、
    前記撮影手段により撮影された撮影画像を鳥瞰変換して鳥瞰画像を作成する鳥瞰画像作成手段と、
    前記鳥瞰画像作成手段により作成された複数の鳥瞰画像を合成して合成鳥瞰画像を作成する合成鳥瞰画像作成手段と、
    自車両が前進しているときに前記撮影手段により複数のタイミングで撮影された複数の後方撮影画像及び複数の側方撮影画像を前記鳥瞰画像作成手段により鳥瞰変換させて複数の後方鳥瞰画像及び複数の側方鳥瞰画像を作成させ、それら複数の後方鳥瞰画像と複数の側方鳥瞰画像とを前記合成鳥瞰画像作成手段により合成させて合成鳥瞰画像を作成させ、その合成鳥瞰画像を表示画像として自車両の位置を表す自車両図形と共に表示手段に表示させる制御手段と、
    前記撮影手段により複数のタイミングで撮影された複数の後方撮影画像及び複数の側方撮影画像や前記鳥瞰画像作成手段により作成された複数の後方鳥瞰画像及び複数の側方鳥瞰画像を画像解析して自車両に対する駐車車両や駐車枠の傾きを検出する傾き検出手段とを備え、
    前記合成鳥瞰画像作成手段は、前記鳥瞰画像作成手段により作成された複数の側方鳥瞰画像を前記傾き検出手段により検出された自車両に対する駐車車両や駐車枠の傾きに略平行な方向に合成して合成鳥瞰画像を作成することを特徴とする車両周囲視界支援システム。
  2. 請求項1に記載した車両周囲視界支援システムにおいて、
    合成鳥瞰画像作成手段は、後方鳥瞰画像と側方鳥瞰画像とが重複する箇所では側方鳥瞰画像が視認可能となるように合成鳥瞰画像を作成することを特徴とする車両周囲視界支援システム。
  3. 請求項1または2に記載した車両周囲視界支援システムにおいて、
    前記制御手段は、自車両が前進して駐車開始位置に停止した旨を検出した場合に、前記合成鳥瞰画像作成手段により作成された合成鳥瞰画像を表示画像として自車両の位置を表す自車両図形と共に前記表示手段に表示させることを特徴とする車両周囲視界支援システム。
  4. 請求項1ないし3のいずれかに記載した車両周囲視界支援システムにおいて、
    記制御手段は、自車両が前進して駐車開始位置に停止した後にユーザにより目標とする駐車位置が設定された場合に、前記合成鳥瞰画像作成手段により作成された合成鳥瞰画像に基づいて駐車開始位置から駐車位置までの自車両の進路を設定することを特徴とする車両周囲視界支援システム。
JP2005300198A 2004-10-28 2005-10-14 車両周囲視界支援システム Active JP4724522B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2005300198A JP4724522B2 (ja) 2004-10-28 2005-10-14 車両周囲視界支援システム
DE102005051777A DE102005051777B4 (de) 2004-10-28 2005-10-28 Fahrzeugumgebung-Sichtunterstützungssystem

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2004314006 2004-10-28
JP2004314006 2004-10-28
JP2005300198A JP4724522B2 (ja) 2004-10-28 2005-10-14 車両周囲視界支援システム

Publications (2)

Publication Number Publication Date
JP2006151370A JP2006151370A (ja) 2006-06-15
JP4724522B2 true JP4724522B2 (ja) 2011-07-13

Family

ID=36441848

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005300198A Active JP4724522B2 (ja) 2004-10-28 2005-10-14 車両周囲視界支援システム

Country Status (2)

Country Link
JP (1) JP4724522B2 (ja)
DE (1) DE102005051777B4 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9725040B2 (en) 2014-10-28 2017-08-08 Nissan North America, Inc. Vehicle object detection system
US9834141B2 (en) 2014-10-28 2017-12-05 Nissan North America, Inc. Vehicle object detection system
US9880253B2 (en) 2014-10-28 2018-01-30 Nissan North America, Inc. Vehicle object monitoring system
US10363872B2 (en) 2015-04-02 2019-07-30 Aisin Seiki Kabushiki Kaisha Periphery monitoring device
US10744941B2 (en) 2017-10-12 2020-08-18 Magna Electronics Inc. Vehicle vision system with bird's eye view display

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008233547A (ja) * 2007-03-20 2008-10-02 Hoya Corp 車載カメラ用レンズ硝材及び車載カメラ用レンズ
US8218007B2 (en) 2007-09-23 2012-07-10 Volkswagen Ag Camera system for a vehicle and method for controlling a camera system
US8694195B2 (en) 2007-12-04 2014-04-08 Volkswagen Ag Motor vehicle having a wheel-view camera and method for controlling a wheel-view camera system
DE102008003662A1 (de) * 2008-01-09 2009-07-16 Robert Bosch Gmbh Verfahren und Vorrichtung zum Anzeigen der Umgebung eines Fahrzeugs
TWI392366B (zh) 2009-12-31 2013-04-01 Ind Tech Res Inst 全周鳥瞰影像距離介面產生方法與系統
DE102011112578A1 (de) * 2011-09-08 2013-03-14 Continental Teves Ag & Co. Ohg Verfahren und Vorrichtung für ein Assistenzsystem in einem Fahrzeug zur Durchführung eines autonomen oder teilautonomen Fahrmanövers
JP6379967B2 (ja) 2014-10-09 2018-08-29 株式会社デンソー 画像生成装置および画像生成方法
FR3047947B1 (fr) * 2016-02-24 2018-03-09 Renault S.A.S Procede d'aide a la conduite en marche avant d'un vehicule automobile, muni d'une camera a objectif de type fish-eye
JP6572862B2 (ja) 2016-10-14 2019-09-11 株式会社デンソー 表示制御装置
JP7130923B2 (ja) * 2017-07-19 2022-09-06 株式会社アイシン 表示制御装置
JP7109715B2 (ja) * 2017-10-25 2022-08-01 アルパイン株式会社 画像処理装置およびその方法
JP7256463B2 (ja) 2019-10-11 2023-04-12 トヨタ自動車株式会社 車両駐車支援装置
JP7115502B2 (ja) 2020-03-23 2022-08-09 トヨタ自動車株式会社 物体状態識別装置、物体状態識別方法及び物体状態識別用コンピュータプログラムならびに制御装置
JP2022114526A (ja) 2021-01-27 2022-08-08 トヨタ自動車株式会社 駐車支援装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001341600A (ja) * 2000-06-02 2001-12-11 Nissan Motor Co Ltd 駐車支援装置
JP2002120975A (ja) * 2000-10-13 2002-04-23 Hitachi Building Systems Co Ltd エレベータ制御装置
JP2002172978A (ja) * 2000-09-27 2002-06-18 Ohmi Railway Co 車両の監視装置
JP2002373327A (ja) * 2001-06-13 2002-12-26 Denso Corp 車両周辺画像処理装置及び記録媒体
JP2003006621A (ja) * 2001-06-20 2003-01-10 Denso Corp 車両周辺画像処理装置及び記録媒体
JP2003125394A (ja) * 2001-10-15 2003-04-25 Clarion Co Ltd 駐車支援システム
JP2003143597A (ja) * 2001-11-07 2003-05-16 Denso Corp 車両周辺画像処理装置及び記録媒体
JP2003191810A (ja) * 2001-12-26 2003-07-09 Denso Corp 車両周辺監視システム及び車両移動状態検出装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE60003750T2 (de) * 1999-04-28 2004-06-03 Matsushita Electric Industrial Co., Ltd., Kadoma Einparkhilfe-Assistenz-Vorrichtung
JP3847547B2 (ja) * 2000-10-17 2006-11-22 三菱電機株式会社 車両周辺監視支援装置
DE10059315A1 (de) * 2000-11-29 2002-06-13 Bosch Gmbh Robert Anordnung und Verfahren zum Überwachen des Umfeldes eines Fahrzeugs
DE10114932B4 (de) * 2001-03-26 2005-09-15 Daimlerchrysler Ag Dreidimensionale Umfelderfassung

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001341600A (ja) * 2000-06-02 2001-12-11 Nissan Motor Co Ltd 駐車支援装置
JP2002172978A (ja) * 2000-09-27 2002-06-18 Ohmi Railway Co 車両の監視装置
JP2002120975A (ja) * 2000-10-13 2002-04-23 Hitachi Building Systems Co Ltd エレベータ制御装置
JP2002373327A (ja) * 2001-06-13 2002-12-26 Denso Corp 車両周辺画像処理装置及び記録媒体
JP2003006621A (ja) * 2001-06-20 2003-01-10 Denso Corp 車両周辺画像処理装置及び記録媒体
JP2003125394A (ja) * 2001-10-15 2003-04-25 Clarion Co Ltd 駐車支援システム
JP2003143597A (ja) * 2001-11-07 2003-05-16 Denso Corp 車両周辺画像処理装置及び記録媒体
JP2003191810A (ja) * 2001-12-26 2003-07-09 Denso Corp 車両周辺監視システム及び車両移動状態検出装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9725040B2 (en) 2014-10-28 2017-08-08 Nissan North America, Inc. Vehicle object detection system
US9834141B2 (en) 2014-10-28 2017-12-05 Nissan North America, Inc. Vehicle object detection system
US9880253B2 (en) 2014-10-28 2018-01-30 Nissan North America, Inc. Vehicle object monitoring system
US10377310B2 (en) 2014-10-28 2019-08-13 Nissan North America, Inc. Vehicle object detection system
US10363872B2 (en) 2015-04-02 2019-07-30 Aisin Seiki Kabushiki Kaisha Periphery monitoring device
US10744941B2 (en) 2017-10-12 2020-08-18 Magna Electronics Inc. Vehicle vision system with bird's eye view display
US11242004B2 (en) 2017-10-12 2022-02-08 Magna Electronics Inc. Method of generating images for display for vehicular vision system
US11618383B2 (en) 2017-10-12 2023-04-04 Magna Electronics Inc. Vehicular vision system with display of combined images

Also Published As

Publication number Publication date
DE102005051777B4 (de) 2011-07-21
JP2006151370A (ja) 2006-06-15
DE102005051777A1 (de) 2006-06-08

Similar Documents

Publication Publication Date Title
JP4724522B2 (ja) 車両周囲視界支援システム
JP4412380B2 (ja) 運転支援装置、運転支援方法及びコンピュータプログラム
JP5187369B2 (ja) 車両用の後退駐車支援装置および後退駐車支援装置用のプログラム
JP4412365B2 (ja) 運転支援方法及び運転支援装置
JP4573242B2 (ja) 運転支援装置
JP4863791B2 (ja) 車両周辺画像生成装置および画像切替方法
JP4325705B2 (ja) 表示システム及びプログラム
EP1974998B1 (en) Driving support method and driving support apparatus
JP4883977B2 (ja) 車両用画像表示装置
JP5380941B2 (ja) 駐車支援装置及び方法
JP4548322B2 (ja) 駐車支援システム
JP4662832B2 (ja) 車両用画像表示装置
JP2005239048A (ja) 駐車支援システム
JP2002166802A (ja) 車両周辺モニタ装置
JP2003244688A (ja) 車両の画像処理装置
WO2017159863A1 (ja) 情報処理装置
JP2009217740A (ja) 車両周囲監視装置および車両周囲監視方法
JP4665721B2 (ja) 駐車支援システム
JP4449701B2 (ja) 駐車支援システム
JP4595902B2 (ja) 車両周辺画像表示システム及び車両周辺画像表示方法
JP2008085691A (ja) 車両周辺監視装置
JP7000383B2 (ja) 画像処理装置および画像処理方法
JP4317046B2 (ja) 駐車支援システム
JP4092479B2 (ja) 車両用運転支援装置
JP2007025739A (ja) 車両用画像表示装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080225

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100210

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100223

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100416

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110118

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110310

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110329

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110411

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140415

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4724522

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250