JP4186908B2 - 移動体周辺監視装置 - Google Patents

移動体周辺監視装置 Download PDF

Info

Publication number
JP4186908B2
JP4186908B2 JP2004313425A JP2004313425A JP4186908B2 JP 4186908 B2 JP4186908 B2 JP 4186908B2 JP 2004313425 A JP2004313425 A JP 2004313425A JP 2004313425 A JP2004313425 A JP 2004313425A JP 4186908 B2 JP4186908 B2 JP 4186908B2
Authority
JP
Japan
Prior art keywords
information
imaging
obstacle
moving body
image information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004313425A
Other languages
English (en)
Other versions
JP2006123670A (ja
Inventor
俊明 柿並
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Aisin Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd, Aisin Corp filed Critical Aisin Seiki Co Ltd
Priority to JP2004313425A priority Critical patent/JP4186908B2/ja
Priority to PCT/JP2005/018130 priority patent/WO2006046382A1/ja
Priority to DE602005011325T priority patent/DE602005011325D1/de
Priority to EP05788270A priority patent/EP1810882B1/en
Priority to US11/665,992 priority patent/US20080002025A1/en
Priority to CN2005800367537A priority patent/CN101048296B/zh
Publication of JP2006123670A publication Critical patent/JP2006123670A/ja
Application granted granted Critical
Publication of JP4186908B2 publication Critical patent/JP4186908B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R19/00—Wheel guards; Radiator guards, e.g. grilles; Obstruction removers; Fittings damping bouncing force in collisions
    • B60R19/02—Bumpers, i.e. impact receiving or absorbing members for protecting vehicles or fending off blows from other vehicles or objects
    • B60R19/48—Bumpers, i.e. impact receiving or absorbing members for protecting vehicles or fending off blows from other vehicles or objects combined with, or convertible into, other devices or objects, e.g. bumpers combined with road brushes, bumpers convertible into beds
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1253—Mirror assemblies combined with other articles, e.g. clocks with cameras, video cameras or video screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Description

本発明は、移動体周辺の環境を監視し、移動体における所望の位置での視界を画像表示する移動体周辺監視装置に関し、例えば、車両の周辺を監視し駐車時に障害となる物体等を適宜画像表示する装置に好適な移動体周辺監視装置に係る。
従来から、車両後方の死角を最小化するために、例えば車両後方にカメラを装着し、その画像を運転席に設置したモニタに表示する装置が種々提案されており、既に市販されている。例えば下記の特許文献１には、移動体周辺の物体の大きさ、位置等の環境情報を検出する検出手段によって、移動体における所望の位置で確保する視界に対し、不測の物体の進入を回避し、障害となる物体を確実に画像表示することを目的とした移動体周辺監視装置が提案されている。
上記の移動体周辺監視装置は、特許文献１の図１に示すように、移動体の周辺の物体の大きさ、位置等の環境情報を検出し蓄積する環境情報検出手段ＳＲ１及びＳＲ２と、移動体の位置及び姿勢を逐次検出し蓄積する移動体情報検出手段ＭＢを備え、これらの検出情報を情報合成手段ＣＢ１及びＣＢ２で合成し、移動体の周辺環境に対する相対的な位置及び姿勢の関係を補正して出力し、これらの出力情報に基づき、特定視界作成手段ＳＶ１及びＳＶ２により、移動体の特定位置周辺の環境情報から第１及び第２の特定視界を作成し、表示手段ＶＤにより画像に表示することとしている。更に、表示調整手段ＶＡにより、第１の特定視界の画像に対して重合しない第２の特定視界の画像の少なくとも一部を、第１の表示手段の画像に重合して表示するように調整することとしている。
また、特許文献２には、別途特別な障害物検出センサを必要とすることなく、移動体周辺の環境の中から移動体の移動予想軌跡上で最も接近した障害物を確実に検出することを目的とした移動体周辺監視装置が提案されている。これは、特許文献２の図１に示すように、移動体周辺の物体の大きさ、位置等の環境情報を検出し蓄積する環境情報検出手段ＳＲと、移動体の移動予想軌跡を推定する軌跡推定手段ＴＲを備え、移動至近距離計測手段ＭＣにて移動予想軌跡を環境情報に重合し、移動体の移動予想軌跡上に存在する障害物を特定すると共に、移動予想軌跡上における障害物と移動体との間の最短距離を計測することとしている。更に、移動至近距離計測手段の計測結果に基づき、報知手段ＤＰにより移動体と障害物の位置関係を報知することとしている。
特開２００４−１１４９７６号公報 特開２００４−１２０６６１号公報
前掲の特許文献１に記載の移動体周辺監視装置においては、移動体における所望の位置で確保する視界に対し、不測の物体の進入を回避することができ、障害となる物体を確実に画像表示することができる。また、特許文献２に記載の移動体周辺監視装置によれば、別途特別な障害物検出センサを必要とすることなく、例えば画像を用いて障害物を検出し、移動体のどの部分と障害物のどの部分が接触するかを判定することができ、移動体の移動予想軌跡上の移動至近距離を適切に計測することができる。
然し乍ら、特許文献１の特定視界作成手段ではバーチャル画像を表示することとし、特許文献２においても、バーチャル画像表示を基本としているので、例えば上記一つの撮像手段によって容易且つ確実に環境情報を検出することができるものの、画像処理の費用が必要となる。
一方、近時のデジタルカメラ等の普及により、撮像手段の価格が低下しており、複数の撮像手段を用いても然程の価格上昇に至らない場合もある。このため、近時は、複数のカメラを搭載した自動車も市販されているが、カメラ画像の切り替えは運転者のスイッチ操作によって行われるので、障害となる物体が表示されている画像を選択するには先ず全てのカメラ画像を表示せざるを得ず、これを運転中に行うことは至難である。例えば、自動車を後退させながら所定位置に停車する際には、カメラ画像を確認する度にスイッチ操作の切り替えのために停止が必要となり、却って煩雑である。
そこで、本発明は、複数の撮像手段の出力画像情報の何れかを選択して表示し得る移動体周辺監視装置において、移動体の移動に対し障害となる障害物を含む適切な画像を、自動的に選択して表示し得る安価な移動体周辺監視装置を提供することを課題とする。
上記の課題を達成するため、本発明の移動体周辺監視装置は、請求項１に記載のように、移動体の異なる位置に搭載し該移動体の周辺を撮像し画像情報を出力する複数の撮像手段と、該複数の撮像手段の出力画像情報の何れかを選択して表示する表示手段を備えた移動体周辺監視装置において、前記複数の撮像手段のうちの一つの特定撮像手段のみの出力画像情報に基づき前記移動体周辺の環境情報を検出し蓄積する環境情報検出手段と、前記移動体の位置及び姿勢を逐次検出し蓄積する移動体情報検出手段と、該移動体情報検出手段の検出情報と前記環境情報検出手段の検出情報を合成し、前記移動体の前記周辺環境に対する相対的な位置及び姿勢の関係を補正して出力する情報合成手段と、該情報合成手段の出力情報に基づき、前記移動体の移動に対し障害となる障害物を検出する障害物検出手段と、該障害物検出手段の検出情報及び前記情報合成手段の出力情報に基づき、前記特定撮像手段の撮像領域及び前記複数の撮像手段のうちの前記特定撮像手段以外の第２の撮像手段の撮像領域と前記障害物との位置関係を判定し、該位置関係に応じて、前記第２の撮像手段の出力画像情報と前記特定撮像手段の出力画像情報の何れかを選択して前記表示手段で表示するように制御する表示制御手段とを備えることとしたものである。而して、前記環境情報検出手段、前記移動体情報検出手段、前記情報合成手段、及び前記障害物検出手段は前記特定撮像手段の出力画像情報に基づいて処理されものであって、前記第２の撮像手段の出力画像情報に基づいて処理されるものではない。尚、上記の環境情報とは、移動体周辺の物体の大きさ、位置等を含み、移動体には、車両のほか、移動ロボット等を含む。
上記請求項１に記載の移動体周辺監視装置において、前記表示制御手段は、請求項２に記載のように、前記特定撮像手段の出力画像情報及び前記第２の撮像手段の出力画像情報の両者に前記障害物が包含されているときには、前記障害物が撮像領域の境界から離れた位置にある画像情報を出力している前記特定撮像手段及び前記第２の撮像手段の一方の撮像手段の出力画像情報を選択するように構成するとよい。
あるいは、請求項３に記載のように、前記表示制御手段は、前記障害物が複数存在し、前記特定撮像手段の出力画像情報及び前記第２の撮像手段の出力画像情報の両者に、異なる障害物が包含されているときには、前記移動体に近接する可能性が最も高い障害物を含む画像情報を出力している前記特定撮像手段及び前記第２の撮像手段の一方の撮像手段の出力画像情報を選択するように構成してもよい。
上記請求項３に記載の移動体周辺監視装置において、請求項４に記載のように、前記障害物検出手段は、前記情報合成手段の出力情報に基づき前記移動体の移動予想軌跡を推定する軌跡推定手段と、該軌跡推定手段が推定した移動予想軌跡を前記環境情報検出手段が検出した環境情報に重合し、前記移動体の移動予想軌跡上に存在する前記障害物を特定すると共に、前記移動予想軌跡上における前記障害物と前記移動体との間の最短距離を計測する移動至近距離計測手段を具備したものとし、前記表示制御手段は、前記移動至近距離計測手段の計測結果に基づき、前記移動体に近接する可能性が最も高い障害物を含む画像情報を出力している前記特定撮像手段及び前記第２の撮像手段の一方の撮像手段の出力画像情報を選択するように構成してもよい。
尚、上記請求項１乃至４に記載の移動体周辺監視装置において、請求項５に記載のように、前記複数の撮像手段が、前記移動体の進行方向と逆方向の夫々に配置した撮像手段を有するものとし、前記表示制御手段は、前記移動体の移動方向側の撮像手段を前記特定撮像手段とするとよい。例えば、車両の前後左右に撮像手段を配置した場合には、進行方向側の撮像手段を特定撮像手段とするもので、車両が前進する場合には車両の前方に配置した撮像手段が特定撮像手段とされ、後退する場合には車両の後方に配置した撮像手段が特定撮像手段とされ、左右に配置した撮像手段が第２の撮像手段とされる。
本発明は上述のように構成されているので以下の効果を奏する。即ち、請求項１に記載の移動体周辺監視装置においては、前記特定撮像手段の撮像領域及び前記複数の撮像手段のうちの前記特定撮像手段以外の第２の撮像手段の撮像領域と前記障害物との位置関係を判定し、該位置関係に応じて、前記第２の撮像手段の出力画像情報と前記特定撮像手段の出力画像情報の何れかを選択して前記表示手段で表示するという安価な構成によって、移動体の移動に対し障害となる障害物を含む適切な画像を、自動的に選択して表示することができる。従って、例えば、自動車を後退させながら所定位置に停車あるいは駐車する際には、障害物が自動的に画像表示されるので、運転者は画像表示の切り替えを行うことなく、障害物に注意しながら後退作動を続け、適切に停車あるいは駐車することができる。
特に、請求項２乃至５に記載の移動体周辺監視装置によれば、障害物の数や位置に左右されることなく、移動時に接触するおそれのある障害物が確実に画像表示されるので、適切に停車あるいは駐車することができる。
以下、本発明の移動体周辺監視装置の実施形態について図面を参照して説明する。図１は本発明の一実施形態の全体構成を示すもので、本実施形態の移動体周辺監視装置は、例えば車両等の移動体（図示せず）の異なる位置に搭載しこの移動体の周辺を撮像し画像情報を出力する複数の撮像手段（特定撮像手段Ｃ１及び第２の撮像手段Ｃ２）と、これらの撮像手段の出力画像情報の何れかを選択して表示する表示手段ＶＤを備えている。撮像手段としては車両（図２のＶＨ）に搭載されるカメラ（図２のＣｆ等）があり、例えば車両の前後左右に撮像手段を配置した場合には、先ず、進行方向側の撮像手段が特定撮像手段Ｃ１とされる。即ち、車両が前進する場合には車両の前方に配置した撮像手段が特定撮像手段Ｃ１とされ、後退する場合には車両の後方に配置した撮像手段が特定撮像手段Ｃ１とされ、左右に配置した撮像手段は第２の撮像手段Ｃ２とされる。
更に、特定撮像手段Ｃ１の出力画像情報に基づき移動体周辺の物体の大きさ、位置等の環境情報を検出し蓄積する環境情報検出手段ＳＲと、移動体の位置及び姿勢を逐次検出し蓄積する移動体情報検出手段ＭＢと、この移動体情報検出手段ＭＢの検出情報と環境情報検出手段ＳＲの検出情報を合成し、移動体の周辺環境に対する相対的な位置及び姿勢の関係を補正して出力する情報合成手段ＣＢを備えている。移動体情報検出手段ＭＢは、移動体が車両である場合には、例えば車両の走行速度、操舵状態、旋回状態等の車両運動を検出するセンサ（図示せず）によって構成することができる。
また、環境情報検出手段ＳＲは、移動体が第１の状態から第２の状態に移動したときに少なくとも第１の状態及び第２の状態で特定撮像手段Ｃ１によって撮像した二つの画像に基づき、第１の状態で撮像した画像から特徴点の座標を検出すると共に、第２の状態で撮像した画像での前記特徴点に対応する座標を検出する特徴点追跡手段ＰＦと、少なくとも第１の状態及び第２の状態における移動体の位置及び姿勢を検出する移動状態検出手段ＤＳと、この移動状態検出手段ＤＳで検出した第１の状態及び第２の状態における移動体の位置及び姿勢、第１の状態で撮像した画像の特徴点の座標、及び第２の状態で撮像した画像の前記特徴点に対応する座標に基づき前記特徴点の３次元座標を推定する３次元座標推定手段ＲＣを備えている。上記の移動状態検出手段ＤＳは、移動体が車両である場合には、例えば車両の走行速度、操舵状態、旋回状態等の車両運動を検出するセンサによって構成することができるが、移動体情報検出手段ＭＢの検出情報を用いることとしてもよい。尚、これらの移動状態検出手段ＤＳ、特徴点追跡手段ＰＦ及び３次元座標推定手段ＲＣ、並びに情報合成手段ＣＢ及び表示手段ＶＤは、バーチャル画像表示処理に係る要素を除き、基本的には前掲の特許文献１に記載の各手段と同様であるので詳細な説明は省略する。
本実施形態においては、更に、情報合成手段ＣＢの出力情報に基づき、移動体の移動に対し障害となる障害物（以下、単に障害物という）を検出する障害物検出手段ＯＤと、表示制御手段ＶＣを備えている。この表示制御手段ＶＣは、障害物検出手段ＯＤの検出情報及び情報合成手段ＣＢの出力情報に基づき、特定撮像手段Ｃ１の撮像領域及び複数の撮像手段のうちの特定撮像手段Ｃ１以外の第２の撮像手段Ｃ２の撮像領域と障害物との位置関係を判定し、この位置関係に応じて、特定撮像手段Ｃ１と第２の撮像手段Ｃ２の出力画像情報の何れかを選択して表示手段ＶＤで表示するように制御するものである。而して、表示手段ＶＤにおいては、表示制御手段ＶＣにて選択された特定撮像手段Ｃ１と第２の撮像手段Ｃ２の出力画像情報の何れかの、上記障害物を含む画像情報が表示される。
例えば、特定撮像手段Ｃ１の出力画像情報及び第２の撮像手段Ｃ２の出力画像情報の両者に障害物が包含されているときには、障害物が移動体からの視界の境界から離れた位置にある画像情報を出力している撮像手段の出力画像情報が選択される。また、障害物が複数存在し、特定撮像手段Ｃ１の出力画像情報及び第２の撮像手段Ｃ２の出力画像情報の両者に、異なる障害物が包含されているときには、移動体に近接する可能性が最も高い障害物を含む画像情報を出力している撮像手段の出力画像情報が選択される。このため、本実施形態の障害物検出手段ＯＤには、図１に破線で示すように軌跡推定手段ＴＲと移動至近距離計測手段ＭＣが構成されている。軌跡推定手段ＴＲは、情報合成手段ＣＢの出力情報に基づき移動体の移動予想軌跡を推定し、移動至近距離計測手段ＭＣは、軌跡推定手段ＴＲが推定した移動予想軌跡を環境情報検出手段ＳＲが検出した環境情報に重合し、移動体の移動予想軌跡上に存在する障害物を特定すると共に、移動予想軌跡上における障害物と移動体との間の最短距離を計測するように構成されている。そして、表示制御手段ＶＣにおいては、移動至近距離計測手段ＭＣの計測結果に基づき、移動体に近接する可能性が最も高い障害物を含む画像情報を出力している撮像手段の出力画像情報を選択するように構成されている。尚、軌跡推定手段ＴＲ及び移動至近距離計測手段ＭＣは、バーチャル画像表示処理に係る要素を除き、基本的には前掲の特許文献２に記載の各手段と同様であるので詳細な説明は省略する。
図２は、車両ＶＨにおける撮像領域の一例を示すもので、複数の撮像手段として、本実施形態では車両ＶＨの前後（例えばバンパーの上部）に配設されたカメラＣｆ及びＣｂと、車両ＶＨの左右（例えばドアミラーの端部）に配設されたカメラＣｌ及びＣｒを有し、これらによって四つの撮像領域Ｚｆ，Ｚｂ，Ｚｌ，Ｚｒが形成されている。これらのカメラは１１０度から１６０度の水平画角のレンズを有し、所定の位置・高さに配置され、光軸が所定の方向を向くように設定されている。尚、表示手段ＶＤたるモニタ（図示せず）及びこれを制御する電子制御装置等は、前掲の特許文献１及び２に記載の駐車案内装置に供される装置と同様である。
而して、図３に一点鎖線の示す軌跡に従って、先ず、矢印方向に車両ＶＨが後退作動する場合には、車両ＶＨの後方に配設されたカメラＣｂが特定撮像手段（図１のＣ１）とされ、車両ＶＨの左右に配設されたカメラＣｌ及びＣｒが第２の撮像手段（図１のＣ２）とされる。この場合において、車両ＶＨが図３に破線で示す位置（Ｐ１）にあるときには、車両ＶＨ後方のカメラＣｂの撮像領域Ｚｂ内に、障害物たる障害物ＯＢが存在しているので、表示手段ＶＤたるモニタ（図示せず）にはカメラＣｂ（特定撮像手段Ｃ１）による車両ＶＨ後方の画像が自動表示される。車両ＶＨが更に後退し、図３に実線で示す位置（Ｐ２）に至ると、障害物ＯＢは撮像領域Ｚｂから外れるが、代わって、撮像手段たる車両ＶＨの左側に配設されたカメラＣｌ（第２の撮像手段Ｃ２）の撮像領域Ｚｌ内に障害物ＯＢが包含されることになる。このため、表示手段ＶＤたるモニタ（図示せず）には車両ＶＨ左側のカメラＣｌ（第２の撮像手段Ｃ２）による車両ＶＨ左側の画像が自動表示される。
ここで、障害物ＯＢが、隣接するカメラの出力画像の何れにも包含されているときには、カメラ視界の境界から離れて撮影されている、即ち、十分にカメラ視界に入っている方のカメラが選択される。例えば、図４に示すように、車両ＶＨの左側に配設されたカメラＣｌの視界（即ち、撮像領域Ｚｌ）と、車両ＶＨの前方に配設されたカメラＣｆの視界（即ち、撮像領域Ｚｆ）の両者に障害物ＯＢが含まれた場合には、障害物ＯＢに対し撮像領域Ｚｆの方が撮像領域Ｚｌより余裕があり、カメラＣｆの出力画像の方が視認し易いので、障害物ＯＢがカメラ視界の境界（撮像領域Ｚｆの境界）から離れた位置にあるカメラＣｆの出力画像が選択される。
そして、図５に破線で示す位置（Ｐ２）から、車両ＶＨが更に後退し、図５に実線で示す位置（Ｐ３）に至ると、障害物ＯＢは撮像領域Ｚｌから外れるが、代わって、車両ＶＨの前方に配設されたカメラＣｆの撮像領域Ｚｆ内に障害物ＯＢが包含される。この場合には、車両ＶＨの左側に配設されたカメラＣｌが特定撮像手段（図１のＣ１）とされ、表示手段ＶＤたるモニタ（図示せず）には車両ＶＨ前方の画像が自動表示される。このように、車両ＶＨの後退作動に従って相対的に移動する障害物ＯＢが、撮像領域Ｚｂから順次、撮像領域Ｚｌそして撮像領域Ｚｆに移動するに伴い、モニタ（図示せず）には、車両ＶＨ後方の画像から順次、車両ＶＨ左側の画像そして車両ＶＨ前方の画像に自動的に切り替えられて、表示される。而して、運転者は手動操作によって画像表示の切り替えを行う必要はなく、障害物ＯＢに注意しながら後退作動を続け、適切に停車あるいは駐車することができる。
また、障害物が複数存在し、隣接するカメラの出力画像情報の両者に、異なる障害物が包含されているとき、例えばカメラＣｌ及びＣｂによる画像情報の両者に異なる障害物が包含されているときには、撮像手段として、車両ＶＨに近接する可能性が最も高い障害物を含む画像情報を出力しているカメラが選択される。例えば、図１に破線で示すように軌跡推定手段ＴＲと移動至近距離計測手段ＭＣが構成されておれば、移動至近距離計測手段ＭＣの計測結果に基づき、車両ＶＨに近接する可能性が最も高い障害物を含む画像情報を出力しているカメラの出力画像情報が選択される。
尚、複数の撮像手段としては、図６に示すように、車両ＶＨの四隅に配設されたカメラＣｆｌ、Ｃｆｒ、Ｃｂｌ及びＣｂｒとし、これらによって四つの撮像領域Ｚｆｌ，Ｚｆｒ，Ｚｂｌ及びＺｂｒを形成することとしてもよく、撮像手段としてのカメラの数は少なくとも二つであればよい。何れの場合においても、先ず、車両ＶＨと障害物との位置関係に応じて何れか一つのカメラが特定撮像手段Ｃ１として選択されると共に、これに隣接するカメラが第２の撮像手段Ｃ２として選択され、以後も、順次車両ＶＨと障害物との位置関係に応じて何れかのカメラが特定撮像手段Ｃ１と第２の撮像手段Ｃ２として選択される。
本発明の一実施形態に係る移動体周辺監視装置の主要構成を示すブロック図である。 本発明の一実施形態に係る移動体周辺監視装置が搭載された車両における撮像領域の一例を示す平面図である。 図２の車両が後退移動したときの、撮像領域と、その中に存在する障害物との位置関係の一例を示す平面図である。 図２の車両が後退移動したときの、撮像領域と、その中に存在する障害物との位置関係の他の例を示す平面図である。 図２の車両が後退移動したときの、撮像領域と、その中に存在する障害物との位置関係の更に他の例を示す平面図である。 本発明の一実施形態に係る移動体周辺監視装置が搭載された車両における撮像領域の他の例を示す平面図である。
符号の説明
Ｃ１，Ｃ２ 撮像手段
ＭＢ 移動体情報検出手段
ＳＲ 環境情報検出手段
ＣＢ 情報合成手段
ＯＤ 障害物検出手段
ＶＣ 表示制御手段
ＶＤ 表示手段
ＶＨ 車両

Claims (5)

  1. 移動体の異なる位置に搭載し該移動体の周辺を撮像し画像情報を出力する複数の撮像手段と、該複数の撮像手段の出力画像情報の何れかを選択して表示する表示手段を備えた移動体周辺監視装置において、前記複数の撮像手段のうちの一つの特定撮像手段のみの出力画像情報に基づき前記移動体周辺の環境情報を検出し蓄積する環境情報検出手段と、前記移動体の位置及び姿勢を逐次検出し蓄積する移動体情報検出手段と、該移動体情報検出手段の検出情報と前記環境情報検出手段の検出情報を合成し、前記移動体の前記周辺環境に対する相対的な位置及び姿勢の関係を補正して出力する情報合成手段と、該情報合成手段の出力情報に基づき、前記移動体の移動に対し障害となる障害物を検出する障害物検出手段と、該障害物検出手段の検出情報及び前記情報合成手段の出力情報に基づき、前記特定撮像手段の撮像領域及び前記複数の撮像手段のうちの前記特定撮像手段以外の第２の撮像手段の撮像領域と前記障害物との位置関係を判定し、該位置関係に応じて、前記第２の撮像手段の出力画像情報と前記特定撮像手段の出力画像情報の何れかを選択して前記表示手段で表示するように制御する表示制御手段とを備えたことを特徴とする移動体周辺監視装置。
  2. 前記表示制御手段は、前記特定撮像手段の出力画像情報及び前記第２の撮像手段の出力画像情報の両者に前記障害物が包含されているときには、前記障害物が撮像領域の境界から離れた位置にある画像情報を出力している前記特定撮像手段及び前記第２の撮像手段の一方の撮像手段の出力画像情報を選択することを特徴とする請求項１記載の移動体周辺監視装置。
  3. 前記表示制御手段は、前記障害物が複数存在し、前記特定撮像手段の出力画像情報及び前記第２の撮像手段の出力画像情報の両者に、異なる障害物が包含されているときには、前記移動体に近接する可能性が最も高い障害物を含む画像情報を出力している前記特定撮像手段及び前記第２の撮像手段の一方の撮像手段の出力画像情報を選択することを特徴とする請求項１記載の移動体周辺監視装置。
  4. 前記障害物検出手段は、前記情報合成手段の出力情報に基づき前記移動体の移動予想軌跡を推定する軌跡推定手段と、該軌跡推定手段が推定した移動予想軌跡を前記環境情報検出手段が検出した環境情報に重合し、前記移動体の移動予想軌跡上に存在する前記障害物を特定すると共に、前記移動予想軌跡上における前記障害物と前記移動体との間の最短距離を計測する移動至近距離計測手段を具備し、前記表示制御手段は、前記移動至近距離計測手段の計測結果に基づき、前記移動体に近接する可能性が最も高い障害物を含む画像情報を出力している前記特定撮像手段及び前記第２の撮像手段の一方の撮像手段の出力画像情報を選択することを特徴とする請求項３記載の移動体周辺監視装置。
  5. 前記複数の撮像手段が、前記移動体の進行方向と逆方向の夫々に配置した撮像手段を有し、前記表示制御手段は、前記移動体の移動方向側の撮像手段を前記特定撮像手段とすることを特徴とする請求項１乃至４の何れかに記載の移動体周辺監視装置。
JP2004313425A 2004-10-28 2004-10-28 移動体周辺監視装置 Expired - Fee Related JP4186908B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2004313425A JP4186908B2 (ja) 2004-10-28 2004-10-28 移動体周辺監視装置
PCT/JP2005/018130 WO2006046382A1 (ja) 2004-10-28 2005-09-30 移動体周辺監視装置
DE602005011325T DE602005011325D1 (de) 2004-10-28 2005-09-30 Vorrichtung zur überwachung eines raums um einen beweglichen körper herum
EP05788270A EP1810882B1 (en) 2004-10-28 2005-09-30 Device for monitoring a space around a mobile body
US11/665,992 US20080002025A1 (en) 2004-10-28 2005-09-30 Movable Body Circumstance Monitoring Apparatus
CN2005800367537A CN101048296B (zh) 2004-10-28 2005-09-30 移动体周边监视装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004313425A JP4186908B2 (ja) 2004-10-28 2004-10-28 移動体周辺監視装置

Publications (2)

Publication Number Publication Date
JP2006123670A JP2006123670A (ja) 2006-05-18
JP4186908B2 true JP4186908B2 (ja) 2008-11-26

Family

ID=36227628

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004313425A Expired - Fee Related JP4186908B2 (ja) 2004-10-28 2004-10-28 移動体周辺監視装置

Country Status (6)

Country Link
US (1) US20080002025A1 (ja)
EP (1) EP1810882B1 (ja)
JP (1) JP4186908B2 (ja)
CN (1) CN101048296B (ja)
DE (1) DE602005011325D1 (ja)
WO (1) WO2006046382A1 (ja)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7374964B2 (en) * 2005-02-10 2008-05-20 Micron Technology, Inc. Atomic layer deposition of CeO2/Al2O3 films as gate dielectrics
CN101934771B (zh) * 2009-06-29 2012-10-03 财团法人车辆研究测试中心 车辆碰撞警示系统
JP5108840B2 (ja) * 2009-07-29 2012-12-26 クラリオン株式会社 車両用周辺監視装置および車両用周辺画像表示方法
JP2011159186A (ja) * 2010-02-03 2011-08-18 Clarion Co Ltd 運転支援装置及び運転支援装置の制御方法
US8447070B1 (en) * 2010-04-19 2013-05-21 Amazon Technologies, Inc. Approaches for device location and communication
DE112011103155T5 (de) * 2010-09-21 2013-07-18 Toyota Jidosha Kabushiki Kaisha Beweglicher Körper
DE102011077555A1 (de) * 2011-06-15 2012-12-20 Robert Bosch Gmbh Nachrüstsatz für Parkführung
DE102011081614A1 (de) * 2011-08-26 2013-02-28 Robert Bosch Gmbh Verfahren und Vorrichtung zur Analysierung eines von einem Fahrzeug zu befahrenden Streckenabschnitts
US20130108995A1 (en) * 2011-10-31 2013-05-02 C&D Research Group LLC. System and method for monitoring and influencing body position
CN102795167A (zh) * 2012-09-07 2012-11-28 李超 车灯内置摄像头装置
KR101378337B1 (ko) 2012-10-30 2014-03-27 주식회사 이미지넥스트 카메라의 영상 처리 장치 및 방법
CN103884332B (zh) * 2012-12-21 2017-03-01 联想(北京)有限公司 一种障碍物判定方法、装置及移动电子设备
US9451062B2 (en) * 2013-09-30 2016-09-20 Verizon Patent And Licensing Inc. Mobile device edge view display insert
US10318823B2 (en) 2013-10-14 2019-06-11 Mobileye Vision Technologies Ltd. Forward-facing multi-imaging system for navigating a vehicle
US20150106010A1 (en) * 2013-10-15 2015-04-16 Ford Global Technologies, Llc Aerial data for vehicle navigation
JP6557958B2 (ja) * 2014-10-22 2019-08-14 株式会社Ｓｏｋｅｎ 車両用障害物検出装置
CN104890576A (zh) * 2015-05-22 2015-09-09 西安电子科技大学 一种智能全方位消除汽车盲区的装置
JP6796912B2 (ja) * 2015-05-26 2020-12-09 株式会社リコー 情報処理装置、情報処理システム、及びプログラム
CN108474848A (zh) 2015-12-10 2018-08-31 深圳市大疆创新科技有限公司 用于移动平台操作的系统和方法
WO2020208807A1 (ja) * 2019-04-12 2020-10-15 三菱電機株式会社 移動体の移動制御システム、移動体、および移動体システム
CN112511754B (zh) * 2020-12-29 2021-11-16 湖南警察学院 一种智能侦查巡逻警务车用人脸识别设备

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2827665B2 (ja) * 1992-02-27 1998-11-25 三菱自動車工業株式会社 車両用画像表示装置
US6690374B2 (en) * 1999-05-12 2004-02-10 Imove, Inc. Security camera system for tracking moving objects in both forward and reverse directions
JP2001076298A (ja) * 1999-09-07 2001-03-23 Mazda Motor Corp 車両の表示装置
EP1083076A3 (en) * 1999-09-07 2005-01-12 Mazda Motor Corporation Display apparatus for vehicle
DE19947766A1 (de) * 1999-10-02 2001-05-10 Bosch Gmbh Robert Einrichtung zur Überwachung der Umgebung eines einparkenden Fahrzeugs
AUPQ684600A0 (en) * 2000-04-11 2000-05-11 Safehouse International Limited An object monitoring system
JP3885930B2 (ja) * 2001-07-06 2007-02-28 株式会社デンソー 障害物検知装置
JP4108314B2 (ja) * 2001-10-31 2008-06-25 トヨタ自動車株式会社 車両用周辺監視装置
JP3607994B2 (ja) * 2001-11-12 2005-01-05 トヨタ自動車株式会社 車両用周辺監視装置
US7161615B2 (en) * 2001-11-30 2007-01-09 Pelco System and method for tracking objects and obscuring fields of view under video surveillance
JP4310987B2 (ja) * 2002-09-30 2009-08-12 アイシン精機株式会社 移動体周辺監視装置
JP4207519B2 (ja) * 2002-09-30 2009-01-14 アイシン精機株式会社 移動体周辺監視装置
JP4154980B2 (ja) * 2002-09-30 2008-09-24 アイシン精機株式会社 移動体周辺監視装置
JP4109536B2 (ja) * 2002-11-15 2008-07-02 株式会社オートネットワーク技術研究所 車載カメラシステム
US7353086B2 (en) * 2002-11-19 2008-04-01 Timothy James Ennis Methods and systems for providing a rearward field of view for use with motorcycles
JP2004173048A (ja) * 2002-11-21 2004-06-17 Auto Network Gijutsu Kenkyusho:Kk 車載カメラシステム
JP2004268860A (ja) * 2003-03-12 2004-09-30 Sanyo Electric Co Ltd 移動体の後方確認装置

Also Published As

Publication number Publication date
CN101048296B (zh) 2010-05-05
US20080002025A1 (en) 2008-01-03
EP1810882B1 (en) 2008-11-26
DE602005011325D1 (de) 2009-01-08
JP2006123670A (ja) 2006-05-18
WO2006046382A1 (ja) 2006-05-04
EP1810882A4 (en) 2007-10-17
EP1810882A1 (en) 2007-07-25
CN101048296A (zh) 2007-10-03

Similar Documents

Publication Publication Date Title
JP4186908B2 (ja) 移動体周辺監視装置
US8218007B2 (en) Camera system for a vehicle and method for controlling a camera system
JP5979505B2 (ja) 運転支援装置
JP6404921B2 (ja) 車両の側方及び／或いは後方の周辺領域を再生するための方法並びに装置
US7554461B2 (en) Recording medium, parking support apparatus and parking support screen
US8009868B2 (en) Method of processing images photographed by plural cameras and apparatus for the same
JP5938635B2 (ja) 運転支援装置
JP4985250B2 (ja) 駐車支援装置
WO2011036892A1 (ja) 運転支援表示装置
JP2005311868A (ja) 車両周辺視認装置
JP2010166196A (ja) 車両周辺監視装置
JP2002166802A (ja) 車両周辺モニタ装置
JP2007221200A (ja) 車両周辺監視装置
WO2005051715A2 (en) Automatic viewing of vehicle blind spot
EP1486377A2 (en) Movable body surrounding monitoring apparatus
JP2011230563A (ja) 狭路走行支援装置
JP6730613B2 (ja) 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム
WO2019193819A1 (ja) 車両用表示制御装置、車両用表示システム、車両用表示制御方法、およびプログラム
JP4600999B2 (ja) 車両周囲監視装置
CN112622774A (zh) 车辆及提供车辆周围信息的方法
JP4674814B2 (ja) 車両用画像表示装置および画像合成方法
JP4059309B2 (ja) 車載カメラの画像表示制御方法及びその装置
JP4677820B2 (ja) 予測進路表示装置および予測進路表示方法
KR20150062277A (ko) 주차 보조 장치 및 방법
EP1403139B1 (en) Movable body circumstance monitoring apparatus

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070828

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080304

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080424

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20080519

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080819

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080901

R151 Written notification of patent or utility model registration

Ref document number: 4186908

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110919

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120919

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130919

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees