WO2010050090A1 - 車両周辺監視装置 - Google Patents

車両周辺監視装置 Download PDF

Info

Publication number
WO2010050090A1
WO2010050090A1 PCT/JP2009/002898 JP2009002898W WO2010050090A1 WO 2010050090 A1 WO2010050090 A1 WO 2010050090A1 JP 2009002898 W JP2009002898 W JP 2009002898W WO 2010050090 A1 WO2010050090 A1 WO 2010050090A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
monitoring device
type
periphery monitoring
notification
Prior art date
Application number
PCT/JP2009/002898
Other languages
English (en)
French (fr)
Inventor
高津戸　泉
長岡　伸治
誠 相村
Original Assignee
本田技研工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 本田技研工業株式会社 filed Critical 本田技研工業株式会社
Priority to US13/124,253 priority Critical patent/US8766816B2/en
Priority to CN200980143447.1A priority patent/CN102203837B/zh
Priority to EP09823207A priority patent/EP2352136B1/en
Publication of WO2010050090A1 publication Critical patent/WO2010050090A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/30—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing vision in the non-visible spectrum, e.g. night or infrared vision
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/103—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using camera systems provided with artificial illumination device, e.g. IR light source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本発明の車両周辺監視装置１によれば、たとえばＨＵＤ７に表示される車両周辺画像における対象物の存在の表示形態の相違に応じて、この対象物の存在に加えてその種類を車両１０の乗員に視覚を通じて通報することができる。ＨＵＤ７に表示される第１マークＭ１および第２マークＭ２のデザインの相違、または、第１フレームＦ１および第２フレームＦ２のデザインの相違に応じて、対象物が人間および四足動物のうちいずれに該当するかを車両１０の運転者に認識させることができる。

Description

車両周辺監視装置
　本発明は、車両に搭載されている撮像装置により得られた撮像画像を用いて、前記車両と対象物との接触可能性が高い場合に前記対象物の存在を通報装置により前記車両の乗員に対して通報する車両周辺監視装置に関する。
　車両の周辺に存在する動物等の対象物の時系列的な位置データに基づいてその対象物の実空間における移動ベクトルを算出し、この移動ベクトルに基づいて車両と対象物との接触可能性の高低を判定し、当該接触可能性が高いと判定した場合にはその旨を運転者に通報する車両周辺監視装置が提案されている（日本国　特開２００１－００６０９６号公報参照）。
　しかし、対象物が歩行者もしくは自転車乗員等の人間である、または、鹿もしくは犬等の四足動物である等、対象物の種類を認識することが車両の運転者にとって有用な情報であるにもかかわらず、単なる通報だけでは対象物の種類を運転者に認識させることができない。
　そこで、本発明は、対象物の種類を車両の乗員に認識させるようにその対象物の存在を通報することができる車両周辺監視装置を提供することを目的とする。
　前記課題を解決するための本発明の車両周辺監視装置は、車両に搭載されている撮像装置により得られた撮像画像を用いて、前記車両と対象物との接触可能性が高い場合に前記対象物の存在を通報装置により前記車両の乗員に対して通報する車両周辺監視装置であって、前記撮像画像から前記対象物に相当する画像領域を対象物領域として抽出する対象物抽出手段と、前記対象物抽出手段により抽出された前記対象物領域の形状または形状およびサイズに基づいて前記対象物の種類を判定する対象物種類判定手段と、前記対象物種類判定手段により判定された前記対象物の種類の相違に応じて、前記対象物の存在を前記通報装置に異なる形態で通報させる通報制御手段とを備えていることを特徴とする。
　本発明の車両周辺監視装置によれば、対象物の存在を表わす通報の形態の相違に応じて、この対象物の存在に加えてその種類を車両の乗員に認識させることができる。なお「撮像画像」は撮像された原画像そのもののほか、この原画像が画像処理されることにより得られる加工画像をも含む概念である。
　本発明の車両周辺監視装置において、前記通報装置として前記車両の周辺画像を表示する画像表示装置を備え、前記対象物種類判定手段により判定された前記対象物の種類の相違に応じて、前記対象物の存在を前記画像表示装置に異なる形態で表示させてもよい。
　当該構成の車両周辺監視装置によれば、車両周辺画像における対象物の存在の表示形態の相違に応じて、この対象物の存在に加えてその種類を車両の乗員に視覚を通じて通報することができる。
　本発明の車両周辺監視装置において、前記通報装置として前記対象物の存在を示す音声を出力する音声出力装置を備え、前記対象物種類判定手段により判定された前記対象物の種類の相違に応じて、前記対象物の存在を前記音声出力装置に異なる形態の音声を出力させてもよい。
　当該構成の車両周辺監視装置によれば、対象物の存在を表わす音声の出力形態の相違に応じて、この対象物の存在に加えてその種類を車両の乗員に聴覚を通じて認識させることができる。
　本発明の車両周辺監視装置において、前記車両と前記対象物との距離を測定する距離測定手段を備え、前記通報制御手段が、前記距離測定手段により測定された前記距離が基準距離以下であることを要件として、前記対象物の種類の相違に応じて、前記対象物の存在を前記通報装置に異なる形態で通報させてもよい。
　当該構成の車両周辺監視装置によれば、対象物が車両から遠くにあるほどこの対象物の種類判定精度が低くなることに鑑みて、当該判定精度がある程度高い状態においてのみ、対象物の種類の相違に応じて異なる形態でこの対象物の存在が車両の運転者に通報される。このため、車両周辺監視装置による対象物の種類の誤判定によって、誤った形態でこの対象物の存在が通報される事態が回避されうる。
　本発明の車両周辺監視装置において、前記車両と前記対象物との距離を測定する距離測定手段を備え、前記通報制御手段が、前記対象物種類判定手段により判定された前記対象物の種類の相違に加えて、前記距離測定手段により測定された前記距離の長短に応じて、前記対象物の存在を前記通報装置に異なる形態で通報させてもよい。
　当該構成の車両周辺監視装置によれば、対象物の存在を表わす通報の形態の相違に応じて、この対象物の存在およびその種類に加えて、車両とこの対象物との距離の長短を車両の乗員に認識させることができる。
　本発明の車両周辺監視装置において、前記車両の速度を測定する車速測定手段を備え、前記通報制御手段が、前記対象物種類判定手段により判定された前記対象物の種類の相違に加えて、前記車速測定手段により測定された前記車両の速度の高低に応じて、前記対象物の存在を前記通報装置に異なる形態で通報させてもよい。
　当該構成の車両周辺監視装置によれば、対象物の存在を表わす通報の形態の相違に応じて、この対象物の存在およびその種類に加えて、車両の速度の高低を車両の乗員に認識させることができる。
本発明の車両周辺監視装置の構成説明図。 車両周辺監視装置が搭載されている車両に関する説明図。 車両周辺監視装置の機能を示すフローチャート。 異なる通報処理に関する説明図。
　本発明の車両周辺監視装置の実施形態について説明する。
　まず、本実施形態の車両周辺監視装置の構成について説明する。車両周辺監視装置は図１および図２に示されている画像処理ユニット１を備えている。画像処理ユニット１には、車両１０の前方を撮像する左右一対の赤外線カメラ（本発明の「撮像装置」に該当する。）２Ｒ，２Ｌが接続されるとともに、車両１０の走行状態を検出するセンサとして、車両１０のヨーレートを検出するヨーレートセンサ３、車両１０の走行速度（車速）を検出する車速センサ４および車両１０のブレーキ操作の有無を検出するブレーキセンサ５が接続されている。
　さらに、画像処理ユニット１には、音声などによる聴覚的な通報情報を出力するためのスピーカ（本発明の「音声出力装置」に該当する。）６および赤外線カメラ２Ｒ，２Ｌにより撮像された撮像画像や視覚的な通報情報を表示するためにフロントウィンドウ付近に配置されているＨＵＤ（ヘッド・アップ・ディスプレイ。本願発明の「画像表示装置」に該当する。）７が接続されている。
　なお、対象物との距離がレーダーにより測定される場合、１台の赤外線カメラのみが車両１０に搭載されてもよい。ＨＵＤに代えてまたは加えて、車両１０の車速などの走行状態を表示するディスプレイ、あるいは、車載ナビゲーション装置が有するディスプレイが画像表示装置として採用されてもよい。
　画像処理ユニット１は、Ａ／Ｄ変換回路、ＣＰＵ、ＲＡＭ、ＲＯＭ等のメモリ、Ｉ／Ｏ回路およびこれらを接続するバスなどにより構成されているＥＣＵ（電子制御ユニット）により構成されている。画像処理ユニット１（詳細にはメモリまたは記憶装置に格納されているプログラムにしたがって演算処理を実行するＣＰＵ）が、本発明の「対象物抽出手段」「対象物種類判定手段」および「通報制御手段」を構成する。
　赤外線カメラ２Ｒ，２Ｌ、ヨーレートセンサ３、車速センサ４およびブレーキセンサ５から出力されるアナログ信号が、Ａ／Ｄ変換回路によりデジタルデータ化され、ＣＰＵによりデジタル化されたデータに基づき、人間（歩行者または自転車もしくは二輪自動車の乗員など）または四足動物（鹿、馬または犬など）等の対象物を検出し、検出した対象物が所定の通報要件を満たす場合にスピーカ６やＨＵＤ７を通じて対象物の存在、または、車両１０と対象物との接触可能性の高低を運転者に通報する。
　図２に示されているように、赤外線カメラ２Ｒ，２Ｌは、車両１０の前方を撮像するために車両１０の前部（図ではフロントグリルの部分）に取り付けられている。右側の赤外線カメラ２Ｒは車両１０の車幅方向の中心よりも右寄りの位置に配置され、左側の赤外線カメラ２Lは車両１０の車幅方向の中心よりも左寄りの位置に配置されている。それらの位置は車両１０の車幅方向の中心に対して左右対称である。赤外線カメラ２Ｒ，２Ｌは光軸が互いに平行に車両１０の前後方向に延在し、且つ、それぞれの光軸の路面からの高さが互いに等しくなるように固定されている。赤外線カメラ２Ｒ，２Ｌは、遠赤外域に感度を有し、それにより撮像される物体の温度が高いほど、出力される映像信号のレベルが高くなる（映像信号の輝度が高くなる）特性を有している。
　次に、前記構成の車両周辺監視装置の機能について説明する。なお、画像処理の詳細は特開２００１－００６０９６号公報および特開２００７－３１０７０５号公報に開示されているので簡単に説明する。
　まず、赤外線カメラ２Ｒ、２Ｌの赤外画像信号が画像処理ユニット１に入力され、赤外画像信号がＡ／Ｄ変換され、Ａ／Ｄ変換された赤外画像信号に基づいてグレースケール画像が生成され、基準となるグレースケール画像（右画像）が２値化される。その上で、２値化画像において対象物が存在する領域が対象物領域Ｓとして抽出される（図３／ＳＴＥＰ００２）。
　具体的には、２値化画像の高輝度領域を構成する画素群がランレングスデータに変換され、基準画像の縦方向に重なりを有するライン群のそれぞれにラベル（識別子）が付され、ライン群のそれぞれが対象物領域Ｓとして抽出される。これにより、図４（ａ）～（ｃ）に斜線付きで示されているようなひとまとまりの高輝度画素（画素値＝１の画素）により構成される高輝度領域が対象物領域Ｓとして抽出される。
　続いて、各対象物の重心の位置（基準画像上での位置）、面積および外接四角形の縦横比が算定される。また、対象物の時刻間追跡が実行され、画像処理ユニット１の演算処理周期毎の対象物の同一性が判定される。さらに、車速センサ４およびヨーレートセンサ５の出力（車速の検出値及びヨーレートの検出値）が読み込まれる。
　また、外接四角形の縦横比算出および対象物の時刻間追跡と並行して、基準画像のうち、各対象物に対応する領域（たとえば対象物の外接四角形の領域）が探索画像として抽出される。さらに、相関演算が実行されることにより左画像中から探索画像に対応する画像（対応画像）が探索かつ抽出される。
　また、車両１０から対象物までの実空間距離（車両１０の前後方向における距離）ｚが算定される（図３／ＳＴＥＰ００４）。また、各対象物の実空間位置（車両１０に対する相対位置）が算定される。さらに、対象物の実空間位置（Ｘ，Ｙ，Ｚ）（図２参照）のうちのＸ成分が回頭角の時系列データに応じて補正される。また、車両１０に対する対象物の相対移動ベクトルが算定される（図３／ＳＴＥＰ００６）。
　さらに、車両１０と対象物との接触可能性の高低が判定される（図３／ＳＴＥＰ００８）。この判定手法についても特開２００１－００６０９６号公報および特開２００７－３１０７０５号公報に開示されているので簡単に説明する。
　まず、対象物の実空間距離ｚが相対速度Ｖｓと余裕時間Ｔとの乗算値以下であるか否かが判定される。また、実空間距離ｚが当該値以下であると判定された場合、対象物が接近判定領域に存在するか否かが判定される（第１の接触判定処理）。
　接近判定領域は車両１０の前方において車両１０の左右方向に対称に広がり、車両１０の幅にオフセット値を加えた幅を有している。第１の接触判定処理における判定結果が肯定的である場合、対象物が車両１０と接触する可能性が高いと判定される。
　一方、第１の接触判定処理における判定結果が否定的である場合、対象物が接近判定領域の外側にある進入判定領域に存在し、かつ、対象物の相対移動ベクトルが接近判定領域に向かっているか否かがさらに判定される（第２の接触判定処理）。第２の接触判定処理における判定結果が肯定的である場合、対象物が車両１０と接触する可能性が高いと判定される。
　車両１０と対象物との接触可能性が高いと判定された場合（第１または第２の接触判定処理における判定結果が肯定的である場合）（図３／ＳＴＥＰ００８‥ＹＥＳ）、対象物が人工構造物等、その存在の通報の必要性が低い物体に該当するか否かが判定される（図３／ＳＴＥＰ０１０）。たとえば、対象物が歩行者または四足動物には該当し得ないような外形上の特徴がこの対象物において検知された場合、この対象物が人工構造物に該当すると判定される。
　車両１０と対象物との接触可能性が低いと判定された場合（第１および第２の接触判定処理における判定結果が否定的である場合）（図３／ＳＴＥＰ００８‥ＮＯ）、または、対象物が通報対象に該当しないと判定された場合（図３／ＳＴＥＰ０１０‥ＮＯ）、後述の通報処理が実行されることなく対象物領域Ｓの抽出以降の処理が繰り返される（図３／ＳＴＥＰ００２等参照）。
　対象物が人工構造物等に該当しないと判定された場合（図３／ＳＴＥＰ０１０‥ＹＥＳ）、対象物の実空間距離ｚが閾値ｚth以下であるか否かが判定される（図３／ＳＴＥＰ０１２）。閾値ｚthは対象物の種類判定精度の高低の観点から設定される。対象物の実空間距離ｚが閾値ｚth以下であると判定された場合（図３／ＳＴＥＰ０１２‥ＹＥＳ）、この対象物が歩行者または自転車乗員等の人間に該当するか否かが判定される（図３／ＳＴＥＰ０１４）。
　また、対象物が人間に該当しないと判定された場合（図３／ＳＴＥＰ０１４‥ＮＯ）、この対象物が鹿、馬または犬等の四足動物に該当するか否かが判定される（図３／ＳＴＥＰ０１６）。具体的には、グレースケール画像上で対象物領域Ｓの形状もしくはサイズ、または、輝度分布等の特徴量に基づき、対象物が人間または四足動物に該当するか否かが判定される。
　そして、対象物が人間に該当すると判定された場合（図３／ＳＴＥＰ０１４‥ＹＥＳ）、「第１通報処理」が実行される（図３／ＳＴＥＰ０２２）。これにより、スピーカ６から「ピピピ」というように短い音声が３回にわたり続けて出力される。また、図４（ａ）に示されているように対象物を囲む矩形状の第１フレームＦ１と、対象物が人間であることを示す第１マークＭ１とがＨＵＤ７に表示される。
　また、対象物が四足動物に該当すると判定された場合（図３／ＳＴＥＰ０１６‥ＹＥＳ）、「第２通報処理」が実行される（図３／ＳＴＥＰ０２４）。これにより、スピーカ６から「ピピ」というように短い音声が２回にわたり続けて出力される。また、図４（ｂ）に示されているように対象物を囲む八角形状の第２フレームＦ２と、対象物が四足動物であることを示す第２マークＭ２とがＨＵＤ７に表示される。
　さらに、対象物の実空間距離ｚが閾値ｚthを超えていると判定された場合（図３／ＳＴＥＰ０１２‥ＮＯ）、「第３通報処理」が実行される（図３／ＳＴＥＰ０２６）。これにより、スピーカ６から「ピ」というように短い音声が１回だけ出力される。また、図４（ｃ）に示されているように対象物を囲む円形状の第３フレームＦ３と、対象物が車両１０と接触可能性が高い人間または四足動物等の物体であることを示す第３マークＭ３とがＨＵＤ７に表示される。
　第１フレームＦ１～第３フレームＦ３のそれぞれのデザイン（形状、色彩もしくは模様またはこれらの組み合わせを意味する。）は相違している。第１マークＭ１～第３マークＭ３のそれぞれのデザインも相違している。各通報処理に際して出力される音声も相違している。なお、各通報処理においてマークおよびフレームのうち一方のみが表示されてもよく、画像および音声のうち両方ではなく一方のみが出力されてもよい。
　前記機能を発揮する車両周辺監視装置によれば、対象物の存在を表わす通報の形態の相違に応じて、この対象物の存在に加えてその種類を車両１０の乗員に認識させることができる（図３／ＳＴＥＰ０２２、ＳＴＥＰ０２４参照）。すなわち、スピーカ６から出力される対象物の存在を表わす音声の出力形態の相違に応じて、この対象物の存在に加えてその種類を車両の乗員に聴覚を通じて認識させることができる。
　たとえば、スピーカ６からの出力音声の相違に応じて、対象物が人間および四足動物のうちいずれに該当するかを車両１０の運転者に認識させることができる。また、ＨＵＤ７に表示される車両周辺画像における対象物の存在の表示形態の相違に応じて、この対象物の存在に加えてその種類を車両１０の乗員に視覚を通じて通報することができる。たとえば、ＨＵＤ７に表示される第１マークＭ１および第２マークＭ２のデザインの相違、または、第１フレームＦ１および第２フレームＦ２のデザインの相違に応じて、対象物が人間および四足動物のうちいずれに該当するかを車両１０の運転者に認識させることができる（図４（ａ）（ｂ）参照）。
　さらに、対象物が車両１０から遠くにあるほどこの対象物の種類判定精度が低くなることに鑑みて、当該判定精度がある程度高い状態、すなわち、対象物の実空間距離ｚが閾値ｚｔｈ以下である場合においてのみ、対象物の種類の相違に応じて異なる形態でこの対象物の存在が車両１０の運転者に通報される（図３／ＳＴＥＰ０１２、図４（ａ）～（ｃ）参照）。
　このため、車両周辺監視装置１による対象物の種類の誤判定によって、誤った形態でこの対象物の存在が通報される事態が回避されうる。ただし、対象物の実空間距離ｚが閾値ｚｔｈを超えている場合も、この対象物の存在が通報されるので（図３／ＳＴＥＰ０２６，図４（ｃ）参照）、この対象物に対する運転者の注意を喚起することができる。
　なお、対象物の種類の相違に加えて、実空間距離ｚの長短に応じて、対象物の存在が異なる形態で通報されてもよい。対象物の実空間距離ｚが閾値ｚthを超えている場合もこの対象物の種類が判定されてもよい。
　閾値ｚthに代えてこれよりも小さい第２の閾値以下であるか否かに応じて車両１０から対象物までの距離の長短が判定されてもよい。たとえば、対象物が人間に該当すると判定された一方（図３／ＳＴＥＰ０１４参照）、この対象物の実空間距離ｚが短い場合と、この対象物の実空間距離ｚが長い場合とのそれぞれにおいてデザインが異なるマークがＨＵＤ７に表示されてもよい。当該構成によれば、対象物の存在を表わす通報の形態の相違に応じて、この対象物の存在およびその種類に加えて、車両１０とこの対象物との距離の長短を運転者に認識させることができる。
　また、対象物までの距離に代えて、撮像画像における対象物の大きさが所定閾値を超えていることを条件として対象物の種類の相違に応じて、当該対象物の存在が異なる形態で運転者に通報されてもよい。
　さらに、対象物の種類の相違に加えて、車速センサ４の出力信号により測定された車両１０の速度の高低に応じて、対象物の存在が異なる形態で通報されてもよい。当該構成によれば、対象物の存在を表わす通報の形態の相違に応じて、この対象物の存在およびその種類に加えて、車両１０の速度の高低を運転者に認識させることができる。

Claims (6)

  1. 車両に搭載されている撮像装置により得られた撮像画像を用いて、前記車両と対象物との接触可能性が高い場合に前記対象物の存在を通報装置により前記車両の乗員に対して通報する車両周辺監視装置であって、
    　前記撮像画像から前記対象物に相当する画像領域を対象物領域として抽出する対象物抽出手段と、
    　前記対象物抽出手段により抽出された前記対象物領域の形状または形状およびサイズに基づいて前記対象物の種類を判定する対象物種類判定手段と、
    前記対象物種類判定手段により判定された前記対象物の種類の相違に応じて、前記対象物の存在を前記通報装置に異なる形態で通報させる通報制御手段とを備えていることを特徴とする車両周辺監視装置。
  2. 請求項１記載の車両周辺監視装置において、
    　前記通報装置として前記車両の周辺画像を表示する画像表示装置を備え、
    前記対象物種類判定手段により判定された前記対象物の種類の相違に応じて、前記対象物の存在を前記画像表示装置に異なる形態で表示させることを特徴とする車両周辺監視装置。
  3. 請求項１記載の車両周辺監視装置において、
    　前記通報装置として前記対象物の存在を示す音声を出力する音声出力装置を備え、
    前記対象物種類判定手段により判定された前記対象物の種類の相違に応じて、前記対象物の存在を前記音声出力装置に異なる形態の音声を出力させることを特徴とする車両周辺監視装置。
  4. 請求項１記載の車両周辺監視装置において、
    　前記車両と前記対象物との距離を測定する距離測定手段を備え、
    　前記通報制御手段が、前記距離測定手段により測定された前記距離が基準距離以下であることを要件として、前記対象物の種類の相違に応じて、前記対象物の存在を前記通報装置に異なる形態で通報させることを特徴とする車両周辺監視装置。
  5. 請求項１記載の車両周辺監視装置において、
    　前記車両と前記対象物との距離を測定する距離測定手段を備え、
    　前記通報制御手段が、前記対象物種類判定手段により判定された前記対象物の種類の相違に加えて、前記距離測定手段により測定された前記距離の長短に応じて、前記対象物の存在を前記通報装置に異なる形態で通報させることを特徴とする車両周辺監視装置。
  6. 請求項１記載の車両周辺監視装置において、
    　前記車両の速度を測定する車速測定手段を備え、
    　前記通報制御手段が、前記対象物種類判定手段により判定された前記対象物の種類の相違に加えて、前記車速測定手段により測定された前記車両の速度の高低に応じて、前記対象物の存在を前記通報装置に異なる形態で通報させることを特徴とする車両周辺監視装置。
PCT/JP2009/002898 2008-10-30 2009-06-24 車両周辺監視装置 WO2010050090A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US13/124,253 US8766816B2 (en) 2008-10-30 2009-06-24 System for monitoring the area around a vehicle
CN200980143447.1A CN102203837B (zh) 2008-10-30 2009-06-24 车辆周围监测装置
EP09823207A EP2352136B1 (en) 2008-10-30 2009-06-24 System for monitoring the area around a vehicle

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008279879A JP2010108264A (ja) 2008-10-30 2008-10-30 車両周辺監視装置
JP2008-279879 2008-10-30

Publications (1)

Publication Number Publication Date
WO2010050090A1 true WO2010050090A1 (ja) 2010-05-06

Family

ID=42128464

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/002898 WO2010050090A1 (ja) 2008-10-30 2009-06-24 車両周辺監視装置

Country Status (5)

Country Link
US (1) US8766816B2 (ja)
EP (1) EP2352136B1 (ja)
JP (1) JP2010108264A (ja)
CN (1) CN102203837B (ja)
WO (1) WO2010050090A1 (ja)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9558663B2 (en) 2000-10-04 2017-01-31 Intelligent Technologies International, Inc. Animal detecting and notification method and system
US8989920B2 (en) 2000-09-08 2015-03-24 Intelligent Technologies International, Inc. Travel information sensing and communication system
US9997068B2 (en) 2008-01-28 2018-06-12 Intelligent Technologies International, Inc. Method for conveying driving conditions for vehicular control
CN103797528A (zh) * 2011-09-28 2014-05-14 本田技研工业株式会社 生物体识别装置
US9158979B2 (en) * 2011-10-18 2015-10-13 Honda Motor Co., Ltd. Vehicle vicinity monitoring device
EP2722302B1 (en) * 2012-10-17 2017-05-24 Iveco Magirus Ag Utility vehicle with monitoring system for monitoring the position of the outriggers
JP5991647B2 (ja) * 2013-03-28 2016-09-14 株式会社デンソー 車両用周辺監視制御装置
US10214208B2 (en) * 2013-05-31 2019-02-26 Toyota Jidosha Kabushiki Kaisha Drive assist apparatus of vehicle and onboard computer
JP6232759B2 (ja) * 2013-06-07 2017-11-22 ソニー株式会社 情報処理装置、接近対象物通知方法及びプログラム
KR101482171B1 (ko) * 2013-09-05 2015-01-13 현대모비스(주) 어라운드뷰 정차모드 제어방법
JP5929870B2 (ja) * 2013-10-17 2016-06-08 株式会社デンソー 物標検出装置
US20150151681A1 (en) * 2013-11-25 2015-06-04 Carl Randolph Animal Aware
JP6264037B2 (ja) * 2013-12-27 2018-01-24 トヨタ自動車株式会社 車両用情報表示装置及び車両用情報表示方法
JP6318810B2 (ja) * 2014-04-21 2018-05-09 日本精機株式会社 車両用表示装置
US20170134662A1 (en) * 2014-07-01 2017-05-11 Nissan Motor Co., Ltd. Vehicular display apparatus and vehicular display method
US11402628B2 (en) 2014-07-01 2022-08-02 Nissan Motor Co., Ltd. Vehicular display apparatus and vehicular display method
CN104192065A (zh) * 2014-08-20 2014-12-10 刘健萍 一种可辨监控对象的汽车四周监控装置
JP6520668B2 (ja) * 2015-02-09 2019-05-29 株式会社デンソー 車両用表示制御装置及び車両用表示ユニット
US9588340B2 (en) 2015-03-03 2017-03-07 Honda Motor Co., Ltd. Pedestrian intersection alert system and method thereof
JP2016170663A (ja) * 2015-03-13 2016-09-23 株式会社Ｊｖｃケンウッド 車両監視装置、車両監視方法、及び、車両監視プログラム
ES2819239T3 (es) * 2015-05-30 2021-04-15 Leia Inc Sistema de visualización de un vehículo
JP2017021546A (ja) * 2015-07-10 2017-01-26 田山 修一 車輌用画像表示システム及び方法
JP6589991B2 (ja) * 2015-10-05 2019-10-16 株式会社村田製作所 ヒューマンインターフェース
JP6401141B2 (ja) * 2015-10-15 2018-10-03 日立建機株式会社 車両周囲障害物検出装置
JP6580982B2 (ja) * 2015-12-25 2019-09-25 日立建機株式会社 オフロードダンプトラック及び障害物判別装置
CN108001388B (zh) * 2016-10-28 2021-07-27 奥迪股份公司 能源补充辅助系统和方法
JP6465318B2 (ja) * 2017-03-10 2019-02-06 株式会社Ｓｕｂａｒｕ 画像表示装置
KR20180112336A (ko) * 2017-04-03 2018-10-12 삼성전자주식회사 복수의 센서를 이용하여 객체를 인식하는 전자 기기 및 방법
JP6514736B2 (ja) * 2017-05-17 2019-05-15 株式会社Ｓｕｂａｒｕ 車外環境認識装置
JP7183549B2 (ja) * 2018-03-14 2022-12-06 株式会社リコー 運転支援装置、車両、システムおよび方法
EP3666594B1 (en) * 2018-12-12 2022-08-10 Ningbo Geely Automobile Research & Development Co. Ltd. System and method for warning a driver of a vehicle of an object in a proximity of the vehicle
JP2020187762A (ja) * 2020-07-02 2020-11-19 レイア、インコーポレイテッドＬｅｉａ Ｉｎｃ． 車両監視システム
EP4342735A1 (en) * 2022-09-23 2024-03-27 Volvo Truck Corporation Auxiliary safety device for vehicles, and vehicle comprising such auxiliary safety device

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001006096A (ja) 1999-06-23 2001-01-12 Honda Motor Co Ltd 車両の周辺監視装置
JP2007310705A (ja) 2006-05-19 2007-11-29 Honda Motor Co Ltd 車両周辺監視装置
JP2008021035A (ja) * 2006-07-11 2008-01-31 Fujitsu Ten Ltd 画像認識装置、画像認識方法および車両制御装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR960032262A (ko) * 1995-02-09 1996-09-17 배순훈 차량의 주행 안전 시스템
US6388580B1 (en) * 1998-07-23 2002-05-14 Rudolph Graham Automobile unsafe following distance warning system
JP2002248963A (ja) * 2001-02-23 2002-09-03 Tokai Rika Co Ltd 車両用変速機制御装置
US8082101B2 (en) * 2004-04-08 2011-12-20 Mobileye Technologies Ltd. Collision warning system
JP4428208B2 (ja) * 2004-11-16 2010-03-10 株式会社デンソー 車両用物体認識装置
JP4410138B2 (ja) * 2005-03-31 2010-02-03 株式会社デンソー 車両用衝突物体判別装置
CN100429101C (zh) * 2005-09-09 2008-10-29 中国科学院自动化研究所 汽车行驶安全监控系统及监控方法
JP4970926B2 (ja) * 2006-01-16 2012-07-11 本田技研工業株式会社 車両周辺監視装置
JP2007188417A (ja) 2006-01-16 2007-07-26 Fujitsu Ten Ltd 画像認識装置、画像認識方法および画像認識プログラム
JP4497125B2 (ja) * 2006-04-11 2010-07-07 株式会社デンソー 衝突検出装置
JP4797794B2 (ja) * 2006-05-24 2011-10-19 日産自動車株式会社 歩行者検出装置および歩行者検出方法
JP2007328603A (ja) 2006-06-08 2007-12-20 Toyota Motor Corp 車両用警告装置
JP4211809B2 (ja) * 2006-06-30 2009-01-21 トヨタ自動車株式会社 物体検出装置
JP4743037B2 (ja) * 2006-07-28 2011-08-10 株式会社デンソー 車両検出装置
JP2008071058A (ja) 2006-09-13 2008-03-27 Sony Corp 音声再生装置、音声再生方法、プログラム
JP2008254710A (ja) * 2007-04-09 2008-10-23 Fujitsu Ten Ltd 障害物検知装置
JP4979445B2 (ja) 2007-04-18 2012-07-18 キヤノン株式会社 原稿読取装置及びそのデータ転送方法
JP2009031053A (ja) * 2007-07-25 2009-02-12 Fujitsu Ten Ltd 前方障害物検出装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001006096A (ja) 1999-06-23 2001-01-12 Honda Motor Co Ltd 車両の周辺監視装置
JP2007310705A (ja) 2006-05-19 2007-11-29 Honda Motor Co Ltd 車両周辺監視装置
JP2008021035A (ja) * 2006-07-11 2008-01-31 Fujitsu Ten Ltd 画像認識装置、画像認識方法および車両制御装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2352136A4

Also Published As

Publication number Publication date
CN102203837B (zh) 2014-07-09
EP2352136A4 (en) 2011-12-28
EP2352136B1 (en) 2012-10-31
US8766816B2 (en) 2014-07-01
CN102203837A (zh) 2011-09-28
EP2352136A1 (en) 2011-08-03
US20110199197A1 (en) 2011-08-18
JP2010108264A (ja) 2010-05-13

Similar Documents

Publication Publication Date Title
WO2010050090A1 (ja) 車両周辺監視装置
JP5198346B2 (ja) 車両周辺監視装置
JP4173901B2 (ja) 車両周辺監視装置
JP5639283B2 (ja) 車両周辺監視装置
JP4173902B2 (ja) 車両周辺監視装置
JP4377439B1 (ja) 車両周辺監視装置
JP5480925B2 (ja) 車両周辺監視装置
JP4521642B2 (ja) 車両周辺監視装置、車両、車両周辺監視プログラム
JP4644273B2 (ja) 車両周辺監視装置
JP4615061B2 (ja) 車両周辺監視装置
JP5172482B2 (ja) 車両周辺監視装置
JP5345992B2 (ja) 車両周辺監視装置
JP5004919B2 (ja) 車両周辺監視装置
JP5004903B2 (ja) 車両周辺監視装置
JP5026398B2 (ja) 車両周辺監視装置
JP4972073B2 (ja) 環境認識装置
JP4995778B2 (ja) 車両周辺監視装置
JP5903003B2 (ja) 車両周辺監視装置
JP5907849B2 (ja) 車両周辺監視装置
JP4590654B2 (ja) 車両周辺監視装置、車両、車両周辺監視プログラム
JP4815506B2 (ja) 車両周辺監視装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200980143447.1

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09823207

Country of ref document: EP

Kind code of ref document: A1

DPE2 Request for preliminary examination filed before expiration of 19th month from priority date (pct application filed from 20040101)
WWE Wipo information: entry into national phase

Ref document number: 13124253

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2009823207

Country of ref document: EP