JP5198346B2 - 車両周辺監視装置 - Google Patents

車両周辺監視装置 Download PDF

Info

Publication number
JP5198346B2
JP5198346B2 JP2009105567A JP2009105567A JP5198346B2 JP 5198346 B2 JP5198346 B2 JP 5198346B2 JP 2009105567 A JP2009105567 A JP 2009105567A JP 2009105567 A JP2009105567 A JP 2009105567A JP 5198346 B2 JP5198346 B2 JP 5198346B2
Authority
JP
Japan
Prior art keywords
image
vehicle
periphery monitoring
monitoring device
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009105567A
Other languages
English (en)
Other versions
JP2010258705A (ja
Inventor
誠 相村
英樹 橋本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2009105567A priority Critical patent/JP5198346B2/ja
Priority to US13/265,167 priority patent/US9067537B2/en
Priority to CN201080017912.XA priority patent/CN102415096B/zh
Priority to EP20100766888 priority patent/EP2416571A4/en
Priority to PCT/JP2010/051111 priority patent/WO2010122828A1/ja
Publication of JP2010258705A publication Critical patent/JP2010258705A/ja
Application granted granted Critical
Publication of JP5198346B2 publication Critical patent/JP5198346B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/30—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing vision in the non-visible spectrum, e.g. night or infrared vision
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/106—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using night vision cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning

Description

本発明は、車両に搭載されている撮像装置により得られた前記車両の周辺の画像を用いて前記車両の周辺を監視する装置に関する。
車両前方の暗視画像において対象物の存在が認識された場合、対象物に対する運転者の注意を喚起するため、当該暗視画像の表示領域を広げる手法が提案されている（特許文献１参照）。
特開２００７−１５９０３６号公報
しかし、暗視画像の表示領域が単に広げられただけでは対象物の形状を運転者に明確に認識させることが困難な場合がある。このため、運転者が車両と対象物との接触を回避するための車両の適当な運転方法を判断するのが困難になる可能性がある。
そこで、本発明は、注意喚起の対象となる対象物の形状を運転者により確実に認識させることができる車両周辺監視装置を提供することを目的とする。
前記課題を解決するための本発明の車両周辺監視装置は、車両に搭載されている撮像装置により得られた前記車両の周辺の画像から対象物に相当する画像領域を対象物領域として抽出するように構成されている第１画像処理手段と、前記画像に応じた前記車両の周辺の様子を表わす出力画像を、前記車両に搭載されている画像表示装置に表示させるように構成されている第２画像処理手段とを備えている車両周辺監視装置であって、前記第２画像処理手段は、前記第１画像処理手段により前記対象物領域が抽出されたこと及び前記対象物が第１条件を満たしていることを要件として、前記出力画像に重なる一方、前記出力画像に含まれている前記対象物に重ならないように、前記対象物の拡大画像を前記画像表示装置に表示させるように構成され、前記第１条件は、前記車両から前記対象物までの距離が第１基準距離以上であること及び前記車両の周辺の画像または前記出力画像における前記対象物のサイズが基準サイズ未満であることのうち、少なくとも１つを含む条件であることを特徴とする。
本発明の車両周辺監視装置によれば、出力画像に含まれる対象物の拡大画像が当該出力画像に重ねて表示される。また、対象物の拡大画像は出力画像に含まれる当該対象物に重ならないように表示される。出力画像を通じて対象物の位置およびサイズを運転者に視認させることにより、実空間における対象物の大まかな位置を運転者に認識させることができる。さらに、対象物が車両から遠くに存在する等の理由により出力画像を通じて対象物の形状の視認が困難である蓋然性が高い状況において、当該対象物の拡大画像を通じてその形状を運転者に確実に視認させることができる。拡大画像が出力画像に重ねて表示されるので、画像表示装置を通じて運転者に一度に多くの情報を認識させることができる。
前記第２画像処理手段は、前記対象物の一定サイズの拡大画像を前記画像表示装置に表示させるように構成されてもよい。
当該構成の車両周辺監視装置によれば、画像表示装置における拡大画像の占有スペースが、対象物の形状を視認させるために必要最小限のサイズにとどめられ、その結果、画像表示装置の画像表示が可能なスペースの有効利用が図られる。
前記第２画像処理手段は、前記出力画像において前記対象物を囲む枠を前記画像表示装置に表示させるとともに、前記車両から前記対象物までの距離、前記車両の周辺の画像または前記出力画像における前記対象物のサイズ、および、前記車両の速度のうち少なくとも１つに応じて前記枠のサイズを変更して表示するように構成されてもよい。
当該構成の車両周辺監視装置によれば、対象物が車両から遠くに存在する等の状況であっても、出力画像において当該状況に応じたサイズの枠によって対象物が囲まれることによりその存在が強調される。したがって、出力画像を通じて対象物の位置およびサイズを運転者に確実に視認させ、これによって実空間における対象物の大まかな位置を運転者に認識させることができる。
本発明の車両周辺監視装置は、車両に搭載されている撮像装置により得られた前記車両の周辺の画像から対象物に相当する画像領域を対象物領域として抽出するように構成されている第１画像処理手段と、前記画像に応じた前記車両の周辺の様子を表わす出力画像を、前記車両に搭載されている画像表示装置に表示させるように構成されている第２画像処理手段とを備え、前記第２画像処理手段は、前記第１画像処理手段により前記対象物領域が抽出されたことを要件として、前記出力画像に重なる一方、前記出力画像に含まれている前記対象物に重ならないように、前記対象物の拡大画像を前記画像表示装置に表示させるように構成され、かつ、前記第１画像処理手段により複数の前記対象物領域が抽出された場合、前記対象物が、前記複数の対象物領域のそれぞれに相当する複数の対象物のうち、前記車両との接触可能性が最も高いことを含む第２条件を満たしていることを要件として前記対象物の拡大画像を前記画像表示装置に表示させるように構成されていてもよい。
当該構成の車両周辺監視装置によれば、車両との接触可能性が高い対象物について優先的にその拡大画像が表示される。このため、車両との接触可能性が高い対象物の形状を運転者に確実に視認させ、その結果を車両と当該対象物との接触を回避するための車両の適当な運転方法の判断に役立たせることができる。
前記第２画像処理手段は、前記出力画像を構成する複数の画像領域のうち、前記対象物が存在する一の画像領域に前記対象物の拡大画像を配置させて前記画像表示装置に表示させるように構成されてもよい。
当該構成の車両周辺監視装置によれば、出力画像における対象物の位置と、この対象物の拡大画像の位置とが近づけられる。このため、画像表示装置に向けられた運転者の注意が出力画像における対象物およびその拡大画像に分散されずに済み、その結果、実空間における対象物の大まかな位置および対象物の形状を運転者に容易に認識させることができる。
前記第２画像処理手段は、前記出力画像における前記対象物から見て、前記対象物の変位方向とは反対側に前記対象物の拡大画像を位置させて、前記画像表示装置に表示させるように構成されてもよい。
当該構成の車両周辺監視装置によれば、出力画像における対象物の変位に追従して、当該対象物に重ならないように対象物の拡大画像を変位させることが回避されるので、拡大画像を通じた対象物の形状を運転者に容易に視認させることができる。
前記第２画像処理手段は、前記車両から前記対象物までの距離が第２基準距離以下である場合、または、現在時刻から前記車両と前記対象物との距離が最も短くなると予測される時刻までの時間が基準時間以下である場合、前記対象物の前記拡大画像の前記画像表示装置における表示を停止または保留させるように構成されていてもよい。
当該構成の車両周辺監視装置によれば、車両と対象物との距離に鑑みて、運転者が対象物をウィンドシールド越しに視認する蓋然性または必要性が高い場面で、運転者の注意が画像表示装置に表示される対象物の拡大画像に分散されることが回避されうる。
本発明の車両周辺監視装置は、車両に搭載されている撮像装置により得られた前記車両の周辺の画像から対象物に相当する画像領域を対象物領域として抽出するように構成されている第１画像処理手段と、前記画像に応じた前記車両の周辺の様子を表わす出力画像を、前記車両に搭載されている画像表示装置に表示させるように構成されている第２画像処理手段とを備え、前記第２画像処理手段は、前記第１画像処理手段により前記対象物領域が抽出されたことを要件として、前記出力画像に重なる一方、前記出力画像に含まれている前記対象物に重ならないように、前記対象物の拡大画像を前記画像表示装置に表示させるように構成され、前記車両から前記対象物までの距離が第２基準距離以下である場合、または、現在時刻から前記車両と前記対象物との距離が最も短くなると予測される時刻までの時間が基準時間以下である場合、前記対象物の前記拡大画像の前記画像表示装置における表示を停止または保留させるように構成されてもよい。
撮像装置および車両周辺監視装置の車両への搭載態様に関する説明図。 車両周辺監視装置の構成説明図。 車両周辺監視装置の全体的な機能を示すフローチャート。 注意喚起処理および拡大画像生成方法に関する説明図。 対象物の拡大画像の表示形態に関する説明図。
本発明の車両周辺監視装置の実施形態について説明する。
まず、本実施形態の車両周辺監視装置の構成について説明する。
車両周辺監視装置は図１に示されているように車両１０に搭載されている画像処理ユニット１により構成されている。画像処理ユニット１には、図２に示されているように車両１０の前方を撮像する左右一対の赤外線カメラ（本発明の「撮像装置」に該当する。）２Ｒ，２Ｌが接続されるとともに、車両１０の走行状態を検出するセンサとして、車両１０のヨーレートを検出するヨーレートセンサ３、車両１０の走行速度（車速）を検出する車速センサ４および車両１０のブレーキ操作の有無を検出するブレーキセンサ５が接続されている。
さらに、画像処理ユニット１には、音声などによる聴覚的な通報情報を出力するためのスピーカ６および赤外線カメラ２Ｒ，２Ｌにより撮像された撮像画像や視覚的な通報情報を表示するためにフロントウィンドウ付近に配置されているＨＵＤ７（画像表示装置）が接続されている。ＨＵＤに代えてまたは加えて、車両１０の車速などの走行状態を表示する表示パネル、あるいは、車両１０に搭載されているナビゲーション装置の構成要素である画像表示が画像表示装置として採用されてもよい。
画像処理ユニット１は、Ａ／Ｄ変換回路、ＣＰＵ、ＲＡＭ、ＲＯＭ等のメモリ、Ｉ／Ｏ回路およびこれらを接続するバスなどにより構成されているＥＣＵ（電子制御ユニット）により構成されている。
画像処理ユニット１は、第１画像処理手段１１と、第２画像処理手段１２とを備え、各手段は、メモリと、このメモリに保存されているプログラムおよびデータのうち一方または両方を読み出し、読み出したプログラム等にしたがって演算処理を実行するＣＰＵにより構成されている。
赤外線カメラ２Ｒ，２Ｌ、ヨーレートセンサ３、車速センサ４およびブレーキセンサ５から出力されるアナログ信号が、Ａ／Ｄ変換回路によりデジタルデータ化され、ＣＰＵによりデジタル化されたデータに基づき、人間（歩行者または自転車もしくは二輪自動車の乗員など）、四足動物（犬、馬または鹿など）または人工構造物（壁または建造物など）等の対象物を検出し、検出した対象物が所定の通報要件を満たす場合にスピーカ６やＨＵＤ７を通じて対象物の存在、または、車両１０と対象物との接触可能性の高低を運転者に通報する。
図２に示されているように、赤外線カメラ２Ｒ，２Ｌは、車両１０の前方を撮像するために車両１０の前部（図ではフロントグリルの部分）に取り付けられている。右側の赤外線カメラ２Ｒは車両１０の車幅方向の中心よりも右寄りの位置に配置され、左側の赤外線カメラ２Lは車両１０の車幅方向の中心よりも左寄りの位置に配置されている。それらの位置は車両１０の車幅方向の中心に対して左右対称である。赤外線カメラ２Ｒ，２Ｌは光軸が互いに平行に車両１０の前後方向に延在し、且つ、それぞれの光軸の路面からの高さが互いに等しくなるように固定されている。赤外線カメラ２Ｒ，２Ｌは、遠赤外域に感度を有し、それにより撮像される物体の温度が高いほど、出力される映像信号のレベルが高くなる（映像信号の輝度が高くなる）特性を有している。
なお、対象物との距離がレーダーにより測定される場合、１台の赤外線カメラのみが車両１０に搭載されてもよい。
次に、前記構成の車両周辺監視装置の機能について説明する。なお、画像処理の詳細は特開２００１−００６０９６号公報および特開２００７−３１０７０５号公報等に開示されているので簡単に説明する。
第１画像処理手段１１により次の一連の処理が実行される。
まず「対象物抽出処理」が実行される（図３／ＳＴＥＰ００２）。具体的には、赤外線カメラ２Ｒ、２Ｌから画像処理ユニット１に入力された赤外画像信号がＡ／Ｄ変換され、Ａ／Ｄ変換された赤外画像信号に基づいてグレースケール画像が生成され、基準となるグレースケール画像（右画像）が２値化される。その上で、２値化画像において対象物が存在する領域が対象物領域として抽出される。
詳細には、２値化画像の高輝度領域を構成する画素群がランレングスデータに変換され、基準画像の縦方向に重なりを有するライン群のそれぞれにラベル（識別子）が付され、ライン群のそれぞれが対象物領域として抽出される。これにより、図４（ａ）に示されているようなひとまとまりの高輝度画素（画素値＝１の画素）により構成される高輝度領域が対象物領域Ｑとして抽出される。
続いて、各対象物の重心の位置（基準画像上での位置）、面積および外接四角形の縦横比が算定される。また、対象物の時刻間追跡が実行され、画像処理ユニット１の演算処理周期毎の対象物の同一性が判定される。さらに、車速センサ４およびヨーレートセンサ５の出力（車速の検出値及びヨーレートの検出値）が読み込まれる。また、外接四角形の縦横比算出および対象物の時刻間追跡と並行して、基準画像のうち、各対象物に対応する領域（たとえば対象物の外接四角形の領域）が探索画像として抽出される。
さらに、相関演算が実行されることにより左画像中から探索画像に対応する画像（対応画像）が探索かつ抽出される。また、車両１０から対象物までの実空間距離（車両１０の前後方向における距離）ｚが算定される。また、各対象物の実空間位置（車両１０に対する相対位置）が算定される（図３／ＳＴＥＰ００４）。さらに、対象物の実空間位置（Ｘ，Ｙ，Ｚ）（図２参照）のうちのＸ成分が回頭角の時系列データに応じて補正される。また、車両１０に対する対象物の相対移動ベクトルが算定される（図３／ＳＴＥＰ００６）。
続いて、第２画像処理手段１２により次の一連の処理が実行される。
まず、対象物が（１）人間（歩行者もしくは自転車乗員等）または四足動物（鹿、馬もしくは犬等）などの注意喚起対象、および、（２）人工構造物（壁、柱または自動販売機等）などの注意喚起対象外のうちいずれに該当するかが判定される（図３／ＳＴＥＰ００８）。たとえば、グレースケール画像上で対象物領域Ｑ（図４（ａ）参照）の形状もしくはサイズ、または、輝度分布等の特徴量に基づき、対象物の種類が判定される。
対象物が注意喚起対象に該当すると判定された場合（図３／ＳＴＥＰ００８‥ＹＥＳ）、車両と対象物との接触可能性の高低が判定される（図３／ＳＴＥＰ０１０）。
この判定手法についても特開２００１−００６０９６号公報および特開２００７−３１０７０５号公報に開示されているので簡単に説明する。まず、対象物の実空間距離ｚが相対速度Ｖｓと余裕時間Ｔとの乗算値以下であるか否かが判定される。また、実空間距離ｚが当該値以下であると判定された場合、対象物が接近判定領域に存在するか否かが判定される（第１の接触判定処理）。接近判定領域は車両１０の前方において車両１０の左右方向に対称に広がり、車両１０の幅にオフセット値を加えた幅を有している。第１の接触判定処理における判定結果が肯定的である場合、対象物が車両１０と接触する可能性が高いと判定される。一方、第１の接触判定処理における判定結果が否定的である場合、対象物が接近判定領域の外側にある進入判定領域に存在し、かつ、対象物の相対移動ベクトルが接近判定領域に向かっているか否かがさらに判定される（第２の接触判定処理）。第２の接触判定処理における判定結果が肯定的である場合、対象物が車両１０と接触する可能性が高いと判定される。
車両１０と対象物との接触可能性が高いと判定された場合（第１または第２の接触判定処理における判定結果が肯定的である場合）（図３／ＳＴＥＰ０１０‥ＹＥＳ）、「注意喚起処理」が実行される（図３／ＳＴＥＰ０１２）。これにより、図４（ａ）に示されているように対象物Ｑを囲む矩形状のフレームＦ１がＨＵＤ７に表示される。なお、フレームＦ１の表示に代えてまたは加えて、スピーカ６から「ピピピ」というように対象物に対する運転者の注意を喚起するための音声が出力されてもよい。
対象物が注意対象に該当しないと判定された場合（図３／ＳＴＥＰ００８‥ＮＯ）、または、車両１０と対象物との接触可能性が低いと判定された場合（図３／ＳＴＥＰ０１０‥ＮＯ）、注意喚起処理が実行されることなく対象物抽出処理以降の処理が繰り返される（図３／ＳＴＥＰ００２等参照）。
続いて、対象物が「第１条件」を満たしているか否かが判定される（図３／ＳＴＥＰ０１４）。対象物Ｑの実空間距離ｚが第１基準距離以上であること、赤外線カメラ２Ｒ，２Ｌによる撮像画像（グレースケール画像）または出力画像（ＨＵＤ７に表示される画像）における対象物のサイズが基準サイズ未満であること、および、車両１０の速度が基準速度以上であることのうち、少なくとも１つが「第１条件」として採用されている。
対象物が第１条件を満たしていると判定された場合（図３／ＳＴＥＰ０１４‥ＮＯ）、当該対象物が第２条件を満たしているか否かが判定される（図３／ＳＴＥＰ０１６）。第２条件の充足性判定は、第１画像処理手段１１により複数の対象物領域が抽出された場合にのみ実行されればよい。当該複数の対象物領域のそれぞれに相当する複数の対象物のうち実空間距離ｚが最短であることが「第２条件」として採用されている。
なお、実空間距離ｚが最短であることに代えてまたは加えて、複数の対象物のうち車両１０との接触可能性が最も高いことが第２条件として採用されてもよい。たとえば、複数の対象物のうち、相対移動ベクトル（図３／ＳＴＥＰ００６参照）から予測される車両１０との距離が最も早期に０または閾値以下になる一の対象物が、車両１０との接触可能性が最も高いと判定される。
対象物が第１条件に加えて第２条件も満たしていると判定された場合（図３／ＳＴＥＰ０１６‥ＹＥＳ）、当該対象物の拡大画像が生成される（図３／ＳＴＥＰ０１８）。これにより、図４（ｂ）に示されているようにフレームＦ１により囲まれている対象物Ｑを含む画像領域が縦および横のそれぞれに伸ばされような、矩形状のフレームＦ２により囲まれた対象物の拡大画像Ｑ’が生成される。拡大画像の縦横比は、元の画像領域の縦横比と同一であってもよいし異なっていてもよい。ＨＵＤ７における対象物の拡大画像のサイズ（高さもしくは幅またはこれらの積である面積）が一定サイズに調節されてもよい。
対象物Ｑと、その拡大画像Ｑ’が重ならないことを要件として、当該拡大画像Ｑ’は任意に配置されてＨＵＤ７に表示されてもよいが、本実施形態では次に説明するように出力画像における対象物Ｑの変位方向および位置に応じて拡大画像Ｑ’の配置が調節される。
続いて、出力画像における対象物の移動ベクトルに所定速度（０でもよい。）を超えている横方向成分が含まれているか否かが判定される（図３／ＳＴＥＰ０２０）。
当該判定結果が肯定的である場合（図３／ＳＴＥＰ０２０‥ＹＥＳ）、対象物Ｑから見て移動方向の反対側に当該対象物の拡大画像Ｑ’が配置されてＨＵＤ７に表示される（図３／ＳＴＥＰ０２２）。これにより、たとえば図５（ａ）に矢印で示されているように対象物Ｑが出力画像において時間経過とともに右に変位している場合、その拡大画像Ｑ’が対象物Ｑに重ならないように対象物Ｑの左側に配置されてＨＵＤ７に表示される。
その一方、当該判定結果が否定的である場合（すなわち、対象物が左右にほとんど変位していない場合）（図３／ＳＴＥＰ０２０‥ＮＯ）、出力画像における対象物Ｑの位置（重心位置）が、出力画像を構成する複数の画像領域のうちいずれに含まれているかが判定される（図３／ＳＴＥＰ０２４）。
たとえば、図５（ｂ）（ｃ）に示されている破線で左右に分割された左画像領域および右画像領域のうちいずれに対象物の位置が含まれているかが判定される。破線の位置は出力画像の中心にあってもよく、出力画像の中心からヨーレートに応じた分だけ左右にずらされてもよい。また、出力画像が左右方向に３つ以上に分割されたことにより構成される複数の画像領域のうちいずれに対象物Ｑの位置が含まれるかに応じて、当該対象物Ｑの拡大画像Ｑ’の配置が調節されてもよい。
対象物Ｑの位置が左画像領域にあると判定された場合（図３／ＳＴＥＰ０２４‥１）、対象物Ｑに重ならないように左画像領域に配置された当該対象物の拡大画像Ｑ’がＨＵＤ７に表示される（図３／ＳＴＥＰ０２６（図５（ｂ）参照）。対象物Ｑの位置が右画像領域にあると判定された場合（図３／ＳＴＥＰ０２４‥２）、対象物Ｑに重ならないように右画像領域に配置された当該対象物の拡大画像Ｑ’がＨＵＤ７に表示される（図３／ＳＴＥＰ０２８（図５（ｃ）参照）。
前記機能を発揮する画像処理ユニット１（車両周辺監視装置）によれば、対象物Ｑの拡大画像Ｑ’が出力画像に重ねて表示される（図４（ａ）（ｂ）参照）。特に、対象物Ｑが第１条件を満たしている場合、すなわち、対象物Ｑが車両１０から遠くに存在する等の理由により出力画像を通じて対象物Ｑの形状の視認が困難である蓋然性が高い状況において、当該対象物Ｑの拡大画像Ｑ’が当該出力画像に重ねて表示される（図３／ＳＴＥＰ０１４，図５（ａ）〜（ｃ）参照）。また、対象物Ｑの拡大画像Ｑ’は出力画像に含まれる当該対象物Ｑに重ならないように表示される。出力画像を通じて対象物Ｑの位置およびサイズを運転者に視認させることにより、実空間における対象物Ｑの大まかな位置を運転者に認識させることができる。さらに、出力画像を通じて対象物Ｑの形状が視認困難である場合でも、当該対象物の拡大画像Ｑ’を通じてその形状を運転者に確実に視認させることができる（図４（ａ）（ｂ）参照）。拡大画像Ｑ’が出力画像に重ねて表示されるので、ＨＵＤ７を通じて運転者に一度に多くの情報を認識させることができる。
さらに、複数の対象物が抽出された場合、当該複数の対象物のうち、第２条件を満たす対象物、すなわち、車両１０が接触を回避する必要性が高い対象物についてのみ、その拡大画像が表示される（図３／ＳＴＥＰ０１６，図５（ａ）〜（ｃ）参照）。このため、車両１０が接触を回避する必要性が高い対象物Ｑの形状を運転者に確実に視認させ、その結果を車両１０と当該対象物Ｑとの接触を回避するための車両１０の適当な運転方法（操舵優先または減速優先など）の判断に役立たせることができる。
また、対象物Ｑの拡大画像Ｑ’が一定サイズでＨＵＤ７に表示される（図５（ａ）〜（ｃ）参照）。このため、ＨＵＤ７における拡大画像の占有スペースが、対象物の形状を視認させるために必要最小限のサイズにとどめられ、その結果、ＨＵＤ７の画像表示が可能なスペースの有効利用が図られる。
さらに、出力画像を構成する左画像領域および右画像領域のうち、対象物Ｑが存在する一方の画像領域に対象物の拡大画像Ｑ’が配置されてＨＵＤ７に表示される（図３／ＳＴＥＰ０２４，０２６，０２８，図５（ｂ）（ｃ）参照）。これにより、出力画像における対象物Ｑの位置と、この対象物の拡大画像Ｑ’の位置とが近づけられる。このため、ＨＵＤ７に向けられた運転者の注意が出力画像における対象物Ｑおよびその拡大画像Ｑ’に分散されずに済み、その結果、実空間における対象物Ｑの大まかな位置および対象物Ｑの形状を運転者に容易に認識させることができる。
また、出力画像における対象物Ｑから見て、対象物Ｑの変位方向とは反対側に対象物の拡大画像Ｑ’が配置されてＨＵＤ７に表示される（図３／ＳＴＥＰ０２０，０２２，図５（ａ）参照）。これにより、出力画像における対象物Ｑの変位に追従して、当該対象物Ｑに重ならないように対象物の拡大画像Ｑ’を変位させることが回避されるので、拡大画像Ｑ’を通じて対象物Ｑの形状を運転者に容易に視認させることができる。
なお、第２画像処理手段１２は、対象物の実空間距離ｚ、車両１０の周辺の画像または出力画像における対象物のサイズ、および、車両１０の速度のうち少なくとも１つに応じて枠Ｆ１のサイズを変更して表示するように構成されてもよい（図４参照）。
当該構成の車両周辺監視装置によれば、対象物Ｑが車両１０から遠くに存在する等の状況であっても、出力画像において当該状況に応じたサイズの枠Ｆ１によって対象物Ｑが囲まれることによりその存在が強調される。したがって、出力画像を通じて対象物Ｑの位置およびサイズを運転者に確実に視認させ、これによって実空間における対象物Ｑの大まかな位置を運転者に認識させることができる。
第２画像処理手段１２は、対象物の実空間距離が第２基準距離（たとえば前記第１基準距離以下に設定される。）以下である場合、または、相対移動ベクトルに基づいて現在時刻から車両１０と対象物との距離が最も短くなると予測される時刻までの時間が基準時間以下である場合、対象物の拡大画像ＱのＨＵＤ７における表示を停止または保留させるように構成されていてもよい。
当該構成の車両周辺監視装置によれば、車両１０と対象物Ｑとの距離に鑑みて、運転者が対象物をウィンドシールド越しに視認する蓋然性または必要性が高い場面で、運転者の注意がＨＵＤ７に表示される対象物Ｑおよびその拡大画像Ｑ’に分散されることが回避されうる。
１‥画像処理ユニット（車両周辺監視装置）、２Ｒ，２Ｌ‥赤外線カメラ（撮像装置）、１０‥車両、１１‥第１画像処理手段、１２‥第２画像処理手段

Claims (8)

  1. 車両に搭載されている撮像装置により得られた前記車両の周辺の画像から対象物に相当する画像領域を対象物領域として抽出するように構成されている第１画像処理手段と、
    前記画像に応じた前記車両の周辺の様子を表わす出力画像を、前記車両に搭載されている画像表示装置に表示させるように構成されている第２画像処理手段とを備えている車両周辺監視装置であって、
    前記第２画像処理手段は、前記第１画像処理手段により前記対象物領域が抽出されたこと及び前記対象物が第１条件を満たしていることを要件として、前記出力画像に重なる一方、前記出力画像に含まれている前記対象物に重ならないように、前記対象物の拡大画像を前記画像表示装置に表示させるように構成され、
    前記第１条件は、前記車両から前記対象物までの距離が第１基準距離以上であること及び前記車両の周辺の画像または前記出力画像における前記対象物のサイズが基準サイズ未満であることのうち、少なくとも１つを含む条件であることを特徴とする車両周辺監視装置。
  2. 請求項１記載の車両周辺監視装置において、
    前記第２画像処理手段は、前記対象物の一定サイズの拡大画像を前記画像表示装置に表示させるように構成されていることを特徴とする車両周辺監視装置。
  3. 請求項２記載の車両周辺監視装置において、
    前記第２画像処理手段は、前記出力画像において前記対象物を囲む枠を前記画像表示装置に表示させるとともに、前記車両から前記対象物までの距離、前記車両の周辺の画像または前記出力画像における前記対象物のサイズ、および、前記車両の速度のうち少なくとも１つに応じて前記枠のサイズを変更して表示するように構成されていることを特徴とする車両周辺監視装置。
  4. 車両に搭載されている撮像装置により得られた前記車両の周辺の画像から対象物に相当する画像領域を対象物領域として抽出するように構成されている第１画像処理手段と、
    前記画像に応じた前記車両の周辺の様子を表わす出力画像を、前記車両に搭載されている画像表示装置に表示させるように構成されている第２画像処理手段とを備えている車両周辺監視装置であって、
    前記第２画像処理手段は、前記第１画像処理手段により前記対象物領域が抽出されたことを要件として、前記出力画像に重なる一方、前記出力画像に含まれている前記対象物に重ならないように、前記対象物の拡大画像を前記画像表示装置に表示させるように構成され、かつ、前記第１画像処理手段により複数の前記対象物領域が抽出された場合、前記対象物が、前記複数の対象物領域のそれぞれに相当する複数の対象物のうち、前記車両との接触可能性が最も高いことを含む第２条件を満たしていることを要件として前記対象物の拡大画像を前記画像表示装置に表示させるように構成されていることを特徴とする車両周辺監視装置。
  5. 請求項１〜４のうちいずれか１つに記載の車両周辺監視装置において、
    前記第２画像処理手段は、前記出力画像を構成する複数の画像領域のうち、前記対象物が存在する一の画像領域に前記対象物の拡大画像を配置させて前記画像表示装置に表示させるように構成されていることを特徴とする車両周辺監視装置。
  6. 請求項１〜５のうちいずれか１つに記載の車両周辺監視装置において、
    前記第２画像処理手段は、前記出力画像における前記対象物から見て、前記対象物の変位方向とは反対側に前記対象物の拡大画像を位置させて、前記画像表示装置に表示させるように構成されていることを特徴とする車両周辺監視装置。
  7. 請求項１〜６のうちいずれか１つに記載の車両周辺監視装置において、
    前記車両から前記対象物までの距離が第２基準距離以下である場合、または、現在時刻から前記車両と前記対象物との距離が最も短くなると予測される時刻までの時間が基準時間以下である場合、前記対象物の前記拡大画像の前記画像表示装置における表示を停止または保留させるように構成されていることを特徴とする車両周辺監視装置。
  8. 車両に搭載されている撮像装置により得られた前記車両の周辺の画像から対象物に相当する画像領域を対象物領域として抽出するように構成されている第１画像処理手段と、
    前記画像に応じた前記車両の周辺の様子を表わす出力画像を、前記車両に搭載されている画像表示装置に表示させるように構成されている第２画像処理手段とを備えている車両周辺監視装置であって、
    前記第２画像処理手段は、前記第１画像処理手段により前記対象物領域が抽出されたことを要件として、前記出力画像に重なる一方、前記出力画像に含まれている前記対象物に重ならないように、前記対象物の拡大画像を前記画像表示装置に表示させるように構成され、
    前記車両から前記対象物までの距離が第２基準距離以下である場合、または、現在時刻から前記車両と前記対象物との距離が最も短くなると予測される時刻までの時間が基準時間以下である場合、前記対象物の前記拡大画像の前記画像表示装置における表示を停止または保留させるように構成されていることを特徴とする車両周辺監視装置。
JP2009105567A 2009-04-23 2009-04-23 車両周辺監視装置 Expired - Fee Related JP5198346B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2009105567A JP5198346B2 (ja) 2009-04-23 2009-04-23 車両周辺監視装置
US13/265,167 US9067537B2 (en) 2009-04-23 2010-01-28 Vehicle periphery monitoring device
CN201080017912.XA CN102415096B (zh) 2009-04-23 2010-01-28 车辆周围监测装置
EP20100766888 EP2416571A4 (en) 2009-04-23 2010-01-28 DEVICE FOR MONITORING THE ABORTS OF A VEHICLE
PCT/JP2010/051111 WO2010122828A1 (ja) 2009-04-23 2010-01-28 車両周辺監視装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009105567A JP5198346B2 (ja) 2009-04-23 2009-04-23 車両周辺監視装置

Publications (2)

Publication Number Publication Date
JP2010258705A JP2010258705A (ja) 2010-11-11
JP5198346B2 true JP5198346B2 (ja) 2013-05-15

Family

ID=43010952

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009105567A Expired - Fee Related JP5198346B2 (ja) 2009-04-23 2009-04-23 車両周辺監視装置

Country Status (5)

Country Link
US (1) US9067537B2 (ja)
EP (1) EP2416571A4 (ja)
JP (1) JP5198346B2 (ja)
CN (1) CN102415096B (ja)
WO (1) WO2010122828A1 (ja)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5617678B2 (ja) * 2011-02-17 2014-11-05 株式会社デンソー 車両用表示装置
JP5533766B2 (ja) * 2011-04-05 2014-06-25 株式会社デンソー 車両用表示装置
WO2013047088A1 (ja) * 2011-09-28 2013-04-04 本田技研工業株式会社 生体認識装置
EP2827318A4 (en) * 2012-03-12 2016-01-13 Honda Motor Co Ltd DEVICE FOR MONITORING VEHICLE PERIPHERY
KR101916467B1 (ko) * 2012-10-30 2018-11-07 현대자동차주식회사 Ａｖｍ 시스템의 장애물 검출 장치 및 방법
US9122933B2 (en) * 2013-03-13 2015-09-01 Mighty Carma, Inc. After market driving assistance system
US9807196B2 (en) 2013-09-17 2017-10-31 Toyota Motor Sales, U.S.A. Automated social network interaction system for a vehicle
US9387824B2 (en) * 2013-09-17 2016-07-12 Toyota Motor Engineering & Manufacturing North America, Inc. Interactive vehicle window display system with user identification and image recording
US9760698B2 (en) 2013-09-17 2017-09-12 Toyota Motor Sales, U.S.A., Inc. Integrated wearable article for interactive vehicle control system
US9902266B2 (en) 2013-09-17 2018-02-27 Toyota Motor Engineering & Manufacturing North America, Inc. Interactive vehicle window display system with personal convenience reminders
US9400564B2 (en) 2013-09-17 2016-07-26 Toyota Motor Engineering & Manufacturing North America, Inc. Interactive vehicle window display system with a safe driving reminder system
US9340155B2 (en) 2013-09-17 2016-05-17 Toyota Motor Sales, U.S.A., Inc. Interactive vehicle window display system with user identification
CN104573158A (zh) * 2013-10-24 2015-04-29 中兴通讯股份有限公司 一种拓扑图中图形的放大方法与装置
CN104057906A (zh) * 2013-11-19 2014-09-24 苏州天鸣信息科技有限公司 一种行车警示装置
CN104192065A (zh) * 2014-08-20 2014-12-10 刘健萍 一种可辨监控对象的汽车四周监控装置
WO2016092650A1 (ja) * 2014-12-10 2016-06-16 三菱電機株式会社 画像処理装置及び車載表示システム及び表示装置及び画像処理方法及び画像処理プログラム
JP6420657B2 (ja) * 2014-12-17 2018-11-07 日立建機株式会社 作業機械およびその周囲監視装置
JP6402684B2 (ja) * 2015-06-10 2018-10-10 トヨタ自動車株式会社 表示装置
CN107176161B (zh) * 2016-03-10 2021-11-23 松下电器（美国）知识产权公司 识别结果提示装置、识别结果提示方法以及自主移动体
CN106772397B (zh) * 2016-12-14 2019-12-10 深圳市歌美迪电子技术发展有限公司 车辆数据处理方法和车辆雷达系统
JP6433537B2 (ja) * 2016-12-22 2018-12-05 カルソニックカンセイ株式会社 画像表示制御装置
JP6694112B2 (ja) * 2017-03-17 2020-05-13 マクセル株式会社 Ａｒ表示装置及びａｒ表示方法
DE102017206312A1 (de) * 2017-04-12 2018-10-18 Ford Global Technologies, Llc Unterstützung einer Handhabung eines innerhalb eines Fahrgastinnenraums befindlichen Gegenstands sowie Kraftfahrzeug
US10083547B1 (en) * 2017-05-23 2018-09-25 Toyota Jidosha Kabushiki Kaisha Traffic situation awareness for an autonomous vehicle
CN108357496A (zh) * 2018-02-12 2018-08-03 北京小马智行科技有限公司 自动驾驶控制方法及装置
JP6927167B2 (ja) * 2018-07-19 2021-08-25 株式会社デンソー 電子制御装置及び電子制御方法
US11481996B2 (en) * 2018-09-20 2022-10-25 Nec Corporation Calculation device, information processing method, and storage medium
CN111225269B (zh) * 2020-01-17 2022-11-11 北京达佳互联信息技术有限公司 视频播放方法、装置、播放终端及存储介质

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3540005B2 (ja) * 1994-04-22 2004-07-07 株式会社デンソー 障害物検出装置
US6693524B1 (en) * 1998-06-02 2004-02-17 George R. Payne Vehicle backup monitoring and alarm system
JP3515926B2 (ja) 1999-06-23 2004-04-05 本田技研工業株式会社 車両の周辺監視装置
US6411204B1 (en) * 1999-11-15 2002-06-25 Donnelly Corporation Deceleration based anti-collision safety light control for vehicle
JP2004013466A (ja) * 2002-06-06 2004-01-15 Nissan Motor Co Ltd 車両周囲監視装置
JP2004212658A (ja) * 2002-12-27 2004-07-29 Sumitomo Electric Ind Ltd 画像表示システム、画像表示方法及び画像処理装置
JP4228212B2 (ja) * 2003-10-17 2009-02-25 三菱自動車工業株式会社 ノーズビューモニタ装置
JP3982504B2 (ja) 2004-01-23 2007-09-26 日産自動車株式会社 車両用暗視カメラ装置および表示装置
JP3934119B2 (ja) * 2004-06-14 2007-06-20 本田技研工業株式会社 車両周辺監視装置
JP4401890B2 (ja) * 2004-07-29 2010-01-20 本田技研工業株式会社 車両の認知支援装置
FR2884338B1 (fr) 2005-04-11 2007-10-19 Valeo Vision Sa Procede, dispositif et camera pour la detection d'objets a partir d'images numeriques
JP4744995B2 (ja) * 2005-09-08 2011-08-10 クラリオン株式会社 車両用障害物検出装置
JP4353162B2 (ja) 2005-09-26 2009-10-28 トヨタ自動車株式会社 車輌周囲情報表示装置
JP4389173B2 (ja) * 2005-12-08 2009-12-24 株式会社デンソー 車両用表示装置
JP4173901B2 (ja) 2006-05-19 2008-10-29 本田技研工業株式会社 車両周辺監視装置
EP1912157A1 (en) 2006-10-09 2008-04-16 MAGNETI MARELLI SISTEMI ELETTRONICI S.p.A. Digital image processing system for automatically representing surrounding scenes to the driver of a vehicle for driving assistance, and corresponding operating method
JP4991384B2 (ja) * 2007-05-08 2012-08-01 株式会社日立製作所 接近物検知装置及び接近物検知プログラム
WO2010099416A1 (en) * 2009-02-27 2010-09-02 Magna Electronics Alert system for vehicle

Also Published As

Publication number Publication date
US9067537B2 (en) 2015-06-30
JP2010258705A (ja) 2010-11-11
US20120044352A1 (en) 2012-02-23
CN102415096A (zh) 2012-04-11
WO2010122828A1 (ja) 2010-10-28
CN102415096B (zh) 2015-05-27
EP2416571A1 (en) 2012-02-08
EP2416571A4 (en) 2014-05-14

Similar Documents

Publication Publication Date Title
JP5198346B2 (ja) 車両周辺監視装置
WO2010050090A1 (ja) 車両周辺監視装置
JP4173901B2 (ja) 車両周辺監視装置
JP5577398B2 (ja) 車両の周辺監視装置
JP5639283B2 (ja) 車両周辺監視装置
JP4173902B2 (ja) 車両周辺監視装置
JP5480925B2 (ja) 車両周辺監視装置
JP4521642B2 (ja) 車両周辺監視装置、車両、車両周辺監視プログラム
JP4528283B2 (ja) 車両周辺監視装置
WO2009150771A1 (ja) 車両周辺監視装置
JP4644273B2 (ja) 車両周辺監視装置
JP5172482B2 (ja) 車両周辺監視装置
JP5004919B2 (ja) 車両周辺監視装置
JP2011191859A (ja) 車両の周辺監視装置
JP4615061B2 (ja) 車両周辺監視装置
JP5004903B2 (ja) 車両周辺監視装置
JP5026398B2 (ja) 車両周辺監視装置
JP4972073B2 (ja) 環境認識装置
JP4590654B2 (ja) 車両周辺監視装置、車両、車両周辺監視プログラム
JP4815506B2 (ja) 車両周辺監視装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120724

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120921

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121227

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130129

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130206

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160215

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees