JP5696872B2 - 車両周辺監視装置 - Google Patents

車両周辺監視装置 Download PDF

Info

Publication number
JP5696872B2
JP5696872B2 JP2010072326A JP2010072326A JP5696872B2 JP 5696872 B2 JP5696872 B2 JP 5696872B2 JP 2010072326 A JP2010072326 A JP 2010072326A JP 2010072326 A JP2010072326 A JP 2010072326A JP 5696872 B2 JP5696872 B2 JP 5696872B2
Authority
JP
Japan
Prior art keywords
image
area
displayed
divided
display area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010072326A
Other languages
English (en)
Other versions
JP2011205514A (ja
Inventor
英彦 三好
英彦 三好
昇 長嶺
昇 長嶺
三浦　健次
健次 三浦
欣司 山本
欣司 山本
謙二郎 後藤
謙二郎 後藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Aisin Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2010072326A priority Critical patent/JP5696872B2/ja
Application filed by Aisin Seiki Co Ltd, Aisin Corp filed Critical Aisin Seiki Co Ltd
Priority to CN201610230747.5A priority patent/CN105774656B/zh
Priority to KR1020127024305A priority patent/KR101446898B1/ko
Priority to EP11759069.5A priority patent/EP2555520A4/en
Priority to PCT/JP2011/052136 priority patent/WO2011118261A1/ja
Priority to CN201180014466.1A priority patent/CN102804763B/zh
Priority to US13/636,041 priority patent/US9308863B2/en
Publication of JP2011205514A publication Critical patent/JP2011205514A/ja
Application granted granted Critical
Publication of JP5696872B2 publication Critical patent/JP5696872B2/ja
Priority to US15/057,208 priority patent/US9919650B2/en
Priority to US15/891,550 priority patent/US10479275B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/002—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation

Description

本発明は、車両周辺監視装置に関し、詳しくは、カメラの撮影画像をモニタに表示し、このモニタに表示されている撮影画像を拡大表示する技術に関する。
上記のように構成された車両周辺監視装置として特許文献１には、複数のカメラの撮影画像から車両周辺の俯瞰画像を生成してモニタ（文献中はディスプレイ）に表示すると共に、この俯瞰画像を車両の周辺領域を複数の領域に分割し、この複数の領域の何れかをタッチパネルによりユーザが選択した場合には、選択した領域の俯瞰画像をモニタに拡大表示する処理形態が記載されている。
この特許文献１では、モニタにおいて俯瞰画像が表示される領域と拡大画像が表示される領域を別個に設定しており、拡大画像としては俯瞰画像を拡大するモードと、選択された領域を撮影するカメラの撮影画像（カメラ視点の画像）を拡大するモードとの選択を行える点も記載されている。
特開２００９‐２３９６７４号公報
俯瞰画像の一部を拡大してモニタに表示する際には、拡大された画像が単純にモニタに表示される場合には、何れの部位を拡大画像であるのか判別し難いものである。また、特許文献１に記載されるように比較的狭い領域を指定し、その領域が拡大されるものでは、誤った操作により、運転者が望まない領域の画像を拡大してしまうこともある。このような誤った操作が行われた場合には、適正な操作を改めて行う必要があるだけではなく、誤操作に気付くまで時間を要することもあり改善の余地がある。
本発明の目的は、モニタに表示された俯瞰画像の一部を拡大表示する場合に、何れの領域の拡大であるかを正確に認識し得る装置を合理的に構成する点にある。
本発明の特徴は、車両周辺の路面を含む領域を撮影する複数のカメラと、この複数のカメラの撮影画像をモニタに表示する画像処理部とを備えると共に、
前記画像処理部は、前記モニタに対して複数の前記カメラの何れかで撮影された撮影画像が表示される主表示領域と、俯瞰画像が表示される俯瞰画像表示領域とを形成すると共に、人為操作により前記主表示領域及び前記俯瞰画像表示領域の少なくとも何れか一方を拡大表示領域とする設定が可能に構成され、
前記画像処理部は、複数の前記カメラの撮影画像から車体周辺を上方から見下ろした俯瞰画像を生成して前記俯瞰画像表示領域に表示する俯瞰画像生成手段と、前記俯瞰画像表示領域の分割により設定された複数の分割領域の何れかが指定された場合に、指定された分割領域の画像を拡大対象画像とし、この拡大対象画像を前記拡大表示領域のサイズまで拡大して前記拡大表示領域に表示する拡大表示手段とを備えており、
前記拡大表示手段は、前記指定された分割領域のサイズと前記拡大表示領域のサイズとの中間のサイズとなる複数の中間画像を生成し、サイズの小さい中間画像から順次表示する処理を実行し、この処理の実行の初期には、前記指定された分割領域が次に表示される中間画像の表示領域に含まれるように表示位置関係が設定されている点にある。
この構成によると、分割領域が指定された場合には、その分割領域の画像が拡大表示領域に表示される。また、拡大表示領域は主表示領域及び俯瞰画像表示領域のうち人為操作により設定された少なくとも何れか一方である。つまり、主表示領域あるいは俯瞰画像表示領域が拡大表示領域に設定されることや、主表示領域と俯瞰画像表示領域の双方が一つの拡大表示領域となる。この拡大が行われる際には、分割領域のサイズと拡大表示領域のサイズとの中間のサイズとなる複数の中間画像を生成し、この複数の中間画像から小さい中間画像から順次表示する処理が実行される。この処理の初期には指定された分割領域が次に表示される中間画像の表示領域に含まれるように表示位置関係が設定される。このような表示形態から指定された分割画像を起点として中間画像が連続してズームアップされる形態で最終的な拡大画像が拡大表示領域に表示される。
特に、分割領域の指定としては、人為的な指定だけではなく、例えば、障害物が検出された際に自動制御による指定を含むものである。
その結果、モニタに表示された俯瞰画像の一部を拡大表示する場合に、何れの領域の拡大であるかを正確に認識し得る装置が構成された。
本発明は、複数の前記分割領域に表示される俯瞰画像の少なくとも１つが、２つの前記カメラの撮影画像から生成された俯瞰画像の合成により生成されたものであり、この分割領域が指定された際には、この分割領域に表示されている俯瞰画像を拡大対象画像に設定しても良い。
これによると、２つのカメラの撮影画像から生成された俯瞰画像を合成した俯瞰画像が分割領域に表示されている状態で、この俯瞰画像が拡大対象画像に設定された場合には合成された俯瞰画像が拡大されることになる。
本発明は、前記モニタが、表示面にタッチパネルを備えており、複数の前記分割領域のいずれかに接触があったことをタッチパネルで検知した際に、前記拡大表示手段は接触を検知した分割領域の俯瞰画像を前記拡大対象画像に指定しても良い。
これによると、タッチパネルを介して分割領域の何れかが指定された場合には、その指定された分割領域に表示されている俯瞰画像を拡大対象画像にした拡大処理が実現する。このように拡大された画像は俯瞰画像であるので、車両を上方から見下ろす視点から車両周辺の状況を把握できる。
本発明は、前記モニタが、表示面にタッチパネルを備えており、複数の前記分割領域のいずれかに接触があったことをタッチパネルで検知した際に、前記拡大表示手段は接触を検知した分割領域に既に表示されている俯瞰画像に代えて、この分割領域に表示されていた領域を撮影するカメラからの撮影画像を、この分割領域に表示し、このように表示された撮影画像を前記拡大対象画像に指定しても良い。
これによると、タッチパネルを介して分割領域の何れかが指定された場合には、その指定された分割領域既に表示されている俯瞰画像に代えて、この分割領域に表示されていた領域を撮影するカメラからの撮影画像を拡大対象画像にした拡大処理が実現する。このように拡大された画像はカメラの撮影画像であるので、カメラを視点にした車両周辺の状況を把握できる。
本発明は、前記拡大表示手段は、前記中間画像の外周部に境界を明らかにする境界ラインを表示しても良い。
これによると、中間画像が順次表示される際にも、中間画像と既に表示されている画像との境界が明瞭となり、何れの分割領域を元にして拡大表示が行われたのか容易に判断できる。
車両の構成の概要を示す平面図である。 車両の構成の示す一部切り欠き斜視図である。 制御系のブロック回路図である。 車両周辺監視処理のフローチャートである。 分割領域の俯瞰画像を副表示領域に拡大する処理を連続的に示す図である。 分割領域の俯瞰画像を副表示領域に拡大する処理を連続的に示す図である。 分割領域の俯瞰画像を主表示領域に拡大する処理を連続的に示す図である。 分割領域の俯瞰画像をモニタの全画面に拡大する処理を連続的に示す図である。
以下、本発明の実施の形態を図面に基づいて説明する。
本実施の形態では、車両１に備えられた複数のカメラの撮影画像から車両１の周辺を上方から見下ろした形態となる俯瞰画像を生成してモニタ２１に表示する車両周辺監視装置を備えている。特に、この車両周辺監視装置は、車両の近傍位置の障害物Ｘを検出した際には、モニタ２１に表示されている俯瞰画像を複数に分割して分割領域Ｄ１〜Ｄ４を設定しており、障害物Ｘを含む分割領域Ｄ１〜Ｄ４を特定するための強調表示を行うと共に、障害物Ｘが存在する領域の画像をモニタ２１に拡大表示する制御（以下、拡大処理と称する）を実行するものであり、この制御形態と制御構成とを以下に説明する。
〔基本構成〕
図１及び図２に示すように、乗用車としての車両１には左右の前車輪２と、左右の後車輪３とを備えている。車両１の前部位置にはヒンジにより開閉自在な左前部ドア４と右前部ドア５とを備え、車両１の後部位置にスライド式に開閉自在な左後部ドア６と右後部ドア７とを備え、車両１の後端にはハッチバック式のバックドア８を備えている。
車両１のルーム内には運転座席１３と、助手座席１４と、複数の後部座席１５とが備えられている。運転座席１３の前方位置にはステアリングホイール１６が備えられ、その前部にメータ類を有したパネルが配置されている。運転座席１３の足元にはアクセルペダル１７と、前車輪２及び後車輪３のブレーキ装置ＢＫを操作して前車輪２及び後車輪３に制動力を作用させるブレーキペダル１８とが配置され、運転座席１３の側部には変速を実現するシフトレバー１９が配置されている。
運転座席１３の近傍で、コンソールの上部位置には、表示面にタッチパネル２１Ｔが形成されたモニタ２１が備えられている。モニタ２１は、バックライトを備えた液晶式のものである。もちろん、プラズマ表示型のものやＣＲＴ型のものであっても良い。また、タッチパネル２１Ｔは、指などによる接触位置をロケーションデータとして出力する感圧式や静電式の指示入力装置として構成される。モニタ２１のハウジング２１Ｈにはスピーカ２２も備えられているが、スピーカ２２はドアの内側など、他の場所に備えられても良い。尚、モニタ２１はナビゲーションシステムの表示装置として用いるものを兼用しているが、車両周辺監視表示のために専用のものを備えても良い。
左前部ドア４には左サイドミラー２３を備え、右前部ドア５には右サイドミラー２４を備えている。左サイドミラー２３に左サイドカメラ２５が備えられ、右サイドミラー２４に右サイドカメラ２６が備えられている。車両１の前端に前部カメラ２７が備えられ、車両１の後端には後部カメラ２８が備えられている。
特に、左サイドカメラ２５と右サイドカメラ２６とは撮影方向が下方にセットされ、車両１の一部と路面とが撮影領域に含まれる。前部カメラ２７と後部カメラ２８とは、撮影方向が斜め下方にセットされ、車両１の一部と路面とが撮影領域に含まれる。
これら撮影装置してのカメラはＣＣＤ（charge coupled device）やＣＩＳ（CMOS image sensor）などの撮像素子を内蔵するデジタルカメラであり、撮影した情報を動画情報としてリアルタイムに出力する。これらのカメラには、広角レンズを備えることで広い視野角が確保されている。
モニタ２１は、ナビゲーションモードの制御においてナビゲーション情報の表示に用いられるものであるが、シフトレバー１９をリバース（後進）位置に操作した際には、後部カメラ２８の撮影画像が表示される。特に、後部カメラ２８の撮影画像は左右を鏡面反転させることにより左右が入れ換った画像にしており、ルームミラーで後方を確認した際の像と同じ感覚でモニタ２１の表示内容を視認できるようにしている。
車両前部には、ステアリングホイール１６の回転操作力を前車輪２に伝えて駆動操向（操舵）を行うパワーステアリングユニットＰＳを備えている。また、車両前部にはエンジンＥと、このエンジンＥからの動力を変速して前車輪２に伝えるトルクコンバータやＣＶＴ等で成る変速機構Ｔとを備えている。変速機構Ｔはシフトレバー１９の操作によって前後進の切り換えと、走行速度の変速とが行われる。
車両１には運転操作や、車両１の移動状態を検出するための各種センサが備えられている。具体的に説明すると、ステアリングホイール１６の操作系にはステアリング操作方向（操舵方向）と操作量（操舵量）とを計測するステアリングセンサＳ１６が備えられている。シフトレバー１９の操作系にはシフト位置を判別するシフト位置センサＳ１９が備えられている。アクセルペダル１７の操作系には操作量を計測するアクセルセンサＳ１７が備えられ、前記ブレーキペダル１８の操作系には操作の有無を検出するブレーキセンサＳ１８が備えられている。
後車輪３の近傍には後車輪３の回転量から車両１の移動量を計測するようにフォトインタラプタ型やピックアップ型の移動距離センサＳ３が備えられている。尚、移動距離センサＳ３として、変速機構Ｔの内部の伝動系の回転量から移動量を取得するものを用いても良い。また、移動距離センサＳ３は、前車輪２の回転量を計測するものでも良い。更に、前部カメラ２７あるいは後部カメラ２８の撮影画像の画像処理から車両１の移動量とステアリング量とを検出するように構成しても良い。
〔制御構成〕
車両１の中央部には、本発明の車両周辺監視装置としてのＥＣＵ３０を配置している。このＥＣＵ３０は、図３に示すように、センサ入力インターフェース３１と、通信インターフェース３２とで成るインターフェースを備えると共に、画像出力モジュール３３と音声出力モジュール３４とを備えている。
このＥＣＵ３０では、インターフェースを介して得られる情報を処理するマイクロプロセッサや、ＤＳＰ（digital signal processor）等の処理系を備え、処理結果は画像出力モジュール３３からモニタ２１に出力され、また、音声情報は音声出力モジュール３４からスピーカ２２に出力される。
このＥＣＵ３０には、ナビゲーションモードの制御を実現するナビゲーション制御部３５と、ナビゲーション制御部３５に地図情報を与える地図データ保存部３６と、駐車支援モードの制御を実現する駐車支援制御部３７と、車両近傍の障害物Ｘを検知する障害物検出部３８（障害物検出手段の一例）と、車両周辺監視処理を実現する画像処理部３９とを備えている。
ナビゲーション制御部３５は、走行時にＧＰＳユニット４１から経度情報と緯度情報とで示される自車位置を取得し、この自車位置に対応した地図データを取得してモニタ２１に表示する。そして、目的地へ誘導するナビゲーション情報をモニタ２１に表示すると共に、誘導情報をスピーカ２２から音声で出力する。地図データ保存部３６は、自車位置に対応した地図データをナビゲーション制御部３５に与える処理を行う。
駐車支援制御部３７は、画像処理部３９によってモニタ２１に表示される画像に対して車両１を駐車位置に導く予想進路イメージＹ（図６（ａ）を参照）を重畳表示する。運転者はモニタ２１に表示される予想進路イメージＹに基づいてステアリング操作を行うことにより、車両１を駐車目標位置に容易に導入できることになる。
画像処理部３９は、車両周辺監視処理においてモニタ２１に対して図５（ａ）に示すレイアウトで主表示領域２１Ａと副表示領域２１Ｂ（俯瞰画像表示領域の一例）とを配置し、主表示領域２１Ａに上部位置にはこの領域の画像を撮影したカメラを示すカメラアイコン２１Ｃを表示する。
また、画像処理部３９は、前述した複数のカメラの撮影画像から車両１を上方から見下ろした形態となる俯瞰画像を生成する俯瞰画像生成手段３９Ａと、モニタ２１に表示された俯瞰画像を複数の分割領域Ｄ１〜Ｄ４に分割して管理する分割領域管理手段３９Ｂと、複数の分割領域Ｄ１〜Ｄ４のうち障害物Ｘが表示されている領域であることを特定する情報として、複数の枠状部Ｆ１〜Ｆ４のうち、障害物Ｘが存在する分割領域Ｄに対応する枠状部Ｆを強調表示する特定情報出力手段３９Ｃと、拡大対象画像と拡大表示領域とを設定する拡大モード設定手段３９Ｄと、拡大対象画像を拡大表示領域に拡大する拡大表示手段３９Ｅとを備えている。図５（ａ）に示す如く、分割領域Ｄ１と分割領域Ｄ２とは車両前部の左側と右側とに対応し、分割領域Ｄ３と分割領域Ｄ４とは車両後部の左側と右側とに対応する。これと同様に枠状部Ｆ１〜Ｆ４も同図に示す如く、分割領域Ｄ１〜Ｄ４に対応している。尚、分割領域Ｄ１〜Ｄ４の上位概念として、分割領域Ｄと記し、枠状部Ｆ１〜Ｆ４の上位概念として枠状部Ｆと記す。
ＥＣＵ３０は、電子回路により構成され、インターフェースや出力系の一部又は、全てがこのような電子回路に含まれていても良い。尚、ＥＣＵ３０には、処理系を構成する電子回路、あるいは、別部品としてメモリやレジスタなどによって構成される記憶部を有し、データバス、アドレスバス、コントロールバス等により情報の入出力が行われる。
センサ入力インターフェース３１には、ステアリングセンサＳ１６と、シフト位置センサＳ１９と、アクセルセンサＳ１７と、ブレーキセンサＳ１８と、移動距離センサＳ３とから運転操作情報や移動状態を検出する情報が入力する。
通信インターフェース３２は、通信回線を介してパワーステアリングユニットＰＳと、変速機構Ｔと、ブレーキ装置ＢＫと、ＧＰＳユニット４１と間で通信を行う。更に、この通信インターフェース３２は、タッチパネル２１Ｔと、左サイドカメラ２５と、右サイドカメラ２６と、前部カメラ２７と、後部カメラ２８とからの情報を取得する。
画像出力モジュール３３は、モニタ２１に対して画像を出力し、音声出力モジュール３４は、スピーカ２２に対して音声を出力する。
〔制御形態〕
車両周辺監視表示処理の処理形態を図４のフローチャートに示しており、この処理の実行時にモニタ２１の表示内容を図５〜図８に示している。
つまり、車両周辺監視処理が選択されている状態でシフトレバー１９が前進位置にセットされた場合には図５（ａ）に示すように主表示領域２１Ａに前部カメラ２７の撮影画像が表示される。この主表示領域２１Ａの上部位置には前部カメラ２７の撮影画像であることを示すカメラアイコン２１Ｃが表示され、副表示領域２１Ｂに俯瞰画像が表示される。これとは逆に、シフトレバー１９が後進位置にセットされた場合には図６（ａ）に示すように主表示領域２１Ａに後部カメラ２８の撮影画像が表示される。この主表示領域２１Ａの上部位置には後部カメラ２８の撮影画像であることを示すカメラアイコン２１Ｃが表示され、副表示領域２１Ｂに俯瞰画像が表示される（＃１０１、＃１０２ステップ）。
具体的な処理形態として、シフトレバー１９が前進位置にセットされた場合には主表示領域２１Ａに対しては前部カメラ２７の撮影画像が表示される。これに対して、シフトレバー１９が後進位置にセットされた場合には後部カメラ２８の撮影画像が取得され、この撮影画像の左右を入れ替えた鏡面反転画像が生成され、この画像がモニタ２１に表示される。
副表示領域２１Ｂに表示される俯瞰画像は、俯瞰画像生成手段３９Ａが左サイドカメラ２５と、右サイドカメラ２６と、前部カメラ２７と、後部カメラ２８との撮影画像を取得し、上方から見下ろした形態となる投影画像に変換し、これらの投影画像を車両イメージを取り囲む位置の仮想平面にマッピングすることで路面上に配置される単一の俯瞰画像として生成される。
このように表示された俯瞰画像は、破線で示す区画ラインＬで区画するように４つの分割領域Ｄ１〜Ｄ４に分割して管理される。尚、同図に示す区画ラインＬは画面に表示されることはないが、この区画ラインＬを画面に表示するように処理形態を設定しても良い。
特に、副表示領域２１Ｂに表示される俯瞰画像は４つのカメラの撮影画像から生成されるものであるが、区画ラインＬで区画された４つの分割領域Ｄ１〜Ｄ４それぞれの俯瞰画像は２つのカメラの撮影画像の合成によって生成される。つまり、車両１の前後位置の角部の外方位置に２つのカメラの撮影画像における重複領域Ｗ（図１を参照）が形成され、この重複領域において境界部位を目立たなくする合成が行われる。そして、このように合成された俯瞰画像が拡大対象画像に設定された場合には拡大表示領域のサイズに拡大されることになる。
また、シフトレバー１９が後進位置にセットされた場合に、駐車支援制御を併せて実行することも可能であり、このように駐車支援制御が実行される場合には、図６（ａ）に示すように、主表示領域２１Ａと副表示領域２１Ｂとに予想進路イメージＹが重畳表示される。
予想進路イメージＹは、現在のステアリング量で車両１を後進させた場合に車両１が移動する経路を表すものであり、モニタ２１に表示される撮影画像に対応する遠近感で、路面と同じ仮想平面上に生成される。この進路予想イメージは車両１の幅と同じ幅となる一対の車幅ラインＹａと、車両１が設定量だけ後進した際に達する位置を示す複数の距離ラインＹｂとで枠状に形成される。
前述した障害物検出部３８は、左サイドカメラ２５と、右サイドカメラ２６と、前部カメラ２７と、後部カメラ２８とにおける撮影領域で重複する重複領域Ｗの画像から視差を生ずる立体物を障害物Ｘとして抽出するソフトウエアとして構成されている。このように立体物を抽出する処理の概要は以下のように説明できる。つまり、２つのカメラの撮影画像における重複領域Ｗの画像を同一の背景となる仮想平面に投影変換し、投影変換後の夫々の画像の同じ背景が一致する位置関係で夫々を重ね合わせる。このように重ね合わせた際に一致しない画像が立体物であり、その立体物を障害物Ｘとして推定し、障害物Ｘの位置を特定することになる。
このように２つのカメラの撮影領域の重複領域Ｗは運転者から死角になる領域でもあり、この領域に存在する障害物Ｘだけを検出対象とすることは合理的である。尚、この障害物Ｘの検出領域を拡大するために４つ以上のカメラを車両に備えても良い。更に、この障害物検出部３８を、オプティカルフローの技術により障害物Ｘを検出するソフトウエアで構成しても良い。
特に、障害物検出部３８として、超音波型等の障害物センサを車両１の前端や後端等の複数箇所に備えても良い。このように障害物Ｘを検出するために障害物センサによって障害物検出部３８を構成することで、車両１の全周の障害物Ｘの検出も可能となる。
障害物検出部３８で障害物Ｘが検出された場合には、具体的には分割領域Ｄ１〜Ｄ４のうち、図５に示すように分割領域Ｄ２に障害物Ｘが存在する場合には、分割領域Ｄ２（検出された障害物Ｘを含む分割領域Ｄ）が指定され、この分割領域Ｄ２の外周の枠状部Ｆ２が強調表示され（図面ではハッチングで示している）、これと同時に、障害物Ｘが存在する分割領域Ｄ２の色調を変更し、スピーカ２２から警報音を出力する（＃１０３、＃１０４ステップ）。なお、Ｄ２の色調は変更しなくても良い。この場合において、中間画像のみ色調を変更しても良い。
この処理は、分割領域管理手段３９Ｂで管理される分割領域Ｄ１〜Ｄ４のうち障害物Ｘが存在する分割領域Ｄ２について、特定情報出力手段３９Ｃが枠状部Ｆ２の輝度を高めることや、彩度を高めること、あるいは、異なる色相に変更することで強調表示を実現している。このような強調表示と併せて枠状部Ｆ２の表示を明滅させるように変更しても良い。また、障害物Ｘが存在する分割領域Ｄ２の色調を異なるものに変更する処理として、例えば、分割領域Ｄ２の画像の各ピクセルの３原色のうちＢ（青）の成分について輝度を高めることや輝度を減ずる程度の処理が考えられる。更に、スピーカ２２から出力される警報音として電子音だけではなく、人の言葉によるメッセージであっても良い。
次に、副表示領域２１Ｂに運転者の指等を接触させる接触操作が検知された場合には、この接触操作をトリガーとして既に指定されている分割領域Ｄ２の画像（俯瞰画像又はカメラの撮影画像）を拡大対象画像とし、その拡大対象画像を拡大表示領域に拡大する拡大処理が行われる（＃１０５、＃１０６ステップ）。
この処理は、拡大モード設定手段３９Ｄで設定された拡大モードに従って拡大表示手段３９Ｅが拡大処理を実行する。この拡大モードでは、拡大対象画像と拡大表示領域とが設定される。拡大対象画像として障害物Ｘが存在する分割領域Ｄ２に表示されている俯瞰画像と、この障害物Ｘを撮影しているカメラの一方の撮影画像（カメラ視点となる画像）との何れか一方が設定される。また、拡大表示領域として、副表示領域２１Ｂを設定する通常拡大モードと、主表示領域２１Ａを設定する別画面拡大モードと、モニタ２１の全画面を設定する全画面拡大モードとの何れか１つが設定される。
この拡大モードを設定する手続としては、モード設定画面をモニタ２１に表示して人為操作により予め設定される。
〔制御形態：通常拡大モード〕
拡大表示手段３９Ｅが、通常拡大モードで拡大処理を行う際には、拡大対象画像（図面では分割領域Ｄの俯瞰画像）を設定し、拡大表示領域として図５及び図６に示す副表示領域２１Ｂを設定すると共に、分割領域Ｄ２・Ｄ３（図５ではＤ２、図６ではＤ３の意味）と拡大表示領域（副表示領域２１Ｂ）との間に拡大表示軌跡（図示せず）を設定する。
次に、図５（ｂ）、図６（ｂ）に示すように、分割領域Ｄ２・Ｄ３の画像（俯瞰画像）を拡大することで、この分割領域Ｄ２・Ｄ３サイズより少し大きいサイズの中間画像Ｍを生成して、表示の起点となる分割領域Ｄ２・Ｄ３（障害物Ｘの存在により指定された分割領域Ｄ）の全てを覆う位置で副表示領域２１Ｂの俯瞰画像に重畳表示する。この直後に、図５（ｃ）、図６（ｃ）に示すように、分割領域Ｄ２・Ｄ３の画像（俯瞰画像）を更に拡大することで、更に大きいサイズの中間画像Ｍを形成して、拡大表示軌跡に沿う位置に表示する。この場合、先に表示している中間画像Ｍを消去して次の中間画像Ｍを表示する処理が行われ、この通常拡大モードでは、先に表示した中間画像Ｍの全てを覆う位置関係で副表示領域２１Ｂの俯瞰画像に次の中間画像Ｍが重畳表示される。
このように中間画像Ｍのサイズを拡大表示軌跡に沿って徐々に移動しながら順次大きいサイズの中間画像Ｍを表示する。この拡大表示を例えば０．５秒や１秒程度の時間内に実行し、最終的に図５（ｄ）、図６（ｄ）に示すように、分割領域Ｄ２・Ｄ３の画像（俯瞰画像）が拡大された拡大画像を副表示領域２１Ｂの領域内一杯に表示する。そして、この拡大画像の隅に領域アイコン２１Ｄを表示することで拡大処理は完了する。特に、領域アイコン２１Ｄは、カメラによる撮影領域を示す形状で路面に重複しないサイズ（車両イメージには重複するサイズ）に設定され、この領域アイコン２１Ｄから、拡大対象画像の元の位置を認識できる。
〔制御形態：別画面拡大モード〕
拡大表示手段３９Ｅが、別画面拡大モードで拡大処理を行う際には、拡大対象画像（図７では分割領域Ｄ３の俯瞰画像）を設定し、拡大表示領域として主表示領域２１Ａを設定すると共に、分割領域Ｄ３と拡大表示領域（主表示領域２１Ａ）との間に拡大表示軌跡（図示せず）を設定する。この制御形態でも障害物Ｘが存在する分割領域Ｄ３の色調を変更し、その外周の枠状部Ｆ３が強調表示される（図面ではハッチングで示している）。
次に、図７（ａ）に示すように、分割領域Ｄ３の画像（俯瞰画像）を拡大することで、この分割領域Ｄ３のサイズより少し大きいサイズの中間画像Ｍを生成して、表示の起点となる分割領域Ｄ３（障害物Ｘの存在により指定された分割領域Ｄ）の多くの領域を覆う位置に重畳表示する。この直後、図７（ｂ）に示すように、分割領域Ｄ３の画像（俯瞰画像）を更に拡大することで、更に大きいサイズの中間画像Ｍを形成して、拡大表示軌跡に沿う位置に表示する。
このように中間画像Ｍのサイズを拡大表示軌跡に沿って徐々に移動しながら順次大きいサイズの中間画像Ｍを表示する。この拡大表示を例えば０．５秒や１秒程度の時間内に実行し、最終的に図７（ｃ）に示すように、分割領域Ｄ３の画像（俯瞰画像）が拡大された拡大画像を副表示領域２１Ｂの領域内一杯に表示する。そして、この拡大画像の隅に領域アイコン２１Ｄを表示することで拡大処理は完了する。特に、領域アイコン２１Ｄは、カメラによる撮影領域を示す形状を有しており、この領域アイコン２１Ｄから、拡大対象画像の元の位置を認識できる。
この別画面拡大モードでは、拡大表示領域（主表示領域２１Ａ）と分割領域Ｄ３とのアスペクト比が異なるので、分割領域Ｄ３の俯瞰画像が副表示領域２１Ｂの領域内一杯に表示された拡大画像は変形する。尚、障害物Ｘが表示される領域を残しながら拡大画像の上下方向の端部を切り取った形態で表示しても良い。
〔制御形態：全面拡大モード〕
拡大表示手段３９Ｅが、全画面拡大モードで拡大処理を行う際には、拡大対象画像（図８では分割領域Ｄ３の俯瞰画像）を設定し、拡大表示領域としてモニタ２１の表示領域を設定すると共に、分割領域Ｄ３と拡大表示領域（モニタ２１の表示領域）との間に拡大表示軌跡（図示せず）を設定する。この制御形態でも障害物Ｘが存在する分割領域Ｄ３の色調を変更し、その外周の枠状部Ｆ３が強調表示される（図面ではハッチングで示している）。
次に、図８（ａ）に示すように、分割領域Ｄ３の画像（俯瞰画像）を拡大することで、この分割領域Ｄ３のサイズより少し大きいサイズの中間画像Ｍを生成して、表示の起点となる分割領域Ｄ３（障害物Ｘの存在により指定された分割領域Ｄ）の多くの領域を覆う位置に重畳表示する。この直後、図８（ｂ）に示すように、分割領域Ｄ３の画像（俯瞰画像）を更に拡大することで、更に大きいサイズの中間画像Ｍを形成して、拡大表示軌跡に沿う位置に表示する。
このように中間画像Ｍのサイズを拡大表示軌跡に沿って徐々に移動しながら順次大きいサイズの中間画像Ｍを表示する。この拡大表示を例えば０．５秒や１秒程度の時間内に実行し、最終的に図８（ｃ）に示すように、分割領域Ｄ３の画像（俯瞰画像）が拡大された拡大画像を副表示領域２１Ｂの領域内一杯に表示する。そして、この拡大画像の隅に領域アイコン２１Ｄを表示することで拡大処理は完了する。特に、領域アイコン２１Ｄは、カメラによる撮影領域を示す形状を有しており、この領域アイコン２１Ｄから、拡大対象画像の元の位置を認識できる。
この全画面拡大モードでも、拡大表示領域（モニタ２１の表示領域）と分割領域Ｄ３とのアスペクト比が異なるので、分割領域Ｄ３の俯瞰画像がモニタ２１の表示領域内一杯に表示された拡大画像は変形する。尚、障害物Ｘが表示される領域を残しながら拡大画像の上下方向の端部を切り取った形態で表示しても良い。
このように何れの拡大モードで拡大処理を行っても、分割領域Ｄの位置を起点として中間画像Ｍの表示位置が拡大表示軌跡に沿って移動する形態（図５及び図６の通常拡大モードでは中間画像Ｍの隅の位置は移動しない）で拡大されることから、拡大される元の画像の位置（分割領域Ｄの位置）を明らかにしながら、ズームアップする形態での拡大が実現する。そして、拡大画像の隅に表示される領域アイコン２１Ｄの形態や、領域アイコン２１Ｄの表示位置からも拡大画像が何れの領域の画像であるかを認識できることになる。
尚、いずれの拡大モードで拡大処理を行う場合でも、動画レイヤに対して中間画像Ｍを形成する処理を行うことで重畳表示が実現し、この重畳表示した状態では俯瞰画像であっても撮影画像であってもリアルタイムで車両１と障害物Ｘとの位置関係の変化を表示できる。また次に説明するように拡大画像を消去して、元に表示に戻す場合にも動画レイヤの画像を消去することで済む。
次に、モニタ２１の何れかの領域に運転者の指等を接触させる接触操作が検知された場合、又は、障害物検出部３８で障害物Ｘが検出しない状態に達した場合には、拡大画像を消去し、＃１０１ステップの処理に移行することで、モニタ２１の主表示領域２１Ａには撮影画像が表示され、副表示領域２１Ｂには俯瞰画像が表示される制御に復帰する（＃１０７〜＃１０９ステップ）。
そして、この車両周辺監視表示処理は制御を中止する選択が行われるまで継続して行われることになる（＃１１０ステップ）。
このように本発明では、車両１を駐車位置に導入する場合や、フェンスや駐車状態の車両等の障害物Ｘが存在する路面で車両１を移動させる場合には、モニタ２１の主表示領域２１Ａにカメラの撮影画像を表示し、モニタ２１の副表示領域２１Ｂに対して俯瞰画像を表示する。これにより障害物Ｘが運転者から死角の位置にあっても車両１と、車両の近傍の障害物Ｘとの位置関係の確認できるものにしている。
また、障害物Ｘに接近した場合には、俯瞰画像の分割領域Ｄ１〜Ｄ４のうち障害物Ｘが存在する分割領域Ｄの外周の枠状部Ｆ１〜Ｆ４のうち対応する枠状部Ｆの明度を高くする強調表示が行われ、この表示と同時に障害物Ｘが存在する分割領域Ｄの色調を変更する表示が行われ、スピーカ２２から警報音が出力されることで障害物Ｘが存在する領域を把握できる。
このように障害物Ｘの存在位置を把握できる状態で副表示領域２１Ｂに指等を接触させることで、分割領域Ｄ１〜Ｄ４のうち障害物Ｘが存在する分割領域Ｄが拡大表示領域まで拡大され、障害物Ｘと車両１との位置関係を拡大画像で確認できる。
特に、複数の分割領域Ｄ１〜Ｄ４の何れかの画像が拡大表示領域に拡大される際には、障害物Ｘが存在する分割領域Ｄを起点としてサイズが異なる複数の中間画像Ｍを小さいサイズものから大きいサイズのものに遷移させるように拡大表示軌跡に沿って順次移動する形態で表示が行われる。このように拡大されることで、拡大される元の画像の位置（障害物Ｘが存在する分割領域Ｄの位置）を明らかにしながらズームアップする形態での拡大を実現している。
そして、障害物Ｘが存在する領域の俯瞰画像、又は、障害物Ｘを撮影したカメラの撮影画像が拡大表示される結果、障害物Ｘと車両１との位置関係を拡大された画像から把握できることになり障害物Ｘと接触を避ける形態での車両１の移動を実現する。
〔別実施の形態〕
本発明は、上記した実施の形態以外に以下のように構成しても良い。
（ａ）拡大表示手段３９Ｅが中間画像Ｍを形成する際に、この中間画像Ｍと既に表示されている画像との境界を明瞭にするために高輝度の境界ラインを表示する。このように境界ラインを表示する際には、背景となる画像の色相を取得し、この色相に対して、補色等の異なる色相を設定するように処理形態を設定しても良い。このように中間画像Ｍに境界ラインを表示することで中間画像Ｍの輪郭を形成することになり、拡大される元の画像の位置（障害物Ｘが存在する分割領域Ｄの位置）を一層明らかにしながらズームアップする形態での拡大を実現する。
（ｂ）俯瞰画像を複数の分割領域Ｄに分割して管理する際には２分割や６分割のように４分割以外の数に分割して管理しても良い。特に、この分割数をユーザが任意に設定できるように構成しても良い。また、多くの数に分割した場合には車両１の周辺の局部的な領域に対する障害物Ｘの接近を認識できると共に、その部位を拡大して表示することが可能となる。
（ｃ）障害物Ｘが検出されている状況においては、タッチパネル２１Ｔにより副表示領域２１Ｂの表示領域の何れの部位を接触しても障害物Ｘが検出されている分割領域Ｄの画像（俯瞰画像又はカメラの撮影画像）の拡大表示を行い、障害物Ｘが検出されていない状況においては、タッチパネル２１Ｔにより選択された分割領域Ｄの画像（俯瞰画像又はカメラの撮影画像）の拡大表示を行うように制御形態を設定しても良い。また、分割領域Ｄの数に対応した専用の拡大ボタンをモニタ２１に表示しても良く、拡大表示を終了させるための専用のボタンをモニタ２１に表示しても良い。
（ｄ）拡大モード設定手段３９Ｄによる拡大処理で拡大対象画像を設定する際に、前述の（ｃ）で説明したように前部の分割領域Ｄが人為操作で指定された場合、又は、前部位置で障害物Ｘが検出された場合には、俯瞰画像を拡大対象画像に設定する。これとは逆に、前述の（ｃ）で説明したように後部の分割領域Ｄが人為操作で指定された場合、又は、後部位置で障害物Ｘが検出された場合には、カメラの撮影画像を拡大対象画像に設定する。
つまり、車両１の前端側の領域は、運転者が体を乗り出す姿勢をとることで視認が可能になることもあり、このように視認が可能である領域については、俯瞰画像を拡大対象画像に設定することで運転者の目から見える領域と異なる方向から見た画像を表示することが有効となる。また、車両１の後端側の領域は、運転者から見えないことが多く、カメラの撮影画像を直接的に見た感覚に近い画像となる撮影画像を拡大対象画像に設定することが有効となる。
（ｅ）前述した別実施の形態（ｄ）において、カメラの撮影画像を拡大対象画像とする場合、ステアリングホイール１６の操作方向が車両１の進行方向が撮影領域（障害物Ｘ）に接近する方向であることを判定した場合にはサイドカメラ（左サイドカメラ２５又は右サイドカメラ２６）の撮影画像を表示対象画像に設定する。車両１の進行方向が撮影領域（障害物Ｘ）から離間する方向であることを判定した場合には車両１の端部のカメラ（前部カメラ２７又は後部カメラ２８）の撮影画像を表示対象に設定する。
このようにステアリング方向に基づいて撮影画像を取得するカメラの選択を行うことにより、車両１を障害物Ｘ等に接近させる方向に僅かに移動させた場合でも、サイドカメラ（左サイドカメラ２５又は右サイドカメラ２６）の撮影画像から障害物Ｘ等と車両１との相対的な位置関係の変化を容易に把握できる。また、車両１が障害物Ｘ等から離間する方向に移動する場合には、車両１の端部のカメラの撮影画像から車両１の進行方向の広い領域をモニタ２１に表示して進行方向の確認を可能にする。
（ｆ）尚、「俯瞰画像表示領域（副表示領域）に接触があった」ことを検出するとは、タッチパネル２１Ｔ（俯瞰画像領域）に触れていない状態から、触れたことへの接触状態の変化を検出するものでも良く、タッチパネル２１Ｔ（俯瞰画像領域）に指等が触れている状態から、指等が離れた状態への状態変化を検出するものであっても良い。
本発明は、車両に備えた複数のカメラの撮影画像から俯瞰画像を生成してモニタに表示する画像処理系を有している車両全般に利用することができる。
１ 車両
２１ モニタ
２１Ｂ 俯瞰画像表示領域（副表示領域）
２１Ｔ タッチパネル
２５ カメラ（左サイドカメラ）
２６ カメラ（右サイドカメラ）
２７ カメラ（前部カメラ）
２８ カメラ（後部カメラ）
３９ 画像処理部
３９Ａ 俯瞰画像生成手段
３９Ｅ 拡大表示手段
Ｄ 分割領域
Ｍ 中間画像

Claims (5)

  1. 車両周辺の路面を含む領域を撮影する複数のカメラと、この複数のカメラの撮影画像をモニタに表示する画像処理部とを備えると共に、
    前記画像処理部は、前記モニタに対して複数の前記カメラの何れかで撮影された撮影画像が表示される主表示領域と、俯瞰画像が表示される俯瞰画像表示領域とを形成すると共に、人為操作により前記主表示領域及び前記俯瞰画像表示領域の少なくとも何れか一方を拡大表示領域とする設定が可能に構成され、
    前記画像処理部は、複数の前記カメラの撮影画像から車体周辺を上方から見下ろした俯瞰画像を生成して前記俯瞰画像表示領域に表示する俯瞰画像生成手段と、前記俯瞰画像表示領域の分割により設定された複数の分割領域の何れかが指定された場合に、指定された分割領域の画像を拡大対象画像とし、この拡大対象画像を前記拡大表示領域のサイズまで拡大して前記拡大表示領域に表示する拡大表示手段とを備えており、
    前記拡大表示手段は、前記指定された分割領域のサイズと前記拡大表示領域のサイズとの中間のサイズとなる複数の中間画像を生成し、サイズの小さい中間画像から順次表示する処理を実行し、この処理の実行の初期には、前記指定された分割領域が次に表示される中間画像の表示領域に含まれるように表示位置関係が設定されている車両周辺監視装置。
  2. 複数の前記分割領域に表示される俯瞰画像の少なくとも１つが、２つの前記カメラの撮影画像から生成された俯瞰画像の合成により生成されたものであり、この分割領域が指定された際には、この分割領域に表示されている俯瞰画像を拡大対象画像に設定する請求項１記載の車両周辺監視装置。
  3. 前記モニタが、表示面にタッチパネルを備えており、複数の前記分割領域のいずれかに接触があったことをタッチパネルで検知した際に、前記拡大表示手段は接触を検知した分割領域の俯瞰画像を前記拡大対象画像に指定する請求項１又は２記載の車両周辺監視装置。
  4. 前記モニタが、表示面にタッチパネルを備えており、複数の前記分割領域のいずれかに接触があったことをタッチパネルで検知した際に、前記拡大表示手段は接触を検知した分割領域に既に表示されている俯瞰画像に代えて、この分割領域に表示されていた領域を撮影するカメラからの撮影画像を、この分割領域に表示し、このように表示された撮影画像を前記拡大対象画像に指定する請求項１又は２記載の車両周辺監視装置。
  5. 前記拡大表示手段は、前記中間画像の外周部に境界を明らかにする境界ラインを表示する請求項１〜４のいずれか一項に記載の車両周辺監視装置。
JP2010072326A 2010-03-26 2010-03-26 車両周辺監視装置 Active JP5696872B2 (ja)

Priority Applications (9)

Application Number Priority Date Filing Date Title
JP2010072326A JP5696872B2 (ja) 2010-03-26 2010-03-26 車両周辺監視装置
KR1020127024305A KR101446898B1 (ko) 2010-03-26 2011-02-02 차량 주변 감시 장치
EP11759069.5A EP2555520A4 (en) 2010-03-26 2011-02-02 Vehicle periphery monitoring device
PCT/JP2011/052136 WO2011118261A1 (ja) 2010-03-26 2011-02-02 車両周辺監視装置
CN201610230747.5A CN105774656B (zh) 2010-03-26 2011-02-02 车辆周边监视装置
CN201180014466.1A CN102804763B (zh) 2010-03-26 2011-02-02 车辆周边监视装置
US13/636,041 US9308863B2 (en) 2010-03-26 2011-02-02 Vehicle peripheral observation device
US15/057,208 US9919650B2 (en) 2010-03-26 2016-03-01 Vehicle peripheral observation device
US15/891,550 US10479275B2 (en) 2010-03-26 2018-02-08 Vehicle peripheral observation device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010072326A JP5696872B2 (ja) 2010-03-26 2010-03-26 車両周辺監視装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2013228390A Division JP5825323B2 (ja) 2013-11-01 2013-11-01 車両周辺監視装置

Publications (2)

Publication Number Publication Date
JP2011205514A JP2011205514A (ja) 2011-10-13
JP5696872B2 true JP5696872B2 (ja) 2015-04-08

Family

ID=44672835

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010072326A Active JP5696872B2 (ja) 2010-03-26 2010-03-26 車両周辺監視装置

Country Status (6)

Country Link
US (3) US9308863B2 (ja)
EP (1) EP2555520A4 (ja)
JP (1) JP5696872B2 (ja)
KR (1) KR101446898B1 (ja)
CN (2) CN102804763B (ja)
WO (1) WO2011118261A1 (ja)

Families Citing this family (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5696872B2 (ja) * 2010-03-26 2015-04-08 アイシン精機株式会社 車両周辺監視装置
JP2011205513A (ja) * 2010-03-26 2011-10-13 Aisin Seiki Co Ltd 車両周辺監視装置
JP5813944B2 (ja) * 2010-12-06 2015-11-17 富士通テン株式会社 画像表示システム、画像処理装置及び画像表示方法
JP5765995B2 (ja) * 2011-03-31 2015-08-19 富士通テン株式会社 画像表示システム
JP2012244600A (ja) * 2011-05-24 2012-12-10 Fujitsu Ten Ltd 画像表示システム、画像処理装置、及び、画像表示方法
JP5938635B2 (ja) * 2011-12-15 2016-06-22 パナソニックＩｐマネジメント株式会社 運転支援装置
JP5765575B2 (ja) * 2011-12-22 2015-08-19 アイシン精機株式会社 撮影領域明示装置
JP5825091B2 (ja) * 2011-12-22 2015-12-02 アイシン精機株式会社 撮影領域明示装置
WO2013094345A1 (ja) * 2011-12-22 2013-06-27 アイシン精機株式会社 撮影領域明示装置
JP6077210B2 (ja) * 2011-12-22 2017-02-08 トヨタ自動車株式会社 車両用後方監視装置
JP5996879B2 (ja) * 2012-02-16 2016-09-21 日立建機株式会社 作業機械の周囲監視装置
JP6014664B2 (ja) * 2012-06-08 2016-10-25 日立建機株式会社 自走式産業機械の表示装置
WO2014017104A1 (ja) * 2012-07-27 2014-01-30 京セラ株式会社 画像処理装置、撮像装置、移動体、プログラム、および領域設定方法
TWI517992B (zh) * 2012-11-13 2016-01-21 義晶科技股份有限公司 車用影像系統及其影像之顯示控制方法
TWI535587B (zh) * 2012-11-14 2016-06-01 義晶科技股份有限公司 利用觸控面板來控制車用影像之顯示的方法及其車用影像系統
JP6022930B2 (ja) * 2012-12-25 2016-11-09 京セラ株式会社 カメラシステム、カメラモジュールおよびカメラ制御方法
US20140211009A1 (en) * 2013-01-25 2014-07-31 Magna Electronics Inc. Lens assembly for vehicle vision system camera
KR101491324B1 (ko) * 2013-10-08 2015-02-06 현대자동차주식회사 차량용 영상 획득 장치
DE102013224954A1 (de) * 2013-12-05 2015-06-11 Robert Bosch Gmbh Verfahren und Vorrichtung zum Erzeugen einer Warnung mittels zweier durch Kameras erfasster Bilder einer Fahrzeugumgebung
US10963133B2 (en) * 2014-01-07 2021-03-30 Honeywell International Inc. Enhanced awareness of obstacle proximity
US10431105B2 (en) 2014-01-07 2019-10-01 Honeywell International Inc. Enhanced awareness of obstacle proximity
US10419703B2 (en) * 2014-06-20 2019-09-17 Qualcomm Incorporated Automatic multiple depth cameras synchronization using time sharing
KR20160032451A (ko) * 2014-09-16 2016-03-24 현대자동차주식회사 차량, 차량용 표시 장치 및 차량용 표시 장치의 제어 방법
EP3040829A1 (de) * 2015-01-02 2016-07-06 Volkswagen AG Anwenderschnittstelle und Verfahren zum Betrieb einer Anwenderschnittstelle für ein Fortbewegungsmittel
KR101643557B1 (ko) * 2015-01-02 2016-07-29 현대자동차주식회사 차량 및 차량의 제어방법
US10247941B2 (en) * 2015-01-19 2019-04-02 Magna Electronics Inc. Vehicle vision system with light field monitor
US20160314559A1 (en) * 2015-04-24 2016-10-27 Kabushiki Kaisha Toshiba Electronic apparatus and method
WO2017081717A1 (ja) * 2015-11-09 2017-05-18 三菱電機株式会社 画像生成システム及び画像生成方法
CN105447850B (zh) * 2015-11-12 2018-02-09 浙江大学 一种基于多视点图像的全景图拼接合成方法
WO2017094626A1 (ja) * 2015-11-30 2017-06-08 住友重機械工業株式会社 作業機械用周辺監視システム
KR20170080797A (ko) * 2015-12-30 2017-07-11 삼성디스플레이 주식회사 차량용 디스플레이 시스템
CN105667398B (zh) 2016-01-04 2018-10-23 京东方科技集团股份有限公司 汽车后视镜的图像显示方法及系统
JP6609513B2 (ja) * 2016-05-19 2019-11-20 株式会社東海理化電機製作所 車両用視認装置
JP6642306B2 (ja) 2016-06-29 2020-02-05 アイシン精機株式会社 周辺監視装置
US20180165838A1 (en) * 2016-07-29 2018-06-14 Faraday&Future Inc. System and method for generating a semantically meaningful two-dimensional image from three-dimensional data
JP6551336B2 (ja) * 2016-08-12 2019-07-31 株式会社デンソー 周辺監査装置
EP3293717B1 (en) * 2016-09-08 2021-11-10 KNORR-BREMSE Systeme für Nutzfahrzeuge GmbH An electronically controlled braking system
KR20180037414A (ko) 2016-10-04 2018-04-12 엘지전자 주식회사 자동주차 보조장치 및 이를 포함하는 차량
JP6185135B2 (ja) * 2016-10-06 2017-08-23 京セラ株式会社 統合画像処理システム
JP6639379B2 (ja) * 2016-12-21 2020-02-05 トヨタ自動車株式会社 車両周辺監視装置
JP6730614B2 (ja) * 2017-02-28 2020-07-29 株式会社Ｊｖｃケンウッド 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
JP6649914B2 (ja) * 2017-04-20 2020-02-19 株式会社Ｓｕｂａｒｕ 画像表示装置
CN107483882A (zh) * 2017-07-07 2017-12-15 上海斐讯数据通信技术有限公司 一种多窗口显示系统及方法
JP7005269B2 (ja) 2017-10-18 2022-01-21 キヤノン株式会社 情報処理装置、システム、情報処理方法及びプログラム
JP7201315B2 (ja) 2017-11-08 2023-01-10 トヨタ自動車株式会社 電子ミラー装置
US11548443B2 (en) * 2017-11-10 2023-01-10 Honda Motor Co., Ltd. Display system, display method, and program for indicating a peripheral situation of a vehicle
KR102441079B1 (ko) * 2017-11-30 2022-09-06 현대자동차주식회사 차량의 디스플레이 제어 장치 및 방법
CN208745890U (zh) * 2018-07-19 2019-04-16 汪玉华 太阳能无线倒车可视系统
CN110858890A (zh) * 2018-08-23 2020-03-03 华为技术有限公司 视频监控多画面显示的方法、装置及系统
JP2020042370A (ja) * 2018-09-06 2020-03-19 アイシン精機株式会社 表示制御装置
JP7119798B2 (ja) * 2018-09-07 2022-08-17 株式会社アイシン 表示制御装置
US11138449B2 (en) * 2018-09-28 2021-10-05 Intel Corporation Obstacle representation display
KR20200040135A (ko) * 2018-10-08 2020-04-17 주식회사 만도 초음파 센서를 이용한 후측방 사각 지대의 차량 위치 추적 방법 및 시스템
CN109743539B (zh) * 2018-12-07 2020-05-29 吉林大学 一种视野可调节的全景行车辅助装置及其调节方法
CN109774603A (zh) * 2019-02-28 2019-05-21 上海豫兴电子科技有限公司 一种车载摄像头角度辅助标定方法和装置
JP2020170341A (ja) * 2019-04-03 2020-10-15 パイオニア株式会社 表示制御装置、表示制御方法及びプログラム
CN110466430A (zh) * 2019-07-02 2019-11-19 安徽森力汽车电子有限公司 一种半挂车环视盲区显示方法
JP7443705B2 (ja) * 2019-09-12 2024-03-06 株式会社アイシン 周辺監視装置
JP6774612B2 (ja) * 2019-10-18 2020-10-28 株式会社Ｊｖｃケンウッド 車両用記録装置、車両用記録方法及びプログラム
JP7065068B2 (ja) * 2019-12-13 2022-05-11 本田技研工業株式会社 車両周囲監視装置、車両、車両周囲監視方法およびプログラム
KR102367959B1 (ko) * 2020-06-02 2022-03-03 주식회사 만도모빌리티솔루션즈 운전 보조 표시 장치, 그를 가지는 차량 및 그 제어 방법
JP2024038699A (ja) * 2022-09-08 2024-03-21 パナソニックＩｐマネジメント株式会社 車両用情報提供システム、車両用情報提供方法及びプログラム

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6891563B2 (en) * 1996-05-22 2005-05-10 Donnelly Corporation Vehicular vision system
AU2001243285A1 (en) * 2000-03-02 2001-09-12 Donnelly Corporation Video mirror systems incorporating an accessory module
US7852462B2 (en) * 2000-05-08 2010-12-14 Automotive Technologies International, Inc. Vehicular component control methods based on blind spot monitoring
JP2002019556A (ja) * 2000-07-04 2002-01-23 Matsushita Electric Ind Co Ltd 監視システム
JP4861574B2 (ja) * 2001-03-28 2012-01-25 パナソニック株式会社 運転支援装置
JP2004198211A (ja) * 2002-12-18 2004-07-15 Aisin Seiki Co Ltd 移動体周辺監視装置
US20040219980A1 (en) * 2003-04-30 2004-11-04 Nintendo Co., Ltd. Method and apparatus for dynamically controlling camera parameters based on game play events
JP2005167638A (ja) 2003-12-02 2005-06-23 Sharp Corp 移動体周囲監視装置、移動体および画像変換方法
JP2005191962A (ja) * 2003-12-25 2005-07-14 Sharp Corp 移動体周囲監視装置および移動体
US7526103B2 (en) * 2004-04-15 2009-04-28 Donnelly Corporation Imaging system for vehicle
JP4639753B2 (ja) * 2004-10-25 2011-02-23 日産自動車株式会社 運転支援装置
JP4573242B2 (ja) 2004-11-09 2010-11-04 アルパイン株式会社 運転支援装置
JP4687160B2 (ja) 2005-03-14 2011-05-25 アイシン精機株式会社 周辺監視装置
EP1696669B1 (en) 2005-02-24 2013-07-03 Aisin Seiki Kabushiki Kaisha Vehicle surrounding monitoring device
JP2006273190A (ja) 2005-03-30 2006-10-12 Alpine Electronics Inc 車載用ナビゲーション装置
JP2006341641A (ja) * 2005-06-07 2006-12-21 Nissan Motor Co Ltd 映像表示装置及び映像表示方法
JP4807104B2 (ja) * 2006-03-01 2011-11-02 日産自動車株式会社 車両周囲監視システム及び画像表示方法
JP2007235642A (ja) * 2006-03-02 2007-09-13 Hitachi Ltd 障害物検知システム
JP4661658B2 (ja) * 2006-03-30 2011-03-30 アイシン・エィ・ダブリュ株式会社 運転支援方法、運転支援装置及び運転支援プログラム
JP4321543B2 (ja) * 2006-04-12 2009-08-26 トヨタ自動車株式会社 車両周辺監視装置
CN101082502A (zh) * 2006-05-29 2007-12-05 爱信艾达株式会社 驻车辅助方法及驻车辅助装置
JP5309442B2 (ja) 2006-05-29 2013-10-09 アイシン・エィ・ダブリュ株式会社 駐車支援方法及び駐車支援装置
JP4899826B2 (ja) * 2006-11-28 2012-03-21 アイシン・エィ・ダブリュ株式会社 駐車支援方法及び駐車支援装置
WO2008068837A1 (ja) * 2006-12-05 2008-06-12 Fujitsu Limited 交通状況表示方法、交通状況表示システム、車載装置及びコンピュータプログラム
JP2008254710A (ja) * 2007-04-09 2008-10-23 Fujitsu Ten Ltd 障害物検知装置
JP2008301091A (ja) 2007-05-30 2008-12-11 Aisin Seiki Co Ltd 車両用周辺監視装置
JP4973564B2 (ja) * 2008-03-27 2012-07-11 三菱自動車工業株式会社 車両周辺表示装置
EP2285109B1 (en) * 2008-05-29 2018-11-28 Fujitsu Limited Vehicle image processor, and vehicle image processing system
US8289189B2 (en) * 2009-05-11 2012-10-16 Robert Bosch Gmbh Camera system for use in vehicle parking
JP5696872B2 (ja) * 2010-03-26 2015-04-08 アイシン精機株式会社 車両周辺監視装置
JP2011205513A (ja) * 2010-03-26 2011-10-13 Aisin Seiki Co Ltd 車両周辺監視装置
JP5113220B2 (ja) * 2010-06-28 2013-01-09 本田技研工業株式会社 車両用画像表示装置

Also Published As

Publication number Publication date
US9919650B2 (en) 2018-03-20
CN102804763A (zh) 2012-11-28
KR101446898B1 (ko) 2014-10-22
EP2555520A1 (en) 2013-02-06
JP2011205514A (ja) 2011-10-13
US9308863B2 (en) 2016-04-12
CN105774656A (zh) 2016-07-20
WO2011118261A1 (ja) 2011-09-29
US20180178725A1 (en) 2018-06-28
KR20120118073A (ko) 2012-10-25
US20130010117A1 (en) 2013-01-10
CN105774656B (zh) 2018-05-22
US10479275B2 (en) 2019-11-19
US20160176349A1 (en) 2016-06-23
CN102804763B (zh) 2016-05-04
EP2555520A4 (en) 2017-12-13

Similar Documents

Publication Publication Date Title
JP5696872B2 (ja) 車両周辺監視装置
WO2011118260A1 (ja) 車両周辺監視装置
JP5825323B2 (ja) 車両周辺監視装置
JP5035643B2 (ja) 画像表示装置
JP5397697B2 (ja) 画像制御装置
JP2010202010A (ja) 駐車支援装置
JP2006321419A (ja) 映像表示装置及び映像表示方法
JP5459553B2 (ja) 駐車支援装置
JP5724446B2 (ja) 車両の運転支援装置
JP2009239674A (ja) 車両周辺表示装置
JP2008148059A (ja) 車両周辺監視装置
JP2011193137A (ja) 駐車支援装置
CN110895443A (zh) 显示控制装置
JP2011255812A (ja) 駐車支援装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120725

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130905

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131101

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140626

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140801

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150115

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150128

R151 Written notification of patent or utility model registration

Ref document number: 5696872

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151