JP6224029B2 - 画像処理装置および画像処理方法 - Google Patents

画像処理装置および画像処理方法 Download PDF

Info

Publication number
JP6224029B2
JP6224029B2 JP2015103861A JP2015103861A JP6224029B2 JP 6224029 B2 JP6224029 B2 JP 6224029B2 JP 2015103861 A JP2015103861 A JP 2015103861A JP 2015103861 A JP2015103861 A JP 2015103861A JP 6224029 B2 JP6224029 B2 JP 6224029B2
Authority
JP
Japan
Prior art keywords
display
screen
unit
obstacle
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015103861A
Other languages
English (en)
Other versions
JP2016218795A (ja
Inventor
幸栄 清
幸栄 清
康平 前島
康平 前島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Ten Ltd
Toyota Motor Corp
Original Assignee
Denso Ten Ltd
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Ten Ltd, Toyota Motor Corp filed Critical Denso Ten Ltd
Priority to JP2015103861A priority Critical patent/JP6224029B2/ja
Priority to CN201610308370.0A priority patent/CN106169061B/zh
Priority to US15/155,496 priority patent/US10579884B2/en
Priority to EP16169996.2A priority patent/EP3096306A3/en
Publication of JP2016218795A publication Critical patent/JP2016218795A/ja
Application granted granted Critical
Publication of JP6224029B2 publication Critical patent/JP6224029B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Arrangement of adaptations of instruments
    • B60K35/28—
    • B60K35/29—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105—Speed
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/87—Combinations of radar systems, e.g. primary radar and secondary radar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/86—Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/04—Display arrangements
    • G01S7/06—Cathode-ray tube displays or other two dimensional or three-dimensional displays
    • G01S7/10—Providing two-dimensional and co-ordinated display of distance and direction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/04—Display arrangements
    • G01S7/06—Cathode-ray tube displays or other two dimensional or three-dimensional displays
    • G01S7/20—Stereoscopic displays; Three-dimensional displays; Pseudo-three-dimensional displays
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/56—Display arrangements
    • G01S7/62—Cathode-ray tube displays
    • G01S7/6218—Cathode-ray tube displays providing two-dimensional coordinated display of distance and direction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/56—Display arrangements
    • G01S7/62—Cathode-ray tube displays
    • G01S7/6281—Composite displays, e.g. split-screen, multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/168—Driving aids for parking, e.g. acoustic or visual feedback on parking space
    • B60K2360/179—
    • B60K2360/182—
    • B60K2360/186—
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9324—Alternative operation using ultrasonic waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93271—Sensor installation details in the front of the vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93272—Sensor installation details in the back of the vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93274—Sensor installation details on the side of the vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2015/937—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles sensor installation details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Description

本発明は、画像処理装置および画像処理方法に関する。
従来、車両に搭載された障害物センサによって運転者の死角に存在する障害物を検出し、検出した障害物を運転者に報知する装置が知られている。かかる装置では、障害物を検出した場合に、表示を切り替えることで、障害物を運転者に報知する（例えば、特許文献１参照）。
特開２０１３−１９０９５７号公報
しかしながら、従来の装置のように、障害物が検出される度に表示を切り替えると、運転者に対する障害物の報知が必要ない場合であっても報知を行うこととなる。このように、従来の装置では、運転者に対して適切に障害物を報知できない場合があった。
本発明は、上記に鑑みてなされたものであって、運転者に対して適切に障害物を報知できる画像処理装置および画像処理方法を提供することを目的とする。
上記課題を解決し、目的を達成するために、本発明の画像処理装置は、表示制御部と、判定部とを備える。表示制御部は、撮像装置から入力される画像に基づき、車両周囲を仮想視点から見た合成画像を生成して表示部に表示させる。判定部は、前記合成画像を含む仮想視点画面以外の画面が前記表示部に表示されている場合において、車両周囲の障害物を検知する検知器によって前記障害物が検知された場合、前記障害物の存在を報知する報知画面への切替条件が成立するか否かを判定する。表示制御部は、前記判定部によって前記切替条件が成立すると判定された場合に、前記仮想視点画面に所定の報知画像を重畳させた前記報知画面を前記表示部に表示させる。表示部は、操作部を有する表示装置に設けられている。判定部は、検知器によって障害物が検知されてからの所定期間において操作部への操作がない場合に、切替条件が成立すると判定する。
本発明によれば、車両の運転者に対して適切に障害物を報知することができる画像処理装置および画像処理方法を提供することができる。
図１は、実施形態に係る画像処理方法を示す説明図である。 図２は、実施形態に係る周辺監視システムの構成例を示す図である。 図３は、実施形態に係る撮像部の配置例を示す図である。 図４は、実施形態に係る画像制御部が生成する合成画像の一例を示す図である。 図５は、実施形態に係る画像制御部が生成する合成画像の一例を示す図である。 図６は、実施形態に係る表示条件テーブルを示す図である。 図７は、実施形態に係る表示停止条件テーブルを示す図である。 図８は、実施形態に係る停止ＯＲ条件テーブルを示す図である。 図９は、実施形態に係る停止ＯＲ条件の説明図である。 図１０は、実施形態に係る報知開始処理を示すフローチャートである。 図１１は、実施形態に係る報知終了処理を示すフローチャートである。
以下、添付図面を参照して、本願の開示する画像処理装置および画像処理方法の実施形態を詳細に説明する。なお、以下に示す実施形態によりこの発明が限定されるものではない。
＜１．画像処理方法＞
図１は、本発明の実施形態に係る画像処理方法を示す説明図である。かかる画像処理方法は、例えば車両Ｃに搭載される画像処理装置１０によって実行される。図１（Ａ）は、車両Ｃと障害物の位置関係を示す模式図である。図１（Ｂ）および図１（Ｃ）は、表示部に表示される画面の一例を示す図である。
本実施形態に係る画像処理方法では、車両Ｃに搭載された検知器４０ａ〜４０ｄが検出した障害物を表示部（図示せず）に表示することで障害物を運転者に報知する。ここでは、障害物として人Ｈを検出する場合について説明するが、障害物は人Ｈに限らず、例えば自転車やバイクなどの他車両や、電柱や木などであってもよい。
画像処理装置１０は、車両Ｃに搭載される撮像装置（図示せず）から入力される撮像画像に基づき、車両周囲を仮想視点から見た合成画像を生成する。画像処理装置１０は、生成した合成画像を表示部（図示せず）に表示させる。このように、表示部は、合成画像を含む仮想視点画面を表示する。
また、表示部は、例えば図１（Ｂ）、（Ｃ）の上図に示すように、ナビゲーション装置が生成したナビゲーションの地図を含む画像１００（以下、ナビ画像と記載する）を表示する。このように、表示部は、ナビ画像１００を含むナビ画面１０１を表示する。
以下、合成画像を含む仮想視点画面以外の画面として、例えばナビ画面１０１が表示部に表示されているときに、障害物である人Ｈが接近した場合の画像処理装置１０による画像処理方法について説明する。
車両Ｃには、車両Ｃの周囲の障害物を検知する検知器４０ａ〜４０ｄが搭載される。検知器４０ａ〜４０ｄは、例えばクリアランスソナーである。かかる検知器４０ａ〜４０ｄは、所定の検知範囲Ｒ１〜Ｒ４を有しており検出範囲Ｒ１〜Ｒ４内に存在する物体を障害物として検出する。図１（Ａ）では、検知器４０ａが、所定の検出範囲Ｒ１内に存在する人Ｈを障害物として検出する。
画像処理装置１０は、表示部にナビ画面１０１が表示されている場合において、検知器４０ａによって人Ｈが検知された場合、障害物である人Ｈの存在を報知する報知画面２００への切替条件が成立するか否かを判定する。
例えば、図１（Ｂ）、（Ｃ）の上図に示すように、ナビ画面１０１が表示部に表示されている場合において、運転者がナビゲーション装置を操作しているときに、画像処理装置１０が表示部の表示を報知画面２００に切り替えると、運転者による操作を阻害することになる。そこで、画像処理装置１０は、例えばナビゲーション装置に対する操作の有無を切替条件とし、ナビゲーション装置に対して操作が行われていない場合に、報知画面２００へ切り替えるとし、ナビゲーション装置に対して操作が行われている場合に切り替えないとする。
画像処理装置１０は、かかる切替条件が成立する、すなわちナビゲーション装置に対して操作が行われていないと判定された場合に、報知画面２００を表示部に表示させる。報知画面２００は、例えば図１（Ｂ）の下図に示すように、仮想視点画像に所定の報知画像４１を重畳させた合成画像３００と撮像画像５００を含む画面である。
一方、画像処理装置１０は、かかる切替条件が成立しない、すなわちナビゲーション装置に対して操作が行われていると判定された場合は、検知器４０ａが人Ｈを検知した場合であっても報知しない。そのため、表示部には、図１（Ｃ）の下図に示すように、ナビ画像１００を含むナビ画面１０１が継続して表示される。
このように、画像処理装置１０は、仮想視点画面以外の画面が表示部に表示されている場合において、報知画面２００への切替条件が成立する場合に、表示部の表示を報知画面２００へ切り替える。これにより、画像処理装置１０は、報知が必要な場合に適切に運転者に対して障害物を報知することができる。なお、上述したビゲーション装置に対する操作の有無を切替条件とする場合は一例に過ぎず、画像処理装置１０はかかる切替条件以外の条件に基づいて報知画面２００への切替を判定することができる。以下、画像処理装置１０を含む周辺監視システム１についてさらに説明する。
＜２．周辺監視システム１＞
図２は、本発明の実施形態に係る周辺監視システム１の構成例を示す図である。図２に示すように、周辺監視システム１は、画像処理装置１０と、撮像装置２０と、ナビゲーション装置３０と、検知器４０と、センサ部５０とを備える。
＜２．１．撮像装置２０＞
撮像装置２０は、図３に示すように、車両Ｃの前方に配置される前方撮像部２０ａと、車両Ｃの後方に配置される後方撮像部２０ｂと、車両Ｃの右方に配置される右方撮像部２０ｃと、車両Ｃの左方に配置される左方撮像部２０ｄとを備える。なお、図３は、撮像部２０ａ〜２０ｄの配置例を示す図である。
撮像部２０ａ〜２０ｄは、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を備え、かかる撮像素子によって撮像した車両Ｃ周辺の画像（以下、撮像画像と記載する）を画像処理装置１０へ出力する。なお、撮像部２０ａ〜２０ｄは、車両Ｃの前方、後方、右方および左方をそれぞれ撮像方向として撮像を行う。
また、撮像部２０ａ〜２０ｄのレンズには魚眼レンズなどの広角レンズが採用され、各撮像部２０ａ〜２０ｄは１８０度以上の画角を有しており、これらの撮像部２０ａ〜２０ｄを利用することで、車両Ｃ全周囲を撮影することが可能である。
＜２．２．ナビゲーション装置３０＞
図２のナビゲーション装置３０は、表示部３１と、音声出力部３２と、入力操作部３３と、制御部３４とを備える。ナビゲーション装置３０は、車両Ｃの運転者が運転する際のナビゲーション機能やオーディオ機能などを有する。また、ナビゲーション装置３０は、表示部３１に表示している画面の情報や、入力操作部３３が受け付けた入力操作に関する情報を画像処理装置１０に出力する。
表示部３１は、ＬＣＤ（Liquid Crystal Display）を備え、制御部３４の指示に従って例えばナビ画像１００（図１参照）やテレビジョン放送信号に基づく画像（以下、ＴＶ画像と記載する）を表示する。また、表示部３１は、後述する撮像画像、仮想視点画像または合成画像を表示する。
音声出力部３２は、スピーカを備え、制御部３４の指示に従って例えばナビゲーション機能の音声案内や、テレビジョン放送信号に基づく音声を出力する。また、入力操作部３３は、操作者からのナビゲーション装置３０に対する入力操作を受け付ける。なお、表示部３１が例えばタッチパネル式ディスプレイである場合、表示部３１が入力操作部３３の機能を備えるようにしてもよい。
制御部３４は、ナビゲーション装置３０が備える各部を制御する。制御部３４は、例えば入力操作部３３が受け付けた入力操作に基づいて、表示部３１に所定の画像を表示させたり、音声出力部３２に音声データを出力させたりする。
＜２．３．検知器４０＞
検知器４０は、図３に示すように、車両Ｃの前方右側に配置される右前側検知器４０ａと、車両Ｃの前方左側に配置される左前側検知器４０ｂと、車両Ｃの後方右側に配置される右後側検知器４０ｃと、車両Ｃの後方左側に配置される左後側検知器４０ｄとを備える。
検知器４０ａ〜４０ｄは、それぞれクリアランスソナーであり、各クリアランスソナーの検知範囲Ｒ１〜Ｒ４に存在する物体を障害物として検知する。検知器４０ａ〜４０ｄは、検知した障害物を画像処理装置１０へ通知する。なお、検知器４０ａ〜４０ｄはクリアランスソナーといった超音波式のセンサに限らず、例えばミリ波レーダーといった電波式のセンサであってもよい。
また、検知器４０の配置も図３に示す例に限られず、例えばバックソナーのように、車両Ｃの後方に設けるようにしてもよい。さらに検知器４０ａ〜４０ｄの個数は４つ以上であってもよい。
＜２．４．センサ部５０＞
センサ部５０は、シフトセンサ５１や車速センサ５２など、車両Ｃの状態を検出する各種センサを備える。シフトセンサ５１は、シフトレバー（図示せず）のポジションを検出する。シフトレバーのポジションとしては、車両Ｃが完全に停車している「パーキング」や車両Ｃが後退している「リア」等が挙げられる。車速センサ５２は、車両Ｃの走行速度（以下、車速と記載する）を検出する。センサ部５０は、各センサの検出結果を画像処理装置１０に出力する。
＜２．５．画像処理装置１０＞
画像処理装置１０は、画像制御部１１（「表示制御部」の一例に相当）と、判定部１２と、記憶部１３とを備える。
＜２．５．１．画像制御部１１＞
画像制御部１１は、撮像装置２０から取得した画像データに対して種々の画像処理を行い、表示部３１に表示する撮像画像、仮想視点画像または合成画像を生成する。
画像制御部１１は、撮像部２０ａ〜２０ｄからそれぞれ撮像画像のデータを取得する。画像制御部１１は、表示部３１に表示させる画像の種類に応じて、撮像部２０ａ〜２０ｄの撮像画像の中から一つ以上の画像を選択する。画像制御部１１は、判定部１２の通知に応じて一つ以上の撮像画像を選択する。
画像制御部１１は、複数の撮像画像に対して座標変換処理を行い、仮想視点から見た画像である仮想視点画像を生成する。画像制御部１１は、座標変換処理として、例えば撮像画像を所定の投影面に投影（マッピング）し、所定の投影面に投影された撮像画像のうち仮想視点から見て所定の視野角に含まれる領域の画像を仮想視点画像とする。
画像制御部１１は、例えば撮像部２０ａ〜２０ｄの撮像画像に含まれるデータの位置と、所定の投影面の位置との対応関係を示すテーブルを記憶しており、かかるテーブルを用いて、撮像部２０ａ〜２０ｄの撮像画像に含まれるデータを所定の投影面の対応する位置に投影する。
かかる所定の投影面は、例えば、略半球状（例えば、お椀形状）をしており、その中心領域（例えば、お椀の底部分）は車両Ｃの位置であり、車両Ｃの位置の外側（例えば、略半球状の外周領域）は、車両Ｃの周辺の領域に相当する。なお、所定の投影面は、例えば、曲面でなく平面であってもよい。
また、画像制御部１１は、仮想視点画像に所定の報知画像を重畳させた合成画像を生成する。所定の報知画像は、例えば検知器４０の検知範囲Ｒ１〜Ｒ４のいずれかに相当する画像である。画像制御部１１は、検知器４０が障害物を検知した方向（前方あるいは後方）の検知範囲Ｒ１〜Ｒ４を示す報知画像を仮想視点画像に重畳させて合成画像を生成する。
図４は、画像制御部１１が生成する報知画像２００の一例を示す図である。図４に示すように、検知器４０が車両Ｃ前方の人Ｈを障害物として検出した場合、画像制御部１１は、車両Ｃ前方に設置される検知器４０ａ、４０ｂの検知範囲Ｒ１、Ｒ２に相当する画像４１ａ、４１ｂを報知画像として仮想視点画像６００に重畳させた合成画像３００を報知画面２００として生成する。
なお、仮想視点画像６００上における画像４１ａ、４１ｂは、実際の検知範囲Ｒ１、Ｒ２と必ずしも一致している必要はない。合成画像３００が、障害物が車両Ｃの周囲のどこに存在するかを示す画像であればよく、例えば矢印など、報知画像が検知範囲Ｒ１、Ｒ２に相当する画像４１ａ、４１ｂでなくてもよい。
なお、画像制御部１１が生成する報知画面２００は図４に示す例に限らない。例えば、図５に示すように、検知した障害物に対して枠で囲むなど強調表示を施して表示しても良い。この場合、画像制御部１１は、報知画像４１ａ、４１ｂを重畳した合成画像３００と、障害物を強調表示した前方の撮像画像５００とを並べて報知画面２００を生成してもよい。
また、仮想視点画像６００に対して報知画像４１ａ、４１ｂを重畳させる位置は図４および図５に示す例に限らない。例えば、画像制御部１１は、合成画像３００に含まれる車両画像上に報知画像を重畳させてもよい。
このように、画像制御部１１は、判定部１２の通知に応じて合成画像３００や撮像画像５００、あるいは仮想視点画像６００を生成し、表示部３１に表示させる。
＜２．５．２．判定部１２＞
判定部１２は、合成画像３００を含む仮想視点画面以外の画面が表示部３１に表示されている場合において、検知器４０によって障害物が検知された場合、障害物の存在を報知する報知画面２００への切替条件が成立するか否かを判定する。判定部１２は、かかる切替条件が成立すると判定された場合に、検知器４０による検知結果および報知画面２００を表示する旨を画像制御部１１に通知する。
また、判定部１２は、表示部３１に報知画面２００が表示されている場合に、かかる報知画面２００の表示を終了する終了条件が成立するか否かを判定する。判定部１２は、かかる終了条件が成立すると判定した場合、報知画面２００の表示を終了するよう画像制御部１１に通知する。
＜２．５．２．１．切替条件の例＞
判定部１２は、例えば複数の表示条件それぞれが成立するか否か判定し、全ての表示条件が成立している場合に切替条件が成立すると判定する。図６を用いてかかる表示条件について説明する。図６は、各表示条件の成否を示す表示条件テーブルを示す図である。
上述したように、判定部１２が判定する表示条件の一例として、ナビゲーション装置３０に対する入力操作の有無がある。判定部１２は、例えば検知器４０が障害物を検出して所定期間経過するまでに、ナビゲーション装置３０に対する入力操作が行われなかった場合に、入力操作がないと判定する。
すなわち、判定部１２は、「入力操作ＯＦＦ」の条件が成立しているとし、表示条件テーブルの「入力操作ＯＦＦ」を「１」とする。一方、判定部１２は、例えば検知器４０が障害物を検出して所定期間経過するまでに、ナビゲーション装置３０に対する入力操作が行われた場合に、入力操作があったと判定し、表示条件テーブルの「入力操作ＯＦＦ」を「０」とする。
なお、ここでは、ナビゲーション装置３０に対する入力操作の有無を、障害物を検出した後の所定期間において判定しているが、例えば障害物を検出する前の所定期間において判定してもよい。すなわち、判定部１２は、例えば検知器４０が障害物を検出する前までの所定期間内に、ナビゲーション装置３０に対する入力操作が行われなかった場合に、入力操作がないと判定する。
また、判定部１２は、表示条件の一例として、表示部３１がＴＶ画像を含むＴＶ画面を表示しているか否かを判定する。判定部１２は、例えば表示部３１にＴＶ画面が表示されていない場合に、表示条件が成立していると判定し、表示条件テーブルの「ＴＶ画面ＯＦＦ」を「１」とする。一方、判定部１２は、例えば表示部３１にＴＶ画面が表示されている場合に、表示条件が成立していないと判定し、表示条件テーブルの「ＴＶ画面ＯＦＦ」を「０」とする。
このように、表示部３１にＴＶ画面が表示されている場合、運転者はＴＶ画面を視聴しており、車両Ｃの運転を行っていないと考えられる。この場合、運転者に障害物を報知しなくてもよいとして、判定部１２は報知画面２００に切り替えないと判定する。これにより、運転者は、報知画面２００により阻害されることなくＴＶを視聴することができる。また、ＴＶ画面が表示部に表示されていない場合に、報知部１２が報知画面２００に切り替えると判定することにより、運転者に適切に障害物を報知することができる。
判定部１２は、例えば、シフトレバーのポジションに応じて表示条件が成立しているか否かを判定する。具体的に、判定部１２は、例えばシフトレバーのポジションがパーキングおよびリア以外のポジションである場合に、表示条件が成立していると判定し、表示条件テーブルの「シフトレバーがＰ、Ｒ以外」を「１」とする。一方、判定部１２は、例えばシフトレバーがパーキングおよびリアのポジションにある場合に、表示条件が成立していないと判定し、表示条件テーブルの「シフトレバーがＰ、Ｒ以外」を「０」とする。
シフトレバーが「Ｐ」、すなわちパーキングのポジションにある場合は、車両Ｃは停止している。この場合、車両Ｃが障害物に衝突することはないため、判定部１２は報知画面２００に切り替えないと判定する。したがって、判定部１２は車両Ｃが検出した障害物に衝突する可能性がある場合に報知画面２００に切り替えると判定することになり、運転者に適切に障害物を報知することができる。
また、シフトレバーが「Ｒ」、すなわちリアのポジションにある場合は、車両Ｃが後退しており、運転者が車両Ｃの周囲に十分注意を払っていると考えられる。あるいは、表示部３１には仮想視点画面が表示され、障害物がすでに運転者に報知されている。そこで、判定部１２は、かかる場合には報知画面２００に切り替えないと判定する。このように、運転者が車両Ｃ周囲に十分注意を払っていない、あるいは障害物を運転者に報知していない場合に、判定部１２が報知画面２００に切り替えると判定することで、運転者に適切に障害物を報知することができる。
判定部１２は、例えば、車両Ｃの車速に応じて表示条件が成立しているか否かを判定する。具体的に、判定部１２は、例えば車両Ｃの速度が０ｋｍ／ｈよりも速い第１速度Ｖｔｈ１以上であり、かつ、第１速度Ｖｔｈ１よりも速い第２速度Ｖｔｈ２以下である場合に、表示条件が成立していると判定し、表示条件テーブルの「車速が所定範囲内」を「１」とする。一方、判定部１２は、車速が第１速度Ｖｔｈ１より小さい、または、第２速度Ｖｔｈ２より大きい場合に、表示条件が成立していないと判定し、表示条件テーブルの「車速が所定範囲内」を「０」とする。
例えば、車速が第１速度Ｖｔｈ１より小さい場合、車両Ｃはほぼ停止しており、障害物に衝突する可能性は小さい。また、車速が第２速度Ｖｔｈ２より大きい場合、運転者は運転に集中しており、かかる場合に報知画面２００に切り替えると運転者の運転を阻害してしまう恐れがある。そこで、判定部１２は、車速が所定範囲外である場合には報知画面２００に切り替えないと判定する。このように、車速が所定範囲内である場合に判定部１２が報知画面２００に切り替えると判定することで、運転者に適切に障害物を報知することができる。
判定部１２は、例えば上述した表示条件が全て成立している場合、すなわち表示条件テーブルの各表示条件が全て「１」である場合に、切替条件が成立していると判定する。一方、図６に示す例では、「シフトレバーがＰ，Ｒ以外」が「０」であり、全ての表示条件が成立していないため、判定部１２は、切替条件が成立していないと判定する。
なお、ここでは４つの表示条件を示したが、表示条件はこれに限らない。例えば、ナビゲーション装置３０が音声案内を行っている場合は、ナビゲーション装置３０の案内を阻害する恐れがあるとして、判定部１２が報知画面２００に切り替えないと判定するようにしてもよい。表示条件は４つ以上であってもよく、４つ以下であってもよい。また、運転者が報知画面２００に切り替える条件を選択するようにしてもよい。
＜２．５．２．２．終了条件の例＞
判定部１２は、例えば複数の表示停止条件それぞれが成立するか否か判定し、全ての表示停止条件が成立している場合に終了条件が成立すると判定し、画像制御部１１に報知画面２００の終了を指示する。
図７〜図９を用いて、かかる表示停止条件について説明する。図７は、各表示停止条件の成否を示す表示停止条件テーブルを示す図である。図８は、表示停止条件のうち停止ＯＲ条件の成否を示す停止ＯＲ条件テーブルを示す図である。図９は、停止ＯＲ条件の説明図である。
判定部１２は、複数の表示停止条件の一つとして、表示部３１が検知器４０の検出結果を表示する報知画面２００であるか否かを判定する。判定部１２は、表示部３１が報知画面２００を表示している場合に、「報知画面表示」の表示停止条件が成立しているとし、図７に示す表示停止条件テーブルの「報知画面表示」を「１」とする。一方、表示部３１が報知画面２００を表示していない場合に、「報知画面表示」の表示停止条件が成立していないとし、表示停止条件テーブルの「報知画面表示」を「０」とする。
また、判定部１２は、シフトレバーのポジションに応じて表示停止条件が成立しているか否かを判定する。具体的に、判定部１２は、例えばシフトレバーのポジションがパーキングおよびリア以外のポジションである場合に、表示停止条件が成立していると判定し、表示停止条件テーブルの「シフトレバーがＰ、Ｒ以外」を「１」とする。一方、判定部１２は、例えばシフトレバーがパーキングおよびリアのポジションにある場合に、表示停止条件が成立していないと判定し、表示条件テーブルの「シフトレバーがＰ、Ｒ以外」を「０」とする。
また、判定部１２は、表示停止条件としてＯＲ条件が成立しているか否かを判定する。判定部１２は、複数の停止ＯＲ条件の少なくとも一つが成立している場合にＯＲ条件が成立していると判定する。
判定部１２は、表示停止条件の一例として、検知器４０のスイッチがＯＦＦであるか否かを判定する。判定部１２は検知器４０のスイッチがＯＦＦである場合に、検知器４０のスイッチがＯＦＦであると判定し、図８に示す停止ＯＲ条件テーブルの「検知器スイッチＯＦＦ」を「１」とする。一方、判定部１２は検知器４０のスイッチがＯＮである場合に、検知器４０のスイッチがＯＦＦでないと判定し、停止ＯＲ条件テーブルの「検知器スイッチＯＦＦ」を「０」とする。
検知器４０のスイッチは、例えば運転者がＯＮ／ＯＦＦを切り替えることができる。そこで、例えば運転者によって検知器４０のスイッチがＯＦＦに切り替えられた場合、障害物の検出は不要であるとし、判定部１２は、報知画面２００の表示を終了すると判定する。
また、判定部１２は、表示停止条件の一例として、検知器４０によって障害物が検知されない期間が所定時間Ｐ１を超えたか否かを判定する。判定部１２は、検知器４０によって障害物が所定期間検知されない場合に、障害物が検知されてから所定時間を超えたと判定し、停止ＯＲ条件テーブルの「障害物の検知所定期間なし」を「１」とする。一方、判定部１２は、所定期間内に障害物が検知された場合に障害物が検知されてから所定時間を超えていない判定し、停止ＯＲ条件テーブルの「障害物の検知所定期間なし」を「０」とする。
このように、所定期間障害物が検知されない場合は、車両Ｃの周囲に障害物が存在しないとして、判定部１２は、報知画面２００の表示を終了すると判定する。
判定部１２は、表示停止条件の一例として、車両Ｃの速度が第１速度Ｖｔｈ１未満である期間が所定時間を超えたか否かを判定する。判定部１２は、車速が第１速度Ｖｔｈ１より小さい期間が所定時間を超えた場合に、停止ＯＲ条件テーブルの「所定期間車速が第１速度Ｖｔｈ１未満」を「１」とする。一方、判定部１２は、車速が第１速度Ｖｔｈ１より小さい期間が所定時間以下である場合に、停止ＯＲ条件テーブルの「所定期間車速が第１速度Ｖｔｈ１未満」を「０」とする。
判定部１２は、表示停止条件の一例として、車両Ｃの速度が第２速度Ｖｔｈ２よりも速い第３速度Ｖｔｈ３を超えたか否かを判定する。判定部１２は、車速が第３速度Ｖｔｈ３を超えた場合に、停止ＯＲ条件テーブルの「車速が第３速度Ｖｔｈ３より大きい」を「１」とする。一方、判定部１２は、車速が第３速度Ｖｔｈ３より小さい場合に、停止ＯＲ条件テーブルの「車速が第３速度Ｖｔｈ３より大きい」を「０」とする。
図９を用いて、車速と判定部１２による表示条件および表示停止条件の判定との関係について説明する。図９では、判定部１２が報知画面２００を表示する、すなわち表示条件が成立すると判定する場合を「ＯＮ」として、一方報知画面２００を表示しない、すなわち表示停止条件が成立すると判定する場合を「ＯＦＦ」として説明する。
図９の上図に、車両Ｃの速度の時間変化を示し、下図に判定部１２の判定結果を示す。図９の上図に示すように車両Ｃの車速が変化したとすると、判定部１２は、車速が第１速度Ｖｔｈ１以上となると、「ＯＮ」、すなわち報知画面２００を表示すると判定する。判定部１２は、車速が第３速度Ｖｔｈ３を超えると、「ＯＦＦ」、すなわち報知画面２００を表示しないと判定する。
また、判定部１２は、車速が第２速度Ｖｔｈ２以下となると「ＯＮ」、すなわち報知画面２００を表示すると判定する。判定部１２は、車速が第１速度Ｖｔｈ１小さい期間が所定期間Ｐ１を経過すると、「ＯＦＦ」、すなわち報知画面２００を表示しないと判定する。
このように、報知画面２００を表示すると判定する速度（第２速度Ｖｔｈ２）と、報知画面２００の表示を終了すると判定する速度（第３速度Ｖｔｈ３）とを異なる値とすることで、例えば図９の期間Ｔ１のように、車速が頻繁に変わる場合において、報知画面２００の表示と終了とが頻繁に切り替わらないようにすることができる。
また、車速が第１速度Ｖｔｈ１未満である時間が所定期間Ｐ１継続した場合に報知画面２００の表示を終了する。これにより、例えば図９の期間Ｔ２のように車速が頻繁に変わる場合において、報知画面２００の表示と終了とが頻繁に切り替わらないようにすることができる。
判定部１２は、例えば上述した停止ＯＲ条件の少なくとも一つが成立している場合、すなわち図８の停止ＯＲ条件テーブルの各停止ＯＲ条件の少なくとも一つが「１」である場合に、ＯＲ条件が成立していると判定し、図７に示すように表示停止条件テーブルの「ＯＲ条件成立」を「１」とする。
また、判定部１２は、例えば上述した表示停止条件が全て成立している場合、すなわち表示停止条件テーブルの各表示停止条件が全て「１」である場合に、終了条件が成立していると判定する。図７に示す例では、各表示停止条件が全て「１」であるため、判定部１２は終了条件が成立していると判定し、画像制御部１１に報知画面２００の終了を指示する。
なお、ここでは表示停止条件として３つの条件を、停止ＯＲ条件として４つの条件を示したが、表示停止条件および停止ＯＲ条件はこれに限らない。例えば、報知画面２００を表示部３１に表示している場合において、ナビゲーション装置３０に対して入力操作が行われると、運転者が報知画面２００を確認したとして、判定部１２が報知画面２００の表示を終了すると判定するようにしてもよい。表示停止条件および停止ＯＲ条件の数は４つあるいは３つ以上であってもよく、４つあるいは３つ以下であってもよい。また、運転者が報知画面２００を終了する条件を選択するようにしてもよい。
また、図７に示す表示停止条件全てを満たした場合に、判定部１２は報知画面２００の表示を終了するとしたが、これに限らない。例えば、図７の「シフトレバーがＰ、Ｒ以外」が「０」、すなわちシフトレバーがパーキングまたはリアに変更になった場合は、ＯＲ条件の成否に関わらず報知画面２００の表示を終了するようにしてもよい。あるいは、報知画面２００を表示して所定期間が経過した場合に報知画面２００の表示を終了するようにしてもよい。
＜２．５．３．記憶部１３＞
記憶部１３は、例えば表示条件テーブルと、表示停止条件テーブルと、停止ＯＲ条件テーブルを記憶する。また、記憶部１３は、判定部１２が行う切替条件が成立するか否かの判定や終了条件が成立するか否かの判定に必要な情報を記憶する。記憶部１３は、例えばＲＡＭ（Random Access Memory)、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置である。
＜３．報知処理＞
続いて、画像処理装置１０が行う報知処理について説明する。画像処理装置１０は、報知開始処理および報知終了処理を含む報知処理を実行する。
＜３．１．報知開始処理＞
図１０は、画像処理装置１０が行う報知開始処理を示すフローチャートである。まず、画像処理装置１０は、検知器４０が障害物を検出したか否かを判定する（ステップＳ１０１）。検知器４０が障害物を検出していないと判定した場合（ステップＳ１０１；Ｎｏ）、画像処理装置１０はステップＳ１０１に戻り障害物の検出を待つ。
一方、検知器４０が障害物を検出した場合（ステップＳ１０１；Ｙｅｓ）、画像処理装置１０は、合成画像３００を含む仮想視点画面を表示部３１に表示しているか否か判定する（ステップＳ１０２）。表示部３１に合成画像３００を含む仮想視点画面を表示している場合（ステップＳ１０２；Ｙｅｓ）、画像処理装置１０は、ステップＳ１０４に進む。
表示部３１に合成画像３００を含む仮想視点画面を表示していない場合（ステップＳ１０２；Ｎｏ）、画像処理装置１０は、切替条件が成立しているか否か判定する（ステップＳ１０３）。切替条件が成立していない場合（ステップＳ１０３；Ｎｏ）、画像処理装置１０は、報知画面２００への切替は不要であると判定し、報知開始処理を終了する。
切替条件が成立している場合（ステップＳ１０３；Ｙｅｓ）、画像処理装置１０は、合成画像３００を生成し（ステップＳ１０４）、生成した合成画像３００に報知画像を重畳させた報知画面２００を表示部３１に表示させる（ステップＳ１０５）。
なお、例えば車両Ｃの車速が変化した、シフトレバーの位置が変化した等、表示条件が変化したタイミングで画像処理装置１０が表示条件テーブルをあらかじめ更新しておき、ステップＳ１０３で画像処理装置１０がかかる表示条件テーブルを参照することで切替条件の成否判定を行う。あるいは、画像処理装置１０は、ステップＳ１０３を実行するタイミングで各表示条件全てを判定することで、切替条件が成立するか否かを判定してもよい。
また、画像処理装置１０は、ステップＳ１０２とステップＳ１０３を入れ替えてもよく、また同時に実行するようにしてもよい。
＜３．２．報知終了処理＞
図１１は、画像処理装置１０が行う報知終了処理を示すフローチャートである。画像処理装置１０は、報知開始処理を実行した後に報知終了処理を実行する。
まず、画像処理装置１０は、表示部３１への報知画面２００の表示を維持する（ステップＳ２０１）。次に、画像処理装置１０は、終了条件が成立するか否かを判定する（ステップＳ２０２）。終了条件が成立しないと判定した場合（ステップＳ２０２；Ｎｏ）、ステップＳ２０１に戻り、表示部３１への報知画面２００の表示を維持する。
一方、終了条件が成立すると判定した場合（ステップＳ２０２；Ｙｅｓ）、画像処理装置１０は、表示部３１へ報知画面２００の表示を終了するよう指示する（ステップＳ２０３）。表示部３１は、画像処理装置１０から報知画面２００の表示を終了する指示を受け取ると、例えば報知画面２００を表示する直前に表示していた画面を表示する。あるいは、画像処理装置１０が、表示部３１に表示させる画像を決定するようにしてもよい。
なお、例えば車両Ｃの車速が変化した、シフトレバーの位置が変化した等、表示停止条件および停止ＯＲ条件が変化したタイミングで画像処理装置１０が表示停止条件テーブルおよび停止ＯＲ条件テーブルをあらかじめ更新しておき、ステップＳ２０２で画像処理装置１０が、表示停止条件テーブルを参照することで終了条件の成否判定を行う。あるいは、表示停止条件テーブルおよび停止ＯＲ条件テーブルを更新したタイミングで画像処理装置１０がステップＳ２０２を実行するようにしてもよい。または、画像処理装置１０は、ステップＳ２０２を実行するタイミングで、各表示停止条件全てを判定し終了条件が成立するか否かを判定してもよい。
以上のように、画像処理装置１０は、表示部３１に仮想視点画面以外の画面が表示されている場合において、報知画面２００への切替条件が成立する場合に、表示部３１の表示を報知画面２００へ切り替える。これにより、画像処理装置１０は、報知が必要な場合に適切に運転者に対して障害物を報知することができる。
＜４．変形例＞
上述した実施形態では、画像処理装置１０は、検知器４０が障害物を検知してから、かかる障害物を報知するか否か判定しているが、これに限らない。例えば、画像処理装置１０は、表示部３１が合成画像３００を含む仮想視点画面を表示しておらず、かつ切替条件が成立する場合に、障害物を報知する報知モードであるとする。画像処理装置１０は、検知モードにおいて、検知器４０から障害物を検知したと通知があった場合に、運転者に障害物を報知する。
このように、画像処理装置１０があらかじめ報知モードか否かを切り替えることで、障害物を検出したタイミングで切替条件の成否を判定する必要がなく、検知器４０が障害物を検知したタイミングですぐに障害物を運転者に報知することができる。
また、画像処理装置１０が報知モードである場合に、表示部３１に報知画面２００を表示している、すなわち図７の「報知画面表示」の条件を除く表示停止条件が成立していると判定した場合に、検知モードを終了する。
このように、表示条件とは異なる表示停止条件が成立している場合に検知モードを終了することで、検知モードの開始と終了が短期間に頻繁に発生することを抑制することができる。
さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。
１ 周辺監視システム
１０ 画像処理装置
１１ 画像制御部
１２ 判定部
１３ 記憶部
２０ 撮像装置
３０ ナビゲーション装置
３１ 表示部
３２ 音声出力部
３３ 入力操作部
３４ 制御部
４０ 検知器
５０ センサ部
５１ シフトセンサ
５２ 車速センサ

Claims (10)

  1. 撮像装置から入力される画像に基づき、車両周囲を仮想視点から見た合成画像を生成して表示部に表示させる表示制御部と、
    前記合成画像を含む仮想視点画面以外の画面が前記表示部に表示されている場合において、車両周囲の障害物を検知する検知器によって前記障害物が検知された場合、前記障害物の存在を報知する報知画面への切替条件が成立するか否かを判定する判定部と
    を備え、
    前記表示制御部は、
    前記判定部によって前記切替条件が成立すると判定された場合に、前記仮想視点画面に所定の報知画像を重畳させた前記報知画面を前記表示部に表示させ、
    前記表示部は、
    操作部を有する表示装置に設けられており、
    前記判定部は、
    前記検知器によって前記障害物が検知されてからの所定期間において前記操作部への操作がない場合に、前記切替条件が成立すると判定すること
    を特徴とする画像処理装置。
  2. 撮像装置から入力される画像に基づき、車両周囲を仮想視点から見た合成画像を生成して表示部に表示させる表示制御部と、
    前記合成画像を含む仮想視点画面以外の画面が前記表示部に表示されている場合において、車両周囲の障害物を検知する検知器によって前記障害物が検知された場合、前記障害物の存在を報知する報知画面への切替条件が成立するか否かを判定する判定部と
    を備え、
    前記表示制御部は、
    前記判定部によって前記切替条件が成立すると判定された場合に、前記仮想視点画面に所定の報知画像を重畳させた前記報知画面を前記表示部に表示させ、
    前記表示部は、
    操作部を有する表示装置に設けられており、
    前記判定部は、
    前記検知器によって前記障害物が検知されるまでの所定期間において前記操作部への操作がない場合に、前記切替条件が成立すると判定すること
    を特徴とする画像処理装置。
  3. 前記判定部は、
    前記合成画像を含む仮想視点画面以外の画面が、テレビジョン放送信号に基づく画像を含む画面以外の画面である場合に、前記切替条件が成立すると判定すること
    を特徴とする請求項１または２に記載の画像処理装置。
  4. 前記判定部は、
    シフトレバーのポジションがパーキングおよびリア以外のポジションである場合に、前記切替条件が成立すると判定すること
    を特徴とする請求項１〜３のいずれか一つに記載の画像処理装置。
  5. 前記判定部は、
    車両の速度が０ｋｍ／ｈよりも速い第１速度以上であり、かつ、前記第１速度よりも速い第２速度以下である場合に、前記切替条件が成立すると判定すること
    を特徴とする請求項１〜４のいずれか一つに記載の画像処理装置。
  6. 前記判定部は、
    前記報知画面の表示中において、前記車両の速度が前記第２速度よりも速い第３速度を超えた場合に、前記表示制御部に対して前記報知画面の表示の終了を指示すること
    を特徴とする請求項５に記載の画像処理装置。
  7. 前記判定部は、
    前記報知画面の表示中において、前記車両の速度が前記第１速度未満である期間が所定時間を超えた場合に、前記表示制御部に対して前記報知画面の表示の終了を指示すること
    を特徴とする請求項５に記載の画像処理装置。
  8. 前記判定部は、
    前記報知画面の表示中において、前記検知器によって前記障害物が検知されない期間が所定時間を超えた場合に、前記表示制御部に対して前記報知画面の表示の終了を指示すること
    を特徴とする請求項１〜５のいずれか一つに記載の画像処理装置。
  9. 撮像装置から入力される画像に基づき、車両周囲を仮想視点から見た合成画像を生成して操作部を有する表示装置に設けられた表示部に表示させる表示制御工程と、
    前記合成画像を含む仮想視点画面以外の画面が前記表示部に表示されている場合において、車両周囲の障害物を検知する検知器によって前記障害物が検知された場合に、前記障害物の存在を報知する報知画面への切替条件が成立するか否かを判定する判定工程と
    を含み、
    前記表示制御工程は、
    前記判定工程において前記切替条件が成立すると判定した場合に、前記仮想視点画面に所定の報知画像を重畳させた前記報知画面を前記表示部に表示させ、
    前記判定工程は、
    前記検知器によって前記障害物が検知されてからの所定期間において前記操作部への操作がない場合に、前記切替条件が成立すると判定すること
    を特徴とする画像処理方法。
  10. 撮像装置から入力される画像に基づき、車両周囲を仮想視点から見た合成画像を生成して操作部を有する表示装置に設けられた表示部に表示させる表示制御工程と、
    前記合成画像を含む仮想視点画面以外の画面が前記表示部に表示されている場合において、車両周囲の障害物を検知する検知器によって前記障害物が検知された場合に、前記障害物の存在を報知する報知画面への切替条件が成立するか否かを判定する判定工程と
    を含み、
    前記表示制御工程は、
    前記判定工程において前記切替条件が成立すると判定した場合に、前記仮想視点画面に所定の報知画像を重畳させた前記報知画面を前記表示部に表示させ、
    前記判定工程は、
    前記検知器によって前記障害物が検知されるまでの所定期間において前記操作部への操作がない場合に、前記切替条件が成立すると判定すること
    を特徴とする画像処理方法。
JP2015103861A 2015-05-21 2015-05-21 画像処理装置および画像処理方法 Active JP6224029B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2015103861A JP6224029B2 (ja) 2015-05-21 2015-05-21 画像処理装置および画像処理方法
CN201610308370.0A CN106169061B (zh) 2015-05-21 2016-05-11 图像处理设备和图像处理方法
US15/155,496 US10579884B2 (en) 2015-05-21 2016-05-16 Image processing device and image processing method
EP16169996.2A EP3096306A3 (en) 2015-05-21 2016-05-17 Image processing device and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015103861A JP6224029B2 (ja) 2015-05-21 2015-05-21 画像処理装置および画像処理方法

Publications (2)

Publication Number Publication Date
JP2016218795A JP2016218795A (ja) 2016-12-22
JP6224029B2 true JP6224029B2 (ja) 2017-11-01

Family

ID=56087116

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015103861A Active JP6224029B2 (ja) 2015-05-21 2015-05-21 画像処理装置および画像処理方法

Country Status (4)

Country Link
US (1) US10579884B2 (ja)
EP (1) EP3096306A3 (ja)
JP (1) JP6224029B2 (ja)
CN (1) CN106169061B (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6477562B2 (ja) * 2016-03-18 2019-03-06 株式会社デンソー 情報処理装置
EP3299241B1 (en) * 2016-09-26 2021-11-10 Volvo Car Corporation Method, system and vehicle for use of an object displaying device in a vehicle
JP2018110328A (ja) * 2017-01-04 2018-07-12 株式会社デンソーテン 画像処理装置および画像処理方法
JP6501805B2 (ja) * 2017-01-04 2019-04-17 株式会社デンソーテン 画像処理装置および画像処理方法
US11100729B2 (en) * 2017-08-08 2021-08-24 Panasonic Intellectual Property Corporation Of America Information processing method, information processing system, and program
CN109955848B (zh) * 2017-12-25 2021-06-11 郑州宇通客车股份有限公司 一种车辆停靠自动运行控制方法和控制系统

Family Cites Families (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6885968B2 (en) * 2000-05-08 2005-04-26 Automotive Technologies International, Inc. Vehicular exterior identification and monitoring system-agricultural product distribution
JPH09159468A (ja) * 1995-12-08 1997-06-20 Matsushita Electric Ind Co Ltd 走行位置表示装置
JP3992870B2 (ja) * 1999-04-16 2007-10-17 パイオニア株式会社 情報再生装置
US7366595B1 (en) * 1999-06-25 2008-04-29 Seiko Epson Corporation Vehicle drive assist system
JP2001216520A (ja) * 2000-01-31 2001-08-10 Yazaki Corp 車両用周辺監視装置
JP4354085B2 (ja) * 2000-05-09 2009-10-28 本田技研工業株式会社 車両用ヘッドアップディスプレイ装置
US7145519B2 (en) * 2002-04-18 2006-12-05 Nissan Motor Co., Ltd. Image display apparatus, method, and program for automotive vehicle
EP1521059A1 (en) * 2003-09-30 2005-04-06 Mazda Motor Corporation Route guidance apparatus, method and program
US7561966B2 (en) * 2003-12-17 2009-07-14 Denso Corporation Vehicle information display system
JP4657765B2 (ja) * 2005-03-09 2011-03-23 三菱自動車工業株式会社 ノーズビューシステム
EP1916846B1 (en) * 2005-08-02 2016-09-14 Nissan Motor Company Limited Device and method for monitoring vehicle surroundings
JP4353162B2 (ja) * 2005-09-26 2009-10-28 トヨタ自動車株式会社 車輌周囲情報表示装置
JP4883977B2 (ja) * 2005-10-05 2012-02-22 アルパイン株式会社 車両用画像表示装置
JP4934308B2 (ja) * 2005-10-17 2012-05-16 三洋電機株式会社 運転支援システム
JP4887980B2 (ja) * 2005-11-09 2012-02-29 日産自動車株式会社 車両用運転操作補助装置および車両用運転操作補助装置を備えた車両
JP4846426B2 (ja) * 2006-04-20 2011-12-28 パナソニック株式会社 車両周囲監視装置
US7617042B2 (en) * 2006-06-30 2009-11-10 Microsoft Corporation Computing and harnessing inferences about the timing, duration, and nature of motion and cessation of motion with applications to mobile computing and communications
JP4743054B2 (ja) * 2006-09-06 2011-08-10 株式会社デンソー 車両のドライブレコーダ
JP4969269B2 (ja) * 2007-02-21 2012-07-04 アルパイン株式会社 画像処理装置
JP5088669B2 (ja) * 2007-03-23 2012-12-05 株式会社デンソー 車両周辺監視装置
JP4325705B2 (ja) * 2007-06-15 2009-09-02 株式会社デンソー 表示システム及びプログラム
US8332097B2 (en) * 2007-12-14 2012-12-11 Denso International America, Inc. Method of detecting an object near a vehicle
JP5345350B2 (ja) * 2008-07-30 2013-11-20 富士重工業株式会社 車両の運転支援装置
US8229618B2 (en) * 2008-09-11 2012-07-24 Deere & Company Leader-follower fully autonomous vehicle with operator on side
KR100966288B1 (ko) * 2009-01-06 2010-06-28 주식회사 이미지넥스트 주변 영상 생성 방법 및 장치
JP2010183170A (ja) * 2009-02-03 2010-08-19 Denso Corp 車両用表示装置
JP2010215027A (ja) * 2009-03-13 2010-09-30 Fujitsu Ten Ltd 車両用運転支援装置
US8344894B2 (en) * 2009-04-02 2013-01-01 GM Global Technology Operations LLC Driver drowsy alert on full-windshield head-up display
JP5376223B2 (ja) * 2009-05-18 2013-12-25 アイシン精機株式会社 運転支援装置
JP5271154B2 (ja) * 2009-05-29 2013-08-21 富士通テン株式会社 画像生成装置及び画像表示システム
JP5627253B2 (ja) * 2009-05-29 2014-11-19 富士通テン株式会社 画像処理装置、電子装置、および、画像処理方法
JP2011111061A (ja) * 2009-11-27 2011-06-09 Fujitsu Ten Ltd 車載表示システム
JP2011118483A (ja) * 2009-11-30 2011-06-16 Fujitsu Ten Ltd 車載装置および認知支援システム
JP5302227B2 (ja) * 2010-01-19 2013-10-02 富士通テン株式会社 画像処理装置、画像処理システム、および、画像処理方法
JP5706874B2 (ja) * 2010-03-03 2015-04-22 本田技研工業株式会社 車両の周辺監視装置
US9131123B2 (en) * 2010-03-19 2015-09-08 Panasonic Intellectual Property Management Co., Ltd. Device for monitoring surroundings of vehicle and method for monitoring surroundings of vehicle
JP5604146B2 (ja) * 2010-03-25 2014-10-08 富士通テン株式会社 車載照明装置、画像処理装置、画像表示システム及び照明方法
JP5113881B2 (ja) * 2010-06-03 2013-01-09 株式会社デンソー 車両周辺監視装置
JP5281664B2 (ja) * 2011-02-23 2013-09-04 クラリオン株式会社 車線逸脱警報装置および車線逸脱警報システム
JP5765995B2 (ja) * 2011-03-31 2015-08-19 富士通テン株式会社 画像表示システム
JP5741173B2 (ja) * 2011-04-19 2015-07-01 トヨタ自動車株式会社 画像表示装置、及び、画像表示方法
CN103080990B (zh) * 2011-06-07 2015-04-01 株式会社小松制作所 作业车辆的周边监视装置
CN103782591B (zh) * 2011-08-26 2017-02-15 松下知识产权经营株式会社 驾驶辅助装置
US8942692B2 (en) * 2011-12-02 2015-01-27 Text Safe Teens, Llc Remote mobile device management
DE102011121442A1 (de) * 2011-12-16 2013-06-20 Gm Global Technology Operations, Llc Autonomes Anfahren
JP5803757B2 (ja) 2012-03-13 2015-11-04 トヨタ自動車株式会社 周辺監視装置及び周辺監視方法
JPWO2013171898A1 (ja) * 2012-05-18 2016-01-07 トヨタ自動車株式会社 車両の情報表示装置
CN104620076B (zh) * 2012-08-17 2017-05-17 本田技研工业株式会社 驾驶辅助装置
JP5411976B1 (ja) * 2012-09-21 2014-02-12 株式会社小松製作所 作業車両用周辺監視システム及び作業車両
US9446713B2 (en) * 2012-09-26 2016-09-20 Magna Electronics Inc. Trailer angle detection system
US10093247B2 (en) * 2013-05-23 2018-10-09 GM Global Technology Operations LLC Enhanced front curb viewing system
JP6232804B2 (ja) * 2013-07-25 2017-11-22 株式会社デンソー 車両用ユーザインタフェースシステム
JP2015049842A (ja) * 2013-09-04 2015-03-16 トヨタ自動車株式会社 注意喚起表示装置及び注意喚起表示方法
JP5776995B2 (ja) 2014-03-11 2015-09-09 クラリオン株式会社 車両用周辺監視装置
CA2863656C (en) * 2014-04-25 2017-04-25 Takeshi Kurihara Surroundings monitoring system, work vehicle, and surroundings monitoring method
CN104401261B (zh) * 2014-11-24 2016-09-07 上汽大众汽车有限公司 汽车前方盲区探测系统及其探测方法
JP6417994B2 (ja) * 2015-02-09 2018-11-07 株式会社デンソー 車両用表示制御装置及び車両用表示制御方法
JP6426025B2 (ja) * 2015-02-20 2018-11-21 クラリオン株式会社 情報処理装置

Also Published As

Publication number Publication date
EP3096306A3 (en) 2016-12-21
CN106169061A (zh) 2016-11-30
JP2016218795A (ja) 2016-12-22
CN106169061B (zh) 2021-02-19
US20160342849A1 (en) 2016-11-24
US10579884B2 (en) 2020-03-03
EP3096306A2 (en) 2016-11-23

Similar Documents

Publication Publication Date Title
JP6224029B2 (ja) 画像処理装置および画像処理方法
JP4900232B2 (ja) 車両用駐車支援装置および映像表示方法
JP6785953B2 (ja) 車載用監視カメラ装置
JP4985250B2 (ja) 駐車支援装置
JP2010202010A (ja) 駐車支援装置
JP4693561B2 (ja) 車両周辺監視装置
JP2020088697A (ja) 周辺監視装置
JP2012040883A (ja) 車両周囲画像生成装置
JP6551336B2 (ja) 周辺監査装置
JP2010015346A (ja) 周辺監視装置
JP2018144554A (ja) 車両用ヘッドアップディスプレイ装置
JP2008148114A (ja) 運転支援装置
CN109952231B (zh) 具有按需侦察视图的全显示镜
JP2013161440A (ja) 車両周辺監視装置
JP7121120B2 (ja) 車両制御装置
JP2012090087A (ja) 車両周辺の画像を用いた運転支援装置
JP2015008453A (ja) カメラ装置および警告方法
JP6523801B2 (ja) 画像処理装置および画像処理方法
JP5436056B2 (ja) 障害物検出装置および障害物検出方法
JP6555240B2 (ja) 車両用撮影表示装置及び車両用撮影表示プログラム
JP2012030796A (ja) 車両用駐車支援装置および映像表示方法
JP2010016746A (ja) 周辺監視装置
JP2019051812A (ja) 駐車支援装置および車両
JP2010016571A (ja) 運転支援装置
JP6931818B2 (ja) 駐車支援装置、駐車支援方法及び駐車支援プログラム

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170307

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170414

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170912

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171004

R150 Certificate of patent or registration of utility model

Ref document number: 6224029

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250