WO2017195403A1 - 車両用表示装置および車両用表示方法およびプログラム - Google Patents

車両用表示装置および車両用表示方法およびプログラム Download PDF

Info

Publication number
WO2017195403A1
WO2017195403A1 PCT/JP2017/001313 JP2017001313W WO2017195403A1 WO 2017195403 A1 WO2017195403 A1 WO 2017195403A1 JP 2017001313 W JP2017001313 W JP 2017001313W WO 2017195403 A1 WO2017195403 A1 WO 2017195403A1
Authority
WO
WIPO (PCT)
Prior art keywords
road surface
vehicle
image
acquisition unit
video
Prior art date
Application number
PCT/JP2017/001313
Other languages
English (en)
French (fr)
Inventor
亮行 永井
Original Assignee
株式会社Ｊｖｃケンウッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2016094626A external-priority patent/JP6720683B2/ja
Priority claimed from JP2016127890A external-priority patent/JP6593258B2/ja
Application filed by 株式会社Ｊｖｃケンウッド filed Critical 株式会社Ｊｖｃケンウッド
Priority to CN201780004888.8A priority Critical patent/CN108432242A/zh
Publication of WO2017195403A1 publication Critical patent/WO2017195403A1/ja
Priority to US16/034,389 priority patent/US10703271B2/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B17/00—Measuring arrangements characterised by the use of infrasonic, sonic or ultrasonic vibrations
    • G01B17/06—Measuring arrangements characterised by the use of infrasonic, sonic or ultrasonic vibrations for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/06—Systems determining the position data of a target
    • G01S15/08—Systems for measuring distance only
    • G01S15/10—Systems for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/86—Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/87—Combinations of sonar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/539—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B60R2300/605—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint the adjustment being automatic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/026—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B17/00—Measuring arrangements characterised by the use of infrasonic, sonic or ultrasonic vibrations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay

Abstract

映像取得部（３２）は、車両の周辺を撮像した映像を取得する。生成部（３４）は、取得した映像をもとに俯瞰映像を生成する。路面情報取得部（４６、６０）は、車両の周辺における路面に関する情報を取得する。路面判定部（４８、６２）は、取得した路面に関する情報をもとに、注意を要する路面が存在するか否かを判定する。映像処理部（４０）は、注意を要する路面が存在すると判定された場合、注意を要する路面を示す画像を俯瞰映像に重畳させる。

Description

車両用表示装置および車両用表示方法およびプログラム
　本発明は、車両用表示技術に関し、特に映像を表示する車両用表示装置および車両用表示方法およびプログラムに関する。
　車両に複数の車外撮影用カメラが搭載され、それらのカメラで撮影した画像を合成し、あたかも車両の上方に設置したカメラから車両の周囲を撮影しているような俯瞰映像が形成されてモニタに表示される。このような俯瞰映像表示において、障害物である立体物は、視点変換処理によって障害物の形状が正確に表示されないため、立体物か平面状の物であるかの区別を直感的に認識することが困難である。そのため、所定高さ以上の立体物が、他とは異なった態様で表示される（例えば、特許文献１参照）。
特開２００９－４９９４３号公報
　車両の四方に設置された撮像部によって撮像された映像が、車両の上方から見下ろすように視点変換処理されることによって、俯瞰映像が生成される。車両の周辺に障害物が存在していなくても、車両の周辺の路面に段差が存在している場合、俯瞰映像では段差の有無の把握が困難である。
　本発明はこうした状況に鑑みてなされたものであり、その目的は、俯瞰映像においても段差の有無の把握する技術を提供することである。
　上記課題を解決するために、本実施形態のある態様の車両用表示装置は、車両の周辺を撮像した映像を取得する映像取得部と、映像取得部において取得した映像に対して、車両の上方から見たように視点を変換することによって、俯瞰映像を生成する生成部と、車両の周辺における路面に関する情報を取得する路面情報取得部と、路面情報取得部が取得した路面に関する情報をもとに、注意を要する路面が存在するか否かを判定する路面判定部と、路面判定部において注意を要する路面が存在すると判定された場合、注意を要する路面を示す画像を俯瞰映像に重畳させる映像処理部と、映像処理部において画像が重畳された俯瞰映像を表示部に表示させる表示制御部と、を備える。
　本実施形態の別の態様は、車両用表示方法である。この方法は、車両の周辺を撮像した映像を取得するステップと、取得した映像に対して、車両の上方から見たように視点を変換することによって、俯瞰映像を生成するステップと、車両の周辺における路面に関する情報を取得するステップと、取得した路面に関する情報をもとに、注意を要する路面が存在するか否かを判定するステップと、注意を要する路面が存在すると判定された場合、注意を要する路面を示す画像を俯瞰映像に重畳させるステップと、画像が重畳された俯瞰映像を表示部に表示させるステップと、を備える。
　なお、以上の構成要素の任意の組合せ、本実施形態の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本実施形態の態様として有効である。
　本実施形態によれば、俯瞰映像においても段差の有無の把握できる。
実施例１に係る車両の周辺に形成される撮像範囲を示す斜視図である。 図１の車両に搭載されるセンサを示す図である。 図１の車両に搭載される車両用表示装置の構成を示す図である。 図３の生成部において生成される俯瞰映像を示す図である。 図３の前方センサの配置を示す図である。 図３の左側方センサの配置を示す図である。 図３の路面形状取得部における処理の概要を示す図である。 図３の路面形状取得部における別の処理の概要を示す図である。 図３の路面形状取得部におけるさらに別の処理の概要を示す図である。 図３の路面形状判定部において記憶されるテーブルのデータ構造を示す図である。 図３の映像処理部において生成される俯瞰映像を示す図である。 図３の映像処理部において生成される別の俯瞰映像を示す図である。 図３の映像処理部において生成されるさらに別の俯瞰映像を示す図である。 図３の映像処理部において生成されるさらに別の俯瞰映像を示す図である。 図３の映像処理部において生成されるさらに別の俯瞰映像を示す図である。 図１６（ａ）－（ｂ）は、図３の映像処理部において生成される映像を示す図である。 図３の車両用表示装置による表示手順を示すフローチャートである。 実施例２に係る車両用表示装置の構成を示す図である。 図１８の路面形状取得部における処理の概要を示す図である。 図１８の路面形状判定部において記憶されるテーブルのデータ構造を示す図である。 図１８の映像処理部において生成される俯瞰映像を示す図である。 図１８の映像処理部において生成される別の俯瞰映像を示す図である。 実施例３に係る車両に搭載される車両用表示装置の構成を示す図である。 図２３の左前方センサの配置を示す図である。 図２３の左側方センサの配置を示す図である。 図２３の映像処理部において生成される俯瞰映像を示す図である。 図２３の映像処理部において生成される別の俯瞰映像を示す図である。 図２３の映像処理部において生成されるさらに別の俯瞰映像を示す図である。 図２３の映像処理部において生成される映像を示す図である。 図２３の車両用表示装置による表示手順を示すフローチャートである。 実施例４に係る車両用表示装置の構成を示す図である。
（実施例１）
　本発明を具体的に説明する前に、まず前提を説明する。実施例１は、車両に設置された複数の撮像部において撮像した画像に対して、視点変換により俯瞰映像を生成し、生成した俯瞰映像を表示する車両用表示装置に関する。視点変換では、撮像した画像が地面上の平面にマッピングされるので、撮像した画像に含まれた各物体が地面の平面上に並んでいるように表示される。そのため、車両の周辺の路面に段差が存在する場合であっても、そのような段差は俯瞰映像において平面的に示される。これにより、運転者は、俯瞰映像を見ながら、段差の有無を把握することが困難である。特に、車両側から離れる方向において低くなる段差は、段差の垂直面が撮像部によって撮像されないので、把握がさらに困難になる。
　これに対応するために、本実施例に係る車両用表示装置は、次の処理を実行する。車両には複数のセンサが設置され、複数のセンサでの検出結果をもとに、車両用表示装置は、車両の周辺の路面形状を取得する。車両用表示装置は、取得した路面形状において、周囲を要する路面形状が存在する場合、それを示す画像が重畳された俯瞰映像を表示する。ここで、周囲を要する路面形状とは、例えば、路面に存在する段差に相当する。
　以下、実施例について、図面を参照しつつ説明する。実施例に示す具体的な数値等は、実施例の理解を容易とするための例示にすぎず、特に断る場合を除き、実施例を限定するものではない。なお、本明細書および図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、実施例に直接関係のない要素は図示を省略する。
　図１は、実施例１に係る車両１００の周辺に形成される撮像範囲を示す斜視図である。車両１００の前方部分、例えばバンパー、ボンネット等には、前方撮像部１２が設置される。前方撮像部１２は、前方撮像部１２から前方に向かうように前方撮像領域２０を形成し、前方撮像領域２０において映像を撮像する。車両１００の左側方部分、例えば、左側ドアミラーの下部等には、左側方撮像部１４が設置される。左側方撮像部１４は、左側方撮像部１４から左方に向かうように左側方撮像領域２２を形成し、左側方撮像領域２２において映像を撮像する。
　車両１００の後方部分、例えば、バンパー、トランク等には、後方撮像部１６が設置される。後方撮像部１６は、後方撮像部１６から後方に向かうように後方撮像領域２４を形成し、後方撮像領域２４において映像を撮像する。左側方撮像部１４と左右対称になるように、車両１００の右側部分には、図示しない右側方撮像部１８が設置される。右側方撮像部１８は、右側方撮像部１８から右方に向かうように、右側方撮像領域２６を形成し、右側方撮像領域２６において映像を撮像する。前方撮像部１２、左側方撮像部１４、後方撮像部１６および右側方撮像部１８を撮像部１０とし、撮像部１０において撮像した映像によって、車両１００の周辺が撮像される。
　図２は、車両１００に搭載されるセンサを示す。車両１００には、前方センサ１１２、左側方センサ１１４、後方センサ１１６、右側方センサ１１８、左前方センサ１２０、右前方センサ１２２、左後方センサ１２４、右後方センサ１２６が配置される。左前方センサ１２０、前方センサ１１２、右前方センサ１２２は車両１００の前方部分に設置される。ここで、左前方センサ１２０は左側に配置され、前方センサ１１２は中央に配置され、右前方センサ１２２は右側に配置される。また、左側方センサ１１４は車両１００の左側部分に配置され、右側方センサ１１８は車両１００の右側部分に配置される。左後方センサ１２４、後方センサ１１６、右後方センサ１２６は車両１００の後方部分に設置される。ここで、左後方センサ１２４は左側に配置され、後方センサ１１６は中央に配置され、右後方センサ１２６は右側に配置される。
　図３は、車両１００に搭載される車両用表示装置３０の構成を示す。車両用表示装置３０は、撮像部１０、表示部５０、センサ１１０に接続される。撮像部１０は、前方撮像部１２、左側方撮像部１４、後方撮像部１６、右側方撮像部１８を含み、センサ１１０は、前方センサ１１２、左側方センサ１１４、後方センサ１１６、右側方センサ１１８、左前方センサ１２０、右前方センサ１２２、左後方センサ１２４、右後方センサ１２６を含む。車両用表示装置３０は、映像取得部３２、生成部３４、映像処理部４０、表示制御部４２、走行状況取得部４４、路面形状取得部４６、路面形状判定部４８を含む。
　前方撮像部１２、左側方撮像部１４、後方撮像部１６、右側方撮像部１８は、前述のごとく、映像を撮像する。前方撮像部１２、左側方撮像部１４、後方撮像部１６、右側方撮像部１８は、映像を映像取得部３２に出力する。映像取得部３２は、前方撮像部１２、左側方撮像部１４、後方撮像部１６、右側方撮像部１８のそれぞれから映像を取得する。つまり、映像取得部３２は、車両１００の周辺を撮像した映像を取得する。映像取得部３２は、取得した映像を生成部３４に出力する。
　生成部３４は、映像取得部３２からの映像を入力する。生成部３４は、映像に対して、車両１００の上方から見たように視点を変換する処理を行うことによって俯瞰映像を生成する。当該変換には、公知の技術が使用されればよいが、例えば、仮想的な三次元空間における立体曲面に映像の各画素を投影するとともに、車両１００の上方からの仮想視点に応じて、立体曲面の必要な領域を切り出す。切り出した領域が、視点を変換した映像に相当する。
　図４は、生成部３４において生成される俯瞰映像７８を示す。俯瞰映像７８の中央部分には、車両１００を示す画像である自車アイコン８０が配置される。自車アイコン８０は、車両１００を上方から見た画像であり、かつ俯瞰映像７８における車両１００のサイズを有する。自車アイコン８０の前方には前方画像７０が配置され、自車アイコン８０の左側方には左側方画像７２が配置され、車両１００の後方には後方画像７４が配置され、車両１００の右側方には右側方画像７６が配置される。図３に戻る。生成部３４は、俯瞰映像７８を映像処理部４０に出力する。
　走行状況取得部４４は、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）を介してＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ　Ｃｏｎｔｒｏｌ　Ｕｎｉｔ）から、走行状況に関する情報を取得する。走行状況に関する情報は、例えば、車両１００の走行速度の情報である。走行状況取得部４４は、走行状況に関する情報を路面形状取得部４６に出力する。
　前方センサ１１２、左側方センサ１１４、後方センサ１１６、右側方センサ１１８、左前方センサ１２０、右前方センサ１２２、左後方センサ１２４、右後方センサ１２６は、センサ１１０としてまとめられる。センサ１１０には、赤外線レーザ光を用いたセンサ、超音波を用いたセンサなどの既存技術が適用可能である。センサ１１０に赤外線レーザ光を使用する場合、赤外線レーザ光を走査ミラー等により所定範囲を走査させ、反射してきたレーザ光の位相差により、路面との距離を取得する。また、センサ１１０に超音波を使用する場合、超音波パルスを所定範囲に出力し、反射波との時間差により、路面との距離を取得する。
　図５は、前方センサ１１２の配置を示す。前方センサ１１２は進行方向に穴や崖が存在するか否かを検出するために使用される。前方センサ１１２は、路面９０から「Ａ１」の高さに配置され、車両１００から「Ｂ１」離れた先を主として検出するように配置される。例えば、前方センサ１１２は車両１００の前端部におけるボンネットに近い位置に配置される。また、「Ｂ１」は２ｍに設定される。図示のごとく、車両１００から「Ｂ１」離れた先に、幅「ｔ」の溝９２が存在する場合、溝９２の壁面が検出される。図２の左前方センサ１２０、右前方センサ１２２、左後方センサ１２４、後方センサ１１６、右後方センサ１２６も同様に配置される。左前方センサ１２０、右前方センサ１２２、左後方センサ１２４、右後方センサ１２６は、車両１００が曲がった先に穴や崖が存在するか否かを検出するために使用される。
　図６は、左側方センサ１１４の配置を示す。左側方センサ１１４は、車両１００の左側に穴や崖が存在するか否かを検出するために使用される。左側方センサ１１４は、車両１００の乗員が車両１００の左側から降車する位置に穴や崖が存在するか否かを検出するためにも使用される。左側方センサ１１４は、路面９０から「Ａ２」の高さに配置され、車両１００から「Ｂ２」離れた先を主として検出するように配置される。例えば、左側方センサ１１４はドアの上あるいはドアミラーに配置される。また、「Ｂ２」は１０ｃｍに設定される。図示のごとく、車両１００から「Ｂ２」離れた先に、幅「ｔ」の溝９２が存在する場合、溝９２の底面が検出される。このように、左側方センサ１１４の配置される位置が高いほど、溝９２の深さが検出されやすくなる。図３に戻る。センサ１１０は、検出結果を路面形状取得部４６に出力する。
　路面形状取得部４６は、路面に関する情報を取得する路面情報取得部において、路面形状を取得する機能を実行する。路面形状取得部４６は、センサ１１０からの検出結果を入力する。路面形状取得部４６は、センサ１１０からの検出結果を分析することによって、車両１００の周辺の路面形状を示すデータを取得する。路面形状を示すデータには、検出範囲の位置情報とセンサ１１０からの距離情報が含まれる。具体的に説明すると、路面形状取得部４６は、路面形状を取得可能な範囲において、車両１００の車体から路面までの距離を取得することによって路面形状を取得する。図７は、路面形状取得部４６における処理の概要を示す。ここでは、説明を明瞭にするために、センサ１１０として左側方センサ１１４を示し、左側方センサ１１４による車両１００の左右方向に対する路面形状の取得のみを例示する。なお、実際には、左側方センサ１１４による車両１００の前後方向に対する路面形状の取得も実行されており、左右方向に対して取得された路面形状と、前後方向に対して取得された路面形状とが組み合わされる。
　車両１００の左側ドアミラーには、左側方撮像部１４、左側方センサ１１４が取りつけられる。左側方撮像部１４は左側方撮像領域２２において映像を撮像し、左側方センサ１１４は左側方検出領域１３０において距離を測定する。左側方検出領域１３０は、左側方センサ１１４によって路面形状を取得可能な範囲であり、それは、ポイントＰ１からポイントＰ２までのエリア「ＰＡ」として示される。また、エリア「ＰＡ」に含まれた中間ポイントしてポイントＰ３、ポイントＰ４が示される。なお、中間ポイントは、ポイントＰ３、ポイントＰ４に限定されない。さらに、ポイントＰ１に対する距離Ｌ１、ポイントＰ２に対する距離Ｌ２、ポイントＰ３に対する距離Ｌ３、ポイントＰ４に対する距離Ｌ４がそれぞれ示される。このような状況下において、路面形状を示すデータには、ポイントＰ１と距離Ｌ１との組合せ、ポイントＰ２と距離Ｌ２との組合せ、ポイントＰ３と距離Ｌ３との組合せ、ポイントＰ４と距離Ｌ４との組合せが含まれる。
　図８は、路面形状取得部４６における別の処理の概要を示す。ここでは、路面９０から「ｈ」低くなる低段差部９４が存在する。図示のごとく、ポイントＰ１に対する距離Ｌ１’、ポイントＰ２に対する距離Ｌ２’、ポイントＰ３に対する距離Ｌ３’、ポイントＰ４に対する距離Ｌ４’がそれぞれ示される。そのため、路面形状を示すデータには、ポイントＰ１と距離Ｌ１’との組合せ、ポイントＰ２と距離Ｌ２’との組合せ、ポイントＰ３と距離Ｌ３’との組合せ、ポイントＰ４と距離Ｌ４’との組合せが含まれる。このようなデータによって、図８のような路面形状が示される。
　図９は、路面形状取得部４６におけるさらに別の処理の概要を示す。ここでは、路面９０から「ｈ」低くなる低段差部９４が存在する。なお、図９における「ｈ」は、図８における「ｈ」よりも大きいとする。つまり、図９における段差は、図８における段差よりも大きい。図示のごとく、ポイントＰ１に対する距離Ｌ１’’、ポイントＰ２に対する距離Ｌ２’’、ポイントＰ３に対する距離Ｌ３’’、ポイントＰ４に対する距離Ｌ４’’がそれぞれ示される。そのため、路面形状を示すデータには、ポイントＰ１と距離Ｌ１’’との組合せ、ポイントＰ２と距離Ｌ２’’との組合せ、ポイントＰ３と距離Ｌ３’’との組合せ、ポイントＰ４と距離Ｌ４’’との組合せが含まれる。このようなデータによって、図９のような路面形状が示される。図３に戻る。
　路面形状取得部４６は、走行状況に関する情報を走行状況取得部４４から入力する。路面形状取得部４６は、走行状況が所定速度未満での走行または停止である場合に、前述のごとく、路面形状を示すデータを取得する。これは、車両１００の周辺に対する路面形状を取得することに相当する。一方、路面形状取得部４６は、走行状況が所定速度よりも高速な走行である場合に、路面形状を示すデータを取得しない。路面形状取得部４６は、路面形状を示すデータを取得した場合、路面形状を示すデータを路面形状判定部４８に出力する。
　路面形状判定部４８は、路面に関する情報をもとに、注意を要する路面が存在するか否かを判定する路面判定部において、注意を要する路面形状が存在するか否かの判定を実行する。路面形状判定部４８は、路面形状を示すデータを路面形状取得部４６から入力する。路面形状判定部４８は、路面形状取得部４６から入力したデータにおいて示された路面形状をもとに、注意を要する路面形状が存在するか否かを判定する。注意を要する路面形状とは、例えば、所定以上の幅を有する溝９２、所定以上の高低差のある段差である。なお、溝９２は、幅が大きくなると、下り段差と同一である。ここで、注意を要する路面形状が存在するか否かを判定するために、路面形状判定部４８は、路面形状において注意を要する路面形状の基準パターンをテーブルとして記憶する。
　図１０は、路面形状判定部４８において記憶されるテーブルのデータ構造を示す。隣接したポイント間の距離の差異がしきい値以上である場合に、路面９０に段差が存在すると認識される。また、そのときの差異が高さｈとして取得される。この高さｈは、路面形状が下り段差あるいは上り段差である場合のパラメータとされる。また、路面形状が溝９２であれば、溝幅ｔがパラメータとされる。なお、隣接したポイント間における距離Ｌの差異がしきい値よりも小さい場合に、路面９０が平面あるいはスロープであると認識される。その場合、路面形状判定部４８での処理は実行されない。このように、距離Ｌが離散的に変化している場合に段差が存在し、距離Ｌが連続的に変化している場合に段差が存在しないと認識される。
　パラメータの値に応じて、「安全」、「注意走行」、「走行不可」が規定される。「安全」、「注意走行」、「走行不可」に対するパラメータの値の範囲は、車両１００の形状、特に最低地上高やタイヤ幅等をもとに定められる。このように、路面形状判定部４８は、注意を要する路面形状として、車両１００の走行が困難となる高低差のある路面形状が存在するか否かを判定する。特に、路面形状判定部４８は、車両１００の走行が困難となる高低差のある路面形状として、車両１００から離れると低くなる段差形状が存在するか否かを判定する。図３に戻る。
　路面形状判定部４８は、図１０に示したテーブルを参照し、路面形状取得部４６から入力したデータにおいて示された路面形状をもとに、「安全」、「注意走行」、「走行不可」のいずれかを特定する。その際、路面形状判定部４８は、「安全」、「注意走行」、「走行不可」のいずれかを特定した段差あるいは溝９２の位置情報も特定する。路面形状判定部４８は、「安全」、「注意走行」、「走行不可」のいずれかを特定した情報（以下、「特定結果」という）と、特定した段差あるいは溝９２の位置情報とを映像処理部４０に出力する。
　映像処理部４０は、生成部３４から俯瞰映像７８を入力するとともに、路面形状判定部４８から特定結果および位置情報を入力する。特定結果が「注意走行」あるいは「走行不可」である場合、つまり注意を要する路面形状が存在すると判定された場合、映像処理部４０は、注意を要する路面形状を示す画像を俯瞰映像７８に重畳させる。図１１は、映像処理部４０において生成される俯瞰映像７８を示す。これは、特定結果が「注意走行」である場合に相当する。映像処理部４０は、俯瞰映像７８における一部の領域であって、かつ位置情報を含むような領域に示すべき注意走行通知画像８２を生成する。注意走行通知画像８２は、「注意走行」を知らせるための画像である。映像処理部４０は、俯瞰映像７８における当該領域に注意走行通知画像８２を重畳する。ここでは、自車アイコン８０の右側に注意走行通知画像８２が配置される。
　図１２は、映像処理部４０において生成される別の俯瞰映像７８を示す。これは、特定結果が「走行不可」である場合に相当する。映像処理部４０は、俯瞰映像７８における一部の領域であって、かつ位置情報を含むような領域に示すべき走行不可通知画像８４を生成する。走行不可通知画像８４は、「走行不可」を知らせるための画像である。映像処理部４０は、俯瞰映像７８における当該領域に走行不可通知画像８４を重畳する。ここでは、自車アイコン８０の右側に走行不可通知画像８４が配置される。図３に戻る。映像処理部４０は、注意走行通知画像８２あるいは走行不可通知画像８４を重畳した俯瞰映像７８、あるいは注意走行通知画像８２および走行不可通知画像８４を重畳していない俯瞰映像７８を表示制御部４２に出力する。
　表示制御部４２は、映像処理部４０からの俯瞰映像７８を入力する。表示制御部４２は、俯瞰映像７８を表示する処理を実行することによって、俯瞰映像７８を表示部５０に表示させる。表示部５０は、例えば、表示パネルである。注意走行通知画像８２あるいは走行不可通知画像８４が俯瞰映像７８に重畳されている場合、表示部５０には、図１１あるいは図１２のような俯瞰映像７８が表示される。
　以下では、映像処理部４０において画像が重畳される俯瞰映像７８のさまざまな例を説明する。図１３は、映像処理部４０において生成されるさらに別の俯瞰映像７８を示す。ここで、車両１００は前進している。俯瞰映像７８には、左前方通知画像１５０、前方通知画像１５２、右前方通知画像１５４、左後方通知画像１５６、後方通知画像１５８、右後方通知画像１６０が示される。ここで、左前方通知画像１５０、前方通知画像１５２、右前方通知画像１５４は、自車アイコン８０の前方に配置され、左後方通知画像１５６、後方通知画像１５８、右後方通知画像１６０は、自車アイコン８０の後方に配置される。
　左前方通知画像１５０は、左前方センサ１２０の検出結果が「段差なし」、「段差あり」、「崖」のいずれかであるかを示すための画像である。ここで、「段差あり」とは前述の「走行不可」に相当し、「段差なし」とは前述の「注意走行」あるいは「安全」に相当し、「崖」とは、前述の「段差あり」の場合のうち、高さｈが「３０ｃｍ」以上である場合に相当する。また、「崖」にはセンサ１１０が動作していない場合も含まれる。
　前方通知画像１５２、右前方通知画像１５４、左後方通知画像１５６、後方通知画像１５８、右後方通知画像１６０は、前方センサ１１２、右前方センサ１２２、左後方センサ１２４、後方センサ１１６、右後方センサ１２６に対して同様に示される。ここでは、一例として、左前方通知画像１５０が「段差なし」を示し、前方通知画像１５２が「段差あり」を示し、右前方通知画像１５４から右後方通知画像１６０が「崖」を示す。車両１００が前進している場合、後方を検出するための左後方センサ１２４、後方センサ１１６、右後方センサ１２６が動作していなければ、左後方通知画像１５６から右後方通知画像１６０も「崖」を示す。
　図１４は、映像処理部４０において生成されるさらに別の俯瞰映像７８を示す。例えば、車両１００の速度が時速４～５ｋｍ以下になった場合、俯瞰映像７８には、図１３の左前方通知画像１５０等の代わりに、左側方通知画像１６２、右側方通知画像１６４が配置される。ここで、左側方通知画像１６２は自車アイコン８０の左方に配置され、右側方通知画像１６４は自車アイコン８０の右方に配置される。左側方通知画像１６２は、左側方センサ１１４の検出結果が「段差なし」、「段差あり」、「崖」のいずれかであるかを示すための画像である。右側方通知画像１６４は、右側方センサ１１８に対して同様に示される。ここでは、一例として、左側方通知画像１６２が「崖」を示し、右側方通知画像１６４が「段差あり」を示す。
　図１５は、映像処理部４０において生成されるさらに別の俯瞰映像７８を示す。これは、左前方通知画像１５０から右後方通知画像１６０と、左側方通知画像１６２、右側方通知画像１６４が示される場合に相当する。これは、図１３と同様の状況において表示される。
　図１６（ａ）－（ｂ）は、映像処理部４０において生成される映像を示す。これまで、映像処理部４０は、注意を要する路面形状を示す画像を俯瞰映像７８に重畳している。一方、ここでは、注意を要する路面形状を示す画像が、撮像部１０において撮像された映像に重畳される。図１６（ａ）では、前方撮像部１２において撮像された前方映像１７０に左前方通知画像１５０、前方通知画像１５２、右前方通知画像１５４が配置される。左前方通知画像１５０、前方通知画像１５２、右前方通知画像１５４はこれまでと同様である。図１６（ｂ）では、後方撮像部１６において撮像された後方映像１７２に後方通知画像１５８が配置される。後方通知画像１５８はこれまでと同様である。
　この構成は、ハードウエア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウエア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。
　以上の構成による車両用表示装置３０の動作を説明する。図１７は、車両用表示装置３０による表示手順を示すフローチャートである。生成部３４は、俯瞰映像７８を生成する（Ｓ１０）。所定速度未満での走行または停止である場合（Ｓ１２のＹ）、路面形状取得部４６は、路面形状を取得する（Ｓ１４）。注意を要する路面形状が存在する場合（Ｓ１６のＹ）、映像処理部４０は、画像を俯瞰映像７８に重畳する（Ｓ１８）。表示部５０は、俯瞰映像７８を表示する（Ｓ２０）。所定速度未満での走行または停止でない場合（Ｓ１２のＮ）、あるいは注意を要する路面形状が存在しない場合（Ｓ１６のＮ）、ステップ２０までスキップされる。
　本実施例によれば、注意を要する路面形状が存在すると判定された場合、注意を要する路面形状を示す画像を俯瞰映像に重畳させるので、注意を要する路面形状を知らせることができる。また、注意を要する路面形状が知らされるので、俯瞰映像においても段差の有無の把握できる。また、路面形状を取得可能な範囲において、車両の車体から路面までの距離を取得することによって路面形状を取得するので、センサにおいて測定した距離を利用できる。
　また、取得した走行状況が所定速度未満での走行または停止である場合に、車両の周辺に対する路面形状を取得するので、車両から近距離に存在する段差あるいは崖を通知できる。また、注意を要する路面形状として、前記車両の走行が困難となる高低差のある路面形状が存在するか否かを判定するので、俯瞰映像には示されにくい段差を検出できる。また、車両から離れると低くなる段差形状が存在するか否かを判定するので、俯瞰映像において特に示されにくい段差の存在を通知できる。
（実施例２）
　次に、実施例２を説明する。実施例２は、実施例１と同様に、段差の有無が示された俯瞰映像を表示する車両用表示装置に関する。実施例２では、特に、車両のドア開時に注意を要する高低差のある路面形状が存在する場合を説明の対象にする。実施例２に係る車両１００は、図１、図２と同様のタイプである。ここでは、これまでとの差異を中心に説明する。
　図１８は、実施例２に係る車両用表示装置３０の構成を示す。車両用表示装置３０では、図３の車両用表示装置３０に対して着座情報取得部５２が追加される。着座情報取得部５２は、車両１００における複数の座席のそれぞれに配置された着座センサ（図示せず）に接続され、各着座センサからの検出結果を受けつける。着座センサには公知の技術が使用されればよい。着座センサからの検出結果は、座席に乗員が座っているか否かを示しており、着座有無情報といえる。このような着座有無情報により、着座情報取得部５２は、乗員が着座している座席を特定する。着座情報取得部５２は、乗員が着座している座席に関する情報を路面形状判定部４８に出力する。
　路面形状取得部４６は、これまでと同様に、センサ１１０からの検出結果を分析することによって、車両１００の周辺の路面形状を示すデータを取得する。しかしながら、説明の前提となる路面形状がこれまでと異なる。図１９は、路面形状取得部４６における処理の概要を示す。ここでは、路面９０から「ｈ」高くなる高段差部９６が存在する。また、ドア開閉時の下端ライン１３２は、車両１００のドアが開閉する際にドアの下端が通過するラインを示す。
　図示のごとく、ポイントＰ１に対する距離Ｌ１’’’、ポイントＰ２に対する距離Ｌ２’’’、ポイントＰ３に対する距離Ｌ３’’’、ポイントＰ４に対する距離Ｌ４’’’がそれぞれ示される。そのため、路面形状を示すデータには、ポイントＰ１と距離Ｌ１’’’との組合せ、ポイントＰ２と距離Ｌ２’’’との組合せ、ポイントＰ３と距離Ｌ３’’’との組合せ、ポイントＰ４と距離Ｌ４’’’との組合せが含まれる。このようなデータによって、図１９のような路面形状が示される。図１８に戻る。路面形状取得部４６は、路面形状を示すデータを取得した場合、路面形状を示すデータを路面形状判定部４８に出力する。
　路面形状判定部４８は、路面形状を示すデータを路面形状取得部４６から入力する。また、路面形状判定部４８は、乗員が着座している座席に関する情報を着座情報取得部５２から入力する。路面形状判定部４８は、路面形状取得部４６から入力したデータにおいて示された路面形状をもとに、注意を要する路面形状として、車両１００のドアの開動作が困難となる高低差のある路面形状が存在するか否かを判定する。特に、路面形状判定部４８は、車両１００のドアのうち、着座情報取得部５２が取得した着座のあるドアの開動作が困難となる高低差のある路面形状が存在するか否かを判定する。これまでと同様に、注意を要する路面形状が存在するか否かを判定するために、路面形状判定部４８は、路面形状において注意を要する路面形状の基準パターンをテーブルとして記憶する。
　図２０は、路面形状判定部４８において記憶されるテーブルのデータ構造を示す。路面形状が上り段差である場合、高さｈがパラメータとされる。また、パラメータの値に応じて、「安全」、「ドア開注意」、「ドア開不可」が規定される。ここで、ドアに対応する座席に、大人（例；体重７０～１００ｋｇ）が着座している場合の地上高に対するドア開閉時の下端ライン１３２から５～１０ｃｍ程度差し引いた値に近づく場合が「ドア開注意」に相当する。図１８に戻る。
　路面形状判定部４８は、図２０に示したテーブルを参照し、路面形状取得部４６から入力したデータにおいて示された路面形状をもとに、乗員が着座した座席に近いドアに対して「安全」、「ドア開注意」、「ドア開不可」のいずれかを特定する。路面形状判定部４８は、「安全」、「ドア開注意」、「ドア開不可」のいずれかを特定した情報（以下、「特定結果」という）と、ドアの情報とを映像処理部４０に出力する。
　映像処理部４０は、生成部３４から俯瞰映像７８を入力するとともに、路面形状判定部４８から特定結果およびドアの情報を入力する。特定結果が「ドア開注意」あるいは「ドア開不可」である場合、つまり注意を要する路面形状が存在すると判定された場合、映像処理部４０は、注意を要する路面形状を示す画像を俯瞰映像７８に重畳させる。図２１は、映像処理部４０において生成される俯瞰映像７８を示す。これは、特定結果が「ドア開注意」であり、かつ特定したドアの情報において、車両１００の右側のドアが示されている場合に相当する。映像処理部４０は、俯瞰映像７８における自車アイコン８０の右側のドアに重なる領域に示すべきドア開注意通知画像８６を生成する。ドア開注意通知画像８６は、「ドア開注意」を知らせるための画像である。映像処理部４０は、俯瞰映像７８における自車アイコン８０の右側のドアにドア開注意通知画像８６を重畳する。なお、ドアの情報において、右側かつ前側のドアが示されている場合、映像処理部４０は、自車アイコン８０の右側かつ前側のドアだけにドア開注意通知画像８６を重畳してもよい。
　図２２は、映像処理部４０において生成される別の俯瞰映像７８を示す。これは、特定結果が「ドア開不可」である場合に相当する。映像処理部４０は、俯瞰映像７８における自車アイコン８０の右側のドアに重なる領域に示すべきドア開不可通知画像８８を生成する。ドア開不可通知画像８８は、「ドア開不可」を知らせるための画像である。映像処理部４０は、俯瞰映像７８における自車アイコン８０の右側のドアにドア開不可通知画像８８を重畳する。なお、ドアの情報において、右側かつ前側のドアが示されている場合、映像処理部４０は、自車アイコン８０の右側かつ前側のドアだけにドア開不可通知画像８８を重畳してもよい。図１８に戻る。映像処理部４０は、ドア開注意通知画像８６あるいはドア開不可通知画像８８を重畳した俯瞰映像７８、あるいはドア開注意通知画像８６およびドア開不可通知画像８８を重畳していない俯瞰映像７８を表示制御部４２に出力する。
　本実施例によれば、車両のドアの開動作が困難となる高低差のある路面形状が存在するか否かを判定するので、俯瞰映像では示されにくい路面形状を通知できる。また、車両のドアの開動作が困難となる高低差のある路面形状が画像として重畳されるので、ドアを段差にぶつける可能性を低減できる。また、着座のあるドアの開動作が困難となる高低差のある路面形状が存在するか否かを判定するので、開かれる可能性の高いドアに対して画像を表示できる。また、開かれる可能性の高いドアに対して画像が表示されるので、俯瞰映像に重畳される画像の面積が広くなりすぎる状況の発生を抑制できる。
（実施例３）
　実施例３に対する背景技術では、自車両のフロントガラスに、周囲に存在する他車両への注意を喚起するための表示像が表示されると、自車両の運転者が周囲に存在する物体を認識しやすくなる。フロントガラスに表示される表示像と横断歩道の白線が重複した場合、白線で表示された横断歩道は光の反射により輝度が高くなっているので、そこに表示像を表示しても、運転者は表示像を見にくい。そのため、表示像の表示領域と高輝度領域の視認領域が重複する場合、表示領域が変更される。車両の四方に設置された撮像部によって撮像された映像が、車両の上方から見下ろすように視点変換処理されることによって、俯瞰映像が生成される。俯瞰映像を表示する場合において、路面状態が悪い部分を運転者に注意喚起することが望まれる。本実施例はこうした状況に鑑みてなされたものであり、その目的は、俯瞰映像においても路面状態を把握する技術を提供することである。
　実施例３は、車両に設置された複数の撮像部において撮像した画像に対して、視点変換により俯瞰映像を生成し、生成した俯瞰映像を表示する車両用表示装置に関する。俯瞰映像を利用することによって、運転者は、車両の周囲の状況を把握しやすい。そのため、車両を停車させる場合に、周囲の障害物との接触が防止されやすくなる。一方、車両の周囲の状況には、周囲の障害物の存在の他に、路面状態も含まれる。路面状態では、例えば、路面が乾いているか、あるいは濡れているかが示される。ここで、車両のドアを開いた位置に水たまりが存在する場合、降車した運転者の靴や衣服が濡れるおそれがある。そのため、路面状態についても運転者等に注意喚起されることが望まれる。
　これに対応するために、本実施例に係る車両用表示装置は、次の処理を実行する。車両には複数の超音波センサが設置される。超音波センサでは、送信器が超音波を路面に向かって送信し、その反射波を受信器が受信する。ここで、路面が濡れている場合の反射波の強度は、路面が乾いている場合の反射波の強度よりも小さい。そのため、車両用表示装置は、反射波の強度を測定することによって、路面が乾いているか、あるいは濡れているかを判定し、判定結果に対応した画像を俯瞰映像に重畳して表示する。
　実施例３に係る車両１００の周辺に形成される撮像範囲を示す斜視図は、図１と同様である。車両１００に搭載されるセンサは、図２と同様である。なお、前方センサ１１２、後方センサ１１６は含まれない。
　図２３は、車両１００に搭載される車両用表示装置３０の構成を示す。車両用表示装置３０は、撮像部１０、表示部５０、センサ１１０に接続される。撮像部１０は、前方撮像部１２、左側方撮像部１４、後方撮像部１６、右側方撮像部１８を含み、センサ１１０は、左側方センサ１１４、右側方センサ１１８、左前方センサ１２０、右前方センサ１２２、左後方センサ１２４、右後方センサ１２６を含む。車両用表示装置３０は、映像取得部３２、生成部３４、映像処理部４０、表示制御部４２、路面状態取得部６０、路面状態判定部６２、停止判定部６４を含む。また、路面状態判定部６２は、位置関係判定部６６を含む。
　前方撮像部１２、左側方撮像部１４、後方撮像部１６、右側方撮像部１８は、前述のごとく、映像を撮像する。前方撮像部１２、左側方撮像部１４、後方撮像部１６、右側方撮像部１８は、映像を映像取得部３２に出力する。映像取得部３２は、前方撮像部１２、左側方撮像部１４、後方撮像部１６、右側方撮像部１８のそれぞれから映像を取得する。つまり、映像取得部３２は、車両１００の周辺を撮像した映像を取得する。映像取得部３２は、取得した映像を生成部３４に出力する。
　生成部３４は、映像取得部３２からの映像を入力する。生成部３４は、映像に対して、車両１００の上方から見たように視点を変換する処理を行うことによって俯瞰映像を生成する。当該変換には、公知の技術が使用されればよいが、例えば、仮想的な三次元空間における立体曲面に映像の各画素を投影するとともに、車両１００の上方からの仮想視点に応じて、立体曲面の必要な領域を切り出す。切り出した領域が、視点を変換した映像に相当する。生成部３４において生成される俯瞰映像７８は、図４と同様に示される。生成部３４は、俯瞰映像７８を映像処理部４０に出力する。
　左側方センサ１１４、右側方センサ１１８、左前方センサ１２０、右前方センサ１２２、左後方センサ１２４、右後方センサ１２６は、センサ１１０としてまとめられる。センサ１１０には、例えば、超音波を用いたセンサなどの既存技術が適用可能である。センサ１１０に超音波を使用する場合、センサ１１０の送信器が超音波を所定範囲に送信し、所定範囲からの反射波をセンサ１１０の受信器が受信する。センサ１１０は、受信した反射波の強度を測定する。強度の測定には公知の技術が使用されればよいので、ここでは説明を省略する。
　図２４は、左前方センサ１２０の配置を示す。左前方センサ１２０は、進行方向に水たまり等が存在するか否かを検出するために使用される。左前方センサ１２０は、路面９０から「Ａ１」の高さに配置され、車両１００から「Ｂ１」離れた先を主として検出するように配置される。例えば、左前方センサ１２０は車両１００の前端の左側部におけるボンネットに近い位置に配置される。また、「Ｂ１」は２ｍに設定される。図２の右前方センサ１２２、左後方センサ１２４、右後方センサ１２６も同様に配置される。
　図２５は、左側方センサ１１４の配置を示す。左側方センサ１１４は、車両１００の乗員が車両１００の左側から降車する位置に水たまり等が存在するか否かを検出するために使用される。左側方センサ１１４は、路面９０から「Ａ２」の高さに配置され、車両１００から「Ｂ２」離れた先を主として検出するように配置される。例えば、左側方センサ１１４はドアの上あるいはドアミラーに配置される。また、「Ｂ２」は１０ｃｍに設定される。図２３に戻る。センサ１１０は、測定した強度を路面状態取得部６０に出力する。
　路面状態取得部６０は、路面に関する情報を取得する路面情報取得部において、路面状態を取得する機能を実行する。路面状態取得部６０は、センサ１１０から強度の情報を入力する。強度の情報は、路面９０での超音波反射状態に相当する。また、前述のごとく、強度が大きい場合に路面９０は乾いており、強度が小さい場合に路面９０は濡れているので、強度の情報は、車両１００の周辺における路面状態であるともいえる。路面状態取得部６０は、センサ１１０からの強度の情報を路面状態判定部６２に出力する。
　路面状態判定部６２は、路面に関する情報をもとに、注意を要する路面が存在するか否かを判定する路面判定部において、注意を要する路面状態が存在するか否かの判定を実行する。路面状態判定部６２は、路面状態取得部６０から強度の情報を入力する。路面状態判定部６２は、強度の情報をもとに、路面９０が濡れているか否かを判定する。具体的に説明すると、路面状態判定部６２は、しきい値を予め保持しており、強度としきい値とを比較する。強度がしきい値よりも大きい場合、路面状態判定部６２は、路面９０が乾いていると判定する。一方、強度がしきい値以下である場合、路面状態判定部６２は、路面９０が濡れていると判定する。これは、センサ１１０として超音波センサを使用した場合、乾いた路面９０での反射よりも、濡れた路面９０での反射が弱いことにもとづく処理である。なお、濡れた路面９０には、水たまり、凍結が含まれる。ここで、路面９０が濡れていることとは、注意を要する路面状態が存在することに相当する。そのため、路面状態判定部６２は、路面状態、つまり超音波反射状態をもとに、注意を要する路面状態が存在するか否かを判定するといえる。
　位置関係判定部６６は、路面状態判定部６２において、濡れた路面９０が存在すると判定された場合、濡れた路面９０の位置と車両１００のドアとの位置関係をもとに、濡れた路面９０の位置が車両１００のドアの近傍に存在しているか否かを判定する。左側方センサ１１４と右側方センサ１１８はドアの近傍に配置されており、左前方センサ１２０、右前方センサ１２２、左後方センサ１２４、右後方センサ１２６はドアの近傍に配置されていない。そのため、位置関係判定部６６は、左側方センサ１１４あるいは右側方センサ１１８での強度に対して、濡れた路面９０が存在すると判定された場合、濡れた路面９０の位置が車両１００のドアの近傍に存在していると判定する。一方、位置関係判定部６６は、左前方センサ１２０から右後方センサ１２６のいずれかでの強度に対して、濡れた路面９０が存在すると判定された場合、濡れた路面９０の位置が車両１００のドアの近傍に存在していないと判定する。路面状態判定部６２と位置関係判定部６６は、判定結果を映像処理部４０に出力する。
　停止判定部６４は、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）を介してＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ　Ｃｏｎｔｒｏｌ　Ｕｎｉｔ）から、走行状況に関する情報を取得する。走行状況に関する情報は、例えば、車両１００の走行速度の情報である。停止判定部６４は、走行状況に関する情報をもとに、車両が停止した場合、あるいは車両の速度が所定速度未満になった場合を車両の停止状態と判定する。ここで、所定速度は、例えば、１０ｋｍ／ｈに設定される。停止判定部６４は、判定結果を映像処理部４０に出力する。
　映像処理部４０は、路面状態判定部６２、位置関係判定部６６、停止判定部６４のそれぞれからの判定結果を入力する。映像処理部４０は、停止判定部６４において車両１００の停止状態が判定され、かつ路面状態判定部６２において濡れた路面９０が存在すると判定された場合、注意を要する路面状態を示す画像を俯瞰映像７８に重畳させる。特に、映像処理部４０は、位置関係判定部６６において、濡れた路面９０の位置が車両１００のドアの近傍に存在していると判定された場合、俯瞰映像７８での自車アイコン８０における車両１００のドアの位置に、注意を要する路面状態を示す画像を重畳させる。
　図２６は、映像処理部４０において生成される俯瞰映像７８を示す。これは、濡れた路面９０の位置が車両１００のドアの近傍に存在していないと判定され、かつ左前方センサ１２０での強度に対して、濡れた路面９０が存在すると判定された場合の俯瞰映像７８である。俯瞰映像７８には、左前方通知画像１５０、右前方通知画像１５４、左後方通知画像１５６、右後方通知画像１６０が示される。ここで、左前方通知画像１５０、右前方通知画像１５４は、自車アイコン８０の前方に配置され、左後方通知画像１５６、右後方通知画像１６０は、自車アイコン８０の後方に配置される。
　左前方通知画像１５０は、左前方センサ１２０での強度に対して、「濡れた路面９０が存在する」あるいは「乾いた路面９０が存在する」を示すための画像である。「濡れた路面９０が存在する」場合、左前方通知画像１５０は「白色の無地」で示され、「乾いた路面９０が存在する」場合、左前方通知画像１５０は「網掛け模様」で示される。ここでは一例として前者である。このうちの「白色の無地」で示された場合の左前方通知画像１５０が、前述の注意を要する路面状態を示す画像に相当する。
　右前方通知画像１５４、左後方通知画像１５６、右後方通知画像１６０は、右前方センサ１２２、左後方センサ１２４、右後方センサ１２６に対して同様に示される。一例として、これらは「網掛け模様」で示されているので、「乾いた路面９０が存在する」場合に相当する。なお、車両１００が前進している場合、左後方通知画像１５６と右後方通知画像１６０での表示は必要ないので、左後方通知画像１５６と右後方通知画像１６０とが路面状態にかかわらず「網掛け模様」で示されてもよい。一方、車両１００が後進している場合、左前方通知画像１５０と右前方通知画像１５４での表示は必要ないので、左前方通知画像１５０と右前方通知画像１５４とが路面状態にかかわらず「網掛け模様」で示されてもよい。
　図２７は、映像処理部４０において生成される別の俯瞰映像７８を示す。これは、濡れた路面９０の位置が車両１００のドアの近傍に存在していると判定された場合の俯瞰映像７８である。俯瞰映像７８には、図２６の左前方通知画像１５０等の代わりに、左側方通知画像１６２、右側方通知画像１６４が配置される。ここで、左側方通知画像１６２は自車アイコン８０の左方に配置され、右側方通知画像１６４は自車アイコン８０の右方に配置される。右側方通知画像１６４は、右側方センサ１１８での強度に対して、「濡れた路面９０が存在する」あるいは「乾いた路面９０が存在する」を示すための画像である。「濡れた路面９０が存在する」場合、右側方通知画像１６４は「白色の無地」で示され、「乾いた路面９０が存在する」場合、右側方通知画像１６４は「網掛け模様」で示される。
　ここでは一例として前者である。このうちの「白色の無地」で示された場合の右側方通知画像１６４が、前述の注意を要する路面状態を示す画像に相当する。左側方通知画像１６２は、左側方センサ１１４に対して同様に示される。一例として、左側方通知画像１６２は「網掛け模様」で示されているので、「乾いた路面９０が存在する」場合に相当する。なお、左側方通知画像１６２と右側方通知画像１６４の表示は降車する場合に必要であるので、車両１００の速度が徐行以下になると、左側方通知画像１６２と右側方通知画像１６４の表示が開始されてもよい。
　図２８は、映像処理部４０において生成されるさらに別の俯瞰映像７８を示す。これは、左前方通知画像１５０から右後方通知画像１６０と、左側方通知画像１６２、右側方通知画像１６４が示される場合に相当する。また、車両１００の速度が徐行よりも速くなると、左側方センサ１１４と右側方センサ１１８のチルト角が、左前方センサ１２０等のチルト角と同様になるように変更される。
　これまで、映像処理部４０は、注意を要する路面状態を示す画像を俯瞰映像７８に重畳している。一方、注意を要する路面状態を示す画像が、撮像部１０において撮像された映像に重畳されてもよい。図２９は、映像処理部４０において生成される映像を示す。ここでは、前方撮像部１２において撮像された前方映像１７０に左前方通知画像１５０、右前方通知画像１５４が配置される。左前方通知画像１５０、右前方通知画像１５４はこれまでと同様である。図２３に戻る。
　表示制御部４２は、映像処理部４０からの俯瞰映像７８を入力する。表示制御部４２は、俯瞰映像７８を表示する処理を実行することによって、俯瞰映像７８を表示部５０に表示させる。表示部５０は、例えば、表示パネルである。表示部５０には、図２６から２９のいずれかのような俯瞰映像７８が表示される。
　この構成は、ハードウエア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウエア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。
　以上の構成による車両用表示装置３０の動作を説明する。図３０は、車両用表示装置３０による表示手順を示すフローチャートである。生成部３４は、俯瞰映像７８を生成する（Ｓ１１０）。路面状態取得部６０は、路面状態を取得する（Ｓ１１２）。注意を要する路面状態が存在する場合（Ｓ１１４のＹ）、停止判定部６４が停止状態を判定すれば（Ｓ１１６のＹ）、映像処理部４０は、画像を俯瞰映像７８に重畳する（Ｓ１１８）。注意を要する路面状態が存在しない場合（Ｓ１１４のＮ）、あるいは停止判定部６４が停止状態を判定しない場合（Ｓ１１６のＮ）、ステップ１１８はスキップされる。表示部５０は、俯瞰映像７８を表示する（Ｓ１２０）。
　本実施例によれば、注意を要する路面状態が存在すると判定された場合、注意を要する路面状態を示す画像を俯瞰映像に重畳させるので、注意を要する路面状態を知らせることができる。また、注意を要する路面状態が知らされるので、俯瞰映像においても路面が濡れているか否かを把握できる。また、停止状態が判定され、かつ注意を要する路面状態が存在すると判定された場合、注意を要する路面状態を示す画像を俯瞰映像に重畳させるので、降車しようとしている運転者等に対して、俯瞰映像においても路面状態を把握させることができる。
　また、注意を要する路面状態の位置がドアの近傍に存在していると判定された場合、俯瞰映像での自車アイコンにおけるドアの位置に画像を重畳させるので、降車しようとしている運転者等に対して、俯瞰映像においても路面状態を把握させることができる。また、路面での超音波反射状態をもとに、路面が濡れているか否かを判定するので、路面状態を特定できる。また、送信した超音波に対する反射波の強度をしきい値と比較するので、路面が濡れているか否かを判定できる。
（実施例４）
　次に、実施例４を説明する。実施例４は、実施例３と同様に、路面状態が示された俯瞰映像を表示する車両用表示装置に関する。実施例４では、特に、車両のドア開時に注意を要する路面状態が存在する場合を説明の対象にする。実施例４に係る車両１００は、図１、図２と同様のタイプである。ここでは、これまでとの差異を中心に説明する。
　図３１は、実施例４に係る車両用表示装置３０の構成を示す。車両用表示装置３０では、図２３の車両用表示装置３０に対して着座情報取得部５２が追加される。着座情報取得部５２は、車両１００における複数の座席のそれぞれに配置された着座センサ（図示せず）に接続され、各着座センサからの検出結果を受けつける。着座センサには公知の技術が使用されればよい。着座センサからの検出結果は、座席に乗員が座っているか否かを示しており、着座有無情報といえる。このような着座有無情報により、着座情報取得部５２は、乗員が着座している座席を特定する。着座情報取得部５２は、乗員が着座している座席に関する情報を映像処理部４０に出力する。
　映像処理部４０は、着座情報取得部５２から、乗員が着座している座席に関する情報を入力する。映像処理部４０は、情報をもとに、車両１００のドアのうち着座のある座席に対応するドアを特定する。また、映像処理部４０は、特定したドアの位置に、注意を要する路面状態を示す画像を重畳させる。例えば、特定したドアの位置が車両１００の右側のドアである場合、映像処理部４０は、右側方通知画像１６４だけを表示し、左側方通知画像１６２を表示しない。さらに、前述のごとく、右側方通知画像１６４が「白色の無地」で示された場合、注意を要する路面状態を示す画像が重畳されているといえる。一方、特定したドアの位置が車両１００の左側のドアである場合、同様の処理がなされる。
　本実施例によれば、着座のある座席に対応するドアの位置に画像を重畳させるので、後者に使用される可能性の高いドアに対して画像を表示できる。また、後者に使用される可能性の高いドアに対して画像が表示されるので、注意を喚起できる。
　以上、実施例をもとに本発明を説明した。この実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
　実施例１から４の任意の組合せも有効である。本変形例によれば、実施例１から４を任意に組み合わせた効果を得ることができる。
　本実施例３、４において路面状態取得部６０は、センサ１１０を使用して、路面状態として路面９０での超音波反射状態を取得している。しかしながらこれに限らず例えば、路面状態取得部６０は、生成部３４において生成した俯瞰映像７８を使用して、路面状態として俯瞰映像７８での濃淡の変化状態を取得してもよい。その際、路面状態判定部６２は、路面状態取得部６０が取得した濃淡の変化状態をもとに、路面９０が濡れているか否かを判定する。例えば、路面状態判定部６２は、隣接した画素毎に濃淡の変化を導出し、濃淡の変化がしきい値よりも大きくなった場合に、その部分が水たまり等の境界であると判定する。本変形例によれば、水たまり等の形状を特定できる。
　また、路面状態取得部６０は、センサ１１０を使用して、路面状態として路面９０での超音波反射状態を取得するとともに、生成部３４において生成した俯瞰映像７８を使用して、路面状態として俯瞰映像７８での濃淡の変化状態を取得してもよい。その場合、路面状態判定部６２は、超音波反射状態をもとに、路面９０が濡れている部分を検出した後、検出した部分を中心にして、濃淡の変化状態をもとに、水たまり等の境界を検出する。本変形例によれば、水たまり等の形状を効率的に特定できる。
　本実施例３、４において表示制御部４２は、注意を要する路面状態を示す画像を重畳させた俯瞰映像７８を表示部５０に表示させている。しかしながら、これに限らず例えば、ドアノブ付近にＬＥＤ（Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）が設けられ、表示制御部４２は、画面と同じような色でＬＥＤを表示してもよい。注意を要する路面状態が検出された場合、ドアのロックが解除できない、もしくはドアが強制的にロックされてもよい。乗車しようとする人に対してドア付近に悪路があることを教えてもよい。本変形例によれば、注意を要する路面状態を知らせることができる。
　１０　撮像部、　１２　前方撮像部、　１４　左側方撮像部、　１６　後方撮像部、　１８　右側方撮像部、　３０　車両用表示装置、　３２　映像取得部、　３４　生成部、　４０　映像処理部、　４２　表示制御部、　４４　走行状況取得部、　４６　路面形状取得部、　４８　路面形状判定部、　５０　表示部、　１００　車両、　１１０　センサ、　１１２　前方センサ、　１１４　左側方センサ、　１１６　後方センサ、　１１８　右側方センサ、　１２０　左前方センサ、　１２２　右前方センサ、　１２４　左後方センサ、　１２６　右後方センサ。
　本発明によれば、俯瞰映像においても段差の有無の把握できる。

Claims (15)

  1. 　車両の周辺を撮像した映像を取得する映像取得部と、
    　前記映像取得部において取得した映像に対して、前記車両の上方から見たように視点を変換することによって、俯瞰映像を生成する生成部と、
    　前記車両の周辺における路面に関する情報を取得する路面情報取得部と、
    　前記路面情報取得部が取得した路面に関する情報をもとに、注意を要する路面が存在するか否かを判定する路面判定部と、
    　前記路面判定部において注意を要する路面が存在すると判定された場合、注意を要する路面を示す画像を俯瞰映像に重畳させる映像処理部と、
    　前記映像処理部において画像が重畳された俯瞰映像を表示部に表示させる表示制御部と、
    　を備えることを特徴とする車両用表示装置。
  2. 　前記路面情報取得部は、前記車両の周辺における路面に関する情報として路面形状を取得し、
    　前記路面判定部は、前記路面情報取得部が取得した路面形状をもとに、注意を要する路面形状が存在するか否かを判定し、
    　前記映像処理部は、前記路面判定部において注意を要する路面形状が存在すると判定された場合、注意を要する路面形状を示す画像を俯瞰映像に重畳させることを特徴とする請求項１に記載の車両用表示装置。
  3. 　前記路面情報取得部は、路面形状を取得可能な範囲において、前記車両の車体から路面までの距離を取得することによって路面形状を取得することを特徴とする請求項２に記載の車両用表示装置。
  4. 　前記車両の走行状況を取得する走行状況取得部をさらに備え、
    　前記路面情報取得部は、前記走行状況取得部において取得した走行状況が所定速度未満での走行または停止である場合に、前記車両の周辺に対する路面形状を取得することを特徴とする請求項２または３に記載の車両用表示装置。
  5. 　前記路面判定部は、前記注意を要する路面形状として、前記車両の走行が困難となる高低差のある路面形状が存在するか否かを判定することを特徴とする請求項２から４のいずれかに記載の車両用表示装置。
  6. 　前記路面判定部は、前記車両の走行が困難となる高低差のある路面形状として、前記車両から離れると低くなる段差形状が存在するか否かを判定することを特徴とする請求項５に記載の車両用表示装置。
  7. 　前記路面判定部は、前記注意を要する路面形状として、前記車両のドアの開動作が困難となる高低差のある路面形状が存在するか否かを判定することを特徴とする請求項２から４のいずれかに記載の車両用表示装置。
  8. 　前記車両における複数の座席に対する着座有無情報を取得する着座情報取得部をさらに備え、
    　前記路面判定部は、前記車両のドアのうち、前記着座情報取得部が取得した着座のあるドアの開動作が困難となる高低差のある路面形状が存在するか否かを判定することを特徴とする請求項７に記載の車両用表示装置。
  9. 　前記路面情報取得部は、前記車両の周辺における路面に関する情報として路面状態を取得し、
    　前記路面判定部は、前記路面情報取得部が取得した路面状態をもとに、注意を要する路面状態が存在するか否かを判定し、
    　前記車両が停止した場合、あるいは前記車両の速度が所定速度未満になった場合を前記車両の停止状態と判定する停止判定部をさらに備え、
    　前記映像処理部は、前記停止判定部において前記車両の停止状態が判定され、かつ路面判定部において注意を要する路面状態が存在すると判定された場合、注意を要する路面状態を示す画像を俯瞰映像に重畳させることを特徴とする請求項１に記載の車両用表示装置。
  10. 　前記路面判定部において注意を要する路面状態が存在すると判定された場合、注意を要する路面状態の位置と前記車両のドアとの位置関係をもとに、注意を要する路面状態の位置が前記車両のドアの近傍に存在しているか否かを判定する位置関係判定部をさらに備え、
    　前記生成部は、前記車両の位置を示す自車アイコンを俯瞰映像に付加し、
    　前記映像処理部は、前記位置関係判定部において、注意を要する路面状態の位置が前記車両のドアの近傍に存在していると判定された場合、俯瞰映像での前記自車アイコンにおける前記車両のドアの位置に、注意を要する路面状態を示す画像を重畳させることを特徴とする請求項９に記載の車両用表示装置。
  11. 　前記路面情報取得部は、路面状態として路面での超音波反射状態を取得し、
    　前記路面判定部は、前記路面情報取得部が取得した路面の超音波反射状態をもとに、路面が濡れているか否かを判定することを特徴とする請求項９または１０に記載の車両用表示装置。
  12. 　前記路面情報取得部は、路面状態として俯瞰画像での濃淡の変化状態を取得し、
    　前記路面判定部は、前記路面情報取得部が取得した濃淡の変化状態をもとに、路面が濡れているか否かを判定することを特徴とする請求項９から１１のいずれかに記載の車両用表示装置。
  13. 　前記車両における複数の座席に対する着座有無情報を取得する着座情報取得部をさらに備え、
    　前記映像処理部は、前記車両のドアのうち着座のある座席に対応するドアの位置に、注意を要する路面状態を示す画像を重畳させることを特徴とする請求項９から１２のいずれかに記載の車両用表示装置。
  14. 　車両の周辺を撮像した映像を取得するステップと、
    　取得した映像に対して、前記車両の上方から見たように視点を変換することによって、俯瞰映像を生成するステップと、
    　前記車両の周辺における路面に関する情報を取得するステップと、
    　取得した路面に関する状態をもとに、注意を要する路面が存在するか否かを判定するステップと、
    　注意を要する路面が存在すると判定された場合、注意を要する路面を示す画像を俯瞰映像に重畳させるステップと、
    　画像が重畳された俯瞰映像を表示部に表示させるステップと、
    　を備えることを特徴とする車両用表示方法。
  15. 　車両の周辺を撮像した映像を取得するステップと、
    　取得した映像に対して、前記車両の上方から見たように視点を変換することによって、俯瞰映像を生成するステップと、
    　前記車両の周辺における路面に関する情報を取得するステップと、
    　取得した路面に関する情報をもとに、注意を要する路面が存在するか否かを判定するステップと、
    　注意を要する路面が存在すると判定された場合、注意を要する路面を示す画像を俯瞰映像に重畳させるステップと、
    　画像が重畳された俯瞰映像を表示部に表示させるステップとをコンピュータに実行させるためのプログラム。
PCT/JP2017/001313 2016-05-10 2017-01-17 車両用表示装置および車両用表示方法およびプログラム WO2017195403A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201780004888.8A CN108432242A (zh) 2016-05-10 2017-01-17 车辆用显示装置、车辆用显示方法以及程序
US16/034,389 US10703271B2 (en) 2016-05-10 2018-07-13 Vehicle display device, vehicle display method, and recording medium for displaying images

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2016-094626 2016-05-10
JP2016094626A JP6720683B2 (ja) 2016-05-10 2016-05-10 車両用表示装置および車両用表示方法
JP2016127890A JP6593258B2 (ja) 2016-06-28 2016-06-28 車両用表示装置および車両用表示方法およびプログラム
JP2016-127890 2016-06-28

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/034,389 Continuation US10703271B2 (en) 2016-05-10 2018-07-13 Vehicle display device, vehicle display method, and recording medium for displaying images

Publications (1)

Publication Number Publication Date
WO2017195403A1 true WO2017195403A1 (ja) 2017-11-16

Family

ID=60267697

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/001313 WO2017195403A1 (ja) 2016-05-10 2017-01-17 車両用表示装置および車両用表示方法およびプログラム

Country Status (3)

Country Link
US (1) US10703271B2 (ja)
CN (1) CN108432242A (ja)
WO (1) WO2017195403A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200271451A1 (en) * 2019-02-25 2020-08-27 Deka Products Limited Partnership System and Method for Surface Feature Detection and Transversal

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10471611B2 (en) * 2016-01-15 2019-11-12 Irobot Corporation Autonomous monitoring robot systems
DE102018206722A1 (de) * 2018-05-02 2019-11-07 Robert Bosch Gmbh Verfahren und Vorrichtung zum Betreiben von Ultraschallsensoren eines Fahrzeugs
JP7331511B2 (ja) * 2019-07-16 2023-08-23 株式会社アイシン 車両周辺表示装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004153627A (ja) * 2002-10-31 2004-05-27 Nissan Motor Co Ltd 車両用外界認識装置
JP2008249634A (ja) * 2007-03-30 2008-10-16 Aisin Aw Co Ltd 対象物検出装置
WO2013018173A1 (ja) * 2011-07-29 2013-02-07 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2945230B2 (ja) * 1993-02-25 1999-09-06 三菱電機株式会社 路面状態検知装置
JP2005001570A (ja) 2003-06-12 2005-01-06 Equos Research Co Ltd 駐車支援装置
JP4956915B2 (ja) * 2005-05-20 2012-06-20 日産自動車株式会社 映像表示装置及び映像表示方法
US20060269105A1 (en) * 2005-05-24 2006-11-30 Langlinais Ashton L Methods, Apparatus and Products for Image Capture
JP4386082B2 (ja) * 2007-02-20 2009-12-16 トヨタ自動車株式会社 車両走行支援装置
JP2009049943A (ja) 2007-08-22 2009-03-05 Alpine Electronics Inc 距離画像によるトップビュー表示装置
JP4751455B2 (ja) * 2009-01-27 2011-08-17 本田技研工業株式会社 車両の駆動力制御装置
JP5068779B2 (ja) * 2009-02-27 2012-11-07 現代自動車株式会社 車両周囲俯瞰画像表示装置及び方法
EP2401176B1 (en) * 2009-02-27 2019-05-08 Magna Electronics Alert system for vehicle
JP2011205513A (ja) * 2010-03-26 2011-10-13 Aisin Seiki Co Ltd 車両周辺監視装置
CN103080990B (zh) * 2011-06-07 2015-04-01 株式会社小松制作所 作业车辆的周边监视装置
JP5682788B2 (ja) * 2011-09-27 2015-03-11 アイシン精機株式会社 車両周辺監視装置
DE102013200385A1 (de) 2013-01-14 2014-07-17 Robert Bosch Gmbh Verfahren und Vorrichtung zur Unterstützung eines Fahrers eines Fahrzeugs bei einer Fahrt auf unebenem Gelände
US9267792B2 (en) * 2013-01-21 2016-02-23 Systèmes Pavemetrics Inc. Method and apparatus for compensating lateral displacements and low speed variations in the measure of a longitudinal profile of a surface
KR101985265B1 (ko) * 2013-04-18 2019-06-04 니시니혼 고소쿠도로 엔지니어링 시코쿠 가부시키가이샤 도로 주행면의 형상을 조사하는 장치
JP6380002B2 (ja) * 2014-10-28 2018-08-29 アイシン精機株式会社 周辺監視装置
US9836660B2 (en) * 2015-12-03 2017-12-05 GM Global Technology Operations LLC Vision-based wet road surface condition detection using tire tracks

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004153627A (ja) * 2002-10-31 2004-05-27 Nissan Motor Co Ltd 車両用外界認識装置
JP2008249634A (ja) * 2007-03-30 2008-10-16 Aisin Aw Co Ltd 対象物検出装置
WO2013018173A1 (ja) * 2011-07-29 2013-02-07 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200271451A1 (en) * 2019-02-25 2020-08-27 Deka Products Limited Partnership System and Method for Surface Feature Detection and Transversal

Also Published As

Publication number Publication date
CN108432242A (zh) 2018-08-21
US20180319337A1 (en) 2018-11-08
US10703271B2 (en) 2020-07-07

Similar Documents

Publication Publication Date Title
US8933797B2 (en) Video-based warning system for a vehicle
WO2017195403A1 (ja) 車両用表示装置および車両用表示方法およびプログラム
JP6267972B2 (ja) 作業機械の周囲監視装置
US7237790B2 (en) System for hitching a trailer to a motor vehicle
US11124113B2 (en) Vehicle hatch clearance determining system
JP5096836B2 (ja) 車両の周囲を画像化する方法およびそのためのシステム
WO2018092265A1 (ja) 運転支援装置および運転支援方法
US10776636B2 (en) Stereo camera-based detection of objects proximate to a vehicle
CN102476619B (zh) 用于检测机动车周围环境的方法
JP2018056794A (ja) 周辺監視装置
US20130113614A1 (en) Systems and methods for vehicle door clearance zone projection
CN110300673A (zh) 车辆外围监视装置
US9045085B2 (en) Object detector
CN109278642A (zh) 车辆倒车安全性映射
JP2007124097A (ja) 車両周辺視認装置
JP4751894B2 (ja) 自動車の前方にある障害物を検知するシステム
JP2002036987A (ja) 車両周囲監視装置
US9811741B2 (en) Object detector
JP2009276906A (ja) 走行情報提供装置
CN111612701A (zh) 周边监视装置
JP6593258B2 (ja) 車両用表示装置および車両用表示方法およびプログラム
US10904409B2 (en) Detection apparatus, imaging apparatus, moveable body, and detection method
JP6720683B2 (ja) 車両用表示装置および車両用表示方法
JP4601376B2 (ja) 画像異常判定装置
JP6868996B2 (ja) 障害物検知システム及び建設機械

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17795764

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17795764

Country of ref document: EP

Kind code of ref document: A1