WO2018159017A1 - 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム - Google Patents

車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム Download PDF

Info

Publication number
WO2018159017A1
WO2018159017A1 PCT/JP2017/039422 JP2017039422W WO2018159017A1 WO 2018159017 A1 WO2018159017 A1 WO 2018159017A1 JP 2017039422 W JP2017039422 W JP 2017039422W WO 2018159017 A1 WO2018159017 A1 WO 2018159017A1
Authority
WO
WIPO (PCT)
Prior art keywords
confirmation request
video
overhead
vehicle
image
Prior art date
Application number
PCT/JP2017/039422
Other languages
English (en)
French (fr)
Inventor
俊夫 森
拓之 照内
浅山　学
恒夫 里見
菅田　章典
Original Assignee
株式会社Ｊｖｃケンウッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Ｊｖｃケンウッド filed Critical 株式会社Ｊｖｃケンウッド
Priority to EP17898899.4A priority Critical patent/EP3493537B1/en
Priority to CN201780032520.2A priority patent/CN109314765B/zh
Publication of WO2018159017A1 publication Critical patent/WO2018159017A1/ja
Priority to US16/208,653 priority patent/US10723266B2/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/102—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using 360 degree surveillance camera system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8046—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for replacing a rear-view mirror system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning

Definitions

  • the present invention relates to a vehicle display control device, a vehicle display system, a vehicle display control method, and a program.
  • a technique is known in which a camera around a vehicle is photographed around the vehicle and displayed on a monitor as a bird's-eye view image obtained by performing viewpoint conversion processing on the photographed image.
  • a technique for displaying a side image together with a bird's-eye view image based on a shift position or a drive range change is known (see, for example, Patent Document 1).
  • the driver may want to confirm the periphery of the vehicle more reliably in directions other than the front.
  • the driver uses the side monitor to check the rear side.
  • the side monitor may be difficult to grasp the depth as compared with a conventional optical side mirror.
  • the overhead view video is useful for grasping the relative positional relationship between the vehicle and the surroundings, it is possible to grasp the relative positional relationship between the vehicle corresponding to the depth and the surroundings by using the overhead view image.
  • the monitor that displays the bird's-eye view video is disposed in the center in front of the passenger compartment. For this reason, if it tries to visually recognize the monitor of a center part, confirming the side monitor arrange
  • the present invention has been made in view of the above, and an object of the present invention is to enable appropriate confirmation of the periphery of a vehicle.
  • a display control apparatus for a vehicle provides video data from a plurality of overhead-view video cameras that shoot front, rear, left, and right of a vehicle, and rear left and right sides of the vehicle.
  • a video data acquisition unit that acquires video data from the rear camera that is to be imaged, and a viewpoint conversion process and a synthesis process are performed on the video of the overhead camera acquired by the video data acquisition unit to generate an overhead image.
  • a display request provided in the direction of the confirmation request detected when the confirmation request detection unit detects a confirmation request.
  • a display control unit that displays a video in the confirmation request direction of the side rear camera and a video in a direction corresponding to the confirmation request direction in the overhead video generated by the overhead video generation unit. , Characterized in that it comprises a.
  • a vehicle display system includes at least one of the vehicle display control device, the overhead view camera, the side rear camera, and the display unit.
  • the display control method for a vehicle is a video data for acquiring video data from a plurality of bird's-eye video cameras that shoot front, rear, left and right of the vehicle, and video data from a side rear camera that shoots the left and right sides of the vehicle
  • An acquisition step an overhead video generation step for generating an overhead video by performing a viewpoint conversion process and a synthesis process on the video of the overhead camera acquired in the video data acquisition step;
  • a confirmation request detecting step for detecting the confirmation request, and when the confirmation request is detected in the confirmation request detecting step, an image of the confirmation request direction of the side rear camera is displayed on the display unit provided in the detected confirmation request direction.
  • a display control step for displaying a video in a direction corresponding to the confirmation request direction in the overhead video generated in the overhead video generation step; Including.
  • the program according to the present invention is a video data acquisition step of acquiring video data from a plurality of overhead view video cameras that capture the front, rear, left, and right sides of a vehicle, and video data from a side rear camera that captures the left and right sides of the vehicle,
  • a bird's-eye view video generation step for generating a bird's-eye view video by performing a viewpoint conversion process and a composition process on the video of the bird's-eye view camera acquired in the video data acquisition step, and a confirmation for detecting a right / left situation check request of the vehicle
  • Display control step for displaying a video in a direction corresponding to the confirmation request direction in the overhead view video generated in the generation step and the vehicle table It is executed by a computer that operates as a control device.
  • FIG. 1 is a block diagram illustrating a configuration example of the vehicle display system according to the first embodiment.
  • FIG. 2 is a schematic diagram illustrating a configuration example of a side rear camera and a bird's-eye video camera of the vehicle display system according to the first embodiment.
  • FIG. 3 is a schematic diagram illustrating a configuration example of a right rear camera of the vehicle display system according to the first embodiment.
  • FIG. 4 is a schematic diagram illustrating a configuration example of a monitor of the vehicle display system according to the first embodiment.
  • FIG. 5 is a diagram illustrating an example of an image displayed on the right side monitor in the vehicle display system according to the first embodiment.
  • FIG. 6 is a flowchart showing the flow of processing in the vehicle display control device of the vehicle display system according to the first embodiment.
  • FIG. 1 is a block diagram illustrating a configuration example of the vehicle display system according to the first embodiment.
  • FIG. 2 is a schematic diagram illustrating a configuration example of a side rear camera and a bird's-
  • FIG. 7 is a diagram illustrating an example of a bird's-eye view image generated by the vehicle display system according to the second embodiment.
  • FIG. 8 is a diagram illustrating an example of an image displayed on the right side monitor in the vehicle display system according to the second embodiment.
  • FIG. 9 is a flowchart showing the flow of processing in the vehicle display control apparatus of the vehicle display system according to the second embodiment.
  • FIG. 10 is a diagram illustrating an example of an image displayed on the right side monitor in the vehicle display system according to the third embodiment.
  • FIG. 11 is a flowchart showing the flow of processing in the vehicle display control apparatus of the vehicle display system according to the third embodiment.
  • FIG. 1 is a block diagram illustrating a configuration example of the vehicle display system according to the first embodiment.
  • the vehicle display system 1 includes a rear camera 11, a right rear camera (side rear camera) 12, a left rear camera (side rear camera) 13, a bird's-eye view camera unit 20, an info A mentment monitor 31, a rear view monitor 32, a right side monitor (display unit) 33, a left side monitor (display unit) 34, and a vehicle display control device 40.
  • the video data acquired from each camera is, for example, moving image data composed of continuous images of 30 to 60 frames per second, and the video displayed on each monitor is a video based on the moving image.
  • FIG. 2 is a schematic diagram illustrating a configuration example of a side rear camera and a bird's-eye video camera of the vehicle display system according to the first embodiment.
  • the rear camera 11 captures a range including a confirmation range by the rear view monitor 32.
  • the rear camera 11 captures a range including the blind spots of the right rear camera 12 and the left rear camera 13.
  • the rear camera 11 has a horizontal angle of view of, for example, 90 to 180 °, and a vertical angle of view of, for example, 45 to 90 °.
  • the rear camera 11 outputs the captured video data to the video data acquisition unit 51 of the vehicle display control device 40.
  • FIG. 3 is a schematic diagram illustrating a configuration example of a right rear camera of the vehicle display system according to the first embodiment.
  • the right rear camera 12 captures a confirmation range by the right side monitor 33.
  • the right rear camera 12 has a horizontal angle of view of, for example, 15 to 45 °, and a vertical angle of view of, for example, 15 to 45 °.
  • the attached support member can be folded in the direction of the vehicle V.
  • the right rear camera 12 outputs the captured video data to the video data acquisition unit 51 of the vehicle display control device 40.
  • the left rear camera 13 is arranged on the left side of the vehicle V and photographs the left side of the vehicle V.
  • the left rear camera 13 captures a confirmation range by the left side monitor 34.
  • the left rear camera 13 has a horizontal angle of view of, for example, 15 to 45 °, and a vertical angle of view of, for example, 15 to 45 °.
  • the attached support member can be folded in the direction of the vehicle V.
  • the left rear camera 13 outputs the captured video data to the video data acquisition unit 51 of the vehicle display control device 40.
  • the overhead view camera unit (a plurality of overhead view cameras) 20 includes a front overhead camera 21, a rear overhead camera 22, a right side overhead camera 23, and a left side overhead camera 24.
  • the front bird's-eye camera 21 is arranged in front of the vehicle V and photographs the periphery around the front of the vehicle V.
  • the front bird's-eye camera 21 shoots a shooting range of about 180 °, for example.
  • the front bird's-eye camera 21 outputs the captured video to the video data acquisition unit 51 of the vehicle display control device 40.
  • the rear bird's-eye view camera 22 is disposed behind the vehicle V and photographs the periphery around the rear of the vehicle V.
  • the rear overhead camera 22 captures an imaging range of about 180 °.
  • the rear overhead camera 22 outputs the captured video to the video data acquisition unit 51 of the vehicle display control device 40.
  • the right side overhead camera 23 is arranged on the right side of the vehicle V and photographs the periphery around the right side of the vehicle V.
  • the right side overhead camera 23 captures an imaging range of about 180 °, for example.
  • the right side overhead camera 23 outputs the captured video to the video data acquisition unit 51 of the vehicle display control device 40.
  • the left side overhead camera 24 is arranged on the left side of the vehicle V and photographs the periphery around the left side of the vehicle V.
  • the left side overhead camera 24 shoots a shooting range of about 180 °, for example.
  • the left side overhead camera 24 outputs the captured video to the video data acquisition unit 51 of the vehicle display control device 40.
  • Such a bird's-eye-view video camera unit 20 including the front bird's-eye camera 21, the rear bird's-eye camera 22, the right-side bird's-eye camera 23, and the left-side bird's-eye camera 24 captures all directions of the vehicle V.
  • the infotainment monitor 31 is a display including, for example, a liquid crystal display (LCD: Liquid Crystal Display) or an organic EL (Organic Electro-Luminescence) display.
  • FIG. 4 is a schematic diagram illustrating a configuration example of a monitor of the vehicle display system according to the first embodiment.
  • the infotainment monitor 31 displays, for example, a bird's-eye view video based on the video signal output from the vehicle display control device 40 of the vehicle display system 1.
  • the infotainment monitor 31 may be dedicated to the vehicle display system 1 or may be used jointly with other systems including a navigation system, for example.
  • the infotainment monitor 31 is disposed at a position that is easily visible to the driver. In the present embodiment, the infotainment monitor 31 is disposed on the center console C at the center of the dashboard D in the vehicle width direction.
  • the rear view monitor 32 is an electronic room mirror as an example. When the rear view monitor 32 is used as an electronic room mirror, it does not matter whether a half mirror for confirming the rear by optical reflection is present.
  • the rear view monitor 32 is a display including, for example, a liquid crystal display or an organic EL display.
  • the rear view monitor 32 displays a rear video of the vehicle V based on the video signal output from the vehicle display control device 40.
  • the rear view monitor 32 is disposed at a position that is easily visible to the driver. In the present embodiment, the rear view monitor 32 is disposed at the center upper portion of the windshield S in the vehicle width direction.
  • the right side monitor 33 is a display including, for example, a liquid crystal display or an organic EL display.
  • the right side monitor 33 displays the right rear video of the vehicle V based on the video signal output from the display control unit 59 of the vehicle display control device 40.
  • the right side monitor 33 is disposed at a position that is easily visible to the driver. In the present embodiment, the right side monitor 33 is disposed on the right side of the dashboard D in the vehicle width direction.
  • the left side monitor 34 is a display including a liquid crystal display or an organic EL display, for example.
  • the left side monitor 34 displays a left rear video of the vehicle V based on the video signal output from the display control unit 59 of the vehicle display control device 40.
  • the left side monitor 34 is disposed at a position that is easily visible to the driver. In the present embodiment, the left side monitor 34 is disposed on the left side of the dashboard D in the vehicle width direction.
  • the vehicle display control device 40 includes a control unit 50 and a storage unit 60.
  • the control unit 50 is an arithmetic processing unit configured with, for example, a CPU (Central Processing Unit).
  • the control unit 50 includes a video data acquisition unit 51, a confirmation request detection unit 52, an overhead video generation unit 53, and a display control unit 59.
  • the control unit 50 executes instructions included in the program stored in the storage unit 60.
  • the video data acquisition unit 51 acquires video data from the overhead video camera unit 20 that captures the front, rear, left, and right of the vehicle V, and video data from the side rear camera that captures the left and right sides of the vehicle V.
  • the video data acquisition unit 51 acquires peripheral video data from the overhead video camera unit 20.
  • the video data acquisition unit 51 acquires video data from the rear camera 11.
  • the video data acquisition unit 51 acquires video data from the right rear camera 12 and the left rear camera 13.
  • the video data acquisition unit 51 outputs the acquired video data to the overhead video generation unit 53 and the display control unit 59.
  • the confirmation request detection unit 52 indicates a right / left situation confirmation request (confirmation request) of the vehicle V, for example, a direction indicator, a steering wheel, and door operation information of the vehicle V, a CAN (Controller Area Network), and the state of the vehicle V. Acquired from various sensors for sensing.
  • the confirmation request detection unit 52 may acquire navigation information indicating a right / left situation confirmation request for the vehicle V. Even if the confirmation request detection unit 52 detects an obstacle by an infrared sensor, an ultrasonic sensor, a millimeter wave sensor, a sensor based on image recognition, or the like and acquires obstacle information indicating a right / left situation confirmation request of the vehicle V, for example. Good.
  • the confirmation request detection unit 52 When the confirmation request detection unit 52 acquires the operation information indicating the right / left situation confirmation request of the vehicle V, the confirmation request detection unit 52 outputs the fact that the confirmation request is detected to the bird's-eye view image generation unit 53 together with the confirmation request direction. If the confirmation request detection unit 52 has not acquired the operation information indicating the right / left situation confirmation request for the vehicle V, the confirmation request detection unit 52 outputs to the overhead video generation unit 53 that the confirmation request has not been detected.
  • the left-right situation confirmation request for the vehicle V means that the driver requests or requires the driver to confirm the situation around at least one of the right and left vehicles V.
  • the right side and the left side of the vehicle V for which the driver requests confirmation are referred to as confirmation request directions.
  • the confirmation request detection unit 52 detects a right / left situation confirmation request in which the confirmation request directions are rightward and leftward based on operation information in which the shift position is “reverse”.
  • the confirmation request detection unit 52 detects a right / left situation confirmation request in which the confirmation request direction is the lane change direction and is right or left based on the navigation information and the steering angle information.
  • the confirmation request detection unit 52 is based on the opening information on the right door or the left door, and the confirmation request direction is the opening operation direction, which is right or left. Detects left / right status confirmation request.
  • the confirmation request detection unit 52 determines whether the confirmation request direction is the direction in which the direction indicator is operated and is right or left based on the operation information of the direction indicator. Is detected.
  • the confirmation request detection unit 52 uses the detection information of the sensor or the obstacle information based on the analysis result of the image analysis by image processing. Based on this, a right / left situation confirmation request is detected in which the confirmation request direction is the detection direction of the sensor or the direction of the camera that captured the obstacle.
  • the confirmation request directions are the right side and the left side.
  • the bird's-eye view video generation unit 53 performs viewpoint conversion processing, cut-out processing, and composition processing on the peripheral video acquired by the video data acquisition unit 51.
  • the bird's-eye view video generation unit 53 generates a bird's-eye view video in which a host vehicle icon simulating the size and form of the vehicle V is displayed at the center of the synthesized video.
  • the overhead view video generation unit 53 includes a viewpoint conversion processing unit 531, a clipping processing unit 532, and a composition processing unit 533.
  • the viewpoint conversion processing unit 531 performs viewpoint conversion processing on the surrounding video data acquired by the video data acquisition unit 51 so that the vehicle V is looked down from above. More specifically, the viewpoint conversion processing unit 531 generates a video on which the viewpoint conversion processing has been performed based on the peripheral video data captured by the overhead-view video camera unit 20.
  • the method of viewpoint conversion processing may be any known method and is not limited.
  • the viewpoint conversion processing unit 531 outputs the peripheral video data that has undergone the viewpoint conversion processing to the cutout processing unit 532.
  • the cutout processing unit 532 performs a cutout process of cutting out a predetermined range of video from the peripheral video data that has undergone the viewpoint conversion process. Which range is the cut-out range is registered and stored in advance.
  • the cutout processing unit 532 outputs the video data of the video that has undergone the cutout processing to the composition processing unit 533.
  • the composition processing unit 533 performs composition processing for synthesizing the video data subjected to the clipping processing.
  • the composition processing unit 533 generates a bird's-eye view image in which the vehicle icon is displayed on the composed image.
  • the display control unit 59 causes the infotainment monitor 31 to display the overhead view video generated by the overhead view video generation unit 53.
  • the display control unit 59 displays the video captured by the rear camera 11 acquired by the video data acquisition unit 51 on the rear view monitor 32.
  • the display control unit 59 causes the right side monitor 33 to display the video captured by the right rear camera 12 acquired by the video data acquisition unit 51.
  • the display control unit 59 displays the video captured by the left rear camera 13 acquired by the video data acquisition unit 51 on the left side monitor 34.
  • the display control unit 59 When the confirmation request detection unit 52 detects a confirmation request, the display control unit 59 has a right side monitor 33 or a left side monitor 34 (hereinafter referred to as “a side monitor in the confirmation request direction”) provided in the detected confirmation request direction. )) In the side rear video 100 (see FIG. 5) captured by the side rear camera in the confirmation request direction of the right rear camera 12 and the left rear camera 13, and the overhead video generated by the overhead video generation unit 53. An overhead image 110 (see FIG. 5) in a direction corresponding to the confirmation request direction is displayed.
  • the direction corresponding to the confirmation request direction is the same direction as the confirmation request direction or the opposite direction to the confirmation request direction.
  • the direction corresponding to the confirmation request direction is the same direction as the confirmation request direction.
  • the display control unit 59 cuts out a direction corresponding to the confirmation request direction in the overhead view video generated by the overhead view video generation unit 53 and generates the overhead view video 110.
  • the display control unit 59 displays the side rear image 100 on the inner side in the vehicle width direction of the side monitor in the confirmation request direction, and displays the overhead image 110 on the outer side in the vehicle width direction.
  • the display control unit 59 may display the side rear image 100 on the outer side in the vehicle width direction of the side monitor in the confirmation request direction and display the overhead image 110 on the inner side in the vehicle width direction.
  • the display control unit 59 captures the right rear image captured by the right rear camera 12.
  • the side rear image 100 is displayed on the left side of the right side monitor 33, and the overhead image 110 obtained by cutting out the right direction in the overhead image generated by the overhead image generation unit 53 as the image in the direction corresponding to the confirmation request direction is displayed on the right side monitor. 33 is displayed on the right side.
  • the display control unit 59 detects the left rear imaged by the left rear camera 13 when the confirmation request detection unit 52 detects a confirmation request with the left side as the confirmation request direction (hereinafter referred to as “left confirmation request”).
  • the side rear image 100 is displayed on the right side of the left side monitor 34, and the overhead view image 110 obtained by cutting out the left direction in the overhead view image generated by the overhead view image generation unit 53 as the image in the direction corresponding to the confirmation request direction is displayed on the left side monitor. 34 is displayed on the left side.
  • the display control unit 59 performs the processing when the right confirmation request is detected and the left confirmation request. The processing when detected is executed.
  • FIG. 5 is a diagram illustrating an example of an image displayed on the right side monitor in the vehicle display system according to the first embodiment.
  • a right side rear image 100 and an overhead image 110 are displayed side by side in the vehicle width direction.
  • the right side rear image 100 is a right rear image of the vehicle V taken by the right rear camera 12.
  • the right side rear image 100 includes a range similar to that of a conventional optical right side mirror.
  • the right side rear image 100 includes a range in which the vehicle body 101 on the right side of the vehicle V is reflected. In the present embodiment, the right side rear image 100 is displayed on the vehicle V side.
  • the overhead video 110 is a video obtained by cutting out the video on the right side from the overhead video generated by the overhead video generation unit 53.
  • the bird's-eye view image 110 is an image obtained by cutting out a right half range of the bird's-eye view image generated by the bird's-eye view image generation unit 53.
  • the bird's-eye view image 110 includes a front image 111, a rear image 112, and a right-side image 113.
  • the front image 111 and the rear image 112 include a range corresponding to the center of the vehicle icon 114 in the vehicle width direction.
  • a host vehicle icon 114 is displayed on the left side.
  • the host vehicle icon 114 represents the form and size of the right half of the host vehicle.
  • the bird's-eye view image 110 is displayed outside the right side rear image 100 in the vehicle width direction.
  • FIG. 5 an oblique broken line indicating the boundary between the front image 111, the rear image 112, and the right-side image 113 is illustrated for explanation, but the overhead image 110 actually displayed on the right side monitor 33 is illustrated.
  • the broken line may or may not be displayed. The same applies to the other figures.
  • the storage unit 60 stores data and various processing results required for various processes in the vehicle display control device 40.
  • the storage unit 60 is, for example, a semiconductor memory device such as a RAM, a ROM, or a flash memory, or a storage device such as a hard disk, an optical disk, or an external storage device via a network.
  • FIG. 6 is a flowchart showing the flow of processing in the vehicle display control device of the vehicle display system according to the first embodiment.
  • the side rear image 100 captured by the right rear camera 12 is displayed on the entire surface of the right side monitor 33, and the side rear image captured by the left rear camera 13 is displayed on the entire surface of the left side monitor 34.
  • the video 100 is being displayed. It does not matter whether or not the overhead view video is displayed on the infotainment monitor 31 at this time.
  • the control unit 50 determines whether or not there is a status confirmation request (step S11). More specifically, the control unit 50 determines whether the confirmation request detection unit 52 has detected a situation confirmation request. When it is determined that the status confirmation request is not detected (No in step S11), the control unit 50 executes the process of step S11 again. When it is determined that the status confirmation request has been detected (Yes in step S11), the control unit 50 proceeds to step S12.
  • the control unit 50 generates or acquires a bird's-eye view video (step S12).
  • the control unit 50 acquires the overhead view video data generated by the overhead view video generation unit 53.
  • the processing of step S12 is Yes in step S11, if the overhead image generation unit 53 continues to generate the overhead image, the overhead image generation unit 53 acquires the overhead image, and the overhead image generation unit 53 generates the overhead image. If not, the overhead image is acquired after the generation of the overhead image is started.
  • the control unit 50 proceeds to step S13.
  • the control unit 50 displays the video in the direction corresponding to the confirmation request direction of the overhead view video on the side monitor in the confirmation request direction together with the side rear camera video in the confirmation request direction (step S13).
  • the control unit 50 may cut out and display the video in the confirmation request direction for each frame from the overhead view video data generated by the overhead view video generation unit 53, or display only the video data in the confirmation request direction from the overhead view video data. May be.
  • the control unit 50 controls the display control unit 59 to view the right side rear video 100 captured by the right rear camera 12 and the overhead view video obtained by cutting out the right side from the overhead view video generated by the overhead view video generation unit 53. 110 is displayed on the right side monitor 33.
  • the control unit 50 proceeds to step S14.
  • the control unit 50 determines whether or not the status confirmation request has been terminated (step S14). More specifically, when the status check request is continuously detected, the control unit 50 determines that the status check request has not ended (No in step S14), and executes the process of step S14 again. When the status confirmation request is not detected, the control unit 50 determines that the status confirmation request has ended (Yes in step S14), and ends the process.
  • the vehicle rear view system 100 captures the side rear image 100 captured by the side rear camera in the confirmation request direction with respect to the detected side monitor in the confirmation request direction.
  • the overhead view video 110 in the confirmation request direction in the overhead view video generated by the video generation unit 53 is displayed.
  • the side rear image 100 captured by the side rear camera in the confirmation request direction and the overhead image generation are generated with respect to the side monitor in the detected confirmation request direction.
  • the bird's-eye view image 110 obtained by cutting out the confirmation request direction from the bird's-eye view image generated by the unit 53 is displayed.
  • This embodiment can confirm the bird's-eye view image 110 cut out from the confirmation request direction together with the side rear image 100 on the side monitor in the confirmation request direction. That is, in the period from when the status confirmation request is detected to when it is terminated, the side monitor in the confirmation request direction simultaneously displays the overhead view image in the confirmation request direction as a moving image in addition to the side rear image 100. Thereby, this embodiment can confirm the safety around the vehicle V more reliably. As described above, this embodiment can make it possible to check the vicinity of the appropriate vehicle V.
  • the movement of the line of sight increases in order to check the overhead view video 110 on the infotainment monitor 31 while checking the side rear video 100 on the side monitor.
  • the side monitor in the confirmation request direction can confirm the side view image 100 in the confirmation request direction and the overhead view image 110 in the confirmation request direction.
  • this embodiment can suppress the movement of a driver
  • FIG. 7 is a diagram illustrating an example of a bird's-eye view image generated by the vehicle display system according to the second embodiment.
  • FIG. 8 is a diagram illustrating an example of an image displayed on the right side monitor in the vehicle display system according to the second embodiment.
  • FIG. 9 is a flowchart showing the flow of processing in the vehicle display control apparatus of the vehicle display system according to the second embodiment.
  • the vehicle display system 1 has the same basic configuration as the vehicle display system 1 of the first embodiment. In the following description, the same components as those of the vehicle display system 1 are denoted by the same reference numerals or corresponding reference numerals, and detailed description thereof is omitted.
  • the vehicle display system 1 of the present embodiment is different from the vehicle display system 1 of the first embodiment in the processing in the control unit 50 of the vehicle display control device 40.
  • the overhead view video generation unit 53 includes the images from the front overhead camera 21 and the rear overhead camera 22 in the overhead view camera unit 20 and the direction corresponding to the confirmation request direction. An overhead view video is generated using the video from the overhead camera.
  • the confirmation request detection unit 52 detects a confirmation request
  • the overhead view video generation unit 53 includes the images from the front overhead camera 21 and the rear overhead camera 22 among the peripheral images acquired by the video data acquisition unit 51. Then, a viewpoint conversion process, a clipping process, and a composition process are executed on the video from the overhead camera in the confirmation request direction to generate an overhead video.
  • the overhead view video generation unit 53 includes the periphery from the right side overhead camera 23, the front overhead camera 21, and the rear overhead camera 22 acquired by the video data acquisition unit 51.
  • a viewpoint conversion process, a cut-out process, and a composition process are performed on the video to generate an overhead video 110A.
  • the overhead view video generation unit 53 includes the periphery from the left side overhead camera 24, the front overhead camera 21, and the rear overhead camera 22 acquired by the video data acquisition unit 51.
  • a viewpoint conversion process, a cut-out process, and a composition process are performed on the video to generate an overhead video 110A.
  • the confirmation request detection unit 52 detects a confirmation request with the right direction and the left direction as the confirmation request direction
  • the overhead view image generation unit 53 performs the processing when the right confirmation request is detected and the left confirmation request. The processing when detected is executed.
  • the viewpoint conversion processing unit 531 When the confirmation request detection unit 52 detects the confirmation request, the viewpoint conversion processing unit 531 performs viewpoint conversion processing based on the video from the overhead camera in the direction corresponding to the confirmation request direction in the overhead video camera unit 20. Generated video. In the present embodiment, when the confirmation request detection unit 52 detects a confirmation request, the viewpoint conversion processing unit 531 generates a video on which the viewpoint conversion processing has been performed based on the video from the overhead camera in the confirmation request direction.
  • the cut-out processing unit 532 When the confirmation request detection unit 52 detects a confirmation request, the cut-out processing unit 532 performs a cut-out process of cutting out a predetermined range of video from the video from the overhead camera corresponding to the confirmation request direction in which the viewpoint conversion processing is performed. Do. In the present embodiment, when the confirmation request detection unit 52 detects a confirmation request, the cutout processing unit 532 cuts out a predetermined range of video from the video from the overhead view camera in the confirmation request direction in which the viewpoint conversion processing is performed. Perform out processing. In the present embodiment, the front image 111A and the rear image 112A cut out a range corresponding to the left end of the host vehicle icon 114A.
  • the composition processing unit 533 When the confirmation request detection unit 52 detects the confirmation request, the composition processing unit 533 performs a composition process for compositing the video from the overhead camera in the direction corresponding to the confirmation request direction in which the clipping process is performed. In the present embodiment, when the confirmation request detection unit 52 detects a confirmation request, the composition processing unit 533 performs composition processing for compositing the video from the overhead camera in the confirmation request direction in which the clipping process is performed. The composition processing unit 533 generates an overhead image 110A in which the own vehicle icon 114A is displayed on the synthesized image.
  • the display control unit 59 detects the side rear image 100A captured by the side rear camera in the confirmation request direction and the overhead view image with respect to the detected side monitor in the confirmation request direction.
  • the overhead image 110A generated using the image from the overhead camera in the direction corresponding to the confirmation request direction in the camera unit 20 is displayed.
  • the display control unit 59 captures the side rear image captured by the side rear camera in the confirmation request direction with respect to the detected side monitor in the confirmation request direction.
  • 100A and a bird's-eye view image 110A generated using the image from the bird's-eye view camera in the confirmation request direction are displayed.
  • the display control unit 59 displays the right rear side rear video 100A captured by the right rear camera 12 and the right side overhead view with respect to the right side monitor 33.
  • An overhead image 110A generated from peripheral images from the camera 23, the front overhead camera 21 and the rear overhead camera 22 is displayed.
  • the display control unit 59 displays the left rear side rear video 100A captured by the left rear camera 13 and the left side overhead view with respect to the left side monitor 34.
  • An overhead image 110A generated from peripheral images from the camera 24, the front overhead camera 21, and the rear overhead camera 22 is displayed.
  • the display control unit 59 detects the processing when the right confirmation request is detected and the left confirmation request. The processing when it is done is executed.
  • the overhead image 110A generated by the overhead image generation unit 53 when the confirmation request detection unit 52 detects the right confirmation request will be described.
  • the overhead view video 110A is a video generated using the video from the overhead view camera in the confirmation request direction in the overhead view camera unit 20.
  • viewpoint conversion processing, clipping processing, and composition processing are performed on peripheral images from the right side overhead camera 23, the front overhead camera 21, and the rear overhead camera 22 acquired by the video data acquisition unit 51. It is the generated video.
  • the overhead image 110A includes a front image 111A, a rear image 112A, and a right side image 113A.
  • the front image 111A and the rear image 112A include a range corresponding to the left end of the host vehicle icon 114A.
  • the own vehicle icon 114A represents the overall form and size of the own vehicle.
  • FIG. 8 an image displayed on the right side monitor 33 when the confirmation request detection unit 52 detects a right confirmation request will be described.
  • a right side rear image 100A and an overhead image 110A are displayed side by side in the vehicle width direction.
  • the right side rear image 100A is the same as the right side rear image 100 of the first embodiment.
  • the overhead image 110A is the same image as FIG.
  • Steps S21 and S24 perform the same processing as steps S11 and S14.
  • the control unit 50 generates an overhead video that does not use the video of the overhead camera opposite to the confirmation request direction (step S22). More specifically, the control unit 50 performs a viewpoint conversion process on a video other than the video from the overhead camera opposite to the confirmation request direction among the peripheral videos acquired by the video data acquisition unit 51 in the overhead video generation unit 53. The cut-out process and the composition process are executed to generate the overhead view image 110A. The control unit 50 proceeds to step S23.
  • the control unit 50 displays the overhead image 110A generated in step S22 on the side monitor in the confirmation request direction along with the side rear image 100A in the confirmation request direction (step S23).
  • the control unit 50 causes the display control unit 59 to display the right side rear image 100A captured by the right rear camera 12 and the overhead view image 110A generated in step S22 on the right side monitor 33.
  • the control unit 50 proceeds to step S24.
  • the overhead image 110A generated using the video from the overhead camera in the confirmation request direction is displayed.
  • the side monitor in the confirmation request direction can confirm the bird's-eye view image 110 ⁇ / b> A generated using the image from the overhead camera in the confirmation request direction together with the side rear image 100 ⁇ / b> A.
  • this embodiment can confirm the safety around the vehicle V more reliably.
  • this embodiment can make it possible to check the vicinity of the appropriate vehicle V.
  • FIG. 10 is a diagram illustrating an example of an image displayed on the right side monitor in the vehicle display system according to the third embodiment.
  • FIG. 11 is a flowchart showing the flow of processing in the vehicle display control apparatus of the vehicle display system according to the third embodiment.
  • the vehicle display system 1 has the same basic configuration as the vehicle display system 1 of the first embodiment.
  • the vehicle display system 1 of the present embodiment is different from the vehicle display system 1 of the first embodiment in the processing in the control unit 50 of the vehicle display control device 40.
  • the overhead image generation unit 53 When the confirmation request detection unit 52 detects the confirmation request, the overhead image generation unit 53 generates an overhead image 110B in which the virtual viewpoint position is changed in front of or behind the vehicle. In the present embodiment, when the confirmation request detection unit 52 detects a confirmation request, the overhead image generation unit 53 generates an overhead image 110B in which the virtual viewpoint position is changed behind the vehicle.
  • the viewpoint conversion processing unit 531 When the confirmation request detection unit 52 detects the confirmation request, the viewpoint conversion processing unit 531 performs a virtual viewpoint in front of the vehicle or behind the vehicle with respect to the peripheral image from the overhead camera in the confirmation request direction in the overhead camera unit 20. The viewpoint conversion process is performed by changing the position. In the present embodiment, when the confirmation request detection unit 52 detects a confirmation request, the viewpoint conversion processing unit 531 changes the virtual viewpoint position to the rear of the vehicle with respect to the peripheral video from the overhead camera in the confirmation request direction. Perform the conversion process.
  • the display control unit 59 detects the side rear image 100B captured by the side rear camera in the confirmation request direction, and the vehicle front, Alternatively, the overhead view image 110B obtained by changing the virtual viewpoint position and performing the viewpoint conversion process is displayed on the rear side of the vehicle.
  • the display control unit 59 captures the side rear image captured by the side rear camera in the confirmation request direction with respect to the detected side monitor in the confirmation request direction.
  • 100B and a bird's-eye view image 110B obtained by changing the virtual viewpoint position and performing the viewpoint conversion process are displayed on the rear side of the vehicle.
  • the display control unit 59 detects the right rear side video 100B captured by the right rear camera 12 and the right side overhead view with respect to the right side monitor 33. With respect to the peripheral images from the camera 23, the front bird's-eye camera 21 and the rear bird's-eye camera 22, a bird's-eye view image 110B with the virtual viewpoint position changed in front of or behind the vehicle is displayed.
  • the display control unit 59 displays the left rear side rear video 100B captured by the left rear camera 13 and the left side overhead view with respect to the left side monitor 34.
  • the bird's-eye view image 110B with the virtual viewpoint position changed in front of or behind the vehicle is displayed.
  • the right side rear image 100B is the same as the right side rear image 100 of the first embodiment.
  • the bird's-eye view image 110B is a bird's-eye view image obtained by changing the virtual viewpoint position behind the vehicle.
  • the bird's-eye view image 110B includes a front image 111B, a rear image 112B, and a right-side image 113B as viewed from the front of the vehicle.
  • the front image 111B and the rear image 112B include a range corresponding to the center of the host vehicle icon 114B in the vehicle width direction.
  • the own vehicle icon 114B imitates the form of the own vehicle as viewed from the front of the vehicle.
  • Steps S31 and S34 perform the same processing as steps S11 and S14.
  • the control unit 50 generates or acquires a bird's-eye view video with the virtual viewpoint position changed (step S32).
  • the control unit 50 changes the virtual viewpoint position to the rear of the vehicle with respect to the video from the overhead camera in the confirmation request direction among the peripheral videos acquired by the video data acquisition unit 51 in the overhead video generation unit 53.
  • the viewpoint conversion process, the clipping process, and the synthesis process are executed to generate the overhead view image 110B.
  • the control unit 50 proceeds to step S33.
  • the control unit 50 extracts the overhead view image 110B generated in step S32 in the confirmation request direction and displays it on the side monitor in the confirmation request direction together with the side rear camera image in the confirmation request direction (step S33).
  • the control unit 50 causes the display control unit 59 to display the right side rear image 100B captured by the right rear camera 12 and the overhead view image 110B generated by changing the virtual viewpoint position generated in step S32. It is displayed on the side monitor 33.
  • the control unit 50 proceeds to step S34.
  • the side rear image 100B captured by the side rear camera in the confirmation request direction and the vehicle front or the vehicle are detected with respect to the side monitor in the detected confirmation request direction.
  • a bird's-eye view image 110B in which the position of the virtual viewpoint is changed is displayed behind.
  • the side monitor in the confirmation request direction can confirm the overhead view image in the confirmation request direction in which the virtual viewpoint position is changed together with the side rear image. Thereby, this embodiment can confirm the safety around the vehicle V more reliably. As described above, this embodiment can make it possible to check the vicinity of the appropriate vehicle V.
  • Each component of the illustrated vehicle display system 1 is functionally conceptual and may not necessarily be physically configured as illustrated. That is, the specific form of each device is not limited to the one shown in the figure, and all or a part of them is functionally or physically distributed or integrated in arbitrary units according to the processing load or usage status of each device. May be.
  • the configuration of the vehicle display system 1 is realized by, for example, a program loaded in a memory as software.
  • the above embodiment has been described as a functional block realized by cooperation of these hardware or software. That is, these functional blocks can be realized in various forms by hardware only, software only, or a combination thereof.
  • the display control unit 59 detects the side rear image 10 captured by the side rear camera in the confirmation request direction and the overhead view image with respect to the detected side monitor in the confirmation request direction.
  • the image in the confirmation request direction and the image on the opposite side to the confirmation request direction in the overhead view image 110 generated by the generation unit 53 may be alternately switched and displayed, for example, in a blinking manner.
  • the display control unit 59 alternates between the confirmation request direction image and the opposite image to the confirmation request direction only when the confirmation request detected by the confirmation request detection unit 52 is due to the detection of an obstacle. You may make it display by switching to. Thereby, the more suitable confirmation of the vehicle V periphery can be enabled.
  • the display control unit 59 does not perform the process of displaying the overhead image 110 on the side monitor in the detected confirmation request direction when the vehicle speed of the vehicle V is equal to or higher than the predetermined speed. May be. This is because the display range of the side rear image 100 is maintained at a normal size when traveling at high speed.
  • the display control unit 59 may shift the cutout range to the front side or the rear side so that the front image 111 or the rear image 112 in the overhead view image 110 is displayed widely. Thereby, more useful information for the driver can be displayed.
  • the display control unit 59 may display a line at the boundary between the side rear image 100 and the overhead image 110 when displaying the overhead image 110 on the side monitor.
  • the display control unit 59 may display the overhead image 110 in a semi-transparent color with a predetermined transparency when displaying the overhead image 110 on the side monitor.
  • the display control unit 59 may display either the side rear image 100 and the bird's-eye view image 110 with different brightness or brightness.
  • the display control unit 59 When the display control unit 59 starts displaying the overhead image 110 on the side monitor, the display control unit 59 displays an image on the side monitor such that the overhead image 110 slides in from the outside and ends the display. An image may be displayed on the side monitor such that the bird's-eye view image 110 slides outward and goes out of the frame. Thereby, in this embodiment, it can be made to recognize easily that the bird's-eye view image 110 is displayed on the side monitor.
  • Vehicle display system 11 Rear camera 12 Right rear camera (side rear camera) 13 Left rear camera (side rear camera) 20 Overhead Video Camera Unit (Multiple Overhead Video Cameras) 21 Front view camera (overview video camera) 22 Rear overhead camera (overhead video camera) 23 Right-side overhead camera (camera for overhead view) 24 Left-side overhead camera (camera for overhead view) 31 Infotainment monitor 32 Rear view monitor 33 Right side monitor (display) 34 Left side monitor (display) DESCRIPTION OF SYMBOLS 40 Display control apparatus for vehicles 50 Control part 51 Image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

車両Ｖの前後左右を撮影する複数の俯瞰映像用カメラからの映像データおよび車両Ｖの左右側後方を撮影する側後方カメラからの映像データを取得する映像データ取得部５１と、映像データ取得部５１が取得した俯瞰映像用カメラの映像に対して視点変換処理および合成処理を行うことで俯瞰映像を生成する俯瞰映像生成部５３と、車両Ｖの左右状況確認要求を検出する確認要求検出部５２と、確認要求検出部５２が確認要求を検出したとき、検出した確認要求方向に備えられているサイドモニタに対して、側後方カメラのうち確認要求方向の映像と、俯瞰映像生成部５３が生成した俯瞰映像における確認要求方向に対応する方向の映像を表示させる表示制御部５９と、を備える。

Description

車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
　本発明は、車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラムに関する。
　車両の周囲に設置されたカメラで車両周辺を撮影し、撮影した映像に視点変換処理を行った俯瞰映像としてモニタに表示させる技術が知られている。また、シフト位置やドライブレンジの変更に基づいて、俯瞰映像とともに側方の映像を表示させる技術が知られている（例えば、特許文献１参照）。
特開２０１２－０６６７００号公報
　例えば、車両の駐車時や右左折時など、運転者が前方以外の方向について車両の周辺をより確実に確認したい場合がある。このようなとき、運転者は、サイドモニタを使用して側後方を確認する。ところが、サイドモニタは、従来の光学式のサイドミラーに比べて奥行を把握しにくいおそれがある。
　俯瞰映像は車両と周囲との相対的な位置関係の把握に有用であるので、俯瞰映像を用いることで、奥行に対応する車両と周囲との相対的な位置関係を把握することが可能になる。しかしながら、俯瞰映像を表示するモニタは車室前方の中央部に配置されている。このため、車室前方の車幅方向の外側に配置されたサイドモニタを確認しながら中央部のモニタを視認しようとすると、視線の移動が大きくなる。
　本発明は、上記に鑑みてなされたものであって、適切な車両周辺の確認を可能とすることを目的とする。
　上述した課題を解決し、目的を達成するために、本発明に係る車両用表示制御装置は、車両の前後左右を撮影する複数の俯瞰映像用カメラからの映像データおよび前記車両の左右側後方を撮影する側後方カメラからの映像データを取得する映像データ取得部と、前記映像データ取得部が取得した前記俯瞰映像用カメラの映像に対して視点変換処理および合成処理を行うことで俯瞰映像を生成する俯瞰映像生成部と、前記車両の左右状況確認要求を検出する確認要求検出部と、前記確認要求検出部が確認要求を検出したとき、検出した確認要求方向に備えられている表示部に対して、前記側後方カメラのうち確認要求方向の映像と、前記俯瞰映像生成部が生成した俯瞰映像における確認要求方向に対応する方向の映像を表示させる表示制御部と、を備えることを特徴とする。
　本発明に係る車両用表示システムは、上記の車両用表示制御装置と、前記俯瞰映像用カメラ、前記側後方カメラ、前記表示部のうち少なくともいずれかを備えることを特徴とする。
　本発明に係る車両用表示制御方法は、車両の前後左右を撮影する複数の俯瞰映像用カメラからの映像データおよび前記車両の左右側後方を撮影する側後方カメラからの映像データを取得する映像データ取得ステップと、前記映像データ取得ステップで取得した前記俯瞰映像用カメラの映像に対して視点変換処理および合成処理を行うことで俯瞰映像を生成する俯瞰映像生成ステップと、前記車両の左右状況確認要求を検出する確認要求検出ステップと、前記確認要求検出ステップで確認要求を検出したとき、検出した確認要求方向に備えられている表示部に対して、前記側後方カメラのうち確認要求方向の映像と、前記俯瞰映像生成ステップで生成した俯瞰映像における確認要求方向に対応する方向の映像を表示させる表示制御ステップとを含む。
　本発明に係るプログラムは、車両の前後左右を撮影する複数の俯瞰映像用カメラからの映像データおよび前記車両の左右側後方を撮影する側後方カメラからの映像データを取得する映像データ取得ステップと、前記映像データ取得ステップで取得した前記俯瞰映像用カメラの映像に対して視点変換処理および合成処理を行うことで俯瞰映像を生成する俯瞰映像生成ステップと、前記車両の左右状況確認要求を検出する確認要求検出ステップと、前記確認要求検出ステップで確認要求を検出したとき、検出した確認要求方向に備えられている表示部に対して、前記側後方カメラのうち確認要求方向の映像と、前記俯瞰映像生成ステップで生成した俯瞰映像における確認要求方向に対応する方向の映像を表示させる表示制御ステップと車両用表示制御装置として動作するコンピュータに実行させる。
　本発明によれば、適切な車両周辺の確認を可能にすることができるという効果を奏する。
図１は、第一実施形態に係る車両用表示システムの構成例を示すブロック図である。 図２は、第一実施形態に係る車両用表示システムの側後方カメラと俯瞰映像用カメラとの構成例を示す概略図である。 図３は、第一実施形態に係る車両用表示システムの右側後方カメラの構成例を示す概略図である。 図４は、第一実施形態に係る車両用表示システムのモニタの構成例を示す概略図である。 図５は、第一実施形態に係る車両用表示システムで右サイドモニタに表示される映像の一例を示す図である。 図６は、第一実施形態に係る車両用表示システムの車両用表示制御装置における処理の流れを示すフローチャートである。 図７は、第二実施形態に係る車両用表示システムで生成される俯瞰映像の一例を示す図である。 図８は、第二実施形態に係る車両用表示システムで右サイドモニタに表示される映像の一例を示す図である。 図９は、第二実施形態に係る車両用表示システムの車両用表示制御装置における処理の流れを示すフローチャートである。 図１０は、第三実施形態に係る車両用表示システムで右サイドモニタに表示される映像の一例を示す図である。 図１１は、第三実施形態に係る車両用表示システムの車両用表示制御装置における処理の流れを示すフローチャートである。
　以下に添付図面を参照して、本発明に係る車両用表示制御装置４０、車両用表示システム１、車両用表示制御方法およびプログラムの実施形態を詳細に説明する。なお、以下の実施形態により本発明が限定されるものではない。
［第一実施形態］
　車両用表示システム１は、車両Ｖに搭載され、車両周辺を表示する。図１は、第一実施形態に係る車両用表示システムの構成例を示すブロック図である。
　図１に示すように、車両用表示システム１は、後方カメラ１１と、右側後方カメラ（側後方カメラ）１２と、左側後方カメラ（側後方カメラ）１３と、俯瞰映像用カメラユニット２０と、インフォティメントモニタ３１と、リヤビューモニタ３２と、右サイドモニタ（表示部）３３と、左サイドモニタ（表示部）３４と、車両用表示制御装置４０とを有する。以下、各カメラから取得される映像データは、例えば毎秒３０～６０フレームの連続した映像で構成される動画像のデータであり、各モニタが表示する映像は動画像に基づく映像である。
　図２に示すように、後方カメラ１１は、車両Ｖの後方に配置され、車両Ｖの後方を撮影する。図２は、第一実施形態に係る車両用表示システムの側後方カメラと俯瞰映像用カメラとの構成例を示す概略図である。後方カメラ１１は、リヤビューモニタ３２による確認範囲を含んだ範囲を撮影する。後方カメラ１１は、右側後方カメラ１２および左側後方カメラ１３の死角を含んだ範囲を撮影する。後方カメラ１１は、水平方向の画角が例えば９０～１８０°、上下方向の画角が例えば４５～９０°である。後方カメラ１１は、撮影した映像データを車両用表示制御装置４０の映像データ取得部５１へ出力する。
　図２、図３に示すように、右側後方カメラ１２は、車両Ｖの右側方に配置され、車両Ｖの右側方を撮影する。図３は、第一実施形態に係る車両用表示システムの右側後方カメラの構成例を示す概略図である。右側後方カメラ１２は、右サイドモニタ３３による確認範囲を撮影する。右側後方カメラ１２は、水平方向の画角が例えば１５～４５°、上下方向の画角が例えば１５～４５°である。右側後方カメラ１２は、取り付けられている支持部材が車両Ｖの方向に折り畳み可能である。右側後方カメラ１２は、撮影した映像データを車両用表示制御装置４０の映像データ取得部５１へ出力する。
　図２に戻って、左側後方カメラ１３は、車両Ｖの左側方に配置され、車両Ｖの左側方を撮影する。左側後方カメラ１３は、左サイドモニタ３４による確認範囲を撮影する。左側後方カメラ１３は、水平方向の画角が例えば１５～４５°、上下方向の画角が例えば１５～４５°である。左側後方カメラ１３は、取り付けられている支持部材が車両Ｖの方向に折り畳み可能である。左側後方カメラ１３は、撮影した映像データを車両用表示制御装置４０の映像データ取得部５１へ出力する。
　俯瞰映像用カメラユニット（複数の俯瞰映像用カメラ）２０は、前方俯瞰カメラ２１と、後方俯瞰カメラ２２と、右側方俯瞰カメラ２３と、左側方俯瞰カメラ２４とを有する。
　前方俯瞰カメラ２１は、車両Ｖの前方に配置され、車両Ｖの前方を中心とした周辺を撮影する。前方俯瞰カメラ２１は、例えば、１８０°程度の撮影範囲を撮影する。前方俯瞰カメラ２１は、撮影した映像を車両用表示制御装置４０の映像データ取得部５１へ出力する。
　後方俯瞰カメラ２２は、車両Ｖの後方に配置され、車両Ｖの後方を中心とした周辺を撮影する。後方俯瞰カメラ２２は、例えば、１８０°程度の撮影範囲を撮影する。後方俯瞰カメラ２２は、撮影した映像を車両用表示制御装置４０の映像データ取得部５１へ出力する。
　図２、図３に示すように、右側方俯瞰カメラ２３は、車両Ｖの右側方に配置され、車両Ｖの右側方を中心とした周辺を撮影する。右側方俯瞰カメラ２３は、例えば、１８０°程度の撮影範囲を撮影する。右側方俯瞰カメラ２３は、撮影した映像を車両用表示制御装置４０の映像データ取得部５１へ出力する。
　図２に戻って、左側方俯瞰カメラ２４は、車両Ｖの左側方に配置され、車両Ｖの左側方を中心とした周辺を撮影する。左側方俯瞰カメラ２４は、例えば、１８０°程度の撮影範囲を撮影する。左側方俯瞰カメラ２４は、撮影した映像を車両用表示制御装置４０の映像データ取得部５１へ出力する。
　このような前方俯瞰カメラ２１と後方俯瞰カメラ２２と右側方俯瞰カメラ２３と左側方俯瞰カメラ２４とを含む俯瞰映像用カメラユニット２０で、車両Ｖの全方位を撮影する。
　図４に示すように、インフォティメントモニタ３１は、例えば、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）または有機ＥＬ（Ｏｒｇａｎｉｃ　Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイを含むディスプレイである。図４は、第一実施形態に係る車両用表示システムのモニタの構成例を示す概略図である。インフォティメントモニタ３１は、車両用表示システム１の車両用表示制御装置４０から出力された映像信号に基づいて、例えば、俯瞰映像を表示する。インフォティメントモニタ３１は、車両用表示システム１に専用のものであっても、例えば、ナビゲーションシステムを含む他のシステムと共同で使用するものであってもよい。インフォティメントモニタ３１は、運転者から視認容易な位置に配置されている。本実施形態では、インフォティメントモニタ３１は、ダッシュボードＤの車幅方向の中央部のセンターコンソールＣに配置されている。
　リヤビューモニタ３２は、一例としては電子ルームミラーである。リヤビューモニタ３２を電子ルームミラーとして用いる場合は、後方を光学的な反射により確認するためのハーフミラーの有無は問わない。リヤビューモニタ３２は、例えば、液晶ディスプレイまたは有機ＥＬディスプレイなどを含むディスプレイである。リヤビューモニタ３２は、車両用表示制御装置４０から出力された映像信号に基づき、車両Ｖの後方映像を表示する。リヤビューモニタ３２は、運転者から視認容易な位置に配置されている。本実施形態では、リヤビューモニタ３２は、ウィンドシールドＳの車幅方向の中央上部に配置されている。
　右サイドモニタ３３は、例えば、液晶ディスプレイまたは有機ＥＬディスプレイなどを含むディスプレイである。右サイドモニタ３３は、車両用表示制御装置４０の表示制御部５９から出力された映像信号に基づき、車両Ｖの右側後方映像を表示する。右サイドモニタ３３は、運転者から視認容易な位置に配置されている。本実施形態では、右サイドモニタ３３は、ダッシュボードＤの車幅方向の右側に配置されている。
　左サイドモニタ３４は、例えば、液晶ディスプレイまたは有機ＥＬディスプレイを含むディスプレイである。左サイドモニタ３４は、車両用表示制御装置４０の表示制御部５９から出力された映像信号に基づき、車両Ｖの左側後方映像を表示する。左サイドモニタ３４は、運転者から視認容易な位置に配置されている。本実施形態では、左サイドモニタ３４は、ダッシュボードＤの車幅方向の左側に配置されている。
　図１に戻って、車両用表示制御装置４０は、制御部５０と、記憶部６０とを有する。
　制御部５０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）などで構成された演算処理装置である。制御部５０は、映像データ取得部５１と、確認要求検出部５２と、俯瞰映像生成部５３と、表示制御部５９とを含む。制御部５０は、記憶部６０に記憶されているプログラムに含まれる命令を実行する。
　映像データ取得部５１は、車両Ｖの前後左右を撮影する俯瞰映像用カメラユニット２０からの映像データおよび車両Ｖの左右側後方を撮影する側後方カメラからの映像データを取得する。映像データ取得部５１は、俯瞰映像用カメラユニット２０からの周辺映像データを取得する。映像データ取得部５１は、後方カメラ１１からの映像データを取得する。映像データ取得部５１は、右側後方カメラ１２および左側後方カメラ１３からの映像データを取得する。映像データ取得部５１は、取得したこれらの映像データを俯瞰映像生成部５３と表示制御部５９とに出力する。
　確認要求検出部５２は、車両Ｖの左右状況確認要求（確認要求）を示す、例えば、車両Ｖの方向指示器やステアリング、扉の操作情報を、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）や車両Ｖの状態をセンシングする各種センサなどから取得する。確認要求検出部５２は、車両Ｖの左右状況確認要求を示す、ナビ情報を取得してもよい。確認要求検出部５２は、例えば、赤外線センサ、超音波センサ、ミリ波センサ、画像認識によるセンサ等によって障害物を検出し、車両Ｖの左右状況確認要求を示す、障害物情報を取得してもよい。確認要求検出部５２は、車両Ｖの左右状況確認要求を示す操作情報を取得した場合、確認要求を検出したことを確認要求方向とともに俯瞰映像生成部５３に出力する。確認要求検出部５２は、車両Ｖの左右状況確認要求を示す操作情報を取得していない場合、確認要求は未検出であることを俯瞰映像生成部５３に出力する。
　車両Ｖの左右状況確認要求は、車両Ｖの右方、左方の少なくともどちらか一方の車両Ｖの周囲の状況の確認を運転者が要求、または運転者が必要としていることをいう。運転者が確認を要求する車両Ｖの右方、左方を、確認要求方向という。
　例えば、車両Ｖの後退時、確認要求検出部５２は、シフトポジションが「リバース」とされた操作情報に基づいて、確認要求方向が右方および左方である左右状況確認要求を検出する。
　例えば、車両Ｖの車線変更時、確認要求検出部５２は、ナビ情報、舵角情報に基づいて、確認要求方向が車線変更方向で、右方または左方である左右状況確認要求を検出する。
　例えば、車両Ｖの右扉または左扉の開操作時、確認要求検出部５２は、右扉または左扉の開情報に基づいて、確認要求方向が開操作方向で、右方または左方である左右状況確認要求を検出する。
　例えば、方向指示器の操作時、確認要求検出部５２は、方向指示器の操作情報に基づいて、確認要求方向が方向指示器を操作した方向で、右方または左方である左右状況確認要求を検出する。
　例えば、車両Ｖの後退時、右側方または左側方または後方の近傍に障害物が存在する時、確認要求検出部５２は、センサの検出情報または画像処理による画像解析の解析結果による障害物情報に基づいて、確認要求方向がセンサの検出方向または障害物を撮影したカメラの方向で、右方または左方である左右状況確認要求を検出する。なお、障害物が後方に検出された場合は、確認要求方向は、右方および左方とする。
　俯瞰映像生成部５３は、映像データ取得部５１が取得した周辺映像に対して視点変換処理と切出処理と合成処理とを実行する。俯瞰映像生成部５３は、合成した映像の中央部に車両Ｖの大きさや形態などを模した自車両アイコンを表示した俯瞰映像を生成する。
　俯瞰映像生成部５３は、視点変換処理部５３１と、切出処理部５３２と、合成処理部５３３とを有する。
　視点変換処理部５３１は、映像データ取得部５１で取得した周辺映像データに対して、車両Ｖを上方から見下ろすように視点変換処理を行う。より詳しくは、視点変換処理部５３１は、俯瞰映像用カメラユニット２０で撮影した周辺映像データに基づいて、視点変換処理を行った映像を生成する。視点変換処理の方法は、公知のいずれの方法でもよく、限定されない。視点変換処理部５３１は、視点変換処理を行った周辺映像データを切出処理部５３２に出力する。
　切出処理部５３２は、視点変換処理を行った周辺映像データから所定の範囲の映像を切出す切出処理を行う。どの範囲を切出範囲とするかは、あらかじめ登録され記憶されている。切出処理部５３２は、切出処理を行った映像の映像データを合成処理部５３３に出力する。
　合成処理部５３３は、切出処理を行った映像データを合成する合成処理を行う。合成処理部５３３は、合成した映像に自車両アイコンを表示した俯瞰映像を生成する。
　表示制御部５９は、俯瞰映像生成部５３で生成された俯瞰映像をインフォティメントモニタ３１に表示させる。表示制御部５９は、映像データ取得部５１で取得した後方カメラ１１で撮影した映像をリヤビューモニタ３２に表示させる。表示制御部５９は、映像データ取得部５１で取得した右側後方カメラ１２で撮影した映像を右サイドモニタ３３に表示させる。表示制御部５９は、映像データ取得部５１で取得した左側後方カメラ１３で撮影した映像を左サイドモニタ３４に表示させる。
　表示制御部５９は、確認要求検出部５２が確認要求を検出したとき、検出した確認要求方向に備えられている右サイドモニタ３３または左サイドモニタ３４（以下、「確認要求方向のサイドモニタ」という。）に対して、右側後方カメラ１２および左側後方カメラ１３のうち確認要求方向の側後方カメラで撮影された側後方映像１００（図５参照）と、俯瞰映像生成部５３が生成した俯瞰映像における確認要求方向に対応する方向の俯瞰映像１１０（図５参照）とを表示させる。
　確認要求方向に対応する方向とは、確認要求方向と同じ方向、または、確認要求方向と反対方向である。本実施形態では、確認要求方向に対応する方向は、確認要求方向と同じ方向とする。
　表示制御部５９は、俯瞰映像生成部５３が生成した俯瞰映像における確認要求方向に対応する方向を切出して俯瞰映像１１０を生成する。
　表示制御部５９は、確認要求方向のサイドモニタの車幅方向の内側に側後方映像１００を表示し、車幅方向の外側に俯瞰映像１１０を表示する。または、表示制御部５９は、確認要求方向のサイドモニタの車幅方向の外側に側後方映像１００を表示し、車幅方向の内側に俯瞰映像１１０を表示してもよい。
　例えば、表示制御部５９は、確認要求検出部５２が右方を確認要求方向とする確認要求（以下、「右確認要求」という。）を検出したとき、右側後方カメラ１２で撮影された右側後方の側後方映像１００を右サイドモニタ３３の左側に表示させ、確認要求方向に対応する方向の映像として、俯瞰映像生成部５３が生成した俯瞰映像における右方向を切出した俯瞰映像１１０を右サイドモニタ３３の右側に表示させる。
　例えば、表示制御部５９は、確認要求検出部５２が左方を確認要求方向とする確認要求（以下、「左確認要求」という。）を検出したとき、左側後方カメラ１３で撮影された左側後方の側後方映像１００を左サイドモニタ３４の右側に表示させ、確認要求方向に対応する方向の映像として、俯瞰映像生成部５３が生成した俯瞰映像における左方向を切出した俯瞰映像１１０を左サイドモニタ３４の左側に表示させる。
　例えば、表示制御部５９は、確認要求検出部５２が右方および左方を確認要求方向とする状況確認要求を検出したときは、上記の右確認要求を検出したときの処理と左確認要求を検出したときの処理とを実行する。
　図５を用いて、確認要求検出部５２が右確認要求を検出したとき、右サイドモニタ３３に表示される映像について説明する。図５は、第一実施形態に係る車両用表示システムで右サイドモニタに表示される映像の一例を示す図である。右サイドモニタ３３には、右側の側後方映像１００と俯瞰映像１１０とが車幅方向に並んで表示されている。
　右側の側後方映像１００は、右側後方カメラ１２で撮影された車両Ｖの右側後方の映像である。右側の側後方映像１００は、従来の光学式の右サイドミラーと同様の範囲を含む。右側の側後方映像１００には、車両Ｖの右側方の車体１０１が映り込んでいる範囲がある。本実施形態では、右側の側後方映像１００は、車両Ｖ側に表示されている。
　俯瞰映像１１０は、俯瞰映像生成部５３で生成された俯瞰映像から、右側方の映像を切出した映像である。本実施形態では、俯瞰映像１１０は、俯瞰映像生成部５３で生成された俯瞰映像の右側半分の範囲を切出した映像である。俯瞰映像１１０は、前方映像１１１と後方映像１１２と右側方映像１１３とを含む。本実施形態では、前方映像１１１と後方映像１１２とは、自車両アイコン１１４の車幅方向の中央部までに対応する範囲を含んでいる。俯瞰映像１１０には、左側に自車両アイコン１１４が表示されている。自車両アイコン１１４は、自車両の右側半分の形態と大きさとを表す。俯瞰映像１１０は、右側の側後方映像１００の車幅方向の外側に表示されている。
　図５においては、前方映像１１１と後方映像１１２と右側方映像１１３との境界を示す斜めの破線を説明のために図示しているが、実際に右サイドモニタ３３に表示される俯瞰映像１１０には当該破線は表示されても表示されなくてもよい。他の図も同様である。
　記憶部６０は、車両用表示制御装置４０における各種処理に要するデータおよび各種処理結果を記憶する。記憶部６０は、例えば、ＲＡＭ、ＲＯＭ、フラッシュメモリなどの半導体メモリ素子、または、ハードディスク、光ディスク、ネットワークを介した外部記憶装置などの記憶装置である。
　次に、図６を用いて、制御部５０による処理の流れについて説明する。図６は、第一実施形態に係る車両用表示システムの車両用表示制御装置における処理の流れを示すフローチャートである。図６に示す処理の前提としては、右サイドモニタ３３の全面に右側後方カメラ１２で撮影された側後方映像１００が表示され、左サイドモニタ３４の全面に左側後方カメラ１３で撮影された側後方映像１００が表示されている状態である。このときのインフォティメントモニタ３１への俯瞰映像の表示有無は問わない。
　制御部５０は、状況確認要求の有無を判定する（ステップＳ１１）。より詳しくは、制御部５０は、確認要求検出部５２で、状況確認要求が検出されたか否かを判定する。制御部５０は、状況確認要求が検出されていないと判定した場合（ステップＳ１１でＮｏ）、ステップＳ１１の処理を再度実行する。制御部５０は、状況確認要求が検出されたと判定した場合（ステップＳ１１でＹｅｓ）、ステップＳ１２に進む。
　制御部５０は、俯瞰映像を生成または取得する（ステップＳ１２）。本実施形態では、制御部５０は、俯瞰映像生成部５３で生成された俯瞰映像データを取得する。ステップＳ１２の処理は、ステップＳ１１でＹｅｓとなったとき、俯瞰映像生成部５３が俯瞰映像の生成を継続している場合はその俯瞰映像を取得し、俯瞰映像生成部５３が俯瞰映像の生成を行っていない場合は俯瞰映像の生成を開始してから俯瞰映像を取得する。制御部５０は、ステップＳ１３に進む。
　制御部５０は、俯瞰映像の確認要求方向に対応する方向の映像を、確認要求方向の側後方カメラ映像とともに確認要求方向のサイドモニタに表示する（ステップＳ１３）。制御部５０は、俯瞰映像生成部５３が生成した俯瞰映像データから確認要求方向の映像をフレーム毎に切出して表示してもよく、俯瞰映像データから確認要求方向の映像データのみを用いて表示してもよい。本実施形態では、制御部５０は、表示制御部５９で、右側後方カメラ１２で撮影された右側の側後方映像１００と、俯瞰映像生成部５３で生成された俯瞰映像から右側を切出した俯瞰映像１１０とを右サイドモニタ３３に表示させる。制御部５０は、ステップＳ１４に進む。
　制御部５０は、状況確認要求が終了されたか否かを判定する（ステップＳ１４）。より詳しくは、制御部５０は、状況確認要求が継続して検出されている場合、状況確認要求は終了していないと判定し（ステップＳ１４でＮｏ）、ステップＳ１４の処理を再度実行する。制御部５０は、状況確認要求が検出されない場合、状況確認要求は終了していると判定し（ステップＳ１４でＹｅｓ）、処理を終了する。
　このようにして、車両用表示システム１は、状況確認要求を検出したとき、検出した確認要求方向のサイドモニタに対して、確認要求方向の側後方カメラで撮影された側後方映像１００と、俯瞰映像生成部５３が生成した俯瞰映像における確認要求方向の俯瞰映像１１０とを表示させる。
　上述したように、本実施形態は、状況確認要求を検出したとき、検出した確認要求方向のサイドモニタに対して、確認要求方向の側後方カメラで撮影された側後方映像１００と、俯瞰映像生成部５３が生成した俯瞰映像から確認要求方向を切出した俯瞰映像１１０とを表示させる。本実施形態は、確認要求方向のサイドモニタで、側後方映像１００とともに確認要求方向を切出した俯瞰映像１１０を確認することができる。つまり、状況確認要求が検出されてから終了するまでの期間、確認要求方向のサイドモニタには、側後方映像１００に加えて確認要求方向の俯瞰映像が同時に動画像として表示される。これにより、本実施形態は、より確実に車両Ｖ周辺の安全確認をすることができる。このように、本実施形態は、適切な車両Ｖ周辺の確認を可能にすることができる。
　例えば、俯瞰映像をインフォティメントモニタ３１に表示する場合、サイドモニタで側後方映像１００を確認しながら、インフォティメントモニタ３１で俯瞰映像１１０を確認するためには、視線の移動が大きくなる。
　これに対して、本実施形態は、確認要求方向のサイドモニタで、確認要求方向の側後方映像１００とともに確認要求方向の俯瞰映像１１０とを確認することができる。これにより、本実施形態は、運転者の視線の移動を抑制することができる。
［第二実施形態］
　図７ないし図９を参照しながら、本実施形態に係る車両用表示システム１について説明する。図７は、第二実施形態に係る車両用表示システムで生成される俯瞰映像の一例を示す図である。図８は、第二実施形態に係る車両用表示システムで右サイドモニタに表示される映像の一例を示す図である。図９は、第二実施形態に係る車両用表示システムの車両用表示制御装置における処理の流れを示すフローチャートである。車両用表示システム１は、基本的な構成は第一実施形態の車両用表示システム１と同様である。以下の説明においては、車両用表示システム１と同様の構成要素には、同一の符号または対応する符号を付し、その詳細な説明は省略する。本実施形態の車両用表示システム１は、車両用表示制御装置４０の制御部５０における処理が、第一実施形態の車両用表示システム１と異なる。
　俯瞰映像生成部５３は、確認要求検出部５２が確認要求を検出したとき、俯瞰映像用カメラユニット２０のうち前方俯瞰カメラ２１および後方俯瞰カメラ２２からの映像と、確認要求方向に対応する方向の俯瞰カメラからの映像とを用いて俯瞰映像を生成する。本実施形態では、俯瞰映像生成部５３は、確認要求検出部５２が確認要求を検出したとき、映像データ取得部５１が取得した周辺映像のうち前方俯瞰カメラ２１および後方俯瞰カメラ２２からの映像と、確認要求方向の俯瞰カメラからの映像とに対して視点変換処理と切出処理と合成処理とを実行して俯瞰映像を生成する。
　例えば、俯瞰映像生成部５３は、確認要求検出部５２が右確認要求を検出したとき、映像データ取得部５１が取得した右側方俯瞰カメラ２３と前方俯瞰カメラ２１と後方俯瞰カメラ２２とからの周辺映像に対して視点変換処理と切出処理と合成処理とを実行して俯瞰映像１１０Ａを生成する。
　例えば、俯瞰映像生成部５３は、確認要求検出部５２が左確認要求を検出したとき、映像データ取得部５１が取得した左側方俯瞰カメラ２４と前方俯瞰カメラ２１と後方俯瞰カメラ２２とからの周辺映像に対して視点変換処理と切出処理と合成処理とを実行して俯瞰映像１１０Ａを生成する。
　例えば、俯瞰映像生成部５３は、確認要求検出部５２が右方および左方を確認要求方向とする確認要求を検出したときは、上記の右確認要求を検出したときの処理と左確認要求を検出したときの処理とを実行する。
　視点変換処理部５３１は、確認要求検出部５２が確認要求を検出したとき、俯瞰映像用カメラユニット２０のうち確認要求方向に対応する方向の俯瞰カメラからの映像に基づいて、視点変換処理を行った映像を生成する。本実施形態では、視点変換処理部５３１は、確認要求検出部５２が確認要求を検出したとき、確認要求方向の俯瞰カメラからの映像に基づいて、視点変換処理を行った映像を生成する。
　切出処理部５３２は、確認要求検出部５２が確認要求を検出したとき、視点変換処理を行った確認要求方向に対応する俯瞰カメラからの映像から所定の範囲の映像を切出す切出処理を行う。本実施形態では、切出処理部５３２は、確認要求検出部５２が確認要求を検出したとき、視点変換処理を行った確認要求方向の俯瞰カメラからの映像から所定の範囲の映像を切出す切出処理を行う。本実施形態では、前方映像１１１Ａと後方映像１１２Ａは、自車両アイコン１１４Ａの左側端部までに対応する範囲を切出す。
　合成処理部５３３は、確認要求検出部５２が確認要求を検出したとき、切出処理を行った確認要求方向に対応する方向の俯瞰カメラからの映像を合成する合成処理を行う。本実施形態では、合成処理部５３３は、確認要求検出部５２が確認要求を検出したとき、切出処理を行った確認要求方向の俯瞰カメラからの映像を合成する合成処理を行う。合成処理部５３３は、合成した映像に自車両アイコン１１４Ａを表示した俯瞰映像１１０Ａを生成する。
　表示制御部５９は、確認要求検出部５２が確認要求を検出したとき、検出した確認要求方向のサイドモニタに対して、確認要求方向の側後方カメラで撮影された側後方映像１００Ａと、俯瞰映像用カメラユニット２０のうち確認要求方向に対応する方向の俯瞰カメラからの映像を用いて生成した俯瞰映像１１０Ａとを表示させる。本実施形態では、表示制御部５９は、確認要求検出部５２が確認要求を検出したとき、検出した確認要求方向のサイドモニタに対して、確認要求方向の側後方カメラで撮影された側後方映像１００Ａと、確認要求方向の俯瞰カメラからの映像を用いて生成した俯瞰映像１１０Ａとを表示させる。
　例えば、表示制御部５９は、確認要求検出部５２が右確認要求を検出したとき、右サイドモニタ３３に対して、右側後方カメラ１２で撮影された右側後方の側後方映像１００Ａと、右側方俯瞰カメラ２３と前方俯瞰カメラ２１と後方俯瞰カメラ２２とからの周辺映像から生成した俯瞰映像１１０Ａとを表示させる。
　例えば、表示制御部５９は、確認要求検出部５２が左確認要求を検出したとき、左サイドモニタ３４に対して、左側後方カメラ１３で撮影された左側後方の側後方映像１００Ａと、左側方俯瞰カメラ２４と前方俯瞰カメラ２１と後方俯瞰カメラ２２とからの周辺映像から生成した俯瞰映像１１０Ａとを表示させる。
　例えば、表示制御部５９は、確認要求検出部５２が右方および左方を確認要求方向とする確認要求を検出したときは、上記の右確認要求を検出したときの処理と左確認要求を検出したときの処理とを実行する。
　図７を用いて、確認要求検出部５２が右確認要求を検出したとき、俯瞰映像生成部５３で生成される俯瞰映像１１０Ａについて説明する。
　俯瞰映像１１０Ａは、俯瞰映像用カメラユニット２０のうち確認要求方向の俯瞰カメラからの映像を用いて生成された映像である。本実施形態では、映像データ取得部５１が取得した右側方俯瞰カメラ２３と前方俯瞰カメラ２１と後方俯瞰カメラ２２とからの周辺映像に対して視点変換処理と切出処理と合成処理とを行って生成した映像である。俯瞰映像１１０Ａは、前方映像１１１Ａと後方映像１１２Ａと右側方映像１１３Ａとを含む。本実施形態では、前方映像１１１Ａと後方映像１１２Ａとは、自車両アイコン１１４Ａの左側端部までに対応する範囲を含んでいる。自車両アイコン１１４Ａは、自車両の全体の形態と大きさとを表す。
　図８を用いて、確認要求検出部５２が右確認要求を検出したとき、右サイドモニタ３３に表示される映像について説明する。右サイドモニタ３３には、右側の側後方映像１００Ａと俯瞰映像１１０Ａとが車幅方向に並んで表示されている。右側の側後方映像１００Ａは、第一実施形態の右側の側後方映像１００と同じである。俯瞰映像１１０Ａは、図７と同様の映像である。
　次に、図９を用いて、制御部５０による処理の流れについて説明する。ステップＳ２１、ステップＳ２４は、ステップＳ１１、ステップＳ１４と同様の処理を行う。
　制御部５０は、確認要求方向とは反対側の俯瞰カメラの映像を用いない俯瞰映像を生成する（ステップＳ２２）。より詳しくは、制御部５０は、俯瞰映像生成部５３で映像データ取得部５１が取得した周辺映像のうち確認要求方向とは反対側の俯瞰カメラからの映像以外の映像に対して視点変換処理と切出処理と合成処理とを実行して俯瞰映像１１０Ａを生成する。制御部５０は、ステップＳ２３に進む。
　制御部５０は、ステップＳ２２で生成した俯瞰映像１１０Ａを、確認要求方向の側後方映像１００Ａとともに、確認要求方向のサイドモニタに表示する（ステップＳ２３）。本実施形態では、制御部５０は、表示制御部５９で、右側後方カメラ１２で撮影された右側の側後方映像１００Ａと、ステップＳ２２で生成した俯瞰映像１１０Ａとを右サイドモニタ３３に表示させる。制御部５０は、ステップＳ２４に進む。
　上述したように、本実施形態は、確認要求を検出したとき、検出した確認要求方向のサイドモニタに対して、確認要求方向の側後方カメラで撮影された側後方映像１００Ａと、確認要求方向と反対側の俯瞰カメラからの映像を用いず、確認要求方向の俯瞰カメラからの映像を用いて生成した俯瞰映像１１０Ａとを表示させる。本実施形態は、確認要求方向のサイドモニタで、側後方映像１００Ａとともに確認要求方向の俯瞰カメラからの映像を用いて生成した俯瞰映像１１０Ａを確認することができる。これにより、本実施形態は、より確実に車両Ｖ周辺の安全確認をすることができる。このように、本実施形態は、適切な車両Ｖ周辺の確認を可能にすることができる。
［第三実施形態］
　図１０、図１１を参照しながら、本実施形態に係る車両用表示システム１について説明する。図１０は、第三実施形態に係る車両用表示システムで右サイドモニタに表示される映像の一例を示す図である。図１１は、第三実施形態に係る車両用表示システムの車両用表示制御装置における処理の流れを示すフローチャートである。車両用表示システム１は、基本的な構成は第一実施形態の車両用表示システム１と同様である。本実施形態の車両用表示システム１は、車両用表示制御装置４０の制御部５０における処理が、第一実施形態の車両用表示システム１と異なる。
　俯瞰映像生成部５３は、確認要求検出部５２が確認要求を検出したとき、車両前方または車両後方に仮想視点位置を変更した俯瞰映像１１０Ｂを生成する。本実施形態では、俯瞰映像生成部５３は、確認要求検出部５２が確認要求を検出したとき、車両後方に仮想視点位置を変更した俯瞰映像１１０Ｂを生成する。
　視点変換処理部５３１は、確認要求検出部５２が確認要求を検出したとき、俯瞰映像用カメラユニット２０のうち確認要求方向の俯瞰カメラからの周辺映像に対して、車両前方または車両後方に仮想視点位置を変更して視点変換処理を行う。本実施形態では、視点変換処理部５３１は、確認要求検出部５２が確認要求を検出したとき、確認要求方向の俯瞰カメラからの周辺映像に対して、車両後方に仮想視点位置を変更して視点変換処理を行う。
　表示制御部５９は、確認要求検出部５２が確認要求を検出したとき、検出した確認要求方向のサイドモニタに対して、確認要求方向の側後方カメラで撮影された側後方映像１００Ｂと、車両前方または車両後方に仮想視点位置を変更して視点変換処理を行った俯瞰映像１１０Ｂとを表示させる。本実施形態では、表示制御部５９は、確認要求検出部５２が確認要求を検出したとき、検出した確認要求方向のサイドモニタに対して、確認要求方向の側後方カメラで撮影された側後方映像１００Ｂと、車両後方に仮想視点位置を変更して視点変換処理を行った俯瞰映像１１０Ｂとを表示させる。
　例えば、表示制御部５９は、確認要求検出部５２が右確認要求を検出したとき、右サイドモニタ３３に対して、右側後方カメラ１２で撮影された右側後方の側後方映像１００Ｂと、右側方俯瞰カメラ２３と前方俯瞰カメラ２１と後方俯瞰カメラ２２とからの周辺映像に対して車両前方または車両後方に仮想視点位置を変更した俯瞰映像１１０Ｂとを表示させる。
　例えば、表示制御部５９は、確認要求検出部５２が左確認要求を検出したとき、左サイドモニタ３４に対して、左側後方カメラ１３で撮影された左側後方の側後方映像１００Ｂと、左側方俯瞰カメラ２４と前方俯瞰カメラ２１と後方俯瞰カメラ２２とからの周辺映像に対して車両前方または車両後方に仮想視点位置を変更した俯瞰映像１１０Ｂとを表示させる。
　図１０を用いて、確認要求検出部５２が右確認要求を検出したとき、右サイドモニタ３３に表示される映像について説明する。右サイドモニタ３３には、右側の側後方映像１００Ｂと俯瞰映像１１０Ｂとが表示されている。
　右側の側後方映像１００Ｂは、第一実施形態の右側の側後方映像１００と同じである。
　俯瞰映像１１０Ｂは、車両後方に仮想視点位置を変更した俯瞰映像である。俯瞰映像１１０Ｂは、車両前方から見下ろしたような前方映像１１１Ｂと後方映像１１２Ｂと右側方映像１１３Ｂとを含む。本実施形態では、前方映像１１１Ｂと後方映像１１２Ｂは、自車両アイコン１１４Ｂの車幅方向の中央までに対応する範囲を含んでいる。自車両アイコン１１４Ｂは、車両前方から見下ろした自車両の形態を模している。
　次に、図１１を用いて、制御部５０による処理の流れについて説明する。ステップＳ３１、ステップＳ３４は、ステップＳ１１、ステップＳ１４と同様の処理を行う。
　制御部５０は、仮想視点位置を変更した俯瞰映像を生成または取得する（ステップＳ３２）。本実施形態では、制御部５０は、俯瞰映像生成部５３で映像データ取得部５１が取得した周辺映像のうち確認要求方向の俯瞰カメラからの映像に対して、車両後方に仮想視点位置を変更して視点変換処理と切出処理と合成処理とを実行して俯瞰映像１１０Ｂを生成する。制御部５０は、ステップＳ３３に進む。
　制御部５０は、ステップＳ３２で生成した俯瞰映像１１０Ｂを確認要求方向を切出して、確認要求方向の側後方カメラ映像とともに、確認要求方向のサイドモニタに表示する（ステップＳ３３）。本実施形態では、制御部５０は、表示制御部５９で、右側後方カメラ１２で撮影された右側の側後方映像１００Ｂと、ステップＳ３２で生成した、仮想視点位置を変更した俯瞰映像１１０Ｂとを右サイドモニタ３３に表示させる。制御部５０は、ステップＳ３４に進む。
　上述したように、本実施形態は、確認要求を検出したとき、検出した確認要求方向のサイドモニタに対して、確認要求方向の側後方カメラで撮影された側後方映像１００Ｂと、車両前方または車両後方に仮想視点の位置を変更した俯瞰映像１１０Ｂとを表示させる。本実施形態は、確認要求方向のサイドモニタで、側後方映像とともに仮想視点位置を変更した確認要求方向の俯瞰映像を確認することができる。これにより、本実施形態は、より確実に車両Ｖ周辺の安全確認をすることができる。このように、本実施形態は、適切な車両Ｖ周辺の確認を可能にすることができる。
　図示した車両用表示システム１の各構成要素は、機能概念的なものであり、必ずしも物理的に図示の如く構成されていなくてもよい。すなわち、各装置の具体的形態は、図示のものに限られず、各装置の処理負担や使用状況などに応じて、その全部または一部を任意の単位で機能的または物理的に分散または統合してもよい。
　車両用表示システム１の構成は、例えば、ソフトウェアとして、メモリにロードされたプログラムなどによって実現される。上記実施形態では、これらのハードウェアまたはソフトウェアの連携によって実現される機能ブロックとして説明した。すなわち、これらの機能ブロックについては、ハードウェアのみ、ソフトウェアのみ、または、それらの組み合わせによって種々の形で実現できる。
　上記に記載した構成要素には、当業者が容易に想定できるもの、実質的に同一のものを含む。さらに、上記に記載した構成は適宜組み合わせが可能である。また、本発明の要旨を逸脱しない範囲において構成の種々の省略、置換または変更が可能である。
　表示制御部５９は、確認要求検出部５２が確認要求を検出したとき、検出した確認要求方向のサイドモニタに対して、確認要求方向の側後方カメラで撮影された側後方映像１０と、俯瞰映像生成部５３が生成した俯瞰映像１１０における確認要求方向の映像および確認要求方向と反対側の映像を交互に切り替えて、例えば、点滅させるようにして表示させてもよい。
　さらに、表示制御部５９は、確認要求検出部５２が検出した確認要求が、障害物を検出したことに起因する場合に限って、確認要求方向の映像および確認要求方向と反対側の映像を交互に切り替えて表示するようにしてもよい。これにより、より適切な車両Ｖ周辺の確認を可能にすることができる。
　表示制御部５９は、確認要求が検出された場合であっても、車両Ｖの車速が所定速度以上の場合、検出した確認要求方向のサイドモニタに俯瞰映像１１０を表示する処理を行わないようにしてもよい。高速での走行時は、側後方映像１００の表示範囲を通常時の広さで維持するためである。
　表示制御部５９は、俯瞰映像１１０における前方映像１１１または後方映像１１２が広く表示されるように、切出範囲を前方側または後方側にずらしてもよい。これにより、運転者にとってより有用な情報を表示することができる。
　表示制御部５９は、サイドモニタに俯瞰映像１１０を表示するとき、側後方映像１００と俯瞰映像１１０との境界に線を表示してもよい。または、表示制御部５９は、サイドモニタに俯瞰映像１１０を表示するとき、俯瞰映像１１０を、所定透明度の半透明で着色して表示してもよい。または、表示制御部５９は、俯瞰映像１１０を表示するとき、側後方映像１００と俯瞰映像１１０との輝度や明るさを変えた表示としても、どちらかを点滅させて表示してもよい。このようにすることで、本実施形態において、サイドモニタに俯瞰映像１１０が表示されていることを容易に認識させることができる。
　表示制御部５９は、サイドモニタに対する俯瞰映像１１０の表示を開始するとき、サイドモニタに対して、俯瞰映像１１０が外側からスライドしてフレームインするような映像を表示し、表示を終了するとき、サイドモニタに対して、俯瞰映像１１０が外側へスライドしてフレームアウトするような映像を表示してもよい。これにより、本実施形態において、サイドモニタに俯瞰映像１１０が表示されていることを容易に認識させることができる。
　１　　　　車両用表示システム
　１１　　　後方カメラ
　１２　　　右側後方カメラ（側後方カメラ）
　１３　　　左側後方カメラ（側後方カメラ）
　２０　　　俯瞰映像用カメラユニット（複数の俯瞰映像用カメラ）
　２１　　　前方俯瞰カメラ（俯瞰映像用カメラ）
　２２　　　後方俯瞰カメラ（俯瞰映像用カメラ）
　２３　　　右側方俯瞰カメラ（俯瞰映像用カメラ）
　２４　　　左側方俯瞰カメラ（俯瞰映像用カメラ）
　３１　　　インフォティメントモニタ
　３２　　　リヤビューモニタ
　３３　　　右サイドモニタ（表示部）
　３４　　　左サイドモニタ（表示部）
　４０　　　車両用表示制御装置
　５０　　　制御部
　５１　　　映像データ取得部
　５２　　　確認要求検出部
　５３　　　俯瞰映像生成部
　５３１　　視点変換処理部
　５３２　　切出処理部
　５３３　　合成処理部
　５９　　　表示制御部
　１００　　側後方映像
　１１０　　俯瞰映像

Claims (9)

  1. 　車両の前後左右を撮影する複数の俯瞰映像用カメラからの映像データおよび前記車両の左右側後方を撮影する側後方カメラからの映像データを取得する映像データ取得部と、
    　前記映像データ取得部が取得した前記俯瞰映像用カメラの映像に対して視点変換処理および合成処理を行うことで俯瞰映像を生成する俯瞰映像生成部と、
    　前記車両の左右状況確認要求を検出する確認要求検出部と、
    　前記確認要求検出部が確認要求を検出したとき、検出した確認要求方向に備えられている表示部に対して、前記側後方カメラのうち確認要求方向の映像と、前記俯瞰映像生成部が生成した俯瞰映像における確認要求方向に対応する方向の映像を表示させる表示制御部と、
    　を備える、車両用表示制御装置。
  2. 　前記表示制御部は、前記確認要求検出部が確認要求を検出したとき、前記俯瞰映像生成部が生成した俯瞰映像における確認要求方向に対応する方向の映像として、前記俯瞰映像生成部が生成した俯瞰映像から確認要求方向の映像を用いた俯瞰映像を表示させる、
    　請求項１に記載の車両用表示制御装置。
  3. 　前記俯瞰映像生成部は、前記確認要求検出部が確認要求を検出したとき、前記俯瞰映像用カメラを構成する前方俯瞰カメラおよび後方俯瞰カメラ少なくともいずれかからの映像と、右側方俯瞰カメラおよび左側方俯瞰カメラのうち確認要求方向のカメラからの映像とを用いて俯瞰映像を生成する、
    　請求項１に記載の車両用表示制御装置。
  4. 　前記俯瞰映像生成部は、前記確認要求検出部が確認要求を検出したとき、前記車両前方または前記車両後方に仮想視点位置を変更した俯瞰映像を生成する、
    　請求項１から３のいずれか一項に記載の車両用表示制御装置。
  5. 　前記表示制御部は、前記確認要求検出部が確認要求を検出したとき、検出した確認要求方向に備えられている表示部に対して、前記側後方カメラのうち確認要求方向の映像と、前記俯瞰映像生成部が生成した俯瞰映像における確認要求方向の映像および確認要求方向と反対方向の映像を交互に切り替えて表示させる、
    　請求項１から４のいずれか一項に記載の車両用表示制御装置。
  6. 　前記確認要求は、前記車両の周辺の障害物に基づく確認要求である、
    　請求項５に記載の車両用表示制御装置。
  7. 　請求項１から６のいずれか一項に記載の車両用表示制御装置と、
    　前記俯瞰映像用カメラ、前記側後方カメラ、前記表示部のうち少なくともいずれかを備える、
    　ことを特徴とする車両用表示システム。
  8. 　車両の前後左右を撮影する複数の俯瞰映像用カメラからの映像データおよび前記車両の左右側後方を撮影する側後方カメラからの映像データを取得する映像データ取得ステップと、
    　前記映像データ取得ステップで取得した前記俯瞰映像用カメラの映像に対して視点変換処理および合成処理を行うことで俯瞰映像を生成する俯瞰映像生成ステップと、
    　前記車両の左右状況確認要求を検出する確認要求検出ステップと、
    　前記確認要求検出ステップで確認要求を検出したとき、検出した確認要求方向に備えられている表示部に対して、前記側後方カメラのうち確認要求方向の映像と、前記俯瞰映像生成ステップで生成した俯瞰映像における確認要求方向に対応する方向の映像を表示させる表示制御ステップと、
    　を含むことを特徴とする車両用表示制御方法。
  9. 　車両の前後左右を撮影する複数の俯瞰映像用カメラからの映像データおよび前記車両の左右側後方を撮影する側後方カメラからの映像データを取得する映像データ取得ステップと、
    　前記映像データ取得ステップで取得した前記俯瞰映像用カメラの映像に対して視点変換処理および合成処理を行うことで俯瞰映像を生成する俯瞰映像生成ステップと、
    　前記車両の左右状況確認要求を検出する確認要求検出ステップと、
    　前記確認要求検出ステップで確認要求を検出したとき、検出した確認要求方向に備えられている表示部に対して、前記側後方カメラのうち確認要求方向の映像と、前記俯瞰映像生成ステップで生成した俯瞰映像における確認要求方向に対応する方向の映像を表示させる表示制御ステップと、
    　を車両用表示制御装置として動作するコンピュータに実行させるためのプログラム。
PCT/JP2017/039422 2017-02-28 2017-10-31 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム WO2018159017A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP17898899.4A EP3493537B1 (en) 2017-02-28 2017-10-31 Vehicle display control device, vehicle display system, vehicle display control method and program
CN201780032520.2A CN109314765B (zh) 2017-02-28 2017-10-31 车辆用显示控制装置、显示系统、显示控制方法以及程序
US16/208,653 US10723266B2 (en) 2017-02-28 2018-12-04 On-vehicle display controller, on-vehicle display system, on-vehicle display control method, and non-transitory storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017036659A JP6730614B2 (ja) 2017-02-28 2017-02-28 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
JP2017-036659 2017-02-28

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/208,653 Continuation US10723266B2 (en) 2017-02-28 2018-12-04 On-vehicle display controller, on-vehicle display system, on-vehicle display control method, and non-transitory storage medium

Publications (1)

Publication Number Publication Date
WO2018159017A1 true WO2018159017A1 (ja) 2018-09-07

Family

ID=63370825

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/039422 WO2018159017A1 (ja) 2017-02-28 2017-10-31 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム

Country Status (5)

Country Link
US (1) US10723266B2 (ja)
EP (1) EP3493537B1 (ja)
JP (1) JP6730614B2 (ja)
CN (1) CN109314765B (ja)
WO (1) WO2018159017A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6618045B2 (ja) * 2017-10-10 2019-12-11 マツダ株式会社 車両用表示装置
JP6769500B2 (ja) * 2019-02-13 2020-10-14 株式会社Ｊｖｃケンウッド 車両用映像制御装置、車両用映像システム、映像制御方法、及びプログラム
JP6976298B2 (ja) * 2019-10-28 2021-12-08 三菱電機株式会社 車両用周囲監視装置および車両用周囲監視方法
JP7299193B2 (ja) * 2020-04-16 2023-06-27 トヨタ自動車株式会社 表示制御装置、表示制御方法及びプログラム
KR20230091870A (ko) * 2020-10-23 2023-06-23 소니그룹주식회사 카메라 모듈, 정보 처리 시스템, 정보 처리 방법 및 정보 처리 장치
US11351932B1 (en) 2021-01-22 2022-06-07 Toyota Motor Engineering & Manufacturing North America, Inc. Vehicles and methods for generating and displaying composite images
FR3120030A1 (fr) * 2021-02-25 2022-08-26 Psa Automobiles Sa Procédé et dispositif de rétro-vision numérique utilisé par un véhicule pour remplacer des rétroviseurs extérieurs du véhicule
FR3121901A1 (fr) * 2021-04-14 2022-10-21 Psa Automobiles Sa Procédé de gestion du fonctionnement d’un appareillage de surveillance de l’environnement de conduite d’un véhicule automobile, système et véhicule automobile associés

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003219413A (ja) * 2002-01-24 2003-07-31 Clarion Co Ltd 車両後方モニタシステムおよびモニタ装置
JP2011030078A (ja) * 2009-07-28 2011-02-10 Toshiba Alpine Automotive Technology Corp 車両用画像表示装置
JP2015032936A (ja) * 2013-08-01 2015-02-16 日産自動車株式会社 撮像装置
JP2016168877A (ja) * 2015-03-11 2016-09-23 株式会社東海理化電機製作所 車両用視認装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005223524A (ja) * 2004-02-04 2005-08-18 Nissan Motor Co Ltd 車両周辺監視装置
JP2010183170A (ja) * 2009-02-03 2010-08-19 Denso Corp 車両用表示装置
JP2010258691A (ja) * 2009-04-23 2010-11-11 Sanyo Electric Co Ltd 操縦支援装置
JP5087051B2 (ja) * 2009-07-02 2012-11-28 富士通テン株式会社 画像生成装置及び画像表示システム
JP5397697B2 (ja) * 2010-03-12 2014-01-22 アイシン精機株式会社 画像制御装置
JP5035643B2 (ja) * 2010-03-18 2012-09-26 アイシン精機株式会社 画像表示装置
JP5696872B2 (ja) * 2010-03-26 2015-04-08 アイシン精機株式会社 車両周辺監視装置
JP5187369B2 (ja) 2010-09-24 2013-04-24 株式会社デンソー 車両用の後退駐車支援装置および後退駐車支援装置用のプログラム
JP5529943B2 (ja) * 2012-09-21 2014-06-25 株式会社小松製作所 作業車両用周辺監視システム及び作業車両
US9446713B2 (en) * 2012-09-26 2016-09-20 Magna Electronics Inc. Trailer angle detection system
CN103587469B (zh) * 2013-11-19 2017-05-17 浙江吉利汽车研究院有限公司 一种汽车夜间转弯辅助装置及方法
JP6365238B2 (ja) * 2014-10-29 2018-08-01 株式会社デンソー 駐車支援装置
JP6206395B2 (ja) 2014-12-26 2017-10-04 トヨタ自動車株式会社 電子ミラー装置
US10187590B2 (en) * 2015-10-27 2019-01-22 Magna Electronics Inc. Multi-camera vehicle vision system with image gap fill
US9987983B2 (en) * 2016-02-11 2018-06-05 GM Global Technology Operations LLC Parking assist system for a vehicle and method of using the same

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003219413A (ja) * 2002-01-24 2003-07-31 Clarion Co Ltd 車両後方モニタシステムおよびモニタ装置
JP2011030078A (ja) * 2009-07-28 2011-02-10 Toshiba Alpine Automotive Technology Corp 車両用画像表示装置
JP2015032936A (ja) * 2013-08-01 2015-02-16 日産自動車株式会社 撮像装置
JP2016168877A (ja) * 2015-03-11 2016-09-23 株式会社東海理化電機製作所 車両用視認装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3493537A4 *

Also Published As

Publication number Publication date
CN109314765A (zh) 2019-02-05
EP3493537B1 (en) 2020-02-12
JP6730614B2 (ja) 2020-07-29
EP3493537A4 (en) 2019-06-12
US20190100143A1 (en) 2019-04-04
US10723266B2 (en) 2020-07-28
CN109314765B (zh) 2020-08-18
EP3493537A1 (en) 2019-06-05
JP2018142885A (ja) 2018-09-13

Similar Documents

Publication Publication Date Title
WO2018159017A1 (ja) 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
US11528413B2 (en) Image processing apparatus and image processing method to generate and display an image based on a vehicle movement
JP4780385B2 (ja) 周辺監視システム
JP5436086B2 (ja) 車両周辺画像表示装置および車両周辺画像表示方法
US20130096820A1 (en) Virtual display system for a vehicle
JP6548900B2 (ja) 画像生成装置、画像生成方法及びプログラム
JP6196444B2 (ja) 周辺車の位置追跡装置及び方法
JP2010130646A (ja) 車両周辺確認装置
JP2006321419A (ja) 映像表示装置及び映像表示方法
CN108473090B (zh) 用于示出车辆的后向的外部区域的方法
JP2011188028A (ja) 車両用周辺監視システム
WO2018159016A1 (ja) 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム
WO2019193819A1 (ja) 車両用表示制御装置、車両用表示システム、車両用表示制御方法、およびプログラム
JP2023536976A (ja) 運転者による後方視認のための電子画像ディスプレイを含む車両視認システム及び方法
JP2019040354A (ja) 運転支援装置、および運転支援方法
JP2009073250A (ja) 車両後方表示装置
US8384779B2 (en) Display device for vehicle
JP2019116220A (ja) 車両用視認装置
JP2006273002A (ja) 車両用監視装置
JP2012090087A (ja) 車両周辺の画像を用いた運転支援装置
JP6488628B2 (ja) 映像処理装置、及び車載映像処理システム
JP5605605B2 (ja) 車両周辺監視装置
JP2009214790A (ja) 撮像装置および方法、並びに、画像処理装置および方法
JP2014192777A (ja) 車載撮像システム
JP2012237725A (ja) 車両用表示装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17898899

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017898899

Country of ref document: EP

Effective date: 20190228

NENP Non-entry into the national phase

Ref country code: DE