WO2020148957A1 - 車両制御装置及び方法 - Google Patents

車両制御装置及び方法 Download PDF

Info

Publication number
WO2020148957A1
WO2020148957A1 PCT/JP2019/040808 JP2019040808W WO2020148957A1 WO 2020148957 A1 WO2020148957 A1 WO 2020148957A1 JP 2019040808 W JP2019040808 W JP 2019040808W WO 2020148957 A1 WO2020148957 A1 WO 2020148957A1
Authority
WO
WIPO (PCT)
Prior art keywords
viewpoint
vehicle
control device
vehicle control
processor
Prior art date
Application number
PCT/JP2019/040808
Other languages
English (en)
French (fr)
Inventor
克哉 松雪
宗俊 柘植
智 大久保
Original Assignee
日立オートモティブシステムズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立オートモティブシステムズ株式会社 filed Critical 日立オートモティブシステムズ株式会社
Publication of WO2020148957A1 publication Critical patent/WO2020148957A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to a vehicle control device and method.
  • the vehicle periphery monitoring system displays an image of the vehicle viewed from a specific viewpoint (fixed virtual viewpoint) such as from the outside of the vehicle to the front of the vehicle, diagonally forward to the right, or to the right, and the occupant can switch the viewpoints. It is used to check the situation around the vehicle (see, for example, Patent Document 1).
  • An object of the present invention is to provide a vehicle control device and method that allow a user to intuitively follow changes in display due to switching of viewpoints.
  • the present invention provides a memory for storing a plurality of icons of a vehicle from a plurality of viewpoints, and an image around the vehicle captured by a plurality of cameras, respectively.
  • a processor for synthesizing a three-dimensional image the processor, when switching from the first viewpoint to the second viewpoint, the processor selects a second image from an image around the vehicle captured by each of the plurality of cameras.
  • the rotation animation of the own vehicle is generated from the plurality of icons of the own vehicle from the viewpoints in the range from the first viewpoint to the second viewpoint, and the rotation animation of the own vehicle is generated.
  • An image obtained by combining the rotation animation and the black image is displayed on the display.
  • the user can intuitively follow a change in display due to switching of viewpoints.
  • FIG. 1 is an overall configuration diagram of a vehicle periphery monitoring system (vehicle control system) of an embodiment.
  • FIG. 1 is a schematic configuration diagram of a vehicle equipped with a vehicle control device. It is a block diagram which shows the function structure of a vehicle control apparatus. It is a flowchart which shows the flow of a series of processes in the vehicle periphery monitoring system to which this invention is applied. It is explanatory drawing which shows the image processing method which concerns on embodiment of this invention.
  • the embodiment of the present invention displays a bird's-eye view image or 3D image created using images acquired from a plurality of cameras attached to a vehicle on a display device so that a vehicle occupant can recognize a situation around the vehicle.
  • the present invention relates to a surveillance system and an image display method.
  • FIG. 1 is an overall configuration diagram of a vehicle control system 1 including a vehicle control device 10 according to an embodiment of the present invention
  • FIG. 2 is a schematic configuration diagram of a vehicle 20 equipped with the vehicle control device 10.
  • a vehicle control system 1 shown in FIG. 1 includes a vehicle control device 10, a vehicle control ECU 21 that exchanges various types of information between the vehicle control device 10, a display unit 22, an imaging unit 23, an operation unit 24, a distance measuring sensor 25, and And a vehicle speed sensor 26.
  • the vehicle control ECU 21 includes an accelerator ECU 211, a brake ECU 212, and a steering ECU 213.
  • the vehicle control device 10, the display unit 22, the imaging unit 23, the operation unit 24, the distance measuring sensor 25, and the vehicle speed sensor 26 constitute a vehicle surroundings monitoring system.
  • the vehicle periphery monitoring system displays a bird's-eye view image or a 3D image created using images acquired from a plurality of cameras on a display device (display), and makes a vehicle occupant recognize the situation around the vehicle.
  • the vehicle control system 1 of FIG. 1 is installed in the vehicle 20 shown in FIG. In the following description, it is assumed that the vehicle 20 equipped with the vehicle control system 1 can be automatically driven by the vehicle control system 1 under the vehicle control without traveling operation of an occupant.
  • the image capturing unit 23 captures a captured image by capturing an image around the vehicle 20.
  • the image pickup unit 23 is configured by, for example, an electronic camera including an image pickup device. Information on the captured image acquired by the image capturing unit 23 is input to the vehicle control device 10 as captured image data D23.
  • the distance measuring sensor 25 is a sensor that detects an obstacle existing around the vehicle 20 and measures the distance to the obstacle.
  • the distance measuring sensor 25 is configured using, for example, a laser radar or a millimeter wave radar. Information on the distance to the obstacle measured by the distance measuring sensor 25 is input to the vehicle control device 10 as distance measuring data D25.
  • the vehicle speed sensor 26 is a sensor that detects the traveling speed of the vehicle 20.
  • the vehicle speed sensor 26 is configured using, for example, a wheel speed sensor that detects the rotation speed of the wheels of the vehicle 20. Information about the traveling speed of the vehicle 20 detected by the vehicle speed sensor 26 is input to the vehicle control device 10 as vehicle speed data D26.
  • the display unit 22 is a unit that displays images and videos and provides information to the occupants of the vehicle 20, and is configured using, for example, a liquid crystal display.
  • the display content of the display unit 22 is determined based on the control image data D105 input from the vehicle control device 10. That is, the vehicle control device 10 functions as a vehicle information providing device that provides information to the occupants of the vehicle 20 via the display unit 22.
  • the operation unit 24 is a unit that receives various operation inputs by an occupant of the vehicle 20, and is configured by using, for example, operation buttons and operation switches.
  • the display unit 22 and the operation unit 24 may be combined to form a touch panel.
  • Information on the content of the operation performed by the occupant using the operation unit 24 is input to the vehicle control device 10 as operation data D24.
  • the vehicle control ECU 21 performs vehicle control for causing the vehicle 20 to travel in an automatic driving mode based on the travel plan data D107 input from the vehicle control device 10.
  • the vehicle control ECU 21 also generates traveling state information D21 indicating the traveling state of the vehicle 20 and outputs the traveling state information D21 to the vehicle control device 10.
  • the information on the running state of the vehicle 20 (running state information D21) output from the vehicle control ECU 21 and input to the vehicle control device 10 includes acceleration/deceleration amount data indicating the acceleration/deceleration state of the vehicle 20, and the steering state of the vehicle 20. Steering amount data indicating
  • the acceleration/deceleration amount data is output from the accelerator ECU 211 and the brake ECU 212 that control the acceleration/deceleration of the vehicle 20, and the steering amount data is output from the steering ECU 213 that controls the steering of the vehicle 20.
  • the vehicle control device 10 includes the captured image data D23, the operation data D24, the distance measurement data D25, and the vehicle speed data D26, which are input from the imaging unit 23, the operation unit 24, the distance measurement sensor 25, and the vehicle speed sensor 26, respectively, and the vehicle control ECU 21. Based on the traveling state data D21 input from, various processes relating to control of the vehicle 20 are executed.
  • the vehicle control device 10 generates the travel plan data D107 and the output video data D105 and outputs them to the vehicle control ECU 21 and the display unit 22, respectively.
  • the vehicle control device 10 is configured by using, for example, a microcomputer or FPGA (Field-Programmable Gate Array).
  • the microcomputer is composed of, for example, a processor such as a CPU (Central Processing Unit), a memory, and an I/F (Interface) such as an input/output circuit.
  • the memory stores a plurality of icons of the vehicle from a plurality of viewpoints. For example, the memory stores the icon of the vehicle from viewpoints of at least eight directions. This makes it possible to generate a rotation animation in which the own vehicle makes one rotation (360 degrees) with a small memory usage amount.
  • FIG. 2 is a diagram showing an example of mounting the vehicle control system 1 according to the embodiment of the present invention on a vehicle 20.
  • the vehicle 20 includes a camera 23F for photographing the front of the vehicle 20, a camera 23L for photographing the left side of the vehicle 20, a camera 23R for photographing the right side of the vehicle 20, and A camera 23B for shooting the rear is attached.
  • the image pickup unit 23 shown in FIG. 1 is configured by these cameras 23F to 23B.
  • the mounting positions of the cameras 23F to 23B are not limited to the positions shown in FIG. Further, in the example shown in FIG. 2, each of the cameras 23F to 23B is composed of one camera, but it may be a so-called stereo camera in which two cameras are combined.
  • the cameras 23F to 23B can be used as the distance measuring sensor 25.
  • the image capturing unit 23 is configured by the four cameras 23F to 23B, but the number of cameras configuring the image capturing unit 23 is not limited to this.
  • Distance measuring sensors 25 are attached to a plurality of predetermined positions on the vehicle body of the vehicle 20, for example, inside the front grill, front bumpers and rear bumpers, side surfaces of door mirrors, and the like. Each distance measuring sensor 25 detects an obstacle existing on the front side, the side side, or the rear side of the vehicle 20 according to the mounting position.
  • each distance measuring sensor 25 measures the distance to the obstacle and outputs distance measuring data D25 to the vehicle control device 10.
  • the vehicle 20 includes a wheel speed sensor 26FL that detects the rotation speed of the left front wheel, a wheel speed sensor 26FR that detects the rotation speed of the right front wheel, a wheel speed sensor 26RL that detects the rotation speed of the left rear wheel, and a rear right wheel.
  • a wheel speed sensor 26RR for detecting the rotation speed of the wheels is attached.
  • the wheel speed sensors 26FR to 26RR form the vehicle speed sensor 26 shown in FIG.
  • the vehicle 20 includes an accelerator pedal 2, a brake pedal 3, and a steering wheel 4.
  • the state of the accelerator operation performed by the occupant of the vehicle 20 using the accelerator pedal 2 and the state of the brake operation performed by the occupant of the vehicle 20 using the brake pedal 3 are output from the accelerator ECU 211 and the brake ECU 212 as acceleration/deceleration amount data. And input to the vehicle control device 10.
  • the state of the steering operation performed by the occupant of the vehicle 20 using the steering wheel 4 is output from the steering ECU 213 as steering amount data and input to the vehicle control device 10.
  • the display unit 22 and the operation unit 24 are installed near the driver's seat of the vehicle 20.
  • the operation data D24 output from the operation unit 24 is input to the vehicle control device 10
  • the output video data D105 output from the vehicle control device 10 is input to the display unit 22.
  • FIG. 3 is a functional block diagram of the vehicle control device 10 according to the embodiment of the present invention.
  • the vehicle control device 10 includes a state management unit 101, a viewpoint switching determination unit 102, a peripheral image synthesis unit 103, an auxiliary information generation unit 104, an output video generation unit 105, an obstacle detection unit 106, and a route generation.
  • a state management unit 101 a viewpoint switching determination unit 102, a peripheral image synthesis unit 103, an auxiliary information generation unit 104, an output video generation unit 105, an obstacle detection unit 106, and a route generation.
  • a viewpoint switching determination unit 102 the vehicle control device 10 includes a viewpoint switching determination unit 102, a peripheral image synthesis unit 103, an auxiliary information generation unit 104, an output video generation unit 105, an obstacle detection unit 106, and a route generation.
  • the vehicle control device 10 can realize these functional blocks by, for example, a computer program running on a microcomputer or a combination of logic circuits configured in the FPGA.
  • the running state information D21, the operation data D24, and the vehicle speed data D26 are input to the state management unit 101.
  • the state management unit 101 generates vehicle control information from the traveling state information D21 and the vehicle speed data D26.
  • the state management unit 101 determines whether or not there is a viewpoint switching request from an occupant based on the operation data D24, and when it determines that there is a viewpoint switching request, it generates a switching instruction.
  • the switching instruction When changing the viewpoint to the direction of the virtual viewpoint specified by the occupant, the switching instruction includes the direction of the current virtual viewpoint and the direction of the virtual viewpoint to be displayed next.
  • the state management unit 101 generates control information D101 including vehicle control information and a switching instruction. Further, the state management unit 101 determines whether or not there is a route generation request from the occupant based on the operation data D24, and when it determines that there is a route generation request, generates the route generation request.
  • the route generation request includes information about the current location of the vehicle 20 and setting information such as the destination, the waypoint, and the priority road indicated by the operation data D24. included.
  • the state management unit 101 may generate and output the route generation request.
  • the route generation request data D101 includes position information of the vehicle 20 in the parking lot, position information of the parking section indicated by the operation data D24, and the like.
  • the route generation request output from the state management unit 101 is included in the control information D101 and input to the route generation unit 107.
  • Control information D101 is input to the viewpoint switching determination unit 102.
  • the viewpoint switching determination unit 102 determines whether or not there is a switching request based on the control information D101, and when it determines that there is no switching request, the viewpoint switching determination unit 102 includes the vehicle control information included in the control information D101 and the camera image display request.
  • the switching information D102 is generated and output.
  • the viewpoint switching determination unit 102 determines that there is a switching request, the viewpoint switching determination unit 102 includes the vehicle control information, the direction of the current virtual viewpoint, the direction of the virtual viewpoint to be displayed next, and the camera image mask included in the control information D101.
  • the viewpoint switching information D102 including the request is generated and output.
  • the captured image data D23 and the viewpoint switching information D102 are input to the peripheral video composition unit 103.
  • the peripheral image combining unit 103 acquires captured image data D23 obtained from a plurality of cameras of a virtual three-dimensional image viewed from the direction of the current virtual viewpoint. Is generated by synthesizing, and the generated virtual three-dimensional image is output to the output video generation unit 105 as peripheral video data D103.
  • the CPU (processor) of the vehicle control device 10 synthesizes a three-dimensional image from the current virtual viewpoint (first viewpoint) from the images around the vehicle captured by the cameras 23F to 23B.
  • the peripheral image combining unit 103 acquires virtual three-dimensional images viewed from the direction of the virtual viewpoint to be displayed next from a plurality of cameras. It is generated by combining the captured image data D23.
  • the CPU (processor) of the vehicle control device 10 synthesizes a three-dimensional image from the virtual viewpoint (second viewpoint) to be displayed next from the images around the vehicle captured by the cameras 23F to 23B. ..
  • the peripheral image synthesizing unit 103 performs mask processing for covering the generated virtual three-dimensional image with a black image or the like according to the camera image mask request, and outputs the peripheral image data D103 to the output image generating unit 105. ..
  • the CPU (processor) of the vehicle control device 10 is imaged by each of the plurality of cameras 23F to 23B.
  • the 3D image from the virtual viewpoint (second viewpoint) to be displayed next is synthesized from the image around the vehicle, the 3D image from the virtual viewpoint (2nd viewpoint) to be displayed next during synthesis is displayed.
  • Mask with a black drawing This can prevent the display from flickering due to the three-dimensional image (video) being synthesized.
  • the viewpoint switching information D102, obstacle detection data D106, which will be described later, and travel plan data D107 are input to the auxiliary information generation unit 104.
  • the auxiliary information generation unit 104 determines the acceleration state and the deceleration state of the vehicle 20 when the vehicle 20 travels based on the input data. A control image for notifying an occupant is generated.
  • a route prediction line indicating the route of the vehicle 20 on the captured image represented by the captured image data D23, a route prediction line indicating the route of the vehicle 20, a reference line serving as a guide for the distance to the vehicle 20, a detected parking frame, and a leaving direction are shown. Images etc. are superimposed.
  • the information on the control image generated by the auxiliary information generation unit 104 is input to the output video generation unit 105 as auxiliary information data D104.
  • the auxiliary information generation unit 104 determines, based on the input viewpoint switching information D102, the direction of the virtual viewpoint to be displayed next from the current virtual viewpoint direction.
  • a vehicle icon image in which the vehicle rotates is prepared, auxiliary information data D104 is generated as information for displaying the vehicle icon image at the next angle for each unit time, and is input to the output video generation unit 105.
  • the CPU (processor) of the vehicle control device 10 is imaged by each of the plurality of cameras 23F to 23B.
  • the virtual viewpoint (second viewpoint) to be displayed next from the current virtual viewpoint (first viewpoint) during the period in which the three-dimensional image by the virtual viewpoint (second viewpoint) to be displayed next is synthesized from the image around the vehicle.
  • Viewpoint of the vehicle a rotation animation of the vehicle is generated from a plurality of icons of the vehicle from viewpoints up to.
  • the output video generation unit 105 combines the peripheral video data D103 and the auxiliary information data D104 input from the peripheral video synthesis unit 103 and the auxiliary information generation unit 104, and displays them on the display unit 22. At this time, the output video generation unit 105 preferably converts the output video data D105 into a data format or a signal format according to the interface specifications of the display unit 22, and then outputs the output video data D105 to the display unit 22.
  • the image around the vehicle is displayed on the display unit 22, and information about the vehicle surroundings of the vehicle 20 is provided to the occupants.
  • the CPU (processor) of the vehicle control device 10 switches from the current virtual viewpoint (first viewpoint) to the virtual viewpoint (second viewpoint) to be displayed next
  • the CPU (processor) uses the plurality of cameras 23F to 23B.
  • an image in which the rotation animation of the vehicle and the black image are synthesized is displayed on the display. ..
  • the user can intuitively follow the change in the display due to the switching of the viewpoint.
  • the current virtual viewpoint (first viewpoint) and the virtual viewpoint to be displayed next (second viewpoint) are viewpoints in which both the object existing around the own vehicle and the own vehicle are in the field of view. ..
  • the CPU (processor) of the vehicle control device 10 uses the current virtual viewpoint (first viewpoint) before switching from the current virtual viewpoint (first viewpoint) to the next displayed virtual viewpoint (second viewpoint). After displaying the three-dimensional image on the display and switching from the current virtual viewpoint (first viewpoint) to the virtual viewpoint to be displayed next (second viewpoint), the virtual viewpoint to be displayed next (second viewpoint) is displayed. A 3D image from the viewpoint is displayed on the display. This allows the user to easily recognize the relative positional relationship between the object existing around the own vehicle and the own vehicle before and after switching the viewpoint.
  • the captured image data D23 and the distance measurement data D25 are input to the obstacle detection unit 106.
  • the obstacle detection unit 106 detects obstacles existing around the vehicle 20 based on the input data.
  • the obstacle recognized by the obstacle detection unit 106 is an object that interferes with the safe traveling of the vehicle 20, and corresponds to the various objects as described above which are detected by the distance measuring sensor 25.
  • the obstacle detection unit 106 may determine the presence or absence of an obstacle using both the captured image data D23 and the distance measurement data D25, or may determine the presence or absence of an obstacle using either one. Good.
  • the obstacle detection unit 106 When the obstacle is detected, the obstacle detection unit 106 generates obstacle detection data D106 including the distance to the obstacle indicated by the distance measurement data D26.
  • the obstacle detection data D106 output from the obstacle detection unit 106 is input to the state management unit 101 and the auxiliary information generation unit 104.
  • the state management unit 101 determines that it is necessary to switch the virtual viewpoint to a viewpoint where the detected obstacle can be confirmed, and the control information D101 including a switching instruction. Is generated and output to the viewpoint switching determination unit 102.
  • the virtual viewpoint (second viewpoint) to be displayed next is a viewpoint where both the obstacle and the own vehicle are in the field of view.
  • the CPU (processor) of the vehicle control device 10 switches from the current virtual viewpoint (first viewpoint) to the virtual viewpoint (second viewpoint) to be displayed next.
  • the route generation unit 107 sets a planned traveling route on which the vehicle 20 should travel based on the control information D101 including the route generation request input from the state management unit 101.
  • the route generation unit 107 determines the planned traveling route from the current position to the destination based on the above-described information included in the route generation request. Set. Further, when the vehicle 20 is automatically parked in the parking section designated by the occupant, the route generation unit 107 is designated from the current position of the vehicle 20 in the parking lot based on the above-described information included in the route generation request. Set the planned driving route to the parking area.
  • the route generation unit 107 sets a target acceleration/deceleration amount and a target steering amount when the vehicle 20 travels on the planned traveling route, based on the planned traveling route. Then, the route generation unit 107 formulates a travel plan of the vehicle 20 based on the set target acceleration/deceleration amount and target steering amount, and generates and outputs travel plan data D107.
  • the travel plan data D107 includes information indicating a plurality of travel target points set at predetermined intervals on the planned travel route and information indicating a target acceleration/deceleration amount and a target steering amount of the vehicle 20 at each travel target point. Be done.
  • the travel plan data D107 output from the route generation unit 107 is input to the state management unit 101 and the auxiliary information generation unit 104, and also output from the vehicle control device 10 and input to the vehicle control ECU 21.
  • the vehicle control ECU 21 performs vehicle control for causing the vehicle 20 to travel in automatic operation.
  • the peripheral image synthesizing unit 103 acquires each captured image data D23 provided by the plurality of image capturing units 23 (step S1).
  • running state information D21 such as steering angle information input from the vehicle control ECU 21, operation data D24 input from the operation unit 24, and vehicle speed data D26 input from the vehicle speed sensor 26.
  • the state management unit 101 generates vehicle control information based on the traveling state information D21 and the vehicle speed data D26, and generates a switching instruction based on the operation data D24.
  • the virtual viewpoint (second viewpoint) displayed next is a viewpoint in which the side surface of the vehicle in the turning direction enters the field of view.
  • the CPU (processor) of the vehicle control device 10 switches from the current virtual viewpoint (first viewpoint) to the virtual viewpoint (second viewpoint) to be displayed next. This allows the user to check whether there is an obstacle that may be caught in the side surface of the vehicle in the turning direction.
  • the CPU (processor) of the vehicle control device 10 switches from the current virtual viewpoint (first viewpoint) to the virtual viewpoint (second viewpoint) to be displayed next when the steering angle becomes equal to or greater than the threshold value. ..
  • the display screen is triggered by the steering angle becoming larger than a threshold value (for example, a screen for confirming the involvement from the current screen (for example, the viewpoint of the vehicle seen from the front)). From the front right you can switch to the point of view of the vehicle. Therefore, after switching the viewpoint, the user can easily check whether there is an obstacle at the vehicle winding position.
  • the virtual viewpoint (second viewpoint) to be displayed next is a viewpoint according to the shift position.
  • the CPU (processor) of the vehicle control device 10 switches from the current virtual viewpoint (first viewpoint) to the virtual viewpoint (second viewpoint) to be displayed next.
  • the shift position is switched from D (drive) to R (reverse), and when the steering angle becomes larger than the threshold value, the display screen changes from the current screen (for example, the viewpoint of the vehicle seen from the front). It is possible to switch to a screen that allows you to check the involvement (for example, the viewpoint of seeing the vehicle from the right rear). Therefore, the user can confirm whether or not there is an obstacle that may be caught in the side surface side of the vehicle in the turning direction from the viewpoint according to the shift position.
  • control information D101 including vehicle control information and a switching instruction (step S2).
  • the viewpoint switching determination unit 102 performs viewpoint switching determination (step S3) according to the switching instruction included in the control information D101 provided by the state management unit 101.
  • the peripheral video composition unit 103 composites the acquired video data (captured image data D23) to generate peripheral video data D103 of the peripheral video (step S4).
  • the auxiliary information generation unit 104 generates the auxiliary information data D104 based on the vehicle control information included in the control information D101 provided by the state management unit 101 (step S5).
  • the auxiliary information is a route prediction line that displays the traveling direction of the vehicle, a reference line that serves as a guide for the distance from the vehicle, a warning image, a detected parking frame, an image that indicates the exit direction, and the like.
  • Step S6 the peripheral video data D103 provided by the peripheral video synthesis unit 103 and the auxiliary information data D104 provided by the auxiliary information generation unit 104 are combined to generate output video data D105.
  • the viewpoint switching determination unit 102 includes the vehicle control information, the switching instruction, the current virtual viewpoint orientation, and the next included in the control information D101.
  • the viewpoint switching information D102 including the direction of the displayed virtual viewpoint is generated.
  • the peripheral video synthesizing unit 103 displays the next virtual viewpoint based on the video data (captured image data D23) acquired from the imaging unit 23 and the viewpoint switching information D102 acquired from the viewpoint switching determination unit 102.
  • a composite image of peripheral images in the direction of is generated (step S7).
  • the peripheral image synthesizing unit 103 executes a process of masking the camera image in order to prevent the image being synthesized from being displayed (step S8).
  • the auxiliary information generation unit 104 prepares a vehicle icon image in which the vehicle icon rotates from the current virtual viewpoint direction to the next displayed virtual viewpoint direction based on the viewpoint switching information D102, and prepares one frame.
  • the switching vehicle icons are drawn one by one (step S9).
  • Step S6 the peripheral video data D103 provided by the peripheral video synthesis unit 103 and the auxiliary information data D104 provided by the auxiliary information generation unit 104 are combined to generate output video data D105.
  • the virtual three-dimensional image synthesizing process performed by the peripheral image synthesizing unit 103 requires time.
  • the composition time T (seconds) is the time sufficient to execute the composition process.
  • the auxiliary information generation unit 104 rotates the vehicle icon from the current direction of the virtual viewpoint to the direction of the virtual viewpoint to be displayed next at the composite time T (seconds).
  • the CPU (processor) of the vehicle control device 10 responds to the number of icons of the vehicle from viewpoints in the range from the current virtual viewpoint (first viewpoint) to the virtual viewpoint (second viewpoint) to be displayed next.
  • the icons are switched at fixed time intervals to keep the playback time of the rotation animation of the vehicle constant.
  • the viewpoint can be smoothly switched from the end of the reproduction of the rotation animation of the own vehicle.
  • the vehicle icon may be rotated at a constant rotation amount. ..
  • the CPU (processor) of the vehicle control device 10 is irrespective of the number of icons from viewpoints in the range from the current virtual viewpoint (first viewpoint) to the virtual viewpoint (second viewpoint) to be displayed next. , Switch icons at regular time intervals. This makes it possible to easily generate a rotation animation of the own vehicle while suppressing the calculation load.
  • the state management unit 101 determines the presence/absence of the viewpoint switching request and the direction of the virtual viewpoint of the switching destination based on the operation data D24 operated by the occupant. It is also possible to determine the switching destination of the direction of the virtual viewpoint based on the plan data D107 and generate the switching instruction.
  • the control information D101 including a switching instruction may be generated so that the viewpoint is automatically switched in the direction of the virtual viewpoint.
  • the automatic unloading is described as an example, but in the automatic operation control by the system, the viewpoint direction of the switching destination may be determined by the traveling direction and the steering direction.
  • the virtual viewpoint (second viewpoint) displayed next is a viewpoint in which both the object existing in the traveling direction and the own vehicle are in the field of view, and the CPU (processor) of the vehicle control device 10 starts automatic driving. Before doing so, the current virtual viewpoint (first viewpoint) is switched to the virtual viewpoint (second viewpoint) to be displayed next.
  • the viewpoint after the viewpoint switching can be easily recognized. Therefore, the user can check whether there is an obstacle at the vehicle winding position.
  • the CPU (processor) of the vehicle control device 10 may generate a rotation animation of the own vehicle including the white line of the parking lot when the own vehicle leaves the parking lot. This increases the sense of presence in the rotation animation of the vehicle.
  • the CPU (processor) of the vehicle control device 10 may generate a rotation animation of the vehicle that makes one rotation around the vehicle before the vehicle leaves the parking lot. This allows the user to easily recognize that the viewpoint makes one rotation (360 degrees) around the vehicle.
  • the state management unit 101 determines the presence/absence of the viewpoint switching request and the direction of the virtual viewpoint of the switching destination based on the operation data D24 by the operation of the occupant. By inputting the pointing direction of the (direction indicator), it is possible to determine the switching destination of the direction of the virtual viewpoint based on the operation data D24 and generate the switching instruction.
  • a viewpoint switching request is input to the state management unit 101 by the operation data D24.
  • the state management unit 101 may generate control information D101 including a switching instruction so that the viewpoint is automatically switched to the direction of the virtual viewpoint on the right rear side of the vehicle based on the operation data D24.
  • the virtual viewpoint (second viewpoint) to be displayed next is a viewpoint in which both the object existing on the rear side and the own vehicle according to the direction indicated by the winker (direction indicator) are in the field of view.
  • the CPU (processor) of the vehicle control device 10 switches from the current virtual viewpoint (first viewpoint) to the virtual viewpoint (second viewpoint) to be displayed next.
  • the state management unit 101 determines the presence/absence of the viewpoint switching request and the direction of the virtual viewpoint of the switching destination based on the operation data D24 by the operation of the occupant. It is also possible to determine the switching destination of the direction of the virtual viewpoint based on the information D21 and generate the switching instruction.
  • control information D101 including the switching instruction may be generated so that the viewpoint is automatically switched to the direction of the virtual viewpoint in which the turning by the right steering can be confirmed.
  • the user can intuitively follow the change in the display due to the switching of the viewpoint.
  • the present invention is not limited to the above-described embodiment, and various modifications are included.
  • the above-described embodiments have been described in detail in order to explain the present invention in an easy-to-understand manner, and are not necessarily limited to those having all the configurations described.
  • a part of the configuration of one embodiment can be replaced with the configuration of another embodiment, and the configuration of another embodiment can be added to the configuration of one embodiment.
  • each of the above-mentioned configurations, functions, and the like may be realized in hardware by designing a part or all of them with, for example, an integrated circuit. Further, the above-described respective configurations, functions and the like may be realized by software by a processor (microcomputer) interpreting and executing a program for realizing each function. Information such as programs, tables, and files that realize each function can be stored in a memory, a hard disk, a recording device such as an SSD (Solid State Drive), or a recording medium such as an IC card, an SD card, or a DVD.
  • a processor microcomputer
  • the embodiment of the present invention may have the following aspects.
  • the present invention displays a bird's-eye view image or 3D image created using images acquired from a plurality of cameras attached to a vehicle on a display device, and a vehicle periphery monitoring system and an image display that allow a vehicle occupant to recognize a situation around the vehicle. Regarding the method.
  • control device that synthesizes the information about the surrounding area of the vehicle acquired from the external recognition device and the vehicle icon and displays it on the display device, when switching the viewpoint, a black image is displayed during the viewpoint switching and the vehicle icon is currently displayed.
  • the vehicle is automatically switched to a viewpoint that allows confirmation of safety in the traveling direction before the system starts automatic control.
  • the vehicle is automatically switched to a viewpoint in which the rear side can be confirmed according to the direction of the turn signal.
  • the viewpoint is automatically switched to a viewpoint in which the entanglement can be confirmed according to the steering angle and the shift position.
  • the vehicle control device which holds at least eight directions of vehicle icon image data, selects a rotating vehicle icon image according to a viewpoint switching direction, creates an animation, and creates a black image. Superimpose.
  • the vehicle control device characterized in that the rotation time is made constant by changing the rotation amount of the vehicle icon for each frame in accordance with the rotation angle of the vehicle icon when switching the viewpoint. Vehicle control device.
  • the method according to (10) is characterized in that, in accordance with the direction of the blinker, the viewpoint is automatically switched to a viewpoint where the rear side can be confirmed.
  • the method described in (10) is characterized in that the viewpoint is automatically switched to a viewpoint in which the entrainment can be confirmed according to the steering angle and the shift position.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

視点の切り替えによる表示の変化にユーザが直感的に追従することができる車両制御装置等を提供する。 メモリは、複数の視点による自車の複数のアイコンを記憶する。車両制御装置１０は、複数のカメラ２３Ｆ～２３Ｂによってそれぞれ撮像される自車の周りの画像から現在の仮想視点（第１の視点）による３次元画像を合成する。車両制御装置１０は、現在の仮想視点から次に表示する仮想視点（第２の視点）へ切り替える場合、複数のカメラ２３Ｆ～２３Ｂによってそれぞれ撮像される自車の周りの画像から次に表示する仮想視点による３次元画像を合成する期間に、現在の仮想視点から次に表示する仮想視点までの範囲の視点による自車の複数のアイコンから自車の回転アニメーションを生成し、自車の回転アニメーションと黒画を合成した画像を表示部２２に表示させる。

Description

車両制御装置及び方法
　本発明は、車両制御装置及び方法に関する。
　従来、車両の前方、後方および左右方向の全ての領域を例えば４台のカメラで撮影し、得られた原画像を合成して、俯瞰映像に加工することで、車両周辺の様子を認識できるようにした車両周辺監視システムが提案されている。
　車両周辺監視システムでは、車両の外側から自車両の前方、右斜め前方、右側方など、特定の視点（固定仮想視点）から自車両を眺めた映像を表示し、その視点を切り替えることで乗員は車両周辺の状況を確認することに利用されている（例えば、特許文献１参照）。
特開2016-208368号公報
　複数のカメラで撮影した映像を合成して表示する場合、映像の合成に時間が掛かり、合成途中の映像を表示すると乗員は画面がちらついて見えてしまう。
　この対応として、合成途中の映像を黒画などでマスクすることで途中の映像を見せないようにするが、黒画を挟むことにより、映像の連続性が途切れ、表示された固定仮想視点の向きを瞬時に判断できない課題がある。
　本発明の目的は、視点の切り替えによる表示の変化にユーザが直感的に追従することができる車両制御装置及び方法を提供することにある。
　上記目的を達成するために、本発明は、複数の視点による自車の複数のアイコンを記憶するメモリと、複数のカメラによってそれぞれ撮像される前記自車の周りの画像から第１の視点による３次元画像を合成するプロセッサと、を備え、前記プロセッサは、前記第１の視点から第２の視点へ切り替える場合、複数の前記カメラによってそれぞれ撮像される前記自車の周りの画像から前記第２の視点による３次元画像を合成する期間に、前記第１の視点から前記第２の視点までの範囲の視点による自車の複数の前記アイコンから前記自車の回転アニメーションを生成し、前記自車の前記回転アニメーションと黒画を合成した画像をディスプレイに表示させる。
　本発明によれば、視点の切り替えによる表示の変化にユーザが直感的に追従することができる。上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
一実施形態の車両周辺監視システム（車両制御システム）の全体構成図である。 車両制御装置を搭載した車両の概略構成図である。 車両制御装置の機能構成を示すブロック図である。 本発明を適用した車両周辺監視システムにおける一連の処理の流れを示すフローチャートである。 本発明の実施形態に係る画像処理方法を示す説明図である。
　以下、本発明の車両制御装置の一実施形態について図面を参照して説明する。なお、本発明の実施形態は、車両に取り付けられた複数のカメラから取得した画像を用いて作成した俯瞰映像や３Ｄ映像を表示装置に表示し、車両乗員に車両周辺の状況を認識させる車両周辺監視システムおよび画像表示方法に関する。
　図１は、本発明の一実施形態の車両制御装置１０を含む車両制御システム１の全体構成図であり、図２は、車両制御装置１０を搭載した車両２０の概略構成図である。
　図１に示す車両制御システム１は、車両制御装置１０と、車両制御装置１０との間で各種情報をやり取りする車両制御ＥＣＵ２１、表示部２２、撮像部２３、操作部２４、測距センサ２５および車速センサ２６とを備える。車両制御ＥＣＵ２１は、アクセルＥＣＵ２１１、ブレーキＥＣＵ２１２およびステアリングＥＣＵ２１３を含む。
　なお、車両制御装置１０、表示部２２、撮像部２３、操作部２４、測距センサ２５および車速センサ２６は、車両周辺監視システムを構成する。車両周辺監視システムは、複数のカメラから取得した画像を用いて作成した俯瞰映像や３Ｄ映像を表示装置（ディスプレイ）に表示し、車両乗員に車両周辺の状況を認識させる。
　図１の車両制御システム１は、図２に示す車両２０に搭載されている。なお、以下の説明では、車両制御システム１を搭載した車両２０は、車両制御システム１が行う車両制御により、乗員の運転操作なしで走行する自動運転が可能であるものとする。
　撮像部２３は、車両２０の周囲を撮影して撮像画像を取得する。撮像部２３は、たとえば撮像素子を備えた電子式カメラにより構成される。撮像部２３が取得した撮像画像の情報は、撮像画像データＤ２３として車両制御装置１０に入力される。
　測距センサ２５は、車両２０の周囲に存在する障害物を検出し、その障害物までの距離を測定するセンサである。測距センサ２５は、たとえばレーザーレーダやミリ波レーダを用いて構成される。測距センサ２５が測定した障害物までの距離の情報は、測距データＤ２５として車両制御装置１０に入力される。
　車速センサ２６は、車両２０の走行速度を検出するセンサである。車速センサ２６は、たとえば車両２０の車輪の回転速度を検出する車輪速センサを用いて構成される。車速センサ２６が検出した車両２０の走行速度の情報は、車速データＤ２６として車両制御装置１０に入力される。
　表示部２２は、画像や映像を表示して車両２０の乗員に情報提供を行う部分であり、たとえば液晶ディスプレイを用いて構成される。表示部２２の表示内容は、車両制御装置１０から入力された制御画像データＤ１０５に基づき決定される。すなわち、車両制御装置１０は、表示部２２を介して車両２０の乗員への情報提供を行う車両用情報提供装置として機能する。
　操作部２４は、車両２０の乗員による各種操作入力を受け付ける部分であり、たとえば操作ボタンや操作スイッチ等を用いて構成される。なお、表示部２２と操作部２４を組み合わせてタッチパネルとしてもよい。乗員が操作部２４を用いて行った操作内容の情報は、操作データＤ２４として車両制御装置１０に入力される。
　車両制御ＥＣＵ２１は、車両制御装置１０から入力される走行計画データＤ１０７に基づいて、車両２０を自動運転で走行させるための車両制御を行う。また、車両制御ＥＣＵ２１は、車両２０の走行状態を示す走行状態情報Ｄ２１を生成し、車両制御装置１０に出力する。
　車両制御ＥＣＵ２１から出力されて車両制御装置１０に入力される車両２０の走行状態の情報（走行状態情報Ｄ２１）には、車両２０の加減速状態を示す加減速量データと、車両２０の操舵状態を示す操舵量データとが含まれる。
　加減速量データは、車両２０の加減速制御を行うアクセルＥＣＵ２１１およびブレーキＥＣＵ２１２から出力され、操舵量データは、車両２０の操舵制御を行うステアリングＥＣＵ２１３から出力される。
　車両制御装置１０は、撮像部２３、操作部２４、測距センサ２５、車速センサ２６からそれぞれ入力された、撮像画像データＤ２３、操作データＤ２４、測距データＤ２５および車速データＤ２６や、車両制御ＥＣＵ２１から入力された走行状態データＤ２１に基づいて、車両２０の制御に関する様々な処理を実行する。
　そして、車両制御装置１０は、走行計画データＤ１０７および出力映像データＤ１０５を生成し、車両制御ＥＣＵ２１と表示部２２にそれぞれ出力する。車両制御装置１０は、たとえばマイクロコンピュータやＦＰＧＡ（Field-Programmable Gate Array）を用いて構成される。
　なお、マイクロコンピュータは、例えば、ＣＰＵ（Central Processing Unit）等のプロセッサ、メモリ、入出力回路等のＩ／Ｆ（Interface）から構成される。メモリは、複数の視点による自車の複数のアイコンを記憶する。例えば、メモリは、少なくとも８方位の視点による自車のアイコンを記憶する。これにより、少ないメモリ使用量で自車を１回転（３６０度）する回転アニメーションを生成することができる。
　図２は、本発明の一実施形態に係る車両制御システム１の車両２０への搭載例を示す図である。
　図２に示すように、車両２０には、車両２０の前方を撮影するカメラ２３Ｆと、車両２０の左側方を撮影するカメラ２３Ｌと、車両２０の右側方を撮影するカメラ２３Ｒと、車両２０の後方を撮影するカメラ２３Ｂが取り付けられている。
　これらのカメラ２３Ｆ～２３Ｂにより、図１に示した撮像部２３が構成される。なお、カメラ２３Ｆ～２３Ｂの取付位置は、図２に示す位置に限定されない。また、図２に示す例では、カメラ２３Ｆ～２３Ｂをそれぞれ１つずつのカメラで構成しているが、２つのカメラを組み合わせた、いわゆるステレオカメラとしてもよい。
　この場合、カメラ２３Ｆ～２３Ｂを測距センサ２５として用いることも可能である。さらに、図２に示す例では、４つのカメラ２３Ｆ～２３Ｂで撮像部２３を構成しているが、撮像部２３を構成するカメラの数はこれに限定されない。
　車両２０の車体における複数の所定位置、たとえばフロントグリルの内側、フロントバンパーやリアバンパーの表面、ドアミラーの側面等には、測距センサ２５がそれぞれ取り付けられている。各測距センサ２５は、その取付位置に応じて車両２０の前方、側方、後方のいずれかに存在する障害物を検出する。
　たとえば、車両２０の前方を走行する先行車両、車両２０の前方を横切る人物や車両、車両２０の進行方向に存在する駐車車両、壁、各種設置物等を障害物として検出する。各測距センサ２５は、障害物を検出すると、その障害物までの距離を測定して車両制御装置１０へ測距データＤ２５を出力する。
　車両２０には、左前輪の回転速度を検出する車輪速センサ２６ＦＬと、右前輪の回転速度を検出する車輪速センサ２６ＦＲと、左後輪の回転速度を検出する車輪速センサ２６ＲＬと、右後輪の回転速度を検出する車輪速センサ２６ＲＲが取り付けられている。これらの車輪速センサ２６ＦＲ～２６ＲＲにより、図１に示した車速センサ２６が構成される。
　車両２０は、アクセルペダル２、ブレーキペダル３およびステアリングホイール４を備える。
　車両２０の乗員がアクセルペダル２を用いて行ったアクセル操作の状態や、車両２０の乗員がブレーキペダル３を用いて行ったブレーキ操作の状態は、加減速量データとしてアクセルＥＣＵ２１１およびブレーキＥＣＵ２１２から出力され、車両制御装置１０に入力される。
　車両２０の乗員がステアリングホイール４を用いて行った操舵操作の状態は、操舵量データとしてステアリングＥＣＵ２１３から出力され、車両制御装置１０に入力される。
　表示部２２および操作部２４は、車両２０の運転席付近に設置される。操作部２４から出力された操作データＤ２４は車両制御装置１０に入力され、車両制御装置１０から出力された出力映像データＤ１０５は表示部２２に入力される。
　次に、車両制御装置１０が行う処理の具体的な内容について説明する。図３は、本発明の一実施形態に係る車両制御装置１０の機能ブロック図である。
　図３に示すように、車両制御装置１０は、状態管理部１０１、視点切替判定部１０２、周辺映像合成部１０３、補助情報生成部１０４、出力映像生成部１０５、障害物検知部１０６および経路生成部１０７の各ブロックを有する。
　車両制御装置１０は、これらの機能ブロックを、たとえばマイクロコンピュータ上で動作するコンピュータプログラムや、ＦＰＧＡ内に構成される論理回路の組み合わせ等によって実現可能である。
　状態管理部１０１には、走行状態情報Ｄ２１、操作データＤ２４、および車速データＤ２６が入力される。状態管理部１０１は、走行状態情報Ｄ２１と車速データＤ２６から車両制御情報を生成する。
　また、状態管理部１０１は、操作データＤ２４に基づいて乗員からの視点切替要求の有無を判断し、視点切替要求ありと判断した場合に、切り替え指示を生成する。乗員が指定した仮想視点の向きに視点を変える場合、切り替え指示には、現在の仮想視点の方向や次に表示する仮想視点の方向が含まれる。
　次に、状態管理部１０１は、車両制御情報と切り替え指示とを含む、制御情報Ｄ１０１を生成する。また、状態管理部１０１は、操作データＤ２４に基づいて乗員からの経路生成要求の有無を判断し、経路生成要求ありと判断した場合に、経路生成要求を生成する。
　乗員が指定した目的地に向かって車両２０を走行させる場合、経路生成要求には、車両２０の現在地の情報や、操作データＤ２４が示す目的地、経由地、優先すべき道路等の設定情報が含まれる。
　また、乗員が指定した駐車区画に車両２０を自動駐車させる際に、状態管理部１０１が経路生成要求を生成して出力してもよい。この場合、経路生成要求データＤ１０１には、駐車場内における車両２０の位置情報や、操作データＤ２４が示す駐車区画の位置情報などが含まれる。状態管理部１０１から出力された経路生成要求は、制御情報Ｄ１０１に含まれ経路生成部１０７に入力される。
　視点切替判定部１０２には、制御情報Ｄ１０１が入力される。視点切替判定部１０２は、制御情報Ｄ１０１に基づいて切り替え要求の有無を判断し、切り替え要求が無しと判断した場合に、制御情報Ｄ１０１に含まれる車両制御情報と、カメラ映像表示要求とを含む視点切り替え情報Ｄ１０２を生成して出力する。
　また、視点切替判定部１０２は、切り替え要求が有りと判断した場合に、制御情報Ｄ１０１に含まれる、車両制御情報と現在の仮想視点の方向と次に表示する仮想視点の方向、およびカメラ映像マスク要求とを含む視点切り替え情報Ｄ１０２を生成して出力する。
　周辺映像合成部１０３には、撮像画像データＤ２３と視点切り替え情報Ｄ１０２とが入力される。
　入力された視点切り替え情報Ｄ１０２にカメラ映像表示要求が含まれる場合、周辺映像合成部１０３は、現在の仮想視点の方向から見た仮想的な３次元画像を複数のカメラから取得した撮像画像データＤ２３を合成することで生成し、生成された仮想的な３次元画像を周辺映像データＤ１０３として出力映像生成部１０５に出力する。
　すなわち、車両制御装置１０のＣＰＵ（プロセッサ）は、複数のカメラ２３Ｆ～２３Ｂによってそれぞれ撮像される自車の周りの画像から現在の仮想視点（第１の視点）による３次元画像を合成する。
　また、入力された視点切り替え情報Ｄ１０２にカメラ映像マスク要求が含まれる場合、周辺映像合成部１０３は、次に表示する仮想視点の方向から見た仮想的な３次元画像を複数のカメラから取得した撮像画像データＤ２３を合成することで生成する。
　すなわち、車両制御装置１０のＣＰＵ（プロセッサ）は、複数のカメラ２３Ｆ～２３Ｂによってそれぞれ撮像される自車の周りの画像から次に表示する仮想視点（第２の視点）による３次元画像を合成する。
　次に、周辺映像合成部１０３は、カメラ映像マスク要求に従い、生成している仮想的な３次元画像を黒画などで覆うマスク処理を行い、周辺映像データＤ１０３として出力映像生成部１０５に出力する。
　すなわち、車両制御装置１０のＣＰＵ（プロセッサ）は、現在の仮想視点（第１の視点）から次に表示する仮想視点（第２の視点）へ切り替える場合、複数のカメラ２３Ｆ～２３Ｂによってそれぞれ撮像される自車の周りの画像から次に表示する仮想視点（第２の視点）による３次元画像を合成する期間に、合成中の次に表示する仮想視点（第２の視点）による３次元画像を黒画でマスクする。これにより、合成中の３次元画像（映像）によるディスプレイのちらつきを防止することができる。
　補助情報生成部１０４には、視点切り替え情報Ｄ１０２と、後述する障害物検出データＤ１０６と、走行計画データＤ１０７と、が入力される。
　入力された視点切り替え情報Ｄ１０２にカメラ映像表示要求が含まれる場合、補助情報生成部１０４は、入力されたこれらのデータに基づいて、車両２０を走行させる際の加速状態や減速状態を車両２０の乗員に通知するための制御画像を生成する。
　この制御画像では、撮像画像データＤ２３が示す撮像画像上に、車両２０の進路を示す進路予測線と、車両２０との距離の目安となる目安線や、検知した駐車枠や、出庫方向を示す画像などが重畳されている。補助情報生成部１０４が生成した制御画像の情報は、補助情報データＤ１０４として出力映像生成部１０５に入力される。
　入力された視点切り替え情報Ｄ１０２にカメラ映像マスク要求が含まれる場合、補助情報生成部１０４は、入力された視点切り替え情報Ｄ１０２に基づいて、現在の仮想視点の方向から次に表示する仮想視点の方向まで車両が回転する車両アイコン画像を準備し、単位時間毎に次の角度の車両アイコン画像を表示させるための情報として補助情報データＤ１０４を生成し、出力映像生成部１０５に入力する。
　すなわち、車両制御装置１０のＣＰＵ（プロセッサ）は、現在の仮想視点（第１の視点）から次に表示する仮想視点（第２の視点）へ切り替える場合、複数のカメラ２３Ｆ～２３Ｂによってそれぞれ撮像される自車の周りの画像から次に表示する仮想視点（第２の視点）による３次元画像を合成する期間に、現在の仮想視点（第１の視点）から次に表示する仮想視点（第２の視点）までの範囲の視点による自車の複数のアイコンから自車の回転アニメーションを生成する。
　出力映像生成部１０５は、周辺映像合成部１０３と補助情報生成部１０４からから入力された周辺映像データＤ１０３と補助情報データＤ１０４を合成し表示部２２に表示させる。このとき出力映像生成部１０５は、表示部２２のインタフェース仕様に応じたデータ形式または信号形式に出力映像データＤ１０５を変換した上で、表示部２２に出力することが好ましい。
　これにより、表示部２２において車両周辺画像が表示され、車両２０の車両周辺状況に関する乗員への情報提供が行われる。
　このようにして、車両制御装置１０のＣＰＵ（プロセッサ）は、現在の仮想視点（第１の視点）から次に表示する仮想視点（第２の視点）へ切り替える場合、複数のカメラ２３Ｆ～２３Ｂによってそれぞれ撮像される自車の周りの画像から次に表示する仮想視点（第２の視点）による３次元画像を合成する期間に、自車の回転アニメーションと黒画を合成した画像をディスプレイに表示させる。これにより、ユーザは視点の切り替えによる表示の変化に直感的に追従することができる。
　本実施形態では、現在の仮想視点（第１の視点）及び次に表示する仮想視点（第２の視点）は、自車の周りに存在する物体と自車の両方が視野に入る視点である。車両制御装置１０のＣＰＵ（プロセッサ）は、現在の仮想視点（第１の視点）から次に表示する仮想視点（第２の視点）へ切り替える前において、現在の仮想視点（第１の視点）による３次元画像をディスプレイに表示させ、かつ、現在の仮想視点（第１の視点）から次に表示する仮想視点（第２の視点）へ切り替えた後において、次に表示する仮想視点（第２の視点）による３次元画像をディスプレイに表示させる。これにより、視点の切り替え前後において、ユーザは自車の周りに存在する物体と自車の相対的な位置関係を容易に認識することができる。
　障害物検知部１０６には、撮像画像データＤ２３および測距データＤ２５が入力される。障害物検知部１０６は、入力されたこれらのデータに基づいて、車両２０の周囲に存在する障害物の検知を行う。ここで、障害物検知部１０６が認識する障害物とは、車両２０の安全な走行に対する妨げとなる物体であり、測距センサ２５が検出対象とする前述のような各種の物体が該当する。
　このとき障害物検知部１０６は、撮像画像データＤ２３と測距データＤ２５の両方を用いて障害物の有無を判断してもよいし、いずれか一方を用いて障害物の有無を判断してもよい。
　障害物を検知したら、障害物検知部１０６は、測距データＤ２６が示す障害物までの距離を含む障害物検出データＤ１０６を生成する。障害物検知部１０６から出力された障害物検出データＤ１０６は、状態管理部１０１および補助情報生成部１０４に入力される。
　障害物検知部１０６から障害物検出データＤ１０６が入力されると、状態管理部１０１は、検知した障害物を確認可能な視点に仮想視点を切り替えが必要と判断し、切り替え指示を含む制御情報Ｄ１０１を生成して視点切替判定部１０２に出力する。
　すなわち、次に表示する仮想視点（第２の視点）は、障害物と自車の両方が視野に入る視点である。車両制御装置１０のＣＰＵ（プロセッサ）は、障害物が検知された場合、現在の仮想視点（第１の視点）から次に表示する仮想視点（第２の視点）へ切り替える。
　これにより、障害物が検知された場合、検知された障害物を確認できるディスプレイの画面へ切替えられる。そして、視点切り替えが発生した場合も、ユーザは視点切り替えを追従できる。そのため、ユーザは、視点切り替え後の視点位置を認識しやすく、表示される画面から障害物の有無の確認が容易になる。
　経路生成部１０７は、状態管理部１０１から入力された経路生成要求を含む制御情報Ｄ１０１に基づいて、車両２０が走行すべき予定走行経路を設定する。
　たとえば、乗員が指定した目的地に向かって車両２０を走行させる場合には、経路生成部１０７は、経路生成要求に含まれる前述のような情報に基づき、現在地から目的地までの予定走行経路を設定する。また、乗員が指定した駐車区画に車両２０を自動駐車させる場合には、経路生成部１０７は、経路生成要求に含まれる前述のような情報に基づき、駐車場内における車両２０の現在位置から指定された駐車区画までの予定走行経路を設定する。
　次に、経路生成部１０７は、予定走行経路に基づいて、車両２０が予定走行経路を走行する際の目標加減速量および目標操舵量を設定する。そして、経路生成部１０７は、設定した目標加減速量および目標操舵量に基づく車両２０の走行計画を策定し、走行計画データＤ１０７を生成して出力する。
　走行計画データＤ１０７には、予定走行経路上に所定間隔で設定された複数の走行目標点を示す情報と、各走行目標点における車両２０の目標加減速量および目標操舵量を示す情報とが含まれる。
　経路生成部１０７から出力された走行計画データＤ１０７は、状態管理部１０１と補助情報生成部１０４に入力されるとともに、車両制御装置１０から出力されて車両制御ＥＣＵ２１に入力される。これにより、車両制御ＥＣＵ２１において、車両２０を自動運転で走行させるための車両制御が行われる。
　（システム動作）
　図４に示すフローチャートを用いて、一実施形態の車両制御装置１０による車両周辺監視システムの手順について説明する。
　まず、周辺映像合成部１０３において、複数の撮像部２３より提供される各撮像画像データＤ２３を取得する（ステップＳ１）。
　次に、状態管理部１０１において、車両制御ＥＣＵ２１から入力される舵角情報などの走行状態情報Ｄ２１と、操作部２４から入力される操作データＤ２４と、車速センサ２６から入力される車速データＤ２６と、を取得する。状態管理部１０１は、走行状態情報Ｄ２１と、車速データＤ２６とに基づいて、車両制御情報を生成し、操作データＤ２４に基づいて、切り替え指示を生成する。
　例えば、次に表示する仮想視点（第２の視点）は、旋回方向の自車の側面が視野に入る視点である。車両制御装置１０のＣＰＵ（プロセッサ）は、自車を旋回させる場合、現在の仮想視点（第１の視点）から次に表示する仮想視点（第２の視点）へ切り替える。これにより、ユーザは旋回方向の自車の側面側に巻き込む可能性のある障害物が無いかを確認することができる。
　詳細には、車両制御装置１０のＣＰＵ（プロセッサ）は、舵角が閾値以上となった場合、現在の仮想視点（第１の視点）から次に表示する仮想視点（第２の視点）へ切り替える。これにより、交差点での右左折時や切替し時に、舵角が閾値より大きくなったことをトリガーにディスプレイの画面が現在の画面（例えば正面から車両を見る視点）から巻き込み確認をできる画面（例えば右前から車両を見る視点）に切替えられる。そのため、視点切替え後、ユーザは車両巻き込み位置に障害物が無いか確認することが容易になる。
　好ましくは、次に表示する仮想視点（第２の視点）は、シフト位置に応じた視点である。車両制御装置１０のＣＰＵ（プロセッサ）は、シフト位置が切り替えられた場合、現在の仮想視点（第１の視点）から次に表示する仮想視点（第２の視点）へ切り替える。
　これにより、例えば、シフト位置がＤ（ドライブ）からＲ（リバース）へ切り替えられ、舵角が閾値より大きくなったことをトリガーにディスプレイの画面が現在の画面（例えば正面から車両を見る視点）から巻き込み確認をできる画面（例えば右後ろから車両を見る視点）に切替えられる。そのため、ユーザはシフト位置に応じた視点から旋回方向の自車の側面側に巻き込む可能性のある障害物が無いかを確認することができる。
　次に、状態管理部１０１は、車両制御情報と切り替え指示とを含む、制御情報Ｄ１０１を生成する（ステップＳ２）。
　次に、視点切替判定部１０２において、状態管理部１０１より提供される制御情報Ｄ１０１に含まれる切り替え指示により、視点切り替え判定（ステップＳ３）を行う。
　切り替え指示が無い場合（Ｆａｌｓｅ）、周辺映像合成部１０３は、取得した各映像データ（撮像画像データＤ２３）を合成し、周辺映像の周辺映像データＤ１０３を生成する
（ステップＳ４）。
　次に、補助情報生成部１０４において、状態管理部１０１より提供される制御情報Ｄ１０１に含まれる車両制御情報に基づいて、補助情報データＤ１０４の生成を行う（ステップＳ５）。補助情報は、車両の進行方向を表示する進路予測線や、車両からの距離の目安となる目安線や、警報画像、検知した駐車枠や、出庫方向を示す画像などである。
　次に、出力映像生成部１０５において、周辺映像合成部１０３より提供される周辺映像データＤ１０３と、補助情報生成部１０４より提供される補助情報データＤ１０４と、を合成し出力映像データＤ１０５を生成する（ステップＳ６）。
　一方、ステップＳ３にて切り替え指示が有ると判定された場合（Ｔｒｕｅ）、視点切替判定部１０２は、制御情報Ｄ１０１に含まれる、車両制御情報、切り替え指示、現在の仮想視点の向き、および次に表示される仮想視点の向きとを含む視点切り替え情報Ｄ１０２を生成する。
　次に、周辺映像合成部１０３は、撮像部２３より取得した各映像データ（撮像画像データＤ２３）と、視点切替判定部１０２より取得した視点切り替え情報Ｄ１０２とに基づき、次に表示される仮想視点の向きの周辺映像の合成映像を生成する（ステップＳ７）。
　次に、周辺映像合成部１０３は、合成途中の映像が表示されないようにするため、カメラ映像をマスクする処理を実行する（ステップＳ８）。
　次に、補助情報生成部１０４において、視点切り替え情報Ｄ１０２に基づいて、現在の仮想視点の向きから次に表示される仮想視点の向きまで、車両アイコンが回転する車両アイコン画像を準備し、１コマずつ切り替え車両アイコンを描画する（ステップＳ９）。
　次に、出力映像生成部１０５において、周辺映像合成部１０３より提供される周辺映像データＤ１０３と、補助情報生成部１０４より提供される補助情報データＤ１０４と、を合成し出力映像データＤ１０５を生成する（ステップＳ６）。
　（画像処理方法）
　次に、図５を参照して、補助情報生成部１０４によって実行される車両アイコンの回転表示について説明する。
　周辺映像合成部１０３で処理する仮想的な３次元画像の合成処理は時間を必要とする。
　その合成処理を実行するのに十分な時間を合成時間Ｔ（秒）とする。補助情報生成部１０４は、この合成時間Ｔ（秒）で現在の仮想視点の方向から、次に表示される仮想視点の方向まで車両アイコンを回転させる。
　例えば、１５度刻みで車両が回転する車両アイコン画像を２４枚保持する。図５にある仮想視点Ａ（車両前方）から仮想視点Ｂ（車両右前）に視点移動する場合、０度から４５度までの４枚の車両アイコン画像を取得し、合成時間Ｔ（秒）を準備枚数（４枚）で割ったＴ／４（秒）毎にアイコンを更新する。
　同様に、仮想視点Ａ（車両前方）から仮想視点Ｃ（車両後方）に視点移動する場合、０度から１８０度までの１３枚の車両アイコン画像を取得し、合成時間Ｔ（秒）を準備枚数（１３枚）で割ったＴ／１３（秒）毎にアイコンを更新する。
　すなわち、車両制御装置１０のＣＰＵ（プロセッサ）は、現在の仮想視点（第１の視点）から次に表示する仮想視点（第２の視点）までの範囲の視点による自車のアイコンの数に応じた時間間隔でアイコンを切り替え、自車の回転アニメーションの再生時間を一定にする。これにより、自車の回転アニメーションの再生終了からスムーズに視点を切り替えることができる。
　また、上述した車両アイコンの回転表示では、単位時間当たりの車両アイコンの回転量を変化させることで回転量を一定にする例を説明したが、一定の回転量で車両アイコンを回転させてもよい。
　換言すれば、車両制御装置１０のＣＰＵ（プロセッサ）は、現在の仮想視点（第１の視点）から次に表示する仮想視点（第２の視点）までの範囲の視点によるアイコンの数にかかわらず、一定の時間間隔でアイコンを切り替える。これにより、計算負荷を抑制しつつ、自車の回転アニメーションを容易に生成することができる。
　例えば、１５度刻みで車両が回転する車両アイコン画像を２４枚保持する。図５にある仮想視点Ａ（車両前方）から仮想視点Ｂ（車両右前）に視点移動する場合、０度から４５度までの４枚の車両アイコン画像を取得し、単位時間毎にアイコンを更新する。
　同様に、仮想視点Ａ（車両前方）から仮想視点Ｃ（車両後方）に視点移動する場合、０度から１８０度までの１３枚の車両アイコン画像を取得し、単位時間毎にアイコンを更新する。
　なお、上述した実施形態では、状態管理部１０１において、乗員の操作による操作データＤ２４に基づいて視点切替要求の有無と切り替え先の仮想視点の方向を判断しているが、経路生成部１０７による走行計画データＤ１０７に基づいて、仮想視点の方向の切り替え先を判断し、切り替え指示を生成することもできる。
　例えば、乗員により、自動出庫モードにおける右（方向）への出庫が確定され、生成される走行計画データＤ１０７において、進行方向が前進、転舵方向が右の場合、右転舵による巻き込みを確認できる仮想視点の方向に視点を自動で切り替えるよう、切り替え指示を含む制御情報Ｄ１０１を生成してもよい。
　また、上述した実施形態では、自動出庫を例に説明したが、システムによる自動運転制御において、進行方向および転舵方向により切り替え先の視点方向が決まればよい。
　例えば、次に表示する仮想視点（第２の視点）は、進行方向に存在する物体と自車の両方が視野に入る視点であり、車両制御装置１０のＣＰＵ（プロセッサ）は、自動運転を開始する前に、現在の仮想視点（第１の視点）から次に表示する仮想視点（第２の視点）へ切り替える。
　これにより、ディスプレイの現在の画面（例えば正面から車両を見る視点）から巻き込み確認をできる画面（例えば右前から車両を見る視点）に切替わった際、視点切替え後の視点を容易に認識することができ、ユーザは車両巻き込み位置に障害物が無いかを確認することが可能になる。
　また、車両制御装置１０のＣＰＵ（プロセッサ）は、自車が駐車場から出庫する場合、駐車場の白線を含む自車の回転アニメーションを生成してもよい。これにより、自車の回転アニメーションにおいて臨場感が増加する。
　さらに、車両制御装置１０のＣＰＵ（プロセッサ）は、自車が駐車場から出庫する前に、自車の周りを１回転する自車の回転アニメーションを生成してもよい。これにより、ユーザは視点が自車を中心に１回転（３６０度）していることを容易に認識することができる。
　また、上述した実施形態では、状態管理部１０１において、乗員の操作による操作データＤ２４に基づいて視点切替要求の有無と切り替え先の仮想視点の方向を判断しているが、操作データＤ２４により、ウィンカー（方向指示器）の指示方向を入力することで、操作データＤ２４に基づいて、仮想視点の方向の切り替え先を判断し、切り替え指示を生成することもできる。
　例えば、乗員により、ウィンカーの右方向への指示操作が発生した場合、操作データＤ２４により、視点切替要求が状態管理部１０１に入力される。状態管理部１０１は、操作データＤ２４に基づき、車両右後方の仮想視点の方向に視点を自動で切替えるよう、切り替え指示を含む制御情報Ｄ１０１を生成してもよい。
　すなわち、次に表示する仮想視点（第２の視点）は、ウィンカー（方向指示器）が示す指示方向に応じた後側方に存在する物体と自車の両方が視野に入る視点である。車両制御装置１０のＣＰＵ（プロセッサ）は、ウィンカー（方向指示器）が操作された場合、現在の仮想視点（第１の視点）から次に表示する仮想視点（第２の視点）へ切り替える。
　これにより、車線変更などでウィンカー（方向指示器）を用いて指示を出した場合に、ディスプレイの現在の画面（例えば正面から車両を見る視点）から車線変更時に後方確認できる画面（例えば右後ろから車両を見る視点）に切替わった際、ユーザは、視点切替え後の視点を容易に認識することができ、車両後方から接近する車両の有無などを確認することが可能になる。
　また、上述した実施形態では、状態管理部１０１において、乗員の操作による操作データＤ２４に基づいて視点切替要求の有無と切り替え先の仮想視点の方向を判断しているが、車両制御ＥＣＵ２１による走行状態情報Ｄ２１に基づいて、仮想視点の方向の切り替え先を判断し、切り替え指示を生成することもできる。
　例えば、乗員によるステアリングの右への操作を判断した場合、右転舵による巻き込みを確認できる仮想視点の方向に視点を自動で切り替えるよう、切り替え指示を含む制御情報Ｄ１０１を生成してもよい。
　以上説明したように、本実施形態によれば、視点の切り替えによる表示の変化にユーザが直感的に追従することができる。
　なお、本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上述した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
　また、上記の各構成、機能等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサ（マイコン）がそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、SSD（Solid State Drive）等の記録装置、または、ICカード、SDカード、DVD等の記録媒体に置くことができる。
　なお、本発明の実施形態は、以下の態様であってもよい。
　本発明は、車両に取り付けられた複数のカメラから取得した画像を用いて作成した俯瞰映像や３Ｄ映像を表示装置に表示し、車両乗員に車両周辺の状況を認識させる車両周辺監視システムおよび画像表示方法に関する。
　（１）．外界認識装置から取得した自車周囲辺の情報と、車両アイコンを合成して表示装置に表示する制御装置において、視点を切り替える際に、視点切り替え中に黒画を表示するとともに、車両アイコンを現在の視点位置から次に表示する視点位置まで回転するアニメーションを表示させる制御装置。
　（２）．（１）に記載の車両制御装置であって、視点移動開始前と終了後においては、自車両と周辺物体との相対位置関係を表示することを特徴とする制御装置。
　（３）．（１）に記載の車両制御装置であって、システムによる自動制御開始前における、進行方向の安全を確認できる視点に自動で切り替える。
　（４）．（１）に記載の車両制御装置であって、ウィンカーの指示方向に従い、後側方を確認できる視点に自動で切り替える。
　（５）．（１）に記載の車両制御装置であって、舵角とシフト位置に応じて、巻き込みを確認できる視点に自動で切り替える。
　（６）．（１）に記載の車両制御装置であって、障害物を検知した場合において、検知した障害物を確認できる視点に自動で切替えることを特徴とする制御装置。
　（７）．（１）に記載の車両制御装置であって、少なくとも８方向分の車両アイコン画像データを保持し、視点切替方向に応じて、回転する車両アイコン画像を選択し、アニメーションを作成し、黒画に重畳する。
　（８）．（１）に記載の車両制御装置であって、視点切替時の車両アイコンの回転角度に因らず、一定の回転量で車両アイコンを回転させることを特徴とする車両制御装置。
　（９）．（１）に記載の車両制御装置であって、視点切替時の車両アイコンの回転角度に応じて、１フレーム毎の車両アイコンの回転量を変化させることで、回転時間を一定にすることを特徴とする車両制御装置。
　（１０）．外界認識装置から取得した自車周囲辺の情報と、自車両アイコンを合成して表示装置に表示する方法において、視点を切り替える際に、視点切り替え中に黒画を表示装置に表示するとともに、自車両アイコンを現在の視点位置から次に表示する視点位置まで回転するアニメーションを表示装置に表示させる方法。
　（１１）．視点移動開始前と終了後においては、自車両と周辺物体との相対位置関係を表示することを特徴とする（１０）に記載の方法。
　（１２）．システムによる自動制御開始前における、進行方向の安全を確認できる視点に自動で切り替えることを特徴とする（１０）に記載の方法。
　（１３）．高速走行中の場合、ウィンカーの指示方向に従い、後側方を確認できる視点に自動で切り替えることを特徴とする（１０）に記載の方法。
　（１４）．低速走行中の場合、舵角とシフト位置に応じて、巻き込みを確認できる視点に自動で切り替えることを特徴とする（１０）に記載の方法。
　（１５）．障害物を検知した場合において、検知した障害物を確認できる視点に自動で切替えることを特徴とする（１０）に記載の方法。
　（１６）．少なくとも８方向分の自車両アイコン画像データを保持し、視点切替方向に応じて、画像を選択し、アニメーションを作成し、黒画に重畳することを特徴とする（１０）に記載の方法。
　（１７）．視点切替時の車両アイコンの回転角度に因らず、一定の回転量で車両アイコンを回転させることを特徴とする（１０）に記載の方法。
　（１８）．視点切替時の車両アイコンの回転角度に応じて、１フレーム毎の車両アイコンの回転量を変化させることで、回転時間を一定にすることを特徴とする（１０）に記載の方法。
　上記の（１）－（１８）によれば、乗員は視点の切り替え前後の変化方向を認識できるようになるため、映像の連続性の途切れが軽減され、視点切替え時の追従が可能となり、切り替え終了後の周辺確認をスムーズに行うことが可能となる。
１…車両制御システム
２…アクセルペダル
３…ブレーキペダル
４…ステアリングホイール
１０…車両制御装置
２０…車両
２２…表示部
２３…撮像部
２３Ｆ…カメラ
２３Ｂ…カメラ
２３Ｌ…カメラ
２３Ｒ…カメラ
２４…操作部
２５…測距センサ
２６…車速センサ
２６ＦＬ…車輪速センサ
２６ＦＲ…車輪速センサ
２６ＲＬ…車輪速センサ
２６ＲＲ…車輪速センサ
１０１…状態管理部
１０２…視点切替判定部
１０３…周辺映像合成部
１０４…補助情報生成部
１０５…出力映像生成部
１０６…障害物検知部
１０７…経路生成部

Claims (15)

  1. 　複数の視点による自車の複数のアイコンを記憶するメモリと、
    　複数のカメラによってそれぞれ撮像される前記自車の周りの画像から第１の視点による３次元画像を合成するプロセッサと、を備え、
    　前記プロセッサは、
    　前記第１の視点から第２の視点へ切り替える場合、複数の前記カメラによってそれぞれ撮像される前記自車の周りの画像から前記第２の視点による３次元画像を合成する期間に、前記第１の視点から前記第２の視点までの範囲の視点による自車の複数の前記アイコンから前記自車の回転アニメーションを生成し、前記自車の前記回転アニメーションと黒画を合成した画像をディスプレイに表示させる
    　ことを特徴とする車両制御装置。
  2. 　請求項１に記載の車両制御装置であって、
    　前記プロセッサは、
    　前記第１の視点から第２の視点へ切り替える場合、複数の前記カメラによってそれぞれ撮像される前記自車の周りの画像から前記第２の視点による３次元画像を合成する期間に、合成中の前記第２の視点による３次元画像を前記黒画でマスクする
    　ことを特徴とする車両制御装置。
  3. 　請求項２に記載の車両制御装置であって、
    　前記第１の視点及び前記第２の視点は、
    　前記自車の周りに存在する物体と前記自車の両方が視野に入る視点であり、
    　前記プロセッサは、
    　前記第１の視点から前記第２の視点へ切り替える前において、前記第１の視点による３次元画像を前記ディスプレイに表示させ、かつ、前記第１の視点から前記第２の視点へ切り替えた後において、前記第２の視点による３次元画像を前記ディスプレイに表示させる
    　ことを特徴とする車両制御装置。
  4. 　請求項１に記載の車両制御装置であって、
    　前記第２の視点は、
    　進行方向に存在する物体と前記自車の両方が視野に入る視点であり、
    　前記プロセッサは、
    　自動運転を開始する前に、前記第１の視点から前記第２の視点へ切り替える
    　ことを特徴とする車両制御装置。
  5. 　請求項１に記載の車両制御装置であって、
    　前記第２の視点は、
    　方向指示器が示す指示方向に応じた後側方に存在する物体と前記自車の両方が視野に入る視点であり、
    　前記プロセッサは、
    　前記方向指示器が操作された場合、前記第１の視点から前記第２の視点へ切り替える
    　ことを特徴とする車両制御装置。
  6. 　請求項１に記載の車両制御装置であって、
    　前記第２の視点は、
    　旋回方向の前記自車の側面が視野に入る視点であり、
    　前記プロセッサは、
    　前記自車を旋回させる場合、前記第１の視点から前記第２の視点へ切り替える
    　ことを特徴とする車両制御装置。
  7. 　請求項６に記載の車両制御装置であって、
    　前記プロセッサは、
    　舵角が閾値以上となった場合、前記第１の視点から前記第２の視点へ切り替える
    　ことを特徴とする車両制御装置。
  8. 　請求項７に記載の車両制御装置であって、
    　前記第２の視点は、
    　シフト位置に応じた視点であり、
    　前記プロセッサは、
    　シフト位置が切り替えられた場合、前記第１の視点から前記第２の視点へ切り替える
    　ことを特徴とする車両制御装置。
  9. 　請求項１に記載の車両制御装置であって、
    　前記第２の視点は、
    　障害物と前記自車の両方が視野に入る視点であり、
    　前記プロセッサは、
    　前記障害物が検知された場合、前記第１の視点から前記第２の視点へ切り替える
    　ことを特徴とする車両制御装置。
  10. 　請求項１に記載の車両制御装置であって、
    　前記メモリは、
    　少なくとも８方位の視点による前記自車の前記アイコンを記憶する
    　ことを特徴とする車両制御装置。
  11. 　請求項１に記載の車両制御装置であって、
    　前記プロセッサは、
    　前記第１の視点から前記第２の視点までの範囲の視点による前記自車の前記アイコンの数にかかわらず、一定の時間間隔で前記アイコンを切り替える
    　ことを特徴とする車両制御装置。
  12. 　請求項１に記載の車両制御装置であって、
    　前記プロセッサは、
    　前記第１の視点から前記第２の視点までの範囲の視点による前記自車の前記アイコンの数に応じた時間間隔で前記アイコンを切り替え、前記自車の前記回転アニメーションの再生時間を一定にする
    　ことを特徴とする車両制御装置。
  13. 　請求項４に記載の車両制御装置であって、
    　前記プロセッサは、
    　前記自車が駐車場から出庫する場合、前記駐車場の白線を含む前記自車の前記回転アニメーションを生成する
    　ことを特徴とする車両制御装置。
  14. 　請求項１３に記載の車両制御装置であって、
    　前記プロセッサは、
    　前記自車が駐車場から出庫する前に、前記自車の周りを１回転する前記自車の前記回転アニメーションを生成する
    　ことを特徴とする車両制御装置。
  15. 　自車の周りの画像から第１の視点による３次元画像を合成する工程と、
    　前記自車の周りの画像から第２の視点による３次元画像を合成する工程と、
    　前記第１の視点から前記第２の視点へ切り替える場合、前記第２の視点による３次元画像を合成する期間に、前記第１の視点から前記第２の視点までの範囲の視点による前記自車の複数のアイコンから前記自車の回転アニメーションを生成する工程と、
    　前記自車の前記回転アニメーションと黒画を合成した画像を表示する工程と、
    　を含む方法。
PCT/JP2019/040808 2019-01-15 2019-10-17 車両制御装置及び方法 WO2020148957A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-004328 2019-01-15
JP2019004328A JP2022049711A (ja) 2019-01-15 2019-01-15 車両制御装置及び方法

Publications (1)

Publication Number Publication Date
WO2020148957A1 true WO2020148957A1 (ja) 2020-07-23

Family

ID=71613364

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/040808 WO2020148957A1 (ja) 2019-01-15 2019-10-17 車両制御装置及び方法

Country Status (2)

Country Link
JP (1) JP2022049711A (ja)
WO (1) WO2020148957A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022148108A (ja) * 2021-03-24 2022-10-06 本田技研工業株式会社 画像表示システム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7398492B2 (ja) * 2022-03-14 2023-12-14 本田技研工業株式会社 制御装置、制御方法、及び制御プログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010199835A (ja) * 2009-02-24 2010-09-09 Nissan Motor Co Ltd 画像処理装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010199835A (ja) * 2009-02-24 2010-09-09 Nissan Motor Co Ltd 画像処理装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022148108A (ja) * 2021-03-24 2022-10-06 本田技研工業株式会社 画像表示システム
JP7228614B2 (ja) 2021-03-24 2023-02-24 本田技研工業株式会社 画像表示システム
US12088951B2 (en) 2021-03-24 2024-09-10 Honda Motor Co., Ltd. Image display system

Also Published As

Publication number Publication date
JP2022049711A (ja) 2022-03-30

Similar Documents

Publication Publication Date Title
CA3069114C (en) Parking assistance method and parking assistance device
US10131277B2 (en) Surroundings monitoring apparatus
JP7443705B2 (ja) 周辺監視装置
JP5605606B2 (ja) 駐車支援装置
US20170305345A1 (en) Image display control apparatus and image display system
JP2018144526A (ja) 周辺監視装置
JP2006227811A (ja) 運転支援装置
JP2012076483A (ja) 駐車支援装置
JP2007221200A (ja) 車両周辺監視装置
JP5991112B2 (ja) 駐車支援装置、制御方法、およびプログラム
US20200081608A1 (en) Display control device
JP2018144554A (ja) 車両用ヘッドアップディスプレイ装置
WO2020148957A1 (ja) 車両制御装置及び方法
JP7121120B2 (ja) 車両制御装置
JP2018074286A (ja) 運転支援装置
US20200081612A1 (en) Display control device
JP3731303B2 (ja) 車両周辺監視装置
CN110884426A (zh) 显示控制装置
CN113060156B (zh) 车辆周围监视装置、车辆、车辆周围监视方法和程序
JP2021098378A (ja) 車両用情報提供装置
JP2012166689A (ja) 運転支援装置
JP6662655B2 (ja) 車両用画像表示装置
US11104380B2 (en) Display controller
JP2023003663A (ja) 虚像表示装置
JP7137356B2 (ja) 車載用故障検出装置、及び故障検出方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19910892

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19910892

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP