WO2019021524A1 - 表示制御装置、表示制御システム、表示制御方法及び表示制御プログラム - Google Patents

表示制御装置、表示制御システム、表示制御方法及び表示制御プログラム Download PDF

Info

Publication number
WO2019021524A1
WO2019021524A1 PCT/JP2018/010803 JP2018010803W WO2019021524A1 WO 2019021524 A1 WO2019021524 A1 WO 2019021524A1 JP 2018010803 W JP2018010803 W JP 2018010803W WO 2019021524 A1 WO2019021524 A1 WO 2019021524A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
line
display control
video data
superimposed
Prior art date
Application number
PCT/JP2018/010803
Other languages
English (en)
French (fr)
Inventor
大場　貢
Original Assignee
株式会社Ｊｖｃケンウッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Ｊｖｃケンウッド filed Critical 株式会社Ｊｖｃケンウッド
Priority to EP18839068.6A priority Critical patent/EP3661197B1/en
Publication of WO2019021524A1 publication Critical patent/WO2019021524A1/ja
Priority to US16/711,347 priority patent/US11132564B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027—Parking aids, e.g. instruction means
    • B62D15/0275—Parking aids, e.g. instruction means by overlaying a vehicle path based on present steering angle over an image without processing that image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027—Parking aids, e.g. instruction means

Definitions

  • the present invention relates to a display control device, a display control system, a display control method, and a display control program.
  • an on-vehicle imaging device described in Patent Document 1 captures an image of the rear of the vehicle when the vehicle is parked, displays an image of the rear of the vehicle on a monitor in the vehicle, and displays the image of the rear of the vehicle.
  • the predicted trajectory of the traveling direction is superimposed and displayed.
  • FIG. 14 shows an example of the prior art.
  • the illustrated image 40 is obtained by superimposing a guide line 70 indicating the prediction of the trajectory of the backward movement of the vehicle on the image captured by the rear camera mounted on the rear of the vehicle.
  • the driver moves the vehicle 10 to the parking section 33 including the parking frame lines 30 and 31.
  • the guide line 70 corresponds to the width of the vehicle 10 and is drawn along the expected trajectory of the vehicle.
  • the parking frame line 30 and the guide line 70 overlap each other.
  • the guide line superimposed on the rear image may overlap the parking frame line. In this case, it is difficult for the driver to identify the parking frame line from the displayed image. Therefore, it may be difficult for the driver to grasp the positional relationship between the vehicle and the parking area.
  • the present embodiment is made to solve such a problem, and a display that supports intuitive operation of the vehicle by suppressing visual difficulty of the parking frame displayed on the display unit.
  • An object of the present invention is to provide a control device, a display control system, a display control method, and a display control program.
  • the display control device includes a video data acquisition unit that acquires video data from a camera that captures the traveling direction of a vehicle, and a parking that recognizes a parking frame line that is a frame of a parking section from the video data.
  • a video data acquisition unit that acquires video data from a camera that captures the traveling direction of a vehicle
  • a parking that recognizes a parking frame line that is a frame of a parking section from the video data.
  • a vehicle traveling line generation unit that generates a traveling vehicle running line
  • a superimposed video generation unit that generates superimposed data that is video data in which the video data, the center line, and the vehicle traveling line are superimposed, and the superimposed data
  • a display control unit for transmitting the superimposed data to the display unit in order to cause the display unit to display an image related to the image.
  • video data from a camera for capturing the traveling direction of the vehicle is acquired, and a parking frame line, which is a frame of a parking lot, is recognized from the video data and recognized.
  • a central line of the parking section is generated from the parking frame line, and a vehicle traveling line extending in the traveling direction of the vehicle is generated starting from a position according to the central part in the width direction of the vehicle.
  • Superimposition data which is video data in which a center line and the vehicle travel line are superimposed, is generated, and the superimposed data is transmitted to the display unit in order to cause a display unit to display a video related to the superimposed data.
  • the display control program causes the computer to acquire video data from a camera that captures the traveling direction of the vehicle, and causes a parking frame line, which is a frame of a parking area, to be recognized from the video data.
  • a central line of the parking section is generated from the recognized parking frame line, and a vehicle traveling line extending in the traveling direction of the vehicle is generated starting from a position according to the central part in the width direction of the vehicle, Generating superimposed data, which is video data obtained by superimposing data, the center line and the vehicle travel line, and transmitting the superimposed data to the display unit to cause the display unit to display an image according to the superimposed data It is.
  • a display control device a display control system, a display control method, and a display control program that support intuitive operation of a vehicle by suppressing visual difficulty of a parking frame line.
  • FIG. 1 is a functional block diagram of a display control system 100 according to a first embodiment. It is the top view which showed an example of the state which the vehicle 10 by which the display control system 100 was mounted is moving to the parking area. It is a figure which shows the example of the image
  • FIG. 7 is a diagram showing an example of an image in which a center line is superimposed on image data in the display control system 100 according to the first embodiment.
  • FIG. 6 is a diagram showing an example of an image in which a vehicle traveling line is superimposed on image data in the display control system 100 according to the first embodiment.
  • FIG. 7 is a diagram showing an example of an image in which a center line and a vehicle traveling line are superimposed on image data in the display control system 100 according to the first embodiment.
  • FIG. 7 is a diagram showing an example of an image in which a center line and a vehicle traveling line are superimposed on image data in the display control system 100 according to the first embodiment.
  • FIG. 2 is a diagram showing a flowchart of a display control apparatus 101 according to a first embodiment.
  • FIG. 7 is a functional block diagram of a display control system 200 according to a second embodiment.
  • FIG. 17 is a diagram showing an example of an image in which a center line is superimposed on image data in the display control system 200 according to the second embodiment.
  • FIG. 16 is a diagram showing an example of an image in which a vehicle traveling line is superimposed on image data in the display control system 200 according to the second embodiment.
  • FIG. 16 is a diagram showing an example of an image in which a vehicle traveling line is superimposed on image data in the display control system 200 according to the second embodiment.
  • FIG. 16 is a diagram showing an example of an image in which a vehicle traveling line and a center limit line are superimposed on image data in the display control system 200 according to the second embodiment.
  • FIG. 16 is a diagram showing an example of a video in which a distance indication line is further superimposed on video data in the display control system 200 according to the second embodiment.
  • FIG. 8 is a diagram showing a flowchart of a display control device 201 according to a second embodiment. It is a figure which shows the example of the back image in a prior art.
  • FIG. 1 is a functional block diagram of a display control system 100 according to the first embodiment.
  • the following description and drawings are omitted and simplified as appropriate for clarification of the explanation.
  • the same elements are denoted by the same reference numerals, and overlapping descriptions will be omitted as necessary.
  • the display control system 100 is mounted on the front or the rear of the vehicle when the driver moves the vehicle to the parking area or the like, and the image taken by the camera 180 for capturing the traveling direction of the vehicle It is a system which superimposes a center line and a vehicle traveling line which showed a direction of movement of a vehicle, and displays it on indicator 190.
  • the display control system 100 may be realized, for example, as part of a function of a navigation system or a drive recorder that can be retrofitted to a vehicle. Further, the display control device 101 may be realized, for example, as part of the function of a system incorporated into a vehicle when assembling the vehicle in a factory.
  • the display control device 101 may be realized, for example, by combining a system incorporated into a vehicle when assembling the vehicle in a factory and a device retrofittable to the vehicle.
  • the display control system 100 includes a display control device 101 and at least one of a camera 180 and a display unit 190.
  • the display control device 101 acquires video data, which is data of a video captured by the camera 180, superimposes a vehicle traveling line, and causes the display unit 190 to display the video.
  • the display control device 101 can be realized as various types of devices such as a computer device operated by execution of a program stored in a memory by a processor.
  • the processor is, for example, a microprocessor, a micro processing unit (MPU), or a central processing unit (CPU).
  • the memory is volatile memory or non-volatile memory, and may be configured by a combination of volatile memory and non-volatile memory.
  • the processor executes one or more programs including instructions for causing the computer to perform the processing according to the embodiment.
  • the display control device 101 is connected to a controller area network (CAN) or the like which is an in-vehicle network. Further, the display control device 101 is connected to the camera 180 and the display unit 190.
  • CAN and the like mean not only CAN but also an in-vehicle network such as MOST (Media Oriented Systems Transport) or Ethernet (registered trademark).
  • Non-transitory computer readable media include tangible storage media of various types. Examples of non-transitory computer readable media are magnetic recording media (eg flexible disk, magnetic tape, hard disk drive), magneto-optical recording media (eg magneto-optical disk), CD-ROM (Read Only Memory), CD-R, It includes CD-R / W, semiconductor memory (for example, mask ROM, PROM (Programmable ROM), EPROM (Erasable PROM), flash memory, RAM (random access memory)). Also, the programs may be supplied to the computer by various types of transitory computer readable media. Examples of temporary computer readable media include electrical signals, light signals, and electromagnetic waves. The temporary computer readable medium can provide the program to the computer via a wired communication path such as electric wire and optical fiber, or a wireless communication path.
  • a wired communication path such as electric wire and optical fiber, or a wireless communication path.
  • the display control device 101 includes a vehicle traveling line generation unit 110, an image data acquisition unit 120, a parking frame recognition unit 130, a center line generation unit 140, a superimposed image generation unit 150, and a display control unit 160.
  • Vehicle traveling line generation unit 110 generates a vehicle traveling line extending in the traveling direction of the vehicle from the central portion in the width direction of the vehicle as a starting point.
  • the vehicle traveling line is line information indicating the traveling direction of the vehicle by being superimposed on the data of the image captured by the camera 180.
  • the camera 180 is installed at the center in the width direction of the vehicle so that the traveling direction of the vehicle is photographed. Therefore, as an initial setting, the vehicle traveling line generation unit 110 sets the vehicle traveling line as an initial setting when the camera 180 is installed at the center in the width direction of the vehicle and the traveling direction of the vehicle is photographed.
  • the initial setting is to vertically display a straight line of a predetermined length from the lower side of the screen of the display unit 190 and the center in the width direction.
  • the display control system 100 may have a function for the user to adjust the position, angle, length and the like of the vehicle traveling line.
  • the vehicle traveling line generation unit 110 transmits the generated information on the vehicle traveling line to the superimposed image generation unit 150.
  • the video data acquisition unit 120 acquires video data generated by the camera 180.
  • the video data acquisition unit 120 acquires digital video data or analog video data from the camera 180.
  • the video data acquisition unit may compress these video data into non-compressed digital video data or, for example, H.264. H. 264 or H. It transmits to the superimposing video generation unit 150 as compressed video data in a format using the H.265 and the like.
  • the video data acquisition unit 120 may generate video data in a compressed video format such as Moving Picture Experts Group (MPEG) 2-Transport Stream (TS) or Audio Video Interleave (AVI).
  • MPEG Moving Picture Experts Group
  • TS 2-Transport Stream
  • AVI Audio Video Interleave
  • the video data acquisition unit 120 transmits the video data to the superimposed video generation unit 150.
  • block the compression is performed and whether the compression is not performed is optional.
  • compressed video data may be acquired from the camera unit.
  • the parking frame line recognition unit 130 recognizes the parking frame line displayed in the parking section from the video data transmitted by the video data acquisition unit 120.
  • the specific example of the method of the parking frame line recognition part 130 recognizing a parking frame line is demonstrated below.
  • the parking frame line recognition unit 130 calculates, for example, the luminance gradient of each pixel included in the video data. Then, the parking frame line recognition unit 130 recognizes the parking frame line based on a preset method such as edge detection.
  • the method of calculating the luminance gradient of each pixel included in the video data and recognizing a preset object is a known technique. Therefore, the detailed description is omitted.
  • the parking frame line recognition unit 130 By recognizing the parking frame line, the parking frame line recognition unit 130 generates information as to whether or not the parking frame line exists in the video data and the position of the parking frame line in the video data. The parking frame line recognition unit 130 transmits the generated information to the central line generation unit 140. When the parking frame line is not recognized, the parking frame line recognition unit 130 can transmit to the central line generation unit 140 that the parking frame line is not included in the video data.
  • the central line generation unit 140 generates a central line of the parking lot from the information transmitted by the parking line recognition unit 130.
  • the central line of the parking area is a line extending parallel to the middle of two parallel parking area lines drawn on the right and left sides of the vehicle parking position among the parking area drawn on the parking area. It is.
  • the center line generation unit 140 transmits the generated information on the center line to the superimposed image generation unit 150.
  • the superimposed video generation unit 150 receives the information transmitted by the vehicle traveling line generation unit 110, the video data transmitted by the video data acquisition unit 120, and the information transmitted by the parking frame recognition unit 130. Then, the superimposed image generation unit 150 generates image data in which the image data and the vehicle traveling line and the center line are superimposed.
  • the video data generated by the superimposed video generation unit 150 is referred to as superimposed data.
  • the superimposed video generation unit 150 transmits the generated superimposed data to the display control unit 160.
  • the display control unit 160 receives the superimposed data transmitted by the superimposed video generation unit 150.
  • the display control unit 160 transmits the received superimposed data to the display unit 190.
  • the display control unit 160 may transmit superimposed data to the display unit 190 or may stop transmission in response to an instruction from a display instruction unit (not shown).
  • the display control unit 160 may change the viewing angle of the video to be displayed on the display unit by processing the received superimposed data. In addition, the display control unit 160 may perform distortion correction processing of an image to be displayed on the display unit by processing the received superimposed data. In addition, the display control unit 160 may change the video to be displayed on the display unit into a video that looks out from above the vehicle by processing the received superimposed data. In addition, the display control unit 160 may change the image to be displayed on the display unit without being limited to the above-described content by processing the received superimposed data.
  • the display control device 101 may have an acquisition unit (not shown), and may acquire vehicle operation information based on information from a connection with a CAN or the like or sensors. In that case, the display control unit 160 may transmit the superimposed data to the display unit 190 or may stop the transmission according to the operation information of the vehicle acquired by the acquisition unit (not shown). Further, the display control apparatus 101 may have an acquisition unit (not shown) and may acquire a user's instruction. In that case, the display control unit 160 may transmit the superimposed data to the display unit 190 or may stop the transmission according to the information acquired by the acquisition unit (not shown).
  • the camera 180 generates video data obtained by capturing the front of the vehicle or the rear of the vehicle.
  • the camera 180 may be installed in front of the vehicle. Also, the camera 180 may be installed at the rear of the vehicle. Also, the camera 180 may be installed in front of the vehicle and in the rear of the vehicle, respectively.
  • the camera 180 transmits the generated video data to the video data acquisition unit 120 included in the display control apparatus 101.
  • the display unit 190 displays the video data or the superimposed data received from the display control unit 160 of the display control device 101.
  • the display unit 190 is a display device such as a liquid crystal display device, an organic EL (organic electroluminescence) display device, or a head-up display, for example.
  • the display unit 190 is installed at a position where the driver can visually observe when operating the vehicle.
  • the position at which the driver can visually observe when operating the vehicle is, for example, a center console, a dashboard, a meter panel, a rearview mirror, a vicinity of a steering wheel or a windshield of the vehicle.
  • FIG. 2 is a top view showing an example of a state where the vehicle 10 on which the display control system 100 is mounted is moving to the parking section.
  • the vehicle 10 has a display control device 101 at an arbitrary position. Further, the vehicle 10 has a front camera 180F and a rear camera 180R. In addition, the vehicle 10 has the display unit 190 at a position where it can be visually observed when the driver operates the vehicle.
  • the vehicle 10 is moving backward toward the parking section 33.
  • the parking section 33 has parking frame lines 30-32. The driver is trying to move the vehicle 10 to a position surrounded by the parking frame lines 30-32. In this case, the display control system 100 acquires data of an image captured by the rear camera 180R.
  • FIG. 3 is a view showing an example of an image obtained by displaying on the display unit 190 the image data captured by the camera of the vehicle 10.
  • the image 40 includes a portion of the vehicle 10 and a parking lot 33.
  • the parking section 33 includes parking frame lines 30-32.
  • the lower side of the image 40 is closer to the vehicle 10, and the upper side of the image 40 indicates a position farther from the vehicle 10.
  • FIG. 3 includes xy coordinates.
  • the x coordinate indicates the horizontal direction of the image 40.
  • the right direction in FIG. 3 is the positive direction of the x axis.
  • the y coordinate indicates the vertical direction of the image 40.
  • the upper direction in FIG. 3 is the positive direction of the y axis.
  • the xy coordinates shown in FIG. 3 are all convenient for describing the positional relationship of the components. Also, the xy coordinates shown after this are shown for the same purpose as the xy coordinates in FIG. 3, respectively.
  • FIG. 4 is a diagram illustrating an example of an image in which a center line is superimposed on image data in the display control system 100 according to the first embodiment.
  • the video 40 includes a center line 35 in addition to the video data shown in FIG. 3.
  • the centerline generation unit 140 calculates two points included in the centerline 35 in order to generate the centerline 35. First, a specific example of a method of calculating one of two points included in the center line 35 will be described.
  • the central line generation unit 140 recognizes the parking frame lines 30 to 32 from the information transmitted by the parking frame line recognition unit 130.
  • the central line generation unit 140 calculates an intersection 32 b of the parking frame line 30 and the parking frame line 32.
  • the position of the intersection 32b is indicated as (x 32 b , y 32 b ) in xy coordinates.
  • the central line generation unit 140 calculates an intersection 32 a of the parking frame line 31 and the parking frame line 32.
  • the position of the intersection 32a is indicated as (x 32a , y 32a ) in xy coordinates.
  • the center line generation unit 140 calculates a midpoint 32c between the intersection 32a and the intersection 32b.
  • the midpoint 32c is shown as ((x 32 b + x 32 a ) / 2, (y 32 b + y 32 a ) / 2) in xy coordinates.
  • the center line generation unit 140 sets an imaginary line 34 parallel to the x axis at a distance 34 y in the y direction from the lower end of the image 40.
  • the virtual line 34 is used for computational convenience to generate the center line 35 and does not need to be actually displayed in the image 40.
  • the distance 34y is an arbitrary distance set in advance.
  • the center line generation unit 140 calculates an intersection point 34 b of the parking frame line 30 and the virtual line 34. The position of the intersection point 34b is indicated as ( x34b , y34b ) in xy coordinates.
  • the central line generation unit 140 calculates an intersection 34 a of the parking frame line 31 and the virtual line 34.
  • the position of the intersection point 34a is indicated as (x 34a , y 34a ) in xy coordinates.
  • the center line generation unit 140 calculates a midpoint 34c between the intersection point 34a and the intersection point 34b.
  • the middle point 34c is shown as (( x34b + x34a ) / 2, ( y34b + y34a ) / 2) in the xy coordinates.
  • the center line generation unit 140 generates a center line 35 which is a straight line connecting the calculated middle point 32 c and the middle point 34 c.
  • the center line 35 starts from the midpoint 32c and extends to the end point 35e.
  • the center line 35 is a straight line virtually parallel to the parking frame line 30 and the parking frame line 31. Virtually parallel means that the lines displayed in the image 40 are parallel if they exist in the actual scene taken.
  • the end point 35 e may be set, for example, on a line connecting the end point 30 e of the parking frame line 30 and the end point 31 e of the parking frame line 31.
  • the center line 35 is indicated by a broken line in FIG. 4, but the line type is not limited.
  • the thickness and color of the center line 35 may be selected as appropriate for the user.
  • the center line may not be a line whose thickness is uniform, but may vary in thickness from the midpoint 32 c to the end point 35 e.
  • FIG. 5 is a diagram showing an example of a video in which a vehicle traveling line is superimposed on video data in the display control system 100 according to the first embodiment.
  • the image 40 in FIG. 5 includes a vehicle travel line 50 in addition to the image described in FIG.
  • the vehicle travel line 50 connects the start point 50s and the end point 50e with a straight line.
  • the vehicle travel line 50 coincides with the direction in which the vehicle travels straight. That is, the vehicle traveling line 50 is a line extending in the traveling direction of the vehicle 10 with the central portion 11 in the width direction of the vehicle 10 as a starting point.
  • the vehicle travel line 50 extends perpendicularly from the starting point 50s in the image 40.
  • the starting point 50s is included in the central portion 11 of the vehicle 10.
  • the central portion 11 points to a central portion area of about one third of the display of the vehicle width of the vehicle 10 in the image 40.
  • the starting point 50s may coincide with the central point 11c in the central portion 11.
  • the end point 50e may indicate a position at which the actual distance from the vehicle 10 corresponds to a preset value.
  • the dimension 50y in the y-axis direction from the start point 50s to the end point 50e corresponds to a distance of, for example, 3 meters from the central portion 11 of the vehicle 10.
  • the dimension 50y in the y-axis direction of the end point 50e may be fixed.
  • the vehicle travel line 50 may not be a solid line as shown in FIG. 4, but may be a broken line or a dotted line.
  • the vehicle travel line 50 may not be a line whose thickness is uniform, but may vary in thickness from the start point 50s to the end point 50e.
  • the vehicle traveling line 50 may not coincide with the straight direction of the vehicle 10 depending on the installation state of the camera 180 or the like.
  • the vehicle traveling line generation unit 110 may have a function of adjusting the position, angle, and the like of the vehicle traveling line 50 by the operation of the user.
  • FIGS. 6A and 6B are diagrams showing an example of an image obtained by superimposing a center line and a vehicle traveling line on image data in the display control system 100 according to the first embodiment. That is, FIGS. 6A and 6B show the superimposed data transmitted from the display control unit 160 to the display unit 190.
  • the image 40 in FIG. 6A and the image 40 in FIG. 6B are obtained by the camera 180 photographing the parking section 33. However, the image 40 of FIG. 6B shows a state closer to the parking section 33 than the image 40 of FIG. 6A.
  • the vehicle 10 and the parking section 33 have a predetermined distance. Further, the vehicle 10 and the parking section 33 have a predetermined angle.
  • the lower side of the image 40 indicates a position closer to the vehicle 10
  • the upper side of the image 40 indicates a position farther from the vehicle 10.
  • the image 40 is displayed relatively larger in the near one than in the far one. Therefore, although the parking frame line 30 and the parking frame line 31 are actually parallel straight lines, they are displayed at a wide interval below the image 40 and at a narrow interval above the image 40.
  • what is displayed in the region near the left and right outer edge portions of the image 40 is displayed at an angle different from the actual angle with the vehicle 10. Therefore, it is difficult for the user to intuitively grasp the angle between the parking frame line 30 or the parking frame line 31 and the vehicle 10.
  • FIG. 6B shows the vehicle 10 closer to the parking section 33 than the example shown in FIG. 6A.
  • an angle A2 between the center line 35 and the vehicle travel line 50 is smaller than the angle A1 shown in FIG. 6A. Therefore, the user can operate the steering wheel with the angle A2 as a guide. Also, the user can operate the vehicle 10 so that the vehicle travel line 50 and the center line 35 overlap.
  • FIG. 7 is a diagram showing a flowchart of the display control apparatus 101 according to the embodiment.
  • the video data acquisition unit 120 acquires video data generated by the camera 180 (step S100). Then, the video data acquisition unit 120 transmits the acquired video data to the parking frame line recognition unit 130 and the superimposed video generation unit 150.
  • the parking frame line recognition unit 130 recognizes a parking frame line from the video data transmitted by the video data acquisition unit 120, and transmits information on the recognized parking frame line to the central line generation unit 140 (step S101). . Specifically, the parking frame line recognition unit 130 recognizes the positions of the parking frame lines 30 to 32 by performing image processing with reference to the example of FIGS. 6A and 6B.
  • the central line generation unit 140 generates the central line 35 from the information transmitted by the parking frame line recognition unit 130, and transmits information on the generated central line 35 to the superimposed video generation unit 150 (step S102).
  • the method of generating the center line 35 is, for example, as described with reference to FIG.
  • the vehicle traveling line generation unit 110 generates a vehicle traveling line, and transmits information on the generated vehicle traveling line to the superimposed image generation unit 150 (step S103).
  • the method of generating the vehicle travel line is as described with reference to FIG.
  • the superimposed video generation unit 150 generates the video data transmitted by the video data acquisition unit 120, the information related to the center line transmitted by the central line generation unit 140, and the information related to the vehicle traveling line transmitted by the vehicle traveling line generation unit 110. And superimposition data is generated and transmitted to the display control unit 160 (step S104).
  • the display control unit 160 causes the display unit 190 to transmit and display the superimposed data transmitted by the superimposed video generation unit 150 (step S105).
  • the display control device 101 returns to step S100 again, and acquires video data.
  • step S103 may be performed in parallel with steps S100 to S102, or step S103 may be performed before step S102.
  • the display control system 100 according to the first embodiment may allow the parking frame line and the vehicle traveling line to overlap in the y-axis direction of the image 40 when the driver moves the vehicle to the parking section. Is reduced. Therefore, the display control system 100 according to the first embodiment can suppress the parking frame line from being difficult to view visually. In addition, it is possible to provide a display control system that supports an intuitive operation of the vehicle by making the vehicle traveling line coincide with the center line 35 as a standard.
  • the display control system 200 according to the second embodiment differs from the display control system 100 according to the first embodiment in the display content of the center line. Further, the display control system 200 according to the second embodiment differs from the first embodiment in that the vehicle traveling line can be interlocked with the operation of the vehicle.
  • FIG. 8 is a functional block diagram of a display control system 200 according to the second embodiment.
  • the display control system 200 according to the second embodiment differs from the configuration of the display control system 100 according to the first embodiment in that the display control device 201 includes a vehicle operation acquisition unit 270.
  • the configuration different from that of the first embodiment will be described in detail.
  • the display control device 201 includes a vehicle operation acquisition unit 270, a vehicle traveling line generation unit 210, an image data acquisition unit 120, a parking frame line recognition unit 130, a center line generation unit 140, a superimposed image generation unit 150, and a display control unit 260. .
  • the vehicle operation acquisition unit 270 receives operation information, which is information related to the operation of the vehicle, from a CAN that is an in-vehicle network.
  • the operation information is, for example, information indicating which range the transmission of the vehicle is set to, information indicating the steering angle of the vehicle, or information including part or all of information indicating the traveling speed of the vehicle. That is, the vehicle operation acquisition unit 270 acquires a preset signal among the signals sent from the CAN or the like, and sends it to the vehicle traveling line generation unit 210 or the display control unit 260. Vehicle operation acquisition unit 270 can acquire, for example, that the transmission is set to the reverse range by receiving the operation information.
  • the vehicle operation acquisition unit 270 can acquire, for example, that the transmission is set to the low speed mode of the drive range. In addition, the vehicle operation acquisition unit 270 can acquire information indicating the steering angle of the vehicle and monitor the angle of the steering wheel of the vehicle. In addition, the vehicle operation acquisition unit 270 can acquire information indicating the traveling speed of the vehicle and monitor the traveling speed of the vehicle.
  • the vehicle traveling line generation unit 210 receives the operation information transmitted by the vehicle operation acquisition unit 270. Then, the vehicle traveling line generation unit 210 generates a vehicle traveling line based on the operation information transmitted by the vehicle operation acquisition unit 270.
  • the vehicle traveling line is line information indicating the traveling schedule of the vehicle by being superimposed on the data of the image captured by the camera 180.
  • the vehicle traveling line generation unit 210 calculates, for example, the predicted course based on the information indicating the steering angle transmitted by the vehicle operation acquisition unit 270.
  • the vehicle traveling line generation unit 210 generates a vehicle traveling line from the calculated predicted course. For generation of a vehicle traveling line by the vehicle traveling line generation unit 210, any existing method can be applied.
  • the vehicle traveling line generation unit 210 calculates one or two or more points as the expected route point. Then, the vehicle traveling line generation unit 210 generates information on the vehicle traveling line passing through the predicted course point by a preset method.
  • An example of the vehicle travel line is line information obtained by extending the vehicle width when the vehicle goes straight.
  • another example of the vehicle traveling line is line information associated with the steering angle of the vehicle.
  • the vehicle traveling line generation unit 210 transmits the generated information on the vehicle traveling line to the superimposed image generation unit 150.
  • the vehicle traveling line generation unit 210 generates and transmits information on one or more vehicle traveling lines among the above-described vehicle traveling lines.
  • the display control unit 260 receives the superimposed data transmitted by the superimposed video generation unit 150.
  • the display control unit 260 transmits the received superimposed data to the display unit 190.
  • the display control unit 260 may transmit superimposed data to the display unit 190 or may stop transmission in response to an instruction from a display instruction unit (not shown).
  • the display control unit 260 may monitor the vehicle operation acquisition unit 270, and may transmit the video data or the superimposed data to the display unit 190 or stop the transmission according to the information acquired by the vehicle operation acquisition unit 270.
  • the display control unit 260 can be connected to the vehicle operation acquisition unit 270 to acquire vehicle operation information.
  • FIG. 9 is a diagram illustrating an example of a video in which a center line is superimposed on video data in the display control system 200 according to the second embodiment.
  • the image 40 of FIG. 9 has a first center limit line 36 and a second center limit line 37 adjacent to the center line 35 in addition to the center line 35.
  • the center line generation unit 140 sets an imaginary line 34 parallel to the x axis at a distance 34 y in the y direction from the lower end of the image 40.
  • the virtual line 34 is used for computational convenience to generate the center line 35 and does not need to be actually displayed in the image 40.
  • the distance from the vehicle 10 in the video data coincident with the virtual line 34 is set in advance.
  • the position coincident with the virtual line 34 in the image 40 of FIG. 9 may be preset to be, for example, three meters ahead of the rear end of the vehicle 10.
  • the center line generation unit 140 can estimate the distance in the width direction of the video data at the distance thus preset. That is, the center line generation unit 140 can estimate the distance between the intersection 34 b and the intersection 34 a.
  • the distance between the intersection 34 b and the intersection 34 a is the width of the parking section 33.
  • the center line generation unit 140 stores the width of the vehicle 10 in advance. Therefore, central line generation unit 140 can calculate the difference between the width of parking section 33 and the width of vehicle 10.
  • the width of the parking section 33 is usually larger than the width of the vehicle 10. That is, the difference between the width of the parking section 33 and the vehicle 10 can be referred to as a parking available area 38 when the vehicle 10 is parked in the parking section 33.
  • the central line generation unit 140 divides the calculated parking range 38 into two. Then, the central line generation unit 140 sets a first limit point 34 d and a second limit point 34 e, which are points obtained by dividing the parking range 38 into two from the middle point 34 c which is the intersection of the center line 35 and the imaginary line 34. Are set on the virtual line 34. That is, the distance between the first limit point 34 d and the second limit point 34 e is the available parking area 38 when the vehicle 10 is parked in the parking section 33.
  • the first center limit line 36 passes the first limit point 34 d and can be displayed as a straight line virtually parallel to the parking frame line 30, the parking frame line 31 and the center line 35.
  • the second center limit line 37 may pass through the second limit point 34 e and may be displayed as a straight line virtually parallel to the parking frame line 30, the parking frame line 31 and the center line 35.
  • the vehicle traveling line generation unit 110 generates a vehicle traveling line extending along the traveling schedule according to the steering angle starting from the central portion in the width direction of the vehicle 10.
  • FIGS. 10A and 10B are diagrams showing an example of an image obtained by superimposing a vehicle traveling line on image data in the display control system 200 according to the second embodiment.
  • the image 40 in FIG. 10A includes a vehicle travel line 51 in addition to the image described in FIG.
  • the vehicle traveling line 51 extends from the central portion 11 in the width direction of the vehicle 10 as a starting point along the traveling schedule according to the steering angle. That is, the traveling line 51 of the vehicle is line information in which the traveling route of the vehicle 10 is predicted and indicated according to the steering angle of the vehicle 10.
  • the vehicle traveling line 51 is curved in accordance with the steering angle of the vehicle 10 except when the vehicle 10 is traveling straight. The curvature of the vehicle traveling line 51 is larger as the steering angle of the vehicle 10 is larger.
  • the vehicle travel line 52 superimposed on the image 40 illustrated in FIG. 10B is a straight line.
  • the vehicle traveling line 52 extends in a straight line along the traveling schedule according to the steering angle starting from the starting point 51s coinciding with the central portion 11 of the vehicle 10. That is, the vehicle travel line 52 connects the start point 51s and the end point 51e with a straight line.
  • the vehicle travel line 52 draws a straight line parallel to the y axis when the vehicle 10 is traveling straight.
  • the angle between the vehicle travel line 52 and the y-axis increases as the steering angle of the vehicle 10 increases.
  • the starting point 51s is included in the central portion 11 of the vehicle 10.
  • the central portion 11 points to a central portion area of about one third of the display of the vehicle width of the vehicle 10 in the image 40.
  • the starting point 51s may coincide with the central point 11c in the central portion 11.
  • the end point 51e is a point at which the starting point 51s is located on a curve extended along the traveling schedule according to the steering angle of the vehicle.
  • the end point 51e may indicate a position at which the actual distance from the vehicle 10 corresponds to a preset value.
  • the dimension 51y in the y-axis direction from the start point 51s to the end point 51e corresponds to a distance of, for example, 3 meters from the central portion 11 of the vehicle 10.
  • the dimension 51y in the y-axis direction of the end point 51e can be fixed.
  • the position of the end point 51 e in the x-axis direction changes corresponding to the steering angle of the vehicle 10. That is, as the steering angle of the vehicle 10 is larger, the absolute value of the dimension 51x in the x direction is larger.
  • the vehicle traveling line 52 extends in the y-axis plus direction and the x-axis plus direction starting from the central portion 11.
  • the vehicle travel line 52 extends in the y-axis plus direction and the x-axis minus direction starting from the central portion 11.
  • the dimension 51y in the y-axis direction of the end point 51e is not fixed, and may change so as to draw a circle or an ellipse around the start point 51s.
  • the dimension 51y in the y-axis direction of the end point 51e is not fixed, and may change so that the lengths of the vehicle travel line 52 become substantially the same even if the steering angle changes.
  • the vehicle travel lines 51, 52 may not be solid lines as shown in FIGS. 10A and 10B, but may be broken lines or dotted lines.
  • the vehicle travel lines 51 and 52 are not lines having uniform thickness, and the thickness may change from the start point 51s to the end point 51e.
  • FIG. 11 is a diagram illustrating an example of an image obtained by superimposing a vehicle traveling line and a center limit line on image data in the display control system 200 according to the second embodiment.
  • An image 40 in FIG. 11 includes a parking section 33, a center line 35, a first center limit line 36, a second center limit line 37, and a vehicle travel line 51.
  • the vehicle 10 is advancing to the parking section 33.
  • the image 40 in FIG. 11 indicates that the vehicle travel line 51 is located between the first center limit line 36 and the second center limit line 37, the vehicle 10 is between the parking frame line 30 and the parking frame line 31. It indicates that it is located. Therefore, the user can operate the vehicle with reference to the vehicle traveling line 51 being located between the first center limit line 36 and the second center limit line 37. In addition, the user can operate the vehicle by operating the steering wheel and using the vehicle travel line 51 as a reference to the center line 35. Although an example in which the center line 35 is displayed is shown in FIG. 11, the first center limit line 36 and the second center limit line 37 may be displayed without displaying the center line 35.
  • FIG. 12 is a diagram illustrating an example of a video in which a distance indication line is further superimposed on video data in the display control system 200 according to the second embodiment.
  • An image 40 in FIG. 12 includes a distance indication line 53 in addition to the example of the image 40 shown in FIG.
  • the distance display line 53 is line information extending in a direction parallel to the horizontal direction of the image 40, that is, the x axis.
  • the distance display line 53 indicates a preset distance from the end of the vehicle 10. In FIG. 12, the distance indicating line 53 indicates, for example, a distance of 0.4 meters from the rear end of the vehicle 10. The user can advance the vehicle 10 on the assumption that the distance display line 53 matches the parking frame line 32.
  • the distance display line 53 may be displayed as a plurality of lines indicating a plurality of distances such as 2 m, 1 m, 0.4 m, for example. These distance display lines 53 allow the user to intuitively recognize the distance between the vehicle 10 and the parking frame 32.
  • FIG. 13 is a flowchart of the display control device 201 according to the second embodiment.
  • the flowchart in the display control device 201 is the same as the flowchart in the display control device 101 and the processing in steps S100 to S105. The following describes processing different from the flowchart in the display control apparatus 101.
  • the vehicle operation acquisition unit 270 acquires information on the setting of the transmission of the vehicle 10 acquired from the CAN or the like that is the in-vehicle network (step S200).
  • the display control unit 160 acquires the information on the setting of the transmission of the vehicle 10 acquired by the vehicle operation acquisition unit 270, and determines whether the vehicle 10 moves backward (step S201). If the vehicle 10 does not move backward, that is, if the setting of the transmission of the vehicle 10 is not in the reverse range (step S201: No), the display control unit 160 determines whether an instruction to end the video display has been received ( Step S202). If the instruction to end the video display has been received (step S202: Yes), the display control unit 160 ends the process. On the other hand, when the instruction to end the video display has not been received (step S202: No), the process returns to step S200, and the vehicle operation acquisition unit 270 acquires information related to the setting of the transmission of the vehicle 10 again.
  • step S201: Yes when the vehicle 10 is moving backward, that is, when the setting of the transmission of the vehicle 10 is the reverse range (step S201: Yes), the display control unit 160 performs processing for transmitting superimposed data to the display unit 190. (Steps S100 to S105).
  • the display control unit 160 determines whether an instruction to end the video display has been received (step S202). If the instruction to end the video display has been received (step S202: Yes), the display control unit 160 ends the process.
  • step S202 when the instruction to end the video display has not been received (step S202: No), the display control device 201 returns to step S200, and the vehicle operation acquisition unit 270 acquires information on the setting of the transmission of the vehicle 10 again. .
  • the display control system 200 allows the parking frame line and the vehicle traveling line to overlap in the y-axis direction of the image 40 when the driver moves the vehicle to the parking section. Is reduced. Therefore, the display control system 200 concerning this Embodiment 2 can suppress that a parking frame line becomes difficult to visually recognize. Further, it is possible to provide a display control system that supports intuitive vehicle operation by using the vehicle traveling line as a guide between the first center limit line 36 and the second center limit line 37. it can.
  • the present invention is not limited to the above embodiment, and can be appropriately modified without departing from the scope of the present invention.
  • the embodiment described above may be applied to the case where the vehicle 10 moves to the parking section 33 while advancing.
  • the display control device 201 can superimpose the data of the image captured by the front camera 180F of the vehicle 10 and the vehicle traveling line.
  • the display control device 201 can acquire, for example, that the vehicle 10 is advancing at a slower speed than a preset traveling speed.
  • the display control device 201 may start the first display mode according to an instruction from a driver (not shown).
  • vehicle traveling line 51 or the vehicle traveling line 52 described in the second embodiment may be applied to the display control system 100 according to the first embodiment. Further, in the display control system 200 according to the second embodiment, only the center line 35 may be displayed without displaying the first center limit line 36 and the second center limit line 37.
  • the recording control device can be used, for example, to acquire an image of the surroundings of a traveling vehicle.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

表示制御装置は、車両の進行方向を撮影するカメラからの映像データを取得する映像データ取得部（１２０）と、映像データから駐車区画の枠線である駐車枠線を認識する駐車枠線認識部（１３０）と、認識した駐車枠線から、駐車区画の中央線を生成する中央線生成部（１４０）と、車両の幅方向の中央部を起点として車両の進行方向に延伸する車両進行線を生成する車両進行線生成部（１１０）と、映像データと中央線と車両進行線とを重畳させた映像データである重畳データを生成する重畳映像生成部（１５０）と、重畳データにかかる映像を表示部に表示させるために表示部に重畳データを送信する表示制御部（１６０）と、を備える。

Description

表示制御装置、表示制御システム、表示制御方法及び表示制御プログラム
　本発明は表示制御装置、表示制御システム、表示制御方法及び表示制御プログラムに関する。
　近年、車両の後退時等に、車両の後方に搭載された後方カメラによって撮影された後方映像に対して、後退動作の軌跡の予測を示したガイド線を重畳してモニタ等の表示部に表示することで、容易かつ的確に車両を駐車区画へ誘導する技術が普及している。
　例えば、特許文献１に記載された車載用撮像装置は、車両の駐車時等に車両後方の映像を撮影して、車内のモニタに車両後方の映像を表示させるとともに、該車両後方の映像に車両進行方向の予想軌跡を重畳して表示させる。
特開２０１１－２１１４３２号公報
　図１４に従来技術の例を示す。例示した映像４０は、車両の後方に搭載された後方カメラによって撮影された映像に、車両の後退動作の軌跡の予測を示したガイド線７０を重畳したものである。運転者は、駐車枠線３０及び３１を含む駐車区画３３へ車両１０を移動させている。ガイド線７０は、車両１０の車幅に対応し、車両の予定軌跡に沿って描かれている。そして、駐車枠線３０とガイド線７０とは重なり合っている。
　従来技術においては、このように、後方映像に重畳されるガイド線が駐車枠線と重なってしまう場合がある。この場合、運転者は、表示されている映像から駐車枠線を見極めることが困難となる。そのため運転者は車両と駐車区画との位置関係を把握することが困難な場合がある。
　本実施の形態は、このような課題を解決するためになされたものであり、表示部に表示される駐車枠線が目視困難となることを抑制し、直観的な車両の操作を支援する表示制御装置、表示制御システム、表示制御方法及び表示制御プログラムを提供することを目的とする。
　本実施の形態にかかる表示制御装置は、車両の進行方向を撮影するカメラからの映像データを取得する映像データ取得部と、前記映像データから駐車区画の枠線である駐車枠線を認識する駐車枠線認識部と、前記認識した駐車枠線から、前記駐車区画の中央線を生成する中央線生成部と、前記車両の幅方向の中央部に応じた位置を起点として前記車両の進行方向に延伸する車両進行線を生成する車両進行線生成部と、前記映像データと前記中央線と前記車両進行線とを重畳させた映像データである重畳データを生成する重畳映像生成部と、前記重畳データにかかる映像を表示部に表示させるために前記表示部に前記重畳データを送信する表示制御部と、を備えるものである。
　また、本実施の形態にかかる表示制御方法は、車両の進行方向を撮影するカメラからの映像データを取得し、前記映像データから駐車区画の枠線である駐車枠線を認識し、前記認識した駐車枠線から、前記駐車区画の中央線を生成し、前記車両の幅方向の中央部に応じた位置を起点として前記車両の進行方向に延伸する車両進行線を生成し、前記映像データと前記中央線と前記車両進行線とを重畳させた映像データである重畳データを生成し、前記重畳データにかかる映像を表示部に表示させるために前記表示部に前記重畳データを送信するものである。
　また、本実施の形態にかかる表示制御プログラムは、コンピュータに、車両の進行方向を撮影するカメラからの映像データを取得させ、前記映像データから駐車区画の枠線である駐車枠線を認識させ、前記認識した駐車枠線から、前記駐車区画の中央線を生成させ、前記車両の幅方向の中央部に応じた位置を起点として前記車両の進行方向に延伸する車両進行線を生成させ、前記映像データと前記中央線と前記車両進行線とを重畳させた映像データである重畳データを生成させ、前記重畳データにかかる映像を表示部に表示させるために前記表示部に前記重畳データを送信させるものである。
　本実施の形態により、駐車枠線が目視困難となることを抑制し、直観的な車両の操作を支援する表示制御装置、表示制御システム、表示制御方法及び表示制御プログラムを提供することができる。
実施の形態１にかかる表示制御システム１００の機能ブロック図である。 表示制御システム１００が搭載された車両１０が駐車区画に移動している状態の一例を示した上面図である。 車両１０の有するカメラが撮影した映像データを表示部１９０に表示させた映像の例を示す図である。 実施の形態１にかかる表示制御システム１００において映像データに中央線を重畳した映像の例を示す図である。 実施の形態１にかかる表示制御システム１００において映像データに車両進行線を重畳した映像の例を示す図である。 実施の形態１にかかる表示制御システム１００において映像データに中央線及び車両進行線を重畳した映像の例を示す図である。 実施の形態１にかかる表示制御システム１００において映像データに中央線及び車両進行線を重畳した映像の例を示す図である。 実施の形態１にかかる表示制御装置１０１におけるフローチャートを示す図である。 実施の形態２にかかる表示制御システム２００の機能ブロック図である。 実施の形態２にかかる表示制御システム２００において映像データに中央線を重畳した映像の例を示す図である。 実施の形態２にかかる表示制御システム２００において映像データに車両進行線を重畳した映像の例を示す図である。 実施の形態２にかかる表示制御システム２００において映像データに車両進行線を重畳した映像の例を示す図である。 実施の形態２にかかる表示制御システム２００において映像データに車両進行線及び中央限界線を重畳した映像の例を示す図である。 実施の形態２にかかる表示制御システム２００において映像データに距離表示線をさらに重畳した映像の例を示す図である。 実施の形態２にかかる表示制御装置２０１におけるフローチャートを示す図である。 従来技術における後方映像の例を示す図である。
　実施の形態１
　以下、図面を参照して本発明の実施の形態１について説明する。図１は、実施の形態１にかかる表示制御システム１００の機能ブロック図である。説明の明確化のため、以下の記載及び図面は、適宜、省略、及び簡略化がなされている。尚、各図面において、同一の要素には同一の符号が付されており、必要に応じて重複する説明は省略されている。
　表示制御システム１００は、運転者が車両を駐車区画等に移動させる際に、車両の前方又は後方に搭載され、車両の進行方向を撮影するカメラ１８０によって撮影された映像に対して、駐車区画の中央線、及び車両の進行方向を示した車両進行線を重畳して表示部１９０に表示するシステムである。表示制御システム１００は、例えば、車両に後付け可能なナビゲーションシステムやドライブレコーダ等の機能の一部として実現されてもよい。また、表示制御装置１０１は、例えば、工場において車両を組み立てる際に車両に組み込まれるシステムの機能の一部として実現されてもよい。また、表示制御装置１０１は、例えば、工場において車両を組み立てる際に車両に組み込まれるシステムと、車両に後付け可能な装置とを組み合わせることにより実現されてもよい。表示制御システム１００は、表示制御装置１０１と、カメラ１８０又は表示部１９０の少なくともいずれか一方を含む。
　表示制御装置１０１は、カメラ１８０が撮影した映像のデータである映像データを取得し、車両進行線を重畳して表示部１９０に表示させる。表示制御装置１０１は、メモリに格納されたプログラムをプロセッサが実行することによって動作するコンピュータ装置など、様々な形態の装置として実現可能である。プロセッサは、例えば、マイクロプロセッサ、ＭＰＵ（Micro Processing Unit）、もしくはＣＰＵ（Central Processing Unit）である。メモリは、揮発性メモリ又は不揮発性メモリであって、揮発性メモリ及び不揮発性メモリの組み合わせによって構成されてもよい。プロセッサは、実施の形態にかかる処理をコンピュータに行わせるための命令群を含む１又は複数のプログラムを実行する。表示制御装置１０１は、車内ネットワークであるＣＡＮ（Controller Area Network）等と接続している。また、表示制御装置１０１は、カメラ１８０及び表示部１９０と接続している。尚、ＣＡＮ等とは、ＣＡＮに限らず、ＭＯＳＴ（Media Oriented Systems Transport）やイーサネット（登録商標）等の車内ネットワークであってもよいことを意味している。
　また、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュメモリ、ＲＡＭ（random access memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
　続いて、表示制御装置１０１の詳細について説明する。表示制御装置１０１は、車両進行線生成部１１０、映像データ取得部１２０、駐車枠線認識部１３０、中央線生成部１４０、重畳映像生成部１５０及び表示制御部１６０を備える。
　車両進行線生成部１１０は、車両の幅方向の中央部を起点として車両の進行方向に延伸する車両進行線を生成する。車両進行線は、カメラ１８０が撮影した映像のデータに重畳されることにより、車両の進行方向を示す線情報である。以下、車両進行線生成部１１０が車両進行線を生成する方法の一例の概略を説明する。カメラ１８０は、車両の幅方向中央部に、車両の進行方向が撮影されるように設置される。そのため、車両進行線生成部１１０は、初期設定として、カメラ１８０が車両の幅方向中央部に、且つ、車両の進行方向が撮影されるように設置された場合を初期設定として、車両進行線を生成する。初期設定とは、表示部１９０の画面の下側且つ幅方向中央部より予め設定された長さの直線を垂直に表示させることである。表示制御システム１００は、ユーザが車両進行線の位置、角度、長さ等を調整する機能を有していてもよい。車両進行線生成部１１０は、生成した車両進行線に関する情報を重畳映像生成部１５０に送信する。
　映像データ取得部１２０は、カメラ１８０において生成された映像データを取得する。映像データ取得部１２０は、カメラ１８０からのデジタル映像データまたはアナログ映像データを取得する。映像データ取得部は、これらの映像データを、非圧縮のデジタル映像データ、または、例えばＨ．２６４もしくはＨ．２６５等の方式を用いたフォーマットの圧縮された映像データとして重畳映像生成部１５０に送信する。また、映像データ取得部１２０は、ＭＰＥＧ（Moving Picture Experts Group）２－ＴＳ（Transport Stream）またはＡＶＩ（Audio Video Interleave）等の圧縮された映像フォーマットの映像データを生成してもよい。映像データ取得部１２０は、映像データを重畳映像生成部１５０に送信する。なお圧縮をどのブロックで行うか、また非圧縮とするかは任意であり、例えばカメラ部から圧縮済の映像データを取得してもよい。
　駐車枠線認識部１３０は、映像データ取得部１２０が送信した映像データから、駐車区画に表示されている駐車枠線を認識する。駐車枠線認識部１３０が駐車枠線を認識する手法の具体例を、以下に説明する。駐車枠線認識部１３０は、例えば、映像データが有する各画素の輝度勾配を演算する。そして、駐車枠線認識部１３０は、エッジ検出などの予め設定された手法に基づいて、駐車枠線を認識する。映像データが有する各画素の輝度勾配を演算し予め設定された物体を認識する手法は、既知の技術である。よって、詳細な説明は省略する。駐車枠線認識部１３０は、駐車枠線を認識することにより、映像データ内に駐車枠線が存在しているか否か、及び、映像データ内の駐車枠線の位置に関する情報を生成する。駐車枠線認識部１３０は、生成した情報を、中央線生成部１４０に送信する。また、駐車枠線認識部１３０は、駐車枠線を認識しない場合に、映像データに駐車枠線が含まれていないことを中央線生成部１４０へ送信し得る。
　中央線生成部１４０は、駐車枠線認識部１３０が送信した情報から、駐車区画の中央線を生成する。駐車区画の中央線とは、駐車区画に描画されている駐車枠線のうち、車両駐車位置の右側及び左側にそれぞれ描画されている２本の平行な駐車枠線の中間に平行に延伸する線である。中央線生成部１４０は、生成した中央線に関する情報を重畳映像生成部１５０に送信する。
　重畳映像生成部１５０は、車両進行線生成部１１０が送信した情報と、映像データ取得部１２０が送信した映像データと、駐車枠線認識部１３０が送信した情報とをそれぞれ受信する。そして、重畳映像生成部１５０は、映像データ、車両進行線及び中央線を重畳させた映像データを生成する。以降、重畳映像生成部１５０が生成した映像データは、重畳データと称される。重畳映像生成部１５０は、生成した重畳データを表示制御部１６０に送信する。
　表示制御部１６０は、重畳映像生成部１５０が送信した重畳データを受信する。表示制御部１６０は、受信した重畳データを表示部１９０に送信する。表示制御部１６０は、例えば図示しない表示指示部からの指示を受けて重畳データを表示部１９０に送信し、又は送信を停止してもよい。
　表示制御部１６０は、受信した重畳データを加工することにより、表示部に表示させる映像の視野角を変更してもよい。また、表示制御部１６０は、受信した重畳データを加工することにより、表示部に表示させる映像の歪み補正処理を行ってもよい。また、表示制御部１６０は、受信した重畳データを加工することにより、表示部に表示させる映像を車両の上方から俯瞰しているような映像に変更してもよい。また、表示制御部１６０は、受信した重畳データを加工することにより、表示部に表示させる映像を、上述した内容に限らず変更してもよい。
　表示制御装置１０１は、図示しない取得部を有し、ＣＡＮ等と接続またはセンサ類からの情報により、車両の動作情報を取得してもよい。その場合、表示制御部１６０は、図示しない取得部が取得した車両の動作情報に応じて、重畳データを表示部１９０に送信し、又は、送信を停止してもよい。また、表示制御装置１０１は、図示しない取得部を有し、ユーザの指示を取得してもよい。その場合、表示制御部１６０は、図示しない取得部が取得した情報に応じて、重畳データを表示部１９０に送信し、又は、送信を停止してもよい。
　カメラ１８０は、車両の前方又は車両の後方を撮影した映像データを生成する。カメラ１８０は、車両の前方に設置されていてもよい。また、カメラ１８０は、車両の後方に設置されていてもよい。また、カメラ１８０は、車両の前方及び車両の後方にそれぞれ設置されていてもよい。カメラ１８０は、生成した映像データを、表示制御装置１０１が有する映像データ取得部１２０に送信する。
　表示部１９０は、表示制御装置１０１が有する表示制御部１６０から受信した映像データ又は重畳データを表示する。表示部１９０は、例えば液晶表示装置、有機ＥＬ（有機エレクトロルミネッセンス）表示装置、ヘッドアップディスプレイ等の表示装置である。表示部１９０は、運転者が車両を操作する際に目視可能な位置に設置されている。運転者が車両を操作する際に目視可能な位置とは、例えば、車両のセンターコンソール、ダッシュボード、メータパネル、バックミラー、ハンドル付近又はフロントガラス等である。
　次に、図２を参照しながら、表示制御システム１００が搭載された車両について説明する。図２は、表示制御システム１００が搭載された車両１０が駐車区画に移動している状態の一例を示した上面図である。車両１０は、任意の位置に、表示制御装置１０１を有している。また、車両１０は、前方カメラ１８０Ｆと、後方カメラ１８０Ｒとを有している。また、車両１０は、運転者が車両を操作する際に目視可能な位置に表示部１９０を有している。図２において、車両１０は、駐車区画３３へ向かって後進している。駐車区画３３は、駐車枠線３０～３２を有している。運転者は、駐車枠線３０～３２に囲まれた位置に車両１０を移動させようとしている。この場合に、表示制御システム１００は、後方カメラ１８０Ｒが撮影した映像のデータを取得する。
　続いて、車両１０の有するカメラが撮影した映像データについて説明する。図３は、車両１０の有するカメラが撮影した映像データを表示部１９０に表示させた映像の例を示す図である。映像４０は、車両１０の一部分及び駐車区画３３を含んでいる。駐車区画３３は、駐車枠線３０～３２を含んでいる。映像４０の下側は、車両１０に近く、映像４０の上側ほど、車両１０から遠い位置を示している。
　尚、図３はｘｙ座標を含んでいる。図３において、ｘ座標は、映像４０の水平方向を示している。図３の右方向はｘ軸のプラス方向である。図３において、ｙ座標は、映像４０の垂直方向を示している。図３の上方向はｙ軸のプラス方向である。図３に示したｘｙ座標は、いずれも構成要素の位置関係を説明するための便宜的なものである。また、これ以降に示したｘｙ座標は、それぞれ図３におけるｘｙ座標と同様の目的において示されている。
　次に、図４を参照しながら中央線生成部１４０が中央線を生成する手法の具体例について説明する。図４は、実施の形態１にかかる表示制御システム１００において映像データに中央線を重畳した映像の例を示す図である。図４において、映像４０は、図３で示した映像データに加えて、中央線３５を含んでいる。
　中央線生成部１４０は、中央線３５を生成するために、中央線３５に含まれる２点を算出する。まず、中央線３５に含まれる２点の内の１点を算出する手法の具体例について説明する。中央線生成部１４０は、駐車枠線認識部１３０が送信した情報から、駐車枠線３０～３２を認識している。中央線生成部１４０は、駐車枠線３０と駐車枠線３２との交点３２ｂを算出する。交点３２ｂの位置は、ｘｙ座標において（ｘ３２ｂ、ｙ３２ｂ）と示される。また、中央線生成部１４０は、駐車枠線３１と駐車枠線３２との交点３２ａを算出する。交点３２ａの位置は、ｘｙ座標において（ｘ３２ａ、ｙ３２ａ）と示される。続いて、中央線生成部１４０は、交点３２ａと交点３２ｂとの中点３２ｃを算出する。中点３２ｃは、ｘｙ座標において（（ｘ３２ｂ+ｘ３２ａ）／２、（ｙ３２ｂ+ｙ３２ａ）／２）と示される。
　続いて、中央線３５に含まれる２点の内の別の１点を算出する手法の具体例について説明する。中央線生成部１４０は、映像４０の下端からｙ方向に距離３４ｙの位置においてｘ軸に平行な仮想線３４を設定する。仮想線３４は、中央線３５を生成するために計算の便宜上用いられるものであり、映像４０に実際に表示される必要はない。また、距離３４ｙは、予め設定された任意の距離である。中央線生成部１４０は、駐車枠線３０と仮想線３４との交点３４ｂを算出する。交点３４ｂの位置は、ｘｙ座標において（ｘ３４ｂ、ｙ３４ｂ）と示される。また、中央線生成部１４０は、駐車枠線３１と仮想線３４との交点３４ａを算出する。交点３４ａの位置は、ｘｙ座標において（ｘ３４ａ、ｙ３４ａ）と示される。続いて、中央線生成部１４０は、交点３４ａと交点３４ｂとの中点３４ｃを算出する。中点３４ｃは、ｘｙ座標において（（ｘ３４ｂ+ｘ３４ａ）／２、（ｙ３４ｂ+ｙ３４ａ）／２）と示される。
　中央線生成部１４０は、算出した中点３２ｃと中点３４ｃとを繋ぐ直線である中央線３５を生成する。中央線３５は、中点３２ｃを起点とし、終点３５ｅまで延伸する。中央線３５は、駐車枠線３０及び駐車枠線３１と仮想的に平行な直線である。仮想的に平行とは、映像４０に表示された線が、撮影された実際の風景に存在した場合に平行である、という意味である。終点３５ｅは、例えば、駐車枠線３０の終点３０eと駐車枠線３１の終点３１ｅとを結んだ線上に設定され得る。尚、中央線３５は、図４において破線により示されているが、線種は問われない。また、中央線３５の太さや色は適宜ユーザの見やすいものが選択されればよい。中央線は、例えば、太さが均一な線ではなく、中点３２ｃから終点３５ｅにかけて太さが変化してもよい。
　次に、図５を参照しながら、車両進行線について説明する。図５は、実施の形態１にかかる表示制御システム１００において映像データに車両進行線を重畳した映像の例を示す図である。図５における映像４０は、図３において説明した映像に加えて、車両進行線５０を含んでいる。車両進行線５０は、起点５０ｓと終点５０ｅとを直線で結んでいる。車両進行線５０は、車両が直進した場合の方向に一致している。すなわち、車両進行線５０は、車両１０の幅方向の中央部１１を起点として車両１０の進行方向に延伸する線である。車両進行線５０は、映像４０において、起点５０ｓから垂直に延伸している。
　起点５０ｓは、車両１０の中央部１１に含まれる。中央部１１は、映像４０における車両１０の車幅の表示に対して３分の１程度の中央部の領域を指している。起点５０ｓは、中央部１１内における中央点１１ｃに一致していてもよい。
　終点５０ｅは、実際の車両１０からの距離が予め設定された値に相当する位置を示し得る。映像４０において、起点５０ｓから終点５０ｅまでのｙ軸方向の寸法５０ｙは、車両１０の中央部１１から、例えば、３メートルの距離に相当する。この場合、終点５０ｅのｙ軸方向の寸法５０ｙは固定され得る。
　車両進行線５０は、図４に示したような実線ではなく、破線や点線であってもよい。車両進行線５０は、太さが均一な線ではなく、起点５０ｓから終点５０ｅにかけて太さが変化してもよい。
　尚、車両進行線５０は、カメラ１８０の設置状態などにより、車両１０の直進方向と一致しない場合があり得る。そのような場合、車両進行線生成部１１０は、ユーザの操作により車両進行線５０の位置、角度等が調整される機能を有してもよい。
　次に、図６Ａ及び図６Ｂを参照しながら、中央線及び車両進行線を重畳した映像の例について説明する。図６Ａ及び図６Ｂは、実施の形態１にかかる表示制御システム１００において映像データに中央線及び車両進行線を重畳した映像の例を示す図である。すなわち、図６Ａ及び図６Ｂは、表示制御部１６０が表示部１９０に送信した重畳データを表示したものである。図６Ａの映像４０及び図６Ｂの映像４０は、いずれもカメラ１８０が駐車区画３３を撮影したものである。ただし、図６Ｂの映像４０は、図６Ａの映像４０よりも駐車区画３３に近づいた状態を示している。
　図６Ａにおいて、車両１０と駐車区画３３とは、所定の距離がある。また、車両１０と駐車区画３３とは、所定の角度がある。ところで、映像４０の下側は、車両１０に近く、映像４０の上側ほど、車両１０から遠い位置を示している。そして、映像４０は、近くに存在するものの方が、遠くに存在するものより相対的に大きく表示される。そのため、駐車枠線３０及び駐車枠線３１は、実際には平行な直線であるものの、映像４０の下側に広い間隔で表示され、映像４０の上側に狭い間隔で表示される。このように、映像４０の左右の外縁部に近い領域に表示されるものは、車両１０との実際の角度と異なる角度により表示される。そのため、駐車枠線３０又は駐車枠線３１と、車両１０との角度をユーザが直観的に把握するのは困難である。
　一方、映像４０の左右方向の中央部に表示されているものは、車両１０との実際の角度に近い状態で表示されている。図６Ａの場合、中央線３５と車両進行線５０との成す角度Ａ１は、実際の車両１０と駐車区画３３との成す角度に近い。そのため、ユーザは、角度Ａ１を目安としてハンドル操作を行うことができる。
　図６Ｂは、車両１０が図６Ａに示す例よりも駐車区画３３に近づいた状態を示している。図６Ｂでは、中央線３５と車両進行線５０との成す角度Ａ２は、図６Ａに示した角度Ａ１より小さい。したがって、ユーザは、角度Ａ２を目安としてハンドル操作を行うことができる。また、ユーザは、車両進行線５０と中央線３５とが重なり合うように車両１０を操作することができる。
　次に、図７を参照しながら実施の形態１にかかる表示制御装置１０１の処理について説明する。図７は、実施の形態にかかる表示制御装置１０１におけるフローチャートを示す図である。
　まず、映像データ取得部１２０は、カメラ１８０が生成した映像データを取得する（ステップＳ１００）。そして、映像データ取得部１２０は、取得した映像データを、駐車枠線認識部１３０と、重畳映像生成部１５０とに送信する。
　次に、駐車枠線認識部１３０は、映像データ取得部１２０が送信した映像データから、駐車枠線を認識し、認識した駐車枠線に関する情報を中央線生成部１４０に送信する（ステップＳ１０１）。図６Ａ及び図６Ｂの例を参照しながら具体的に説明すると、駐車枠線認識部１３０は、画像処理を行うことにより、駐車枠線３０～３２の位置を認識する。
　次に、中央線生成部１４０は、駐車枠線認識部１３０が送信した情報から、中央線３５を生成し、生成した中央線３５に関する情報を、重畳映像生成部１５０に送信する（ステップＳ１０２）。中央線３５を生成する方法は、例えば、図４を参照しながら説明したとおりである。
　次に、車両進行線生成部１１０は、車両進行線を生成し、生成した車両進行線に関する情報を、重畳映像生成部１５０に送信する（ステップＳ１０３）。車両進行線を生成する方法は、図５を参照しながら説明したとおりである。
　次に、重畳映像生成部１５０は、映像データ取得部１２０が送信した映像データと、中央線生成部１４０が送信した中央線に関する情報と、車両進行線生成部１１０が送信した車両進行線に関する情報とを重畳させた映像データである重畳データを生成し、表示制御部１６０へ送信する（ステップＳ１０４）。
　次に、表示制御部１６０は、重畳映像生成部１５０が送信した重畳データを、表示部１９０に送信して表示させる（ステップＳ１０５）。表示制御部１６０が重畳データの送信を完了すると、表示制御装置１０１は、再びステップＳ１００に戻り、映像データの取得を行う。
　尚、ステップＳ１０３は、ステップＳ１００～Ｓ１０２と並列的に行われてもよいし、ステップＳ１０３がステップＳ１０２より前に行われてもよい。
　本実施の形態１にかかる表示制御システム１００は、このような構成により、運転者が車両を駐車区画に移動させる場合において、駐車枠線と車両進行線とは映像４０のｙ軸方向において重なる可能性が低減されている。よって、本実施の形態１にかかる表示制御システム１００は、駐車枠線が目視困難となることを抑制することができる。また、車両進行線が中央線３５一致することを目安とすることにより、直観的な車両の操作を支援する表示制御システムを提供することができる。
　実施の形態２
　次に、実施の形態２について説明する。実施の形態２にかかる表示制御システム２００は、中央線の表示内容が実施の形態１にかかる表示制御システム１００と異なる。また、実施の形態２にかかる表示制御システム２００は、車両進行線が車両の動作と連動し得る点が実施の形態１と異なる。
　図８を参照しながら、実施の形態２にかかる表示制御システム２００の構成について説明する。図８は、実施の形態２にかかる表示制御システム２００の機能ブロック図である。実施の形態２にかかる表示制御システム２００は、表示制御装置２０１が車両動作取得部２７０を持つ点において実施の形態１にかかる表示制御システム１００の構成と異なる。以下、実施の形態１と異なる構成について詳細を説明する。
　表示制御装置２０１は、車両動作取得部２７０、車両進行線生成部２１０、映像データ取得部１２０、駐車枠線認識部１３０、中央線生成部１４０、重畳映像生成部１５０及び表示制御部２６０を備える。
　車両動作取得部２７０は、車内ネットワークであるＣＡＮ等から車両の動作に関する情報である動作情報を受信する。動作情報とは、例えば、車両の変速機がどのレンジに設定されているかを示す情報、車両の操舵角を示す情報又は車両の走行速度を示す情報の一部又は全部を含む情報である。すなわち、車両動作取得部２７０は、ＣＡＮ等から送られた信号のうち、予め設定された信号を取得し、車両進行線生成部２１０又は表示制御部２６０に送る。車両動作取得部２７０は、動作情報を受けることにより、例えば、変速機がリバースレンジに設定されたことを取得し得る。また、車両動作取得部２７０は、例えば、変速機がドライブレンジの低速モードに設定されたことを取得し得る。また、車両動作取得部２７０は、車両の操舵角を示す情報を取得し、車両のハンドルの角度を監視し得る。また、車両動作取得部２７０は、車両の走行速度を示す情報を取得し、車両の走行速度を監視し得る。
　車両進行線生成部２１０は、車両動作取得部２７０が送信した動作情報を受信する。そして車両進行線生成部２１０は、車両動作取得部２７０が送信した動作情報に基づいて、車両進行線を生成する。実施の形態２において、車両進行線は、カメラ１８０が撮影した映像のデータに重畳されることにより、車両の進行予定を示す線情報である。車両進行線生成部２１０は、例えば、車両動作取得部２７０が送信した操舵角を示す情報に基づいて、予想進路を算出する。車両進行線生成部２１０は、算出した予想進路から、車両進行線を生成する。車両進行線生成部２１０による車両進行線の生成は、既存の任意の手法が適用可能である。例えば、車両進行線生成部２１０は、１か所または２か所以上の点を予想進路点として算出する。そして、車両進行線生成部２１０は、予め設定された方法により、予想進路点を通過する車両進行線の情報を生成する。車両進行線の一例としては、車両が直進した場合の車幅を延伸した線情報である。また、車両進行線の別の例としては、車両の操舵角と連関する線情報である。車両進行線生成部２１０は、生成した車両進行線に関する情報を重畳映像生成部１５０に送信する。車両進行線生成部２１０は、上述した車両進行線の内、１又は複数の車両進行線に関する情報を生成して送信する。
　表示制御部２６０は、重畳映像生成部１５０が送信した重畳データを受信する。表示制御部２６０は、受信した重畳データを表示部１９０に送信する。表示制御部２６０は、例えば図示しない表示指示部からの指示を受けて重畳データを表示部１９０に送信し、又は送信を停止してもよい。表示制御部２６０は、車両動作取得部２７０を監視して、車両動作取得部２７０が取得する情報に応じて、映像データ又は重畳データを表示部１９０に送信し、又は送信を停止してもよい。また、表示制御部２６０は、車両動作取得部２７０に接続し、車両動作情報を取得し得る。
　次に、図９を参照しながら、実施の形態２にかかる中央線の表示内容について説明する。図９は、実施の形態２にかかる表示制御システム２００において映像データに中央線を重畳した映像の例を示す図である。図９の映像４０は、中央線３５に加え、中央線３５に隣接した第１中央限界線３６及び第２中央限界線３７を有している。
　以下に、第１中央限界線３６及び第２中央限界線３７を表示する方法の具体例を説明する。中央線生成部１４０は、映像４０の下端からｙ方向に距離３４ｙの位置においてｘ軸に平行な仮想線３４を設定する。仮想線３４は、中央線３５を生成するために計算の便宜上用いられるものであり、映像４０に実際に表示される必要はない。また、仮想線３４と一致する映像データにおける車両１０からの距離は予め設定されている。図９の映像４０における仮想線３４と一致する位置は、例えば車両１０の後端から３メートル先であることが予め設定され得る。また、中央線生成部１４０は、このように予め設定された距離における映像データの幅方向の距離を推定し得る。つまり、中央線生成部１４０は、交点３４ｂと交点３４ａとの距離を推定し得る。交点３４ｂと交点３４ａとの距離は、駐車区画３３の幅である。
　中央線生成部１４０は、車両１０の幅を予め記憶している。したがって、中央線生成部１４０は、駐車区画３３の幅と、車両１０の幅との差を算出し得る。駐車区画３３の幅は、通常、車両１０の幅より大きい。つまり、駐車区画３３の幅と車両１０との差は、車両１０を駐車区画３３に駐車する際の駐車可能範囲３８ということができる。中央線生成部１４０は、算出した駐車可能範囲３８を２分割する。そして、中央線生成部１４０は、中央線３５と仮想線３４との交点である中点３４ｃから駐車可能範囲３８を２分割した距離の点である、第１限界点３４ｄ及び第２限界点３４ｅを仮想線３４上に設定する。つまり、第１限界点３４ｄと、第２限界点３４ｅとの距離は、駐車区画３３に車両１０を駐車する際の、駐車可能範囲３８である。
　第１中央限界線３６は、第１限界点３４ｄを通過し、且つ、駐車枠線３０、駐車枠線３１及び中央線３５に仮想的に平行な直線として表示され得る。同様に、第２中央限界線３７は、第２限界点３４ｅを通過し、且つ、駐車枠線３０、駐車枠線３１及び中央線３５に仮想的に平行な直線として表示され得る。
　次に、図１０Ａ及び図１０Ｂを参照しながら実施の形態２にかかる表示制御システム２００における車両進行線について説明する。表示制御システム２００において、車両進行線生成部１１０は、車両１０の幅方向の中央部を起点として操舵角に応じた進行予定に沿って延伸する車両進行線を生成する。
　図１０Ａ及び図１０Ｂは、実施の形態２にかかる表示制御システム２００において映像データに車両進行線を重畳した映像の例を示す図である。図１０Ａにおける映像４０は、図３において説明した映像に加えて、車両進行線５１を含んでいる。車両進行線５１は、車両１０の幅方向の中央部１１を起点として操舵角に応じた進行予定に沿って延伸している。すなわち、車両進行線５１は、車両１０の操舵角に応じて、車両１０の走行進路を予想して示した線情報である。車両進行線５１は、車両１０が直進している場合を除けば、車両１０の操舵角に応じて曲線になる。車両進行線５１の曲率は、車両１０の操舵角が大きいほど大きくなる。
　図１０Ｂに例示する映像４０に重畳されている車両進行線５２は、直線である。車両進行線５２は、車両１０の中央部１１に一致する起点５１ｓを起点として操舵角に応じた進行予定に沿って直線状に延伸する。すなわち、車両進行線５２は、起点５１ｓと終点５１ｅとを直線で結んでいる。車両進行線５２は、車両１０が直進している場合に、ｙ軸と平行な直線を描く。そして、車両進行線５２とｙ軸との間の角度は、車両１０の操舵角が大きいほど大きくなる。
　起点５１ｓは、車両１０の中央部１１に含まれる。中央部１１は、映像４０における車両１０の車幅の表示に対して３分の１程度の中央部の領域を指している。起点５１ｓは、中央部１１内における中央点１１ｃに一致していてもよい。終点５１ｅは、車両の操舵角に応じて起点５１ｓが進行予定に沿って延伸した曲線の上に位置する点である。
　終点５１ｅは、実際の車両１０からの距離が予め設定された値に相当する位置を示し得る。映像４０において、起点５１ｓから終点５１ｅまでのｙ軸方向の寸法５１ｙは、車両１０の中央部１１から、例えば、３メートルの距離に相当する。この場合、終点５１ｅのｙ軸方向の寸法５１ｙは固定され得る。また、終点５１ｅのｘ軸方向の位置は、車両１０の操舵角に対応して変化する。つまり、車両１０の操舵角が大きいほど、ｘ方向の寸法５１ｘの絶対値は大きくなる。そして、車両１０の操舵方向が映像４０に対して右の場合、車両進行線５２は、中央部１１を起点としてｙ軸プラス方向且つｘ軸プラス方向に延伸する。同様に、操舵方向が映像４０に対して左の場合、車両進行線５２は、中央部１１を起点としてｙ軸プラス方向且つｘ軸マイナス方向に延伸する。
　尚、終点５１ｅのｙ軸方向の寸法５１ｙは固定されず、起点５１ｓを中心とした円又は楕円の円周を描くように変化してもよい。終点５１ｅのｙ軸方向の寸法５１ｙは固定されず、操舵角が変化しても車両進行線５２の長さが実質的に同じになるように変化してもよい。
　車両進行線５１、５２は、図１０Ａ及び図１０Ｂに示したような実線ではなく、破線や点線であってもよい。車両進行線５１、５２は、太さが均一な線ではなく、起点５１ｓから終点５１ｅにかけて太さが変化してもよい。
　次に、図１１を参照しながら、中央線及び車両進行線を重畳した映像の例について説明する。図１１は、実施の形態２にかかる表示制御システム２００において映像データに車両進行線及び中央限界線を重畳した映像の例を示す図である。図１１における映像４０は、駐車区画３３、中央線３５、第１中央限界線３６、第２中央限界線３７及び車両進行線５１を含んでいる。
　図１１において、車両１０は、駐車区画３３へ進行している。図１１における映像４０は、車両進行線５１が第１中央限界線３６と第２中央限界線３７との間に位置することが、車両１０が駐車枠線３０と駐車枠線３１との間に位置することを示している。したがって、ユーザは、車両進行線５１が第１中央限界線３６と第２中央限界線３７との間に位置することを目安として車両を操作し得る。また、ユーザは、ハンドル操作を行い、車両進行線５１が中央線３５に一致することを目安として車両を操作し得る。尚、図１１では中央線３５を表示した例を示したが、中央線３５を表示せず、第１中央限界線３６と第２中央限界線３７を表示してもよい。
　次に、図１２を参照しながら、実施の形態２のもう一つの例について説明する。図１２は、実施の形態２にかかる表示制御システム２００において映像データに距離表示線をさらに重畳した映像の例を示す図である。
　図１２における映像４０は、図１１に示した映像４０の例に加えて、距離表示線５３を含んでいる。距離表示線５３は、映像４０の水平方向すなわちｘ軸と平行な方向に延伸した線情報である。距離表示線５３は、車両１０の端部から、予め設定された距離を示している。図１２において、距離表示線５３は、例えば、車両１０の後端から０．４メートルの距離を示している。ユーザは、距離表示線５３が駐車枠線３２に一致することを目安として、車両１０を進行させ得る。距離表示線５３は、例えば２ｍ、１ｍ、０．４ｍなど複数の距離を示す複数の線として表示されてもよい。これらの距離表示線５３により、ユーザは車両１０と駐車枠線３２との距離を直観的に認識することができる。
　次に、図１３を参照しながら実施の形態２にかかる表示制御装置２０１の処理について説明する。図１３は、実施の形態２にかかる表示制御装置２０１におけるフローチャートを示す図である。表示制御装置２０１におけるフローチャートは、表示制御装置１０１におけるフローチャートとステップＳ１００からステップＳ１０５の処理については同じである。以下は、表示制御装置１０１におけるフローチャートと異なる処理について説明する。
　まず、車両動作取得部２７０は、車内ネットワークであるＣＡＮ等から取得する車両１０の変速機の設定に関する情報を取得する（ステップＳ２００）。
　次に、表示制御部１６０は、車両動作取得部２７０が取得した車両１０の変速機の設定に関する情報を取得し、車両１０が後退するか否かを判断する（ステップＳ２０１）。車両１０が後退しない場合、すなわち車両１０の変速機の設定がリバースレンジではない場合（ステップＳ２０１：Ｎｏ）、表示制御部１６０は、映像表示を終了させる指示を受けているか否かを判定する（ステップＳ２０２）。映像表示を終了させる指示を受けている場合（ステップＳ２０２：Ｙｅｓ）、表示制御部１６０は、処理を終了させる。一方、映像表示を終了させる指示を受けていない場合（ステップＳ２０２：Ｎｏ）、ステップＳ２００に戻り、車両動作取得部２７０は、再び車両１０の変速機の設定に関する情報を取得する。
　一方、車両１０が後退している場合、すなわち車両１０の変速機の設定がリバースレンジである場合（ステップＳ２０１：Ｙｅｓ）、表示制御部１６０は、表示部１９０に重畳データを送信する処理を行う（ステップＳ１００～ステップＳ１０５）。
　次に、表示制御部１６０は、映像表示を終了させる指示を受けているか否かを判定する（ステップＳ２０２）。映像表示を終了させる指示を受けている場合（ステップＳ２０２：Ｙｅｓ）、表示制御部１６０は、処理を終了させる。
　一方、映像表示を終了させる指示を受けていない場合（ステップＳ２０２：Ｎｏ）、表示制御装置２０１は、ステップＳ２００に戻り、車両動作取得部２７０が再び車両１０の変速機の設定に関する情報を取得する。
　本実施の形態２にかかる表示制御システム２００は、このような構成により、運転者が車両を駐車区画に移動させる場合において、駐車枠線と車両進行線とは映像４０のｙ軸方向において重なる可能性が低減されている。よって、本実施の形態２にかかる表示制御システム２００は、駐車枠線が目視困難となることを抑制することができる。また、車両進行線が第１中央限界線３６と第２中央限界線３７との間に位置することを目安とすることにより、直観的な車両の操作を支援する表示制御システムを提供することができる。
　尚、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、上述した実施の形態は、車両１０が前進しながら駐車区画３３に移動する場合にも適用してもよい。その場合、表示制御装置２０１は、車両１０の有する前方カメラ１８０Ｆが撮影した映像のデータと、車両進行線とを重畳させ得る。この場合、ステップＳ２００において、表示制御装置２０１は、例えば、車両１０が予め設定された走行速度よりも遅く前進していることを取得し得る。あるいは、ステップＳ２００において、表示制御装置２０１は、図示しない運転者からの指示により第１表示モードを開始させてもよい。
　また、実施の形態２において説明した車両進行線５１又は車両進行線５２は、実施の形態１にかかる表示制御システム１００に適用してもよい。また、実施の形態２にかかる表示制御システム２００において、第１中央限界線３６及び第２中央限界線３７を表示せず、中央線３５のみを表示させてもよい。
　この出願は、２０１７年７月２５日に出願された日本出願特願２０１７－１４３２３４を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　本実施形態にかかる記録制御装置は、例えば走行中の車両の周囲の映像を取得するために利用可能である。
１０　車両
３０、３１、３２　駐車枠線
３３　駐車区画
３５　中央線
３６　第１中央限界線
３７　第２中央限界線
４０　映像
５０、５１、５２　車両進行線
５３　距離表示線
１００、２００　表示制御システム
１０１、２０１　表示制御装置
１１０　車両進行線生成部
１２０　映像データ取得部
１３０　駐車枠線認識部
１４０　中央線生成部
１５０　重畳映像生成部
１６０、２６０　表示制御部
１８０　カメラ
１９０　表示部
２１０　車両進行線生成部
２７０　車両動作取得部

Claims (9)

  1. 　車両の進行方向を撮影するカメラからの映像データを取得する映像データ取得部と、
    　前記映像データから駐車区画の枠線である駐車枠線を認識する駐車枠線認識部と、
    　前記認識した駐車枠線から、前記駐車区画の中央線を生成する中央線生成部と、
    　前記車両の幅方向の中央部に応じた位置を起点として前記車両の進行方向に延伸する車両進行線を生成する車両進行線生成部と、
    　前記映像データと前記中央線と前記車両進行線とを重畳させた映像データである重畳データを生成する重畳映像生成部と、
    　前記重畳データにかかる映像を表示部に表示させるために前記表示部に前記重畳データを送信する表示制御部と、を備える
    表示制御装置。
  2. 　前記車両進行線は、前記車両の幅方向の中央部を起点として前記表示部の縦方向に延伸した直線として表示される、
    請求項１に記載の表示制御装置。
  3. 　前記車両の操舵角を含む動作情報を取得する車両動作取得部をさらに備え、
    　前記車両進行線は、前記車両の幅方向の中央部を起点として前記車両の操舵角に応じて直線により表示される、
    請求項１に記載の表示制御装置。
  4. 　前記車両の操舵角を含む動作情報を取得する車両動作取得部をさらに備え、
    　前記車両進行線は、前記車両の幅方向の中央部を起点として前記車両の操舵角に応じて予想進路に沿った曲線により表示される、
    請求項１に記載の表示制御装置。
  5. 　前記中央線生成部は、前記認識した駐車枠線と予め登録された前記車両の幅とから前記駐車枠線と前記車両との幅方向の差を算出するとともに、前記中央線から前記幅方向の差に応じた距離を有する２本の中央限界線を生成する、
    請求項１～４のうちいずれか一項に記載の表示制御装置。
  6. 　前記車両進行線は、前記車両から予め設定された距離離れていることを示す距離表示線をさらに含む、
    請求項１～５のうちいずれか一項に記載の表示制御装置。
  7. 　請求項１～５のうちいずれか一項に記載した表示制御装置と、
    　前記映像データを撮影するカメラ又は前記映像データを表示する表示部のうち少なくともいずれか一方と、
    を備える表示制御システム。
  8. 　車両の進行方向を撮影するカメラからの映像データを取得し、
    　前記映像データから駐車区画の枠線である駐車枠線を認識し、
    　前記認識した駐車枠線から、前記駐車区画の中央線を生成し、
    　前記車両の幅方向の中央部に応じた位置を起点として前記車両の進行方向に延伸する車両進行線を生成し、
    　前記映像データと前記中央線と前記車両進行線とを重畳させた映像データである重畳データを生成し、
    　前記重畳データにかかる映像を表示部に表示させるために前記表示部に前記重畳データを送信する、
    表示制御方法。
  9. 　コンピュータに、
    　車両の進行方向を撮影するカメラからの映像データを取得させ、
    　前記映像データから駐車区画の枠線である駐車枠線を認識させ、
    　前記認識した駐車枠線から、前記駐車区画の中央線を生成させ、
    　前記車両の幅方向の中央部に応じた位置を起点として前記車両の進行方向に延伸する車両進行線を生成させ、
    　前記映像データと前記中央線と前記車両進行線とを重畳させた映像データである重畳データを生成させ、
    　前記重畳データにかかる映像を表示部に表示させるために前記表示部に前記重畳データを送信させる、
    表示制御プログラム。
PCT/JP2018/010803 2017-07-25 2018-03-19 表示制御装置、表示制御システム、表示制御方法及び表示制御プログラム WO2019021524A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP18839068.6A EP3661197B1 (en) 2017-07-25 2018-03-19 Display control device, display control system, display control method, and display control program
US16/711,347 US11132564B2 (en) 2017-07-25 2019-12-11 Display control device, display control system, display control method, and display control program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-143234 2017-07-25
JP2017143234A JP6844463B2 (ja) 2017-07-25 2017-07-25 表示制御装置、表示制御方法及び表示制御プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/711,347 Continuation US11132564B2 (en) 2017-07-25 2019-12-11 Display control device, display control system, display control method, and display control program

Publications (1)

Publication Number Publication Date
WO2019021524A1 true WO2019021524A1 (ja) 2019-01-31

Family

ID=65040490

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/010803 WO2019021524A1 (ja) 2017-07-25 2018-03-19 表示制御装置、表示制御システム、表示制御方法及び表示制御プログラム

Country Status (4)

Country Link
US (1) US11132564B2 (ja)
EP (1) EP3661197B1 (ja)
JP (2) JP6844463B2 (ja)
WO (1) WO2019021524A1 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102429494B1 (ko) * 2017-10-13 2022-08-05 현대자동차주식회사 차량의 목표주차공간 표시 장치 및 그 방법
CN110654375A (zh) * 2018-06-29 2020-01-07 比亚迪股份有限公司 自动泊车方法、装置、系统及车辆
JP7252750B2 (ja) 2018-12-14 2023-04-05 株式会社デンソーテン 画像処理装置および画像処理方法
JP2020095623A (ja) 2018-12-14 2020-06-18 株式会社デンソーテン 画像処理装置および画像処理方法
JP2020095624A (ja) 2018-12-14 2020-06-18 株式会社デンソーテン 画像処理装置、および画像処理方法
JP7236857B2 (ja) 2018-12-14 2023-03-10 株式会社デンソーテン 画像処理装置および画像処理方法
JP7203587B2 (ja) 2018-12-14 2023-01-13 株式会社デンソーテン 画像処理装置および画像処理方法
JP2020095620A (ja) 2018-12-14 2020-06-18 株式会社デンソーテン 画像処理装置および画像処理方法
JP7141940B2 (ja) * 2018-12-14 2022-09-26 株式会社デンソーテン 画像処理装置および画像処理方法
JP7359541B2 (ja) 2018-12-14 2023-10-11 株式会社デンソーテン 画像処理装置および画像処理方法
JP7226986B2 (ja) * 2018-12-14 2023-02-21 株式会社デンソーテン 画像処理装置および画像処理方法
JP7195131B2 (ja) 2018-12-14 2022-12-23 株式会社デンソーテン 画像処理装置および画像処理方法
KR20210008259A (ko) * 2019-07-12 2021-01-21 현대자동차주식회사 주차 제어 장치, 그를 포함한 시스템 및 그 방법
US11514795B1 (en) * 2021-05-18 2022-11-29 Ford Global Technologies, Llc Systems and methods of projecting virtual parking lines

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008162426A (ja) * 2006-12-28 2008-07-17 Aisin Seiki Co Ltd 駐車支援装置
JP2008296697A (ja) * 2007-05-30 2008-12-11 Aisin Seiki Co Ltd 駐車支援装置
JP2009055098A (ja) * 2007-08-23 2009-03-12 Denso Corp 車両用後方撮影表示装置
JP2009206615A (ja) * 2008-02-26 2009-09-10 Honda Motor Co Ltd 駐車支援装置
JP2011006005A (ja) * 2009-06-26 2011-01-13 Kyocera Corp 駐車時における運転支援装置及び方法
JP2011211432A (ja) 2010-03-29 2011-10-20 Kyocera Corp 車載用撮像装置
JP2014058309A (ja) * 2009-06-09 2014-04-03 Denso Corp 駐車支援システム
JP2016066322A (ja) * 2014-09-26 2016-04-28 富士通テン株式会社 画像処理装置、及び画像表示システム
JP2017143234A (ja) 2016-02-09 2017-08-17 富士電機株式会社 評価方法、および、半導体装置の製造方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7366595B1 (en) * 1999-06-25 2008-04-29 Seiko Epson Corporation Vehicle drive assist system
JP4291741B2 (ja) 2004-06-02 2009-07-08 トヨタ自動車株式会社 車線逸脱警報装置
JP2009061795A (ja) 2007-09-04 2009-03-26 Fujitsu Ten Ltd 駐車支援制御装置
KR102268641B1 (ko) * 2014-07-10 2021-06-23 현대모비스 주식회사 어라운드 뷰 시스템 및 그 동작방법

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008162426A (ja) * 2006-12-28 2008-07-17 Aisin Seiki Co Ltd 駐車支援装置
JP2008296697A (ja) * 2007-05-30 2008-12-11 Aisin Seiki Co Ltd 駐車支援装置
JP2009055098A (ja) * 2007-08-23 2009-03-12 Denso Corp 車両用後方撮影表示装置
JP2009206615A (ja) * 2008-02-26 2009-09-10 Honda Motor Co Ltd 駐車支援装置
JP2014058309A (ja) * 2009-06-09 2014-04-03 Denso Corp 駐車支援システム
JP2011006005A (ja) * 2009-06-26 2011-01-13 Kyocera Corp 駐車時における運転支援装置及び方法
JP2011211432A (ja) 2010-03-29 2011-10-20 Kyocera Corp 車載用撮像装置
JP2016066322A (ja) * 2014-09-26 2016-04-28 富士通テン株式会社 画像処理装置、及び画像表示システム
JP2017143234A (ja) 2016-02-09 2017-08-17 富士電機株式会社 評価方法、および、半導体装置の製造方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3661197A4

Also Published As

Publication number Publication date
JP7163984B2 (ja) 2022-11-01
US20200117927A1 (en) 2020-04-16
JP2021101542A (ja) 2021-07-08
EP3661197A1 (en) 2020-06-03
EP3661197A4 (en) 2020-06-03
EP3661197B1 (en) 2021-09-29
JP6844463B2 (ja) 2021-03-17
US11132564B2 (en) 2021-09-28
JP2019024179A (ja) 2019-02-14

Similar Documents

Publication Publication Date Title
JP7163984B2 (ja) 表示制御装置、表示制御方法及び表示制御プログラム
US10889324B2 (en) Display control device, display control system, display control method, and display control program
US9799132B2 (en) Driving support apparatus for tow coupling
JP5523448B2 (ja) 運転支援システム、情報表示装置、及び情報表示プログラム
JP5893054B2 (ja) 画像処理装置、画像処理サーバ、画像処理方法、画像処理プログラム、及び記録媒体
RU2677256C1 (ru) Система представления информации
US20120123613A1 (en) Driving support device, driving support method, and program
WO2013128917A1 (ja) 映像処理装置、映像処理方法、および映像表示システム
US20160227098A1 (en) Information Presentation System
JP2008296697A (ja) 駐車支援装置
JP5904093B2 (ja) 車載画像生成装置
JP2003104145A (ja) 運転支援表示装置
WO2015129280A1 (ja) 画像処理装置および画像処理方法
JP2014089138A (ja) 位置案内システム、方法およびプログラム
JP6760210B2 (ja) 表示制御装置、表示制御システム、表示制御方法及び表示制御プログラム
US20190230309A1 (en) Bird's-eye view video generation device, bird's-eye view video display device, bird's-eye view video generation method, and non-transitory storage medium
JP6763348B2 (ja) 表示制御装置、表示制御システム、表示制御方法及び表示制御プログラム
JP2018207385A (ja) 表示制御装置、表示制御システム、表示制御方法及び表示制御プログラム
JP6760211B2 (ja) 表示制御装置、表示制御システム、表示制御方法及び表示制御プログラム
WO2015115103A1 (ja) 画像処理装置、カメラシステム、および画像処理方法
JP4992747B2 (ja) 駐車支援装置及び駐車支援方法
JP2001180402A (ja) 駐車時の操舵支援装置
WO2015045567A1 (ja) 予測進路提示装置及び予測進路提示方法
JP2023179496A (ja) 画像処理装置及び画像処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18839068

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018839068

Country of ref document: EP

Effective date: 20200225