WO2019167109A1 - 車両用表示制御装置および表示制御方法 - Google Patents

車両用表示制御装置および表示制御方法 Download PDF

Info

Publication number
WO2019167109A1
WO2019167109A1 PCT/JP2018/007147 JP2018007147W WO2019167109A1 WO 2019167109 A1 WO2019167109 A1 WO 2019167109A1 JP 2018007147 W JP2018007147 W JP 2018007147W WO 2019167109 A1 WO2019167109 A1 WO 2019167109A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
display
unit
angle
display control
Prior art date
Application number
PCT/JP2018/007147
Other languages
English (en)
French (fr)
Inventor
克希 小林
大樹 工藤
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to US16/971,574 priority Critical patent/US20200384929A1/en
Priority to DE112018006931.1T priority patent/DE112018006931T5/de
Priority to CN201880089778.0A priority patent/CN111788088A/zh
Priority to JP2020503116A priority patent/JP6700502B2/ja
Priority to PCT/JP2018/007147 priority patent/WO2019167109A1/ja
Publication of WO2019167109A1 publication Critical patent/WO2019167109A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • B60R11/0229—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof for displays, e.g. cathodic tubes
    • B60R11/0235—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof for displays, e.g. cathodic tubes of flat type, e.g. LCD
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • B60R11/0264—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof for control means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/40—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components
    • B60R2300/404—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components triggering from stand-by mode to operation mode
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views

Definitions

  • the present invention relates to a vehicle display control device and a display control method capable of suitably controlling the display timing of an image around the vehicle in accordance with the situation of the vehicle.
  • an apparatus has been developed in which a camera that captures the surroundings of a vehicle is provided, and an image captured by the camera is displayed on a display in a vehicle that can be visually recognized by a driver.
  • the image around the vehicle is always displayed on the display inside the vehicle, the image around the vehicle is displayed at a timing that does not need to be communicated to the driver, and the user's attention may be attracted more than necessary. Moreover, it was not preferable from the viewpoint of efficient use of the display. Therefore, there may be a case where the driver performs a display instruction operation on the display at a timing when he / she wants to check the surrounding situation, and a surrounding image is displayed on the display. However, it is troublesome for the driver to directly perform the operation instruction. There was also the possibility of incurring danger again.
  • Patent Document 1 a vehicle periphery display device that detects the direction in which the driver gazes and automatically displays an image around the vehicle based on the gaze direction has been proposed (for example, Patent Document 1).
  • the vehicle periphery display device disclosed in Patent Document 1 determines the location around the vehicle to be displayed on the display based on the driver's face direction and line-of-sight direction. Therefore, in a scene where the face direction and line of sight frequently change due to the surrounding confirmation like an intersection, the display content may change frequently accordingly, which may be inconvenient for the user. there were.
  • the present invention has been made to solve the above-described problems, and provides a vehicle display control device and a display control method capable of suitably controlling the display timing of surrounding images in accordance with the situation of the vehicle.
  • the display control apparatus for a vehicle includes an imaging unit that captures an image outside the vehicle, a vehicle orientation at a predetermined past timing, and a current vehicle orientation.
  • the angle detection means for detecting the angle formed by the angle detection means and the angle detected by the angle detection means are compared with a predetermined angle, and based on the comparison result, an image outside the vehicle imaged by the imaging means is displayed on the display unit.
  • FIG. 3 is a block diagram illustrating an example of a hardware configuration of the vehicle display control device according to the first embodiment.
  • FIG. 2 is a block diagram illustrating an example of a functional configuration of a vehicle display control device according to Embodiment 1.
  • FIG. 3 is a flowchart illustrating an example of a determination process flow of a determination unit according to the first embodiment.
  • FIG. 2 is a conceptual diagram illustrating an example of a traveling direction of a vehicle and an imaging range of an outside camera in the first embodiment.
  • FIG. 3 is a flowchart showing an example of a processing flow of first determination processing in the first embodiment.
  • FIG. 2 is a conceptual diagram illustrating an example of a traveling direction of a vehicle and an imaging range of an outside camera in the first embodiment.
  • FIG. 6 is a flowchart showing an example of a processing flow of second determination processing in the first embodiment.
  • FIG. 4 is a block diagram illustrating an example of a functional configuration of a vehicle display control device according to a second embodiment. The conceptual diagram which shows an example of the advancing direction of the vehicle in Embodiment 2, and the imaging range of a camera outside a vehicle.
  • FIG. 11 is a flowchart showing an example of a processing flow of third determination processing in the second embodiment.
  • FIG. 1 is a block diagram illustrating an example of a hardware configuration of a vehicle display control apparatus according to the present embodiment.
  • the vehicle display control device 1 is mounted on, for example, a four-wheeled vehicle, and has a function of displaying an image outside the vehicle on a display unit in the vehicle at an appropriate timing.
  • the vehicle display control apparatus 1 in this embodiment includes a processor 10, a ROM 11, a RAM 12, an in-vehicle camera 13, an operation unit 14, an out-of-vehicle camera 15, a display unit 16, a steering angle sensor 17, a vehicle speed sensor 18, and a gyro sensor 19. ing.
  • the processor 10 is a calculation processing circuit that executes various types of calculation processing, and is hardware that can be called by various names such as a processor, a calculation processing circuit, an electric circuit, and a controller.
  • the processor 10 is constituted by a set of one or more calculation processing circuits.
  • the processor 10 can read a program from a ROM (Read Only Memory) 11, develop these on a RAM 12 (Random Access Memory), and execute a calculation process.
  • the ROM 11 is a non-volatile storage device that stores one or more programs.
  • the RAM 12 is a volatile storage device that the processor 10 uses as a development area for programs and various information.
  • the ROM is exemplified as the storage device that stores the program executed by the processor 10, but the storage device is not limited to this.
  • HDD Hard Disk Drive
  • SSD Solid State
  • a non-volatile mass storage device called a storage such as a drive may be used.
  • a storage device including a storage may be collectively referred to as a memory.
  • the in-vehicle camera 13 is a camera (imaging device) provided facing the driver's seat of the vehicle, and has a function of imaging a user (driver) sitting in the driver's seat.
  • the in-vehicle camera 13 captures the user's face and upper body and outputs the captured image to the processor 10.
  • a CCD (Charge Coupled Device) camera, a CMOS (Complementary MOS) camera, or the like can be used as an example of the realization of the in-vehicle camera 13, a CCD (Charge Coupled Device) camera, a CMOS (Complementary MOS) camera, or the like can be used.
  • CCD Charge Coupled Device
  • CMOS Complementary MOS
  • the operation unit 14 is an input device for a user to input information to the vehicle display control device 1.
  • a touch panel provided on the display unit 16 is illustrated, but various other hardware such as buttons can be considered as other examples of the input device.
  • the outside camera 15 is a camera (imaging device) provided for imaging outside the vehicle.
  • the vehicle exterior camera 15 is provided at a position where it is possible to image a position that is likely to be a blind spot of a driver around the vehicle.
  • the outside camera 15 is provided at a position (front of the vehicle) where the outside of the vehicle in front of the driver can be imaged.
  • a plurality of in-vehicle cameras 15 may be installed to capture the surroundings of the vehicle, or one camera capable of capturing a wide angle such as a 180 degree camera may be installed, and the display area may be switched as appropriate.
  • the vehicle exterior camera 15 has a function of outputting captured images to the processor 10.
  • the display unit 16 is a display provided at a position where the driver in the vehicle can visually recognize, and can display an image captured by the camera 15 outside the vehicle.
  • a screen for setting and operating the vehicle display control device 1 can be displayed.
  • the user can set and operate the vehicle display control device 1 by a touch operation on the operation unit 14 provided on the surface of the display unit 16. Further, for example, map information of a car navigation system may be displayed.
  • the display unit 16 may be a device that projects and displays an image on a specific member such as HUD (Head-Up Display).
  • the steering angle sensor 17 is a sensor that detects the steering angle of the vehicle body, and outputs an electrical signal corresponding to the steering angle by the steering wheel operation to the processor 10.
  • the vehicle speed sensor 18 is a sensor that detects the speed of the vehicle body, and outputs an electrical signal (vehicle speed pulse) corresponding to the wheel speed to the processor 10.
  • the gyro sensor 19 is a sensor that detects an angular velocity (gyro), and the processor 10 can detect the turning speed and turning angle of the vehicle based on the angular velocity information.
  • the gyro sensor 19 outputs the detected angular velocity information to the processor 10.
  • FIG. 2 is a block diagram showing an example of a functional configuration of the vehicle display control apparatus according to the present embodiment.
  • the display control program 20 shown in FIG. 2 is a program that is stored in the ROM 11 and is executed by the processor 10 being expanded on the RAM 12 and appropriately displays / hides the image outside the vehicle imaged by the outside camera 15 on the display unit 16. The function to switch to is executed.
  • the display control program 20 includes an angle detection unit 21, a determination unit 22, and a display control unit 23.
  • the angle detector 21 has a function of detecting the angle at which the vehicle is facing based on information input from the steering angle sensor 17 and the gyro sensor 19.
  • the angle detection unit 21 calculates an angle ⁇ formed by the traveling direction of the vehicle at the time when the right / left turn is started and the traveling direction of the vehicle body during the right / left turn. Then, the angle detection unit 21 outputs to the determination unit 22 an angle ⁇ formed by the traveling direction of the vehicle at the time when the right / left turn is started and the traveling direction of the vehicle body during the right / left turn.
  • the discriminating unit 22 displays an image around the vehicle (a blind spot from the driver) captured by the outside camera 15 based on the information on the angle ⁇ input from the angle detection unit 21 and the vehicle speed input from the vehicle speed sensor 18. It has a function of determining whether or not to switch between non-display. The determination process performed by the determination unit 22 will be described in detail later with reference to the drawings.
  • the display control unit 23 has a function of controlling display or non-display of the image captured by the outside camera 15 on the display unit 16 based on the determination result of the determination unit 22.
  • FIG. 3 is a flowchart showing an example of the discrimination processing flow of the discrimination unit 22 in the present embodiment.
  • the vehicle display control device 1 displays on the display unit 16 an image around the vehicle that is likely to become a blind spot from the driver imaged by the outside camera 15.
  • this display process is also referred to as vehicle surrounding display.
  • the angle detection unit 21 is based on the information input from the steering angle sensor 17 and the gyro sensor 19, and the angle formed between the traveling direction of the vehicle at the start of the right and left turn and the current traveling direction of the vehicle. ⁇ is calculated and output to the determination unit 22.
  • the determination unit 22 performs a determination process on whether or not the vehicle surrounding display is necessary based on the information on the angle ⁇ input from the angle detection unit 21 and the vehicle speed input from the vehicle speed sensor 18 (step ST31). Regarding this determination, the determination unit 22 of the present embodiment can execute two types of processing determination, and details of each determination processing will be described later.
  • step ST32 When determining that the vehicle surrounding display is necessary (step ST32: Yes), the determining unit 22 outputs to the display control unit 23 that the vehicle surrounding display is necessary, and the display control unit 23 continues the vehicle surrounding display. (Step ST33).
  • step ST32 When determining that the vehicle periphery display is unnecessary (step ST32: No), the determination unit 22 outputs to the display control unit 23 that the vehicle periphery display is unnecessary, and the display control unit 23 ends the vehicle periphery display. (Step ST34).
  • FIG. 4 is a conceptual diagram showing an example of the traveling direction of the vehicle and the imaging range of the outside camera in the present embodiment.
  • FIG. 4 shows the vehicle traveling direction a and the vehicle traveling direction a ′ during the right turn at the point where the vehicle right turn is started at the intersection and the vehicle surrounding display is started (vehicle surrounding display start point). Yes.
  • an angle formed by the traveling direction a and the traveling direction a ′ is indicated as ⁇ .
  • An imaging range of the vehicle camera 15 is shown as an imaging range IA.
  • the traveling direction a 'during the right turn gradually leans to the right from the traveling direction a at the start of the right turn (state 42).
  • the imaging range IA of the outside camera 15 also changes with the traveling direction of the vehicle.
  • the angle ⁇ becomes a value close to a right angle
  • the vehicle right turn is almost completed (state 43), so it is determined that the vehicle surrounding display is no longer necessary after the right turn is completed.
  • the timing at which the steering angle sensor 17 or the gyro sensor 19 detects that the vehicle body bends at a predetermined angle or more is determined to be determined as the start of a right turn, but the vehicle speed is a certain value or less. It may be a point in time, or a right turn start time may be determined based on the operation of the blinker, or may be detected from the map information of the travel point.
  • FIG. 5 is a flowchart showing an example of the processing flow of the first determination processing of the present embodiment.
  • the angle detection unit 21 determines the vehicle traveling direction a at the vehicle surroundings display start time (right / left turn start time) and the current vehicle based on information input from the steering angle sensor 17 and the gyro sensor 19. An angle ⁇ formed with the traveling direction a ′ is calculated (step ST51).
  • the determination unit 22 determines that the vehicle surrounding display is unnecessary (step ST53) when the angle ⁇ is equal to or greater than the threshold (step ST52: Yes).
  • the vehicle surrounding display is to shoot a range that is likely to be a user's blind spot and display it on the display unit 16.
  • the determination unit 22 determines that the vehicle surrounding display is unnecessary.
  • the threshold is exemplified as a right angle (90 °), but the present invention is not limited to this and may be set to another suitable angle.
  • the threshold value of the angle ⁇ may be set using map information. That is, the angle ⁇ formed by the straight line direction and the right / left turn direction is calculated from the road shape, and if the angle ⁇ is a value close to the angle ⁇ , it is considered that the right / left turn is completed, and it is determined that the vehicle surrounding display is unnecessary. good.
  • the vehicle display control apparatus 1 can present to the user an image of the surroundings that may be a blind spot for the user when the vehicle turns right and left, and the timing at which the presentation to the user is considered unnecessary You can end the display with. With this operation, the vehicle display control device 1 can suitably control the display timing of surrounding images in accordance with the vehicle situation.
  • step ST31 Another example of the necessity determination process for vehicle surrounding display in step ST31 described in FIG. 3 will be described.
  • the first determination process using the angle ⁇ has been described with reference to FIGS. 4 and 5
  • the second determination process using the vehicle speed information and the like in addition to the angle ⁇ will be described below with reference to FIGS. 6 and 7. Will be described.
  • FIG. 6 is a conceptual diagram showing an example of the traveling direction of the vehicle and the imaging range of the outside camera in the present embodiment. If the threshold value is 90 ° in the first discrimination process, it works effectively when making a right or left turn at a right angle, but a right or left turn may be completed not only at a right angle but also at a shallower angle than the right angle. .
  • the vehicle slows down from the vehicle surroundings display start point and starts to increase the vehicle speed after completing the right turn (or immediately before completing the right turn). Then, the vehicle speed is further increased, the traveling direction is stabilized, and traveling is resumed. Therefore, in the second determination process, in addition to determining whether the angle ⁇ is equal to or greater than a predetermined value, whether the vehicle speed is equal to or greater than a certain time threshold value, or whether the traveling direction is within a certain range for a certain time. To determine whether the vehicle surrounding display is necessary or unnecessary.
  • FIG. 7 is a flowchart showing an example of the processing flow of the second determination processing of the present embodiment.
  • the angle detection unit 21 first determines the vehicle traveling direction a at the vehicle surroundings display start time (right / left turn start time) and the current based on information input from the steering angle sensor 17 and the gyro sensor 19. An angle ⁇ formed with the traveling direction a ′ of the vehicle is calculated (step ST71).
  • step ST72 determines whether the vehicle speed is equal to or greater than the threshold value for a certain time or more based on the vehicle speed information input from the vehicle speed sensor 18. (Step ST73).
  • step ST73 when the vehicle speed is equal to or higher than the predetermined time threshold (step ST73: Yes), the determination unit 22 determines whether the traveling direction is within a predetermined range for a predetermined time (step ST74).
  • the determination unit 22 determines that the traveling direction is within a predetermined range for a certain period of time by determining whether or not the change in the angle ⁇ is equal to or less than a predetermined value for a certain period of time (whether the change rate of the angle ⁇ is equal to or less than a predetermined value for a certain period). It is determined whether or not.
  • step ST72 If the angle ⁇ is greater than or equal to the threshold value in step ST72 (step ST72: Yes) or if the traveling direction is within a predetermined range for a certain time in step ST74 (step ST74: Yes), the determination unit 22 does not need to display the vehicle surroundings. Is determined (step ST75). That is, the determination unit 22 determines that the right / left turn is completed when the angle ⁇ is equal to or greater than the threshold value. Further, even when the angle ⁇ is less than the threshold, the determination unit 22 determines that the right / left turn is completed when the vehicle speed is equal to or greater than the threshold for a certain time and the traveling direction is within the predetermined range for a certain time. .
  • the vehicle slows down from the vehicle surrounding display start point, and after completing the right turn, the vehicle speed is increased to stabilize the traveling direction and the traveling direction is restarted.
  • the determination unit 22 determines that the right / left turn is completed even if the angle ⁇ is less than the threshold value.
  • step ST73 determines and judges that the vehicle periphery display is required (step ST76).
  • a threshold value for determining the vehicle speed a preset value may be used, a speed immediately before reaching the vehicle surrounding display start point may be used, or a depression amount of an accelerator or a brake pedal may be used as a threshold value.
  • Information outside the vehicle such as map information and legal speed may be used.
  • the stability of the traveling direction can be determined by a method of determining that the amount of change in the traveling direction for a certain period of time is less than a certain value or the number of times the amount of change in the traveling direction has become a certain value or less. A method of determining that the value is stable when the value exceeds a certain value may be considered.
  • the vehicle display control device 1 can appropriately switch the presence / absence of display of images around the vehicle even when the vehicle completes a right / left turn at an angle different from the assumed right / left turn angle. Can do.
  • Embodiment 2 FIG. Next, a second embodiment of the present invention will be described. In the following description, the same components as those in the first embodiment will be described with the same names and numbers.
  • the hardware configuration of the vehicle display control apparatus described in the second embodiment is the same as that of the first embodiment.
  • FIG. 8 is a block diagram illustrating an example of a functional configuration of the vehicle display control apparatus according to the present embodiment.
  • the display control program 80 in this embodiment further includes a field-of-view range setting unit 81 in addition to the display control program 20 of the first embodiment.
  • the visibility range setting unit 81 has a function of setting the visibility range of the driver.
  • the range of visibility of the driver can be referred to as a range where the driver can see from the driver's seat or a range where no blind spot is formed.
  • a camera that images the front from the driver's seat may be used, and the angle of view of the camera may be set as the field of view, or based on the image of the in-vehicle camera 13 that images the driver. It is also possible to detect the line of sight and calculate the range that the driver can visually recognize from the direction of the line of sight.
  • the position of the driver's line of sight and the age of the driver may be estimated based on the video of the in-vehicle camera 13, and a view range that is outside the vehicle visible to the driver may be set. Further, a range manually calibrated using the operation unit 14 before the driver starts driving may be set as the view range. Further, the visual field range of the driver may be set by a method combining the above.
  • the determination unit 82 calculates an overlapping degree R of the driver's visual field range set by the visual field range setting unit 81 and a range that was a blind spot for the driver at the start of the right or left turn, and displays the vehicle surroundings based on the overlapping degree R. It has a function to determine whether or not it is necessary.
  • the range that was a blind spot for the driver at the start of the right / left turn can also be referred to as an imaging range (initial imaging range) in which the vehicle exterior camera 15 has captured an image at the start of the right / left turn.
  • the degree of overlap R is the driver's view range set by the view range setting unit 81, the angle ⁇ input from the angle detection unit 21, the vehicle speed information input from the vehicle speed sensor 18, and the blind spot for the driver at the start of the right / left turn. Can be calculated from the range (initial imaging range).
  • the display control unit 23 has a function of controlling display or non-display on the display unit 16 of an image captured by the outside camera 15 based on the determination result of the determination unit 82.
  • the determination unit 82 executes the same process as the flow shown in FIG. 3, but the determination process of whether or not the vehicle surroundings display is necessary in step ST31 is different from the first embodiment (third determination process). ).
  • a third discrimination process different from the first embodiment will be described with reference to FIGS.
  • FIG. 9 is a conceptual diagram showing an example of the traveling direction of the vehicle and the imaging range of the outside camera in the present embodiment.
  • FIG. 9 shows the driver's view range VA set by the intersection view range setting unit 81 when making a right turn of the vehicle at an intersection or the like, and the initial imaging range IIA of the outside camera 15 at the start of the right turn. .
  • the imaging range captured by the outside camera 15 at the start of the right turn is the initial imaging range IIA.
  • the range that is the blind spot of the driver at the start of the right turn is imaged, there is no overlapping area where the driver's visual range VA and the initial imaging range IIA overlap as shown in state 91.
  • the present invention is not limited to this, and the overlapping region may be small.
  • the overlapping area between the driver's field of view range VA and the initial imaging range IIA captured by the outside camera 15 at the start of the right turn gradually increases.
  • the driver's field of view VA and the initial imaging range IIA are completely overlapped, or when the degree of overlap is greater than a predetermined value (state 93)
  • the right turn of the vehicle is almost completed, and the determination unit 82 determines that the vehicle surrounding display is no longer necessary.
  • the degree of overlap between the driver's field of view range VA and the initial imaging range IIA is calculated, and whether or not the vehicle surrounding display is necessary or not is determined based on the degree of overlap.
  • FIG. 10 is a flowchart showing an example of the processing flow of the third determination processing of the present embodiment.
  • the determination unit 82 determines the driver's field of view range VA set by the field of view range setting unit 81 and the initial imaging range IIA that is the range captured by the outside camera 15 when the vehicle starts turning right or left. Is calculated (step ST101).
  • the initial imaging range IIA may be set in advance by the determination unit 82 with an assumed predetermined range as an initial value, or may be set based on an image captured by the vehicle exterior camera 15 at the start of a right / left turn.
  • step ST102 determines that the vehicle surrounding display is unnecessary (step ST103).
  • step ST104 determines that the vehicle surrounding display is unnecessary.
  • the third discrimination process it is necessary to determine whether the range that was a blind spot from the driver at the time of starting the right / left turn is still a blind spot in the middle of the right / left turn or whether it is no longer a blind spot, and display the vehicle surroundings. It is switched whether or not.
  • the method for obtaining the range of the driver's field of view VA and the initial imaging range IIA and determining the overlapping degree R is exemplified, but the present invention is not limited to this.
  • the direction of the imaging range at the start of the vehicle surrounding display is stored.
  • a method of calculating the overlapping degree R from the direction of the field of view range, that is, the angle formed by the traveling direction and the imaging direction, by changing the imaging direction in accordance with the traveling direction of the vehicle is also conceivable.
  • the display around the vehicle is maintained in a scene where the driver needs to check the surroundings, such as passing an intersection, entering a road from a garage or a parking lot, and the like.
  • the display can be returned to the original (for example, to the car navigation screen) at an appropriate timing.
  • the display timing of the video around the vehicle can be suitably controlled according to the vehicle situation.
  • the vehicle surrounding display necessity determination process may use information on the inside / outside of the vehicle other than the vehicle speed and the traveling direction.
  • an input modal other than the camera may be used for the vehicle surrounding display necessity determination process.
  • the voice of the driver may be analyzed using voice input to determine whether display is necessary.
  • SYMBOLS 1 Display control apparatus for vehicles, 10 ... Processor, 11 ... ROM, 12 ... RAM, 13 ... In-vehicle camera, 14 ... Operation part, 15 ... Outside camera, 16 ... Display part, 17 ... Steering angle sensor, 18 ... Vehicle speed sensor , 19 ... Gyro sensor, 20 ... Display control program, 21 ... Angle detection unit, 22 ... Discrimination unit, 23 ... Display control unit, 80 ... Display control program, 81 ... Visibility range setting unit, 82 ... Discrimination unit.

Abstract

車両用表示制御装置は、車外の映像を撮像する撮像手段と、過去の所定のタイミングの車両の向きと現在の車両の向きとがなす角度を検出する角度検出手段と、前記角度検出手段で検出された角度と、所定の角度とを比較し、比較結果に基づいて、前記撮像手段が撮像した車外の映像を表示部に表示するか否かを判別する判別手段と、前記判別手段の判別結果に基づいて、前記表示部への前記映像の表示を制御する表示制御手段と、を具備するので、車両の状況に合わせて周囲の映像の表示タイミングを好適に制御することができる。

Description

車両用表示制御装置および表示制御方法
　本発明は、車両の状況に合わせて車両周囲の映像の表示タイミングを好適に制御できる車両用表示制御装置および表示制御方法に関する。
　近年、車両周囲の状況をドライバーに認識させ、安全な運転を促す技術が発達している。この技術の一例として、車両周囲を撮像するカメラを設け、ドライバーが視認可能な車内のディスプレイにカメラで撮像した映像を表示する装置が開発されている。
　車両周囲の映像を車内のディスプレイに常時表示してしまうと、ドライバーに伝える必要があまりないタイミングで車両周囲の映像表示を行うことになり、ユーザの注意を必要以上に惹いてしまう場合がある。また、ディスプレイの効率的な活用の観点でも好ましくなかった。そこで、ドライバーが周囲の状況を確認したいタイミングでディスプレイに対して表示指示操作を行い、ディスプレイで周囲映像を表示するというケースが考えられるが、ドライバーが直接操作指示を行うことはドライバーにとって煩雑であり、また危険を招いてしまう可能性があった。
　そこで、ドライバーの注視する方向を検出し、その注視方向に基づいて車両周囲の映像の自動表示を行う車両周辺表示装置が提案されている（例えば、特許文献１）。
特開２０１１－１８４０４４号公報
　特許文献１に開示されている車両周辺表示装置は、ディスプレイに表示する車両周辺の場所をドライバーの顔向きや視線方向に基づいて決定している。そのため、交差点のように周辺の確認で顔向きや視線が頻繁に変化する場面では、それに伴い表示内容も頻繁に切り替わってしまう可能性があり、ユーザにとって使い勝手の悪いものとなってしまう可能性があった。
　本発明は上記課題を解決するためになされたものであり、車両の状況に合わせて周囲の映像の表示タイミングを好適に制御できる車両用表示制御装置および表示制御方法を得るものである。
　上述した課題を解決し、目的を達成するために、本発明の車両用表示制御装置は、車外の映像を撮像する撮像手段と、過去の所定のタイミングの車両の向きと現在の車両の向きとがなす角度を検出する角度検出手段と、前記角度検出手段で検出された角度と、所定の角度とを比較し、比較結果に基づいて、前記撮像手段が撮像した車外の映像を表示部に表示するか否かを判別する判別手段と、前記判別手段の判別結果に基づいて、前記表示部への前記映像の表示を制御する表示制御手段と、を具備する。
　本発明によれば、車両の状況に合わせて周囲の映像の表示タイミングを好適に制御することができる。
実施の形態１における車両用表示制御装置のハードウェア構成の一例を示すブロック図。 実施の形態１における車両用表示制御装置の機能構成の一例を示すブロック図。 実施の形態１における判別部の判別処理フローの一例を示すフロー図。 実施の形態１における車両の進行方向と車外カメラの撮像範囲の一例を示す概念図。 実施の形態１における第１の判別処理の処理フローの一例を示すフロー図。 実施の形態１における車両の進行方向と車外カメラの撮像範囲の一例を示す概念図。 実施の形態１における第２の判別処理の処理フローの一例を示すフロー図。 実施の形態２における車両用表示制御装置の機能構成の一例を示すブロック図。 実施の形態２における車両の進行方向と車外カメラの撮像範囲の一例を示す概念図。 実施の形態２における第３の判別処理の処理フローの一例を示すフロー図。
　以下にて、本発明にかかる車両用表示制御装置および表示制御方法の実施の形態について、図面を用いて詳細に説明する。
　実施の形態１．
　図１は、本実施の形態における車両用表示制御装置のハードウェア構成の一例を示すブロック図である。
　車両用表示制御装置１は例えば４輪自動車に搭載されており、車両外部の映像を適切なタイミングで車両内の表示部に表示する機能を有している。
　本実施形態における車両用表示制御装置１は、プロセッサ１０、ＲＯＭ１１、ＲＡＭ１２、車内カメラ１３、操作部１４、車外カメラ１５、表示部１６、操舵角センサ１７、車速センサ１８及びジャイロセンサ１９を有している。
　プロセッサ１０は、各種計算処理を実行する計算処理回路であり、プロセッサ、計算処理回路、電気回路、コントローラ等の種々の呼び方で呼称できるハードウェアである。プロセッサ１０は、１つまたは２以上の計算処理回路の集合によって構成されている。プロセッサ１０はＲＯＭ(Read Only Memory)１１からプログラムを読み出し、これらをＲＡＭ１２（Random Access Memory）上に展開して計算処理を実行することができる。
　ＲＯＭ１１は、１以上のプログラムを格納する不揮発性記憶装置である。
　ＲＡＭ１２は、プロセッサ１０がプログラムや各種情報の展開領域として用いる揮発性記憶装置である。
　本実施形態において、プロセッサ１０が実行するプログラムを格納した記憶装置として、ＲＯＭを例示して説明しているが、記憶装置はこれに限定されず、例えばＨＤＤ(Hard Disk Drive)、ＳＳＤ(Solid State Drive)等のストレージと呼ばれる不揮発性大容量記憶装置であってもよい。また、ストレージを含めた記憶装置を総称としてメモリと呼んでもよい。
　車内カメラ１３は、車両のドライバー席に対向して設けられたカメラ（撮像装置）であり、ドライバー席に座るユーザ（ドライバー）を撮像する機能を有している。車内カメラ１３は、ユーザの顔や上半身を撮像し、撮像した映像をプロセッサ１０に出力する。また、車内カメラ１３の実現の例としてはCCD（Charge Coupled Device）カメラやCMOS（Complementary MOS）カメラ等を用いることが可能である。
　操作部１４は、ユーザが車両用表示制御装置１に情報を入力するための入力装置である。本実施形態では表示部１６に設けられたタッチパネルを例示するが、他にも入力装置の例としてはボタン等の種々のハードウェアが考えられる。
　車外カメラ１５は、車外を撮像するために設けられたカメラ（撮像装置）である。本実施形態において、車外カメラ１５は車両周囲のドライバーの死角となり易い位置を撮像可能な位置に設けられている。詳細については図４等を用いて説明するが、車外カメラ１５はドライバーの前側方の車外を撮像可能な位置（車両前方）に設けられている。車外カメラ１５は、車両の周囲を撮像するために複数台設置して良いし、180度カメラ等の広角を撮像可能なカメラを1台設置し、適宜表示領域を切り替えても良い。車外カメラ１５は、撮像した映像をプロセッサ１０に出力する機能を有している。
　表示部１６は、車内のドライバーの視認可能な位置に設けられたディスプレイであり、車外カメラ１５が撮像した映像を表示することができる。また、本実施形態では車両用表示制御装置１の設定や操作を行うための画面を表示可能である。ユーザは、表示部１６の表面に設けられた操作部１４へのタッチ操作により車両用表示制御装置１の設定や操作を行うことができる。また、例えばカーナビゲーションシステムの地図情報等を表示することができてもよい。さらに、表示部１６はHUD（Head Up Display）のように映像を特定の部材に投影して表示する装置でも良い。
　操舵角センサ１７は、車体の操舵角を検出するセンサであり、ハンドル操作による操舵角に応じた電気信号をプロセッサ１０に出力する。
　車速センサ１８は、車体の速度を検出するセンサであり、車輪速に応じた電気信号（車速パルス）をプロセッサ１０に出力する。
　ジャイロセンサ１９は、角速度（ジャイロ）を検出するセンサであり、この角速度情報に基づいてプロセッサ１０は車両の旋回速度や旋回角度等を検出することができる。ジャイロセンサ１９は検出した角速度情報をプロセッサ１０に出力する。
　次に、車両用表示制御装置１の機能構成について説明する。
　図２は、本実施の形態における車両用表示制御装置の機能構成の一例を示すブロック図である。
　図２に示す表示制御プログラム２０はＲＯＭ１１に格納され、プロセッサ１０がＲＡＭ１２上に展開して実行するプログラムであり、車外カメラ１５が撮像した車外の映像の表示部１６への表示／非表示を適切に切り替える機能を実行する。
　表示制御プログラム２０は、角度検出部２１、判別部２２及び表示制御部２３を有する。
　角度検出部２１は、操舵角センサ１７及びジャイロセンサ１９から入力される情報に基づいて、車両の向いている角度を検出する機能を有している。角度検出部２１は、右左折を開始した時点の自動車の車両の進行方向と、右左折中の車体の進行方向との成す角θを算出する。そして、角度検出部２１は右左折を開始した時点の自動車の車両の進行方向と、右左折中の車体の進行方向との成す角θを判別部２２に出力する。
　判別部２２は、角度検出部２１から入力される角θ及び車速センサ１８から入力される車速の情報に基づいて、車外カメラ１５が撮像した車両周囲の（ドライバーから死角となる）映像について、表示／非表示の切り替えを行うか否かを判別する機能を有している。判別部２２の行う判別処理は後述にて図面を用いて詳細に説明する。
　表示制御部２３は、判別部２２の判別結果に基づいて車外カメラ１５が撮像した映像の表示部１６への表示又は非表示を制御する機能を有している。
　次に、判別部２２の車両周囲の映像の表示と非表示の切り替え判別について説明する。
　図３は、本実施の形態における判別部２２の判別処理フローの一例を示すフロー図である。
　まず、車両が右左折を行う際、車両用表示制御装置１は車外カメラ１５で撮像されたドライバーから死角となりやすい車両周囲の映像を表示部１６に表示する。以下ではこの表示処理のことを車両周囲表示とも呼ぶ。
　車両が右左折を開始すると、角度検出部２１は操舵角センサ１７及びジャイロセンサ１９から入力される情報に基づいて、右左折開始時点の車両の進行方向と現在の車両の進行方向との成す角θを算出し、判別部２２に出力する。
　判別部２２は角度検出部２１から入力される角θ及び車速センサ１８から入力される車速の情報に基づいて、車両周囲表示の要否についての判断処理を行う（ステップＳＴ３１）。本判断について、本実施形態の判別部２２は２通りの処理判断を実行可能であり、それぞれの判断処理の詳細については後述にて説明する。
　判別部２２は、車両周囲表示が必要であると判別すると（ステップＳＴ３２：Ｙｅｓ）、車両周囲表示が必要である旨を表示制御部２３に出力し、表示制御部２３は車両周囲表示を継続する（ステップＳＴ３３）。
　判別部２２は、車両周囲表示が不要であると判別すると（ステップＳＴ３２：Ｎｏ）、車両周囲表示が不要である旨を表示制御部２３に出力し、表示制御部２３は車両周囲表示を終了する（ステップＳＴ３４）。
　以上で一連の処理フローは終了となる。
　以下では、図４及び図５を用いて上述に記載のステップＳＴ３１の車両周囲表示の要否判断処理の一例について説明する。
　図４は、本実施形態における車両の進行方向と車外カメラの撮像範囲の一例を示す概念図である。
　図４には、交差点等にて車両の右折を開始し、車両周囲表示を開始した地点（車両周囲表示開始地点）の車両の進行方向a及び右折中の車両の進行方向a’が示されている。またこの進行方向aと進行方向a’との成す角がθとして示されている。また車外カメラ１５の撮像範囲が撮像範囲ＩＡとして示されている。
　交差点等にて車両が右折を開始した場合（状態４１）、右折中の進行方向a’は右折開始時の進行方向aから徐々に右側に傾く（状態４２）。その間、車外カメラ１５の撮像範囲ＩＡ
も車両の進行方向に伴って変化する。図４および図５で示す判別処理（以下、第１の判別処理とも呼ぶ）ではθが直角に近いとなった際に車両周囲表示が不要になったと判別する。つまり、状態４２の間は車両周囲表示が必要と判断する。そして、前記角θは直角に近い値となったとき、車両の右折はほぼ完了しているため（状態４３）、右折完了後のため車両周囲表示が不要になったと判断する。
　尚、本実施形態では操舵角センサ１７またはジャイロセンサ１９が所定角度以上で車体が曲がることを検出したときの曲がり始めたタイミングを右折開始時として判別するように例示するが、車速が一定値以下になった時点としても良いし、ウィンカーの操作に基づいて右折開始時を定めても良いし、走行地点の地図情報から検出しても良い。
　図５は、本実施形態の第１の判別処理の処理フローの一例を示すフロー図である。
　第１の判別処理では、角度検出部２１は操舵角センサ１７及びジャイロセンサ１９から入力される情報に基づいて、車両周囲表示開始時点（右左折開始時点）の車両の進行方向aと現在の車両の進行方向a’との成す角θを算出する（ステップＳＴ５１）。
　判別部２２は角度検出部２１から入力される角θに基づいて、角θが閾値以上であった場合（ステップＳＴ５２：Ｙｅｓ）、車両周囲表示を不要と判断する（ステップＳＴ５３）。車両周囲表示は右左折時のユーザの視界補助のために、ユーザの死角となり易い範囲を撮影して表示部１６に表示するものであるため、角θが閾値以上であった場合、車両は右左折を完了したものと推定して、判別部２２は車両周囲表示を不要と判断する。尚、本実施形態では閾値は直角（90°）であるものとして例示するが、これに限定されず好適な他の角度に設定されてもよい。
　さらに、角θの閾値は地図情報を用いて設定されてもよい。すなわち、道路形状から直進方向と右左折方向とがなす角度φを算出し、前記角θが前記角φに近い値となったら右左折完了とみなし、前記車両周囲表示は不要と判断するとしても良い。
　本フローによって、車両用表示制御装置１は車両の右左折時にユーザにとって死角となる可能性のある車外周囲の映像をユーザに提示することができ、ユーザへの提示が不要になったと考えられるタイミングで表示を終了することできる。本動作により、車両用表示制御装置１は車両の状況に合わせて周囲の映像の表示タイミングを好適に制御することができる。
　次に、図３にて記載のステップＳＴ３１の車両周囲表示の要否判断処理の他の例について説明する。図４及び図５を用いて角θを用いた第１の判別処理について説明したが、以下では図６及び図７を用いて、角θに加えて車速情報等を用いた第２の判別処理について説明する。
　図６は、本実施形態における車両の進行方向と車外カメラの撮像範囲の一例を示す概念図である。第１の判別処理で閾値を90°とすると、直角に右左折を行う場合有効に動作するが、右左折は直角に行う場合のみではなく、直角より浅い角度で右左折が完了する場合がある。
　交差点等にて車両が右折を開始した場合（状態６１）、右折中の進行方向a’は右折開始時の進行方向aから徐々に右側に傾く（状態６２）。このとき、道が進行方向aから斜めになっているような場合には、角度θは直角まではいかずに右折が完了する（状態６３）。
　このような場合、一般に、車両は車両周囲表示開始地点から徐行し、右折完了後（又は右折完了直前）に車速を上げはじめる。そしてさらに車速を上げ、進行方向を安定させて走行を再開する。そこで、第２の判別処理では角θが所定値以上になっているか否かの判断に加え、車速が一定時間閾値以上になっているか、進行方向が一定時間以上所定範囲内になっているか否かの判別も行い、車両周囲表示の要又は不要の判別を行う。
　具体的なフローについて以下で説明する。
　図７は、本実施形態の第２の判別処理の処理フローの一例を示すフロー図である。
　第２の判別処理では、まず角度検出部２１は操舵角センサ１７及びジャイロセンサ１９から入力される情報に基づいて、車両周囲表示開始時点（右左折開始時点）の車両の進行方向aと現在の車両の進行方向a’との成す角θを算出する（ステップＳＴ７１）。
　角θが閾値未満であった場合（ステップＳＴ７２：Ｎｏ）、判別部２２は車速センサ１８から入力される車両の車速情報に基づいて、車速が一定時間以上閾値以上であるか否かを判別する（ステップＳＴ７３）。
　ステップＳＴ７３において車速が一定時間閾値以上であった場合（ステップＳＴ７３：Ｙｅｓ）、判別部２２は次に進行方向が一定時間所定範囲内となっているか否かを判別する（ステップＳＴ７４）。ここでは、判別部２２は角θの変化が一定時間所定値以下となっているか否か（角θの変化率が一定時間で所定以下か）の判別によって、進行方向が一定時間所定範囲内となっているか否かを判別する。
　ステップＳＴ７２において角θが閾値以上であった場合（ステップＳＴ７２：Ｙｅｓ）またはステップＳＴ７４において進行方向が一定時間所定範囲内であった場合（ステップＳＴ７４：Ｙｅｓ）、判別部２２は車両周囲表示を不要と判断する（ステップＳＴ７５）。つまり、判別部２２は角θが閾値以上である場合には右左折が完了していると判別する。また、判別部２２は角θが閾値未満であっても車速が一定時間以上閾値以上であり進行方向が一定時間所定範囲内となっている場合には、右左折が完了していると判別する。これは上述のとおり、一般に車両は車両周囲表示開始地点から徐行し、右折完了後に車速を上げて進行方向を安定させて走行を再開するため、車速が一定時間以上閾値以上であり進行方向が一定時間所定範囲内となっている場合には、角θが閾値未満であっても右左折が完了していると判別部２２が判別している。
　ステップＳＴ７３において車速が一定時間閾値以上でない場合（ステップＳＴ７３：Ｎｏ）またはステップＳＴ７４において進行方向が一定時間所定範囲内でない場合（ステップＳＴ７４：Ｎｏ）、判別部２２は右左折が完了していないと判別し、車両周囲表示が必要であると判断する（ステップＳＴ７６）。
　ここで、車速判定の閾値は予め設定した値を用いても良いし、前記車両周囲表示開始地点に至る直前の速度を用いても良いし、アクセルやブレーキペダルの踏み込み量を閾値としても良いし、地図情報や法定速度等、車外の情報を用いても良い。また、進行方向の安定性の判断には、一定時間進行方向の変化量が一定値以下となった場合を安定したと判断する方法や、進行方向の変化量が一定値以下になった回数が一定値を上回った時点で安定したと判断する方法等も考えられる。
　本フローによって、車両用表示制御装置１は想定していた右左折の角度と異なる角度で車両が右左折を完了した場合であっても、適切に車外周囲の映像の表示有無の切り替えを行うことができる。
　実施の形態２．
　次に、本発明の実施の形態２について説明する。以下の説明では実施の形態１と同様の構成については同一の名称及び番号を付して説明を行う。
　実施の形態２に記載の車両用表示制御装置のハードウェア構成は実施の形態１と同様である。
　図８は、本実施の形態における車両用表示制御装置の機能構成の一例を示すブロック図である。
　本実施形態における表示制御プログラム８０は実施の形態１の表示制御プログラム２０に加え視界範囲設定部８１を更に有している。
　視界範囲設定部８１は、ドライバーの視界の範囲を設定する機能を有している。ここでのドライバーの視界の範囲とは、ドライバーが運転席から目視可能な範囲又は死角とならない範囲と呼べる。ドライバーの視界の範囲を設定する方法としては、運転席から前方を撮像するカメラを用い、カメラの画角を視界範囲としても良いし、ドライバーを撮像する車内カメラ１３の映像に基づいて、ドライバーの視線を検出し、視線の向きからドライバーが視認可能な範囲を算出しても良い。また、車内カメラ１３の映像に基づいて、ドライバーの視線の位置やドライバーの年齢を推定し、ドライバーが視認できる車外の範囲である視界範囲を設定するとしても良い。さらに、ドライバーが運転を開始する前に操作部１４を用いて手動でキャリブレーションした範囲を視界範囲としても良い。また、上記を組み合わせた方法によりドライバーの視界範囲を設定しても良い。
　判別部８２は、視界範囲設定部８１で設定されたドライバーの視界範囲と右左折開始時点にドライバーにとって死角であった範囲との重なり度合Ｒを算出し、この重なり度合Ｒに基づいて車両周囲表示の要否を判断する機能を有している。ここでの右左折開始時点にドライバーにとって死角であった範囲とは、右左折開始時点に車外カメラ１５が映像を撮像していた撮像範囲（初期撮像範囲）と呼ぶこともできる。重なり度合Ｒは、視界範囲設定部８１で設定されたドライバーの視界範囲、角度検出部２１から入力される角θ、車速センサ１８から入力される車速の情報、及び右左折開始時点にドライバーにとって死角であった範囲（初期撮像範囲）から算出することができる。
　表示制御部２３は、判別部８２の判別結果に基づいて車外カメラ１５が撮像した映像の表示部１６への表示又は非表示を制御する機能を有している。
　次に実施の形態２における車両周囲表示の要否判断処理の一例について説明する。本実施形態においても判別部８２は図３に示すフローと同様の処理を実行するが、ステップＳＴ３１における車両周囲表示要否の判断処理が実施の形態１とは異なっている（第３の判別処理）。この実施の形態１とは異なる第３の判別処理について図９及び図１０を用いて説明する。
　図９は、本実施形態における車両の進行方向と車外カメラの撮像範囲の一例を示す概念図である。
　図９には、交差点等にて車両の右折を行う際の、交差点視界範囲設定部８１が設定するドライバーの視界範囲ＶＡと、右折開始時点の車外カメラ１５の初期撮像範囲ＩＩＡが示されている。
　交差点等にて車両が右折を開始した場合（状態９１）、右折開始時点で車外カメラ１５が撮像する撮像範囲は初期撮像範囲ＩＩＡとなる。右折開始時には、右折開始時にドライバーの死角となっている範囲が撮像されているので状態９１に示されるようにドライバーの視界範囲ＶＡと初期撮像範囲ＩＩＡとが重なっている重なり領域は存在しない。本実施形態では重なり領域がないものとして例示するが、これに限定されず、重なり領域が小さいとしてもよい。
　右折が開始され車両の角度が右側に傾くと（状態９２）、ドライバーの視界範囲ＶＡと右折開始時点で車外カメラ１５が撮像する初期撮像範囲ＩＩＡとの重なり領域が徐々に大きくなってくる。このドライバーの視界範囲ＶＡと初期撮像範囲ＩＩＡとが完全に重なった場合、又は重なり度合が所定値よりも大きくなった場合には（状態９３）、車両の右折はほぼ完了しており、判別部８２は車両周囲表示が不要になったと判別する。
　上述のように第３の判別処理では、ドライバーの視界範囲ＶＡと初期撮像範囲ＩＩＡの重なり度合を算出し、この重なり度合に基づいて車両周囲表示の要又は不要を判断する。
　図１０は、本実施形態の第３の判別処理の処理フローの一例を示すフロー図である。
　第３の判別処理では、判別部８２は視界範囲設定部８１が設定したドライバーの視界範囲ＶＡと、車両が右左折を開始する際に車外カメラ１５が撮像していた範囲である初期撮像範囲ＩＩＡとの重なり度合Ｒを算出する（ステップＳＴ１０１）。初期撮像範囲ＩＩＡは想定される所定の範囲を初期値として判別部８２が予め設定しておいてもよいし、右左折開始時に車外カメラ１５が撮影した映像に基づいて設定するとしても良い。
　ステップＳＴ１０１において算出した重なり度合Ｒが所定値以上であった場合（ステップＳＴ１０２：Ｙｅｓ）、判別部８２は車両周囲表示を不要と判断する（ステップＳＴ１０３）。
　ステップＳＴ１０１において算出した重なり度合Ｒが所定値未満であった場合（ステップＳＴ１０２：Ｎｏ）、判別部８２は車両周囲表示を不要と判断する（ステップＳＴ１０４）。
　第３の判別処理では、右左折を開始した時点でドライバーから死角であった範囲が、右左折の途中にまだ死角であるままなのか、死角ではなくなったのかを判別して車両周囲表示が必要か否か切り替えている。
　上述ではドライバーの視界範囲ＶＡと初期撮像範囲ＩＩＡの範囲をそれぞれ求め、重なり度合Ｒを求める方法を例示したがこれに限定されず、例えば前記車両周囲表示開始時点での撮像範囲の方向を記憶し、車両の進行方向に合わせて撮像方向を変化させることで視界範囲の方向、すなわち進行方向と撮像方向とがなす角から重なり度合Ｒを算出する方法も考えられる。
　以上に示した本発明の実施の形態によれば、交差点の通過、車庫や駐車場から道路への進入等、ドライバーが周囲の確認を必要とする場面で車両周囲の表示を維持し、当該場面を通過後、適切なタイミングで表示を元に（例えばカーナビ画面等に）戻すことができる。
　また、車両の状況に合わせて車両周囲の映像の表示タイミングを好適に制御することができる。
　なお、この発明は上記の実施の形態に限定されず、種々の変形および応用が可能である。例えば、前記車両周囲表示要否判断処理は、車速や進行方向以外の車内・車外の情報を用いても良い。また、前記車両周囲表示要否判断処理には、カメラ以外の入力モーダルを用いても良い。例えば、音声入力を用いてドライバーの音声を解析し、表示要否の判断を行っても良い。
　以上、本発明について実施の形態をもとに説明した。これらの実施の形態の各構成要素や各処理プロセスの組み合わせにいろいろな変形例が可能なことは、言うまでもない。
１…車両用表示制御装置、１０…プロセッサ、１１…ＲＯＭ、１２…ＲＡＭ、１３…車内カメラ、１４…操作部、１５…車外カメラ、１６…表示部、１７…操舵角センサ、１８…車速センサ、１９…ジャイロセンサ、２０…表示制御プログラム、２１…角度検出部、２２…判別部、２３…表示制御部、８０…表示制御プログラム、８１…視界範囲設定部、８２…判別部。

Claims (10)

  1. 　車外の映像を撮像する撮像手段と、
    　過去の所定のタイミングの車両の向きと現在の車両の向きとがなす角度を検出する角度検出手段と、
    　前記角度検出手段で検出された角度と、所定の角度とを比較し、比較結果に基づいて、前記撮像手段が撮像した車外の映像を表示部に表示するか否かを判別する判別手段と、
    　前記判別手段の判別結果に基づいて、前記表示部への前記映像の表示を制御する表示制御手段と、を具備する車両用表示制御装置。
  2. 　前記判別手段は、前記角度検出手段で検出された角度が前記所定の角度以上であった場合、前記車外の映像を前記表示部に表示不要と判別する請求項１記載の車両用表示制御装置。
  3. 　前記車両の速度を検出する速度検出手段を更に具備し、
    　前記判別部は、前記車両の進行方向が所定時間、所定範囲に収まっているか否かを判別し、当該判別結果と前記速度検出手段が検出した速度と前記比較結果に基づいて前記撮像手段が撮像した車外の映像を前記表示部に表示するか否かを判別する請求項１又は２に記載の車両用表示制御装置。
  4. 　前記判別部は、前記角度検出手段で検出された角度が前記所定の角度未満であり、前記車速が所定時間閾値以上であり、前記車両の進行方向が所定時間、所定範囲に収まっている場合、前記車外の映像を前記表示部に表示不要と判別する請求項３記載の車両用表示制御装置。
  5. 　前記表示部をさらに有している請求項１乃至請求項４記載の車両用表示制御装置。
  6. 　車外の映像を撮像し、
    　過去の所定のタイミングの車両の向きと現在の車両の向きとがなす角度を検出し、
    　検出された前記角度と、所定の角度とを比較し、比較結果に基づいて、撮像した車外の映像を表示部に表示するか否かを判別し、
    　前記判別結果に基づいて、前記表示部への前記映像の表示を制御する表示制御方法。
  7. 　車外の映像を撮像する撮像手段と、
    　ドライバーの視界の範囲を設定する視界範囲設定手段と、
    　所定のタイミングにおける前記撮像手段の撮像範囲を検出し、前記視界範囲設定手段で設定された前記ドライバーの視界の範囲と、前記所定のタイミングにおける前記撮像手段の撮像範囲の重なり度合を算出し、算出結果に基づいて、前記撮像手段が撮像した車外の映像を表示部に表示するか否かを判別する判別手段と、
    　前記判別手段の判別結果に基づいて、前記表示部への前記映像の表示を制御する表示制御手段と、を具備する車両用表示制御装置。
  8. 　前記判別手段は、前記重なり度合が所定以上であった場合、前記車外の前記映像を表示部に表示不要と判別する請求項７記載の車両用表示制御装置。
  9. 　前記表示部をさらに有している請求項７記載の車両用表示制御装置。
  10. 　車外の映像を撮像し、
    　ドライバーの視界の範囲を設定し、
    　所定のタイミングにおける前記車外の映像の撮像範囲を検出し、
    　設定された前記ドライバーの視界の範囲と、前記所定のタイミングにおける車外の映像の撮像範囲との重なり度合を算出し、
    　前記算出結果に基づいて、撮像した車外の映像を表示部に表示するか否かを判別し、
    　前記判別結果に基づいて、前記表示部への前記映像の表示を制御する表示制御方法。
PCT/JP2018/007147 2018-02-27 2018-02-27 車両用表示制御装置および表示制御方法 WO2019167109A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
US16/971,574 US20200384929A1 (en) 2018-02-27 2018-02-27 On-vehicle display control system and display control method
DE112018006931.1T DE112018006931T5 (de) 2018-02-27 2018-02-27 Fahrzeugbildschirmsteuerungssystem und bildschirmsteuerungsverfahren
CN201880089778.0A CN111788088A (zh) 2018-02-27 2018-02-27 车辆用显示控制装置和显示控制方法
JP2020503116A JP6700502B2 (ja) 2018-02-27 2018-02-27 車両用表示制御装置および表示制御方法
PCT/JP2018/007147 WO2019167109A1 (ja) 2018-02-27 2018-02-27 車両用表示制御装置および表示制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/007147 WO2019167109A1 (ja) 2018-02-27 2018-02-27 車両用表示制御装置および表示制御方法

Publications (1)

Publication Number Publication Date
WO2019167109A1 true WO2019167109A1 (ja) 2019-09-06

Family

ID=67805261

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/007147 WO2019167109A1 (ja) 2018-02-27 2018-02-27 車両用表示制御装置および表示制御方法

Country Status (5)

Country Link
US (1) US20200384929A1 (ja)
JP (1) JP6700502B2 (ja)
CN (1) CN111788088A (ja)
DE (1) DE112018006931T5 (ja)
WO (1) WO2019167109A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7192570B2 (ja) * 2019-02-27 2022-12-20 株式会社Ｊｖｃケンウッド 記録再生装置、記録再生方法およびプログラム
JP2022067928A (ja) * 2020-10-21 2022-05-09 株式会社Subaru 対象物推定装置、その対象物推定方法、および、車両

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000227999A (ja) * 1998-12-03 2000-08-15 Aisin Aw Co Ltd 運転支援装置
JP2003146133A (ja) * 2001-11-12 2003-05-21 Toyota Motor Corp 車両用周辺監視装置
JP2009083764A (ja) * 2007-10-02 2009-04-23 Aisin Aw Co Ltd 運転支援装置、運転支援方法及びコンピュータプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4497133B2 (ja) * 2006-07-12 2010-07-07 アイシン・エィ・ダブリュ株式会社 運転支援方法及び運転支援装置
BR112015002997A2 (pt) * 2012-08-17 2017-07-04 Honda Motor Co Ltd dispositivo de assistência á condução
CN104786932A (zh) * 2014-01-16 2015-07-22 许佑正 车体转向感应辅助摄影方法及其装置
JP6020507B2 (ja) * 2014-04-14 2016-11-02 トヨタ自動車株式会社 車両用画像表示装置及び車両用画像表示方法
JP6340969B2 (ja) * 2014-07-14 2018-06-13 アイシン精機株式会社 周辺監視装置、及びプログラム
DE112016001007T5 (de) * 2015-03-04 2017-11-23 Mitsubishi Electric Corporation Fahrzeug-anzeigesteuervorrichtung und fahrzeug-anzeigevorrichtung
JP6313355B2 (ja) * 2016-03-31 2018-04-18 株式会社Ｓｕｂａｒｕ 車両周囲監視装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000227999A (ja) * 1998-12-03 2000-08-15 Aisin Aw Co Ltd 運転支援装置
JP2003146133A (ja) * 2001-11-12 2003-05-21 Toyota Motor Corp 車両用周辺監視装置
JP2009083764A (ja) * 2007-10-02 2009-04-23 Aisin Aw Co Ltd 運転支援装置、運転支援方法及びコンピュータプログラム

Also Published As

Publication number Publication date
DE112018006931T5 (de) 2020-10-08
JP6700502B2 (ja) 2020-05-27
CN111788088A (zh) 2020-10-16
US20200384929A1 (en) 2020-12-10
JPWO2019167109A1 (ja) 2020-07-02

Similar Documents

Publication Publication Date Title
JP4900232B2 (ja) 車両用駐車支援装置および映像表示方法
JP6316559B2 (ja) 情報処理装置、ジェスチャー検出方法、およびジェスチャー検出プログラム
US10166922B2 (en) On-vehicle image display device, on-vehicle image display method for vehicle, and on-vehicle image setting device
WO2016140192A1 (ja) 車両用表示制御装置および車両用表示装置
JP2016021653A (ja) 周辺監視装置、及びプログラム
US10450003B2 (en) Parking assist device and parking assist system
JP2006051850A (ja) 運転支援装置及び運転支援方法
US10872249B2 (en) Display control device, display control system, display control method, and non-transitory storage medium
JP2010128794A (ja) 車両周辺認知支援装置
JP2005136561A (ja) 車両周辺画像表示装置
WO2017145549A1 (ja) 脇見見落とし注意システム及びコンピュータプログラム
JP2010033106A (ja) 運転者支援装置、運転者支援方法および運転者支援処理プログラム
EP2985648A1 (en) Techniques for automated blind spot viewing
JP5853897B2 (ja) 操作制御装置、及び、操作制御プログラム
WO2019167109A1 (ja) 車両用表示制御装置および表示制御方法
JP2018144554A (ja) 車両用ヘッドアップディスプレイ装置
JP5604930B2 (ja) 車両用情報表示装置
JP2014072604A (ja) 画像処理システム、画像処理装置、画像処理方法、及び、プログラム
JP5853206B2 (ja) 車載用表示装置
WO2013114871A1 (ja) 運転支援装置及び運転支援方法
JP6662655B2 (ja) 車両用画像表示装置
JP2004051063A (ja) 車両周辺視認装置
JP2010030524A (ja) 死角表示装置
JP6319173B2 (ja) 車両の規制速度表示装置
JP2010000843A (ja) 周辺表示装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18908075

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020503116

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 18908075

Country of ref document: EP

Kind code of ref document: A1