WO2018163534A1 - 表示装置および表示方法 - Google Patents

表示装置および表示方法 Download PDF

Info

Publication number
WO2018163534A1
WO2018163534A1 PCT/JP2017/042558 JP2017042558W WO2018163534A1 WO 2018163534 A1 WO2018163534 A1 WO 2018163534A1 JP 2017042558 W JP2017042558 W JP 2017042558W WO 2018163534 A1 WO2018163534 A1 WO 2018163534A1
Authority
WO
WIPO (PCT)
Prior art keywords
driver
vehicle
indicator
countdown
line
Prior art date
Application number
PCT/JP2017/042558
Other languages
English (en)
French (fr)
Inventor
初美 青位
匡史 日向
芽衣 上谷
Original Assignee
オムロン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オムロン株式会社 filed Critical オムロン株式会社
Priority to CN201780082874.8A priority Critical patent/CN110167781B/zh
Publication of WO2018163534A1 publication Critical patent/WO2018163534A1/ja

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems

Definitions

  • the present invention relates to an apparatus and a method for displaying a countdown state until the operation mode of a vehicle traveling in the automatic operation mode is switched to the manual operation mode.
  • the automatic driving mode includes, for example, navigation system information using GPS (Global Positioning System), traffic information acquired by road-to-vehicle communication, and information on a surrounding monitoring system that monitors the position and movement of surrounding people and vehicles.
  • GPS Global Positioning System
  • the vehicle can be automatically driven by controlling a power unit, a steering device, a brake, and the like (see, for example, JP-A-2015-141053).
  • Such an automatic driving mode is expected to reduce the burden on the driver's driving operations and reduce traffic congestion.
  • the vehicle can always grasp the distance from the current position to the exit of the expressway and the general road.
  • the time required to leave the highway and reach a general road can also be estimated. And, for example, when the time to reach the general road is 60 seconds, “I will enter the general road soon. After 60 seconds, switch to manual operation mode. Please let me know "is output.
  • countdown displays such as “60 seconds remaining”, “59 seconds remaining”,... Are displayed from a screen such as a car navigation screen, a tablet screen, or a meter screen.
  • time for preparation for switching from the automatic operation mode to the manual operation mode is appropriately set individually by an automobile manufacturer or the like, and the above-described 60 seconds is an example and is not limited. .
  • the driver must complete a series of preparations necessary for manual driving, such as taking a driving posture, facing forward, grasping the steering wheel, and adjusting the accelerator until the countdown is completed.
  • the time of 60 seconds seems to be sufficiently long as the time for completing a series of preparations necessary for manual operation as described above.
  • some drivers may not feel that 60 seconds is a sufficient length, but rather a very short length.
  • the time of 60 seconds feels very short and it does not have to be impatient. Furthermore, when the countdown display starts in such a state, the user is distracted.
  • a screen such as a car navigation screen, a tablet screen, or a meter screen on which the countdown is generally displayed is not in front of the driver's line of sight, which may cause the driver to look aside.
  • the countdown it is essentially a period during which the driver should prepare for manual operation.
  • the countdown ends and manual driving is completed.
  • the operation mode may be switched to the manual operation mode in a state where the preparation is not ready.
  • the present invention has been made in view of such circumstances, and displays the countdown state until switching from the automatic operation mode to the manual operation mode so as not to hinder the driver's preparation for manual operation. It is an object of the present invention to provide a display device and a display method for enabling a driver to surely carry out preparation for manual driving while recognizing the time until switching.
  • the present invention takes the following measures.
  • the first aspect of the present invention is an apparatus for displaying a countdown state until the driving mode of a vehicle traveling in the automatic driving mode is switched to the manual driving mode, and the vehicle driver's A detection unit that detects the line-of-sight direction, and a display control unit that controls the indicator on the windshield of the vehicle so that the indicator indicating the countdown state is displayed on a portion that does not block the line-of-sight direction detected by the detection unit With.
  • the display control unit is a part on the windshield of the vehicle that does not block the line-of-sight direction detected by the detection unit, and The indicator is controlled to be displayed within a predetermined distance from the intersection with the line-of-sight direction on the windshield.
  • the display control unit detects the position of the indicator on the windshield. Is controlled to change in accordance with the change.
  • the display control unit displays the indicator within a predetermined distance from an intersection with the line-of-sight direction on the display panel. Control.
  • the display control unit detects the position of the indicator on the display panel. Is controlled to change in accordance with the change.
  • the detection unit is a camera that images the driver. From video information captured by the camera, The apparatus further includes a determination unit that determines the line-of-sight direction.
  • the projector includes a projector that projects and displays the indicator, and the display control unit controls the projector.
  • the indicator includes a numerical display indicating the countdown state.
  • the indicator has a donut shape disposed around the line-of-sight direction with the line-of-sight direction as a center.
  • the display control unit displays the donut-shaped indicator at the start of the countdown, and stops displaying the indicator at the end of the countdown, according to the progress of the countdown. Control so that the part is gradually hidden.
  • An eleventh aspect of the present invention is a method for displaying a countdown state until a driving mode of a vehicle traveling in an automatic driving mode is switched to a manual driving mode, and the line-of-sight direction of the driver of the vehicle And an indicator indicating the countdown state is displayed on a portion of the windshield of the vehicle that does not obstruct the detected line-of-sight direction.
  • a twelfth aspect of the present invention is a method for displaying a countdown state until a driving mode of a vehicle traveling in an automatic driving mode is switched to a manual driving mode, and the line-of-sight direction of the driver of the vehicle And an indicator indicating the countdown state is displayed on a portion of the display panel provided between the windshield of the vehicle and the driver that does not obstruct the detected line-of-sight direction.
  • the driver needs to start preparation for switching from the automatic operation mode to the manual operation mode by starting display of the indicator on the windshield. It can be recognized that there is.
  • the indicator indicates the countdown state, the driver can grasp the time until the switching to the manual operation mode is executed.
  • the indicator does not block the driver's line-of-sight direction, it does not impede forward confirmation by the driver and does not impair safety.
  • the indicator is not displayed on the intersection with the line-of-sight direction on the windshield, but is displayed at an appropriate distance away from the intersection.
  • the driver can easily recognize the countdown state by not obstructing the direction and viewing the indicator in the distance.
  • the position where the indicator is displayed also moves in conjunction with it, so the driver can change the line-of-sight direction. Even if it is changed, it is possible to easily recognize the countdown state.
  • the driver is manually operated from the automatic operation mode by starting the display of the indicator on the display panel provided between the windshield and the driver. It can be recognized that preparation for switching to the mode needs to be started. Further, since the indicator indicates the countdown state, the driver can grasp the time until switching to the manual operation mode is executed. Moreover, since the indicator does not block the driver's line-of-sight direction, it does not impede forward confirmation by the driver and does not impair safety.
  • the seventh aspect of the present invention it is possible to accurately determine the driver's line-of-sight direction by imaging the driver with a camera.
  • the indicator can be projected from the projector.
  • the driver can accurately grasp the time until switching to the manual operation mode is executed.
  • the driver can easily detect the progress of the countdown because the driver can sense that the area of the annular portion decreases without looking directly at the indicator.
  • FIG. 1 is a diagram illustrating an overall configuration example of an automatic operation control system including an operation mode switching control system that realizes a display device according to the present embodiment.
  • FIG. 2 is a schematic view illustrating the inside of the driver's seat of the vehicle 1 in the present embodiment.
  • FIG. 3 is a block diagram illustrating a functional configuration example of the operation mode switching control system in the present embodiment.
  • FIG. 4 is a schematic diagram showing an example of an indicator whose shape changes in accordance with the countdown.
  • FIG. 5 is a diagram illustrating a display example of an indicator displayed as a numerical value.
  • FIG. 6 is a schematic diagram illustrating a display example of an indicator that moves in accordance with a change in the driver's line-of-sight direction.
  • FIG. 1 is a diagram illustrating an overall configuration example of an automatic operation control system including an operation mode switching control system that realizes a display device according to the present embodiment.
  • FIG. 2 is a schematic view illustrating the inside of the driver's seat of the
  • FIG. 7 is a flowchart (1/2) showing an operation example of the operation mode switching control system in the present embodiment.
  • FIG. 8 is a flowchart (2/2) showing an operation example of the operation mode switching control system in the present embodiment.
  • FIG. 9 is a schematic diagram illustrating an arrangement example of a transparent display panel arranged between the windshield and the driver.
  • FIG. 10 is a block diagram illustrating a functional configuration example of the operation mode switching control system according to the modification.
  • FIG. 1 is a diagram illustrating an overall configuration example of an automatic operation control system including an operation mode switching control system 10 that realizes a display device according to the present embodiment.
  • This automatic driving control system is mounted on a vehicle 1 such as a passenger car.
  • the vehicle 1 includes, as basic equipment, a power unit 2 including a power source and a transmission, and a steering device 3 equipped with a steering wheel 4, and further includes a manual operation mode and an automatic operation mode as operation modes. .
  • An engine and / or a motor is used as the power source.
  • the manual driving mode is a mode in which the vehicle 1 is driven mainly by a driving operation manually performed by a driver (hereinafter also referred to as “driver”).
  • the manual operation mode includes, for example, an operation mode for driving the vehicle based only on the driver's driving operation, and an operation mode for performing driving operation support control for supporting the driving operation of the driver while mainly driving the driver's driving operation. Is included.
  • the driving operation support control assists the steering torque so that the driver's steering becomes an appropriate steering amount based on the curvature of the curve when the vehicle 1 is traveling on the curve, for example.
  • the driving operation support control includes control for assisting the driver's accelerator operation (for example, operation of the accelerator pedal) or brake operation (for example, operation of the brake pedal), manual steering (manual operation of steering), and manual speed adjustment ( Manual operation of speed adjustment is also included.
  • manual steering the vehicle 1 is steered mainly by the driver's operation of the steering wheel 4.
  • manual speed adjustment the speed of the vehicle is adjusted mainly by the driver's accelerator operation or brake operation.
  • the driving operation support control does not include control for forcibly intervening in the driving operation of the driver to automatically drive the vehicle 1.
  • the driving operation of the driver is reflected in the driving of the vehicle within a preset allowable range, but forcibly intervenes in the driving of the vehicle under certain conditions (for example, deviation from the lane of the vehicle). Control to do is not included.
  • the automatic operation mode is a mode for realizing an operation state in which the vehicle 1 is automatically driven along the road on which the vehicle 1 is traveling, for example.
  • the automatic driving mode includes, for example, a driving state in which the vehicle 1 is automatically driven toward a preset destination without driving by the driver.
  • the automatic driving mode it is not always necessary to automatically control all of the vehicle 1, and the driving state in which the driving operation of the driver is reflected in the traveling of the vehicle 1 within a preset allowable range is also included in the automatic driving mode. That is, the automatic driving mode includes a control in which the driving operation of the driver is reflected in the traveling of the vehicle 1 within a preset allowable range, but forcibly intervenes in the traveling of the vehicle under a certain condition.
  • reference numeral 5 denotes an automatic operation control device for executing operation control in the automatic operation mode.
  • the automatic driving control device 5 acquires sensing data from the steering sensor 11, the accelerator pedal sensor 12, the brake pedal sensor 13, the GPS receiver 14, the gyro sensor 15, and the vehicle speed sensor 16, respectively. These sensing data, route information generated by a navigation system (not shown), traffic information acquired by road-to-vehicle communication, information obtained by a peripheral monitoring system that monitors the position and movement of surrounding people and vehicles Based on this, the traveling of the vehicle 1 is automatically controlled.
  • Automatic control includes, for example, automatic steering (automatic steering operation) and automatic speed adjustment (automatic driving of speed).
  • Automatic steering is an operating state in which the steering device 3 is automatically controlled.
  • Automatic steering includes LKA (Lane Keeping Assist).
  • LKA Li Keeping Assist
  • the LKA automatically controls the steering device 3 so that the vehicle 1 does not deviate from the traveling lane even when the driver does not perform the steering operation.
  • the driver's steering operation may be reflected in the steering of the vehicle within a range (allowable range) in which the vehicle 1 does not deviate from the traveling lane.
  • automatic steering is not limited to LKA.
  • Automatic speed adjustment is an operating state in which the speed of the vehicle 1 is automatically controlled.
  • Automatic speed adjustment includes ACC (Adaptive Cruise Control). For example, when there is no preceding vehicle ahead of the vehicle 1, ACC performs constant speed control that causes the vehicle 1 to travel at a constant speed at a preset speed, and when the preceding vehicle exists ahead of the vehicle 1. Is a follow-up control that adjusts the vehicle speed of the vehicle 1 in accordance with the inter-vehicle distance from the preceding vehicle.
  • the automatic operation control device 5 decelerates the vehicle 1 according to the driver's brake operation (for example, operation of the brake pedal) even when ACC is being executed.
  • the automatic operation control device 5 can perform the driver's accelerator operation (for example, accelerator) up to a preset maximum allowable speed (for example, the maximum speed legally determined on the traveling road) even during execution of ACC.
  • the vehicle 1 can be accelerated according to the pedal operation.
  • the automatic speed adjustment is not limited to ACC but also includes CC (Cruise Control).
  • the automatic operation control system includes an operation mode switching control system 10 as a device for performing switching control between the manual operation mode and the automatic operation mode.
  • the operation mode switching control system 10 realizes the display device according to the present embodiment.
  • the display device according to the present embodiment is a device for displaying a countdown state until the operation mode of the vehicle 1 traveling in the automatic operation mode is switched to the manual operation mode. Therefore, hereinafter, the control at the time of switching from the automatic operation mode to the manual operation mode performed in the operation mode switching control system 10 will be described, and the description of the control at the time of switching from the manual operation mode to the automatic operation mode will be omitted. .
  • the operation mode switching control system 10 includes an operation mode switching control device 6, a driver camera 7, a projector 8, and a speaker 9.
  • FIG. 2 is a schematic view illustrating the inside of the driver's seat of the vehicle 1 in the present embodiment.
  • FIG. 3 is a block diagram showing a functional configuration example of the operation mode switching control system 10 in the same embodiment.
  • the driver camera 7 is arranged at a place where the driver can be imaged, for example, on the dashboard 70, images the driver, and outputs the video signal F to the operation mode switching control device 6.
  • the speaker 9 outputs audio information notifying the start of preparation for switching from the automatic operation mode to the manual operation mode based on the message information E output from the operation mode switching control device 6.
  • the voice information is, for example, “Switch to manual operation mode after 60 seconds. Complete preparations for manual operation by that time”.
  • audio information such as “switching to the manual operation mode has been completed” may be output.
  • the projector 8 is disposed on the dashboard 70, for example, and switches from the automatic operation mode to the manual operation mode based on the projection pattern information I output from the operation mode switching control device 6 and the driver's line-of-sight direction information H.
  • An indicator indicating the state of the countdown made in response to the start of preparation for the projection is projected on the windshield 72.
  • the indicator may be a numerical display corresponding to the count, or may be image information such that a part thereof is gradually hidden according to the countdown. Alternatively, for example, an hourglass display in which sand is dropped according to a countdown may be used.
  • the driver gaze direction information H is used to determine the position on the windshield 72 where the indicator is projected.
  • the operation mode switching control device 6 is a device that comprehensively controls operation mode switching, and includes a control unit 61, an input / output interface unit 62, and a storage unit 63.
  • the input / output interface unit 62 receives the manual operation switching request information A output from the automatic operation control device 5 and outputs it to the control unit 61.
  • the automatic driving control device 5 requests the manual driving switching at the timing of starting preparation for switching (for example, 60 seconds before switching to the manual driving mode). Information A is output.
  • a specific example of the timing at which the automatic driving control device 5 outputs the manual driving switching request information A will be described until the vehicle 1 traveling in the automatic driving mode in the automatic driving mode according to the preset driving plan enters the general road.
  • a case where switching to the manual operation mode is performed as an example will be described.
  • the automatic operation control device 5 always knows the position of the vehicle 1 by the GPS receiver 14 and the speed of the vehicle 1 by the vehicle speed sensor 16. Therefore, it is necessary to drive in the manual operation mode by taking into account a preset travel plan, the position of the vehicle 1 grasped by the GPS receiver 14, and the speed of the vehicle 1 grasped by the vehicle speed sensor 16.
  • the time required to reach a general road for example, another 300 seconds
  • the time required for preparation for switching from the automatic operation mode to the manual operation mode is not limited to 60 seconds, and may be another time.
  • automatic driving control such as 60 seconds when switching to manual driving mode by exiting from a highway, 30 seconds when switching due to bad weather, and 4 seconds when switching due to an emergency.
  • the apparatus 5 may set different preparation times according to each case.
  • Manual operation switching request information A includes reason information S indicating the reason for switching and preparation time information t.
  • the reason information S is set, for example, as S1 for switching from a highway to a general road, S2 for switching due to bad weather, S3 for switching due to an emergency, and S3 for other cases. .
  • the preparation time information t indicates the length of the preparation time, for example, in seconds (for example, 60, 30, 4, etc.).
  • the input / output interface unit 62 receives the manual operation switching request information A including the reason information S and the preparation time information t as described above, and outputs it to the control unit 61.
  • the input / output interface unit 62 also receives the video signal F output from the driver camera 7 and outputs it to the control unit 61 as its digital data (driver monitoring video data) G.
  • the input / output interface unit 62 also outputs the projection pattern information I and the driver's line-of-sight direction information H output from the control unit 61 to the projector 8.
  • the input / output interface unit 62 further outputs the message information E output from the control unit 61 to the speaker 9. Furthermore, the operation mode switching control signal L output from the control unit 61 is output to the automatic operation control device 5.
  • the storage unit 63 uses, as a storage medium, a non-volatile memory that can be written and read at any time, such as SSD (Solid State Drive) or HDD (Hard Disk Drive), and is used to realize this embodiment.
  • a message format information storage unit 631, a driver video storage unit 632, and a projection pattern storage unit 633 are provided.
  • the control unit 61 includes a CPU (Central Processing Unit) and a program memory that constitute a computer, and as operation functions necessary for realizing the present embodiment, an operation mode switching signal receiving unit 610, a message information creating unit 611, A driver video acquisition unit 612, a driver gaze direction determination unit 613, a projection pattern control unit 614, and an operation mode switching signal output unit 615 are provided. Each of these control functions is realized by causing the CPU to execute a program stored in the program memory.
  • CPU Central Processing Unit
  • the operation mode switching signal receiving unit 610 When receiving the manual operation switching request information A output from the input / output interface unit 62, the operation mode switching signal receiving unit 610 generates an activation signal B for starting the operation of the message information creating unit 611. Then, the activation signal B is output to the message information creation unit 611 and the driver gaze direction determination unit 613 together with the reason information S and the preparation time information t included in the manual operation switching request information A.
  • the message information creation unit 611 receives the activation signal B, the reason information S, and the preparation time information t output from the operation mode switching signal reception unit 610. Then, message format information C corresponding to the reason information S is acquired from the message format information storage unit 631.
  • the message format information storage unit 631 stores message format information C corresponding to the reason information S in advance.
  • the message format information C1 corresponding to the reason information S1 is “I will soon enter the general road. After t seconds, switch to manual operation mode. By that time, please complete preparation for manual operation”
  • the message format information C2 corresponding to the reason information S2 is “Automatic operation mode cannot be continued due to bad weather, so switch to manual operation mode after t seconds. Complete preparation for manual operation by that time”
  • the message format information C3 corresponding to the reason information S3 is “switching to the manual operation mode after t seconds due to the occurrence of an emergency. Complete preparation for manual operation immediately”.
  • the message information creation unit 611 outputs message information E to the input / output interface unit 62.
  • the input / output interface unit 62 receives the message information E output from the message information creation unit 611 and outputs it to the speaker 9. As a result, a voice message will be output from the speaker 9: “Soon you will enter the general road. After 60 seconds, switch to manual operation mode. By that time, please complete preparations for manual operation”. Become.
  • Various message information E can be created by adding new message format information C to the message format information storage unit 631 or updating the existing message format information C in the message format information storage unit 631. ing.
  • the driver video acquisition unit 612 takes in the driver monitoring video data G from the input / output interface unit 62 and stores the driver monitoring video data G in the driver video storage unit 632.
  • the driver's line-of-sight direction determination unit 613 receives the activation signal B, reason information S, and preparation time information t output from the operation mode switching signal reception unit 610. Then, in response to the activation signal B, acquisition of the driver monitoring video data G stored in the driver video storage unit 632 is started, and the driver's line-of-sight direction is detected based on the acquired driver monitoring video data G. Then, the driver's line-of-sight direction information H, which is the detection result, is output to the projection pattern control unit 614 together with the reason information S and the preparation time information t.
  • the processing until the driver's line-of-sight direction is determined by the driver's line-of-sight direction determination unit 613 based on the driver monitoring video data G is very short in time. Implemented and can be considered near real-time.
  • the driver monitoring video data G from the driver video acquisition unit 612 is temporarily stored in the driver video storage unit 632, and the driver line-of-sight direction determination unit 613 receives the driver video storage unit 632 from the driver video storage unit 632. It is assumed that the monitoring video data G is acquired. However, the driver gaze direction determination unit 613 directly acquires the driver monitoring video data G from the driver video acquisition unit 612, and detects the driver's gaze direction based on the directly acquired driver monitoring video data G. You may make it do. In this case, the driver video storage unit 632 can be omitted.
  • Projection pattern control unit 614 receives driver gaze direction information H, reason information S, and preparation time information t output from driver gaze direction determination unit 613. In response to this, the countdown from the preparation time (for example, 60 seconds) defined by the preparation time information t is started. The countdown is normally performed every second, but is not limited thereto.
  • the projection pattern control unit 614 further acquires the projection pattern information I from the projection pattern storage unit 633 according to the reason information S, and outputs the projection pattern information I to the input / output interface unit 62 together with the driver's line-of-sight direction information H. .
  • the input / output interface unit 62 outputs the projection pattern information I and the driver sight line direction information H to the projector 8.
  • the projection pattern information I is information defining an indicator indicating the countdown state projected from the projector 8, and the indicator may be a numerical value corresponding to the count, and a part of the indicator is gradually hidden according to the countdown. Such an image may be used.
  • the projector 8 directs the projection direction in the direction specified by the driver gaze direction information H, and projects the indicator defined by the projection pattern information I.
  • the indicator Y has a donut shape formed between a circle having a radius r ⁇ b> 1 centering on an intersection point X between the driver's line-of-sight direction and the windshield 72 and a circle having a radius r ⁇ b> 2.
  • the projection pattern information I defines a donut-shaped indicator Y that gradually decreases the area of the annular portion in accordance with the countdown. That is, the definition is such that the donut-shaped annular portion gradually disappears and the donut shape disappears when the countdown ends.
  • the radius r1 is a short distance that does not hinder the driver's forward confirmation.
  • the indicator Y does not obstruct the driver's line-of-sight direction, so it does not hinder forward confirmation by the driver, and the driver does not directly look at the indicator Y, so Since the decrease in area can be detected, the progress of the countdown is easily recognized.
  • the donut-shaped indicator Y is not limited to the one that is hidden in the clockwise direction as shown in FIG. 4 according to the countdown.
  • the donut-shaped indicator Y is hidden in the counterclockwise direction according to the countdown.
  • Projection pattern information I can also be defined.
  • the shape of the indicator Y is not limited to the donut shape, and may be, for example, a vertically or horizontally long bar shape.
  • the projection pattern information I is defined such that the length of the bar decreases according to the countdown. You can also Or it can also be set as the hourglass display displayed so that sand may fall according to countdown, for example.
  • FIG. 5 is a diagram showing a display example of the indicator Z displayed as a numerical value instead of image information. Even when a numerical display is used as the indicator Z, a numerical value indicating a countdown is displayed at a distance r1 from the intersection X between the driver's line-of-sight direction and the windshield 72 so as not to inhibit the driver's forward confirmation. Shall be displayed.
  • the projection pattern defines an indicator that is a numerical value that decreases in number according to a countdown.
  • the indicator Z does not obstruct the driver's line-of-sight direction, and thus does not hinder forward confirmation by the driver, and the driver reads the numerical value at a distance without looking directly at the indicator Z. Can easily recognize the progress of the countdown.
  • the projection pattern storage unit 633 stores projection pattern information I.
  • Various projection patterns can be defined by adding new projection pattern information I to the projection pattern storage unit 633 or by updating the existing projection pattern information I in the projection pattern storage unit 632. Yes.
  • the projection pattern control unit 614 can acquire arbitrary projection pattern information I from the projection pattern storage unit 633, but is set by default or is selected in advance by the driver. It is preferable to obtain I. This is because the driver may be confused if the projection is performed according to different projection pattern information I each time the countdown progresses every time the automatic operation mode is switched to the manual operation mode. Therefore, any projection pattern information I is set by default, and the projection pattern control unit 614 may continue to acquire the projection pattern information I set by default unless there is a change request from the driver. .
  • the colors of the indicators X and Y may be changed according to the countdown.
  • the color of the indicator is not limited to the same color.
  • the first 1/3 of the indicator that is hidden is projected in blue, and then hidden. It is also possible to project the 1/3 region to be displayed in yellow and finally project the 1/3 region that is not displayed in red.
  • the operation mode switching control system 10 functions as a display device for displaying the countdown state until the operation mode of the vehicle traveling in the automatic operation mode is switched to the manual operation mode.
  • the projection pattern control unit 614 When the countdown ends, the projection pattern control unit 614 outputs an operation signal K to the operation mode switching signal output unit 615.
  • the operation mode switching signal output unit 615 outputs an operation mode switching control signal L for requesting switching from the automatic operation mode to the manual operation mode of the operation mode to the input / output interface unit 62.
  • the input / output interface unit 62 outputs the operation mode switching control signal L to the automatic operation control device 5.
  • the automatic operation control device 5 When receiving the operation mode switching control signal L, the automatic operation control device 5 switches the operation mode from the automatic operation mode to the manual operation mode.
  • FIG 7 and 8 are flowcharts showing an operation example of the operation mode switching control system 10 in the present embodiment.
  • a driver is always imaged by the driver camera 7 arranged at a place where the driver can be imaged, for example, on the dashboard 70, and the video signal F is displayed. And output to the operation mode switching control device 6.
  • the driver monitoring video data G which is digital data of the video signal F, is output to the driver video acquisition unit 612 by the input / output interface 62, and further from the driver video acquisition unit 612 to the driver video storage unit 632. Is output and stored in the driver video storage unit 632.
  • the automatic operation control device 5 starts the operation mode switching control system at the timing to start preparation for switching.
  • Manual operation switching request information A is output to 10.
  • the manual operation switching request information A includes reason information S indicating the reason for switching and preparation time information t.
  • the manual operation switching request information A is received by the input / output interface unit 62 and output to the operation mode switching signal receiving unit 610 (S1).
  • an activation signal B for starting the operation of the message information creating unit 611 is generated.
  • the activation signal B is output from the operation mode switching signal receiving unit 610 to the message information creating unit 611 and the driver gaze direction determining unit 613 together with the reason information S and the preparation time information t included in the manual driving switching request information A. (S2).
  • the message information creation unit 611 receives the start signal B, reason information S, and preparation time information t output from the operation mode switching signal reception unit 610.
  • the message information creation unit 611 further acquires message format information C corresponding to the reason information S from the message format information storage unit 631 (S3).
  • the message format information C1 corresponding to the reason information S1 is “I will soon enter the general road. After t seconds, switch to manual operation mode. By that time, please complete preparation for manual operation”. .
  • the message information creation unit 611 can perform various operations.
  • Message information E can be created.
  • the value of the preparation time information t is applied to “t” of the message format information C.
  • the message information E “Please complete” is created (S4).
  • the message information E is output from the message information creation unit 611 to the input / output interface unit 62 and is further output from the input / output interface unit 62 to the speaker 9.
  • a voice message is output from the speaker 9 “Soon it will enter the general road.
  • switch to manual operation mode By that time, please complete preparations for manual operation” (S5). ).
  • the driver's line-of-sight direction determination unit 613 receives the activation signal B, the reason information S, and the preparation time information t output from the operation mode switching signal reception unit 610.
  • driver monitoring video data G is acquired from the driver video storage unit 632, and the driver's line-of-sight direction is detected based on the acquired driver monitoring video data G.
  • the driver's line-of-sight direction information H as the detection result is output to the projection pattern control unit 614 together with the reason information S and the preparation time information t (S6).
  • the processing until the driver's line-of-sight direction is determined by the driver's line-of-sight direction determination unit 613 based on the driver monitoring video data G is very short in time. Implemented and considered near real time.
  • the driver gaze direction determination unit 613 directly acquires the driver monitoring video data G from the driver video acquisition unit 612, and detects the driver's gaze direction based on the directly acquired driver monitoring video data G. You may make it do.
  • Driver gaze direction information H, reason information S, and preparation time information t which are detection results output from the driver gaze direction determination unit 613, are received by the projection pattern control unit 614.
  • the projection pattern information I is acquired from the projection pattern storage unit 633 according to the reason information S, and the projection pattern information I is output to the input / output interface unit 62 together with the driver gaze direction information H. . Further, the projection pattern information I and the driver sight line direction information H are output to the projector 8 by the input / output interface unit 62. In response to this, the projection direction of the projector 8 is directed to the direction specified by the driver gaze direction information H. Thereafter, projection of the indicator is started from the projector 8 according to the projection pattern information I (S7).
  • step S5 the voice message is output from the speaker 9, and in step S7, the projection of the indicator is started. Is almost the same time.
  • the projection pattern control unit 614 starts counting down from the preparation time (for example, 60 seconds) defined by the preparation time information t (S8).
  • the indicator Y has a donut shape formed between a circle having a radius r ⁇ b> 1 centering on an intersection point X between the driver's line-of-sight direction and the windshield 72 and a circle having a radius r ⁇ b> 2.
  • the radius r1 is a sufficiently short distance that does not hinder the driver's forward confirmation.
  • the indicator Y does not obstruct the driver's line-of-sight direction, so it does not hinder forward confirmation by the driver, and the driver does not directly look at the indicator Y, so Since it can be sensed that the area decreases, the progress of the countdown can be easily recognized.
  • the indicator Z does not obstruct the driver's line-of-sight direction, and thus does not hinder forward confirmation by the driver, and the driver reads the numerical value at a distance without looking directly at the indicator Z. Therefore, the progress of the countdown can be easily recognized.
  • the operation mode switching control system 10 functions as a display device for displaying the countdown state until the operation mode of the vehicle traveling in the automatic operation mode is switched to the manual operation mode, and the indicator Y is projected. Is started, the indicator Y is gradually hidden, the countdown progresses, and the indicator Y is hidden, so that the driver knows the end of the countdown. .
  • the start of the countdown is grasped by the driver by starting the projection of the indicator Z.
  • the numerical value of the indicator Z changes, the progress of the countdown is grasped by the driver.
  • the numerical value of the indicator Z indicates zero and is not displayed, the end of the countdown is recognized by the driver.
  • an operation signal K is output from the projection pattern control unit 614 to the operation mode switching signal output unit 615.
  • the operation mode switching signal output unit 615 outputs an operation mode switching control signal L for requesting switching from the automatic operation mode to the manual operation mode to the input / output interface unit 62, and further inputs / outputs.
  • the data is output from the interface unit 62 to the automatic operation control device 5.
  • the automatic operation control device 5 switches from the automatic operation mode to the manual operation mode (S12).
  • the operation mode switching control system 10 realizing the display device according to the present embodiment displays the countdown state until the operation mode of the vehicle 1 traveling in the automatic operation mode is switched to the manual operation mode. be able to.
  • the driver can recognize that it is necessary to start preparation for switching from the automatic operation mode to the manual operation mode. Further, as the countdown progresses, the driver can recognize the progress of the countdown by hiding a part of the indicator Y or changing the numerical value of the indicator Z. Furthermore, by making the indicator Y non-displayed or displaying zero as the numerical value of the indicator Z and making it non-display immediately after that, the driver can be made aware of the end of the countdown.
  • the indicators Y and Z do not obstruct the driver's line of sight, they do not hinder forward confirmation by the driver, and the driver can change the indicators Y and Z without looking directly at the indicators Y and Z. Since it can be seen from a distance, it is possible to easily recognize the progress of the countdown.
  • the driver can complete preparations for manual operation with a margin before the countdown is completed, and safe handover to manual operation can be realized.
  • the present invention is not limited to such a configuration.
  • the windshield 72 functioning as the display 80 according to the driver's line-of-sight direction information H and the projection pattern information I output from the projection pattern control unit 614 output from the input / output interface unit 62. It is also possible to realize without using the projector 8 by causing the indicators Y and Z to be displayed on the screen.
  • [Appendix 1] A device for displaying a countdown state until the driving mode of the vehicle running in the automatic driving mode is switched to the manual driving mode, A detection unit and a control processor; The control processor is Let the detection unit detect the gaze direction of the driver of the vehicle, A display device that controls an indicator indicating the countdown state to be displayed on a portion of the windshield of the vehicle that does not block the line-of-sight direction detected by the detection unit.
  • Appendix 2 A device for displaying a countdown state until the driving mode of the vehicle running in the automatic driving mode is switched to the manual driving mode, A detector, a display panel provided between the windshield of the vehicle and the driver, and a control processor, The control processor is Let the detection unit detect the gaze direction of the driver of the vehicle, A display device that controls an indicator indicating the countdown state to be displayed on a portion of the display panel that does not block the line-of-sight direction detected by the detection unit.
  • Appendix 3 A method for displaying a countdown state until a driving mode of a vehicle traveling in an automatic driving mode is switched to a manual driving mode, Using the detection unit, the line-of-sight direction of the driver of the vehicle is detected, The display method of controlling so that the indicator which shows the state of the said countdown is displayed on the site
  • Appendix 4 A method for displaying a countdown state until a driving mode of a vehicle traveling in an automatic driving mode is switched to a manual driving mode, Using the detection unit, the line-of-sight direction of the driver of the vehicle is detected, Using a processor, an indicator indicating the countdown state is displayed on a portion of the display panel provided between the windshield of the vehicle and the driver that does not obstruct the detected line-of-sight direction. To control the display method.

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

自動運転モードで走行している車両の運転モードを手動運転モードに切り替えるまでのカウントダウンの状態を表示するための装置であって、車両の運転者の視線方向を検出する運転者カメラ7と、車両のフロントガラス上の、運転者カメラ7によって検出された視線方向を遮らない部位に、カウントダウンの状態を示すインジケータが表示されるように制御する投影パターン制御部614とを備える。

Description

表示装置および表示方法
 本発明は、自動運転モードで走行している車両の運転モードを手動運転モードに切り替えるまでのカウントダウンの状態を表示するための装置および方法に関する。
 近年、車両の運転モードとして、運転者の運転操作に基づいて車両を走行させる手動運転モード以外に、運転者の運転操作によらず予め設定された経路に沿って車両を走行させる自動運転モードの開発が進められている。自動運転モードは、例えば、GPS(Global Positioning System)を利用したナビゲーションシステムの情報や、路車間通信により取得される交通情報、周辺の人や車両の位置と動きを監視する周辺モニタリングシステムの情報をもとに、パワーユニットや操舵装置、ブレーキ等を制御することで、車両の自動運転を可能にするものである(例えば特開2015-141053号公報を参照)。
 このような自動運転モードによって、運転者の運転操作の負担軽減や交通渋滞の緩和等の効果が期待されている。
 例えば、高速道路は、路車間通信も整備され、信号もなく、歩行者もおらず、車線も片側に確実に設けられており、運転操作の大部分が、比較的単調なものになることから、自動運転モードでの運転に適した区間であると考えられる。しかしながら、路車間通信が整備されていなかったり、両側一車線しかなかったり、車線が消えているような一般道では、まだまだ自動運転モードでの運転は困難である。
 したがって、高速道路において自動運転モードで運転していても、高速道路を出る場合には、一般道に到達するまでに、自動運転モードから手動運転モードへ切り替える必要がある。
 例えば、走行計画にしたがって、車両が高速道路を自動運転モードで走行している場合、車両側では、現在位置から、高速道路の出口および一般道までの距離を常に把握できるので、現在の速度から、高速道路を出て、一般道に到達するまでの所要時間をも推定することができる。そして、例えば、一般道に到達するまでの時間が60秒になった時点で、「まもなく一般道に入ります。60秒後に、手動運転モードに切り替えます。それまでに、手動運転の準備を完了させて下さい」というような音声アナウンスが出力される。また、カーナビ画面、タブレット画面、メータ画面等の画面から、「あと60秒」、「あと59秒」・・・・のようなカウントダウン表示がなされる。
 一方、高速道路を自動運転モードで走行している場合であっても、例えば霧や大雨といった天候不良によって、車両の外部センサが正常に動作しなくなることによって、自動運転モードを継続できなくなる場合もありうる。このような場合、車両によって、自動運転モードを継続できないことが判断され、「天候不良により自動運転モードを継続できないので、60秒後に、手動運転モードに切り換えます。それまでに、手動運転の準備を完了させて下さい」のような音声アナウンスが出力される。この場合も同様に、「あと60秒」、「あと59秒」・・・・のようなカウントダウン表示が、一般に、カーナビ画面、タブレット画面、メータ画面等の画面からなされる。
 なお、自動運転モードから手動運転モードへの切り替え準備のための時間は、自動車メーカ等によって個別に適切に設定されるものであり、前述した60秒は一例であって、限定されるものではない。
 運転者は、カウントダウンが終了するまでの間に、運転姿勢を取り、前方を向き、ハンドルを握り、アクセルを調整するといった、手動運転に必要な一連の準備を完了させねばならない。
 しかしながら、このような音声アナウンスやカウントダウン表示には、以下のような問題がある。
 例えば60秒という時間は、前述したように手動運転に必要な一連の準備を完了させるための時間としては、十分な長さであるように思われる。しかしながら、運転者の中には、60秒を十分な長さであるとは感じず、むしろ、非常に短い長さであると感じる者もいるかもしれない。
 一方、自動運転により、運転の緊張から解放された状態に心地よく浸っており、もうすぐ自動運転が終了する頃だという意識も持たず、手動運転に対する心の準備がまったくできていない運転者にとっては、「・・・60秒後に、手動運転モードに切り替えます。」という突然のアナウンスによって、軽いパニック状態に陥る恐れもありうる。
 そのような運転者にとっては、例えば60秒という時間は、非常に短く感じ、焦ってしまうことがないとも限らない。さらに、このような状態でカウントダウンの表示が始まると、そちらに気を取られてしまう。特に、このカウントダウンの表示が一般になされるカーナビ画面、タブレット画面、またはメータ画面等といった画面は、運転者の視線前方にはないことから、運転者の脇見を誘発する恐れがある。
 カウントダウン中は、本来、運転者が、手動運転の準備をすべき期間である。しかしながら、これでは、運転者は、その間に手動運転の準備をするよりも、むしろ、画面上になされる表示自体に気も視線も取られてしまい、気が付いた時には、カウントダウンが終了し、手動運転に対する準備ができていない状態のまま、手動運転モードに切り替わってしまうという恐れも懸念される。
 この場合、手動運転モードへの安全な引き継ぎができず、手動運転モードに切り替わった途端に、運転が不安定になる恐れがあるという問題がある。
 本発明はこのような事情に鑑みてなされたものであり、自動運転モードから手動運転モードに切り替えるまでのカウントダウンの状態を、運転者の手動運転への準備を阻害しないように表示し、もって、運転者が、切り替えまでの時間を認識しながら、手動運転への準備を確実に実施できるようにするための表示装置および表示方法を提供することを目的とする。
 上記の目的を達成するために、本発明では、以下のような手段を講じる。
 すなわち、この発明の第1の態様は、自動運転モードで走行している車両の運転モードを手動運転モードに切り替えるまでのカウントダウンの状態を表示するための装置であって、前記車両の運転者の視線方向を検出する検出部と、前記車両のフロントガラス上の、前記検出部によって検出された視線方向を遮らない部位に、前記カウントダウンの状態を示すインジケータが表示されるように制御する表示制御部とを備える。
 この発明の第2の態様は、第1の態様の表示装置において、前記表示制御部は、前記車両のフロントガラス上の、前記検出部によって検出された視線方向を遮らない部位であって、かつ、前記フロントガラス上における前記視線方向との交点からの所定距離内に、前記インジケータが表示されるように制御する。
 この発明の第3の態様は、第1の態様の表示装置において、前記検出部によって前記視線方向が変化したことが検出されると、前記表示制御部は、前記フロントガラス上の前記インジケータの位置が、前記変化に応じて変化するように制御する。
 この発明の第4の態様は、自動運転モードで走行している車両の運転モードを手動運転モードに切り替えるまでのカウントダウンの状態を表示するための装置であって、前記車両の運転者の視線方向を検出する検出部と、前記車両のフロントガラスと、前記運転者との間に設けられた表示パネルと、前記表示パネル上の、前記検出部によって検出された視線方向を遮らない部位に、前記カウントダウンの状態を示すインジケータが表示されるように制御する表示制御部とを備える。
 この発明の第5の態様は、第4の態様の表示装置において、前記表示制御部が、前記表示パネル上における前記視線方向との交点からの所定距離内に、前記インジケータが表示されるように制御する。
 この発明の第6の態様は、第4の態様の表示装置において、前記検出部によって前記視線方向が変化したことが検出されると、前記表示制御部は、前記表示パネル上の前記インジケータの位置が、前記変化に応じて変化するように制御する。
 この発明の第7の態様は、第1乃至6のうちの何れかの態様の表示装置において、前記検出部が、前記運転者を撮像するカメラであり、前記カメラによって撮像された映像情報から、前記視線方向を判定する判定部をさらに備える。
 この発明の第8の態様は、第1乃至7のうちの何れかの態様の表示装置において、前記インジケータを投影表示するプロジェクタを備え、前記表示制御部は、前記プロジェクタを制御する。
 この発明の第9の態様は、第1乃至8のうちの何れかの態様の表示装置において、前記インジケータが、前記カウントダウンの状態を示す数値表示を含む。
 この発明の第10の態様は、第1乃至9のうちの何れかの態様の表示装置において、前記インジケータは、前記視線方向を中心とし、前記視線方向を囲むように配置されたドーナッツ形状をしており、前記表示制御部は、前記カウントダウンの開始時には、前記ドーナッツ形状のインジケータが表示され、前記カウントダウンの終了時には前記インジケータが表示されなくなるように、前記カウントダウンの進行に従って、前記ドーナッツ形状における円環部位が徐々に非表示となるように制御する。
 この発明の第11の態様は、自動運転モードで走行している車両の運転モードを手動運転モードに切り替えるまでのカウントダウンの状態を表示するための方法であって、前記車両の運転者の視線方向を検出し、前記車両のフロントガラス上の、前記検出された視線方向を遮らない部位に、前記カウントダウンの状態を示すインジケータを表示する。
 この発明の第12の態様は、自動運転モードで走行している車両の運転モードを手動運転モードに切り替えるまでのカウントダウンの状態を表示するための方法であって、前記車両の運転者の視線方向を検出し、前記車両のフロントガラスと、前記運転者との間に設けられた表示パネル上の、前記検出された視線方向を遮らない部位に、前記カウントダウンの状態を示すインジケータを表示する。
 この発明の第1、11の態様によれば、フロントガラス上にインジケータの表示を開始することによって、運転者に対して、自動運転モードから手動運転モードへの切り替えのための準備を開始する必要があることを認識させることができる。また、インジケータは、カウントダウンの状態を示すので、運転者は、手動運転モードへの切り替えが実行されるまでの時間を把握することが可能となる。しかも、インジケータは、運転者の視線方向を遮らないので、運転者による前方確認を阻害せず、安全性を損なうことはない。
 この発明の第2、5の態様によれば、インジケータを、フロントガラス上における前記視線方向との交点上に表示せず、交点から適切な距離離れた場所に表示することによって、運転者の視線方向を遮らず、かつ、運転者が、インジケータを遠目に見ることによって、カウントダウンの状態を容易に認識することが可能となる。
 この発明の第3、6の態様によれば、運転者の視線方向が変化しても、インジケータが表示される位置も、それに連動して移動することになるので、運転者は、視線方向を変えても、同様に、カウントダウンの状態を容易に認識することが可能となる。
 この発明の第4、12の態様によれば、フロントガラスと運転者との間に設けられた表示パネル上にインジケータの表示を開始することによって、運転者に対して、自動運転モードから手動運転モードへの切り替えのための準備を開始する必要があることを認識させることができる。また、インジケータは、カウントダウンの状態を示すので、運転者は、手動運転モードへの切り替えが実行されるまでに時間を把握することが可能となる。しかも、インジケータは、運転者の視線方向を遮らないので、運転者による前方確認を阻害せず、安全性を損なうことはない。
 この発明の第7の態様によれば、カメラで運転者を撮像することによって、運転者の視線方向を精度よく判定することが可能となる。
 この発明の第8の態様によれば、プロジェクタからインジケータを投影することが可能となる。
 この発明の第9の態様によれば、インジケータとして、数値表示することによって、運転者は、手動運転モードへの切り替えが実行されるまでの時間を正確に把握することが可能となる。
 この発明の第10の態様によれば、運転者は、インジケータを直視せずとも、円環部位の面積が減少することを感知できるので、カウントダウンの進行を容易に認識することが可能となる。
図1は、本実施形態に係る表示装置を実現する運転モード切替制御システムを備えた自動運転制御システムの全体構成例を示す図である。 図2は、本実施形態における車両1の運転席内を例示する模式図である。 図3は、本実施形態における運転モード切替制御システムの機能構成例を示すブロック図である。 図4は、カウントダウンに従って形状が変化するインジケータの一例を示す模式図である。 図5は、数値として表示されるインジケータの表示例を示す図である。 図6は、運転者の視線方向の変化に応じて移動するインジケータの表示例を示す模式図である。 図7は、本実施形態における運転モード切替制御システムの動作例を示すフローチャート(1/2)である。 図8は、本実施形態における運転モード切替制御システムの動作例を示すフローチャート(2/2)である。 図9は、フロントガラスと運転者との間に配置された透明な表示パネルの配置例を示す模式図である。 図10は、変形例における運転モード切替制御システムの機能構成例を示すブロック図である。
 以下、図面を参照して本発明に係る実施形態を説明する。
 (構成)
 本発明の実施形態に係る表示方法が適用された表示装置について説明する。
 図1は、本実施形態に係る表示装置を実現する運転モード切替制御システム10を備えた自動運転制御システムの全体構成例を示す図である。この自動運転制御システムは乗用車等の車両1に搭載される。
 車両1は、基本設備として、動力源および変速装置を含むパワーユニット2と、ステアリングホイール4が装備された操舵装置3とを備え、さらに運転モードとしては手動運転モードと自動運転モードとを備えている。動力源としては、エンジンまたはモータ、あるいはその両方が用いられる。
 手動運転モードは、例えば、運転者(以下「ドライバ」とも称する)の手動による運転操作を主体として車両1を走行させるモードである。手動運転モードには、例えば、運転者の運転操作のみに基づいて車両を走行させる動作モードと、運転者の運転操作を主体としながら運転者の運転操作を支援する運転操作支援制御を行う動作モードが含まれる。
 運転操作支援制御は、例えば、車両1のカーブ走行時にカーブの曲率に基づいて運転者の操舵が適切な操舵量となるように操舵トルクをアシストする。また、運転操作支援制御には、運転者のアクセル操作(例えばアクセルペダルの操作)またはブレーキ操作(例えばブレーキペダルの操作)を支援する制御と、手動操舵(操舵の手動運転)および手動速度調整(速度調整の手動運転)も含まれる。手動操舵は、運転者のステアリングホイール4の操作を主体として車両1の操舵を行う。手動速度調整は、運転者のアクセル操作またはブレーキ操作を主体として車両の速度調整を行う。
 なお、運転操作支援制御には、運転者の運転操作に強制的に介入して、車両1を自動走行させる制御は含まれない。すなわち、手動運転モードには、予め設定された許容範囲において運転者の運転操作を車両の走行に反映させるが、一定条件(例えば車両の車線逸脱等)の下で車両の走行に強制的に介入する制御は含まれない。
 一方、自動運転モードは、例えば、車両1の走行する道路に沿って自動で車両1を走行させる運転状態を実現するモードである。自動運転モードには、例えば、運転者が運転操作をすることなく、予め設定された目的地に向かって自動的に車両1を走行させる運転状態が含まれる。自動運転モードは、必ずしも車両1の全ての制御を自動で行う必要はなく、予め設定された許容範囲において運転者の運転操作を車両1の走行に反映する運転状態も自動運転モードに含まれる。すなわち、自動運転モードには、予め設定された許容範囲において運転者の運転操作を車両1の走行に反映させるが、一定条件の下で車両の走行に強制的に介入する制御が含まれる。
 図1において、5は上記自動運転モードによる運転制御を実行するための自動運転制御装置を示している。自動運転制御装置5は、ステアリングセンサ11、アクセルペダルセンサ12、ブレーキペダルセンサ13、GPS受信機14、ジャイロセンサ15、および車速センサ16からそれぞれセンシングデータを取得する。そして、これらのセンシングデータと、図示しないナビゲーションシステムで生成される経路情報や、路車間通信により取得される交通情報、周辺の人や車両の位置と動きを監視する周辺モニタリングシステムにより得られる情報をもとに、車両1の走行を自動制御する。
 自動制御には、例えば、自動操舵(操舵の自動運転)と自動速度調整(速度の自動運転)がある。自動操舵は、操舵装置3を自動で制御する運転状態である。自動操舵にはLKA(Lane Keeping Assist)が含まれる。LKAは、例えば、運転者がステアリング操作をしない場合であっても、車両1が走行車線から逸脱しないように自動で操舵装置3を制御する。なお、LKAの実行中であっても、車両1が走行車線を逸脱しない範囲(許容範囲)において運転者のステアリング操作を車両の操舵に反映しても良い。なお、自動操舵はLKAに限らない。
 自動速度調整は、車両1の速度を自動で制御する運転状態である。自動速度調整にはACC(Adaptive Cruise Control)が含まれる。ACCとは、例えば、車両1の前方に先行車が存在しない場合は予め設定された設定速度で車両1を定速走行させる定速制御を行い、車両1の前方に先行車が存在する場合には先行車との車間距離に応じて車両1の車速を調整する追従制御を行うものである。自動運転制御装置5は、ACCを実行中であっても、運転者のブレーキ操作(例えばブレーキペダルの操作)に応じて車両1を減速させる。また自動運転制御装置5は、ACCを実行中であっても、予め設定された最大許容速度(例えば走行中の道路において法的に定められた最高速度)まで、運転者のアクセル操作(例えばアクセルペダルの操作)に応じて車両1を加速させることもできる。なお、自動速度調整は、ACCに限らず、CC(Cruise Control:定速制御)等も含まれる。
 本実施形態において、自動運転制御システムは、手動運転モードと自動運転モードとの間の切り替え制御を行うための装置として、運転モード切替制御システム10を備えている。運転モード切替制御システム10は、本実施形態に係る表示装置を実現する。本実施形態に係る表示装置は、自動運転モードで走行している車両1の運転モードを手動運転モードに切り替えるまでのカウントダウンの状態を表示するための装置である。したがって、以下では、運転モード切替制御システム10においてなされる自動運転モードから手動運転モードへの切替時の制御について説明し、手動運転モードから自動運転モードへの切替時の制御についての説明は省略する。
 運転モード切替制御システム10は、運転モード切替制御装置6と、運転者カメラ7と、プロジェクタ8と、スピーカ9とを備えている。
 図2は、本実施形態における車両1の運転席内を例示する模式図である。
 図3は、同実施形態における運転モード切替制御システム10の機能構成例を示すブロック図である。
 運転者カメラ7は、例えばダッシュボード70上のように、運転者を撮像できる場所に配置され、運転者を撮像し、その映像信号Fを運転モード切替制御装置6へ出力する。
 スピーカ9は、運転モード切替制御装置6から出力されたメッセージ情報Eに基づいて、自動運転モードから手動運転モードへの切り替えのための準備の開始を通知する音声情報を出力する。音声情報は、例えば、「あと60秒後に、手動運転モードに切り替えます。それまでに、手動運転への準備を完了させて下さい」のようなものである。また、自動運転モードから手動運転モードへの切り替え終了時に、「手動運転モードへの切り替えが完了しました」のような音声情報を出力しても良い。
 プロジェクタ8は、例えばダッシュボード70上に配置され、運転モード切替制御装置6から出力された投影パターン情報Iと、運転者視線方向情報Hとに基づいて、自動運転モードから手動運転モードへの切り替えのための準備の開始に応じてなされるカウントダウンの状態を示すインジケータを、フロントガラス72上に投影する。インジケータは、カウントに対応する数値表示でもよいし、カウントダウンに従ってその一部が徐々に非表示となるような画像情報でも良い。あるいは、例えば、カウントダウンに従って砂が落下するように表示される砂時計表示であっても良い。運転者視線方向情報Hは、インジケータが投影されるフロントガラス72上の位置を決定するために使用される。
 運転モード切替制御装置6は、運転モードの切り替えを統括的に制御する装置であり、制御ユニット61、入出力インタフェースユニット62、および記憶ユニット63を備える。
 入出力インタフェースユニット62は、自動運転制御装置5から出力された手動運転切替要求情報Aを受信し、制御ユニット61へ出力する。自動運転制御装置5は、車両1の運転モードが自動運転モードから手動運転モードへ切り替わる場合、切り替えのための準備を開始するタイミング(例えば手動運転モードに切り替わる60秒前)において、手動運転切替要求情報Aを出力する。
 自動運転制御装置5が、手動運転切替要求情報Aを出力するタイミングの具体例を、予め設定された走行計画にしたがって高速道路を自動運転モードで走行している車両1が、一般道に入るまでの間に、手動運転モードへの切り替えを行う場合を例に説明する。
 自動運転制御装置5は、GPS受信機14によって車両1の位置を、車速センサ16によって車両1の速度を、常時把握している。したがって、予め設定された走行計画と、GPS受信機14によって把握された車両1の位置と、車速センサ16によって把握された車両1の速度とを考慮することにより、手動運転モードでの運転が必要な一般道に到達するまでの所要時間(例えば、あと300秒)を計算する。さらに、自動運転モードから手動運転モードへの切り替えのための準備に要する時間(例えば、60秒)を所要時間から減算することにより、切り替えのための準備を開始するタイミング(例えば、300-60=240秒後)を決定する。そして、このタイミング(例えば、240秒後)になると、手動運転切替要求情報Aを出力する。
 なお、自動運転モードから手動運転モードへの切り替えのための準備に要する時間(以下、「準備時間」とも称する)は、60秒に限定されるものではなく、他の時間でも良い。また、例えば、高速道路から一般道に出ることにより手動運転モードに切り替える場合には60秒、天候不良により切り替える場合には30秒、緊急事態により切り替える場合には4秒のように、自動運転制御装置5は、各ケースに応じて異なる準備時間を設定するようにしても良い。
 手動運転切替要求情報Aは、切り替えの理由を示す理由情報Sと、準備時間情報tとも含んでいる。
 理由情報Sは、例えば、高速道路から一般道へ入るための切り替えの場合はS1、天候不良による切り替えの場合はS2、緊急事態による切り替えの場合はS3、その他の場合はS3のように設定する。
 準備時間情報tは、準備時間の長さを例えば秒単位(例えば、60、30、4等)で示す。
 入出力インタフェースユニット62は、このように理由情報Sおよび準備時間情報tを含む手動運転切替要求情報Aを受信し、制御ユニット61へ出力する。
 入出力インタフェースユニット62はまた、運転者カメラ7から出力された映像信号Fを受信し、そのデジタルデータ(運転者監視映像データ)Gとして制御ユニット61へ出力する。
 入出力インタフェースユニット62はまた、制御ユニット61から出力された投影パターン情報Iおよび運転者視線方向情報Hを、プロジェクタ8へ出力する。入出力インタフェースユニット62はさらに、制御ユニット61から出力されたメッセージ情報Eをスピーカ9へ出力する。さらにまた、制御ユニット61から出力された運転モード切替制御信号Lを、自動運転制御装置5へ出力する。
 記憶ユニット63は、記憶媒体として、例えばSSD(Solid State Drive)やHDD(Hard Disk Drive)等の随時書き込みおよび読み出しが可能な不揮発性メモリを使用しており、本実施形態を実現するために使用する記憶領域として、メッセージフォーマット情報記憶部631、運転者映像記憶部632、および投影パターン記憶部633を備えている。
 制御ユニット61は、コンピュータを構成するCPU(Central Processing Unit)およびプログラムメモリを有し、本実施形態を実現するために必要な制御機能として、運転モード切替信号受信部610、メッセージ情報作成部611、運転者映像取得部612、運転者視線方向判定部613、投影パターン制御部614、および運転モード切替信号出力部615を備えている。なお、これらの制御機能はいずれも上記プログラムメモリに格納されたプログラムを上記CPUに実行させることにより実現される。
 運転モード切替信号受信部610は、入出力インタフェースユニット62から出力された手動運転切替要求情報Aを受信すると、メッセージ情報作成部611の動作を開始するための起動信号Bを生成する。そして、起動信号Bを、手動運転切替要求情報Aに含まれる理由情報Sおよび準備時間情報tとともにメッセージ情報作成部611および運転者視線方向判定部613へ出力する。
 メッセージ情報作成部611は、運転モード切替信号受信部610から出力された起動信号B、理由情報S、および準備時間情報tを受信する。そして、理由情報Sに対応するメッセージフォーマット情報Cを、メッセージフォーマット情報記憶部631から取得する。
 メッセージフォーマット情報記憶部631は、理由情報Sに対応するメッセージフォーマット情報Cを予め記憶している。例えば、理由情報S1に対応するメッセージフォーマット情報C1は、「まもなく一般道に入ります。t秒後に、手動運転モードに切り替えます。それまでに、手動運転への準備を完了させて下さい」であり、理由情報S2に対応するメッセージフォーマット情報C2は、「天候不良により自動運転モードを継続できないので、t秒後に、手動運転モードに切り換えます。それまでに、手動運転の準備を完了させて下さい」であり、理由情報S3に対応するメッセージフォーマット情報C3は、「緊急事態発生により、t秒後に、手動運転モードに切り換えます。直ちに手動運転の準備を完了させて下さい」という具合である。
 メッセージ情報作成部611は、その後、取得したメッセージフォーマット情報Cの「t」に、準備時間情報tの値を適用する。これによって、例えば、理由情報S1、準備時間t(=60)であれば、「まもなく一般道に入ります。60秒後に、手動運転モードに切り替えます。それまでに、手動運転への準備を完了させて下さい」というメッセージ情報Eを作成する。メッセージ情報作成部611は、メッセージ情報Eを、入出力インタフェースユニット62へ出力する。
 入出力インタフェースユニット62は、メッセージ情報作成部611から出力されたメッセージ情報Eを受信し、スピーカ9へ出力する。これによって、スピーカ9から、「まもなく一般道に入ります。60秒後に、手動運転モードに切り替えます。それまでに、手動運転への準備を完了させて下さい」という音声メッセージが出力されるようになる。
 メッセージフォーマット情報記憶部631に、新たなメッセージフォーマット情報Cを追加したり、メッセージフォーマット情報記憶部631内の既存のメッセージフォーマット情報Cを更新することによって、様々なメッセージ情報Eの作成が可能となっている。
 運転者映像取得部612は、運転者監視映像データGを入出力インタフェースユニット62から取り込み、運転者監視映像データGを運転者映像記憶部632に記憶させる。
 運転者視線方向判定部613は、運転モード切替信号受信部610から出力された起動信号B、理由情報S、および準備時間情報tを受信する。そして、起動信号Bに応じて、運転者映像記憶部632に記憶された運転者監視映像データGの取得を開始し、取得した運転者監視映像データGに基づいて、運転者の視線方向を検出し、検出結果である運転者視線方向情報Hを、理由情報S、および準備時間情報tとともに投影パターン制御部614へ出力する。なお、運転者カメラ7によって運転者が撮影され、その運転者監視映像データGに基づいて、運転者視線方向判定部613によって運転者の視線方向が判定されるまでの処理は、極めて短時間で実施され、ほぼリアルタイムとみなすことができる。
 また、上記では、運転者映像取得部612からの運転者監視映像データGを、いったん運転者映像記憶部632に記憶させ、運転者視線方向判定部613は、運転者映像記憶部632から運転者監視映像データGを取得するとしている。しかしながら、運転者視線方向判定部613は、運転者監視映像データGを、運転者映像取得部612から直接取得し、直接取得した運転者監視映像データGに基づいて、運転者の視線方向を検出するようにしても良い。この場合は、運転者映像記憶部632は、省略されることが可能である。
 投影パターン制御部614は、運転者視線方向判定部613から出力された運転者視線方向情報H、理由情報S、および準備時間情報tを受信する。そして、これに応じて、準備時間情報tで定義された準備時間(例えば、60秒)からのカウントダウンを開始する。なお、カウントダウンは、通常、1秒毎になされるが、これに限るものではない。
 投影パターン制御部614はさらに、理由情報Sに応じて、投影パターン記憶部633から投影パターン情報Iを取得し、投影パターン情報Iを、運転者視線方向情報Hとともに入出力インタフェースユニット62へ出力する。入出力インタフェースユニット62は、投影パターン情報Iおよび運転者視線方向情報Hをプロジェクタ8へ出力する。
 投影パターン情報Iは、プロジェクタ8から投影される、カウントダウンの状態を示すインジケータを定義した情報であって、インジケータは、カウントに対応する数値でもよいし、カウントダウンに従ってその一部が徐々に非表示となるような画像でも良い。
 プロジェクタ8は、運転者視線方向情報Hで指定された方向に投影方向を向け、投影パターン情報Iによって定義されたインジケータを投影する。
 インジケータYは、例えば、図2に例示するように、運転者視線方向とフロントガラス72との交点Xを中心とする半径r1の円と、半径r2の円との間に形成されるドーナッツ形状であっても良い。この場合、投影パターン情報Iは、図4に例示するように、円環部位の面積が、カウントダウンに従って徐々に減少するような、ドーナッツ形状のインジケータYを定義する。すなわち、ドーナッツ形状の円環部位が徐々に非表示となり、カウントダウンが終了すると、ドーナッツ形状が消滅するような定義となる。
 なお、半径r1は、運転者の前方確認を阻害しない程度に短い距離とする。
 このような投影パターンによれば、インジケータYは、運転者視線方向を遮らないので、運転者による前方確認を阻害せず、しかも、運転者は、インジケータYを直視せずとも、円環部位の面積が減少することを感知できるので、カウントダウンの進行を容易に認識する。
 なお、ドーナッツ形状のインジケータYは、カウントダウンに従って、図4のように時計回りに非表示になるものに限られるものではなく、例えば、その逆に、カウントダウンに従って、反時計回りに非表示になるような投影パターン情報Iを定義することもできる。
 また、インジケータYの形状は、ドーナッツ形状に限定されるものではなく、例えば、縦長または横長のバー形状であっても良く、カウントダウンに従って、バーの長さが短くなるような投影パターン情報Iを定義することもできる。あるいは、例えば、カウントダウンに従って砂が落下するように表示される砂時計表示とすることもできる。
 また、図5は、画像情報ではなく、数値表示としたインジケータZの表示例を示す図である。インジケータZとして数値表示を用いる場合であっても、運転者視線方向とフロントガラス72との交点Xから、運転者の前方確認を阻害しない程度に短い距離r1離れた場所に、カウントダウンを示す数値を表示するものとする。この場合、投影パターンは、カウントダウンに従って数が減少する数値であるインジケータを定義する。
 このような投影パターンによっても、インジケータZは、運転者視線方向を遮らないので、運転者による前方確認を阻害せず、しかも、運転者は、インジケータZを直視せずとも、遠目で数値を読み取ることができるので、カウントダウンの進行を容易に認識する。
 なお、運転者の視線方向が変化すると、それが運転者カメラ7によって撮影され、結果的に、プロジェクタ8に入力される運転者視線方向Hも変化するので、インジケータY、Zの表示される位置も、図6(a)および図6(b)に示すように、それに連動して移動する。よって、運転者は、視線方向を変えても、同様にカウントダウンの進行を認識する。
 投影パターン記憶部633は、投影パターン情報Iを記憶している。
 投影パターン記憶部633に、新たな投影パターン情報Iを追加したり、投影パターン記憶部632内の既存の投影パターン情報Iを更新することによって、様々な投影パターンを定義することが可能となっている。
 投影パターン制御部614は、投影パターン記憶部633から、任意の投影パターン情報Iを取得することが可能であるが、デフォルトで設定されている、または、運転者によって予め選択されている投影パターン情報Iを取得することが好ましい。なぜなら、自動運転モードから手動運転モードへの切り替えが行われる度に、カウントダウンの進行に従って毎回異なる投影パターン情報Iに従って投影されれば、運転者が戸惑う恐れもあるからである。したがって、デフォルトで何れかの投影パターン情報Iを設定しておき、運転者からの変更要求がない限り、投影パターン制御部614は、デフォルトで設定された投影パターン情報Iを取得し続けるのが良い。
 なお、カウントダウンの進行を、より明確に運転者に対して認識させるために、インジケータX、Yの色を、カウントダウンに従って変化させるようにしても良い。
 さらには、インジケータの色は、同一色に限定されるものではない。例えば、カウントダウンの進行状況を、より明確に具体的に運転者に対して認識させるために、インジケータのうち、最初に非表示とされる1/3の領域を青色で投影し、次いで非表示とされる1/3の領域を黄色で投影し、最後に非表示とされる1/3の領域を赤色で投影するようにしても良い。
 このように、運転モード切替制御システム10は、自動運転モードで走行している車両の運転モードを手動運転モードに切り替えるまでのカウントダウンの状態を表示するための表示装置として機能する。
 カウントダウンが終了すると、投影パターン制御部614は、運転モード切替信号出力部615へ動作信号Kを出力する。
 これに応じて、運転モード切替信号出力部615は、運転モードの自動運転モードから手動運転モードへの切り替えを要求するための運転モード切替制御信号Lを、入出力インタフェースユニット62へ出力する。入出力インタフェースユニット62は、前述したように、運転モード切替制御信号Lを、自動運転制御装置5へ出力する。
 自動運転制御装置5は、運転モード切替制御信号Lを受信すると、運転モードを自動運転モードから手動運転モードへと切り替える。
 (動作)
 次に、本実施形態に係る表示装置の動作について説明する。前述したように、本実施形態に係る表示装置は、運転モード切替制御システム10によって実現される。したがって、以下では、運転モード切替制御システム10の動作について説明する。本実施形態に係る表示装置の動作説明は、運転モード切替制御システム10の動作説明に含まれる。
 図7および図8は、本実施形態における運転モード切替制御システム10の動作例を示すフローチャートである。
 本実施形態における運転モード切替制御システム10では、例えばダッシュボード70上のように、運転者を撮像できる場所に配置されている運転者カメラ7によって、常時運転者が撮像され、その映像信号Fが、運転モード切替制御装置6へ出力される。そして、この映像信号Fのデジタルデータである運転者監視映像データGが、入出力インタフェース62によって、運転者映像取得部612へ出力され、さらに運転者映像取得部612から運転者映像記憶部632へ出力され、運転者映像記憶部632に記憶されている。
 一方、車両1が自動運転モードで走行している状態から、手動運転モードへの切り替えが必要な場合、切り替えのための準備を開始するタイミングにおいて、自動運転制御装置5から、運転モード切替制御システム10へ手動運転切替要求情報Aが出力される。手動運転切替要求情報Aには、切り替えの理由を示す理由情報Sと、準備時間情報tが含まれている。手動運転切替要求情報Aは、入出力インタフェースユニット62によって受信され、運転モード切替信号受信部610へ出力される(S1)。
 運転モード切替信号受信部610では、入出力インタフェースユニット62から出力された手動運転切替要求情報Aが受信されると、メッセージ情報作成部611の動作を開始するための起動信号Bが生成される。起動信号Bは、手動運転切替要求情報Aに含まれる理由情報Sおよび準備時間情報tとともに、運転モード切替信号受信部610から、メッセージ情報作成部611および運転者視線方向判定部613へ出力される(S2)。
 メッセージ情報作成部611では、運転モード切替信号受信部610から出力された起動信号B、理由情報S、および準備時間情報tが受信される。メッセージ情報作成部611ではさらに、理由情報Sに対応するメッセージフォーマット情報Cが、メッセージフォーマット情報記憶部631から取得される(S3)。例えば、理由情報S1に対応するメッセージフォーマット情報C1は、「まもなく一般道に入ります。t秒後に、手動運転モードに切り替えます。それまでに、手動運転への準備を完了させて下さい」である。
 なお、メッセージフォーマット情報記憶部631に、新たなメッセージフォーマット情報Cを追加したり、メッセージフォーマット情報記憶部631内の既存のメッセージフォーマット情報Cを更新することによって、メッセージ情報作成部611は、様々なメッセージ情報Eを作成することが可能となる。
 メッセージ情報作成部611では、メッセージフォーマット情報Cの「t」に、準備時間情報tの値が適用される。これによって、例えば、理由情報S1、準備時間情報t(=60)であれば、「まもなく一般道に入ります。60秒後に、手動運転モードに切り替えます。それまでに、手動運転への準備を完了させて下さい」というメッセージ情報Eが作成される(S4)。
 このようなメッセージ情報Eは、メッセージ情報作成部611から、入出力インタフェースユニット62へ出力され、さらに、入出力インタフェースユニット62から、スピーカ9へ出力される。これによって、スピーカ9から、「まもなく一般道に入ります。60秒後に、手動運転モードに切り替えます。それまでに、手動運転への準備を完了させて下さい」という音声メッセージが出力される(S5)。
 一方、運転者視線方向判定部613では、運転モード切替信号受信部610から出力された起動信号B、理由情報S、および準備時間情報tが受信される。この起動信号Bに応じて、運転者映像記憶部632から、運転者監視映像データGが取得され、取得した運転者監視映像データGに基づいて、運転者の視線方向が検出される。そして、その検出結果である運転者視線方向情報Hが、理由情報S、および準備時間情報tとともに投影パターン制御部614へ出力される(S6)。なお、運転者カメラ7によって運転者が撮影され、その運転者監視映像データGに基づいて、運転者視線方向判定部613によって運転者の視線方向が判定されるまでの処理は、極めて短時間で実施され、ほぼリアルタイムとみなされる。
 なお、運転者視線方向判定部613は、運転者監視映像データGを、運転者映像取得部612から直接取得し、直接取得した運転者監視映像データGに基づいて、運転者の視線方向を検出するようにしても良い。
 運転者視線方向判定部613から出力された検出結果である運転者視線方向情報H、理由情報S、および準備時間情報tは、投影パターン制御部614によって受信される。
 投影パターン制御部614では、理由情報Sに応じて、投影パターン記憶部633から投影パターン情報Iが取得され、投影パターン情報Iが、運転者視線方向情報Hとともに入出力インタフェースユニット62へ出力される。さらに、投影パターン情報Iおよび運転者視線方向情報Hが、入出力インタフェースユニット62によってプロジェクタ8へ出力される。これに応じてプロジェクタ8の投影方向が、運転者視線方向情報Hで指定された方向に向けられる。その後、プロジェクタ8から、投影パターン情報Iに従ってインジケータの投影が開始される(S7)。
 ステップS3~S5の動作と、ステップS6~S7の動作とは並行して行われ、ステップS5において、スピーカ9から音声メッセージが出力されるのと、ステップS7において、インジケータの投影が開始されるのとは、ほぼ同時である。
 その後、投影パターン制御部614では、準備時間情報tで定義された準備時間(例えば、60秒)からのカウントダウンが開始される(S8)。
 インジケータYは、例えば、図2に例示するように、運転者視線方向とフロントガラス72との交点Xを中心とする半径r1の円と、半径r2の円との間に形成されるドーナッツ形状であっても良い。なお、半径r1は、運転者の前方確認を阻害しない程度に十分短い距離である。
 この場合、図4に例示するように、カウントダウンが進行する(S9)と、カウントダウンに従って、ドーナッツ形状のインジケータYの円環部位が徐々に非表示となり、カウントダウンが終了する(S10:Yes)と、インジケータYは消滅する(S11)。
 このような投影パターンによれば、インジケータYは、運転者視線方向を遮らないので、運転者による前方確認を阻害せず、しかも、運転者は、インジケータYを直視せずとも、円環部位の面積が減少することを感知できるので、カウントダウンの進行を容易に認識することができる。
 また、図5のように、画像情報ではなく、数値であるインジケータZを表示する場合であっても、運転者視線方向とフロントガラス72との交点Xから、運転者の前方確認を阻害しない程度に十分短い距離r1離れた場所に、カウントダウンを示す数値が表示され、カウントダウンに従って、数値も減少し、カウントダウンが終了すると、「0」を表示し、その後は、数値表示が消える。
 このような投影パターンによっても、インジケータZは、運転者視線方向を遮らないので、運転者による前方確認を阻害せず、しかも、運転者は、インジケータZを直視せずとも、遠目で数値を読み取ることができるので、カウントダウンの進行を容易に認識することができる。
 なお、運転者の視線方向が変化すると、それが運転者カメラ7によって撮影され、結果的に、プロジェクタ8に入力される運転者視線方向Hも変化するが、インジケータYの表示される位置も、図6(a)および図6(b)に示すように、それに連動して移動するので、運転者は、視線方向を変えても、同様にカウントダウンの進行を認識することができる。
 このように、運転モード切替制御システム10は、自動運転モードで走行している車両の運転モードを手動運転モードに切り替えるまでのカウントダウンの状態を表示するための表示装置として機能し、インジケータYの投影が開始されることによって、カウントダウンの開始が、インジケータYが徐々に非表示となることによって、カウントダウンの進行が、インジケータYが非表示となることよって、カウントダウンの終了が、運転者によって把握される。
 同様に、数値を表示するインジケータZの場合であっても、インジケータZの投影が開始されることによって、カウントダウンの開始が、運転者によって把握される。また、インジケータZの数値が変化することによって、カウントダウンの進行が、運転者によって把握される。さらに、インジケータZの数値がゼロを示し、非表示となることよって、カウントダウンの終了が、運転者によって把握される。
 このようにカウントダウンが終了すると、投影パターン制御部614から、運転モード切替信号出力部615へ動作信号Kが出力される。これに応じて、運転モード切替信号出力部615からは、自動運転モードから手動運転モードへの切り替えを要求するための運転モード切替制御信号Lが、入出力インタフェースユニット62へ出力され、さらに入出力インタフェースユニット62から、自動運転制御装置5へ出力される。これによって、自動運転制御装置5によって、自動運転モードから手動運転モードへの切り替えが実施される(S12)。
 (効果)
 上述したように、本実施形態に係る表示装置を実現する運転モード切替制御システム10は、自動運転モードで走行している車両1の運転モードを手動運転モードに切り替えるまでのカウントダウンの状態を表示することができる。
 すなわち、インジケータY、Zの投影を開始することによって、運転者に対して、自動運転モードから手動運転モードへの切り替えのための準備を開始する必要があることを認識させることができる。また、カウントダウンの進行に従って、インジケータYの一部を非表示にする、あるいは、インジケータZの数値を変化させることによって、運転者に対して、カウントダウンの進行を認識させることができる。さらに、インジケータYを非表示にする、あるいは、インジケータZの数値としてゼロを表示し、直後に非表示にすることによって、運転者に対して、カウントダウンの終了を認識させることができる。
 また、インジケータY、Zは、運転者視線方向を遮らないので、運転者による前方確認を阻害せず、しかも、運転者は、インジケータY、Zを直視せずとも、インジケータY、Zの変化を遠目で見ることができるので、カウントダウンの進行を容易に認識することが可能である。
 さらには、運転者の視線方向が変化すると、それが運転者カメラ7によって撮影され、結果的に、プロジェクタ8に入力される運転者視線方向Hも変化するので、インジケータY、Zの表示される位置も、図6(a)および図6(b)に示すように、それに連動して移動する。よって、運転者は、視線方向を変えても、同様にカウントダウンの進行を認識することができる。
 以上のことから、運転者は、カウントダウンが終了する前に、手動運転に対する準備を、余裕をもって完了させることが可能となり、手動運転への安全な引き継ぎを実現することが可能となる。
 (変形例)
 上記実施形態では、プロジェクタ8から、フロントガラス72上にインジケータY、Zを投影表示する構成について説明したが、本発明は、このような構成に限定される訳ではなく、図9に示すように、フロントガラス72と、運転者との間に、透明な表示パネル74を備え、フロントガラス72の代わりに、この透明な表示パネル74上にインジケータY、Zを投影表示するようにしても良い。
 また、上記実施形態では、プロジェクタ8を用いてインジケータY、Zを投影する構成について説明したが、本発明は、このような構成に限定される訳ではなく、フロントガラス72として、ディスプレイ機能付フロントガラスを採用し、図10に示すように、入出力インタフェースユニット62から出力される投影パターン制御部614からの運転者視線方向情報Hおよび投影パターン情報Iに従って、ディスプレイ80として機能するフロントガラス72上にインジケータY、Zを表示させるようにすることによって、プロジェクタ8を使用せずに実現することも可能である。
 以上、本発明を実施するための最良の形態について、添付図面を参照しながら説明したが、本発明はかかる構成に限定されない。特許請求の範囲の発明された技術的思想の範疇において、当業者であれば、各種の変更例及び修正例に想到し得るものであり、それら変更例及び修正例についても本発明の技術的範囲に属するものと了解される。
 [付記1]
 自動運転モードで走行している車両の運転モードを手動運転モードに切り替えるまでのカウントダウンの状態を表示するための装置であって、
 検出部と、制御プロセッサとを備え、
 前記制御プロセッサは、
  前記検出部に対して、前記車両の運転者の視線方向を検出させ、
  前記車両のフロントガラス上の、前記検出部によって検出された視線方向を遮らない部位に、前記カウントダウンの状態を示すインジケータが表示されるように制御する、表示装置。
 [付記2]
 自動運転モードで走行している車両の運転モードを手動運転モードに切り替えるまでのカウントダウンの状態を表示するための装置であって、
 検出部と、前記車両のフロントガラスと前記運転者との間に設けられた表示パネルと、制御プロセッサとを備え、
 前記制御プロセッサは、
  前記検出部に対して、前記車両の運転者の視線方向を検出させ、
  前記表示パネル上の、前記検出部によって検出された視線方向を遮らない部位に、前記カウントダウンの状態を示すインジケータが表示されるように制御する、表示装置。
 [付記3]
 自動運転モードで走行している車両の運転モードを手動運転モードに切り替えるまでのカウントダウンの状態を表示するための方法であって、
 検出部を用いて、前記車両の運転者の視線方向を検出し、
 プロセッサを用いて、前記車両のフロントガラス上の、前記検出された視線方向を遮らない部位に、前記カウントダウンの状態を示すインジケータが表示されるように制御する、表示方法。
 [付記4]
 自動運転モードで走行している車両の運転モードを手動運転モードに切り替えるまでのカウントダウンの状態を表示するための方法であって、
 検出部を用いて、前記車両の運転者の視線方向を検出し、
 プロセッサを用いて、前記車両のフロントガラスと、前記運転者との間に設けられた表示パネル上の、前記検出された視線方向を遮らない部位に、前記カウントダウンの状態を示すインジケータが表示されるように制御する、表示方法。

Claims (12)

  1.  自動運転モードで走行している車両の運転モードを手動運転モードに切り替えるまでのカウントダウンの状態を表示するための装置であって、
     前記車両の運転者の視線方向を検出する検出部と、
     前記車両のフロントガラス上の、前記検出部によって検出された視線方向を遮らない部位に、前記カウントダウンの状態を示すインジケータが表示されるように制御する表示制御部と、を備えた表示装置。
  2.  前記表示制御部は、前記車両のフロントガラス上の、前記検出部によって検出された視線方向を遮らない部位であって、かつ、前記フロントガラス上における前記視線方向との交点からの所定距離内に、前記インジケータが表示されるように制御する、請求項1に記載の表示装置。
  3.  前記検出部によって前記視線方向が変化したことが検出されると、前記表示制御部は、前記フロントガラス上の前記インジケータの位置が、前記変化に応じて変化するように制御する、請求項1に記載の表示装置。
  4.  自動運転モードで走行している車両の運転モードを手動運転モードに切り替えるまでのカウントダウンの状態を表示するための装置であって、
     前記車両の運転者の視線方向を検出する検出部と、
     前記車両のフロントガラスと、前記運転者との間に設けられた表示パネルと、
     前記表示パネル上の、前記検出部によって検出された視線方向を遮らない部位に、前記カウントダウンの状態を示すインジケータが表示されるように制御する表示制御部と、を備えた表示装置。
  5.  前記表示制御部は、前記表示パネル上における前記視線方向との交点からの所定距離内に、前記インジケータが表示されるように制御する、請求項4に記載の表示装置。
  6.  前記検出部によって前記視線方向が変化したことが検出されると、前記表示制御部は、前記表示パネル上の前記インジケータの位置が、前記変化に応じて変化するように制御する、請求項4に記載の表示装置。
  7.  前記検出部は、前記運転者を撮像するカメラであり、
     前記カメラによって撮像された映像情報から、前記視線方向を判定する判定部をさらに備えた、請求項1乃至6のうち何れか1項に記載の表示装置。
  8.  前記インジケータを投影表示するプロジェクタを備え、
     前記表示制御部は、前記プロジェクタを制御する、請求項1乃至7のうち何れか1項に記載の表示装置。
  9.  前記インジケータは、前記カウントダウンの状態を示す数値表示を含む、請求項1乃至8のうち何れか1項に記載の表示装置。
  10.  前記インジケータは、前記視線方向を中心とし、前記視線方向を囲むように配置されたドーナッツ形状をしており、
     前記表示制御部は、前記カウントダウンの開始時には、前記ドーナッツ形状のインジケータが表示され、前記カウントダウンの終了時には前記インジケータが表示されなくなるように、前記カウントダウンの進行に従って、前記ドーナッツ形状における円環部位が徐々に非表示となるように制御する、請求項1乃至9のうち何れか1項に記載の表示装置。
  11.  自動運転モードで走行している車両の運転モードを手動運転モードに切り替えるまでのカウントダウンの状態を表示するための方法であって、
     前記車両の運転者の視線方向を検出し、
     前記車両のフロントガラス上の、前記検出された視線方向を遮らない部位に、前記カウントダウンの状態を示すインジケータが表示されるように制御する、表示方法。
  12.  自動運転モードで走行している車両の運転モードを手動運転モードに切り替えるまでのカウントダウンの状態を表示するための方法であって、
     前記車両の運転者の視線方向を検出し、
     前記車両のフロントガラスと、前記運転者との間に設けられた表示パネル上の、前記検出された視線方向を遮らない部位に、前記カウントダウンの状態を示すインジケータが表示されるように制御する、表示方法。
PCT/JP2017/042558 2017-03-10 2017-11-28 表示装置および表示方法 WO2018163534A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201780082874.8A CN110167781B (zh) 2017-03-10 2017-11-28 显示装置以及显示方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-046428 2017-03-10
JP2017046428A JP6620775B2 (ja) 2017-03-10 2017-03-10 表示装置および表示方法

Publications (1)

Publication Number Publication Date
WO2018163534A1 true WO2018163534A1 (ja) 2018-09-13

Family

ID=63448301

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/042558 WO2018163534A1 (ja) 2017-03-10 2017-11-28 表示装置および表示方法

Country Status (3)

Country Link
JP (1) JP6620775B2 (ja)
CN (1) CN110167781B (ja)
WO (1) WO2018163534A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021166706A1 (ja) * 2020-02-21 2021-08-26 ソニーグループ株式会社 情報処理装置、情報処理方法、及び、プログラム
JP2022150368A (ja) * 2021-03-26 2022-10-07 パナソニックIpマネジメント株式会社 支援装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016101805A (ja) * 2014-11-27 2016-06-02 パイオニア株式会社 表示装置、制御方法、プログラム、及び記憶媒体
WO2016170786A1 (ja) * 2015-04-21 2016-10-27 パナソニックIpマネジメント株式会社 情報処理システム、情報処理方法、およびプログラム
JP2016193706A (ja) * 2015-03-31 2016-11-17 ティノス インクTinnos Inc. HUD(Head−UpDisplay)情報を表示する位置を動的に制御する装置
JP2017013605A (ja) * 2015-06-30 2017-01-19 株式会社デンソー 車載システム
JP2017019487A (ja) * 2015-06-04 2017-01-26 トヨタ モーター エンジニアリング アンド マニュファクチャリング ノース アメリカ,インコーポレイティド 自律型車両の動作モード間の遷移

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009011015B4 (de) * 2009-02-28 2017-06-22 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Anzeige einer Restreichweite eines Kraftfahrzeugs
JP5622818B2 (ja) * 2012-09-28 2014-11-12 富士重工業株式会社 視線誘導システム
DE102013019141A1 (de) * 2013-11-15 2015-05-21 Audi Ag Fahrmoduswechsel beim Fahrerassistenzsystem
JP6265179B2 (ja) * 2015-08-03 2018-01-24 トヨタ自動車株式会社 表示装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016101805A (ja) * 2014-11-27 2016-06-02 パイオニア株式会社 表示装置、制御方法、プログラム、及び記憶媒体
JP2016193706A (ja) * 2015-03-31 2016-11-17 ティノス インクTinnos Inc. HUD(Head−UpDisplay)情報を表示する位置を動的に制御する装置
WO2016170786A1 (ja) * 2015-04-21 2016-10-27 パナソニックIpマネジメント株式会社 情報処理システム、情報処理方法、およびプログラム
JP2017019487A (ja) * 2015-06-04 2017-01-26 トヨタ モーター エンジニアリング アンド マニュファクチャリング ノース アメリカ,インコーポレイティド 自律型車両の動作モード間の遷移
JP2017013605A (ja) * 2015-06-30 2017-01-19 株式会社デンソー 車載システム

Also Published As

Publication number Publication date
CN110167781B (zh) 2022-05-17
CN110167781A (zh) 2019-08-23
JP6620775B2 (ja) 2019-12-18
JP2018149874A (ja) 2018-09-27

Similar Documents

Publication Publication Date Title
US11008016B2 (en) Display system, display method, and storage medium
JP6149824B2 (ja) 車載装置、車載装置の制御方法及び車載装置の制御プログラム
US20190204827A1 (en) System and method for providing information indicative of autonomous availability
US9487139B1 (en) Determining a driver alert level for a vehicle alert system and method of use
JP6394914B2 (ja) 運転支援装置
WO2020049722A1 (ja) 車両の走行制御方法及び走行制御装置
JP5278292B2 (ja) 情報提示装置
WO2016121710A1 (ja) 自動運転制御装置
JP4702106B2 (ja) 死角支援情報報知装置及びプログラム
WO2020035896A1 (ja) 車両の走行制御方法及び走行制御装置
US20200393263A1 (en) Overlaying additional information on a display unit
JP2016182891A (ja) 車輌用画像表示システム及び方法
JP2006113918A (ja) 運転支援装置
WO2018163456A1 (ja) 運転モード切替制御装置、方法およびプログラム
JP7119653B2 (ja) 車両制御装置
JP7124963B2 (ja) 運転支援方法及び運転支援装置
CN112601689B (zh) 车辆的行驶控制方法及行驶控制装置
WO2018163471A1 (ja) 運転モード切替制御装置、システム、方法、およびプログラム
JP6604577B2 (ja) 運転支援方法およびそれを利用した運転支援装置、運転支援システム、自動運転制御装置、車両、プログラム
JP2017109666A (ja) 自動運転制御装置および自動運転制御方法
JP6620775B2 (ja) 表示装置および表示方法
WO2014076841A1 (ja) 表示装置、制御方法、プログラム、及び記憶媒体
JP2006193095A (ja) 走行支援システム、及び走行支援装置
JP6620774B2 (ja) 表示装置および表示方法
WO2009101692A1 (ja) 前方監視装置、前方監視方法及び前方監視プログラム

Legal Events

Date Code Title Description
DPE2 Request for preliminary examination filed before expiration of 19th month from priority date (pct application filed from 20040101)
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17899929

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17899929

Country of ref document: EP

Kind code of ref document: A1