WO2021049031A1 - 表示システム、表示方法、及びプログラム - Google Patents

表示システム、表示方法、及びプログラム Download PDF

Info

Publication number
WO2021049031A1
WO2021049031A1 PCT/JP2019/036207 JP2019036207W WO2021049031A1 WO 2021049031 A1 WO2021049031 A1 WO 2021049031A1 JP 2019036207 W JP2019036207 W JP 2019036207W WO 2021049031 A1 WO2021049031 A1 WO 2021049031A1
Authority
WO
WIPO (PCT)
Prior art keywords
safety work
display
work continuity
control unit
intervention
Prior art date
Application number
PCT/JP2019/036207
Other languages
English (en)
French (fr)
Inventor
初美 青位
山本　和夫
絋志 澤田
林　雅明
暁晴 劉
Original Assignee
オムロン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オムロン株式会社 filed Critical オムロン株式会社
Priority to JP2021545089A priority Critical patent/JP7212295B2/ja
Priority to PCT/JP2019/036207 priority patent/WO2021049031A1/ja
Publication of WO2021049031A1 publication Critical patent/WO2021049031A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems

Definitions

  • This disclosure relates to display systems, display methods, and programs.
  • Patent Document 1 describes a control means for causing an execution means to execute an application for improving the driver's arousal level when it is determined that the driver's arousal level is higher than the drowsy driving state and lower than the normal state.
  • An alertness improving device to be provided is disclosed. This makes it possible to improve the arousal level of the driver.
  • the arousal level of the driver is not displayed, and the driver knows that the arousal level is lowered until the intervention operation such as the application related to the driver is executed. I can't.
  • the concept of a loose state is broad, and in the device disclosed in Patent Document 1, an intervention action is executed even when the driver is in a loose state but is in an awake state close to a normal state, and the intervention action is frequently performed. Frequent interventions like this cause discomfort to the driver.
  • An object of the present disclosure is to provide a display system, a display method, and a program capable of notifying a worker of a decrease in the continuity of safe work while reducing discomfort to the worker.
  • the display system is Input section for inputting information on safety work continuity, A control unit that determines the safety work continuity based on the information on the safety work continuity, and a control unit.
  • the control unit When it is detected that the safety work continuability is equal to or less than a predetermined standard, the intervention unit is made to perform the intervention operation, and after the intervention operation is completed, until a predetermined period elapses.
  • a display indicating that the safety work continuity is below the standard is displayed on the display unit. In cases other than the above cases, the safety work continuity is displayed on the display unit.
  • the display method is The control unit receives information about the sustainability of safe work and The safety work continuity is determined based on the information on the safety work continuity, and the safety work continuity is determined.
  • the intervention unit is made to perform an intervention action involving the worker, and a predetermined period elapses after the completion of the intervention action.
  • a display indicating that the safety work continuity was below the standard was displayed on the display unit. In cases other than the above cases, the safety work continuity is displayed on the display unit.
  • the display system, display method, and program according to the present disclosure can reduce the discomfort given to the worker and notify the worker of the decrease in the continuity of safe work.
  • Schematic diagram for explaining an application example of the display system according to the present disclosure A block diagram illustrating the configuration of the display system according to the embodiment of the present disclosure. Schematic diagram showing an example of display layout Flow chart exemplifying the operation flow of the display system Schematic diagram illustrating the contents displayed on the display A graph exemplifying the temporal transition of the safety work continuity S and the safety work continuity display Sd A block diagram illustrating the configuration of the display system according to the first modification of the embodiment of the present disclosure.
  • FIG. 1 is a schematic diagram for explaining an application example of the display system 1 according to the present disclosure.
  • the display system 1 is applicable to, for example, in-vehicle use, and is mounted on the vehicle 2.
  • the display system 1 includes, for example, a camera 3, a display 4, and a control unit 10.
  • the camera 3 is an example of the "imaging unit" of the present disclosure.
  • the camera 3 captures the face of the worker.
  • the worker is, for example, the driver of the vehicle 2.
  • the image data captured by the camera 3 is an example of the "information on the continuity of safe work" of the present disclosure.
  • the camera 3 is attached in front of the operator such as the steering column cover, the dashboard, and the vicinity of the rearview mirror.
  • the position of the camera 3 is not limited to this, and may be any position as long as it can capture the face of the operator.
  • the camera 3 may be a spectacle-type camera or a head-mounted camera mounted on the worker's head.
  • the control unit 10 is, for example, an information processing device including a CPU.
  • the control unit 10 measures the positions of organs such as the worker's face, eyes, and skin, and their movements based on the images captured by the camera 3. For example, the control unit 10 measures the eye movement, eye contour, and the like of the operator.
  • an organ includes a group of tissues having a specific function.
  • organs include eyes, nose, mouth, and ears.
  • Organs may include skin. The entire face may be included in the organ.
  • organs include, for example, the upper eyelid, lower eyelid, outer canthus, inner canthus, etc. in and around the eyeball.
  • organs include, for example, the pupil, iris, cornea, retina, and lens.
  • the control unit 10 calculates the safety work continuity degree S, which indicates an index indicating the possibility that the worker can continue the work without causing an accident, based on the measurement result.
  • the safety work continuity degree S may be calculated by comprehensively judging the degree of drowsiness, the degree of drowsiness, the degree of fatigue, and the like of the worker.
  • the calculated safety work continuity S is displayed on the display 4.
  • the operator can confirm the safety work continuity degree S displayed on the display 4.
  • the worker can know the transition of his / her own safety work continuity degree S by periodically checking the safety work continuity degree S displayed on the display 4.
  • the display system 1 allows the worker to recognize the decrease in the safety work continuity S.
  • the safety work continuity S of the worker may increase even if there is no intervention action involving the worker such as a warning sound. obtain.
  • the display 4 always displays the safety work continuity degree S.
  • the control unit 10 performs intervention control for performing an intervention operation involving the operator. Intervention actions include actions that directly or indirectly act on the five officials of the worker. For example, the control unit 10 vibrates the vibrating device attached to the seat and / or causes the speaker to output a voice corresponding to the calculated safety work continuity S. As a result, for example, the arousal level of the worker is improved, the drowsiness state and the drowsiness state are eliminated, and the safety work continuity degree S is increased.
  • the vibrating device and speaker described above are examples of the "intervention unit" of the present disclosure.
  • the intervention unit that performs such an intervention operation includes, for example, an air conditioning system.
  • the air conditioning system is a system that regulates the temperature, humidity, air flow, etc. of the air around the worker.
  • the control unit 10 controls the air conditioning system to lower the temperature around the worker or blow the worker with wind. As a result, for example, the arousal level of the worker is improved, the drowsiness state and the drowsiness state are eliminated, and the safety work continuity degree S is increased.
  • the intervention section includes, for example, a lighting system.
  • the lighting system is, for example, a light source device that adjusts the illuminance and the brightness of the space around the worker.
  • the control unit 10 controls the lighting system to increase the illuminance and blink the light source.
  • the arousal level of the worker is improved, the drowsiness state and the drowsiness state are eliminated, and the safety work continuity degree S is increased.
  • Such an intervention action is effective for preventing an accident or the like when the worker is in a drowsy state, but is in a state close to a normal state such as when the worker is not drowsy. When it occurs frequently, it causes discomfort to the operator. In addition, it is troublesome to require the action of the worker to stop such an intervention operation, and the work may be dangerous.
  • the display system 1 of the present disclosure when the safety work continuity S is larger than the threshold value and the worker's state is close to the normal state, the safety work continuity S is only displayed on the display 4. Do not intervene. Therefore, the display system 1 can notify the operator of the decrease in the continuity of safe work while reducing the discomfort given to the operator.
  • the display 4 shows the lowered safety work continuity S on the display 4 immediately before the intervention operation.
  • the control unit 10 stores the safety work continuability S immediately before the intervention operation as the pre-intervention safety work continuity Sp in the storage unit, reads it out after the intervention operation, and displays it on the display 4.
  • the worker can know the safety work continuity degree S (pre-intervention safety work continuity degree Sp) at the time when he / she feels drowsy or the like after awakening by the intervention action.
  • the worker can prevent the safety work continuity S from decreasing again by voluntarily awakening drowsiness.
  • FIG. 2 is a block diagram illustrating the configuration of the display system 1.
  • the display system 1 includes a camera 3, a display 4, and a control unit 10.
  • the display system 1 may further include a storage unit 20.
  • the display system 1 may further include a vibration device 5 and a speaker 6 as output devices.
  • the camera 3 is an imaging device that captures an image of a worker's face, eyes, and other organs to form an captured image.
  • the camera 3 is, for example, a camera that forms an image captured by a solid-state image sensor such as CMOS (Complementary MOS) or CCD (Charge Coupled Device).
  • CMOS Complementary MOS
  • CCD Charge Coupled Device
  • the display system 1 may include an infrared irradiator (not shown) that irradiates the worker's face with infrared rays.
  • the camera 3 may be an infrared camera having sensitivity in the infrared region.
  • the display 4 is a display device such as a liquid crystal display, an organic EL display, and a projector.
  • FIG. 3 is a diagram showing an example of the display 4.
  • FIG. 3 is a diagram showing an example of a place where an image showing the safety work continuity S is displayed.
  • the image showing the safety work continuity degree S is displayed on, for example, the rearview mirror 40, the head-up display 41, the meter panel 42, the windshield 43, and the like of the vehicle 2. Further, an image showing the safety work continuity degree S may be displayed on a display of a car navigation device (not shown).
  • control unit 10 includes a CPU (Central Processing Unit), a RAM (Random Access Memory), a ROM (Read Only Memory), and the like, and controls each component of the display system 1 according to information processing. ..
  • the control unit 10 is composed of, for example, an ECU (electronic control unit).
  • the control unit 10 interprets and executes, for example, a program expanded in the RAM by the CPU.
  • the control unit 10 includes, for example, an image processing unit 11, a measurement unit 12, a safety work continuity calculation unit 13, and an output control unit 14.
  • the storage unit 20 stores the information of the program or the like by electrical, magnetic, optical, mechanical or chemical action so that the computer or other device, the machine or the like can read the information of the recorded program or the like. It is a medium to do.
  • the storage unit 20 includes, for example, an auxiliary storage device such as a hard disk drive or a solid state drive.
  • the safety work continuity calculation table 21 and the pre-intervention safety work continuity 22 are stored in the storage unit 20.
  • the storage unit 20 may be provided in an external device such as a server capable of communicating with the display system 1 via a network.
  • the vibration device 5 is attached to, for example, a seat on which the worker sits, and can transmit vibration to the worker.
  • the vibration device 5 may be attached to the steering handle and transmit the vibration to the operator's hand.
  • the control unit 10 that operates as the output control unit 14 vibrates the vibrating device 5 according to the calculated safety work sustainability S.
  • the vibrating device 5 can operate so as to increase the safety work continuity S.
  • the speaker 6 is a voice output device that notifies the operator of various information by voice.
  • the control unit 10 that operates as the output control unit 14 causes the speaker 6 to output a voice corresponding to the calculated safety work continuability S.
  • the voice output by the speaker 6 includes a warning sound, a warning announcement such as prompting a break, and a reading of the safety work continuity S.
  • the warning sound output from the speaker 6 improves the arousal level of the operator, and eliminates the drowsiness state and the drowsiness state. In this way, the speaker 6 can operate so as to increase the safety work continuity S.
  • FIG. 4 is a flowchart illustrating the operation flow of the display system 1. Each process of the flowchart of FIG. 4 is repeatedly executed by the control unit 10 of the display system 1 at regular intervals.
  • control unit 10 acquires an image including the worker's face image captured by the camera 3 (S1).
  • control unit 10 that operates as the image processing unit 11 performs image processing on the acquired image and detects the position of the operator's organ (S2).
  • step S2 the control unit 10 detects the positions of the operator's pupil, upper eyelid, lower eyelid, and the like. Although omitted in the flowchart of FIG. 4, the control unit 10 ends a series of processes when the position of the operator's organ cannot be detected.
  • the control unit 10 that operates as the measurement unit 12 measures at least one of the worker's eye movement, eye contour, and facial expression information (S3).
  • eye movements include, for example, the position and speed of movement of the pupil or line of sight, vestibulo-ocular reflex (VOR), and the number of fixations and saccades.
  • Eye movement is measured by a known method such as image analysis or corneal reflex method.
  • the eye contour is information including, for example, the positions of the upper and lower eyelids, the distance from the upper eyelid to the lower eyelid, the degree of eye opening, the moving speed of the upper and lower eyelids, and the speed and number of blinks.
  • the facial expression information is information estimated based on facial features such as the contour of the eyes, the shape of the mouth, and the positions of the muscles of the cheeks.
  • a known method may be applied to the facial expression measurement based on the facial feature amount.
  • control unit 10 that operates as the safety work continuity calculation unit 13 calculates the safety work continuity degree S based on the measurement result in step S3 (S4).
  • the safety work continuity S is an index showing the possibility that the worker can continue the work without causing an accident.
  • the safety work continuity S is, for example, a value in the range of 0 to 1, and the larger the value, the higher the possibility that the worker can continue the work without causing an accident.
  • the control unit 10 that operates as the safety work continuity calculation unit 13 calculates the safety work continuity S. based on at least one of the worker's eye movement, eye contour, and facial expression information, for example.
  • the safety work continuity S may be calculated by combining two or more of these.
  • control unit 10 searches the safety work continuity calculation table 21 of the storage unit 20 using the measurement result of step S3 as a key, and sets the value of the safety work continuity degree S corresponding to the key as the safety work continuity degree. It is extracted from the calculation table 21 and acquired.
  • the safety work continuity calculation table 21 is obtained by associating the measurement results of the past eye movements, eye contours, facial expression information, etc. of a large number of workers with the safety work continuity S of the workers at the time of measurement. Created.
  • the safety work continuity calculation table 21 may be created humanly based on theory, empirical rules, or the like.
  • the safety work continuity S is calculated so that the larger the range of movement of the worker's line of sight or pupil, the higher the degree.
  • the safety work continuity S may be calculated so that the faster the operator's line of sight or pupil moves, the higher the safety work continuity S.
  • the safety work continuity S may be calculated by combining the movement range of the operator's line of sight or pupil and the speed of movement.
  • the safety work continuity S is calculated so that, for example, the greater the speed of the blink, the higher the safety work continuity.
  • the safety work continuity degree S may be calculated so as to increase as the degree of eye opening increases.
  • the safety work continuity S may be calculated by combining the speed of blinking and the degree of eye opening.
  • the control unit 10 comprehensively measures the degree of drowsiness, fatigue, indulgence, etc. of the worker based on the measurement result in step S3.
  • the safety work continuity S is a state in which the worker is dozing or drowsy, a dangerous driving state in which normal driving is difficult due to the influence of alcohol or illness, a state in which fatigue is accumulated, or a state in which the worker is indifferent. At one point, it takes a low value.
  • the safety work continuity S is a low value, for example, a value close to 0.
  • the control unit 10 detects whether or not the safety work continuity S is greater than the predetermined threshold value ⁇ (S5).
  • the control unit 10 displays the safety work continuity degree S calculated in step S4 on the display 4 (S6).
  • the operator can confirm the safety work continuity degree S displayed on the display 4.
  • the value of the safety work continuity S may be displayed on the display 4, or an image showing the meter of the safety work continuity S as shown in FIG. 5 may be displayed.
  • the safety work continuity possibility S displayed on the display 4 is referred to as a safety work continuity display Sd.
  • the control unit 10 When it is detected that the safety work continuity S is equal to or less than the threshold value ⁇ (No in S5), the control unit 10 stores the safety work continuity S in the storage unit 20 as the pre-intervention safety work continuity Sp. (S7). Alternatively, the control unit 10 may store the safety work continuability S at the start of the intervention control or immediately before the start, which will be described later, in the storage unit 20 as the pre-intervention safety work continuity Sp.
  • the intervention control is a control for performing an intervention action involving the worker in order to increase the safety work continuity S.
  • the control unit 10 vibrates the vibrating device 5 (see FIG. 2) attached to the seat as an intervention control, and / or outputs a voice corresponding to the calculated safety work continuity S to the speaker 6. Let me. As a result, for example, the arousal level of the worker is improved, the drowsiness state and the drowsiness state are eliminated, and the safety work continuity degree S is increased.
  • the control unit 10 that operates as the output control unit 14 reads out the pre-intervention safety work continuity Sp.
  • the display indicating the safety work continuity Sp before intervention is an example of the "display indicating that the safety work continuity is below a predetermined standard" of the present disclosure. Therefore, during this display period T, the safety work continuity display Sd does not match the worker's safety work continuity S, and corresponds to the pre-intervention safety work continuity Sp. Become.
  • FIG. 6A is a graph illustrating the temporal transition of the safety work continuity S.
  • FIG. 6B is a graph illustrating the safety work continuity display Sd displayed on the display 4 when the safety work continuity degree S changes as shown in FIG. 6A.
  • the horizontal axis of the graphs of FIGS. 6A and 6B indicates the time t. The time at the start of work is set to 0.
  • the vertical axis of the graph of FIG. 6A shows the safety work continuity degree S
  • the vertical axis of the graph of FIG. 6B shows the safety work continuity display Sd.
  • the safety work continuity S starts to decrease and becomes equal to the threshold value ⁇ at time t0.
  • the control unit 10 detects that the safety work continuity S is equal to or less than the threshold value ⁇ at time t0 (No in S5 of FIG. 4). Therefore, the process proceeds to step S7, and the control unit 10 stores the safety work continuity degree S as the pre-intervention safety work continuity degree Sp in the storage unit 20.
  • the process proceeds to step S8, and the control unit 10 that operates as the output control unit 14 performs intervention control. Intervention control is performed for a predetermined intervention time ⁇ t.
  • step S6 the safety work continuity degree S at time t1 is stored in the storage unit 20 as the pre-intervention safety work continuity degree Sp.
  • the intervention control when the intervention control is started from time t1, for example, the arousal level of the worker is improved, the drowsiness state and the drowsiness state are eliminated, and the safety work continuity possibility S is increased. To do.
  • the intervention control ends at time t2, which is ⁇ t after time t1.
  • FIG. 6B exemplifies the safety work continuity display Sd displayed on the display 4 when the safety work continuity degree S changes as shown in FIG. 6A. From time 0 to time t1, the safety work continuity display Sd in FIG. 6B matches the safety work continuity Sd in FIG. 6A, although there is a time lag from measurement to display. ..
  • the intervention control in step S7 is executed from the time t1 to the time t2 thereafter.
  • the control unit 10 does not have to display the safety work continuity display Sd on the display 4.
  • the present disclosure is not limited to this, and the control unit 10 may display the pre-intervention safety work continuity degree Sp on the display 4.
  • the control unit 10 may execute the same processing as in steps S1 to S4 even during the execution of the intervention control, and display the safety work continuity display S calculated at any time on the display 4.
  • step S9 the control unit 10 displays the pre-intervention safety work continuity degree Sp on the display 4 during the display period T from the end time t2 of the intervention control to the time t3. Therefore, in FIG. 6B, the safety work continuity display Sd is fixed at the pre-intervention safety work continuity Sp. During the display period T from the end time t2 to the time t3 of the intervention control.
  • the safety work continuity display Sd in FIG. 6 (b) matches the safety work continuity S in FIG. 6 (a). Therefore, the value of the safety work continuity display Sd may be discontinuous before and after the time t3. Therefore, after step S9, the control unit 10 may output an announcement such as "returned to a safe driving state" to the speaker 6. Alternatively, the control unit 10 displays the safety work continuity display Sd in order to prevent the value of the safety work continuity display Sd from becoming discontinuous before and after the time t3, and sets the safety work continuity display Sd to the pre-intervention safety work continuity display Sp. May be gradually (continuously) returned to the current calculated value S.
  • the display system 1 has a camera 3 that captures an image including the face of the worker and generates image data, and a control that determines the safety work continuity degree S based on the image data.
  • a unit 10 a display 4 for displaying the safety work continuity degree S, and an intervention unit such as a vibrating device 5 or a speaker 6 are provided.
  • the control unit 10 When the control unit 10 detects that the safety work continuability S is equal to or less than a predetermined threshold value ⁇ (No in step S5 of FIG. 4), the control unit 10 causes the intervention unit to perform an intervention operation (S8), and the intervention operation. After the end of the above, until the predetermined display period T elapses, the display 4 displays a display indicating that the safety work continuability S is equal to or less than the threshold value ⁇ . In cases other than the above cases (Yes in step S5 of FIG. 4), the control unit 10 displays the safety work continuability S on the display 4 (S9).
  • the display system 1 may further include a storage unit 20 for storing the safety work continuity degree S.
  • the control unit 10 detects that the safety work continuity S is equal to or less than the threshold value ⁇ (No in step S5 of FIG. 4)
  • the safety work continuity S is set to the pre-intervention safety work continuity Sp. Is stored in the storage unit 20.
  • the display displayed on the display 4 in step S9 is the pre-intervention safety work sustainability Sp stored in the storage unit 20.
  • the control unit 10 acquires image data from the camera 3, detects at least one of the position and moving speed of the worker's organ based on the acquired image data, and detects the position of the worker's organ and the detected position of the worker's organ.
  • the safety work continuity S may be determined based on at least one of the moving speeds.
  • the display system 1 displays the safety work continuity degree S on the display 4.
  • the display 4 merely displays the safety work continuity degree S and does not act on the operator with sound or vibration or request any action of the operator, the operator is not uncomfortable.
  • the worker can see that the safety work continuity S is lower than that at the start of the work, or the safety work continuability S is lowered to near a predetermined threshold value. If this is known, it can be expected that the safety work continuity S of the worker will increase due to the fact that the knowledge itself awakens drowsiness.
  • the safety work continuity S which has fallen below the threshold value ⁇ , can be increased by the intervention operation, and the risk of an accident or the like occurring by the worker can be reduced.
  • the safety work continuity sp of before the intervention is displayed on the display 4, so that the operator can set the safety work continuity degree S at the time when he / she feels drowsy or the like as the intervention operation. Can be known after awakening by. At the time of feeling drowsy, the worker often cannot confirm the safety work continuity S, so the display system 1 recognizes the lowered safety work continuity S to the worker. Has the advantage of causing. By admitting that the safety work continuity S has decreased, the worker voluntarily awakens drowsiness and prevents the safety work continuity S from decreasing again. Can be done.
  • the control unit 10 may detect the position or moving speed of the pupil as the position or moving speed of the worker's organ. Further, the control unit 10 may detect the position or moving speed of the upper eyelid and the lower eyelid as the position or moving speed of the worker's organ.
  • the range of movement of the position of the pupil of the worker becomes narrow, or the speed of the movement or saccade becomes small.
  • the distance between the upper eyelid and the lower eyelid of the operator becomes smaller. That is, the eyelids are about to close. Therefore, by using the position or moving speed of the pupil, or the position or moving speed of the upper eyelid and the lower eyelid, the safety work continuity S can be calculated accurately.
  • the safety work continuity S is calculated based on the measurement result of at least one of the worker's eye movement, eye contour, and facial expression information.
  • the information used to calculate the safety work sustainability S is not limited to these.
  • the control unit 10 may calculate the safety work continuity degree S based on biological information such as blood pressure, heart rate, body temperature, respiratory rate, brain wave, and sweating amount of the worker.
  • FIG. 7 is a diagram illustrating the configuration of the display system 101 according to such a first modification.
  • the display system 101 is a biological information measuring unit 30 that measures biological information such as a worker's blood pressure, heart rate, body temperature, respiratory rate, brain wave, and sweating amount, and an input that inputs the measured biological information to the control unit 10.
  • a unit 31 is provided.
  • the biological information measuring unit 30 is, for example, a known vital sign measuring instrument.
  • the input unit 31 is an interface circuit that connects the display system 101 and an external device such as the biological information measurement unit 30.
  • control unit 10 acquires information such as the speed, acceleration, and angular velocity of the vehicle 2 measured by using the sensor via the input unit 31, and calculates the safety work continuity degree S based on the acquired information. You may.
  • the safety work continuity degree S may be calculated by combining the eye movement, eye contour, and facial expression information of the above embodiment with the biological information and vehicle information described in this modification. Further, for example, when calculating the safety work continuity degree S by combining these information, each information may be weighted according to the personality of the worker, the chronic disease, the driving suitability, and the like.
  • step S8 the control unit 10 executes the same processing as in steps S1 to S4 to calculate the safety work continuity degree S, and detects whether or not the value is larger than the predetermined threshold value ⁇ . However, if it is large, the process may proceed to step S9. If the safety work continuity S is equal to or less than the threshold ⁇ , the process may return to step S8 and the intervention control may be continued until the safety work continuity S becomes larger than the threshold ⁇ .
  • the threshold value ⁇ may be the same value as the threshold value ⁇ .
  • step S9 of FIG. 4 an example in which the control unit 10 displays the pre-intervention safety work continuity degree Sp stored in the storage unit 20 on the display 4 has been described.
  • the processing of the present disclosure is not limited to this.
  • the control unit 10 executes the same processing as in steps S1 to S4 during execution of the intervention control to calculate the safety work continuity degree S, and is the lowest value among the calculated safety work continuity degree S. May be stored in the storage unit 20.
  • the control unit 10 displays the minimum value on the display 4 during the display period T from the end time t2 of the intervention control to the time t3.
  • the control unit 10 vibrates the vibrating device 5 (see FIG. 2) attached to the seat, and / or the calculated safety work continuity.
  • the control for outputting the sound corresponding to S to the speaker 6 has been described.
  • intervention control is not limited to these.
  • the control unit 10 may be configured to be able to control the steering and brakes of the vehicle 2, and may perform automatic driving control and automatic braking control as intervention control.
  • the threshold value ⁇ No in S5
  • the display system 1 applied to the in-vehicle application has been described.
  • the present disclosure is not limited to this.
  • the display system 1 may be used in a factory.
  • a factory worker who performs work such as assembling and packing products in the factory can confirm the safety work continuity degree S displayed on the display 4 of the display system 1. it can.
  • the display system 1 may be used in an office or the like.
  • a desk worker who performs desk work in an office and a desk worker who performs desk work at home, or a worker who continues to work in the same place can continue the safe work displayed on the display 4 of the display system 1.
  • the possibility S can be confirmed.
  • the display system 1 allows workers such as factory workers and desk workers to know that the safety work continuability S has decreased, the workers consciously work with caution and take a break by themselves. It is possible to try to increase the safety work continuity S by taking measures such as putting in or switching to a different work. This makes it possible to reduce the risk of mistakes in factories, accidents, mistakes in desk work, and the like.
  • the display system 1 may include a control unit that controls the work line of the factory. As a result, the display system 1 can prevent the occurrence of mistakes and accidents by stopping the work line of the factory when the safety work continuity S is lowered. In addition, the display system 1 may notify the factory manager, collaborators, and medical workers such as industrial physicians and nurses when the safety work continuity S is lowered. As a result, these persons can take measures such as reviewing the work plan. In this way, the occurrence of mistakes and accidents can be prevented.
  • the safety work continuity degree S is displayed on the display 4 of the display system 1.
  • the display 4 may display a diagram, illumination, or the like according to the safety work continuity degree S.
  • the intervention action may be an alarm sound according to the safety work continuity S, an announcement such as urging a break, a seat vibration, or the like.
  • the display system 1 may read out the safety work continuity degree S as an intervention operation.
  • the display system 1 may display a warning image on the monitor screen as an intervention operation.
  • the display system 1 may be in a state in which the application cannot be operated until the safety work continuity S is improved.
  • the display system (1,101) of the first aspect is An input unit (31) for inputting information on the continuity of safe work, and A control unit (10) that determines the safety work continuity based on the information on the safety work continuity, and a control unit (10).
  • a display unit (4) that displays the degree of continuity of safe work, and It is provided with an intervention unit (5, 6) that performs an intervention operation involving a worker.
  • the control unit (10) When it is detected that the safety work continuability is equal to or less than a predetermined standard, the intervention unit (5, 6) is made to perform the intervention operation, and after the completion of the intervention operation, a predetermined period is set. Until the elapse of time, a display indicating that the safety work continuity was below the standard is displayed on the display unit. In cases other than the above cases, the safety work continuity is displayed on the display unit.
  • the display system (1) of the second aspect is the display system of the first aspect.
  • a storage unit (20) for storing the safety work continuity is further provided.
  • the control unit (10) detects that the safety work continuity is equal to or lower than the reference, the control unit (10) further stores the safety work continuity in the storage unit (20).
  • the display indicating that the safety work continuity is equal to or lower than the reference is the safety work continuity stored in the storage unit (20).
  • the display system (1) of the third aspect is an imaging unit that captures an image including a human face as information on the continuity of safe work in the display system of the first or second aspect and generates image data. Further equipped with (3) The control unit (10) acquires the image data from the image pickup unit (3), and detects and detects at least one of the position and the moving speed of the human organ based on the acquired image data. The safety work continuity is determined based on at least one of the position and movement speed of the person's organs.
  • control unit (10) detects the position or movement speed of the pupil as the position or movement speed of the human organ.
  • control unit (10) determines the position of the upper eyelid and the lower eyelid as the position or the moving speed of the human organ. Or detect the moving speed.
  • the control unit (10) receives information on the sustainability of safe work and receives information.
  • the safety work continuity is determined based on the information on the safety work continuity (S4).
  • the intervention unit (5, 6) is made to perform an intervention action involving the worker (S8), and after the intervention action is completed, after the intervention action is completed.
  • a display indicating that the safety work continuity is below the standard is displayed on the display unit (4) (S9).
  • the safety work continuity is displayed on the display unit (4) (S6).
  • the seventh aspect is a program for causing the control unit (10) to execute the display method of the sixth aspect.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Emergency Alarm Devices (AREA)

Abstract

表示システムは、安全作業継続可能度に関する情報を入力する入力部と、安全作業継続可能度に関する情報に基づいて安全作業継続可能度を決定する制御部と、安全作業継続可能度を表示する表示部と、作業者に関与する介入動作を行う介入部と、を備える。制御部は、安全作業継続可能度が予め定められた基準以下であることを検知した場合、介入部に介入動作を行わせ、介入動作の終了後、予め定められた期間が経過するまで、安全作業継続可能度が基準以下であったことを示す表示を表示部に表示させ、上記の場合以外の場合、安全作業継続可能度を表示部に表示させる。

Description

表示システム、表示方法、及びプログラム
　本開示は、表示システム、表示方法、及びプログラムに関する。
　特許文献１には、ドライバーの覚醒度が、居眠り運転状態よりも高く通常状態よりも低い漫然状態であると判定した際に、ドライバーの覚醒度を改善するアプリケーションを実行手段に実行させる制御手段を備える覚醒度改善装置が開示されている。これにより、ドライバーの覚醒度を向上させることができる。
特開２０１４－２０３３４号公報
　しかしながら、特許文献１に開示された装置では、ドライバーの覚醒度が表示されず、ドライバーは、ドライバーに関与するアプリケーション等の介入動作が実行されるまで、覚醒度が低下していることを知ることができない。また、漫然状態という概念は広く、特許文献１に開示された装置では、ドライバーが漫然状態であるものの通常状態に近い覚醒状態である場合においても介入動作が実行され、介入動作が頻発される。このような介入動作の頻発は、ドライバーに不快感を与える。
　本開示の目的は、作業者に与える不快感を低減しつつ、作業者に安全作業継続可能度の低下を知らせることができる表示システム、表示方法、及びプログラムを提供することにある。
　本開示の一態様に係る表示システムは、
　安全作業継続可能度に関する情報を入力する入力部と、
　前記安全作業継続可能度に関する情報に基づいて前記安全作業継続可能度を決定する制御部と、
　前記安全作業継続可能度を表示する表示部と、
　作業者に関与する介入動作を行う介入部と、を備える表示システムであって、
　前記制御部は、
　　　前記安全作業継続可能度が予め定められた基準以下であることを検知した場合、前記介入部に前記介入動作を行わせ、前記介入動作の終了後、予め定められた期間が経過するまで、前記安全作業継続可能度が前記基準以下であったことを示す表示を前記表示部に表示させ、
　　　上記の場合以外の場合、前記安全作業継続可能度を前記表示部に表示させる。
　本開示の一態様に係る表示方法は、
　制御部が、安全作業継続可能度に関する情報を受信し、
　前記安全作業継続可能度に関する情報に基づいて前記安全作業継続可能度を決定し、
　前記安全作業継続可能度が予め定められた基準以下であることを検知した場合、作業者に関与する介入動作を介入部に行わせ、前記介入動作の終了後、予め定められた期間が経過するまで、前記安全作業継続可能度が前記基準以下であったことを示す表示を表示部に表示させ、
　上記の場合以外の場合、前記安全作業継続可能度を前記表示部に表示させる。
　本開示に係る表示システム、表示方法、及びプログラムにより、作業者に与える不快感を低減しつつ、作業者に安全作業継続可能度の低下を知らせることができる。
本開示に係る表示システムの適用例を説明するための模式図 本開示の実施形態に係る表示システムの構成を例示するブロック図 ディスプレイの配置例を示す模式図 表示システムの動作の流れを例示するフローチャート ディスプレイに表示される内容を例示する模式図 安全作業継続可能度Ｓ及び安全作業継続可能度表示Ｓｄの時間的な推移を例示するグラフ 本開示の実施形態の第１変形例に係る表示システムの構成を例示するブロック図
　以下、添付の図面を参照して本開示に係る表示システムの実施形態を説明する。なお、以下の各実施形態において、同一又は同様の構成要素については同一の符号を付している。
［１．適用例］
　本開示に係る表示システムを適用可能な一例について、図１を参照して説明する。図１は、本開示に係る表示システム１の適用例を説明するための模式図である。
　本開示に係る表示システム１は、例えば車載用途に適用可能であり、車両２に搭載される。表示システム１は、例えば、カメラ３と、ディスプレイ４と、制御部１０とを備える。
　カメラ３は、本開示の「撮像部」の一例である。カメラ３は、作業者の顔を撮像する。作業者は、例えば車両２の運転者である。カメラ３によって撮像された画像データは、本開示の「安全作業継続可能度に関する情報」の一例である。例えば、カメラ３は、ステアリングコラムカバー、ダッシュボード、及びルームミラー付近等の作業者の前方に取り付けられる。カメラ３の位置はこれに限定されず、作業者の顔を撮像できる位置であればよい。例えば、カメラ３は、眼鏡型のカメラや、作業者の頭部に装着されたヘッドマウント型のカメラであってもよい。
　制御部１０は、例えばＣＰＵを含む情報処理装置である。制御部１０は、カメラ３によって撮像された画像に基づいて、作業者の顔、目、皮膚等の器官の位置、及びそれらの動きを測定する。例えば、制御部１０は、作業者の眼球運動、眼輪郭等を測定する。
　ここで、器官は、組織の集まりであって、特定の機能を有するものを含む。例えば、器官は、目、鼻、口、及び耳を含む。器官は、皮膚を含んでもよい。顔全体が器官に含まれてもよい。目に関して、器官は、例えば、眼球及びその周りの上眼瞼、下眼瞼、外眼角、及び内眼角等を含む。眼球に関して、器官は、例えば、瞳孔、虹彩、角膜、網膜、及び水晶体等を含む。
　次に、制御部１０は、測定結果に基づいて、作業者が事故を起こさずに作業を継続できる可能性を表す指標を示す安全作業継続可能度Ｓを算出する。安全作業継続可能度Ｓは、作業者の眠気の程度、漫然の程度、及び疲労度等を総合的に判断して算出されてもよい。
　算出された安全作業継続可能度Ｓは、ディスプレイ４に表示される。これにより、作業者は、ディスプレイ４に表示された安全作業継続可能度Ｓを確認することができる。例えば、作業者は、ディスプレイ４に表示された安全作業継続可能度Ｓを定期的に確認することにより、自己の安全作業継続可能度Ｓの推移を知ることができる。例えば、作業者に眠気が生じ、安全作業継続可能度Ｓが作業開始時より下がった場合、表示システム１により、作業者は、安全作業継続可能度Ｓの低下を認識することができる。ディスプレイ４の表示により安全作業継続可能度Ｓの低下を認識することで、警告音等の作業者に関与する介入動作がなくても、作業者の安全作業継続可能度Ｓが増加することがあり得る。
　また、作業者が自己の安全作業継続可能度Ｓの低下を認識した場合、自発的に眠気を解消する等の動作を行い、安全作業継続可能度Ｓを増加させるよう試みることができる。
　このように、ディスプレイ４には、原則として、常に安全作業継続可能度Ｓが表示される。安全作業継続可能度Ｓが予め定められた閾値以下となった場合、制御部１０は、作業者に関与する介入動作を行うための介入制御を行う。介入動作は、作業者の五官に直接的又は間接的に働きかける動作を含む。例えば、制御部１０は、座席に取り付けられた振動装置を振動させ、及び／又は、算出された安全作業継続可能度Ｓに応じた音声をスピーカに出力させる。これにより、例えば作業者の覚醒度が向上し、漫然状態、眠気状態等が解消され、ひいては安全作業継続可能度Ｓが増加する。上記の振動装置及びスピーカは、本開示の「介入部」の一例である。
　このような介入動作を行う介入部は、例えば、空調システムを含む。空調システムは、作業者の周囲の空気の温度、湿度、及び気流等を調整するシステムである。例えば、制御部１０は、空調システムを制御し、作業者の周囲の温度を下げたり、作業者に風を当てたりする。これにより、例えば作業者の覚醒度が向上し、漫然状態、眠気状態等が解消され、ひいては安全作業継続可能度Ｓが増加する。
　介入部は、例えば、照明システムを含む。照明システムは、例えば照度や作業者の周囲の空間の明るさを調節する光源装置である。例えば、制御部１０は、照明システムを制御し、照度を上げたり、光源を点滅させたりする。これにより、例えば作業者の覚醒度が向上し、漫然状態、眠気状態等が解消され、ひいては安全作業継続可能度Ｓが増加する。
　このような介入動作は、作業者が眠気を帯びた状態の場合には事故等を防止するために有効であるが、作業者が眠気を帯びていない等、通常状態に近い状態である場合に頻発されると、作業者に不快感を生じさせる。また、このような介入動作を止めるために作業者の行動を必要とすると煩瑣であり、作業に危険が生じ得る。本開示の表示システム１では、安全作業継続可能度Ｓが閾値より大きく、作業者の状態が通常状態に近い状態である場合には、ディスプレイ４に安全作業継続可能度Ｓを表示するに止め、介入動作を行わない。したがって、表示システム１は、作業者に与える不快感を低減しつつ、作業者に安全作業継続可能度の低下を知らせることができる。
　介入動作の後、ディスプレイ４には、介入動作直前の低下した安全作業継続可能度Ｓが表示される。例えば、制御部１０は、介入動作の直前の安全作業継続可能度Ｓを介入前安全作業継続可能度Ｓｐとして記憶部に格納し、介入動作の後にこれを読み出してディスプレイ４に表示する。これにより、作業者は、自己が眠気を感じる等していた時点における安全作業継続可能度Ｓ（介入前安全作業継続可能度Ｓｐ）を、介入動作による覚醒後に知ることができる。作業者は、安全作業継続可能度Ｓが低下していたことを自認することにより、自発的に眠気を覚ます動作をする等して、再度安全作業継続可能度Ｓが低下することを防止できる。
［２．構成例］
　以下、本開示の実施形態に係る表示システム１の構成例について説明する。
　図２は、表示システム１の構成を例示するブロック図である。表示システム１は、図２に例示するように、カメラ３と、ディスプレイ４と、制御部１０とを備える。表示システム１は、記憶部２０を更に備えてもよい。表示システム１は、出力装置として、振動装置５とスピーカ６とを更に備えてもよい。
　カメラ３は、作業者の顔、目その他の器官を撮像して撮像画像を形成する撮像装置である。カメラ３は、例えば、ＣＭＯＳ（Complementary MOS）、ＣＣＤ（Charge Coupled Device）等の固体撮像素子によって撮像画像を形成するカメラである。
　表示システム１は、作業者の顔に向けて赤外線を照射する図示しない赤外線照射器を備えてもよい。この場合、カメラ３は、赤外域に感度を有する赤外線カメラであってもよい。
　ディスプレイ４は、例えば液晶ディスプレイ、有機ＥＬディスプレイ、及びプロジェクタ等の表示装置である。図３は、ディスプレイ４の例を示す図である。言い換えれば、図３は、安全作業継続可能度Ｓを示す画像が表示される場所の例を示す図である。安全作業継続可能度Ｓを示す画像は、例えば車両２のルームミラー４０、ヘッドアップディスプレイ４１、メータパネル４２、及びフロントガラス４３等に表示される。また、安全作業継続可能度Ｓを示す画像は、図示しないカーナビゲーション機器のディスプレイに表示されてもよい。
　図２に戻り、制御部１０は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等を含み、情報処理に応じて表示システム１の各構成要素の制御を行う。制御部１０は、例えば、ＥＣＵ（電子制御ユニット）により構成される。制御部１０は、例えば、ＲＡＭに展開されたプログラムをＣＰＵにより解釈及び実行する。このように実現されるソフトウェアモジュールとして、制御部１０は、例えば、画像処理部１１、測定部１２、安全作業継続可能度算出部１３、及び出力制御部１４を備える。
　記憶部２０は、コンピュータその他装置、機械等が記録されたプログラム等の情報を読み取り可能なように、当該プログラム等の情報を、電気的、磁気的、光学的、機械的又は化学的作用によって蓄積する媒体である。記憶部２０は、例えば、ハードディスクドライブ、ソリッドステートドライブ等の補助記憶装置を含む。記憶部２０には、例えば、後述の安全作業継続可能度算出テーブル２１及び介入前安全作業継続可能度２２が格納される。
　記憶部２０は、表示システム１とネットワークを介して通信可能なサーバ等の外部装置の中に設けられてもよい。
　振動装置５は、例えば、作業者が座る座席に取り付けられ、作業者に振動を伝えることができる。あるいは、振動装置５は、ステアリングハンドルに取り付けられ、作業者の手に振動を伝えてもよい。例えば、出力制御部１４として動作する制御部１０は、算出された安全作業継続可能度Ｓに応じて、振動装置５を振動させる。これにより、例えば作業者の覚醒度が向上し、漫然状態、眠気状態等が解消される。このように、振動装置５は、安全作業継続可能度Ｓを増加させるように動作することができる。
　スピーカ６は、音声によって、作業者に各種情報を報知する音声出力装置である。例えば、出力制御部１４として動作する制御部１０は、算出された安全作業継続可能度Ｓに応じた音声を、スピーカ６に出力させる。スピーカ６が出力する音声は、警告音、休憩を促す等の警告アナウンス、及び安全作業継続可能度Ｓの読み上げ等を含む。例えば、スピーカ６から出力された警告音によって、作業者の覚醒度が向上し、漫然状態、眠気状態等が解消される。このように、スピーカ６は、安全作業継続可能度Ｓを増加させるように動作することができる。
［３．動作例］
　以下、表示システム１の動作例について説明する。図４は、表示システム１の動作の流れを例示するフローチャートである。図４のフローチャートの各処理は、表示システム１の制御部１０によって一定の間隔で繰り返し実行される。
　まず、制御部１０は、カメラ３によって撮像された作業者の顔画像を含む画像を取得する（Ｓ１）。
　次に、画像処理部１１として動作する制御部１０は、取得した画像に対して画像処理を行い、作業者の器官の位置を検出する（Ｓ２）。
　例えば、ステップＳ２において、制御部１０は、作業者の瞳孔、上眼瞼、及び下眼瞼等の位置を検出する。なお、図４のフローチャートでは省略するが、制御部１０は、作業者の器官の位置を検出できなかった場合は、一連の処理を終了する。
　次に、測定部１２として動作する制御部１０は、作業者の眼球運動、眼輪郭、及び表情情報のうちの少なくとも１つを測定する（Ｓ３）。ここで、眼球運動は、例えば瞳孔又は視線の位置及び移動速度、前庭動眼反射（Vestibulo-ocular reflex、ＶＯＲ）、並びに固視及びサッケードの回数等を含む。眼球運動は、画像解析や角膜反射法等の公知の方法によって測定される。眼輪郭は、例えば上眼瞼及び下眼瞼の位置、上眼瞼から下眼瞼までの距離、開眼度、上眼瞼及び下眼瞼の移動速度、並びに瞬目の速度及び回数等を含む情報である。表情情報は、例えば、眼輪郭、口の形状、及び頬の筋肉の位置等の顔の特徴量に基づいて推定される情報である。顔の特徴量に基づく表情測定には、公知の方法が適用されてもよい。
　次に、安全作業継続可能度算出部１３として動作する制御部１０は、ステップＳ３の測定結果に基づいて、安全作業継続可能度Ｓを算出する（Ｓ４）。
　安全作業継続可能度Ｓは、作業者が事故を起こさずに作業を継続できる可能性を表す指標である。安全作業継続可能度Ｓは、例えば０～１の範囲の値を取り、値が大きいほど作業者が事故を起こさずに作業を継続できる可能性が高いことを意味する。
　安全作業継続可能度算出部１３として動作する制御部１０は、例えば、作業者の眼球運動、眼輪郭、及び表情情報のうちの少なくとも１つに基づいて、安全作業継続可能度Ｓを算出する。安全作業継続可能度Ｓは、これらのうちの２つ以上を組み合わせて算出されてもよい。
　制御部１０は、例えば、ステップＳ３の測定結果をキーとして記憶部２０の安全作業継続可能度算出テーブル２１を検索し、キーに対応する安全作業継続可能度Ｓの値を、安全作業継続可能度算出テーブル２１から抽出して取得する。
　安全作業継続可能度算出テーブル２１は、例えば多数の作業者の過去の眼球運動、眼輪郭、及び表情情報等の測定結果を、当該作業者の測定時の安全作業継続可能度Ｓに関連付けることによって作成される。あるいは、安全作業継続可能度算出テーブル２１は、理論や経験則等に基づいて人的に作成されてもよい。
　例えば、安全作業継続可能度Ｓは、作業者の視線又は瞳孔の移動範囲が大きいほど高くなるように算出される。あるいは、安全作業継続可能度Ｓは、作業者の視線又は瞳孔の移動の速さが大きいほど高くなるように算出されてもよい。安全作業継続可能度Ｓは、作業者の視線又は瞳孔の移動範囲と移動の速さとを組み合わせて算出されてもよい。
　上記のような算出方法と異なり、又は、上記のような算出方法と組み合わせて、安全作業継続可能度Ｓは、例えば、瞬目の速さが大きいほど高くなるように算出される。あるいは、安全作業継続可能度Ｓは、開眼度が大きいほど高くなるように算出されてもよい。安全作業継続可能度Ｓは、瞬目の速さと開眼度とを組み合わせて算出されてもよい。
　上記のような算出方法と異なり、又は、上記のような算出方法と組み合わせて、制御部１０は、ステップＳ３の測定結果に基づいて、作業者の眠気、疲労、及び漫然等の程度を総合的に判断して安全作業継続可能度Ｓを算出してもよい。例えば、安全作業継続可能度Ｓは、作業者が居眠り運転状態や眠気を帯びた状態、アルコールや疾病等の影響により正常な運転が困難である危険運転状態、疲労が蓄積した状態、漫然状態であるとき、低い値を取る。特に、居眠り運転状態や危険運転状態においては、安全作業継続可能度Ｓは低い値となり、例えば０に近い値となる。
　次に、制御部１０は、安全作業継続可能度Ｓが予め定められた閾値αより大きいか否かを検知する（Ｓ５）。安全作業継続可能度Ｓが閾値αより大きいことを検知した場合（Ｓ５でＹｅｓ）、制御部１０は、ステップＳ４で算出された安全作業継続可能度Ｓを、ディスプレイ４に表示する（Ｓ６）。これにより、作業者は、ディスプレイ４に表示された安全作業継続可能度Ｓを確認することができる。ディスプレイ４には、安全作業継続可能度Ｓの値そのものが表示されてもよいし、図５に示したような安全作業継続可能度Ｓのメータを示す画像が表示されてもよい。以下、ディスプレイ４に表示された安全作業継続可能度Ｓを、安全作業継続可能度表示Ｓｄと呼ぶ。
　安全作業継続可能度Ｓが閾値α以下であることを検知した場合（Ｓ５でＮｏ）、制御部１０は、その安全作業継続可能度Ｓを介入前安全作業継続可能度Ｓｐとして記憶部２０に格納する（Ｓ７）。あるいは、制御部１０は、後述の介入制御の開始時又は開始直前の安全作業継続可能度Ｓを介入前安全作業継続可能度Ｓｐとして記憶部２０に格納してもよい。
　次に、出力制御部１４として動作する制御部１０は、介入制御を行う（Ｓ８）。介入制御は、安全作業継続可能度Ｓを増加させるために作業者に関与する介入動作を行うための制御である。例えば、制御部１０は、介入制御として、座席に取り付けられた振動装置５（図２参照）を振動させ、及び／又は、算出された安全作業継続可能度Ｓに応じた音声をスピーカ６に出力させる。これにより、例えば作業者の覚醒度が向上し、漫然状態、眠気状態等が解消され、ひいては安全作業継続可能度Ｓが増加する。
　次に、出力制御部１４として動作する制御部１０は、記憶部２０に格納された介入前安全作業継続可能度Ｓｐを読み出して、介入前安全作業継続可能度Ｓｐを示す表示を、予め定められた表示期間Ｔだけディスプレイ４に表示する（Ｓ９）。介入前安全作業継続可能度Ｓｐを示す表示は、本開示の「安全作業継続可能度が予め定められた基準以下であったことを示す表示」の一例である。したがって、この表示期間Ｔの間は、安全作業継続可能度表示Ｓｄは、その時点における作業者の安全作業継続可能度Ｓとは一致せず、介入前安全作業継続可能度Ｓｐに相当するものとなる。
　図６（ａ）は、安全作業継続可能度Ｓの時間的な推移を例示するグラフである。図６（ｂ）は、安全作業継続可能度Ｓが図６（ａ）のような推移をした場合にディスプレイ４に表示される安全作業継続可能度表示Ｓｄを例示するグラフである。図６（ａ），（ｂ）のグラフの横軸は時刻ｔを示している。作業開始時の時刻を０とする。図６（ａ）のグラフの縦軸は安全作業継続可能度Ｓを示している一方で、図６（ｂ）のグラフの縦軸は安全作業継続可能度表示Ｓｄを示している。
　図６（ａ）において、作業開始時から時間が経過すると、安全作業継続可能度Ｓが低下し始め、時刻ｔ０で閾値αに等しくなっている。制御部１０は、時刻ｔ０において、安全作業継続可能度Ｓが閾値α以下であることを検知する（図４のＳ５でＮｏ）。したがって、ステップＳ７に進み、制御部１０は、安全作業継続可能度Ｓを介入前安全作業継続可能度Ｓｐとして記憶部２０に格納する。次に、ステップＳ８に進み、出力制御部１４として動作する制御部１０は、介入制御を行う。介入制御は、予め定められた介入時間Δｔだけ行われる。
　ステップＳ５において安全作業継続可能度Ｓが閾値α以下であることを検知した時刻ｔ０と、ステップＳ７の介入制御の開始時刻ｔ１との間にはタイムラグがあり、ｔ０とｔ１とは一致しなくてもよい。しかしながら、本開示はこれに限定されず、ｔ１＝ｔ０であってもよい。ステップＳ６においては、時刻ｔ１における安全作業継続可能度Ｓが、介入前安全作業継続可能度Ｓｐとして記憶部２０に格納される。
　図６（ａ）に示すように、時刻ｔ１から介入制御が開始されると、例えば作業者の覚醒度が向上し、漫然状態、眠気状態等が解消され、ひいては安全作業継続可能度Ｓが増加する。介入制御は、時刻ｔ１からΔｔ後の時刻ｔ２に終了する。
　図６（ｂ）は、安全作業継続可能度Ｓが図６（ａ）のような推移をした場合にディスプレイ４に表示される安全作業継続可能度表示Ｓｄを例示している。時刻０から時刻ｔ１までの間は、図６（ｂ）の安全作業継続可能度表示Ｓｄは、測定から表示までのタイムラグがあるものの、図６（ａ）の安全作業継続可能度Ｓに一致する。
　図６（ｂ）において、その後の時刻ｔ１から時刻ｔ２までの間は、ステップＳ７の介入制御が実行されている。介入制御の間は、制御部１０は、ディスプレイ４に安全作業継続可能度表示Ｓｄを表示しなくてもよい。しかしながら、本開示はこれに限定されず、制御部１０は、ディスプレイ４に介入前安全作業継続可能度Ｓｐを表示してもよい。あるいは、制御部１０は、介入制御の実行中にもステップＳ１～Ｓ４と同様の処理を実行し、随時算出された安全作業継続可能度表示Ｓをディスプレイ４に表示してもよい。
　次に、ステップＳ９では、制御部１０は、介入制御の終了時刻ｔ２から時刻ｔ３までの表示期間Ｔの間、介入前安全作業継続可能度Ｓｐをディスプレイ４に表示する。したがって、図６（ｂ）では、介入制御の終了時刻ｔ２から時刻ｔ３までの表示期間Ｔの間、安全作業継続可能度表示Ｓｄは、介入前安全作業継続可能度Ｓｐで固定されている。
　時刻ｔ３以降は、図６（ｂ）の安全作業継続可能度表示Ｓｄは、図６（ａ）の安全作業継続可能度Ｓに一致する。そのため、時刻ｔ３の前後で、安全作業継続可能度表示Ｓｄの値が不連続となる場合がある。そこで、制御部１０は、ステップＳ９の後に、「安全に運転できる状態に戻りました」等のアナウンスをスピーカ６に出力させてもよい。あるいは、制御部１０は、時刻ｔ３の前後で安全作業継続可能度表示Ｓｄの値が不連続となることを防止するために、安全作業継続可能度表示Ｓｄを、介入前安全作業継続可能度Ｓｐから緩やかに（連続的に）現在の算出値Ｓに戻してもよい。
［４．まとめ］
　以上のように、本実施形態に係る表示システム１は、作業者の顔を含む画像を撮像し、画像データを生成するカメラ３と、画像データに基づいて安全作業継続可能度Ｓを決定する制御部１０と、安全作業継続可能度Ｓを表示するディスプレイ４と、振動装置５又はスピーカ６等の介入部とを備える。
　制御部１０は、安全作業継続可能度Ｓが予め定められた閾値α以下であることを検知した場合（図４のステップＳ５でＮｏ）、介入部に介入動作を行わせ（Ｓ８）、介入動作の終了後、予め定められた表示期間Ｔが経過するまで、安全作業継続可能度Ｓが閾値α以下であったことを示す表示をディスプレイ４に表示させる。上記の場合以外の場合（図４のステップＳ５でＹｅｓ）、制御部１０は、安全作業継続可能度Ｓをディスプレイ４に表示させる（Ｓ９）。
　表示システム１は、安全作業継続可能度Ｓを格納する記憶部２０を更に備えてもよい。この場合、制御部１０は、安全作業継続可能度Ｓが閾値α以下であることを検知した場合（図４のステップＳ５でＮｏ）、安全作業継続可能度Ｓを介入前安全作業継続可能度Ｓｐとして記憶部２０に格納する。この場合、ステップＳ９においてディスプレイ４に表示される表示は、記憶部２０に格納された介入前安全作業継続可能度Ｓｐである。
　制御部１０は、カメラ３から画像データを取得し、取得した画像データに基づいて、作業者の器官の位置及び移動速度のうちの少なくとも１つを検出し、検出した作業者の器官の位置及び移動速度のうちの少なくとも１つに基づいて、安全作業継続可能度Ｓを決定してもよい。
　このような構成により、表示システム１は、ディスプレイ４に安全作業継続可能度Ｓを表示する。これにより、作業者に安全作業継続可能度Ｓの低下を知らせることができる。ディスプレイ４に安全作業継続可能度Ｓを表示させるに過ぎず、作業者に音や振動で働きかけたり、作業者の何らかの動作を要求することはないため、作業者に不快感を与えることはない。また、安全作業継続可能度Ｓ表示するだけでも、作業者が、安全作業継続可能度Ｓが作業開始時より低下したこと、又は、安全作業継続可能度Ｓが予め定められた閾値付近まで低下したことを知った場合、知ったこと自体により眠気が覚めるなどして、作業者の安全作業継続可能度Ｓが増加することが期待できる。
　また、介入動作により、閾値α以下に下がった安全作業継続可能度Ｓを増加させることが期待でき、作業者が事故等を発生させる危険を低減させることができる。さらに、介入動作の後は、ディスプレイ４に介入前安全作業継続可能度Ｓｐが表示されるため、作業者は、自己が眠気を感じる等していた時点における安全作業継続可能度Ｓを、介入動作による覚醒後に知ることができる。眠気を感じる等している時点においては、作業者は安全作業継続可能度Ｓを確認できていない場合が多いため、表示システム１は、低下していた安全作業継続可能度Ｓを作業者に自認させる利点を有する。作業者は、安全作業継続可能度Ｓが低下していたことを自認することにより、自発的に眠気を覚ます動作をする等して、再度安全作業継続可能度Ｓが低下することを防止することができる。
　制御部１０は、作業者の器官の位置又は移動速度として、瞳孔の位置又は移動速度を検出してもよい。また、制御部１０は、作業者の器官の位置又は移動速度として、上眼瞼及び下眼瞼の位置又は移動速度を検出してもよい。
　例えば、眠気状態に陥ると、作業者の瞳孔の位置の移動範囲が狭くなり、又はその移動若しくはサッケードの速さが小さくなることが知られている。また、眠気状態に陥ると、例えば作業者の上眼瞼と下眼瞼との距離が小さくなる。すなわち、瞼が閉じかかった状態になる。したがって、瞳孔の位置もしくは移動速度、又は上眼瞼及び下眼瞼の位置もしくは移動速度を用いることで、精度良く安全作業継続可能度Ｓを算出できる。
［５．変形例］
　以上、本開示の実施形態を詳細に説明したが、前述までの説明はあらゆる点において本開示の例示に過ぎない。本開示の範囲を逸脱することなく種々の改良や変形を行うことができる。例えば、以下のような変更が可能である。なお、以下では、上記実施形態と同様の構成要素に関しては同様の符号を用い、上記実施形態と同様の点については、適宜説明を省略する。以下の変形例は適宜組み合わせることができる。
［５－１．第１変形例］
　上記の実施形態では、図４のステップＳ４に示したように、作業者の眼球運動、眼輪郭、及び表情情報のうちの少なくとも１つの測定結果に基づいて、安全作業継続可能度Ｓを算出する例について説明した。しかしながら、安全作業継続可能度Ｓを算出するために用いられる情報はこれらに限定されない。例えば、制御部１０は、作業者の血圧、心拍数、体温、呼吸数、脳波、及び発汗量等の生体情報に基づいて安全作業継続可能度Ｓを算出してもよい。
　図７は、このような第１変形例に係る表示システム１０１の構成を例示する図である。表示システム１０１は、作業者の血圧、心拍数、体温、呼吸数、脳波、及び発汗量等の生体情報を測定する生体情報測定部３０と、測定された生体情報を制御部１０に入力する入力部３１とを備える。生体情報測定部３０は、例えば公知のバイタルサイン計測器である。入力部３１は、表示システム１０１と生体情報測定部３０等の外部機器とを接続するインタフェース回路である。
　また、制御部１０は、センサを用いて測定された車両２の速度、加速度、及び角速度等の情報を入力部３１を介して取得し、取得した情報に基づいて安全作業継続可能度Ｓを算出してもよい。
　上記の実施形態の眼球運動、眼輪郭、及び表情情報と、本変形例で述べた生体情報及び車両情報とを組み合わせて安全作業継続可能度Ｓが算出されてもよい。また、例えば、これらの情報を組み合わせて安全作業継続可能度Ｓを算出する場合には、作業者の性格、持病、及び運転適正等によって、各情報の重み付けが行われてもよい。
［５－２．第２変形例］
　上記の実施形態では、図４のステップＳ８の介入制御が終わると、ステップＳ９において介入前安全作業継続可能度Ｓｐを表示期間Ｔの間表示する例について説明した。しかしながら、本開示の処理はこれに限定されない。例えば、制御部１０は、ステップＳ８の後、ステップＳ１～Ｓ４と同様の処理を実行して安全作業継続可能度Ｓを算出し、その値が予め定められた閾値βより大きいか否かを検知し、大きい場合に限りステップＳ９に進んでもよい。安全作業継続可能度Ｓが閾値β以下である場合、ステップＳ８に戻り、安全作業継続可能度Ｓが閾値βより大きくなるまで介入制御を継続してもよい。閾値βは、閾値αと同じ値であってもよい。
［５－３．第３変形例］
　上記の実施形態では、図４のステップＳ９において、制御部１０が、記憶部２０に格納された介入前安全作業継続可能度Ｓｐをディスプレイ４に表示する例について説明した。しかしながら、本開示の処理はこれに限定されない。例えば、制御部１０は、介入制御の実行中にもステップＳ１～Ｓ４と同様の処理を実行して安全作業継続可能度Ｓを算出し、算出された安全作業継続可能度Ｓのうちの最低値を記憶部２０に格納してもよい。本変形例においては、介入制御の終了時刻ｔ２から時刻ｔ３までの表示期間Ｔの間、制御部１０は、当該最低値をディスプレイ４に表示する。
［５－４．第４変形例］
　上記の実施形態では、図４のステップＳ８の介入制御として、制御部１０が、座席に取り付けられた振動装置５（図２参照）を振動させ、及び／又は、算出された安全作業継続可能度Ｓに応じた音声をスピーカ６に出力させる制御を説明した。しかしながら、介入制御はこれらに限定されない。例えば、制御部１０は、車両２のステアリング及びブレーキ等を制御可能に構成され、介入制御として、自動運転制御及び自動ブレーキ制御を行ってもよい。これにより、安全作業継続可能度Ｓが閾値α以下であることを検知した場合（Ｓ５でＮｏ）、自動運転制御及び自動ブレーキ制御を行って事故を防止することができる。
［５－５．第５変形例］
　上記の実施形態では、図１に示したように、車載用途に適用される表示システム１について説明した。しかしながら、本開示はこれに限定されない。例えば、表示システム１は、工場において利用されてもよい。具体的には、第５変形例においては、工場において製品の組立てや梱包等の作業を行なう工場作業者が、表示システム１のディスプレイ４に表示された安全作業継続可能度Ｓを確認することができる。
　また、表示システム１は、オフィス等において利用されてもよい。例えば、オフィスにおいてデスクワーク作業を行なうデスク作業者、及び在宅でデスクワーク作業を行うデスク作業者等の、同じ場所で作業を続けるような作業者が、表示システム１のディスプレイ４に表示された安全作業継続可能度Ｓを確認することができる。
　例えば、表示システム１により工場作業者、デスク作業者等の作業者が安全作業継続可能度Ｓが低下したことを知ることができれば、作業者は、意識的に注意しながら作業する、自ら休憩を入れる、違う作業に切り替える等の対策を採って、安全作業継続可能度Ｓを増加させるよう試みることができる。これにより、工場におけるミス、事故、及びデスクワークにおけるミス等が生じるリスクを下げることができる。
　表示システム１は、工場の作業ラインを制御する制御部を備えてもよい。これにより、表示システム１は、安全作業継続可能度Ｓが低下した場合、工場の作業ラインを止めることにより、ミス及び事故の発生を防止することができる。また、表示システム１は、安全作業継続可能度Ｓが低下した場合、工場管理者、共同作業者、並びに産業医及び看護師等の医療従事者等に通知してもよい。これにより、これらの者が作業計画の見直しをする、といった対応を採ることができる。このようにして、ミス及び事故の発生を防止することができる。
　表示システム１のディスプレイ４には、例えば安全作業継続可能度Ｓが表示される。あるいは、ディスプレイ４には、安全作業継続可能度Ｓに準ずる図、イルミネーション等が表示されてもよい。
　介入動作は、安全作業継続可能度Ｓに応じた警報音、休憩を促す等のアナウンス、座席振動等であってもよい。また、表示システム１は、介入動作として、安全作業継続可能度Ｓを読み上げてもよい。作業者がモニタを利用して作業を行う場合、表示システム１は、介入動作としてモニタ画面に警告画像を表示してもよい。作業者がアプリケーションを利用して作業を行う必要がある場合、表示システム１は、安全作業継続可能度Ｓが改善するまでアプリケーションを操作できない状態にしてもよい。
（付記）
　以下、本開示に係る各種態様を付記する。
　第１の態様の表示システム（１，１０１）は、
　安全作業継続可能度に関する情報を入力する入力部（３１）と、
　前記安全作業継続可能度に関する情報に基づいて前記安全作業継続可能度を決定する制御部（１０）と、
　前記安全作業継続可能度を表示する表示部（４）と、
　作業者に関与する介入動作を行う介入部（５，６）と、を備える。
　前記制御部（１０）は、
　　　前記安全作業継続可能度が予め定められた基準以下であることを検知した場合、前記介入部（５，６）に前記介入動作を行わせ、前記介入動作の終了後、予め定められた期間が経過するまで、前記安全作業継続可能度が前記基準以下であったことを示す表示を前記表示部に表示させ、
　　　上記の場合以外の場合、前記安全作業継続可能度を前記表示部に表示させる。
　第２の態様の表示システム（１）は、第１の態様の表示システムにおいて、
　前記安全作業継続可能度を格納する記憶部（２０）を更に備え、
　前記制御部（１０）は、前記安全作業継続可能度が前記基準以下であることを検知した場合、前記安全作業継続可能度を前記記憶部（２０）に更に格納し、
　前記安全作業継続可能度が前記基準以下であったことを示す表示は、前記記憶部（２０）に格納された安全作業継続可能度である。
　第３の態様の表示システム（１）は、第１又は第２の態様の表示システムにおいて、前記安全作業継続可能度に関する情報として人の顔を含む画像を撮像し、画像データを生成する撮像部（３）を更に備え、
　前記制御部（１０）は、前記撮像部（３）から前記画像データを取得し、取得した画像データに基づいて、前記人の器官の位置及び移動速度のうちの少なくとも１つを検出し、検出した前記人の器官の位置及び移動速度のうちの少なくとも１つに基づいて、前記安全作業継続可能度を決定する。
　第４の態様の表示システム（１）では、第３の態様の表示システムにおいて、前記制御部（１０）は、前記人の器官の位置又は移動速度として、瞳孔の位置又は移動速度を検出する。
　第５の態様の表示システム（１）では、第３又は第４の態様の表示システムにおいて、前記制御部（１０）は、前記人の器官の位置又は移動速度として、上眼瞼及び下眼瞼の位置又は移動速度を検出する。
　第６の態様の表示方法では、
　制御部（１０）が、安全作業継続可能度に関する情報を受信し、
　前記安全作業継続可能度に関する情報に基づいて前記安全作業継続可能度を決定し（Ｓ４）、
　前記安全作業継続可能度が予め定められた基準以下であることを検知した場合、作業者に関与する介入動作を介入部（５，６）に行わせ（Ｓ８）、前記介入動作の終了後、予め定められた期間が経過するまで、前記安全作業継続可能度が前記基準以下であったことを示す表示を表示部（４）に表示させ（Ｓ９）、
　上記の場合以外の場合、前記安全作業継続可能度を前記表示部（４）に表示させる（Ｓ６）。
　第７の態様は、第６の態様の表示方法を制御部（１０）に実行させるためのプログラムである。
　１　表示システム
　２　車両
　３　カメラ
　４　ディスプレイ
　５　振動装置
　６　スピーカ
　１０　制御部
　１１　画像処理部
　１２　測定部
　１３　安全作業継続可能度算出部
　１４　出力制御部
　２０　記憶部
　２１　安全作業継続可能度算出テーブル

Claims (7)

  1. 　安全作業継続可能度に関する情報を入力する入力部と、
    　前記安全作業継続可能度に関する情報に基づいて前記安全作業継続可能度を決定する制御部と、
    　前記安全作業継続可能度を表示する表示部と、
    　作業者に関与する介入動作を行う介入部と、を備える表示システムであって、
    　前記制御部は、
    　　　前記安全作業継続可能度が予め定められた基準以下であることを検知した場合、前記介入部に前記介入動作を行わせ、前記介入動作の終了後、予め定められた期間が経過するまで、前記安全作業継続可能度が前記基準以下であったことを示す表示を前記表示部に表示させ、
    　　　上記の場合以外の場合、前記安全作業継続可能度を前記表示部に表示させる、
    表示システム。
  2. 　前記表示システムは、前記安全作業継続可能度を格納する記憶部を更に備え、
    　前記制御部は、前記安全作業継続可能度が前記基準以下であることを検知した場合、前記安全作業継続可能度を前記記憶部に更に格納し、
    　前記安全作業継続可能度が前記基準以下であったことを示す表示は、前記記憶部に格納された安全作業継続可能度である、
    請求項１に記載の表示システム。
  3. 　前記安全作業継続可能度に関する情報として人の顔を含む画像を撮像し、画像データを生成する撮像部を更に備え、
    　前記制御部は、前記撮像部から前記画像データを取得し、取得した画像データに基づいて、前記人の器官の位置及び移動速度のうちの少なくとも１つを検出し、検出した前記人の器官の位置及び移動速度のうちの少なくとも１つに基づいて、前記安全作業継続可能度を決定する、請求項１又は２に記載の表示システム。
  4. 　前記制御部は、前記人の器官の位置又は移動速度として、瞳孔の位置又は移動速度を検出する、請求項３に記載の表示システム。
  5. 　前記制御部は、前記人の器官の位置又は移動速度として、上眼瞼及び下眼瞼の位置又は移動速度を検出する、請求項３又は４に記載の表示システム。
  6. 　制御部が、安全作業継続可能度に関する情報を受信し、
    　前記安全作業継続可能度に関する情報に基づいて前記安全作業継続可能度を決定し、
    　前記安全作業継続可能度が予め定められた基準以下であることを検知した場合、作業者に関与する介入動作を介入部に行わせ、前記介入動作の終了後、予め定められた期間が経過するまで、前記安全作業継続可能度が前記基準以下であったことを示す表示を表示部に表示させ、
    　上記の場合以外の場合、前記安全作業継続可能度を前記表示部に表示させる、
    表示方法。
  7. 　請求項６に記載の表示方法を制御部に実行させるためのプログラム。
PCT/JP2019/036207 2019-09-13 2019-09-13 表示システム、表示方法、及びプログラム WO2021049031A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021545089A JP7212295B2 (ja) 2019-09-13 2019-09-13 表示システム、表示方法、及びプログラム
PCT/JP2019/036207 WO2021049031A1 (ja) 2019-09-13 2019-09-13 表示システム、表示方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/036207 WO2021049031A1 (ja) 2019-09-13 2019-09-13 表示システム、表示方法、及びプログラム

Publications (1)

Publication Number Publication Date
WO2021049031A1 true WO2021049031A1 (ja) 2021-03-18

Family

ID=74865973

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/036207 WO2021049031A1 (ja) 2019-09-13 2019-09-13 表示システム、表示方法、及びプログラム

Country Status (2)

Country Link
JP (1) JP7212295B2 (ja)
WO (1) WO2021049031A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07249197A (ja) * 1994-03-10 1995-09-26 Mitsubishi Electric Corp 人物状態検出装置
JP2007264883A (ja) * 2006-03-28 2007-10-11 Mitsubishi Fuso Truck & Bus Corp 車両用覚醒度情報出力装置
JP2008225838A (ja) * 2007-03-13 2008-09-25 Aisin Seiki Co Ltd 顔特徴点検出装置、顔特徴点検出方法及びプログラム
WO2010032424A1 (ja) * 2008-09-18 2010-03-25 学校法人中部大学 眠気予兆検出装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07249197A (ja) * 1994-03-10 1995-09-26 Mitsubishi Electric Corp 人物状態検出装置
JP2007264883A (ja) * 2006-03-28 2007-10-11 Mitsubishi Fuso Truck & Bus Corp 車両用覚醒度情報出力装置
JP2008225838A (ja) * 2007-03-13 2008-09-25 Aisin Seiki Co Ltd 顔特徴点検出装置、顔特徴点検出方法及びプログラム
WO2010032424A1 (ja) * 2008-09-18 2010-03-25 学校法人中部大学 眠気予兆検出装置

Also Published As

Publication number Publication date
JP7212295B2 (ja) 2023-01-25
JPWO2021049031A1 (ja) 2021-03-18

Similar Documents

Publication Publication Date Title
CN107791893B (zh) 车辆座椅
US11383721B2 (en) System and method for responding to driver state
US10710594B2 (en) Occupant-status prediction system
JP5326521B2 (ja) 覚醒状態判断装置及び覚醒状態判断方法
CN106462027B (zh) 控制机动车辆中的车辆系统的方法
US20190038204A1 (en) Pupillometry and sensor fusion for monitoring and predicting a vehicle operator's condition
CN113474787A (zh) 驾驶员的认知状态的检测
JP5177102B2 (ja) 運転支援装置
JP2007531579A (ja) 目の動きをモニターするバイオセンサ、コミュニケーター及びコントローラー並びにそれらの使用方法
CN112829767B (zh) 一种基于监测驾驶员误操作的自动驾驶控制系统及方法
JP2019195377A (ja) データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、及びデータ処理プログラム
US20200104617A1 (en) System and method for remote monitoring of a human
JP2009166783A (ja) 症状推定装置
US11430231B2 (en) Emotion estimation device and emotion estimation method
WO2021049031A1 (ja) 表示システム、表示方法、及びプログラム
WO2021024434A1 (ja) 表示システム、表示方法、及びプログラム
WO2020188629A1 (ja) 覚醒状態判定装置、覚醒システム、及び覚醒状態判定方法
JP2019179370A (ja) 車速制御装置
JP2018183248A (ja) 眠気判定装置
JP2023131715A (ja) 車両用安全支援装置
JP2023135807A (ja) 警報提示方法、警報提示装置及び警報提示プログラム
JP2024051307A (ja) Ａｉモデル生成方法、感情推定ａｉモデルの学習データ生成方法、感情推定装置、及び車両制御システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19945024

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021545089

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19945024

Country of ref document: EP

Kind code of ref document: A1