WO2023105751A1 - 乗員監視装置及び乗員監視方法 - Google Patents

乗員監視装置及び乗員監視方法 Download PDF

Info

Publication number
WO2023105751A1
WO2023105751A1 PCT/JP2021/045526 JP2021045526W WO2023105751A1 WO 2023105751 A1 WO2023105751 A1 WO 2023105751A1 JP 2021045526 W JP2021045526 W JP 2021045526W WO 2023105751 A1 WO2023105751 A1 WO 2023105751A1
Authority
WO
WIPO (PCT)
Prior art keywords
task
determination unit
driver
state
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2021/045526
Other languages
English (en)
French (fr)
Inventor
季美果 池上
太郎 熊谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2023566026A priority Critical patent/JP7483160B2/ja
Priority to CN202180104696.0A priority patent/CN118525506A/zh
Priority to PCT/JP2021/045526 priority patent/WO2023105751A1/ja
Publication of WO2023105751A1 publication Critical patent/WO2023105751A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present disclosure relates to an occupant monitoring device and an occupant monitoring method.
  • Patent Literature 1 discloses a smoking detection device that detects smoking as a second task.
  • the smoking detection device of Patent Document 1 captures an image of a driver's face using an imaging unit provided inside a vehicle, determines the face orientation of the driver using the captured image, and detects a cigarette burning unit according to the face orientation. Set the existence discrimination area of . Then, the smoking detection device of Patent Document 1 detects the smoking of the driver by searching the existence discrimination area for a high-temperature area, which is a candidate area for the cigarette burning portion.
  • the smoking detection device of Patent Document 1 may erroneously detect smoking by the driver even when the driver does not have a cigarette in his mouth. Specifically, this is the case where the driver is holding the handle with both hands while holding the cigarette in his hand. In this case, the driver's face and the cigarette are actually far apart, but the driver's face and the cigarette are detected close to each other on the captured image, so the driver's smoking is erroneously detected. . Therefore, the smoking detection device of Patent Literature 1 has a problem that the detection accuracy of the second task is insufficient.
  • the present disclosure has been made to solve the above-described problems, and aims to provide an occupant monitoring device and an occupant monitoring method capable of highly accurately determining a second task.
  • An occupant monitoring device includes an image acquisition unit that acquires a captured image from an imaging unit that captures an image of a driver of a vehicle, and a second task that is an action other than driving performed by the driver while driving using the captured image.
  • a first second task determination unit that determines whether or not is being performed; a grip state determination unit that determines a grip state indicating whether or not the driver is gripping the steering wheel with both hands; and a second task determination unit that determines whether or not the second task is being performed based on the determination result of the second task determination unit and the determination result of the grip state determination unit.
  • An occupant monitoring method acquires a captured image from an imaging unit that captures an image of a driver of a vehicle; a step of determining whether or not the driver is gripping the steering wheel with both hands; a step of determining whether or not the driver is gripping the steering wheel with both hands; and a determination result of whether or not the second task is being performed. and a step of determining whether or not the second task is being performed based on the grip state determination result.
  • the second task is determined whether or not the second task is being performed based on the determination result of the first second task determination unit and the determination result of the grip state determination unit, so the second task is determined with high accuracy. be able to.
  • FIG. 1 is a block diagram showing part of a vehicle equipped with an occupant monitoring device according to Embodiment 1.
  • FIG. FIG. 2 is a schematic diagram showing a hardware configuration example of the occupant monitoring device according to the first embodiment.
  • FIG. 3 is a flow chart showing the processing operation of the occupant monitoring device according to the first embodiment.
  • FIG. 4 is a flow chart showing the processing operation of the occupant monitoring device according to the second embodiment.
  • FIG. 5 is a flow chart showing the processing operation of the occupant monitoring device according to the third embodiment.
  • FIG. 6 is a block diagram showing part of a vehicle equipped with an occupant monitoring device according to Embodiment 4.
  • FIG. 7 is a block diagram showing part of a vehicle equipped with an occupant monitoring device according to Embodiment 5.
  • FIG. 8 is a flow chart showing the processing operation of the occupant monitoring device according to the fifth embodiment.
  • FIG. 1 is a block diagram showing part of a vehicle 30 equipped with an occupant monitoring device 20 according to Embodiment 1.
  • the occupant monitoring device 20 determines whether or not the driver driving the vehicle 30 is performing the second task.
  • the vehicle 30 is a car will be described, but any vehicle such as a motorcycle, a train, or an airplane may be used as long as it is operated by a person.
  • a second task is an action other than driving performed by the driver while driving with at least one hand removed from the steering wheel.
  • the second tasks are smoking, operating a mobile terminal, talking using a mobile terminal, eating and drinking, checking documents, and reading.
  • the vehicle 30 includes a travel determination unit 1, an imaging unit 2, an image acquisition unit 3, a grip state determination unit 4, a second task determination unit 5, a storage unit 6, an output unit 7, and a display unit 8.
  • the occupant monitoring device 20 includes a travel determination unit 1 , an image acquisition unit 3 , a grip state determination unit 4 , a second task determination unit 5 , a storage unit 6 and an output unit 7 .
  • the second task determination section 5 has a first second task determination section 5a and a second second task determination section 5b.
  • the travel determination unit 1 acquires travel information from the vehicle 30 indicating whether or not the vehicle 30 is traveling. Then, the travel determination unit 1 determines whether or not the vehicle 30 is running using the travel information, and outputs the determination result to the first second task determination unit 5a.
  • the travel information is, for example, information indicating vehicle speed. The travel determination unit 1 determines that the vehicle 30 is not running when the vehicle speed is 0 km/h, and determines that the vehicle 30 is running when the vehicle speed is not 0 km/h.
  • the imaging unit 2 is a camera provided inside the vehicle 30, and is installed on the instrument panel, dashboard, center display, A pillar, rearview mirror, or the like of the vehicle 30.
  • the imaging unit 2 outputs a captured image of the driver of the vehicle 30 to the image acquiring unit 3 .
  • the image acquisition unit 3 acquires the captured image from the imaging unit 2 that captures the driver of the vehicle 30 .
  • the grip state determination unit 4 determines the grip state indicating whether or not the driver is gripping the steering wheel with both hands. Further, when the gripping state determining unit 4 determines that the driver does not grip the steering wheel with both hands, the gripping state determination unit 4 determines that the driver is gripping the steering wheel with the right hand and the driver is gripping the steering wheel with the left hand. It may be further determined which of the state and the state in which the driver is not gripping the steering wheel.
  • a gripping state is a state in which the driver's hand is in contact with the steering wheel.
  • the state in which the driver holds the steering wheel with both hands is “both hands”
  • the state in which the driver holds the steering wheel in the right hand is “right hand”
  • the state in which the driver holds the steering wheel with the left hand is “both hands”.
  • a state in which the driver does not grip the steering wheel with both hands is referred to as a state in which both hands are not gripped.
  • the gripping state determination unit 4 may determine the "right hand” and the "left hand” as "one hand”, which is the state in which the driver grips the steering wheel with one hand.
  • the gripping state determination unit 4 detects a plurality of characteristic points of the driver in the captured image. Feature points are used to generate a so-called skeleton model. Then, the gripping state determination unit 4 uses the plurality of detected feature points to generate a skeletal model of the driver. Next, the grip state determination unit 4 uses the generated skeleton model to detect the tilt angle of the driver's shoulder or the tilt angle of the driver's arm. Thereby, the gripping state determination unit 4 can estimate the direction in which the driver's arms are facing, and can estimate whether or not the driver's hands are gripping the steering wheel.
  • the method by which the gripping state determination unit 4 determines the gripping state is not limited to the method described above.
  • the grip state determination unit 4 may determine whether or not the driver's hand is in contact with the steering wheel from the captured image, and determines whether the driver's hand is on the steering wheel side from a predetermined position.
  • the second task determination unit 5 determines whether or not the second task is being executed.
  • the second task determination section 5 has a first second task determination section 5a and a second second task determination section 5b.
  • the first second task determination unit 5a determines whether or not the second task is being performed when the running determination unit 1 determines that the vehicle 30 is running.
  • the second task determination unit 5b determines whether or not the second task is being performed based on the determination result of the first second task determination unit 5a and the determination result of the grip state determination unit 4.
  • the first second task determination unit 5a uses the captured image acquired by the image acquisition unit 3 to determine whether or not the second task is being performed. In addition, the first second task determination unit 5a may further determine the type of the second task when determining that the second task is being performed.
  • the type of the second task is at least one or more of smoking, mobile terminal operation, conversation using the mobile terminal, eating and drinking, checking documents, and reading.
  • the determination by the first second task determination unit 5a can be performed by, for example, pattern matching processing.
  • the first second task determination unit 5a stores in advance pattern images to be used for pattern matching processing.
  • Pattern images include, for example, an image of a person smoking, an image of a person operating a mobile terminal, an image of a person having a conversation using a mobile terminal, an image of a person eating and drinking, and an image of a document. Images of people checking, images of people reading, images of cigarettes, images of mobile devices, images of food such as rice balls, images of containers such as PET bottles containing beverages, images of documents , and an image of a book. Then, the first second task determination unit 5a calculates the degree of similarity between the part of the captured image acquired by the image acquisition unit 3 and the pattern image, thereby determining whether or not the second task is being performed. determine the type.
  • the determination by the first second task determination unit 5a may be performed using a known algorithm of supervised learning.
  • the first second task determination unit 5a determines whether or not the second task is being performed and the type of the second task by so-called supervised learning.
  • Supervised learning is a method of inferring results from inputs by giving a set of input and result (supervised label) data to a learning device as learning data, learning the features in those learning data.
  • the first second task determination unit 5a has a machine learning model generated according to learning data in which image information and types of second tasks are combined in advance, and the captured image acquired by the image acquisition unit 3 is input to the machine learning model. By doing so, the second task is determined.
  • Deep learning may be used as a learning algorithm to generate the machine learning model, or the machine learning model may be trained according to other known methods such as genetic programming, functional logic programming, or support vector machines. You may let
  • the method of determining whether or not the second task is being performed and the type of the second task by the first second task determination unit 5a are not limited to the above methods.
  • the imaging unit 2 has an infrared camera, and the image acquisition unit 3 acquires information on the heat distribution of the imaging area of the imaging unit 2 .
  • the first second task determination unit 5a may determine whether or not the second task of smoking is being performed by determining the presence or absence of cigarettes based on the heat distribution information.
  • a second task is an action other than driving that the driver performs while driving with at least one hand off the steering wheel. Therefore, for example, the act of the driver holding a cigarette in one hand and gripping the steering wheel with both hands is not a second task.
  • the first second task determining unit 5a determines that the distance between the driver's mouth and the cigarette estimated from the captured image is equal to or less than a preset threshold value. , for example, 2 cm or less, it may be determined that the second task of smoking is being performed.
  • a method of estimating the distance between the driver's mouth and the cigarette estimated from the captured image obtains the coordinate distance between the driver's mouth and the cigarette and the coordinate distance between the driver's eyes from the captured image. It is preferable to estimate the distance between the driver's mouth and the cigarette based on the standard distance between the eyes.
  • the first second task determination unit 5a determines if the distance between the driver's face and the mobile terminal estimated from the captured image is a preset threshold value or less, for example, 5 cm or less. , it may be determined that the second task of conversation using the mobile terminal is being performed.
  • the second task determination unit 5b determines whether or not the determination by the first second task determination unit 5a is to be performed, or whether or not the first second task determination unit 5a determines whether the grip state determined by the grip state determination unit 4 is performed. It is determined whether or not to validate the determination result by .
  • the second second task determination unit 5b determines that the gripping state determination unit 4 determines that the second task is being performed when the first second task determination unit 5a determines that the second task is being performed. If it is determined that the task is not in the state, the determination result of the first second task determination unit 5a is validated.
  • the second second task determination unit 5b determines that the grip state determination unit 4 is in the "both hands" grip state. If determined, the determination result of the first second task determination unit 5a is invalidated.
  • the grip state determination unit 4 and the second task determination unit 5 perform determination at preset time intervals.
  • the preset time intervals are, for example, 0.5 second intervals.
  • the storage unit 6 stores the judgment result of the second task judgment unit 5 .
  • the storage unit 6 can store a preset amount of past determination results, and stores at least the determination results of the second task determination unit 5 for the previous and latest captured images. Moreover, the storage unit 6 may further store the determination result of the gripping state determination unit 4 .
  • the output unit 7 outputs to the display unit 8 a signal indicating that the second task is being executed.
  • the display unit 8 is, for example, a speaker or a display provided on the vehicle 30 .
  • the display unit 8 displays at least one of a voice and an image prompting the user to finish the execution of the second task.
  • FIG. 2 is a schematic diagram showing a hardware configuration example of the occupant monitoring device 20 according to the first embodiment.
  • the travel determination unit 1, the image acquisition unit 3, the grip state determination unit 4, the second task determination unit 5, the storage unit 6, and the output unit 7 of the occupant monitoring device 20 are dedicated hardware as shown in FIG. 2A. It may be a circuit 12 or it may be a processor 13 executing a program stored in a memory 14 as shown in FIG. 2B.
  • each component of the occupant monitoring device 20 is dedicated hardware as shown in FIG. Specific Integrated Circuit), FPGA (Field-programmable Gate Array), or a combination thereof.
  • Each function of each component of the occupant monitoring device 20 may be realized by the processing circuit 12 , or the functions of each component may be collectively realized by one processing circuit 12 .
  • each component of the occupant monitoring device 20 when each component of the occupant monitoring device 20 is the processor 13, the function of each component is realized by software, firmware, or a combination of software and firmware.
  • Software or firmware is written as a program and stored in memory 14 .
  • the processor 13 implements the function of each component of the occupant monitoring device 20 by reading and executing the program stored in the memory 14 . That is, each component of the occupant monitoring device 20 executes a program that, when executed by the processor 13, results in the execution of each step shown in FIGS.
  • a memory 14 is provided for storing. It can also be said that these programs cause a computer to execute the procedures or methods of each component of the occupant monitoring device 20 .
  • the processor 13 is, for example, a CPU (Central Processing Unit), a processing device, an arithmetic device, a processor, a microprocessor, a microcomputer, or a DSP (Digital Signal Processor).
  • the memory 14 may be non-volatile or volatile semiconductor memory such as RAM (Random Access Memory), ROM (Read Only Memory), flash memory, EPROM (Erasable Programmable ROM), EEPROM (Electrically EPROM), etc. However, it may be a magnetic disk such as a hard disk or a flexible disk, or an optical disk such as a mini disk, a CD (Compact Disc), or a DVD (Digital Versatile Disc).
  • each configuration of the occupant monitoring device 20 may be partly realized by dedicated hardware and partly realized by software or firmware.
  • the processing circuit 12 in the occupant monitoring device 20 can realize each of the functions described above by hardware, software, firmware, or a combination thereof.
  • FIG. 3 is a flow chart showing the processing operation of the occupant monitoring device 20 of the first embodiment.
  • step S101 the travel determination unit 1 determines whether or not the vehicle 30 is running.
  • the running determination unit 1 determines that the vehicle 30 is running (YES in step S101)
  • it outputs the determination result to the first second task determination unit 5a.
  • the running determination unit 1 determines that the vehicle 30 is not running (NO in step S101)
  • the running determination unit 1 repeats step S101 until it determines that the vehicle 30 is running. That is, since the second task is allowed to be performed while the vehicle 30 is stopped, the occupant monitoring device 20 does not perform the determination of the second task.
  • step S102 the second task determination unit 5 causes the image acquisition unit 3 to acquire a captured image from the imaging unit 2 that captures an image of the driver.
  • step S103 the grip state determination unit 4 uses the captured image acquired by the image acquisition unit 3 to determine the grip state indicating whether or not the driver is gripping the steering wheel with both hands.
  • step S104 the first second task determination unit 5a uses the captured image acquired by the image acquisition unit 3 to determine whether or not the second task is being performed. In addition, when the first second task determination unit 5a determines that the second task is being performed, it may further determine the type of the second task. When the first second task determining unit 5a determines that the second task is being executed (YES in step S104), the process proceeds to step S105. When the first second task determination unit 5a determines that the second task is not executed (NO in step S104), the process proceeds to step S106.
  • step S105 the storage unit 6 stores the judgment result of the first second task judgment unit 5a. After the processing operation of step S105, the process proceeds to step S107, and after the processing operation of step S106, the process proceeds to step S110.
  • the second second task determination unit 5b determines whether or not the second task is being performed based on the determination result of the first second task determination unit 5a and the determination result of the grip state determination unit 4. judge.
  • step S107 using the determination result of the grip state determination unit 4, the second second task determination unit 5b determines whether or not the grip state satisfies a preset condition.
  • the preset condition of the gripping state in the present embodiment is that the driver grips the steering wheel with both hands, that is, the gripping state is "both hands".
  • the gripping state determining unit 4 determines that the gripping state is "both hands"
  • the driver is gripping the steering wheel with both hands, so both hands are physically occupied. Therefore, the result of determination that the second task is being executed by the first second task determination unit 5a (YES in step S104) is erroneous. Therefore, in step S108, the second second task determination section 5b determines that the determination result of the first second task determination section 5a is invalid.
  • step S109 the second second task determination section 5b corrects the determination result of the first second task determination section 5a stored in the storage section 6 in step S105. More specifically, the second second task determination unit 5b corrects the latest determination result of the second task determined by the first second task determination unit 5a from execution of the second task to non-execution of the second task. .
  • step S110 when the gripping state determination unit 4 determines that the gripping state is not “both hands” (NO in step S107), the second second task determination unit 5b determines that the determination result of the first second task determination unit 5a is valid. (step S110). Also, in step S104, when the first second task determination unit 5a determines that the second task is not performed, the second second task determination unit 5b validates the determination result of the first second task determination unit 5a. (step S110). When the second task determination unit 5b determines that the determination result of the first second task determination unit 5a is valid (step S110), the first second task determination unit 5a stored in steps S105 and S106 Since the processing operation for correcting the determination result is unnecessary, the process proceeds to step S111.
  • step S111 the second task determination unit 5b determines whether or not the second task has been continuously performed for a preset time based on the second task determination result stored in the storage unit 6.
  • the first is a case where the state in which the second task is being performed continues for a preset time when the first second task determination unit 5a determines whether or not the second task is being performed.
  • the determination result stored in the storage unit 6 indicates whether the second task of the same type is selected.
  • the preset time is set to a time during which it is expected that if the second task is continuously performed, the driver's concentration on driving will decrease, and since the driver is not holding the steering wheel with both hands, it is expected that the driver will not be able to respond quickly. good.
  • the amount of time during which it is expected that the driver's concentration on driving will decrease and that the driver will not be able to handle the steering wheel with both hands will differ depending on the type of the second task. Therefore, the preset time may be set differently depending on the type of the second task. For example, the preset time is 2 to 3.5 seconds for the second task of smoking, and 3 to 4.5 seconds for the second task of conversation using a portable terminal.
  • step S109 if the second task is not continuously performed for the preset time, the processing operation of the occupant monitoring device 20 is terminated.
  • step S112 the second task determination unit 5b causes the output unit 7 to output a signal to the display unit 8 indicating that the second task is being performed. Then, the display unit 8 displays at least one of a voice and an image prompting the driver to finish the execution of the second task. With the above, the processing operation of the occupant monitoring device 20 is finished.
  • the occupant monitoring device 20 in the present embodiment uses the captured image to determine whether or not the second task, which is an action other than driving performed by the driver while driving, is being performed.
  • a second task determination unit 5 b is provided for determining whether or not the second task is being executed based on the determination result of the state determination unit 4 . Accordingly, the occupant monitoring device 20 can determine the second task with high accuracy.
  • the first second task determination unit 5a determines that the smoking second task is being performed using the captured image.
  • the cigarette is smaller than the handle, it may be erroneously determined that the smoking second task is being performed even when the cigarette is not actually captured in the captured image.
  • the second task of smoking has been described as an example, but the same applies to other second tasks. In other words, there is a possibility that the determination result using the captured image in the first second task determination unit 5a is an erroneous determination.
  • the gripping state determination unit 4 determines the gripping state using a captured image.
  • the handle is larger than, for example, a cigarette
  • the holding state can be determined with higher accuracy than the second task of the cigarette. That is, the determination result of the gripping state determination unit 4 is more accurate than the determination result of the first second task determination unit 5a. Therefore, the second second task determination unit 5b determines whether or not the second task is being performed, taking into account the determination result of the gripping state determination unit 4 in addition to the determination result of the first second task determination unit 5a. do. This makes it possible to determine the second task with higher accuracy.
  • the second second task determination unit 5b determines whether or not to validate the determination result of the first second task determination unit 5a according to the gripping state. More specifically, when the first second task determination unit 5a determines that the second task is being performed, the second second task determination unit 5b determines whether the gripping state determination unit 4 indicates that the gripping state is "both hands". If it is determined that the state is not the state, the determination result of the first second task determination unit 5a is validated. The determination result of the part 5a is invalidated. While the driver is holding the steering wheel with both hands, the driver cannot perform the second task because both hands are occupied.
  • the second task determination section 5b invalidates the determination result of the first second task determination section 5a, thereby making it possible to determine the second task with higher accuracy.
  • the second task is an action performed by the driver with at least one hand removed from the steering wheel. or one or more.
  • the driver may lose concentration on driving and may not be able to respond quickly because he/she is not holding the steering wheel with both hands.
  • the occupant monitoring device 20 of the present embodiment can accurately determine a second task in which the driver may not be able to quickly respond because the driver's concentration on driving has decreased and the driver is not gripping the steering wheel with both hands. can be done.
  • the second second task determination unit 5b outputs a signal to the display unit 8 indicating that the second task is being performed to the output unit 7 when the second task is continuously performed for a preset time. output.
  • the display unit 8 provided in the vehicle 30 displays at least one of a voice and an image prompting the user to finish the execution of the second task according to the signal from the output unit 7 . This encourages the driver to finish the second task, so that the driver can concentrate on driving and try to drive safely by gripping the steering wheel with both hands.
  • the output unit 7 outputs a signal to the display unit 8 every time the first second task determination unit 5a determines that the second task is being performed, the display unit 8 displays a large number of times, which annoys the driver. feel. Therefore, the second task determination unit 5b causes the output unit 7 to output a signal when the second task is continuously performed for a preset time. As a result, if the second task continues for a period of time during which it is expected that the driver will not be able to concentrate on driving and will not be able to handle the steering wheel with both hands, it will be possible to monitor the occupants.
  • the device 20 may indicate to finish performing the second task. Therefore, the occupant monitoring device 20 can suppress annoyance caused by too many displays on the display unit 8 .
  • the occupant monitoring device 20 also includes a storage section 6 that stores the determination results of the first second task determination section 5a and the second second task determination section 5b. Then, the first second task determination unit 5a determines the type of the second task when determining that the second task is being performed.
  • the second task determination unit 5b causes the output unit 7 to output a signal when the determination result stored in the storage unit 6 indicates that the second task of the same type has been continuously performed for a preset time. .
  • the preset time differs depending on the type of the second task. Depending on the type of the second task, how long the second task is continuously performed may reduce the driver's ability to concentrate on driving, and the driver may not be able to respond quickly because the driver is not holding the steering wheel with both hands. . Therefore, by setting the preset time differently depending on the type of the second task, it is possible to prompt the driver to finish the second task at the optimum timing for the type of the second task being performed. can.
  • the occupant monitoring device 20 includes the storage unit 6, but the determination result of the second task determination unit 5 may be transmitted to and stored in a server device provided outside the vehicle 30. .
  • the output unit 7 outputs a signal indicating that the second task is being performed to the display unit 8, and the display unit 8 informs the driver of the second task.
  • the determination result of the second task by the occupant monitoring device 20 can be used by companies that operate commercial vehicles such as trucks and taxis.
  • a company that operates commercial vehicles has a server device for managing the commercial vehicles.
  • the output unit 7 may output a signal indicating that the second task is being executed to the server device.
  • the management company can monitor whether the employee who is the driver of the business vehicle is performing the second task.
  • Embodiment 2 An occupant monitoring device 20 according to Embodiment 2 will be described.
  • the configuration of the occupant monitoring device 20 of the second embodiment is similar to that of the occupant monitoring device 20 of the first embodiment.
  • the same reference numerals are assigned to the same configurations as in the first embodiment.
  • the second task determination unit 5b of the present embodiment determines that the determination result of the first second task determination unit 5a is determined when the gripping state does not satisfy a preset condition. is validated, and if the state of the second task changes and the gripping state satisfies a preset condition, the determination result of the first second task determination unit 5a is invalidated.
  • a change in the state of the second task means a change in the state of whether or not the second task is being implemented, or a change in the type of the second task. Specifically, when the state where the second task is not performed changes to the state where the second task is performed, and when the second task of smoking changes to the second task of conversation using a mobile terminal.
  • the preset conditions for the gripping state of the present embodiment are at least one or more of the three conditions shown in Table 1.
  • the first grip state condition is that the driver continues to grip the steering wheel with both hands, that is, the previous determination result of the grip state determination unit 4 is "both hands", and the latest grip state determination is performed. This is the case where the determination result of part 4 is "both hands".
  • both hands of the driver are physically occupied and there is no possibility that the state of the second task will change.
  • the second grip state condition is when the driver changes from gripping the steering wheel with both hands to not gripping the steering wheel with both hands. "both hands" and the latest determination result of the gripping state determining unit 4 is "right hand", “left hand”, “one hand” or “not gripped”.
  • the second preset grip state condition is set when the preset time interval determined by the grip state determination unit 4 is sufficiently short, for example, shorter than 0.5 seconds. For example, the action of releasing the handle and changing the state of the second task cannot be performed at the same time in a time shorter than 0.5 seconds.
  • a preset time interval determined by the gripping state determining unit 4 stored in the storage unit 6 and the first second task determining unit 5a determined by the gripping state determining unit 4 is determined by the operation of releasing the hand from the handle and the second task. If it is long enough to simultaneously change the state of , for example, if it is longer than 0.5 seconds, the condition for the second gripping state need not be set.
  • the third gripping state condition is when the driver changes from not gripping the steering wheel with both hands to gripping the steering wheel with both hands, that is, the previous determination result of the gripping state determination unit 4 is "right hand”. , ⁇ left hand'', ⁇ one hand'', or ⁇ not gripped'', and the latest determination result of the grip state determination unit 4 is ⁇ both hands''.
  • the state of the driver not gripping the steering wheel with both hands changes to the state of gripping the steering wheel with both hands, the operation of gripping the steering wheel with both hands and changing the state of the second task cannot be performed at the same time.
  • FIG. 4 is a flow chart showing the processing operation of the occupant monitoring device 20 of the second embodiment.
  • Steps S201 and S202 are the same as steps S101 and S102 of the embodiment, respectively.
  • step S203 the first second task determination unit 5a uses the captured image acquired by the image acquisition unit 3 to determine whether or not the second task is being performed. In addition, when the first second task determination unit 5a determines that the second task is being performed, it may further determine the type of the second task.
  • step S204 the grip state determination unit 4 determines the grip state indicating whether or not the driver is gripping the steering wheel with both hands. Steps S203 and S204 may be performed at the same time, and step S203 may be performed after step S204.
  • step S205 the storage unit 6 stores the determination result of the first second task determination unit 5a in step S203 and the determination result of the grip state determination unit 4 in step S204.
  • the second task determination unit 5b determines whether the second task is determined based on the determination result of the first second task determination unit 5a and the determination result of the grip state determination unit 4 stored in the storage unit 6. Determine whether or not it is implemented.
  • the second second task determination unit 5b determines whether or not the state of the second task has changed. That is, the second task determination unit 5b detects that the state of the second task has changed when the latest determination result of the first second task determination unit 5a and the previous determination result of the first second task determination unit 5a are different. If the latest determination result of the first second task determination unit 5a and the previous determination result of the first second task determination unit 5a are the same, it is determined that there is no change in the state of the second task.
  • a change in the state of the second task means a change in the state of whether or not the second task is being executed, or a change in the type of the second task.
  • the second second task determination unit 5b determines whether or not the gripping state satisfies a preset condition (step S207).
  • the preset conditions for the grip state are at least one or more of the three conditions shown in Table 1 above.
  • step S207 If the gripping state satisfies the preset condition (YES in step S207), the second second task determination unit 5b determines that the determination result of the first second task determination unit 5a is invalid (step S208), and step Proceed to S209.
  • step S209 the second task determination section 5b corrects the determination result of the first second task determination section 5a stored in the storage section 6 in step S205. More specifically, the second second task determination unit 5b deletes the latest determination result of the second task determined by the first second task determination unit 5a so that there is no data, or the previous determination result of the second task is deleted. Correct to the same judgment result as
  • the second second task determination unit 5b determines that the determination result of the first second task determination unit 5a is valid (step S210). Moreover, even when the state of the second task does not change in step S206, the second second task determination unit 5b determines that the determination result of the first second task determination unit 5a is valid (step S210).
  • Steps S211 and S212 are the same as steps S111 and S112 of the embodiment, respectively. With the above, the processing operation of the occupant monitoring device 20 is finished.
  • the occupant monitoring device 20 in the present embodiment uses captured images to determine whether or not a second task, which is an action other than driving performed by the driver while driving, is being performed.
  • a first second task determination unit 5a a grip state determination unit 4 that determines a grip state indicating whether or not the driver is gripping the steering wheel with both hands, and a first second task determination unit 5a.
  • a second task determination unit 5 b is provided for determining whether or not the second task is being performed based on the determination result and the determination result of the gripping state determination unit 4 . Accordingly, the occupant monitoring device 20 can determine the second task with high accuracy.
  • the second second task determination unit 5b determines whether or not to validate the determination result of the first second task determination unit 5a according to the gripping state. More specifically, when the state of the second task changes and the grip state does not satisfy the preset condition, the second task determination unit 5b makes the determination of the first second task determination unit 5a. The result is validated, and if the gripping state satisfies a preset condition when the state of the second task changes, the determination result of the first second task determination unit 5a is invalidated. The second task determination unit 5b determines that the state of the second task has changed when the latest determination result of the first second task determination unit 5a and the previous determination result of the first second task determination unit 5a are different.
  • the preset condition of the gripping state is a condition in which there is no possibility that the state of the second task will change. Therefore, when the state of the second task changes, if the gripping state is the preset condition, the determination result of the first second task determination unit 5a is erroneous. Therefore, the second task determination section 5b invalidates the determination result of the first second task determination section 5a, thereby making it possible to determine the second task with higher accuracy.
  • the preset condition of the gripping state is that, when the driver continues to grip the steering wheel with both hands, the state in which the driver grips the steering wheel with both hands is at least one of the following: when the driver changes from not gripping the steering wheel with both hands to the driver gripping the steering wheel with both hands. That's it.
  • These conditions are conditions under which there is no possibility that the state of the second task will change.
  • Embodiment 3 An occupant monitoring device 20 according to Embodiment 3 will be described.
  • the configuration of the occupant monitoring device 20 of the third embodiment is the same as the configuration of the occupant monitoring device 20 of the first or second embodiment. Components similar to those of the first and second embodiments are denoted by the same reference numerals.
  • the second A determination is made by the second task determination unit 5b.
  • the determination is performed by the second task determination unit 5b.
  • the second task determination unit 5b determines whether or not to perform the determination by the first second task determination unit 5a according to the gripping state. More specifically, when the gripping state does not satisfy a preset condition, the second task determining unit 5b causes the first second task determining unit 5a to make a determination so that the gripping state is set in advance. If the above condition is satisfied, the judgment by the first second task judging section 5a is not carried out.
  • FIG. 5 is a flow chart showing the processing operation of the occupant monitoring device 20 of the third embodiment.
  • Steps S301 to S303 are the same as steps S101 to S103 of the first embodiment, respectively.
  • step S ⁇ b>304 the storage unit 6 stores the determination result of the gripping state determination unit 4 .
  • step S305 the second task determination unit 5b determines whether or not the gripping state satisfies a preset condition.
  • a preset condition of the gripping state is that when the driver continues to grip the steering wheel with both hands, the driver grips the steering wheel with both hands. and at least one or more of a state in which the driver does not grip the steering wheel with both hands to a state in which the driver grips the steering wheel with both hands.
  • the second second task determination unit 5b does not cause the first second task determination unit 5a to perform the determination, and the occupant monitoring device 20 performs the processing. end the action.
  • the second second task determination unit 5b causes the first second task determination unit 5a to perform determination (step S306).
  • the first second task determination unit 5a determines whether or not the second task is being executed (step S307). Further, in step S307, the first second task determination unit 5a may further determine the type of the second task when the second task is being performed.
  • step S308 the storage unit 6 stores the judgment result of the first second task judgment unit 5a.
  • Steps S309 and S310 are the same as steps S111 and S112 of the first embodiment, respectively. With the above, the processing operation of the occupant monitoring device 20 is completed.
  • the occupant monitoring device 20 in the present embodiment uses captured images to determine whether or not a second task, which is an action other than driving performed by the driver while driving, is being performed.
  • a first second task determination unit 5a a grip state determination unit 4 that determines a grip state indicating whether or not the driver is gripping the steering wheel with both hands, and a first second task determination unit 5a.
  • a second task determination unit 5 b is provided for determining whether or not the second task is being performed based on the determination result and the determination result of the gripping state determination unit 4 . Accordingly, the occupant monitoring device 20 can determine the second task with high accuracy.
  • the second second task determination unit 5b determines whether or not to perform the determination by the first second task determination unit 5a according to the gripping state. More specifically, when the gripping state does not satisfy a preset condition, the second task determining unit 5b causes the first second task determining unit 5a to make a determination so that the gripping state is set in advance. If the above condition is satisfied, the judgment by the first second task judging section 5a is not carried out. As a result, it is possible to prevent erroneous determination by the first second task determining unit 5a when the gripping state satisfies a preset condition, so that the second task can be determined with high accuracy.
  • the second second task determining section 5b omits the determination processing in the first second task determining section 5a. be able to. As a result, the processing load on the occupant monitoring device 20 can be reduced.
  • FIG. 6 is a block diagram showing part of a vehicle 30 equipped with an occupant monitoring device 20 according to the fourth embodiment.
  • the gripping state determination unit 4 determines the gripping state using a captured image.
  • the gripping state determination unit 4 uses the hands-on signal from the hands-on sensor 9 to determine the gripping state.
  • Other configurations of the occupant monitoring device 20 are the same as those of any one of the first to third embodiments. The same reference numerals are assigned to the same configurations as in the first to third embodiments.
  • the grip state determination unit 4 determines the grip state indicating whether or not the driver is gripping the steering wheel with both hands. In other words, the gripping state determination unit 4 determines which of the gripping states is "both hands", “right hand”, “left hand”, “one hand”, and "no grip”.
  • the hands-on sensor 9 is provided on the steering wheel of the vehicle 30, and detects any one of a state in which the driver touches the steering wheel with both hands, a right hand, a left hand, a hand, and both hands. A hands-on signal is output to the grasping state determination unit 4 .
  • the hands-on sensor 9 is a pressure sensor is shown.
  • Hands-on sensors 9 are provided on the left and right sides of the steering wheel, respectively.
  • the hands-on sensors 9 may be provided on the entire left and right halves of the steering wheel, respectively, or may be provided only on locations that are assumed to be gripped.
  • the hands-on sensor 9 detects a current value corresponding to the pressure, and determines that the driver's hand has touched the steering wheel when a current value equal to or greater than a preset threshold value is detected. For example, when both the hands-on sensors 9 provided on the left and right sides of the steering wheel detect a current value equal to or greater than a preset threshold value, the hands-on sensor 9 outputs a hands-on signal indicating that both hands of the driver are touching the steering wheel. .
  • the hands-on sensor 9 When only the hands-on sensor 9 provided on the right side of the steering wheel detects a current value equal to or greater than a preset threshold value, the hands-on sensor 9 outputs a hands-on signal indicating that the right hand or one hand of the driver is touching the steering wheel.
  • the hands-on sensor 9 When only the hands-on sensor 9 provided on the left side of the steering wheel detects a current value equal to or higher than a preset threshold value, the hands-on sensor 9 outputs a hands-on signal indicating a state in which the driver's left hand or one hand touches the steering wheel.
  • both the hands-on sensors 9 provided on the left and right sides of the steering wheel detect a current value equal to or greater than a preset threshold value
  • the hands-on sensors 9 output a hands-on signal indicating that both hands of the driver are not touching the steering wheel. do.
  • the grip state determination unit 4 uses the hands-on signal from the hands-on sensor 9 to determine the grip state.
  • the occupant monitoring method by the occupant monitoring device 20 is the same as the occupant monitoring method by the occupant monitoring device 20 of the first to third embodiments.
  • the gripping state determination unit 4 determines the gripping state indicating whether or not the driver is gripping the steering wheel with both hands. At that time, the gripping state determination unit 4 uses the hands-on signal from the hands-on sensor 9 to determine the gripping state.
  • the occupant monitoring device 20 in the present embodiment uses captured images to determine whether or not a second task, which is an action other than driving performed by the driver while driving, is being performed.
  • a first second task determination unit 5a a grip state determination unit 4 that determines a grip state indicating whether or not the driver is gripping the steering wheel with both hands, and a first second task determination unit 5a.
  • a second task determination unit 5 b is provided for determining whether or not the second task is being performed based on the determination result and the determination result of the gripping state determination unit 4 . Accordingly, the occupant monitoring device 20 can determine the second task with high accuracy.
  • the gripping state determination unit 4 determines the gripping state using hands-on signals from hands-on sensors 9, which are pressure sensors provided on the left and right sides of the steering wheel.
  • the hands-on sensor 9 detects a current value equal to or greater than a preset threshold when the driver's hand touches the steering wheel. Therefore, the grip state can be determined more accurately when the hands-on sensor 9 is used to determine the grip state than when the captured image is used to determine the grip state.
  • the hands-on sensor 9 may be a capacitive sensor or a temperature sensor. If the hands-on sensor 9 is a capacitive sensor, the steering wheel has electrodes, and the gripping state is determined based on the capacitance that varies depending on the distance between the driver's hand and the electrodes. If the hands-on sensor 9 is a temperature sensor, the part of the steering wheel gripped by the driver will be warmer than other parts of the steering wheel due to body temperature. Therefore, when the temperature measured by the temperature sensor is equal to or higher than a preset threshold value, it may be determined that the handle is being gripped.
  • the gripping state determination unit 4 may determine the gripping state using the hands-on signal of the hands-on sensor 9, which is a capacitance sensor or a temperature sensor provided on each of the left and right sides of the steering wheel.
  • the grip state can be determined more accurately when the hands-on sensor 9 is used to determine the grip state than when the captured image is used to determine the grip state. can do.
  • FIG. 7 is a block diagram showing part of a vehicle 30 equipped with an occupant monitoring device 20 according to the fourth embodiment.
  • a vehicle 30 of the present embodiment has an automatic driving control unit 10 that performs automatic driving and an automatic driving level control unit 11 that controls the level of automatic driving.
  • the same reference numerals are assigned to the same configurations as in the first embodiment.
  • the automatic driving control unit 10 is composed of a driving support ECU and an automatic driving ECU.
  • the driving assistance ECU is an electronic control unit that realizes a driving assistance function that assists the driving operation of the driver.
  • the driver assistance ECU enables advanced driver assistance or partially automated cruise control at level 2 or lower in the automated driving level.
  • the automatic driving ECU is an electronic control unit that realizes an automatic driving function capable of performing the driving operation on behalf of the driver.
  • the autonomous driving ECU enables autonomous driving of level 3 or higher, in which the system of the vehicle 30 is the main control subject, only within a limited operational design area set in advance.
  • the driver is the subject of all driving actions.
  • the driving support ECU of the vehicle 30 implements either vehicle steering or vehicle driving and vehicle braking, and all other driving actions implement be the driver.
  • the driving assistance ECU of the vehicle 30 is the subject of driving operations such as vehicle steering, vehicle driving, and vehicle braking.
  • the driver becomes the subject of monitoring the surroundings, monitors the implementation status of the driving operation by the vehicle 30, and immediately performs actions such as gripping the steering wheel so as to always intervene in the driving operation. Must remain operable.
  • the autonomous driving ECU of the vehicle 30 is responsible for all driving actions such as vehicle steering, vehicle driving, vehicle braking, and surrounding monitoring.
  • the driver can perform the second task within a safe range without constantly monitoring the execution status of the driving action by the automatic driving ECU.
  • the safe allowable range may be determined legally or may be determined based on safety in actual driving.
  • the automated driving level is level 0 to 2
  • the driver is prohibited from performing the second task, but when the automated driving level is level 3, the second task is performed within a safe range. can do.
  • the second task can be executed even when the automatic driving level is level 4 or higher.
  • the automatic driving level control unit 11 performs control to switch the automatic driving level. Also, the automatic driving level control unit 11 transmits a signal indicating the automatic driving level to the second second task determination unit 5b and the automatic driving control unit 10 .
  • the display unit 8 displays at least one of a voice and an image prompting the driver to finish the second task. At this time, the display unit 8 should also display to the driver that the automatic driving is finished.
  • FIG. 8 is a flow chart showing the processing operation of the occupant monitoring device 20 of the fifth embodiment.
  • step S501 the second task determination unit 5b acquires information indicating the current level of automatic driving level from the automatic driving level control unit 11, and determines whether the automatic driving level is lower than level 3. . If the automatic driving level is lower than level 3, that is, from level 0 to level 2 (YES in step S501), the processing of the occupant monitoring device 20 described in any one of the first to third embodiments is omitted in FIG. perform the action.
  • the second second task determination unit 5b performs control to change the automatic driving level from level 3 or higher to level 2 or lower in the automatic driving level control unit 11. It is determined whether or not to do so (step S502). For example, when performing control to change the automatic driving level from level 3 to level 2, the automatic driving level control unit 11 is controlled by the navigation device so that the vehicle 30 travels outside the preset limited operation design area. This is the case when information that is scheduled to be acquired is acquired.
  • step S502 If the control for changing the automatic driving level from level 3 or higher to level 2 or lower is not performed (NO in step S502), that is, if the automatic driving level is maintained at level 3 or higher, the processing operation of step S502 is repeated. This is because the execution of the second task is allowed when the automatic driving level is level 3 or higher, so there is no need to determine whether the second task is being executed.
  • the occupant monitoring device 20 in the present embodiment uses captured images to determine whether or not a second task, which is an action other than driving performed by the driver while driving, is being performed.
  • a first second task determination unit 5a a grip state determination unit 4 that determines a grip state indicating whether or not the driver is gripping the steering wheel with both hands, and a first second task determination unit 5a.
  • a second task determination unit 5 b is provided for determining whether or not the second task is being performed based on the determination result and the determination result of the gripping state determination unit 4 . Accordingly, the occupant monitoring device 20 can determine the second task with high accuracy.
  • the second task determination unit 5b determines that the second task is A determination is made as to whether or not it has been implemented. Thereby, it is determined whether or not the second task is being performed when the subject of driving is changed to the driver. Then, when the subject of driving is changed from the vehicle 30 to the driver, the driver can end the execution of the second task.
  • the second task determination unit 5b does not determine whether the second task is being performed when the automatic driving level is level 3 or higher where the vehicle 30 is the subject of driving. As a result, the occupant monitoring device 20 does not determine whether or not the second task is being performed at level 3 or higher where the second task is allowed to be performed, thereby reducing the processing load.
  • 1 travel determination unit 2 imaging unit, 3 image acquisition unit, 4 gripping state determination unit, 5a first second task determination unit, 5b second second task determination unit, 6 storage unit, 7 output unit, 8 display unit, 9 hands-on sensor, 10 automatic driving control unit, 11 automatic driving level control unit, 12 processing circuit, 13 processor, 14 memory, 20 occupant monitoring device, 30 vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

乗員監視装置（２０）は、撮像画像を用いて、運転者が運転中に行う運転以外の行為であるセカンドタスクが実施されているか否かを判定する第１のセカンドタスク判定部（５ａ）と、運転者が両手でハンドルを把持している状態であるか否かを示す把持状態を判定する把持状態判定部（４）と、第１のセカンドタスク判定部（５ａ）の判定結果及び把持状態判定部（４）の判定結果に基づいて、セカンドタスクが実施されているか否かを判定する第２のセカンドタスク判定部（５ｂ）を備える。これにより、乗員監視装置（２０）は、セカンドタスクの判定を高精度に行うことができる。

Description

乗員監視装置及び乗員監視方法
　本開示は、乗員監視装置及び乗員監視方法に関する。
　車両を運転する運転者が少なくとも一方の手をハンドルから離した状態で、運転中に行う運転以外の行為をセカンドタスクという。運転者がセカンドタスクを実施している場合、運転への集中力が低下し、また両手でハンドルを把持していないためとっさの対応ができない虞がある。そのため、セカンドタスクを検出し警告することが検討されている。
　例えば特許文献１では、セカンドタスクである喫煙を検出する喫煙検出装置が開示されている。特許文献１の喫煙検出装置は、車両の内部に設けられた撮像部により運転者の顔を撮像し、撮像画像を用いて運転者の顔向きを判定するとともに、顔向きに応じて煙草燃焼部の存在判別領域を設定する。そして、特許文献１の喫煙検出装置は、存在判別領域に煙草燃焼部の候補領域である高温領域を探索することにより、運転者の喫煙を検出する。
特開２００９－２３４００号公報
　しかしながら、特許文献１の喫煙検出装置では、運転者が煙草を口にくわえていない場合にも、誤って運転者の喫煙を検出する虞がある。具体的には、運転者が煙草を手に持ちつつ、両手でハンドルを把持している場合である。この場合、実際には運転者の顔と煙草の位置は離れているが、撮像画像上では、運転者の顔と煙草の位置が近く検出されるため、誤って運転者の喫煙が検出される。そのため、特許文献１の喫煙検出装置では、セカンドタスクの検出精度が不十分であるという課題があった。
　本開示は、上述した課題を解決するためになされたものであり、セカンドタスクの判定を高精度に行うことができる乗員監視装置及び乗員監視方法を提供することを目的とするものである。
　本開示に係る乗員監視装置は、車両の運転者を撮像する撮像部から撮像画像を取得する画像取得部と、撮像画像を用いて、運転者が運転中に行う運転以外の行為であるセカンドタスクが実施されているか否かを判定する第１のセカンドタスク判定部と、運転者が両手でハンドルを把持している状態であるか否かを示す把持状態を判定する把持状態判定部と、第１のセカンドタスク判定部の判定結果及び把持状態判定部の判定結果に基づき、セカンドタスクが実施されているか否かを判定する第２のセカンドタスク判定部と、を備えたものである。
　本開示に係る乗員監視方法は、車両の運転者を撮像する撮像部から撮像画像を取得するステップと、撮像画像を用いて、運転者が運転中に行う運転以外の行為であるセカンドタスクが実施されているか否かを判定するステップと、運転者が両手でハンドルを把持している状態であるか否かを示す把持状態を判定するステップと、セカンドタスクが実施されているか否かの判定結果及び把持状態の判定結果に基づき、セカンドタスクが実施されているか否かを判定するステップと、を備えたものである。
　本開示によれば、第１のセカンドタスク判定部の判定結果及び把持状態判定部の判定結果に基づき、セカンドタスクが実施されているか否かを判定するため、セカンドタスクの判定を高精度に行うことができる。
図１は実施の形態１の乗員監視装置を備えた車両の一部を示すブロック図である。 図２は実施の形態１の乗員監視装置のハードウェア構成例を示す概略図である。 図３は実施の形態１の乗員監視装置の処理動作を示すフローチャートである。 図４は実施の形態２の乗員監視装置の処理動作を示すフローチャートである。 図５は実施の形態３の乗員監視装置の処理動作を示すフローチャートである。 図６は実施の形態４の乗員監視装置を備えた車両の一部を示すブロック図である。 図７は実施の形態５の乗員監視装置を備えた車両の一部を示すブロック図である。 図８は実施の形態５の乗員監視装置の処理動作を示すフローチャートである。
実施の形態１．
　実施の形態１における乗員監視装置２０について図１を用いて説明する。図１は、実施の形態１の乗員監視装置２０を備えた車両３０の一部を示すブロック図である。乗員監視装置２０は、車両３０を運転する運転者がセカンドタスクを実施しているか否かを判定する。ここで、車両３０とは車である例を説明するが、バイク、電車、飛行機等の人の操作により動かされる乗物であればよい。セカンドタスクとは、運転者が少なくとも一方の手をハンドルから離した状態で、運転中に行う運転以外の行為である。例えば、セカンドタスクは喫煙、携帯端末の操作、携帯端末を用いた会話、飲食、書類の確認、及び読書である。図１に示すように、車両３０は、走行判定部１、撮像部２、画像取得部３、把持状態判定部４、セカンドタスク判定部５、記憶部６、出力部７、及び表示部８を備える。乗員監視装置２０は、走行判定部１、画像取得部３、把持状態判定部４、セカンドタスク判定部５、記憶部６、及び出力部７を備える。セカンドタスク判定部５は、第１のセカンドタスク判定部５ａと第２のセカンドタスク判定部５ｂとを有する。
　走行判定部１は、車両３０が走行中であるか否かを示す走行情報を車両３０から取得する。そして、走行判定部１は走行情報を用いて車両３０が走行中であるか否かを判定し、判定結果を第１のセカンドタスク判定部５ａに出力する。走行情報は、例えば車速を示す情報である。走行判定部１は、例えば車速が０ｋｍ／ｈである場合は車両３０が走行中ではないと判定し、車速が０ｋｍ／ｈではない場合は車両３０が走行中と判定する。
　撮像部２は、車両３０の内部に設けられたカメラであり、車両３０のインストルメントパネル、ダッシュボード、センターディスプレイ、Ａピラー又は、ルームミラー等に設置される。撮像部２は車両３０の運転者を撮像した撮像画像を画像取得部３に出力する。
　画像取得部３は、車両３０の運転者を撮像する撮像部２から撮像画像を取得する。
　把持状態判定部４は、運転者が両手でハンドルを把持している状態であるか否かを示す把持状態を判定する。また、把持状態判定部４は、運転者が両手でハンドルを把持していないと判定した場合に、運転者が右手でハンドルを把持している状態、運転者が左手でハンドルを把持している状態、及び運転者がハンドルを把持していない状態のうちいずれの把持状態であるかをさらに判定してもよい。把持している状態は、運転者の手がハンドルに触れている状態である。以降、運転者が両手でハンドルを把持している状態を「両手」、運転者が右手でハンドルを把持している状態を「右手」、運転者が左手でハンドルを把持している状態を「左手」、運転者が両手ともにハンドルを把持していない状態を「把持無し」と称する。把持状態判定部４は、「右手」及び「左手」を区別なく、運転者が片手でハンドルを把持している状態である「片手」として判定してもよい。
　把持状態判定部４が把持状態を判定する方法を説明する。把持状態判定部４は撮像画像における運転者の複数の特徴点を検出する。特徴点は、いわゆる骨格モデルの生成に用いられるものである。そして、把持状態判定部４は検出した複数個の特徴点を用いて、運転者の骨格モデルを生成する。次に、把持状態判定部４は生成した骨格モデルを用いて、運転者の肩の傾き角度又は運転者の腕の傾き角度を検出する。これにより、把持状態判定部４は運転者の腕の向く方向を推定し、運転者の手がハンドルを把持しているか否かを推定することができる。
　把持状態判定部４が把持状態を判定する方法は上述の方法に限られない。把持状態判定部４は、撮像画像から運転者の手がハンドルに触れているか否かを判定してもよく、予め定められた位置より運転者の手がハンドル側にあるか否かを判定してもよい。
　セカンドタスク判定部５は、セカンドタスクが実施されているか否かを判定する。セカンドタスク判定部５は、第１のセカンドタスク判定部５ａと第２のセカンドタスク判定部５ｂとを有する。第１のセカンドタスク判定部５ａは、走行判定部１において車両３０が走行中であると判定された場合に、セカンドタスクが実施されているか否かを判定する。第２のセカンドタスク判定部５ｂは、第１のセカンドタスク判定部５ａの判定結果及び把持状態判定部４の判定結果に基づき、セカンドタスクが実施されているか否かを判定する。
　第１のセカンドタスク判定部５ａは、画像取得部３により取得した撮像画像を用いて、セカンドタスクが実施されているか否かを判定する。また、第１のセカンドタスク判定部５ａはセカンドタスクが実施されていると判定した場合に、セカンドタスクの種類をさらに判定してもよい。セカンドタスクの種類は、喫煙、携帯端末の操作、携帯端末を用いた会話、飲食、書類の確認、及び読書のうち少なくともいずれか１つ以上である。
　第１のセカンドタスク判定部５ａによるセカンドタスクが実施されているか否か、及びセカンドタスクの種類を判定する方法を説明する。第１のセカンドタスク判定部５ａによる判定は、例えばパターンマッチング処理により実施することができる。第１のセカンドタスク判定部５ａは、パターンマッチング処理に用いるパターン画像を予め記憶している。パターン画像は、例えば喫煙している人の画像、携帯端末の操作をしている人の画像、携帯端末を用いた会話をしている人の画像、飲食をしている人の画像、書類の確認をしている人の画像、読書をしている人の画像、煙草の画像、携帯端末の画像、おにぎり等の食物の画像、飲料物が入ったペットボトル等の容器の画像、書類の画像、及び本の画像である。そして、第１のセカンドタスク判定部５ａは画像取得部３により取得した撮像画像の一部とパターン画像との類似度を算出することにより、セカンドタスクが実施されているか否か、及びセカンドタスクの種類を判定する。
　また、第１のセカンドタスク判定部５ａによる判定は、教師あり学習の公知のアルゴリズムを用いて実施してもよい。一例として、学習アルゴリズムにニューラルネットワークを適用した場合について説明する。第１のセカンドタスク判定部５ａは、いわゆる教師あり学習により、セカンドタスクが実施されているか否か、及びセカンドタスクの種類を判定する。教師あり学習とは、入力と結果（教師ラベル）のデータの組を学習用データとして学習装置に与えることで、それらの学習用データにある特徴を学習し、入力から結果を推論する手法をいう。
　第１のセカンドタスク判定部５ａは、あらかじめ画像情報およびセカンドタスクの種類が組み合わせられた学習用データに従って生成された機会学習モデルを備え、機械学習モデルに画像取得部３により取得した撮像画像を入力することで、セカンドタスクを判定する。
　機械学習モデルを生成する学習アルゴリズムとして、深層学習（Ｄｅｅｐ　Ｌｅａｒｎｉｎｇ）を用いてもよいし、例えば、遺伝的プログラミング、機能論理プログラミング、又はサポートベクターマシン等の他の公知の方法に従って機械学習モデルに学習させてもよい。
　第１のセカンドタスク判定部５ａによるセカンドタスクが実施されているか否か、及びセカンドタスクの種類を判定する方法は、上述の方法に限定されない。例えば、撮像部２は赤外線カメラを有し、画像取得部３は撮像部２による撮像領域の熱分布の情報を取得する。そして、第１のセカンドタスク判定部５ａは熱分布の情報に基づき、煙草の有無を判断することにより、喫煙のセカンドタスクが実施されているか否かを判定してもよい。
　また、上述のとおりセカンドタスクとは、運転者が少なくとも一方の手をハンドルから離した状態で、運転中に行う運転以外の行為である。そのため、例えば運転者が片手に煙草を持ちつつ両手でハンドルを把持する行為は、セカンドタスクではない。このような行為を誤ってセカンドタスクと判定しないように、第１のセカンドタスク判定部５ａは、撮像画像から推定される運転者の口と煙草との距離が予め設定された閾値以下である場合、例えば２ｃｍ以下である場合に、喫煙のセカンドタスクが実施されていると判定してもよい。例えば、撮像画像から推定される運転者の口と煙草との距離を推定する方法は、撮像画像から運転者の口と煙草との座標距離及び運転者の両目間の座標距離を求め、人の両目間の標準長さを基準に運転者の口と煙草との距離を推定するとよい。他のセカンドタスクについても同様に、第１のセカンドタスク判定部５ａは、撮像画像から推定される運転者の顔と携帯端末との距離が予め設定された閾値以下、例えば５ｃｍ以下である場合に、携帯端末を用いた会話のセカンドタスクが実施されていると判定してもよい。
　第２のセカンドタスク判定部５ｂは、把持状態判定部４において判定した把持状態に応じて、第１のセカンドタスク判定部５ａによる判定を実施させるか否か、又は第１のセカンドタスク判定部５ａによる判定結果を有効とするか否かを判定する。
　本実施の形態では、第２のセカンドタスク判定部５ｂは、第１のセカンドタスク判定部５ａにおいてセカンドタスクが実施されていると判定された場合に、把持状態判定部４が「両手」の把持状態ではないと判定した場合、第１のセカンドタスク判定部５ａの判定結果を有効とする。そして、第２のセカンドタスク判定部５ｂは、第１のセカンドタスク判定部５ａにおいてセカンドタスクが実施されていると判定された場合に、把持状態判定部４が「両手」の把持状態であると判定した場合、第１のセカンドタスク判定部５ａの判定結果を無効とする。
　把持状態判定部４及びセカンドタスク判定部５は、予め設定された時間間隔で判定を実施する。予め設定された時間間隔は、例えば０．５秒間隔である。
　記憶部６はセカンドタスク判定部５の判定結果を記憶する。記憶部６は予め設定された分の過去の判定結果を記憶でき、少なくとも前回と最新の撮像画像に対するセカンドタスク判定部５の判定結果を記憶する。また、記憶部６は把持状態判定部４の判定結果をさらに記憶してもよい。
　出力部７は、表示部８にセカンドタスクが実施されていることを示す信号を出力する。表示部８は、例えば車両３０に設けられたスピーカ又はディスプレイである。表示部８は出力部７から信号を受信した場合に、セカンドタスクの実施を終了するように促す音声及び画像の少なくともいずれか一方を表示する。
　次に、乗員監視装置２０のハードウェア構成例を説明する。図２は実施の形態１の乗員監視装置２０のハードウェア構成例を示す概略図である。乗員監視装置２０の走行判定部１、画像取得部３、把持状態判定部４、セカンドタスク判定部５、記憶部６、及び出力部７は、図２Ａに示すように専用のハードウェアである処理回路１２であってもよいし、図２Ｂに示すようにメモリ１４に格納されているプログラムを実行するプロセッサ１３であってもよい。
　図２Ａに示すように乗員監視装置２０の各構成が専用のハードウェアである場合、処理回路１２は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、又はこれらを組み合わせたものが該当する。乗員監視装置２０の各構成の機能それぞれを処理回路１２で実現してもよいし、各構成の機能をまとめて１つの処理回路１２で実現してもよい。
　図２Ｂに示すように、乗員監視装置２０の各構成がプロセッサ１３である場合、各構成の機能は、ソフトウェア、ファームウェア、又はソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェア又はファームウェアはプログラムとして記述され、メモリ１４に格納される。プロセッサ１３は、メモリ１４に記憶されたプログラムを読み出して実行することにより、乗員監視装置２０の各構成の機能を実現する。すなわち、乗員監視装置２０の各構成は、プロセッサ１３により実行されるときに、後述する図３、図４、図５、又は図８に示す各ステップが結果的に実行されることになるプログラムを格納するためのメモリ１４を備える。また、これらのプログラムは、乗員監視装置２０の各構成の手順又は方法をコンピュータに実行させるものであるともいえる。
　ここで、プロセッサ１３とは、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、処理装置、演算装置、プロセッサ、マイクロプロセッサ、マイクロコンピュータ、又はＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）等のことである。メモリ１４は、例えば、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ　ＥＰＲＯＭ）等の不揮発性又は揮発性の半導体メモリであってもよいし、ハードディスク、フレキシブルディスク等の磁気ディスクであってもよいし、ミニディスク、ＣＤ（Ｃｏｍｐａｃｔ　Ｄｉｓｃ）、ＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）等の光ディスクであってもよい。
　なお、乗員監視装置２０の各構成の機能について、一部を専用のハードウェアで実現し、一部をソフトウェア又はファームウェアで実現するようにしてもよい。このように、乗員監視装置２０における処理回路１２は、ハードウェア、ソフトウェア、ファームウェア、又はこれらの組み合わせによって、上述の各機能を実現することができる。
　次に、乗員監視装置２０による乗員監視方法について説明する。図３は実施の形態１の乗員監視装置２０の処理動作を示すフローチャートである。
　ステップＳ１０１では、走行判定部１は車両３０が走行中であるか否かを判定する。走行判定部１は車両３０が走行中であると判定した場合（ステップＳ１０１のＹＥＳ）、判定結果を第１のセカンドタスク判定部５ａに出力する。走行判定部１は車両３０が走行中ではないと判定した場合（ステップＳ１０１のＮＯ）、走行判定部１は車両３０が走行中であると判定するまで、ステップＳ１０１を繰り返す。つまり、車両３０が停止中はセカンドタスクの実施が許容されるので、乗員監視装置２０はセカンドタスクの判定を実施しない。
　ステップＳ１０２では、セカンドタスク判定部５は画像取得部３に運転者を撮像する撮像部２から撮像画像を取得させる。
　ステップＳ１０３では、把持状態判定部４は、画像取得部３により取得した撮像画像を用いて、運転者が両手でハンドルを把持している状態であるか否かを示す把持状態を判定する。
　ステップＳ１０４では、第１のセカンドタスク判定部５ａは、画像取得部３により取得した撮像画像を用いて、セカンドタスクが実施されているか否かを判定する。また、第１のセカンドタスク判定部５ａはセカンドタスクが実施されていると判定した場合、さらにセカンドタスクの種類を判定してもよい。第１のセカンドタスク判定部５ａはセカンドタスクが実施されていると判定した場合（ステップＳ１０４のＹＥＳ）、ステップＳ１０５に進む。第１のセカンドタスク判定部５ａはセカンドタスクが実施されていないと判定した場合（ステップＳ１０４のＮＯ）、ステップＳ１０６に進む。
　ステップＳ１０５及びステップＳ１０６では、記憶部６は第１のセカンドタスク判定部５ａの判定結果を記憶する。ステップＳ１０５の処理動作後はステップＳ１０７に進み、ステップＳ１０６の処理動作後はステップＳ１１０に進む。
　ステップＳ１０７～ステップＳ１１０では、第２のセカンドタスク判定部５ｂは、第１のセカンドタスク判定部５ａの判定結果及び把持状態判定部４の判定結果に基づき、セカンドタスクが実施されているか否かを判定する。
　ステップＳ１０７では、把持状態判定部４の判定結果を用いて、第２のセカンドタスク判定部５ｂは把持状態が予め設定された条件を満たすか否かを判定する。本実施の形態における把持状態の予め設定された条件は、運転者が両手でハンドルを把持している状態、すなわち把持状態が「両手」である。把持状態判定部４が「両手」の把持状態であると判定した場合、運転者は両手でハンドルを把持しているため、物理的に両手が塞がっている。そのため、第１のセカンドタスク判定部５ａにおいてセカンドタスクが実施されていると判定した結果（ステップＳ１０４のＹＥＳ）は誤りである。そこで、ステップＳ１０８では、第２のセカンドタスク判定部５ｂは第１のセカンドタスク判定部５ａの判定結果を無効と判定する。そして、ステップＳ１０９では、第２のセカンドタスク判定部５ｂはステップＳ１０５において記憶部６に記憶された第１のセカンドタスク判定部５ａの判定結果を修正する。より具体的には、第２のセカンドタスク判定部５ｂは第１のセカンドタスク判定部５ａにより判定された最新のセカンドタスクの判定結果をセカンドタスクの実施ありから、セカンドタスクの実施なしに修正する。
　把持状態判定部４が「両手」の把持状態ではないと判定した場合（ステップＳ１０７のＮＯ）は、第２のセカンドタスク判定部５ｂは第１のセカンドタスク判定部５ａの判定結果を有効と判定する（ステップＳ１１０）。また、ステップＳ１０４において、第１のセカンドタスク判定部５ａがセカンドタスクは実施されていないと判定した場合も、第２のセカンドタスク判定部５ｂは第１のセカンドタスク判定部５ａの判定結果を有効と判定する（ステップＳ１１０）。第２のセカンドタスク判定部５ｂは第１のセカンドタスク判定部５ａの判定結果を有効と判定した場合（ステップＳ１１０）は、ステップＳ１０５及びステップＳ１０６において記憶された第１のセカンドタスク判定部５ａの判定結果を修正する処理動作は不要であるため、ステップＳ１１１に進む。
　ステップＳ１１１では、第２のセカンドタスク判定部５ｂは、記憶部６に記憶されたセカンドタスクの判定結果において、セカンドタスクが予め設定された時間継続して実施されているか否かを判定する。第２のセカンドタスク判定部５ｂにおいてセカンドタスクが予め設定された時間継続して実施されていると判定される場合（ステップＳ１１１のＹＥＳ）は、次の２つである。１つ目は、第１のセカンドタスク判定部５ａにおいてセカンドタスクが実施されているか否かを判定する場合に、セカンドタスクが実施された状態が予め設定された時間継続している場合である。２つ目は、第１のセカンドタスク判定部５ａにおいてセカンドタスクが実施されているか否かに加え、セカンドタスクの種類を判定する場合に、記憶部６に記憶された判定結果において同じ種類のセカンドタスクが予め設定された時間継続して実施されている場合である。予め設定された時間は、セカンドタスクを継続して実施した場合に、運転への集中力が低下し、また両手でハンドルを把持していないためとっさの対応ができないと予想される時間に設定するとよい。また、運転への集中力が低下し、また両手でハンドルを把持していないためとっさの対応ができないと予想される時間はセカンドタスクの種類により異なる。そのため、予め設定された時間は、セカンドタスクの種類により異なるように設定されてもよい。例えば、予め設定された時間は、喫煙のセカンドタスクの場合は２秒以上３．５秒以内とし、携帯端末を用いた会話のセカンドタスクの場合は３秒以上４．５秒以内とする。ステップＳ１０９において、セカンドタスクが予め設定された時間継続して実施されない場合、乗員監視装置２０の処理動作を終了する。
　ステップＳ１１２では、第２のセカンドタスク判定部５ｂは出力部７にセカンドタスクが実施されていることを示す信号を表示部８に出力させる。そして、表示部８は運転者にセカンドタスクの実施を終了するように促す音声及び画像の少なくともいずれか一方を表示する。
　以上により、乗員監視装置２０の処理動作を終了する。
　次に、本実施の形態における乗員監視装置２０の効果を説明する。
　上述のとおり、本実施の形態における乗員監視装置２０は、撮像画像を用いて、運転者が運転中に行う運転以外の行為であるセカンドタスクが実施されているか否かを判定する第１のセカンドタスク判定部５ａと、運転者が両手でハンドルを把持している状態であるか否かを示す把持状態を判定する把持状態判定部４と、第１のセカンドタスク判定部５ａの判定結果及び把持状態判定部４の判定結果に基づき、セカンドタスクが実施されているか否かを判定する第２のセカンドタスク判定部５ｂを備える。これにより、乗員監視装置２０は、セカンドタスクの判定を高精度に行うことができる。
　上述の本実施の形態の乗員監視装置２０の効果をより詳細に説明する。
　例えば、第１のセカンドタスク判定部５ａにおいて、撮像画像を用いて、喫煙のセカンドタスクが実施されていると判定したとする。しかしながら、煙草はハンドルと比較して小さいため、実際には撮像画像中に煙草が写っていない場合にも喫煙のセカンドタスクが実施されていると誤判定される虞がある。また、二次元の撮像画像から煙草と運転者の口との距離を正確に推定することは困難である。そのため、例えば運転者が手に煙草を持ちつつ、両手でハンドルを把持している場合にも、撮像画像上では、運転者の顔と煙草の位置が近く判定されるため、誤って喫煙のセカンドタスクが実施されていると判定される虞がある。ここでは、喫煙のセカンドタスクを例に説明したが、他のセカンドタスクでも同様である。つまり、第１のセカンドタスク判定部５ａにおける撮像画像を用いた判定結果は、誤判定である可能性がある。
　本実施の形態では、把持状態判定部４は撮像画像を用いて把持状態を判定する例を示した。ここで、ハンドルは例えば煙草と比較して大きいため、煙草のセカンドタスクよりも把持状態の方が高精度に判定することができる。つまり、第１のセカンドタスク判定部５ａの判定結果よりも把持状態判定部４の判定結果の方が高精度である。そこで、第２のセカンドタスク判定部５ｂは、第１のセカンドタスク判定部５ａの判定結果に加えて把持状態判定部４の判定結果も考慮して、セカンドタスクが実施されているか否かを判定する。これにより、セカンドタスクの判定をより高精度に行うことができる。
　また、第２のセカンドタスク判定部５ｂは、把持状態に応じて、第１のセカンドタスク判定部５ａによる判定結果を有効とするか否かを判定する。より具体的には、第２のセカンドタスク判定部５ｂは、第１のセカンドタスク判定部５ａにおいてセカンドタスクが実施されていると判定された場合に、把持状態判定部４が「両手」の把持状態ではないと判定した場合は、第１のセカンドタスク判定部５ａの判定結果を有効とし、把持状態判定部４が「両手」の把持状態であると判定した場合は、第１のセカンドタスク判定部５ａの判定結果を無効とする。
　運転者が両手でハンドルを把持している状態において、運転者は両手が塞がっているため、セカンドタスクを実施することはできない。そのため、運転者が両手でハンドルを把持している状態において、第１のセカンドタスク判定部５ａはセカンドタスクが実施されていると判定した場合、第１のセカンドタスク判定部５ａの判定結果は誤りである。そこで、第２のセカンドタスク判定部５ｂは第１のセカンドタスク判定部５ａの判定結果を無効とすることにより、セカンドタスクの判定をより高精度に行うことができる。
　また、セカンドタスクは運転者が少なくとも一方の手をハンドルから離した状態で行う行為であり、喫煙、携帯端末の操作、携帯端末を用いた会話、飲食、書類の確認、及び読書のうち少なくともいずれか１つ以上である。これらのセカンドタスクが実施されている場合、運転者は運転への集中力が低下し、また両手でハンドルを把持していないためとっさの対応ができない虞がある。本実施の形態の乗員監視装置２０は、運転者が運転への集中力が低下し、また両手でハンドルを把持していないためとっさの対応ができない虞があるセカンドタスクを高精度に判定することができる。
　また、第２のセカンドタスク判定部５ｂは、セカンドタスクが予め設定された時間継続して実施されている場合に、出力部７にセカンドタスクが実施されていることを示す信号を表示部８に出力させる。車両３０に設けられた表示部８は出力部７の信号により、セカンドタスクの実施を終了するように促す音声及び画像の少なくともいずれか一方を表示する。これにより、運転者はセカンドタスクの実施を終了するように促されるので、運転者は運転に集中し、両手でハンドルを把持する等の安全運転に努めることができる。
　また、第１のセカンドタスク判定部５ａによりセカンドタスクが実施されていると判定される度に、出力部７が表示部８に信号を出力すると、表示部８による表示回数が多く運転者が煩わしく感じる。そこで、第２のセカンドタスク判定部５ｂは、セカンドタスクが予め設定された時間継続して実施されている場合に、出力部７に信号を出力させる。これにより、運転者が運転への集中力が低下し、また両手でハンドルを把持していないためとっさの対応ができないと予想される時間継続してセカンドタスクが実施されている場合に、乗員監視装置２０はセカンドタスクの実施を終了するように表示することができる。そのため、乗員監視装置２０は、表示部８による表示回数が多すぎることによる煩わしさを抑制できる。
　また、乗員監視装置２０は、第１のセカンドタスク判定部５ａ及び第２のセカンドタスク判定部５ｂの判定結果を記憶する記憶部６を備える。そして、第１のセカンドタスク判定部５ａは、セカンドタスクが実施されていると判定した場合にセカンドタスクの種類を判定する。第２のセカンドタスク判定部５ｂは、記憶部６に記憶された判定結果において、同じ種類のセカンドタスクが予め設定された時間継続して実施されている場合に、出力部７に信号を出力させる。また、予め設定された時間はセカンドタスクの種類により異なる。セカンドタスクの種類によって、どの程度の時間継続してセカンドタスクを実施した場合に運転への集中力が低下し、また両手でハンドルを把持していないためとっさの対応ができない虞があるかは異なる。そのため、予め設定された時間をセカンドタスクの種類により異なるように設定することにより、実施されているセカンドタスクの種類に最適なタイミングで、運転者にセカンドタスクの実施を終了するように促すことができる。
　なお、実施の形態１では乗員監視装置２０は記憶部６を備える例を示したが、セカンドタスク判定部５の判定結果は車両３０の外部に設けられたサーバ装置に送信され記憶されてもよい。
　また、乗員監視装置２０によるセカンドタスクの判定結果の利用例として、出力部７は表示部８にセカンドタスクが実施されていることを示す信号を出力し、表示部８は運転者にセカンドタスクの実施を終了するように促す例を示したが、これに限られない。例えば、乗員監視装置２０によるセカンドタスクの判定結果は、トラック及びタクシー等の業務用車両を運営する企業において利用可能である。業務用車両を運営する企業は業務用車両を管理するためのサーバ装置を備える。そして、出力部７はセカンドタスクが実施されていることを示す信号をサーバ装置に出力してもよい。これにより、管理会社は業務用車両の運転者である従業員がセカンドタスクを実施していないかを監視することができる。
　実施の形態２．
　実施の形態２における乗員監視装置２０について説明する。実施の形態２の乗員監視装置２０の構成は、実施の形態１の乗員監視装置２０の構成と同様である。実施の形態１と同様の構成については、同一符号が付されている。
　本実施の形態の第２のセカンドタスク判定部５ｂは、セカンドタスクの状態が変化した場合に、把持状態が予め設定された条件を満たさない場合は、第１のセカンドタスク判定部５ａの判定結果を有効とし、セカンドタスクの状態が変化した場合に、把持状態が予め設定された条件を満たす場合は、第１のセカンドタスク判定部５ａの判定結果を無効とする。
　セカンドタスクの状態が変化した場合とは、セカンドタスクが実施されているか否かの状態が変化した場合、又はセカンドタスクの種類が変化した場合である。具体的には、セカンドタスクが実施されていない状態からセカンドタスクが実施されている状態に変化した場合、及び喫煙のセカンドタスクから携帯端末を用いた会話のセカンドタスクに変化した場合等である。
　本実施の形態の把持状態の予め設定された条件は表１に示す３つのうち少なくとも１つ以上である。
表１　把持状態の予め設定された条件
Figure JPOXMLDOC01-appb-I000001

　１つ目の把持状態の条件は、運転者が両手でハンドルを把持する状態が継続している場合、すなわち前回の把持状態判定部４の判定結果が「両手」であり、最新の把持状態判定部４の判定結果が「両手」である場合である。運転者が両手でハンドルを把持する状態が継続している場合、運転者は物理的に両手が塞がっており、セカンドタスクの状態が変化する可能性はない。
　２つ目の把持状態の条件は、運転者が両手でハンドルを把持している状態から両手でハンドルを把持していない状態に変化した場合、すなわち前回の把持状態判定部４の判定結果が「両手」であり、最新の把持状態判定部４の判定結果が「右手」、「左手」、「片手」又は「把持無し」のいずれかである場合である。なお、２つ目の予め設定された把持状態の条件は、把持状態判定部４が判定する予め設定された時間間隔が十分に短い場合、例えば０．５秒よりも短い場合に設定される。例えば０．５秒よりも短い時間に、ハンドルから手を離す動作と、セカンドタスクの状態を変えることとを同時には行えない。把持状態判定部４が判定する記憶部６に記憶された把持状態判定部４及び第１のセカンドタスク判定部５ａが判定する予め設定された時間間隔が、ハンドルから手を離す動作と、セカンドタスクの状態を変えることとを同時に行える程度に長い場合、例えば０．５秒よりも長い場合は、２つ目の把持状態の条件は設定しなくてもよい。
　３つ目の把持状態の条件は、運転者が両手でハンドルを把持していない状態から両手でハンドルを把持する状態に変化した場合、すなわち前回の把持状態判定部４の判定結果が「右手」、「左手」、「片手」又は「把持無し」のいずれかであり、最新の把持状態判定部４の判定結果が「両手」である場合である。運転者が両手でハンドルを把持していない状態から両手でハンドルを把持する状態に変化した場合は、ハンドルを両手は把持する動作と、セカンドタスクの状態を変えることとを同時には行えない。
　次に、乗員監視装置２０による乗員監視方法について説明する。図４は実施の形態２の乗員監視装置２０の処理動作を示すフローチャートである。
　ステップＳ２０１及びステップＳ２０２は、実施の形態のステップＳ１０１及びステップＳ１０２とそれぞれ同様である。
　ステップＳ２０３では、第１のセカンドタスク判定部５ａは、画像取得部３により取得した撮像画像を用いて、セカンドタスクが実施されているか否かを判定する。また、第１のセカンドタスク判定部５ａはセカンドタスクが実施されていると判定した場合、さらにセカンドタスクの種類を判定してもよい。
　ステップＳ２０４では、把持状態判定部４は、運転者が両手でハンドルを把持している状態であるか否かを示す把持状態を判定する。ステップＳ２０３及びステップＳ２０４は同時に実施してもよく、ステップＳ２０４のあとにステップＳ２０３を実施してもよい。
　ステップＳ２０５では、記憶部６はステップＳ２０３における第１のセカンドタスク判定部５ａの判定結果及びステップＳ２０４における把持状態判定部４の判定結果を記憶する。
　ステップＳ２０６～ステップＳ２１０では、第２のセカンドタスク判定部５ｂは、記憶部６に記憶された第１のセカンドタスク判定部５ａの判定結果及び把持状態判定部４の判定結果に基づき、セカンドタスクが実施されているか否かを判定する。
　まず、ステップＳ２０６では、第２のセカンドタスク判定部５ｂはセカンドタスクの状態が変化したか否かを判定する。すなわち、第２のセカンドタスク判定部５ｂは最新の第１のセカンドタスク判定部５ａの判定結果と前回の第１のセカンドタスク判定部５ａの判定結果とが異なる場合にセカンドタスクの状態が変化したと判定し、最新の第１のセカンドタスク判定部５ａの判定結果と前回の第１のセカンドタスク判定部５ａの判定結果とが同じ場合はセカンドタスクの状態に変化はないと判定する。セカンドタスクの状態が変化するとは、セカンドタスクが実施されているか否かの状態が変化する、又はセカンドタスクの種類が変化することである。
　セカンドタスクの状態が変化した場合（ステップＳ２０６のＹＥＳ）は、第２のセカンドタスク判定部５ｂは把持状態が予め設定された条件を満たすか否かを判定する（ステップＳ２０７）。把持状態の予め設定された条件は上述の表１に示す３つのうち少なくとも１つ以上である。
　把持状態が予め設定された条件を満たす場合（ステップＳ２０７のＹＥＳ）は、第２のセカンドタスク判定部５ｂは第１のセカンドタスク判定部５ａの判定結果を無効と判定し（ステップＳ２０８）、ステップＳ２０９に進む。ステップＳ２０９では、第２のセカンドタスク判定部５ｂはステップＳ２０５において記憶部６に記憶された第１のセカンドタスク判定部５ａの判定結果を修正する。より具体的には、第２のセカンドタスク判定部５ｂは第１のセカンドタスク判定部５ａにより判定された最新のセカンドタスクの判定結果を削除しデータなしとする、又は前回のセカンドタスクの判定結果と同一の判定結果に修正する。
　把持状態が予め設定された条件を満たさない場合（ステップＳ２０７のＮＯ）は、第２のセカンドタスク判定部５ｂは第１のセカンドタスク判定部５ａの判定結果を有効と判定する（ステップＳ２１０）。また、ステップＳ２０６において、セカンドタスクの状態が変化しない場合も、第２のセカンドタスク判定部５ｂは第１のセカンドタスク判定部５ａの判定結果を有効と判定する（ステップＳ２１０）。
　ステップＳ２１１及びステップＳ２１２は、実施の形態のステップＳ１１１及びステップＳ１１２とそれぞれ同様である。
　以上により、乗員監視装置２０の処理動作を終了する。
　実施の形態１と同様に、本実施の形態における乗員監視装置２０は、撮像画像を用いて、運転者が運転中に行う運転以外の行為であるセカンドタスクが実施されているか否かを判定する第１のセカンドタスク判定部５ａと、運転者が両手でハンドルを把持している状態であるか否かを示す把持状態を判定する把持状態判定部４と、第１のセカンドタスク判定部５ａの判定結果及び把持状態判定部４の判定結果に基づき、セカンドタスクが実施されているか否かを判定する第２のセカンドタスク判定部５ｂを備える。これにより、乗員監視装置２０は、セカンドタスクの判定を高精度に行うことができる。
　また、第２のセカンドタスク判定部５ｂは、把持状態に応じて、第１のセカンドタスク判定部５ａによる判定結果を有効とするか否かを判定する。より具体的には、第２のセカンドタスク判定部５ｂは、セカンドタスクの状態が変化した場合に、把持状態が予め設定された条件を満たさない場合は、第１のセカンドタスク判定部５ａの判定結果を有効とし、セカンドタスクの状態が変化した場合に、把持状態が予め設定された条件を満たす場合は、第１のセカンドタスク判定部５ａの判定結果を無効とする。
　第２のセカンドタスク判定部５ｂは、最新の第１のセカンドタスク判定部５ａの判定結果と前回の第１のセカンドタスク判定部５ａの判定結果とが異なる場合にセカンドタスクの状態が変化したと判定し、最新の第１のセカンドタスク判定部５ａの判定結果と前回の第１のセカンドタスク判定部５ａの判定結果とが同じ場合はセカンドタスクの状態に変化はないと判定する。
　把持状態の予め設定された条件は、セカンドタスクの状態が変化する可能性がない条件である。そのため、セカンドタスクの状態が変化した場合に、把持状態が予め設定された条件である場合は、第１のセカンドタスク判定部５ａの判定結果は誤りである。そこで、第２のセカンドタスク判定部５ｂは第１のセカンドタスク判定部５ａの判定結果を無効とすることにより、セカンドタスクの判定をより高精度に行うことができる。
　具体的に、把持状態の予め設定された条件は、運転者が両手でハンドルを把持している状態が継続している場合、運転者が両手でハンドルを把持している状態から運転者が両手でハンドルを把持していない状態に変化した場合、及び運転者が両手でハンドルを把持していない状態から運転者が両手でハンドルを把持している状態に変化した場合のうち少なくともいずれか１つ以上である。これらの条件は、セカンドタスクの状態が変化する可能性がない条件である。
　実施の形態３．
　実施の形態３における乗員監視装置２０について説明する。実施の形態３の乗員監視装置２０の構成は、実施の形態１又は実施の形態２の乗員監視装置２０の構成と同様である。実施の形態１及び実施の形態２と同様の構成については、同一符号が付されている。
　実施の形態１及び実施の形態２の乗員監視装置２０では、第１のセカンドタスク判定部５ａによるセカンドタスクの判定と把持状態判定部４による把持状態の判定とが実施された後に、第２のセカンドタスク判定部５ｂによる判定を実施する。
　実施の形態３の乗員監視装置２０では、把持状態判定部４による把持状態の判定が実施された後に、第２のセカンドタスク判定部５ｂによる判定を実施する。そして、第２のセカンドタスク判定部５ｂは、把持状態に応じて、第１のセカンドタスク判定部５ａによる判定を実施させるか否かを判定する。より具体的には、第２のセカンドタスク判定部５ｂは、把持状態が予め設定された条件を満たさない場合は、第１のセカンドタスク判定部５ａによる判定を実施させ、把持状態が予め設定された条件を満たす場合は、第１のセカンドタスク判定部５ａによる判定を実施させない。
　乗員監視装置２０による乗員監視方法について説明する。図５は実施の形態３の乗員監視装置２０の処理動作を示すフローチャートである。
　ステップＳ３０１からステップＳ３０３は、実施の形態１のステップＳ１０１からステップＳ１０３とそれぞれ同じである。
　ステップＳ３０４では、記憶部６は把持状態判定部４の判定結果を記憶する。
　ステップＳ３０５では、第２のセカンドタスク判定部５ｂは把持状態が予め設定された条件を満たすか否かを判定する。ステップＳ３０５の詳細な説明は省略するが、実施の形態２のステップＳ２０７と同様である。把持状態の予め設定された条件は、運転者が両手でハンドルを把持している状態が継続している場合、運転者が両手でハンドルを把持している状態から運転者が両手でハンドルを把持していない状態に変化した場合、及び運転者が両手でハンドルを把持していない状態から運転者が両手でハンドルを把持している状態に変化した場合のうち少なくともいずれか１つ以上である。
　把持状態が予め設定された条件を満たす場合（ステップＳ３０５のＹＥＳ）は、第２のセカンドタスク判定部５ｂは第１のセカンドタスク判定部５ａによる判定を実施させることなく、乗員監視装置２０の処理動作を終了させる。
　把持状態が予め設定された条件を満たさない場合（ステップＳ３０５のＮＯ）は、第２のセカンドタスク判定部５ｂは第１のセカンドタスク判定部５ａによる判定を実施させる（ステップＳ３０６）。次に、第１のセカンドタスク判定部５ａはセカンドタスクが実施されているか否かを判定する（ステップＳ３０７）。また、ステップＳ３０７において、第１のセカンドタスク判定部５ａはセカンドタスクが実施されている場合に、セカンドタスクの種類の判定をさらに実施してもよい。
　そして、ステップＳ３０８では、記憶部６は第１のセカンドタスク判定部５ａの判定結果を記憶する。
　ステップＳ３０９及びステップＳ３１０は、実施の形態１のステップＳ１１１及びステップＳ１１２とそれぞれ同様である。
　以上により、乗員監視装置２０の処理動作を終了する。
　実施の形態１と同様に、本実施の形態における乗員監視装置２０は、撮像画像を用いて、運転者が運転中に行う運転以外の行為であるセカンドタスクが実施されているか否かを判定する第１のセカンドタスク判定部５ａと、運転者が両手でハンドルを把持している状態であるか否かを示す把持状態を判定する把持状態判定部４と、第１のセカンドタスク判定部５ａの判定結果及び把持状態判定部４の判定結果に基づき、セカンドタスクが実施されているか否かを判定する第２のセカンドタスク判定部５ｂを備える。これにより、乗員監視装置２０は、セカンドタスクの判定を高精度に行うことができる。
　また、第２のセカンドタスク判定部５ｂは、把持状態に応じて、第１のセカンドタスク判定部５ａによる判定を実施させるか否かを判定する。より具体的には、第２のセカンドタスク判定部５ｂは、把持状態が予め設定された条件を満たさない場合は、第１のセカンドタスク判定部５ａによる判定を実施させ、把持状態が予め設定された条件を満たす場合は、第１のセカンドタスク判定部５ａによる判定を実施させない。これにより、把持状態が予め設定された条件を満たす場合における第１のセカンドタスク判定部５ａの誤判定を防ぐことができるので、セカンドタスクの判定を高精度に行うことができる。
　また、把持状態が予め設定された条件を満たす場合は、セカンドタスクの状態が変化することはないので、第２のセカンドタスク判定部５ｂは第１のセカンドタスク判定部５ａにおける判定の処理を省くことができる。これにより、乗員監視装置２０の処理負荷を軽減できる。
　実施の形態４．
　実施の形態４における乗員監視装置２０について図６を用いて説明する。図６は実施の形態４の乗員監視装置２０を備えた車両３０の一部を示すブロック図である。実施の形態１では、把持状態判定部４は撮像画像を用いて把持状態を判定する例を示した。実施の形態４では、把持状態判定部４はハンズオンセンサ９のハンズオン信号を用いて把持状態を判定する。その他の乗員監視装置２０の構成は実施の形態１から３のいずれか１つと同様である。実施の形態１から３と同様の構成については、同一符号が付されている。
　実施の形態１と同様に、把持状態判定部４は、運転者が両手でハンドルを把持している状態であるか否かを示す把持状態を判定する。すなわち、把持状態判定部４は、「両手」、「右手」、「左手」、「片手」、及び「把持無し」のうちいずれの把持状態であるかを判定する。
　ハンズオンセンサ９は車両３０のハンドルに設けられ、ハンドルに運転者の両手が触れる状態、右手が触れる状態、左手が触れる状態、片手が触れる状態、及び両手ともに触れていない状態のうちいずれか１つのハンズオン信号を把持状態判定部４に出力する。ここでは、ハンズオンセンサ９は圧力センサである例を示す。
　ハンズオンセンサ９は、ハンドルの左右にそれぞれ設けられる。ハンズオンセンサ９はハンドルの左右半分の全体にそれぞれ設けられてもよく、把持されると推定される箇所に限定して設けられてもよい。ハンズオンセンサ９は圧力に応じた電流値を検出し、予め設定された閾値以上の電流値を検出した場合に、ハンドルに運転者の手が触れたと判定する。例えば、ハンドルの左右にそれぞれ設けられたハンズオンセンサ９の両方において予め設定された閾値以上の電流値を検出した場合、ハンズオンセンサ９はハンドルに運転者の両手が触れる状態を示すハンズオン信号を出力する。ハンドルの右側に設けられたハンズオンセンサ９のみが予め設定された閾値以上の電流値を検出した場合、ハンズオンセンサ９はハンドルに運転者の右手又は片手が触れる状態を示すハンズオン信号を出力する。ハンドルの左側に設けられたハンズオンセンサ９のみが予め設定された閾値以上の電流値を検出した場合、ハンズオンセンサ９はハンドルに運転者の左手又は片手が触れる状態を示すハンズオン信号を出力する。ハンドルの左右にそれぞれ設けられたハンズオンセンサ９の両方において、予め設定された閾値以上の電流値を検出した場合、ハンズオンセンサ９は運転者の両手ともにハンドルに触れていない状態を示すハンズオン信号を出力する。
　把持状態判定部４は、ハンズオンセンサ９のハンズオン信号を用いて把持状態を判定する。
　乗員監視装置２０による乗員監視方法は、実施の形態１から３の乗員監視装置２０による乗員監視方法と同様である。上述のとおり、ステップＳ１０７、Ｓ２０７、Ｓ３０５では、把持状態判定部４は、運転者が両手でハンドルを把持している状態であるか否かを示す把持状態を判定する。その際、把持状態判定部４はハンズオンセンサ９のハンズオン信号を用いて把持状態を判定する。
　実施の形態１と同様に、本実施の形態における乗員監視装置２０は、撮像画像を用いて、運転者が運転中に行う運転以外の行為であるセカンドタスクが実施されているか否かを判定する第１のセカンドタスク判定部５ａと、運転者が両手でハンドルを把持している状態であるか否かを示す把持状態を判定する把持状態判定部４と、第１のセカンドタスク判定部５ａの判定結果及び把持状態判定部４の判定結果に基づき、セカンドタスクが実施されているか否かを判定する第２のセカンドタスク判定部５ｂを備える。これにより、乗員監視装置２０は、セカンドタスクの判定を高精度に行うことができる。
　また、把持状態判定部４は、ハンドルの左右にそれぞれ設けられた圧力センサであるハンズオンセンサ９のハンズオン信号を用いて把持状態を判定する。ハンズオンセンサ９は、ハンドルに運転者の手が触れた場合に予め設定された閾値以上の電流値を検出する。そのため、撮像画像を用いて把持状態を判定する場合に比べ、ハンズオンセンサ９を用いて把持状態を判定する場合の方が、把持状態を正確に判定することができる。
　なお、ハンズオンセンサ９は圧力センサである例を示したが、これに限られない。例えば、ハンズオンセンサ９は静電容量式センサでもよく、温度センサでもよい。ハンズオンセンサ９が静電容量式センサである場合、ハンドルは電極を有し、運転者の手と電極との距離によって変化する静電容量に基づいて把持状態を判定する。ハンズオンセンサ９が温度センサである場合は、ハンドルの運転者が把持する箇所は体温により他のハンドルの部分よりも温度が高くなる。そのため、温度センサによる測定温度が予め設定された閾値以上である場合に、ハンドルが把持されていると判定すればよい。このように、把持状態判定部４は、ハンドルの左右にそれぞれ設けられた静電容量式センサ、又は温度センサであるハンズオンセンサ９のハンズオン信号を用いて把持状態を判定してもよい。この場合もハンズオンセンサ９が圧力センサである場合と同様に、撮像画像を用いて把持状態を判定する場合に比べ、ハンズオンセンサ９を用いて把持状態を判定する場合は、把持状態を正確に判定することができる。
　実施の形態５．
　実施の形態５における乗員監視装置２０について図７を用いて説明する。図７は実施の形態４の乗員監視装置２０を備えた車両３０の一部を示すブロック図である。本実施の形態の車両３０は、自動運転を実施する自動運転制御部１０、及び自動運転レベルを制御する自動運転レベル制御部１１を有する。実施の形態１と同様の構成については、同一符号が付されている。
　自動運転制御部１０は、運転支援ＥＣＵ及び自動運転ＥＣＵにより構成される。運転支援ＥＣＵは、運転者の運転操作を支援する運転支援機能を実現する電子制御装置である。運転支援ＥＣＵは、自動運転レベルにおいてレベル２以下の高度運転支援又は部分的な自動走行制御を可能にする。自動運転ＥＣＵは、運転者の運転操作を代行可能な自動運転機能を実現させる電子制御装置である。自動運転ＥＣＵは、予め設定された限定的な運行設計領域に限り、車両３０のシステムが制御主体となるレベル３以上の自律走行を可能にする。
　ここで、自動運転レベルについて説明する。自動運転レベルがレベル０の場合、運転行為の全てについて運転者が実施主体となる。自動運転レベルがレベル１の場合、運転行為のうち、車両操舵か、車両駆動及び車両制動のいずれか一方の実施主体が車両３０の運転支援ＥＣＵであり、その他の運転行為の全ての実施主体が運転者となる。自動運転レベルがレベル２の場合、車両操舵、車両駆動及び車両制動の運転操作の実施主体が車両３０の運転支援ＥＣＵである。自動運転レベルがレベル２の場合、運転者は、周辺監視の実施主体となると共に、車両３０による運転操作の実施状況を監視し、当該運転操作に常に介入できるよう、ハンドルを把持する等の即時運転操作可能な状態を保つ必要がある。自動運転レベルがレベル３の場合、車両操舵、車両駆動、車両制動及び周辺監視の全ての運転行為の実施主体が車両３０の自動運転ＥＣＵである。自動運転レベルがレベル３の場合、運転者は、自動運転ＥＣＵによる運転行為の実施状況を常時監視することなく、安全上許容された範囲でセカンドタスクを実施することができる。安全上許容された範囲は、法規的に定められてもよく、実際の運転における安全性に基づき定められてもよい。すなわち、自動運転レベルがレベル０～２の場合、運転者はセカンドタスクを実施することは禁止されているが、自動運転レベルがレベル３の場合は、安全上許容された範囲でセカンドタスクを実施することができる。また、自動運転レベルがレベル４以上の場合もセカンドタスクを実施することができる。
　自動運転レベル制御部１１は、自動運転レベルを切り替える制御をする。また、自動運転レベル制御部１１は、第２のセカンドタスク判定部５ｂ及び自動運転制御部１０に自動運転レベルを示す信号を送信する。
　表示部８は運転者にセカンドタスクの終了を促す音声及び画像の少なくともいずれか一方を表示する。この際、表示部８は自動運転が終了することも併せて運転者に表示するとよい。
　次に、乗員監視装置２０による乗員監視方法について説明する。図８は実施の形態５の乗員監視装置２０の処理動作を示すフローチャートである。
　まず、ステップＳ５０１では、第２のセカンドタスク判定部５ｂは自動運転レベル制御部１１から現在の自動運転レベルのレベルを示す情報を取得し、自動運転レベルがレベル３より小さいか否かを判定する。自動運転レベルがレベル３より小さい、すなわちレベル０からレベル２の場合（ステップＳ５０１のＹＥＳ）、図８では省略しているが実施の形態１から３のいずれかに記載の乗員監視装置２０の処理動作を実施する。
　自動運転レベルがレベル３以上である場合（ステップＳ５０１のＮＯ）、第２のセカンドタスク判定部５ｂは自動運転レベル制御部１１において自動運転レベルをレベル３以上からレベル２以下に変更する制御を実施するか否かを判定する（ステップＳ５０２）。例えば、自動運転レベルをレベル３からレベル２に変更する制御を実施する場合は、自動運転レベル制御部１１がナビゲーション装置から車両３０が予め設定された限定的な運行設計領域の領域外を走行すること予定である情報を取得した場合である。
　自動運転レベルをレベル３以上からレベル２以下に変更する制御を実施しない場合（ステップＳ５０２のＮＯ）、すなわち自動運転レベルがレベル３以上を維持する場合は、ステップＳ５０２の処理動作を繰り返す。これは、自動運転レベルがレベル３以上の場合はセカンドタスクの実施が許容されているため、セカンドタスクが実施されているか否かを判定する必要がないためである。
　自動運転レベルをレベル３以上からレベル２以下に変更する制御を実施する場合（ステップＳ５０２のＹＥＳ）、図８では省略しているが実施の形態１から３のいずれかに記載の乗員監視装置２０の処理動作を実施する。
　実施の形態１と同様に、本実施の形態における乗員監視装置２０は、撮像画像を用いて、運転者が運転中に行う運転以外の行為であるセカンドタスクが実施されているか否かを判定する第１のセカンドタスク判定部５ａと、運転者が両手でハンドルを把持している状態であるか否かを示す把持状態を判定する把持状態判定部４と、第１のセカンドタスク判定部５ａの判定結果及び把持状態判定部４の判定結果に基づき、セカンドタスクが実施されているか否かを判定する第２のセカンドタスク判定部５ｂを備える。これにより、乗員監視装置２０は、セカンドタスクの判定を高精度に行うことができる。
　また、自動運転のレベルがレベル３以上からレベル２以下に変更する場合、運転の実施主体が車両３０から運転者に変更となる。レベル３以上において運転者はセカンドタスクを実施している可能性があり、唐突にレベル２以下に引き下げると、運転者がセカンドタスクを実施した状態で運転の実施主体が運転者に変更される虞がある。そこで、第２のセカンドタスク判定部５ｂは、自動運転レベルが運転の実施主体が車両３０であるレベル３以上から運転の実施主体が運転者であるレベル２以下に変更する場合に、セカンドタスクが実施されているか否かの判定を実施する。これにより、運転の実施主体が運転者に変更する際に、セカンドタスクが実施されているか否かを判定する。そして、運転の実施主体が車両３０から運転者に変更となる場合に、運転者はセカンドタスクの実施を終了することができる。
　また、第２のセカンドタスク判定部５ｂは、自動運転レベルが運転の実施主体が車両３０であるレベル３以上である場合に、セカンドタスクが実施されているか否かの判定を実施しない。これにより、セカンドタスクの実施が許容されたレベル３以上において、乗員監視装置２０はセカンドタスクが実施されているか否かの判定を実施しないため、処理負荷を軽減することができる。
　また、本明細書中に開示する各実施の形態は、その範囲内において、各実施の形態を自由に組み合わせることが可能であり、各実施の形態を適宜、変形、省略することが可能である。
１　走行判定部、２　撮像部、３　画像取得部、４　把持状態判定部、５ａ　第１のセカンドタスク判定部、５ｂ　第２のセカンドタスク判定部、６　記憶部、７　出力部、８　表示部、９　ハンズオンセンサ、１０　自動運転制御部、１１　自動運転レベル制御部、１２　処理回路、１３　プロセッサ、１４　メモリ、２０　乗員監視装置、３０　車両

Claims (15)

  1. 　車両の運転者を撮像する撮像部から撮像画像を取得する画像取得部と、
    　前記撮像画像を用いて、前記運転者が運転中に行う運転以外の行為であるセカンドタスクが実施されているか否かを判定する第１のセカンドタスク判定部と、
    　前記運転者が両手でハンドルを把持している状態であるか否かを示す把持状態を判定する把持状態判定部と、
    　前記第１のセカンドタスク判定部の判定結果及び前記把持状態判定部の判定結果に基づき、前記セカンドタスクが実施されているか否かを判定する第２のセカンドタスク判定部と、
    を備える乗員監視装置。
  2. 　前記第２のセカンドタスク判定部は、前記把持状態に応じて、前記第１のセカンドタスク判定部による判定を実施させるか否か、又は前記第１のセカンドタスク判定部による判定結果を有効とするか否かを判定することを特徴とする請求項１に記載の乗員監視装置。
  3. 　前記第２のセカンドタスク判定部は、前記第１のセカンドタスク判定部において前記セカンドタスクが実施されていると判定された場合に、前記把持状態判定部が前記把持状態ではないと判定した場合は、前記第１のセカンドタスク判定部の判定結果を有効とし、前記把持状態判定部が前記把持状態であると判定した場合は、前記第１のセカンドタスク判定部の判定結果を無効とすることを特徴とする請求項１又は請求項２に記載の乗員監視装置。
  4. 　前記第２のセカンドタスク判定部は、前記セカンドタスクの状態が変化した場合に、前記把持状態が予め設定された条件を満たさない場合は、前記第１のセカンドタスク判定部の判定結果を有効とし、前記セカンドタスクの状態が変化した場合に、前記把持状態が前記予め設定された条件を満たす場合は、前記第１のセカンドタスク判定部の判定結果を無効とすることを特徴とする請求項１又は請求項２に記載の乗員監視装置。
  5. 　前記第２のセカンドタスク判定部は、最新の前記第１のセカンドタスク判定部の判定結果と前回の前記第１のセカンドタスク判定部の判定結果とが異なる場合に前記セカンドタスクの状態が変化したと判定し、最新の前記第１のセカンドタスク判定部の判定結果と前回の前記第１のセカンドタスク判定部の判定結果とが同じ場合は前記セカンドタスクの状態に変化はないと判定することを特徴とする請求項４に記載の乗員監視装置。
  6. 　前記第２のセカンドタスク判定部は、前記把持状態が予め設定された条件を満たさない場合は、前記第１のセカンドタスク判定部による判定を実施させ、前記把持状態が前記予め設定された条件を満たす場合は、前記第１のセカンドタスク判定部による判定を実施させないことを特徴とする請求項１又は請求項２に記載の乗員監視装置。
  7. 　前記把持状態の前記予め設定された条件は、前記運転者が前記両手で前記ハンドルを把持している状態が継続している場合、前記運転者が前記両手で前記ハンドルを把持している状態から前記運転者が前記両手で前記ハンドルを把持していない状態に変化した場合、及び前記運転者が前記両手で前記ハンドルを把持していない状態から前記運転者が前記両手で前記ハンドルを把持している状態に変化した場合のうち少なくともいずれか１つ以上であることを特徴とする請求項４から６のいずれか一項に記載の乗員監視装置。
  8. 　前記セカンドタスクは前記運転者が少なくとも一方の手を前記ハンドルから離した状態で行う行為であり、喫煙、携帯端末の操作、携帯端末を用いた会話、飲食、書類の確認、及び読書のうち少なくともいずれか１つ以上であることを特徴とする請求項１から７のいずれか一項に記載の乗員監視装置。
  9. 　前記セカンドタスクの実施を終了するように促す音声及び画像の少なくともいずれか一方を表示する表示部に、前記セカンドタスクが実施されていることを示す信号を出力する出力部をさらに備え、
    　前記第２のセカンドタスク判定部は、前記セカンドタスクが予め設定された時間継続して実施されている場合に、前記出力部に前記信号を出力させることを特徴とする請求項１から８のいずれか一項に記載の乗員監視装置。
  10. 　前記第１のセカンドタスク判定部及び前記第２のセカンドタスク判定部の判定結果を記憶する記憶部をさらに備え、
    　前記第１のセカンドタスク判定部は、前記セカンドタスクが実施されていると判定した場合に前記セカンドタスクの種類を判定し、
    　前記第２のセカンドタスク判定部は、前記記憶部に記憶された判定結果において、同じ種類の前記セカンドタスクが前記予め設定された時間継続して実施されている場合に、前記出力部に前記信号を出力させ、
    　前記予め設定された時間は、前記セカンドタスクの種類により異なることを特徴とする請求項９に記載の乗員監視装置。
  11. 　前記第１のセカンドタスク判定部は、パターンマッチング又はニューラルネットワークを用いて、前記セカンドタスクが実施されているか否かを判定することを特徴とする請求項１から１０のいずれか一項に記載の乗員監視装置。
  12. 　前記把持状態判定部は、前記撮像画像を用いて前記把持状態を判定する、又は前記ハンドルの左右にそれぞれ設けられた圧力センサ、静電容量式センサ、若しくは温度センサのいずれかであるハンズオンセンサの信号を用いて前記把持状態を判定することを特徴とする請求項１から１１のいずれか一項に記載の乗員監視装置。
  13. 　前記第２のセカンドタスク判定部は、自動運転レベルが運転の実施主体が前記車両であるレベル３以上から前記運転の実施主体が前記運転者であるレベル２以下に変更する場合に、前記セカンドタスクが実施されているか否かの判定を実施することを特徴とする請求項１から１２のいずれか一項に記載の乗員監視装置。
  14. 　前記第２のセカンドタスク判定部は、自動運転レベルが運転の実施主体が前記車両であるレベル３以上である場合に、前記セカンドタスクが実施されているか否かの判定を実施しないことを特徴とする請求項１から１３のいずれか一項に記載の乗員監視装置。
  15. 　車両の運転者を撮像する撮像部から撮像画像を取得するステップと、
    　前記撮像画像を用いて、前記運転者が運転中に行う運転以外の行為であるセカンドタスクが実施されているか否かを判定するステップと、
    　前記運転者が両手でハンドルを把持している状態であるか否かを示す把持状態を判定するステップと、
    　前記セカンドタスクが実施されているか否かの判定結果及び前記把持状態の判定結果に基づき、前記セカンドタスクが実施されているか否かを判定するステップと、
    を備える乗員監視方法。
PCT/JP2021/045526 2021-12-10 2021-12-10 乗員監視装置及び乗員監視方法 Ceased WO2023105751A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2023566026A JP7483160B2 (ja) 2021-12-10 2021-12-10 乗員監視装置及び乗員監視方法
CN202180104696.0A CN118525506A (zh) 2021-12-10 2021-12-10 乘客监视装置及乘客监视方法
PCT/JP2021/045526 WO2023105751A1 (ja) 2021-12-10 2021-12-10 乗員監視装置及び乗員監視方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/045526 WO2023105751A1 (ja) 2021-12-10 2021-12-10 乗員監視装置及び乗員監視方法

Publications (1)

Publication Number Publication Date
WO2023105751A1 true WO2023105751A1 (ja) 2023-06-15

Family

ID=86729913

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/045526 Ceased WO2023105751A1 (ja) 2021-12-10 2021-12-10 乗員監視装置及び乗員監視方法

Country Status (3)

Country Link
JP (1) JP7483160B2 (ja)
CN (1) CN118525506A (ja)
WO (1) WO2023105751A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116486383A (zh) * 2023-02-21 2023-07-25 长城汽车股份有限公司 吸烟行为识别方法、吸烟检测模型、装置、车辆及介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019176037A1 (ja) * 2018-03-15 2019-09-19 三菱電機株式会社 危険警告システム及び危険警告方法
JP2021049891A (ja) * 2019-09-25 2021-04-01 株式会社Ｓｕｂａｒｕ 車両制御装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6439667B2 (ja) * 2015-12-11 2018-12-19 トヨタ自動車株式会社 車載警告システム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019176037A1 (ja) * 2018-03-15 2019-09-19 三菱電機株式会社 危険警告システム及び危険警告方法
JP2021049891A (ja) * 2019-09-25 2021-04-01 株式会社Ｓｕｂａｒｕ 車両制御装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116486383A (zh) * 2023-02-21 2023-07-25 长城汽车股份有限公司 吸烟行为识别方法、吸烟检测模型、装置、车辆及介质
CN116486383B (zh) * 2023-02-21 2025-11-25 长城汽车股份有限公司 吸烟行为识别方法、吸烟检测模型、装置、车辆及介质

Also Published As

Publication number Publication date
JPWO2023105751A1 (ja) 2023-06-15
CN118525506A (zh) 2024-08-20
JP7483160B2 (ja) 2024-05-14

Similar Documents

Publication Publication Date Title
CN107291365B (zh) 用于在移动交通工具中控制交通工具显示器的系统和方法
US11254209B2 (en) System and method for controlling vehicle systems in a vehicle
US9475389B1 (en) System and method for controlling a vehicle display based on driver behavior
CN107665330B (zh) 在车辆中检测头部姿势的系统、方法和计算机可读介质
US9703472B2 (en) Method and system for operating console with touch screen
US20180154903A1 (en) Attention monitoring method and system for autonomous vehicles
US10853674B2 (en) Vehicle systems and methods for determining a gaze target based on a virtual eye position
JP7047821B2 (ja) 運転支援装置
CN112689587B (zh) 考虑到在要求接管驾驶任务时驾驶员的非驾驶任务活动的可中断性而分类非驾驶任务活动的方法及因要求接管驾驶任务而中断非驾驶任务活动后重新释放非驾驶任务活动的方法
US20200064146A1 (en) System and method for emotion navigation routing
JP5255945B2 (ja) 車両用運転評価装置
JP2016115117A (ja) 判定装置および判定方法
US10817068B2 (en) Vehicle systems and methods for determining target based on selecting a virtual eye position or a pointing direction
JP6233248B2 (ja) 把持状態判定装置、把持状態判定方法、入力装置、入力取得方法
Schinkel et al. Driver intervention detection via real-time transfer function estimation
JP7483160B2 (ja) 乗員監視装置及び乗員監視方法
JP2016115120A (ja) 開閉眼判定装置および開閉眼判定方法
JP2015132905A (ja) 電子システム、検出範囲の制御方法、及び制御プログラム
KR102635284B1 (ko) 운전자 보조 시스템 및 운전자 보조 방법
US11501561B2 (en) Occupant monitoring device, occupant monitoring method, and occupant monitoring program
WO2021156914A1 (ja) 注意方向判定装置および注意方向判定方法
JP6657048B2 (ja) 処理結果異常検出装置、処理結果異常検出プログラム、処理結果異常検出方法及び移動体
CN114575685A (zh) 基于视觉的汽车门把手防误触方法和系统
CN119872689A (zh) 用于方向盘的脱手检测方法和装置及计算机存储介质
JP2007132678A (ja) ナビゲーション装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21967245

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023566026

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 202180104696.0

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21967245

Country of ref document: EP

Kind code of ref document: A1