WO2024135503A1 - 運転者監視装置および監視プログラム - Google Patents

運転者監視装置および監視プログラム Download PDF

Info

Publication number
WO2024135503A1
WO2024135503A1 PCT/JP2023/044729 JP2023044729W WO2024135503A1 WO 2024135503 A1 WO2024135503 A1 WO 2024135503A1 JP 2023044729 W JP2023044729 W JP 2023044729W WO 2024135503 A1 WO2024135503 A1 WO 2024135503A1
Authority
WO
WIPO (PCT)
Prior art keywords
driver
imaging unit
imaging
camera
image
Prior art date
Application number
PCT/JP2023/044729
Other languages
English (en)
French (fr)
Inventor
良宏 高橋
Original Assignee
矢崎総業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 矢崎総業株式会社 filed Critical 矢崎総業株式会社
Publication of WO2024135503A1 publication Critical patent/WO2024135503A1/ja

Links

Images

Definitions

  • the present invention relates to a driver monitoring device and a monitoring program.
  • Patent Document 1 discloses a driver monitoring device that can detect dangerous driving elements outside the imaging range of a camera. Specifically, it shows that it detects distracted driving by judging the direction of the driver's face from the luminance distribution of the driver's face, and that it judges distracted driving and drowsy driving from the position and movement of the driver's pupils. It also shows that it can detect smartphones and other items reflected in the pupils or eyeglasses of the face.
  • an in-vehicle system monitors the driver's condition while driving, it is required as a basic function to be able to detect drowsy driving, distracted driving, abnormal posture, etc. Therefore, the in-vehicle system needs to accurately grasp information on the driver's eyes and face in detail. In addition, the in-vehicle system needs to have the function to detect dangerous driving situations, such as when the driver is distracted while driving while operating a smartphone.
  • the present invention was made in consideration of the above-mentioned circumstances, and its purpose is to provide a driver monitoring device and monitoring program that enables appropriate monitoring of the driver in various situations and reduces the load on the processing device that processes image and other data.
  • a first imaging unit capable of imaging a driver of a vehicle and its surroundings; a second imaging unit having a narrower imaging range than the first imaging unit and capable of imaging features appearing on the face of the driver;
  • a control unit that controls imaging timing of the first imaging unit and the second imaging unit; a determination unit that determines whether or not the driver is performing at least an action unrelated to driving operation from images acquired from the first imaging unit and the second imaging unit; and when the determination unit detects that the driver is looking aside based on the image input from the second imaging unit in a state where the input from the first imaging unit is stopped, the determination unit controls the control unit to start acquiring an image from the first imaging unit and determines whether or not the image acquired from the first imaging unit includes a detection target or a driver's posture that is to be detected.
  • Driver monitoring device is
  • a monitoring program executable by a computer of a monitoring device including a first imaging unit capable of imaging a driver of a vehicle and the surroundings thereof, a second imaging unit having a narrower imaging range than the first imaging unit and capable of imaging features appearing on the face of the driver, a control unit that controls imaging timings of the first imaging unit and the second imaging unit, and a determination unit that determines whether or not the driver is performing at least an action unrelated to driving operation from images acquired from the first imaging unit and the second imaging unit, a step of detecting whether the driver is looking aside based on a second image input from the second imaging unit; a step of starting acquisition of a first image from the first imaging unit when it is detected based on the second image that the driver is looking aside while input from the first imaging unit is stopped, and determining whether or not the first image includes a detection target or a driver's posture that is to be detected;
  • a monitoring program having
  • the driver monitoring device and monitoring program of the present invention enable appropriate monitoring of the driver in various situations, while reducing the load on the processing device that processes image and other data.
  • FIG. 1 is a block diagram showing an outline of the configuration of a driver monitoring device according to an embodiment of the present invention.
  • FIG. 2 is a front view showing examples of two types of images captured by two cameras, respectively.
  • FIG. 3 is a block diagram showing the configuration of main functions provided in the driver monitoring device of FIG.
  • FIG. 4 is a flowchart showing an example of the operation of the main control unit.
  • FIG. 5 is a time chart showing Example 1 of the operation timing in the driver monitoring device of FIG.
  • FIG. 6 is a time chart showing Example 2 of the operation timing in the driver monitoring device of FIG.
  • FIG. 7 is a time chart showing Example 3 of the operation timing in the driver monitoring device of FIG.
  • FIG. 1 is a block diagram showing an outline of the configuration of a driver monitoring device 100 according to an embodiment of the present invention.
  • the driver monitoring device 100 shown in FIG. 1 includes a first camera (camera 1) 10A, a second camera (camera 2) 10B, and a main control unit 20.
  • the installation position and angle of view of the first camera 10A are adjusted in advance so that it can capture an image in the capture range A1 in FIG. 1.
  • the first camera 10A can capture a relatively wide range of the driver 50's face, upper body, arms, hands, etc. while seated in the driver's seat.
  • the first camera 10A is installed in any one of the following locations within the vehicle cabin: an overhead module, a room mirror, a center portion of an instrument panel, a pillar, a meter hood, inside a meter, a steering column, or the like.
  • the photographing range A1 includes an area in which the vehicle's handle (steering wheel) 51, seat belts 52, and other in-vehicle equipment are present.
  • the installation position and angle of view of the second camera 10B are adjusted in advance so that it can capture an image of the shooting range A2 in FIG. 1.
  • the second camera 10B can capture only an image within a relatively narrow range compared to the first camera 10A so that detailed information of the facial parts of the driver 50 seated in the driver's seat can be captured.
  • the second camera 10B may be installed in the same location as the first camera 10A, but it is preferable to place it in a position where it can capture an image from the front of the driver 50 so that information such as the line of sight can be more easily obtained.
  • the main control unit 20 is an electronic control unit (ECU) that has the function of monitoring the driver's situation based on images captured by the first camera 10A and the second camera 10B.
  • the main control unit 20 can control the timing of capturing images, the timing of acquiring image data, the amount of exposure, gain, etc. for each of the first camera 10A and the second camera 10B.
  • the main control unit 20 processes the image data acquired from at least one of the first camera 10A and the second camera 10B to acquire information representing the driving situation, automatically records and saves the resulting information, and outputs warnings, etc. according to the situation to support safe driving.
  • FIG. 2 shows specific examples of two types of captured images i1 and i2 captured by the first camera 10A and the second camera 10B, respectively.
  • the captured image i1 shown in FIG. 2 sufficient information is shown to understand the driving situation, such as the upper body, both hands, and both arms of the driver 50.
  • the captured image i2 shown in FIG. 2 information including the entire face and head of the driver 50 is shown in an enlarged state.
  • the main control unit 20 by analyzing image data such as captured image i2 by the main control unit 20, it becomes possible to detect the direction of the driver's 50's face and the direction of the driver's gaze, and to monitor any changes therein.
  • image data such as captured image i1 by the main control unit 20 it becomes possible to detect the state in which the driver 50 is holding the steering wheel, and to detect any mobile device (such as a smartphone) that the driver 50 may be holding in his or her hand.
  • FIG. 3 is a block diagram showing the configuration of main functions provided in the driver monitoring device 100 of FIG.
  • Each function of the main control unit 20 shown in FIG. 3 is realized, for example, by the operation of hardware electronic circuits, mainly a microcomputer (not shown) built into the main control unit 20, and by programs executed by this microcomputer.
  • the main control unit 20 has feature detection functions 21, 22, a timing control function 23, a monitoring function unit 24, an alarm function 25, and a history information recording function 26.
  • the monitoring function unit 24 also includes an inattentive detection function 24a, a drowsiness detection function 24b, a poor posture detection function 24c, an action detection function 24d, a posture detection function 24e, a seat belt detection function 24f, and a steering wheel holding detection function 24g.
  • the feature detection function 21 detects various features of each part of the upper body and the hand area of the driver 50 by processing the image data obtained from the first camera 10A.
  • the feature detection function 22 detects various features of the face area of the driver 50 by processing the image data obtained from the second camera 10B.
  • the timing control function 23 controls the timing at which each of the first camera 10A and the second camera 10B takes pictures (including controlling the illumination light), the timing at which each of the first camera 10A and the second camera 10B sends the image data taken by each of the first camera 10A and the second camera 10B to the main control unit 20 (or the timing at which the main control unit 20 requests an image), and the like, based on the detection states of each of the feature detection functions 21 and 22.
  • the monitoring function unit 24 detects the current state of each of the various monitoring items required in the vehicle.
  • the inattentiveness detection function 24a has a function of detecting whether the driver 50 is driving while facing a direction unrelated to driving, based on facial information of the driver 50.
  • the drowsiness detection function 24b has a function of detecting whether the driver 50 is driving with his/her eyes closed or in a drowsy state based on information on the face of the driver 50.
  • the posture error detection function 24c has a function of detecting whether the driver 50 is driving in an abnormal posture different from a normal driving posture, based on information on the upper body of the driver 50, etc.
  • the behavior detection function 24d has a function to detect whether the driver 50 is performing a dangerous driving behavior, such as operating a smartphone, based on information about the upper body of the driver 50, etc.
  • the posture detection function 24e has a function of detecting information such as the posture of the entire body of the driver 50, the horizontal and front-to-back orientation of the face, the direction of the line of sight, and the inclination of the upper body.
  • the seat belt detection function 24f has a function of detecting whether or not the driver 50 is wearing a seat belt.
  • the steering wheel holding detection function 24g has a function of detecting whether or not the driver 50 is holding the steering wheel in a state capable of driving.
  • the warning function 25 has a function of supporting the driver's safe driving by notifying the driver of an abnormality, for example by outputting a voice or an alarm sound, when any function of the monitoring function unit 24 detects a situation that requires a warning regarding the driving condition of the driver 50.
  • the history information recording function 26 records and saves information detected by each function of the monitoring function unit 24 regarding the driving state of the driver 50 in a specified non-volatile recording medium as history information in a state in which the information is associated with, for example, the current date and time and the current location of the vehicle.
  • Fig. 4 An example of the operation of the main control unit 20 is shown in Fig. 4. That is, when a driver monitoring system (DMS) of the vehicle is started, the computer of the main control unit 20 starts the operation shown in Fig. 4. The operation shown in Fig. 4 will be described below.
  • DMS driver monitoring system
  • the main control unit 20 performs an initialization process for each of the first camera 10A and the second camera 10B by automatically adjusting the exposure of each camera and the gain of the image processing circuit so that they are appropriate, and records information indicating the state (S11). In the initial state, the lights of each camera are turned off.
  • the main control unit 20 normally processes only the images captured by the second camera 10B to monitor the driver 50. Therefore, initially, only the LED lighting built into or attached to the second camera 10B starts to light up (S12). In addition, the brightness of the image captured by the second camera 10B is detected, and the amount of brightness fluctuation that occurs over a certain period of time is recorded.
  • the emission wavelength of the LED lighting is in the near-infrared range so that the camera can take pictures even at night.
  • the main control unit 20 periodically acquires image data captured by the second camera 10B and processes it using the feature detection function 22, and periodically repeats the process of detecting the face position of the driver 50 (S13).
  • the main control unit 20 compares the length of time during which the face position of the driver 50 can be detected with a predetermined threshold time (S14). If the length of time during which the face position can be detected is equal to or greater than the threshold time, the process proceeds to S16. If the condition of S14 is not met, the process proceeds to S17, and the main control unit 20 outputs information indicating that the face of the driver 50 cannot be detected.
  • the main control unit 20 compares both the facial orientation and gaze direction of the driver 50 with a specific range determined in advance (S16).
  • This specific range corresponds to the range of facial orientation and gaze direction expected when the driver 50 is gazing at the screen of a mobile device such as a smartphone, operating the mobile device with his/her hands, or performing an action such as a call on the mobile device. If the conditions of S16 are met, proceed to S24.
  • the main control unit 20 determines in S18 whether the vehicle is stopped. If the vehicle is stopped, the process proceeds to S19, where it determines whether the direction of the driver's 50's face and the direction of his/her gaze have both remained stationary for a predetermined threshold time or longer. If the vehicle is not stopped, the process proceeds to S20, where it determines whether the direction of the driver's 50's face and the direction of his/her gaze have both remained outside the predetermined range for a predetermined time or longer.
  • the main control unit 20 proceeds to S21, and if the conditions of S19 are not met, the main control unit 20 proceeds to S13. Also, if the vehicle is not stopped and the conditions of S20 are met, the main control unit 20 proceeds to S21, and if the conditions of S19 are not met, the main control unit 20 proceeds to S13.
  • the main control unit 20 outputs an inattentive driver warning in S21. Furthermore, the presence or absence of a predetermined warning cancellation signal is identified in S22, and if the warning cancellation signal is detected, the warning in S21 is cancelled in the next S23 before proceeding to S13. If the warning cancellation signal is not detected, the process proceeds to S18.
  • the inattentive warning cancellation signal can be generated by the driver operating a predetermined button, etc.
  • the main control unit 20 starts turning on the LED lighting built into or attached to the first camera 10A in S24 so that the first camera 10A can start taking pictures.
  • the main control unit 20 reflects the amount of brightness fluctuation of the second camera 10B detected in S12 in the exposure and gain settings of the first camera 10A.
  • the main control unit 20 periodically acquires image data obtained by the first camera 10A and processes it using the feature detection function 21, and periodically repeats the detection process for a mobile device such as a smartphone that the driver 50 may be holding (S25).
  • the position of the driver's 50 hand is detected and tracked in the image to be processed, and a contour shape equivalent to that of a smartphone is detected within a rectangular area nearby, it can be deemed that a smartphone has been detected.
  • the driver's 50 hand is on the side of the face, such as when the driver is making a call, and a contour shape equivalent to that of a smartphone is detected within a rectangular area nearby, it can be deemed that a smartphone has been detected.
  • the main control unit 20 issues a distracted driving warning regarding smartphone operation in S27. Furthermore, in S29, it is determined whether the vehicle is stopped or not, and if not, the process returns to S25, and if the vehicle is stopped, the distracted driving warning is cancelled (S30).
  • the main control unit 20 proceeds to S28. Then, it determines whether or not both the face direction and line of sight of the driver 50 are being maintained in a constant state, and if they are constant, it returns to the processing of S25, and if there is a change, it proceeds to the processing of S18.
  • the main control unit 20 when the main control unit 20 is executing the processes of S24 to S30 in FIG. 4, the image data captured by the second camera 10B is not needed, so the content of the process may be changed to temporarily turn off the illumination of the second camera 10B and stop the capturing operation of the second camera 10B and the transmission of image data.
  • Fig. 5 shows an example 1 of the operation timing in the driver monitoring device 100 of Fig. 1. The operation shown in Fig. 5 will be described below.
  • the driver monitoring device 100 normally uses only the second camera 10B to capture images at a fixed cycle, i.e., at each time t1, t2, t3, t4, etc. in FIG. 5, and processes the images each time to recognize the driving state of the driver 50.
  • the main control unit 20 assumes that there is a possibility of distracted driving, and starts processing to detect the smartphone. That is, shooting with the first camera 10A starts at time t10A, and shooting is repeated at regular intervals at times t11A, t12A, ....
  • the main control unit 20 extracts a rectangular area near the hand, like the driver 50B in Figure 5, and detects whether or not a smartphone is present within this area (corresponding to S25 and S26 in Figure 4).
  • the times t10, t11, t12, ... when the second camera 10B takes pictures are asynchronous with the times t11A, t12A, ... when the first camera 10A takes pictures, and are shifted so that they do not overlap.
  • Fig. 6 shows an example 2 of the operation timing in the driver monitoring device 100 of Fig. 1. The operation shown in Fig. 6 will be described below.
  • the driver monitoring device 100 normally captures images using only the second camera 10B at a fixed cycle, i.e., repeatedly at each time t1, t2, t3, ... in FIG. 6, but there are predetermined times (times t5, t10, ...) when the second camera 10B does not capture images.
  • the main control unit 20 processes the images captured by the second camera 10B at each time t1, t2, t3, . . . to recognize the driving state of the driver 50. Then, when the state of looking away in the designated range is detected as driver 50A shown in Fig. 6 and continues for a certain period of time or more (range of time t6 to t9), the main control unit 20 assumes that there is a possibility of distracted driving and performs processing to detect a smartphone. That is, an image is captured by the first camera 10A at time t10, and based on the image captured by the first camera 10A, the main control unit 20 extracts a rectangular area near the hand as in driver 50B in Fig. 6 and detects whether or not a smartphone is present within this area (corresponding to S25 and S26 in Fig. 4).
  • Fig. 7 shows an example 3 of operation timing in the driver monitoring device 100 of Fig. 1. The operation shown in Fig. 7 will be described below.
  • the driver monitoring device 100 normally captures images using only the second camera 10B at a fixed cycle, i.e., repeatedly at each time t1, t2, t3, ... in FIG. 7, but there are predetermined times (times t5, t10, ...) when the second camera 10B does not capture images.
  • the main control unit 20 processes the images captured by the second camera 10B at each time t1, t2, t3, . . . to recognize the driving state of the driver 50. 7, if the state of looking away from the vehicle in the designated range continues for a certain period of time or more (the range of times t6 to t9), the main control unit 20 assumes that there is a possibility of distracted driving, and starts processing to detect the smartphone. That is, the first camera 10A starts taking pictures at time t10, and then takes pictures at predetermined times t10, t11, t12, ... at regular intervals.
  • shooting by the second camera 10B is stopped at the timing (t11, t12, %) after the first camera 10A starts shooting.
  • the main control unit 20 extracts a rectangular area near the hand, such as that of the driver 50B in FIG. 7, based on the images captured by the first camera 10A at each time t10, t11, t12, ..., and detects whether or not a smartphone is present within this area (corresponding to S25 and S26 in FIG. 4).
  • the main control unit 20 normally processes only the images from the second camera 10B, as shown at times t1 to t9 in Figures 5 to 7, so the processing load on the main control unit 20 can be reduced.
  • the second camera 10B has a narrow shooting range, it is possible to sufficiently detect the direction of the face and the direction of the line of sight even in images with low resolution, which is effective in reducing the processing load.
  • the shooting and processing of the second camera 10B is stopped at the timing when the image from the first camera 10A is processed, so the processing load on the main control unit 20 can be reduced.
  • the present invention is not limited to the above-described embodiment, and can be modified, improved, etc. as appropriate.
  • the material, shape, dimensions, number, location, etc. of each component in the above-described embodiment are arbitrary as long as they can achieve the present invention, and are not limited.
  • a first imaging unit capable of imaging a driver of a vehicle and its surroundings
  • a second imaging unit having a narrower imaging range than the first imaging unit and capable of imaging features appearing on the driver's face
  • a control unit main control unit 20, timing control function 23
  • a determination unit main control unit 20, action detection function 24d
  • the determination unit controls the control unit to start acquiring an image from the first imaging unit (S24, S25), and determines whether or not the image acquired from the first imaging
  • the driver monitoring device with the configuration of [1] above can easily detect situations such as distracted driving by the driver of the vehicle. That is, by processing the image of the second imaging unit, which has a narrow imaging range, the situation of inattentive driving can be easily detected. In addition, by processing the image of the first imaging unit in a situation of inattentive driving, it is possible to detect the smartphone being operated by the driver and the posture of the driver staring at the smartphone screen. In other words, distracted driving such as operating a smartphone in a situation of inattentive driving can be identified. Moreover, by appropriately adjusting the imaging timing and processing timing of the first imaging unit and the second imaging unit, the processing load can be significantly reduced. This can suppress the increase in heat generation and power consumption of the control device, and also suppress the resource consumption of the control device.
  • the determination unit detects a mobile terminal present in an area near the driver based on the image captured by the first imaging unit (S24 to S26).
  • the driver monitoring device according to the above [1].
  • the driver monitoring device with the configuration of [2] above detects the mobile device based on the image captured by the first imaging unit, which captures a relatively wide range, so that distracted driving can be easily detected even when the driver is holding and operating a mobile device that is far away from the driver's face.
  • the determination unit detects at least one of the driver's face direction and the line of sight direction based on the image captured by the second imaging unit (S12 to S16).
  • the driver monitoring device according to the above [1] or [2].
  • the driver monitoring device with the configuration of [3] above detects the direction of the driver's face or line of sight, making it possible to detect situations in which the driver is looking away from the road or at the screen of a mobile device, etc.
  • the determination unit detects at least one of the driver's face direction and line of sight direction based on the image captured by the second imaging unit (S12 to S16), and determines that the driver is looking inattentively if the detected face direction or line of sight direction is within a range of the looking inattentive condition for a certain period of time or more (S16, S24).
  • the driver monitoring device according to the above [1].
  • the driver monitoring device with the configuration of [4] above detects the direction of the driver's face or gaze and identifies the length of time that the same state continues, making it possible to more accurately detect situations in which the driver is looking away from the road or staring at the screen of a mobile device, etc.
  • a monitoring program executable by a computer (main control unit 20) of a monitoring device including a first imaging unit capable of imaging a driver of a vehicle and the surroundings thereof, a second imaging unit having a narrower imaging range than the first imaging unit and capable of imaging features appearing on the face of the driver, a control unit that controls imaging timings of the first imaging unit and the second imaging unit, and a determination unit that determines whether or not the driver is performing an action unrelated to driving operation from images acquired from the first imaging unit and the second imaging unit, A step of detecting whether the driver is looking aside based on the second image input from the second imaging unit (S12 to S16); a step (S24 to S26) of starting acquisition of a first image from the first imaging unit when it is detected based on the second image that the driver is looking aside while input from the first imaging unit is stopped, and determining whether or not the first image includes a detection target or a driver's posture that is to be detected;
  • a monitoring program having

Landscapes

  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

車両の運転者やその周辺を撮像するカメラ（１）と、撮像範囲が狭く運転者の顔の特徴を撮像するカメラ（２）と、これらの撮像タイミングを制御する制御部と、取得した画像から、運転者が運転と無関係な動作を行っているか否かを判定する判定部とを含む。判定部は、カメラ（１）からの入力を停止した状態で、カメラ（２）から入力された画像に基づき運転者の脇見を検出した場合には、カメラ（１）の画像の取得を開始し、カメラ（１）の画像に検出対象物又は検出対象となる運転者の姿勢が含まれているか否かを判定する。

Description

運転者監視装置および監視プログラム
　本発明は、運転者監視装置および監視プログラムに関する。
　近年では、例えば道路交通法の改正に伴って、車両の運転者に新たな義務が科されたり、車両に搭載しなければならない新たな装置が増える状況にある。例えば、車両の自動運転中は運転者に安全運転義務が科されるため、車両上のシステムが運転者の運転状況を正しく把握して運転者の安全運転を支援したり、安全運転の実際の状況を正しく記録する必要性が高まる。
　例えば、特許文献１は、カメラの撮像範囲外の危険運転要素を検知可能とする運転者モニタ装置を開示している。具体的には、運転者の顔部の輝度分布から顔の向きなどを判断してわき見運転などを検出したり、瞳部の位置や瞳部の動きなどからわき見運転や居眠り運転等を判断することを示している。また、顔部の瞳や眼鏡部（メガネ）に映り込んだスマートフォンなどを検知することを示している。
日本国特開２０２１－４３６３７号公報
　運転中の運転者の状況を車載システムがモニタリングする場合には、基本的な機能として居眠り運転、わき見運転、異常な姿勢などを検知可能であることが必要とされる。したがって、車載システムは運転者の目や顔の細部まで情報をしっかりと把握する必要がある。また、例えば運転者がスマートフォンを操作しながらのながら運転を行っている場合のような危険な運転状況を検出する機能も車載システムに必要とされる。
　しかしながら、上記のような機能を実現するためには、実際の運転状況とは無関係に、運転席に着座している運転者の体を含む広い範囲を死角が発生し難い場所から解像度の高いカメラで常時撮影すると共に、撮影した画像を常時データ処理して細部まで状態を監視しなければならない。そのため、画像データの処理などを実施する処理装置の負荷が大きくなり、消費電力の増大や発熱量の増大が懸念される。
　また、処理装置の負荷が大きくなるため、処理装置のリソースの大部分を常時消費する状態になり、運転者を監視する以外の別の用途では処理装置のリソースを使えない状況が想定される。したがって、既存の処理装置に新たな機能を追加するような設計変更も困難になる。
　本発明は、上述した事情に鑑みてなされたものであり、その目的は、様々な状況について運転者の適切な監視を可能にすると共に、画像等のデータを処理する処理装置の負荷を低減することが可能な運転者監視装置および監視プログラムを提供することにある。
　本発明に係る上記目的は、下記構成により達成される。
　車両の運転者およびその周辺を撮像可能な第１の撮像部と、
　前記第１の撮像部よりも撮像範囲が狭く前記運転者の顔に現れる特徴を撮像可能な第２の撮像部と、
　前記第１の撮像部および前記第２の撮像部の撮像タイミングを制御する制御部と、
　前記第１の撮像部および前記第２の撮像部から取得した画像から、少なくとも前記運転者が運転操作と無関係な動作を行っているか否かを判定する判定部と、
　を備え、前記判定部は、前記第１の撮像部からの入力を停止した状態で、前記第２の撮像部から入力された画像に基づき運転者が脇見をしていることを検出した場合には、前記制御部を制御して前記第１の撮像部からの画像の取得を開始し、前記第１の撮像部から取得した画像に検出対象物又は検出対象となる運転者の姿勢が含まれているか否かを判定する、
　運転者監視装置。
　車両の運転者およびその周辺を撮像可能な第１の撮像部と、前記第１の撮像部よりも撮像範囲が狭く前記運転者の顔に現れる特徴を撮像可能な第２の撮像部と、前記第１の撮像部および前記第２の撮像部の撮像タイミングを制御する制御部と、前記第１の撮像部および前記第２の撮像部から取得した画像から、少なくとも前記運転者が運転操作と無関係な動作を行っているか否かを判定する判定部とを含む監視装置のコンピュータが実行可能な監視プログラムであって、
　前記第２の撮像部から入力された第２画像に基づき運転者が脇見をしていることを検出する手順と、
　前記第１の撮像部からの入力を停止した状態で、前記第２画像に基づき運転者が脇見をしていることを検出した時に、前記第１の撮像部からの第１画像の取得を開始して、前記第１画像に検出対象物又は検出対象となる運転者の姿勢が含まれているか否かを判定する手順と、
　を有する監視プログラム。
　本発明の運転者監視装置および監視プログラムによれば、様々な状況について運転者の適切な監視を可能にすると共に、画像等のデータを処理する処理装置の負荷を低減することが可能になる。
　以上、本発明について簡潔に説明した。更に、以下に説明される発明を実施するための形態（以下、「実施形態」という。）を添付の図面を参照して通読することにより、本発明の詳細は更に明確化されるであろう。
図１は、本発明の実施形態における運転者監視装置の構成概要を示すブロック図である。 図２は、２つのカメラでそれぞれ撮影した２種類の撮影画像の例を示す正面図である。 図３は、図１の運転者監視装置に搭載された主要な機能の構成を示すブロック図である。 図４は、メイン制御部の動作例を示すフローチャートである。 図５は、図１の運転者監視装置における動作タイミングの例－１を示すタイムチャートである。 図６は、図１の運転者監視装置における動作タイミングの例－２を示すタイムチャートである。 図７は、図１の運転者監視装置における動作タイミングの例－３を示すタイムチャートである。
　本発明に関する具体的な実施形態について、各図を参照しながら以下に説明する。
　図１は、本発明の実施形態における運転者監視装置１００の構成概要を示すブロック図である。
　図１に示した運転者監視装置１００は、第１カメラ（カメラ１）１０Ａ、第２カメラ（カメラ２）１０Ｂ、及びメイン制御部２０を備えている。
　第１カメラ１０Ａは、図１中の撮影範囲Ａ１の像を撮影できるように設置位置や画角が事前に調整されている。すなわち、第１カメラ１０Ａは、運転席に着座している状態の運転者５０の顔や、体の上半身、腕、手などの比較的広い範囲を撮影できる。
　例えば、第１カメラ１０Ａは、車両の車室内におけるオーバーヘッドモジュール、ルームミラー、インパネセンター部、ピラー、メータフード、メータ内部、ステアリングコラムなどのいずれかの部位に設置される。
　撮影範囲Ａ１の中には、車両のハンドル（ステアリングホイール）５１や、シートベルト５２などの車載装備品が存在する領域も含まれる。
　第２カメラ１０Ｂは、図１中の撮影範囲Ａ２の像を撮影できるように設置位置や画角が事前に調整してある。すなわち、運転席に着座している状態の運転者５０の顔の部位の詳細な情報を撮影できるように、第１カメラ１０Ａと比べて比較的狭い範囲内だけを第２カメラ１０Ｂで撮影できる。
　第２カメラ１０Ｂの設置位置は、第１カメラ１０Ａと同様の場所でも良いが、視線などの情報をより取得しやすいように運転者５０の正面側から撮影できる位置に配置することが望ましい。
　メイン制御部２０は、第１カメラ１０Ａ及び第２カメラ１０Ｂが撮影した画像に基づいて運転者の状況を監視する機能を有する電子制御ユニット（ＥＣＵ）である。メイン制御部２０は、第１カメラ１０Ａ及び第２カメラ１０Ｂのそれぞれについて、撮影するタイミング、画像データを取得するタイミング、露光量、ゲインなどを制御できる。メイン制御部２０は、第１カメラ１０Ａ及び第２カメラ１０Ｂの少なくとも一方から取得した画像データを処理して運転の状況を表す情報を取得し、その結果の情報を自動的に記録し保存したり、安全な運転を支援するために警報の出力等を状況に応じて実施する。
＜撮影画像の例＞
　第１カメラ１０Ａ及び第２カメラ１０Ｂでそれぞれ撮影した２種類の撮影画像ｉ１、ｉ２の具体例を図２に示す。
　図２に示した撮影画像ｉ１の中には、運転者５０の体の上半身、両手、両腕など運転状況を把握するのに十分な情報が現れている。また、図２に示した撮影画像ｉ２の中には、運転者５０の顔全体や頭部を含む情報が拡大された状態で現れている。
　したがって、例えば撮影画像ｉ２のような画像のデータをメイン制御部２０で分析することで、運転者５０の顔の向きや、目の視線の方向を検知すると共に、その変化を監視することが可能になる。また、撮影画像ｉ１のような画像のデータをメイン制御部２０で分析することで、運転者５０がハンドルを保持している状況を検知したり、運転者５０が手に持つ可能性のある携帯端末（スマートフォンなど）を検知することも可能になる。
＜主要な機能構成＞
　図３は、図１の運転者監視装置１００に搭載された主要な機能の構成を示すブロック図である。
　図３に示したメイン制御部２０の各機能は、例えばメイン制御部２０に組み込まれているマイクロコンピュータ（図示せず）を主体とする電子回路のハードウェアの動作と、このマイクロコンピュータが実行するプログラムとで実現される。
　メイン制御部２０は、特徴検出機能２１、２２、タイミング制御機能２３、監視機能部２４、警報機能２５、及び履歴情報記録機能２６を備えている。また、監視機能部２４は脇見検出機能２４ａ、居眠り検出機能２４ｂ、姿勢崩れ検出機能２４ｃ、行為検出機能２４ｄ、姿勢検出機能２４ｅ、シートベルト検出機能２４ｆ、及びハンドル保持検出機能２４ｇを含んでいる。
　特徴検出機能２１は、第１カメラ１０Ａから取得した画像データを画像処理することで、運転者５０の上半身の各部や手の領域の様々な特徴を検知する。また、特徴検出機能２２は第２カメラ１０Ｂから取得した画像データを画像処理することで、運転者５０の顔領域の様々な特徴を検知する。
　タイミング制御機能２３は、特徴検出機能２１及び２２のそれぞれの検出状態などに基づいて、第１カメラ１０Ａ及び第２カメラ１０Ｂのそれぞれが撮影（照明光の制御を含む）を実施するタイミングや、第１カメラ１０Ａ及び第２カメラ１０Ｂのそれぞれが撮影した画像データをメイン制御部２０に送出するタイミング（或いはメイン制御部２０が画像を要求するタイミング）などを制御する。
　監視機能部２４は、車両において必要とされる様々な監視対象項目のそれぞれについて、現在の状態を検知する。
　脇見検出機能２４ａは、運転者５０の顔の情報に基づいて、運転と無関係な方向を向いた状態のままで運転していないかどうかを検出する機能を有する。
　居眠り検出機能２４ｂは、運転者５０の顔の情報に基づいて、運転者５０が瞼を閉じたり居眠り状態のままで運転していないかどうかを検出する機能を有する。
　姿勢崩れ検出機能２４ｃは、運転者５０の体の上半身などの情報に基づいて、運転者５０が通常の運転姿勢とは異なる異常な姿勢のままで運転していないかどうかを検出する機能を有する。
　行為検出機能２４ｄは、運転者５０の体の上半身などの情報に基づいて、運転者５０が例えばスマートフォンの操作のように、危険なながら運転の行為をしていないかどうかを検出する機能を有する。
　姿勢検出機能２４ｅは、例えば運転者５０の体全体の姿勢、顔の水平方向および前後方向の向き、視線の方向、上体の傾きなどの情報を検出する機能を有する。
　シートベルト検出機能２４ｆは、運転者５０がシートベルトを着用しているか否かを検出する機能を有する。
　ハンドル保持検出機能２４ｇは、運転者５０が運転可能な状態でハンドルを保持しているか否かを検出する機能を有する。
　警報機能２５は、運転者５０の運転状態について監視機能部２４のいずれかの機能が警告すべき状況を検知した場合に、例えば音声出力や警報音の出力により異常があることを報知して運転者の安全運転を支援する機能を有する。
　履歴情報記録機能２６は、運転者５０の運転状態について監視機能部２４のそれぞれの機能が検知した情報を、例えば現在日時や自車両の現在位置の情報と対応付けた状態で履歴情報として所定の不揮発性記録媒体に記録し保存する。
＜メイン制御部の動作＞
　メイン制御部２０の動作例を図４に示す。すなわち、メイン制御部２０のコンピュータは車両のドライバーモニタリングシステム(DMS：Driver Monitoring System)が起動すると図４の動作を開始する。図４に示した動作について以下に説明する。
　メイン制御部２０は、第１カメラ１０Ａ及び第２カメラ１０Ｂのそれぞれの初期化処理として、各カメラの露光量（Exposure）や映像処理回路のゲインが適切になるように自動調整してその状態を示す情報を記録する（Ｓ１１）。初期状態では、各カメラの照明は消灯する。
　本実施形態では、メイン制御部２０は、通常時は第２カメラ１０Ｂの撮影した画像だけを処理して運転者５０を監視する。そのため、最初は第２カメラ１０Ｂ側に内蔵又は付属しているＬＥＤ照明だけの点灯を開始する（Ｓ１２）。また、第２カメラ１０Ｂが撮影した画像の明るさを検出し、一定時間の間に発生した明るさの変動量を記録する。なお、夜間でもカメラの撮影ができるようにＬＥＤ照明の発光波長は近赤外域とする。
　メイン制御部２０は、第２カメラ１０Ｂの撮影で得られた画像データを定期的に取得して特徴検出機能２２により処理し、運転者５０の顔位置の検出処理を周期的に繰り返し実行する（Ｓ１３）。
　メイン制御部２０は、運転者（ドライバ）５０の顔位置を検出できた時間の長さを事前に定めた閾値時間と比較し（Ｓ１４）。顔位置を検出できた時間の長さが閾値時間以上であればＳ１６の処理に進む。また、Ｓ１４の条件を満たさない場合はＳ１７の処理に進み、メイン制御部２０は、運転者５０の顔が検出不可能な状態であることを表す情報を出力する。
　メイン制御部２０は、運転者５０の顔の向きと視線の方向の両者を事前に定めた特定の範囲と比較する（Ｓ１６）。この特定の範囲は、スマートフォンのような携帯端末の画面を運転者５０が注視する場合や、携帯端末を手で操作する場合や、携帯端末で通話などの動作を行う状況で想定される顔の向きおよび視線の方向の範囲に相当する。Ｓ１６の条件を満たす場合はＳ２４へ進む。
　メイン制御部２０は、Ｓ１６の条件を満たさない場合はＳ１８で停車中か否かを識別する。更に、停車中の場合はＳ１９に進み、運転者５０の顔の向き及び視線の方向の両者が事前に定めた閾値時間以上静止状態を継続しているか否かを識別する。また、停車中でない場合はＳ２０に進み、運転者５０の顔の向き及び視線の方向の両者が事前に定めた範囲外にある時間が閾値時間以上継続しているか否かを識別する。
　メイン制御部２０は、停車中、且つＳ１９の条件を満たす場合はＳ２１に進み、Ｓ１９の条件を満たさない場合はＳ１３に進む。また、停車中でなく、且つＳ２０の条件を満たす場合はＳ２１に進み、Ｓ１９の条件を満たさない場合はＳ１３に進む。
　メイン制御部２０は、Ｓ２１で運転者の脇見警報を出力する。更に、所定の警報解除信号の有無をＳ２２で識別し、警報解除信号を検知した場合は次のＳ２３でＳ２１の警報を解除してからＳ１３に進む。警報解除信号を検知しない場合はＳ１８に進む。例えば、運転者による所定のボタン操作などにより脇見の警報解除信号を発生することができる。
　一方、Ｓ１６の条件を満たした場合は、第１カメラ１０Ａの撮影を開始できるように、メイン制御部２０はＳ２４で第１カメラ１０Ａ側に内蔵又は付属しているＬＥＤ照明の点灯を開始する。また、メイン制御部２０はＳ１２で検知した第２カメラ１０Ｂの明るさ変動量を第１カメラ１０Ａにおける露光量やゲインの設定値に反映する。
　メイン制御部２０は、第１カメラ１０Ａの撮影で得られた画像データを定期的に取得して特徴検出機能２１により処理し、運転者５０が手に持っている可能性のあるスマートフォン（スマホ）などの携帯端末の検出処理を周期的に繰り返し実行する（Ｓ２５）。
　例えば、処理対象の画像中で運転者５０の手の位置を検知して追跡し、その近傍の矩形領域内でスマートフォンと同等の輪郭形状などを検知した場合に、スマートフォンを検出したとみなすことができる。あるいは、運転者５０が通話をしている場合のように運転者５０の顔の側方に手があり、その近傍の矩形領域内でスマートフォンと同等の輪郭形状などを検知した場合に、スマートフォンを検出したとみなすこともできる。
　第１カメラ１０Ａの画像に基づいてスマートフォンを検知した場合には、メイン制御部２０はＳ２７でスマートフォン操作に関するながら運転の警告を発生する。更に、停車中か否かをＳ２９で識別し、停車中でなければＳ２５に戻り、停車中の場合はながら運転の警告を解除する（Ｓ３０）。
　一方、Ｓ２６でスマートフォンを検知しなかった場合には、メイン制御部２０はＳ２８に進む。そして、運転者５０の顔の向き及び視線の方向の両者が一定の状態に保持されているか否かを識別し、一定であればＳ２５の処理に戻り、変化がある場合はＳ１８の処理に進む。
　なお、メイン制御部２０が図４のＳ２４～Ｓ３０の処理を実行しているときには、第２カメラ１０Ｂの撮影した画像データは不要であるので、一時的に第２カメラ１０Ｂの照明を消灯し、第２カメラ１０Ｂの撮影動作や画像データの送信を停止するように処理の内容を変更してもよい。
＜装置の動作タイミング＞
＜例－１＞
　図１の運転者監視装置１００における動作タイミングの例－１を図５に示す。図５に示した動作について以下に説明する。
　図５に示した動作においては、運転者監視装置１００は通常は第２カメラ１０Ｂだけを用いて一定の周期で、すなわち図５中の各時刻ｔ１、ｔ２、ｔ３、ｔ４・・・で繰り返し撮像を行い、その都度画像を処理して運転者５０の運転状態を認識する。
　そして、図５中に示した運転者５０Ａのように指定範囲の脇見の状態を検知した状態が一定時間以上継続（時刻ｔ６～ｔ９の範囲）すると、メイン制御部２０はながら運転の可能性があるとみなし、スマートフォンを検知するための処理を開始する。すなわち、第１カメラ１０Ａでの撮影を時刻ｔ１０Ａから開始して、一定時間毎の時刻ｔ１１Ａ、ｔ１２Ａ、・・・で撮影を繰り返す。
　そして、各時刻ｔ１０Ａ、ｔ１１Ａ、ｔ１２Ａ、・・・で第１カメラ１０Ａが撮影した画像に基づき、メイン制御部２０は図５中の運転者５０Ｂのように手の近傍の矩形領域を抽出し、この中にスマートフォンが存在するか否かを検知する（図４中のＳ２５、Ｓ２６に相当）。
　なお、図５に示した動作においては、第２カメラ１０Ｂが撮影する時刻ｔ１０、ｔ１１、ｔ１２、・・・と、第１カメラ１０Ａが撮影する時刻ｔ１１Ａ、ｔ１２Ａ、・・・とは非同期で互いにタイミングが重ならないようにずれている。
＜例－２＞
　図１の運転者監視装置１００における動作タイミングの例－２を図６に示す。図６に示した動作について以下に説明する。
　図６に示した動作においては、運転者監視装置１００は通常は第２カメラ１０Ｂだけを用いて一定の周期で、すなわち図６中の各時刻ｔ１、ｔ２、ｔ３、・・・で繰り返し撮像を行うが、第２カメラ１０Ｂが撮影しないタイミング（時刻ｔ５、ｔ１０、・・・）が予め定めてある。
　メイン制御部２０は、各時刻ｔ１、ｔ２、ｔ３、・・・で第２カメラ１０Ｂが撮影した画像をその都度処理して運転者５０の運転状態を認識する。
　そして、図６中に示した運転者５０Ａのように指定範囲の脇見の状態を検知した状態が一定時間以上継続（時刻ｔ６～ｔ９の範囲）すると、メイン制御部２０はながら運転の可能性があるとみなし、スマートフォンを検知するための処理を行う。すなわち、第１カメラ１０Ａでの撮影を時刻ｔ１０で行い、この第１カメラ１０Ａが撮影した画像に基づき、メイン制御部２０は図６中の運転者５０Ｂのように手の近傍の矩形領域を抽出し、この中にスマートフォンが存在するか否かを検知する（図４中のＳ２５、Ｓ２６に相当）。
＜例－３＞
　図１の運転者監視装置１００における動作タイミングの例－３を図７に示す。図７に示した動作について以下に説明する。
　図７に示した動作においては、運転者監視装置１００は通常は第２カメラ１０Ｂだけを用いて一定の周期で、すなわち図７中の各時刻ｔ１、ｔ２、ｔ３、・・・で繰り返し撮像を行うが、第２カメラ１０Ｂが撮影しないタイミング（時刻ｔ５、ｔ１０、・・・）が予め定めてある。
　メイン制御部２０は、各時刻ｔ１、ｔ２、ｔ３、・・・で第２カメラ１０Ｂが撮影した画像をその都度処理して運転者５０の運転状態を認識する。
　そして、図７中に示した運転者５０Ａのように指定範囲の脇見の状態を検知した状態が一定時間以上継続（時刻ｔ６～ｔ９の範囲）すると、メイン制御部２０はながら運転の可能性があるとみなし、スマートフォンを検知するための処理を開始する。すなわち、第１カメラ１０Ａでの撮影を時刻ｔ１０から開始して、それから一定時間毎の事前に定めた各時刻ｔ１０、ｔ１１、ｔ１２、・・・で撮影を繰り返す。
　また、第１カメラ１０Ａの撮影と第２カメラ１０Ｂの撮影とのタイミングが重ならないように、第１カメラ１０Ａが撮影を開始した後のタイミング（ｔ１１、ｔ１２、・・・）では第２カメラ１０Ｂの撮影を停止する。
　メイン制御部２０は、各時刻ｔ１０、ｔ１１、ｔ１２、・・・で第１カメラ１０Ａが撮影した画像に基づき、図７中の運転者５０Ｂのように手の近傍の矩形領域を抽出し、この中にスマートフォンが存在するか否かを検知する（図４中のＳ２５、Ｓ２６に相当）。
　以上のように、本実施形態の運転者監視装置１００は、通常時は図５～図７中の各時刻ｔ１～ｔ９のように第２カメラ１０Ｂの画像だけをメイン制御部２０が処理するので、メイン制御部２０における処理の負荷を減らすことができる。特に、第２カメラ１０Ｂは撮影範囲が狭いので、解像度の低い画像でも顔の向きや視線の方向を十分に検出可能であり、処理の負荷を減らすのに効果的である。また、運転者５０の脇見を検知した時には、第１カメラ１０Ａを用いて広い範囲を撮影した画像を処理対象とするので、運転者５０が手に持っているスマートフォンなどを検知することが容易になり、ながら運転の状況を正しく検知できる。また、図５～図７に示すように第１カメラ１０Ａの画像を処理するタイミングでは第２カメラ１０Ｂの撮影や処理を中止することで、メイン制御部２０の処理の負荷を減らすことができる。
　なお、本発明は、上述した実施形態に限定されるものではなく、適宜、変形、改良、等が可能である。その他、上述した実施形態における各構成要素の材質、形状、寸法、数、配置箇所、等は本発明を達成できるものであれば任意であり、限定されない。
　ここで、上述した本発明の実施形態に係る運転者監視装置および監視プログラムの特徴をそれぞれ以下［１］～［５］に簡潔に纏めて列記する。
［１］　車両の運転者およびその周辺を撮像可能な第１の撮像部（第１カメラ１０Ａ）と、
　前記第１の撮像部よりも撮像範囲が狭く前記運転者の顔に現れる特徴を撮像可能な第２の撮像部（第２カメラ１０Ｂ）と、
　前記第１の撮像部および前記第２の撮像部の撮像タイミングを制御する制御部（メイン制御部２０、タイミング制御機能２３）と、
　前記第１の撮像部および前記第２の撮像部から取得した画像から、前記運転者が運転操作と無関係な動作を行っているか否かを判定する判定部（メイン制御部２０、行為検出機能２４ｄ）と、
　を備え、前記判定部は、前記第１の撮像部からの入力を停止した状態で、前記第２の撮像部から入力された画像に基づき運転者が脇見をしていることを検出した場合には、前記制御部を制御して前記第１の撮像部からの画像の取得を開始し（Ｓ２４、Ｓ２５）、前記第１の撮像部から取得した画像に検出対象物又は検出対象となる運転者の姿勢が含まれているか否かを判定する（Ｓ２６）、
　運転者監視装置（１００）。
　上記［１］の構成の運転者監視装置によれば、車両を運転する運転者によるながら運転のような状況を容易に検出できる。すなわち、撮像範囲が狭い第２の撮像部の画像を処理することで、脇見運転の状況を容易に検出できる。また、脇見運転の状況で第１の撮像部の画像を処理することで、運転者が操作しているスマートフォンを検出したり、スマートフォンの画面を注視している運転者の姿勢を検出することが可能になる。つまり、脇見運転の状況におけるスマートフォンの操作のようなながら運転を識別できる。しかも、第１の撮像部および第２の撮像部の撮像タイミングや処理のタイミングを適切に調整することで処理にかかる負荷を大幅に低減できる。これにより、制御装置の発熱や消費電力の増大を抑制でき、制御装置のリソース消費も抑制できる。
［２］　前記判定部は、前記第１の撮像部の撮像した画像に基づいて、運転者近傍の領域に存在する携帯端末を検出する（Ｓ２４～Ｓ２６）、
　上記［１］に記載の運転者監視装置。
　上記［２］の構成の運転者監視装置によれば、比較的広い範囲を撮影する前記第１の撮像部の撮像した画像に基づいて携帯端末を検出するので、運転者が自分の顔から大きく離れた場所にある携帯端末を手で持って操作しているような場合でも、ながら運転を容易に検出できる。
［３］　前記判定部は、前記第２の撮像部の撮像した画像に基づいて、運転者の顔の向きおよび視線の方向の少なくとも一方を検出する（Ｓ１２～Ｓ１６）、
　上記［１］又は［２］に記載の運転者監視装置。
　上記［３］の構成の運転者監視装置によれば、運転者の顔の向き又は視線の方向を検出するので、運転者の脇見運転の状況や、携帯端末の画面等を視ている状況などを検知することが可能になる。
［４］　前記判定部は、前記第２の撮像部の撮像した画像に基づいて、運転者の顔の向きおよび視線の方向の少なくとも一方を検出する（Ｓ１２～Ｓ１６）と共に、検出した顔の向き又は視線の方向が一定時間以上脇見の条件の範囲内であった場合に脇見と判定する（Ｓ１６、Ｓ２４）、
　上記［１］に記載の運転者監視装置。
　上記［４］の構成の運転者監視装置によれば、運転者の顔の向き又は視線の方向を検出すると共に、同じ状態が継続する時間の長さを識別するので、運転者の脇見運転の状況や、携帯端末の画面等を注視している状況などをより正確に検知することが可能になる。
［５］　車両の運転者およびその周辺を撮像可能な第１の撮像部と、前記第１の撮像部よりも撮像範囲が狭く前記運転者の顔に現れる特徴を撮像可能な第２の撮像部と、前記第１の撮像部および前記第２の撮像部の撮像タイミングを制御する制御部と、前記第１の撮像部および前記第２の撮像部から取得した画像から、前記運転者が運転操作と無関係な動作を行っているか否かを判定する判定部とを含む監視装置のコンピュータ（メイン制御部２０）が実行可能な監視プログラムであって、
　前記第２の撮像部から入力された第２画像に基づき運転者が脇見をしていることを検出する手順（Ｓ１２～Ｓ１６）と、
　前記第１の撮像部からの入力を停止した状態で、前記第２画像に基づき運転者が脇見をしていることを検出した時に、前記第１の撮像部からの第１画像の取得を開始して、前記第１画像に検出対象物又は検出対象となる運転者の姿勢が含まれているか否かを判定する手順（Ｓ２４～Ｓ２６）と、
　を有する監視プログラム。
　上記［５］の手順の監視プログラムを所定のコンピュータで実行することで、車両を運転する運転者によるながら運転のような状況を容易に検出できる。すなわち、撮像範囲が狭い第２の撮像部の画像を処理することで、脇見運転の状況を容易に検出できる。また、脇見運転の状況で第１の撮像部の画像を処理することで、運転者が操作しているスマートフォンを検出したり、スマートフォンの画面を注視している運転者の姿勢を検出することが可能になる。つまり、脇見運転の状況におけるスマートフォンの操作のようなながら運転を識別できる。しかも、第１の撮像部および第２の撮像部の撮像タイミングや処理のタイミングを適切に調整することで処理にかかる負荷を大幅に低減できる。これにより、制御装置の発熱や消費電力の増大を抑制でき、制御装置のリソース消費も抑制できる。
　なお、本出願は、２０２２年１２月１９日出願の日本特許出願（特願２０２２－２０２２８０）に基づくものであり、その内容は本出願の中に参照として援用される。
　１０Ａ　第１カメラ
　１０Ｂ　第２カメラ
　２０　メイン制御部
　２１，２２　特徴検出機能
　２３　タイミング制御機能
　２４　監視機能部
　２４ａ　脇見検出機能
　２４ｂ　居眠り検出機能
　２４ｃ　姿勢崩れ検出機能
　２４ｄ　行為検出機能
　２４ｅ　姿勢検出機能
　２４ｆ　シートベルト検出機能
　２４ｇ　ハンドル保持検出機能
　２５　警報機能
　２６　履歴情報記録機能
　５０，５０Ａ，５０Ｂ　運転者
　５１　ハンドル
　５２　シートベルト
　１００　運転者監視装置
　Ａ１，Ａ２　撮影範囲
　ｉ１，ｉ２　撮影画像

Claims (5)

  1. 　車両の運転者およびその周辺を撮像可能な第１の撮像部と、
    　前記第１の撮像部よりも撮像範囲が狭く前記運転者の顔に現れる特徴を撮像可能な第２の撮像部と、
    　前記第１の撮像部および前記第２の撮像部の撮像タイミングを制御する制御部と、
    　前記第１の撮像部および前記第２の撮像部から取得した画像から、前記運転者が運転操作と無関係な動作を行っているか否かを判定する判定部と、
    　を備え、前記判定部は、前記第１の撮像部からの入力を停止した状態で、前記第２の撮像部から入力された画像に基づき運転者が脇見をしていることを検出した場合には、前記制御部を制御して前記第１の撮像部からの画像の取得を開始し、前記第１の撮像部から取得した画像に検出対象物又は検出対象となる運転者の姿勢が含まれているか否かを判定する、
    　運転者監視装置。
  2. 　前記判定部は、前記第１の撮像部の撮像した画像に基づいて、運転者近傍の領域に存在する携帯端末を検出する、
    　請求項１に記載の運転者監視装置。
  3. 　前記判定部は、前記第２の撮像部の撮像した画像に基づいて、運転者の顔の向きおよび視線の方向の少なくとも一方を検出する、
    　請求項１に記載の運転者監視装置。
  4. 　前記判定部は、前記第２の撮像部の撮像した画像に基づいて、運転者の顔の向きおよび視線の方向の少なくとも一方を検出すると共に、検出した顔の向き又は視線の方向が一定時間以上脇見の条件の範囲内であった場合に脇見と判定する、
    　請求項１に記載の運転者監視装置。
  5. 　車両の運転者およびその周辺を撮像可能な第１の撮像部と、前記第１の撮像部よりも撮像範囲が狭く前記運転者の顔に現れる特徴を撮像可能な第２の撮像部と、前記第１の撮像部および前記第２の撮像部の撮像タイミングを制御する制御部と、前記第１の撮像部および前記第２の撮像部から取得した画像から、前記運転者が運転操作と無関係な動作を行っているか否かを判定する判定部とを含む監視装置のコンピュータが実行可能な監視プログラムであって、
    　前記第２の撮像部から入力された第２画像に基づき運転者が脇見をしていることを検出する手順と、
    　前記第１の撮像部からの入力を停止した状態で、前記第２画像に基づき運転者が脇見をしていることを検出した時に、前記第１の撮像部からの第１画像の取得を開始して、前記第１画像に検出対象物又は検出対象となる運転者の姿勢が含まれているか否かを判定する手順と、
    　を有する監視プログラム。
PCT/JP2023/044729 2022-12-19 2023-12-13 運転者監視装置および監視プログラム WO2024135503A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022202280A JP2024087452A (ja) 2022-12-19 2022-12-19 運転者監視装置および監視プログラム
JP2022-202280 2022-12-19

Publications (1)

Publication Number Publication Date
WO2024135503A1 true WO2024135503A1 (ja) 2024-06-27

Family

ID=91588776

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/044729 WO2024135503A1 (ja) 2022-12-19 2023-12-13 運転者監視装置および監視プログラム

Country Status (2)

Country Link
JP (1) JP2024087452A (ja)
WO (1) WO2024135503A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014225099A (ja) * 2013-05-15 2014-12-04 本田技研工業株式会社 運転支援装置および運転支援方法
JP2018103670A (ja) * 2016-12-22 2018-07-05 株式会社デンソー 運転交代制御装置、及び運転交代制御方法
US20200327345A1 (en) * 2019-04-12 2020-10-15 Stoneridge Electronics, AB Mobile device usage monitoring for commercial vehicle fleet management

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014225099A (ja) * 2013-05-15 2014-12-04 本田技研工業株式会社 運転支援装置および運転支援方法
JP2018103670A (ja) * 2016-12-22 2018-07-05 株式会社デンソー 運転交代制御装置、及び運転交代制御方法
US20200327345A1 (en) * 2019-04-12 2020-10-15 Stoneridge Electronics, AB Mobile device usage monitoring for commercial vehicle fleet management

Also Published As

Publication number Publication date
JP2024087452A (ja) 2024-07-01

Similar Documents

Publication Publication Date Title
US20190253603A1 (en) Image-capture device state monitoring device, image-capture device state monitoring method, and program
JP4497305B2 (ja) 運転者状態判定装置
JP5233322B2 (ja) 情報処理装置および方法、並びに、プログラム
JP2006224873A (ja) 車両周辺監視装置
JP5082834B2 (ja) 脇見検出装置および方法、並びに、プログラム
EP2549751A1 (en) Device for monitoring surroundings of vehicle and method for monitoring surroundings of vehicle
JP2016103249A (ja) 運転支援装置および運転支援方法
JP2006193057A (ja) 車両監視ユニットおよびルームミラー装置
JP2020157938A (ja) 車載監視制御装置
JP2018022958A (ja) 車両用表示制御装置及び車両用モニタシステム
US10525981B2 (en) Driver condition detection system
WO2024135503A1 (ja) 運転者監視装置および監視プログラム
JP2013103530A (ja) 状態監視装置
JP2009159568A (ja) 異常検出装置および方法、並びに、プログラム
US20060203091A1 (en) Switching on/off concept for an automobile night vision system
JP2017061216A (ja) 車載撮像システム、車両および撮像方法
WO2024122309A1 (ja) 運転者監視装置および監視プログラム
JP2022143854A (ja) 乗員状態判定装置および乗員状態判定方法
JP2022138812A (ja) 車両の運転者状態判定装置
JPH11304428A (ja) 運転者監視装置及び自動車運転支援システム
US20190289185A1 (en) Occupant monitoring apparatus
JPH06255388A (ja) 運転状態検出装置
KR102497614B1 (ko) 적응형 범용 감시 시스템 및 그 구동방법
JP2006131070A (ja) 車両周辺撮像装置
JP2024053194A (ja) 異常判定方法、異常判定プログラム、及び乗員監視装置