WO2018167996A1 - 運転者状態推定装置、及び運転者状態推定方法 - Google Patents

運転者状態推定装置、及び運転者状態推定方法 Download PDF

Info

Publication number
WO2018167996A1
WO2018167996A1 PCT/JP2017/027245 JP2017027245W WO2018167996A1 WO 2018167996 A1 WO2018167996 A1 WO 2018167996A1 JP 2017027245 W JP2017027245 W JP 2017027245W WO 2018167996 A1 WO2018167996 A1 WO 2018167996A1
Authority
WO
WIPO (PCT)
Prior art keywords
driver
head
distance
image
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2017/027245
Other languages
English (en)
French (fr)
Inventor
匡史 日向
正樹 諏訪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Omron Tateisi Electronics Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp, Omron Tateisi Electronics Co filed Critical Omron Corp
Priority to CN201780084001.0A priority Critical patent/CN110199318B/zh
Priority to DE112017007243.3T priority patent/DE112017007243T5/de
Priority to US16/481,846 priority patent/US20200065595A1/en
Publication of WO2018167996A1 publication Critical patent/WO2018167996A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/529—Depth or shape recovery from texture
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/571—Depth or shape recovery from multiple images from focus
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B60W2040/0827—Inactivity or incapacity of driver due to sleepiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior

Definitions

  • the present invention relates to a driver state estimation device and a driver state estimation method, and more specifically, a driver state estimation device and a driver state estimation that can estimate a driver's state using a captured image. Regarding the method.
  • Patent Document 1 discloses a technique for detecting a driver's face area in an image captured by a vehicle interior camera and estimating the driver's head position based on the detected face area.
  • the specific method for estimating the driver's head position first detects the angle of the head position relative to the vehicle interior camera.
  • the method of detecting the angle of the head position includes detecting a center position of the face area on the image, and using the detected center position of the face area as a head position, the head position straight line passing through the center position of the face area And the angle of the head position straight line (the angle of the head position with respect to the vehicle interior camera) is determined.
  • the method for detecting the head position on the head position straight line stores the standard size of the face area when it is at a predetermined distance from the in-vehicle camera, and the standard size and the size of the actually detected face area. And the distance from the vehicle interior camera to the head position is obtained. A position on the straight line of the head position that is away from the vehicle interior camera by the determined distance is estimated as the head position.
  • the head position on the image is detected with the center position of the face area as a reference, but the center position of the face area changes depending on the orientation of the face. Therefore, even if the head position is the same, the center position of the face area detected on the image is detected at a different position from the difference in face orientation. For this reason, the head position on the image is detected at a position different from the head position in the real world, and there is a problem that the distance to the head position in the real world cannot be accurately estimated.
  • Pentland “A new sense for depth of field”, IEEE Transaction on Pattern Analysis and Machine Intelligence, 9, 4, pp.523-531 (1987). S.Zhou, T.Sim, “Defocus Map Estimation from a Single Image,” Pattern Recognition, Vol.44, No.9, pp.1852-1858, (2011). YOAV Y. SCHECHNER, NAHUM KIRYATI, “Depth from Defocus vs. Stereo: How Different Really Are They?” International Journal of Computer Vision 39 (2), 141-162, (2000).
  • the present invention has been made in view of the above problems, and can estimate the distance to the driver's head without detecting the center position of the driver's face area in the image, and the estimated distance It is an object of the present invention to provide a driver state estimating device and a driver state estimating method that can be used for determining the state of the driver.
  • a driver state estimating device (1) is a driver state estimating device that estimates a driver's state using a captured image
  • An imaging unit capable of imaging a driver seated in the driver's seat;
  • the at least one hardware processor comprises: A head detection unit that detects a driver's head in the image captured by the imaging unit;
  • a blur amount detection unit for detecting a blur amount of the driver's head in the image detected by the head detection unit;
  • a distance estimation unit that estimates a distance from the head of the driver seated in the driver seat to the imaging unit using the blur amount detected by the blur amount detection unit. It is said.
  • the driver's head captured in the image is detected using the driver's image captured by the imaging unit, and the detected driving in the image is detected.
  • the amount of blur of the person's head is detected, and the distance from the head of the driver sitting on the driver's seat to the imaging unit is estimated using the amount of blur. Therefore, the distance can be estimated from the blur amount of the driver's head in the image without obtaining the center position of the face area in the image. Using the estimated distance, it is possible to estimate the state such as the position and orientation of the driver sitting on the driver seat.
  • the driver state estimating device (2) is the driver state estimating device (1), wherein the distance from the head of the driver seated on the driver seat to the imaging unit, and the imaging A table information storage unit that stores table information indicating a correlation with a blur amount of the driver image captured by the unit;
  • the distance estimation unit is The imaging unit from the head of the driver sitting in the driver's seat by comparing the blur amount detected by the blur amount detection unit with the table information read from the table information storage unit It is characterized in that the distance to is estimated.
  • the table information storage unit stores the blur amount of the driver image captured by the imaging unit and the distance from the driver's head to the imaging unit. Is stored in the driver's seat by comparing the blur amount detected by the blur amount detection unit with the table information read from the table information storage unit. The distance from the driver's head to the imaging unit is estimated. Therefore, by applying the amount of blur to the table information, it is possible to estimate the distance from the head of the driver sitting in the driver's seat to the imaging unit at high speed without imposing a load on the arithmetic processing. it can.
  • the distance estimation unit is detected from a plurality of images captured by the imaging unit.
  • the distance from the head of the driver seated in the driver's seat to the imaging unit is estimated in consideration of the change in the size of the driver's face area.
  • the driver state estimation device (3) by taking into account the change in the size of the driver's face area, the driver moves away from the focal position where the imaging unit is in focus in any direction. Therefore, it is possible to improve the estimation accuracy of the distance.
  • the driver state estimating device (4) is the driver state estimating device (1) to (3), wherein the at least one hardware processor includes: A driving operation availability determination unit that determines whether or not a driver seated in the driver's seat is capable of driving using the distance estimated by the distance estimation unit is provided. It is said.
  • the driver state estimation device (4) it is determined using the distance estimated by the distance estimation unit whether or not the driver seated in the driver's seat is capable of driving. The driver can be monitored appropriately.
  • the driver state estimating device (5) according to the present invention is the driver state estimating device (1) to (4) according to the present invention, wherein the imaging unit is located at a position of the driver seated on the driver seat. According to the present invention, it is possible to capture images with different degrees of blur on the driver's head in accordance with changes in posture.
  • the driver state estimation device (5) even in a limited space such as the driver's seat, it is possible to capture images with different blur conditions of the driver's head. The distance can be reliably estimated.
  • the driver state estimation method uses an apparatus including an imaging unit capable of imaging a driver seated in a driver's seat and at least one hardware processor.
  • a driver state estimating method for estimating a state of a driver seated in the driver seat, The at least one hardware processor comprises: A head detecting step for detecting a driver's head in the image captured by the imaging unit; A blur amount detecting step for detecting a blur amount of the driver's head in the image detected in the head detecting step; A distance estimation step of estimating a distance from the head of the driver sitting in the driver's seat to the imaging unit using the blur amount detected in the blur amount detection step. It is said.
  • the driver's head in the image is detected using the driver's image captured by the imaging unit, and the driver's head in the detected image is detected.
  • the amount of blur of the part is detected, and the distance from the head of the driver sitting in the driver's seat to the imaging unit is estimated using the amount of blur. Therefore, the distance can be estimated from the blur amount of the driver's head in the image without obtaining the center position of the face area in the image. Using the estimated distance, it is possible to estimate the state such as the position and orientation of the driver sitting on the driver seat.
  • FIG. 1 is a block diagram schematically showing a main part of an automatic driving system including a driver state estimating device according to an embodiment.
  • FIG. 2 is a block diagram illustrating a configuration of the driver state estimation apparatus according to the embodiment.
  • the automatic driving system 1 is a system for automatically driving a vehicle along a road, and includes a driver state estimating device 10, an HMI (Human (Machine Interface) 40, and an automatic driving control device 50. Each device is connected via a communication bus 60.
  • the communication bus 60 is also connected with various sensors and control devices (not shown) necessary for controlling automatic driving and manual driving by the driver.
  • the driver state estimation device 10 detects the state of the driver from the captured image, specifically, the amount of blur of the driver's head in the captured image, and the driver's head from the monocular camera 11. A process of estimating the distance to (face) from the amount of blur, a process of determining whether or not the driver is capable of driving based on the estimation result of the distance, and a process of outputting the determination result .
  • the driver state estimation device 10 includes a monocular camera 11, a CPU 12, a ROM 13, a RAM 14, a storage unit 15, and an input / output interface (I / F) 16, and these units are connected via a communication bus 17. Yes.
  • the monocular camera 11 may be configured as a separate camera unit from the apparatus main body.
  • the monocular camera 11 as an imaging unit is a monocular camera capable of periodically imaging an image including the head of the driver sitting in the driver's seat (for example, 30 to 60 times per second).
  • a lens system 11a composed of the above lenses, an image sensor 11b such as a CCD or CMOS that generates imaging data of a subject, an AD converter (not shown) that converts the imaging data into digital data, and irradiation with near infrared light It includes an infrared irradiator (not shown) such as a near infrared LED.
  • the lens system 11a of the monocular camera 11 is focused on the driver at any position within the movable range of the driver's seat, and the depth of field is shallow (the focused range is narrow).
  • a lens in which optical parameters such as a focal length of a lens and an aperture (F value) are set is used.
  • the depth of field is processed in the head detection unit 23 so as not to hinder the processing performance in the head detection unit 23 described later, that is, the performance of detecting the driver's head and facial organs from the image. It is preferable to set so as to be as shallow as possible within the permissible blur range of performance.
  • the CPU 12 is a hardware processor, reads a program stored in the ROM 13, and performs various processes of image data captured by the monocular camera 11 based on the program.
  • a plurality of CPUs 12 may be provided for each processing application such as image processing and control signal output processing.
  • the ROM 13 processing as the storage instruction unit 21, the read instruction unit 22, the head detection unit 23, the blur amount detection unit 24, the distance estimation unit 25, and the driving operation availability determination unit 26 illustrated in FIG.
  • the RAM 14 temporarily stores data necessary for various processes executed by the CPU 12, programs read from the ROM 13, and the like.
  • the storage unit 15 stores an image storage unit 15 a that stores image data captured by the monocular camera 11, a distance from the monocular camera 11 to the subject (driver), and a blur amount of the subject image captured by the monocular camera 11. And a table information storage unit 15b in which table information indicating the correlation is stored.
  • the storage unit 15 also stores parameter information including the focal length and aperture (F value) of the monocular camera 11, the angle of view and the number of pixels (width ⁇ vertical), the mounting position information of the monocular camera 11, and the like. It has become.
  • the mounting position information of the monocular camera 11 may be configured such that the setting menu of the monocular camera 11 can be read out by the HMI 40 and can be input and set from the setting menu at the time of mounting.
  • the storage unit 15 is configured by one or more nonvolatile semiconductor memories such as an EEPROM and a flash memory, for example.
  • the input / output interface (I / F) 16 is for exchanging data with various external devices via the communication bus 60.
  • the HMI 40 informs the driver of the process of notifying the driver of the state such as the driving posture, the operation status of the automatic driving system 1, the automatic driving release information, and the like.
  • a process for notifying, a process for outputting an operation signal related to the automatic driving control to the automatic driving control device 50 and the like are performed.
  • the HMI 40 is configured to include, for example, an operation unit and a voice input unit (not shown) in addition to the display unit 41 and the voice output unit 42 provided at a position where the driver can easily see.
  • the automatic driving control device 50 is also connected to a power source control device, a steering control device, a braking control device, a peripheral monitoring sensor, a navigation system, a communication device that communicates with the outside, and the like (not shown), and is based on information acquired from these units. Then, a control signal for performing automatic driving is output to each control device to perform automatic traveling control (automatic steering control, automatic speed adjustment control, etc.) of the vehicle.
  • FIG. 3 is an illustration for explaining that the degree of blurring of the driver in the image changes depending on the seat position of the driver's seat.
  • the driver 30 is seated in the driver's seat 31 as shown in FIG.
  • a handle 32 is installed in front of the driver's seat 31 in front of it.
  • the driver's seat 31 can be adjusted in position in the front-rear direction, and the movable range of the seat surface is set to S.
  • the monocular camera 11 is provided on the back side of the handle 32 (a steering column (not shown) or in front of the dashboard or instrument panel), and can capture an image 11c including the head (face) of the driver 30A. Is installed.
  • the installation position and orientation of the monocular camera 11 is not limited to this form.
  • FIG. 3 shows a state that sets driver's seat 31 in a substantially intermediate position S M of the movable range S.
  • the position of the head of the driver 30 (the face in front of the head) is a focal position (distance Zf) at which the monocular camera 11 is in focus, and the driver 30A is in focus on the image 11c. Photographed with no blur.
  • FIGS. 3 (a) shows a state that sets driver's seat 31 to the rear position S B of the movable range S. Since the position of the head of the driver 30 is farther than the focal position (distance Zf) at which the monocular camera 11 is focused (distance Zfocus) (distance Zblur), the image 30c shows the driver 30A. Is slightly smaller than the intermediate position S M and is shown in a blurred state.
  • FIG. 3 (c) shows a state that sets driver's seat 31 in a forward position S F of the movable range S. Since the position of the head of the driver 30 is closer to the focus position (distance Zf) where the monocular camera 11 is focused (distance Zfur) (distance Zblur), the image 30c shows the driver 30A. There has been photographed in a state of slightly larger, and blurring occurred than the intermediate position S M.
  • This monocular camera 11 as, while the focus is on the head of the driver 30 in a state of setting the driver's seat 31 in a substantially intermediate position S M, than a substantially intermediate position S M equipped with a driver's seat 31 in the longitudinal Then, the driver 30 is not focused on the head, and the driver 30A in the image is set to have a blur corresponding to the amount of deviation from the focus position.
  • the optical parameters of the monocular camera 11 to focus is on the head of the driver 30 when the set driver's seat 31 in a substantially intermediate position S M has been set, the focus of a monocular camera 11
  • the position for aligning is not limited to this position.
  • the optical parameters of the monocular camera 11 can be set so that the head of the driver 30 when the driver's seat 31 is set at any position in the movable range S is in focus.
  • the driver state estimation device 10 reads out various programs stored in the ROM 13 into the RAM 14 and executes them on the CPU 12, whereby a storage instruction unit 21, a read instruction unit 22, a head detection unit 23, and a blur amount detection. It is established as a device that performs processing as the unit 24, the distance estimation unit 25, and the driving operation availability determination unit 26.
  • the storage instruction unit 21 performs processing for storing image data including the head (face) of the driver 30 ⁇ / b> A captured by the monocular camera 11 in the image storage unit 15 a which is a part of the storage unit 15.
  • the read instruction unit 22 performs a process of reading the image 11c captured by the driver 30A from the image storage unit 15a.
  • the head detection unit 23 performs a process of detecting the head (face) of the driver 30A from the image 11c read from the image storage unit 15a.
  • the method for detecting the head (face) from the image 11c is not particularly limited.
  • the head (face) is detected by template matching using a reference template corresponding to the contour of the head (entire face) and template matching based on components (eyes, nose, ears, etc.) of the head (face). You may comprise as follows.
  • a local difference of the face for example, an eye end point, a mouth end point, a nose hole periphery, or the like
  • Differences for example, an eye end point, a mouth end point, a nose hole periphery, or the like
  • edge strength for example, edge strength
  • edge strength for example, edge strength
  • a detector is created by learning by combining these many feature quantities. It is possible to detect a face area at high speed by using a detector having a hierarchical structure that captures details of a face from a roughly captured hierarchy. Further, in order to cope with the difference in the degree of blurring of the face and the orientation and inclination of the face, a plurality of detectors that are separately learned for the degree of blurring of the face and the orientation and inclination of the face may be provided.
  • the blur amount detection unit 24 performs a process of detecting the blur amount of the head of the driver 30 ⁇ / b> A in the image 11 c detected by the head detection unit 23.
  • a method for detecting the blur amount of the driver 30A (subject) in the image a known method may be employed. For example, a method of obtaining a blur amount by analyzing a captured image (see Non-Patent Document 1), a PSF (Point Spread Function: point) that expresses a blur characteristic from the radius of a dark circle appearing on the logarithmic amplitude spectrum of the image.
  • PSF Point Spread Function
  • Non-Patent Document 2 A method of estimating an image distribution function (see Non-Patent Document 2), a method of expressing a blur characteristic using a luminance gradient vector distribution on a logarithmic amplitude spectrum of an image, and estimating a PSF (Non-Patent Document 3) ) Etc. can be employed.
  • a DFD (Depth from Defocus) method and a DFF (Depth from Focus) method that focus on image blur according to a focus position are known.
  • the DFD method a plurality of images with different focal positions are taken, the amount of blur is fitted with an optical blur model function, and the distance to the subject is estimated by estimating the most in-focus position from the change in the amount of blur. It is a method to seek.
  • the DFF method is a method for obtaining a distance from an image position that is most in focus among a large number of image sequences photographed while shifting the focal position. It is also possible to estimate the amount of blur using these methods.
  • Non-patent Document 4 For example, assuming that blur in an image follows a thin lens model, the blur amount can be modeled as the above point spread function (PSF). In general, a Gaussian function is used as this model.
  • PSF point spread function
  • Non-patent Document 5 a method for analyzing the edge of an image including one or two blurs taken to estimate the blur amount, an image (input image) including the captured blur. It is possible to employ a method (Non-patent Document 5) that estimates the amount of blur by analyzing how the edges are crushed (the degree of change in edge strength) with the smoothed image obtained by blurring the input image again.
  • Non-Patent Document 6 discloses that the DFD method can measure the distance to an object with a mechanism similar to the stereo method, and a blur (blur) circle when an image of the object is projected onto the image sensor surface. A method for obtaining the radius of the image is disclosed. These DFD methods and the like measure the distance from the correlation information between the blur amount of the image and the subject distance, and can be realized using the monocular camera 11. These methods can be used to detect the amount of image blur.
  • FIG. 4 is a diagram for explaining the relationship between the blur amount d detected by the blur amount detection unit 24 and the distance to the driver 30 (the mechanism of the DFD method or the DFF method).
  • f is the distance between the lens system 11a and the image sensor 11b
  • Zf is the distance between the in-focus point (focus point) and the image sensor 11b
  • Z blur is blurred (defocused).
  • F is the focal length of the lens
  • D is the aperture of the lens system 11a
  • d is a circle of blur (blur) when an image of the subject is projected on the image sensor.
  • the radius of the circle of confusion), and the radius d corresponds to the amount of blur.
  • the blur amount d can be expressed by the following equation.
  • a light beam L1 indicated by a solid line indicates a light beam when the driver 30 is at the focused focal position (the state shown in FIG. 3B).
  • a light beam L2 indicated by an alternate long and short dash line indicates a light beam when the driver 30 is at a position farther than the focal position where the focus from the monocular camera 11 is in focus (state in FIG. 3A).
  • a light beam L3 indicated by a broken line indicates a light beam when the driver 30 is at a position where the distance from the monocular camera 11 is closer to the in-focus focal position (state (c) in FIG. 3).
  • FIG. 5 is a graph showing an example of table information indicating the correlation between the blur amount d and the distance Z stored in the table information storage unit 15b.
  • the blur amount d is substantially zero at the distance Zf of the focal position that is in focus.
  • the blur amount d increases as the distance Z to the driver 30 deviates from the distance Zf of the in-focus focal position (moves to the distance Z blur ).
  • the focal length and aperture of the lens system 11a are set so that the blur amount d can be detected in the movable range S of the driver seat 31. Note that, as indicated by a broken line in FIG. 5, by changing the setting of the focal length of the lens system 11 a of the monocular camera 11 or opening the aperture (decreasing the F value), the amount of blur from the focus position is changed. Can be bigger.
  • the distance estimation unit 25 uses the blur amount d detected by the blur amount detection unit 24 to calculate a distance Z (information on depth) from the head of the driver 30 seated in the driver's seat 31 to the monocular camera 11. Performs estimation processing.
  • the blur amount d detected by the blur amount detection unit 24 is applied to the table information stored in the table information storage unit 15b, and the monocular camera is viewed from the head of the driver 30 sitting on the driver's seat 31.
  • a process of estimating the distance Z to 11 is performed.
  • the feature point portion of the facial organ detected by the head detection unit 23 for example, the blur of the feature point portion with clear contrast such as the end point of the eye, the end point of the mouth, and the periphery of the nostril.
  • the distance estimation becomes easy and the accuracy of the distance estimation can be improved.
  • the driver's face is selected from a plurality of images acquired in time series.
  • the distance Z may be obtained from the blur amount d using an expression indicating the correlation between the blur amount d and the distance Z.
  • the driving operation propriety determination unit 26 uses the distance Z estimated by the distance estimation unit 25 to determine whether or not the driver 30 is in a state where the driving operation is possible, for example, a handle stored in the ROM 13 or the storage unit 15. A range that can be reached by the driver is read into the RAM 14 and a comparison operation is performed to determine whether or not the driver 30 is within the range that the hand 30 can reach, and a signal indicating the determination result is sent to the HMI 40 or the automatic driving control device. Output to 50. Further, the above determination may be made by subtracting the distance B (distance from the handle 32 to the monocular camera 11) from the distance Z to obtain the distance A (distance from the handle 32 to the driver 30).
  • FIG. 6 is a flowchart showing processing operations performed by the CPU 12 in the driver state estimation apparatus 10 according to the embodiment.
  • the monocular camera 11 captures an image of 30 to 60 frames per second, and this process is performed for each frame or every frame at a fixed interval.
  • step S1 one or more image data captured by the monocular camera 11 is read from the image storage unit 15a, and in step S2, the head (face) region of the driver 30A is read from the one or more images 11c read.
  • the process which detects is performed.
  • step S3 processing is performed to detect the blur amount d of the head of the driver 30A in the image 11c, for example, the blur amount d of each pixel in the head region, or the blur amount d of each pixel in the head edge region.
  • the detection method of the blur amount d may employ the above method.
  • step S4 the distance Z from the head of the driver 30 to the monocular camera 11 is estimated using the blur amount d of the head of the driver 30A in the image 11c. That is, the table information read from the table information storage unit 15b is compared with the detected blur amount d to determine the distance Z from the monocular camera 11 corresponding to the blur amount d. Further, when the distance Z is estimated, a change in the size of the driver's face area is detected from a plurality of images (time-series images) captured by the monocular camera 11, and the focal position where the monocular camera 11 is in focus. The distance Z may be estimated using the determination result and the amount of blur d.
  • step S5 the distance A from the position of the handle 32 to the head of the driver 30 is estimated using the distance Z. For example, when the handle 32 is on the line segment between the monocular camera 11 and the driver 30, the distance A is estimated by subtracting the distance B between the monocular camera 11 and the handle 32 from the distance Z.
  • step S6 the range within which the hand can reach the handle stored in the RAM 13 or the storage unit 15 is read out and a comparison operation is performed, so that the distance A is within a range in which an appropriate handle operation is possible (distance D 1 ⁇ distance A It is determined whether or not ⁇ distance D 2 ).
  • step S6 if it is determined that the distance A is within a range where an appropriate handle operation is possible, the process is thereafter terminated. If it is determined that the distance A is not within a range where an appropriate handle operation is possible, the process proceeds to step S7. move on.
  • step S7 a driving operation impossible signal is output to the HMI 40 or the automatic driving control device 50, and then the processing ends.
  • a driving operation disabling signal for example, a display warning of a driving posture or a seat position is displayed on the display unit 41, or an announcement for warning of a driving posture or a seat position is executed from the audio output unit 42.
  • operation control apparatus 50 when a driving operation impossible signal is input, deceleration control etc. are performed, for example.
  • the range in which the appropriate handle operation can be performed which is stored in the RAM 13 or the storage unit 15, is read, and the comparison operation is performed.
  • the distances E 1 and E 2 may be values obtained by adding the distance B from the handle 32 to the monocular camera 11 to the above-described distances D 1 and D 2 , for example.
  • the distance range of the distances E 1 and E 2 is a distance range in which it is estimated that the steering wheel 32 can be operated in a state where the driver 30 is seated on the driver's seat 31, for example, the distance E 1 is (40 + distance B) cm, the distance E 2 may be set to a value of about (80+ distance B) cm.
  • the blur amount d detected by the blur amount detection unit 24 is a blur amount within a predetermined range (blur amount d 1 ⁇ blur amount d ⁇ blur amount d 2 ). Whether or not the driver is in a position where the driving operation can be performed may be performed depending on whether or not the driving operation is performed.
  • the distance Z, or distance A blurring amount in the range that is estimated to handle operable (the distance E 1 from the distance E 2 or the distance D 1 distance D 2 from,) (distance E 1, D blur amount d 1 when the 1, the distance E 1, D 2 comprises a blur amount d 2 when) stores the previously prepared table information in the table information storing unit 15b, and the blur amount of the table information when the determination May be read out and a comparison operation may be performed for determination.
  • the head of the driver 30A in the image 11c is detected using images having different heads of the driver 30 captured by the monocular camera 11. Then, the amount of blur of the head of the driver 30A in the detected image 11c is detected, and the distance from the head of the driver 30 sitting on the driver's seat 31 to the monocular camera 11 using the amount of blur Z is estimated. Therefore, the distance Z can be estimated from the blur amount d of the head of the driver 30A in the image 11c without obtaining the center position of the face area in the image 11c, and using the estimated distance Z, The state such as the position and orientation of the driver 30 seated in the driver's seat 31 can be estimated.
  • the distance Z and the distance A to the driver described above can be estimated without providing another sensor in addition to the monocular camera 11, and the device configuration can be simplified.
  • additional processing since there is no need to provide the additional sensor, additional processing is not required, the load on the CPU 12 can be reduced, and the size and cost of the apparatus can be reduced. it can.
  • the table information storage unit 15b stores table information indicating the correspondence between the blur amount of the driver (subject) image captured by the monocular camera 11 and the distance from the driver (subject) to the monocular camera 11.
  • the head 30 of the driver 30 seated in the driver's seat 31 is checked by comparing the blur amount d detected by the blur amount detection unit 24 with the table information read from the table information storage unit 15b. Therefore, the distance Z from the head of the driver 30 seated in the driver's seat 31 to the monocular camera 11 is calculated by applying the blur amount d to the table information.
  • the estimation can be performed at high speed without imposing a load on the processing.
  • the distance A estimated from the distance estimation unit 25 is used to estimate the distance A from the handle 32 to the driver 30, and the driver 30 seated in the driver's seat 31 is in a state where the handle can be operated. It is possible to determine whether or not the driver 30 is properly monitored.
  • the driver state estimation device 10 By installing the driver state estimation device 10 in the automatic driving system 1, it is possible to cause the driver to appropriately monitor the automatic driving, and even if the driving control in the automatic driving becomes difficult, the manual driving is performed. As a result, the safety of the automatic driving system 1 can be improved.
  • a driver state estimation device that estimates a driver's state using a captured image, An imaging unit capable of imaging a driver seated in the driver's seat; At least one storage unit; At least one hardware processor; The at least one storage unit is An image storage unit that stores an image captured by the imaging unit; The at least one hardware processor comprises: A storage instruction unit for storing an image captured by the imaging unit in the image storage unit; A read instruction unit for reading an image of the driver taken from the image storage unit; A head detection unit for detecting a driver's head in the image read from the image storage unit; A blur amount detection unit for detecting a blur amount of the driver's head in the image detected by the head detection unit; A driver state provided with a distance estimation unit that estimates a distance from the head of the driver sitting in the driver's seat to the imaging unit using the blur amount detected by the blur amount detection unit; Estimating device.
  • a driver state estimating method for estimating a state of a driver seated in the driver seat comprises: A storage instruction step of storing an image captured by the imaging unit in an image storage unit included in the at least one storage unit; A read instruction step of reading out an image captured by the driver from the image storage unit; A head detection step of detecting a driver's head in the image read from the image storage unit; A blur amount detecting step for detecting a blur amount of the driver's head in the image detected in the head detecting step; A driver state including a distance estimating step of estimating a distance from the head of the driver sitting in the driver seat to the imaging unit using the blur amount detected in the blur amount detecting step; Estimation method.
  • the present invention can be widely used mainly in the field of the automobile industry, such as an automatic driving system that needs to monitor a driver's condition.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Measurement Of Optical Distance (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

画像中における運転者の顔領域の中心位置を検出することなく運転者の頭部位置までの距離を推定することができる運転者状態推定装置を提供することを目的としており、運転席に着座している運転者を撮像可能な単眼カメラ１１と、記憶部１５と、ＣＰＵ１２とを備え、記憶部１５が、単眼カメラ１１で撮像された画像を記憶する画像記憶部１５ａを備え、ＣＰＵ１２が、画像記憶部１５ａから読み出された画像中の運転者の頭部を検出する頭部検出部２３と、頭部検出部２３で検出された前記画像中の運転者の頭部のボケ量を検出するボケ量検出部２４と、ボケ量検出部２４で検出されたボケ量を用いて、運転席に着座している運転者の頭部から単眼カメラ１１までの距離を推定する距離推定部２５とを装備する。

Description

運転者状態推定装置、及び運転者状態推定方法
　本発明は運転者状態推定装置、及び運転者状態推定方法に関し、より詳細には、撮像された画像を用いて運転者の状態を推定することのできる運転者状態推定装置、及び運転者状態推定方法に関する。
　車室内カメラで撮影された運転者の画像から運転者の動作や視線などの状態を検知し、運転者に必要とされる情報の提示や警告などを行う技術が従来より開発されている。
　また、近年開発が進められている自動運転システムでは、自動運転中においても、自動運転から手動運転への引き継ぎがスムーズに行えるように、運転者が運転操作可能な状態であるかどうかを推定しておく技術が必要になると考えられており、車室内カメラで撮像した画像を解析して、運転者の状態を推定する技術の開発が進められている。
　運転者の状態を推定するためには、運転者の頭部位置を検出する技術が必要とされている。例えば、特許文献１には、車室内カメラで撮像された画像中における運転者の顔領域を検出し、検出した顔領域に基づいて、運転者の頭部位置を推定する技術が開示されている。
　上記運転者の頭部位置の具体的な推定方法は、まず、車室内カメラに対する頭部位置の角度を検出する。該頭部位置の角度の検出方法は、画像上での顔領域の中心位置を検出し、該検出した顔領域の中心位置を頭部位置として、該顔領域の中心位置を通る頭部位置直線を求め、該頭部位置直線の角度（頭部位置の車室内カメラに対する角度）を決定する。
　次に、頭部位置直線上の頭部位置を検出する。該頭部位置直線上の頭部位置の検出方法は、車室内カメラから所定距離に存在する場合の顔領域の標準大きさを記憶しておき、この標準大きさと実際に検出した顔領域の大きさとを比較して、車室内カメラから頭部位置までの距離を求める。そして、求めた距離だけ車室内カメラから離れた、頭部位置直線上の位置を頭部位置として推定するようになっている。
　［発明が解決しようとする課題］
　特許文献１記載の頭部位置の推定方法では、画像上での頭部位置を顔領域の中心位置を基準として検出しているが、顔領域の中心位置は顔の向きによって変わってしまう。そのため、頭の位置が同じ位置であっても、顔の向きの違いより、画像上で検出される顔領域の中心位置がそれぞれ異なる位置に検出される。そのため画像上における頭部位置が実世界の頭部位置とは異なる位置に検出されてしまい、実世界における頭部位置までの距離を精度よく推定できないという課題があった。
特開２０１４－２１８１４０号公報
Yalin Xiong, Steven A. Shafer, "Depth from Focusing and Defocusing", CMU-RI-TR-93-07, The Robotics Institute Carnegie Mellon University Pittsburgh, Pennsylvania 15213. March, 1993. D. B. Gennery，"Determination of optical transfer function by inspection of frequency-domain plot，"Journal of the Optical Society of America，vol.63，pp.1571-1577，1973． 電子情報通信学会論文誌 Ｄ Vol. J90-D，No.10，pp.2848-2857「対数振幅スペクトル上の輝度こう配ベクトル分布を利用したノイズに頑健な焦点ずれＰＳＦ推定」，坂野盛彦、末竹規哲、内野英治 A. P. Pentland, "A new sense for depth of field", IEEE Transaction on Pattern Analysis and Machine Intelligence, 9, 4, pp.523-531(1987). S.Zhou, T.Sim, "Defocus Map Estimation from a Single Image,"Pattern Recognition, Vol.44, No.9, pp.1852-1858, (2011). YOAV Y. SCHECHNER，NAHUM KIRYATI，"Depth from Defocus vs. Stereo: How Different Really Are They?" International Journal of Computer Vision 39(2), 141-162, (2000).
課題を解決するための手段及びその効果
　本発明は上記課題に鑑みなされたものであって、画像中における運転者の顔領域の中心位置を検出することなく運転者の頭部までの距離を推定することができ、該推定された距離を前記運転者の状態判定に利用することができる運転者状態推定装置、及び運転者状態推定方法を提供することを目的としている。
　上記目的を達成するために本発明に係る運転者状態推定装置（１）は、撮像された画像を用いて運転者の状態を推定する運転者状態推定装置であって、
　運転席に着座している運転者を撮像可能な撮像部と、
　少なくとも１つのハードウェアプロセッサとを備え、
　該少なくとも１つのハードウェアプロセッサが、
　前記撮像部により撮像された画像中の運転者の頭部を検出する頭部検出部と、
　該頭部検出部で検出された前記画像中の運転者の頭部のボケ量を検出するボケ量検出部と、
　該ボケ量検出部で検出された前記ボケ量を用いて、前記運転席に着座している運転者の頭部から前記撮像部までの距離を推定する距離推定部とを備えていることを特徴としている。
　上記運転者状態推定装置（１）によれば、前記撮像部により撮像された前記運転者の画像を用いて、該画像中の運転者の頭部を検出し、該検出した前記画像中の運転者の頭部のボケ量を検出し、該ボケ量を用いて、前記運転席に着座している運転者の頭部から前記撮像部までの距離が推定される。したがって、前記画像中の顔領域の中心位置を求めることなく、前記画像中の前記運転者の頭部のボケ量から前記距離を推定することができる。該推定された距離を用いて、前記運転席に着座している運転者の位置姿勢などの状態を推定することが可能となる。
　また本発明に係る運転者状態推定装置（２）は、上記運転者状態推定装置（１）において、前記運転席に着座している運転者の頭部から前記撮像部までの距離と、前記撮像部で撮像される前記運転者の画像のボケ量との相関関係を示すテーブル情報を記憶するテーブル情報記憶部を備え、
　前記距離推定部が、
　前記ボケ量検出部で検出された前記ボケ量と、前記テーブル情報記憶部から読み出された前記テーブル情報とを照合して、前記運転席に着座している運転者の頭部から前記撮像部までの距離を推定するものであることを特徴としている。
　上記運転者状態推定装置（２）によれば、前記テーブル情報記憶部に、前記撮像部で撮像される前記運転者の画像のボケ量と、前記運転者の頭部から前記撮像部までの距離との対応関係を示すテーブル情報が記憶され、前記ボケ量検出部で検出された前記ボケ量と、前記テーブル情報記憶部から読み出された前記テーブル情報とが照合されて、前記運転席に着座している運転者の頭部から前記撮像部までの距離が推定される。したがって、前記テーブル情報に前記ボケ量を当てはめることにより、前記運転席に着座している運転者の頭部から前記撮像部までの距離を、演算処理に負荷をかけることなく高速に推定することができる。
　また本発明に係る運転者状態推定装置（３）は、上記運転者状態推定装置（１）又は（２）において、前記距離推定部が、前記撮像部により撮像された複数の画像から検出された前記運転者の顔領域の大きさの変化を考慮して、前記運転席に着座している運転者の頭部から前記撮像部までの距離を推定するものであることを特徴としている。
　上記運転者状態推定装置（３）によれば、前記運転者の顔領域の大きさの変化を考慮することにより、前記撮像部のピントが合う焦点位置から前後いずれの方向に前記運転者が離れているのかを判定することができるので、前記距離の推定精度を高めることができる。
　また本発明に係る運転者状態推定装置（４）は、上記運転者状態推定装置（１）～（３）のいずれかにおいて、前記少なくとも１つのハードウェアプロセッサが、
　前記距離推定部で推定された前記距離を用いて、前記運転席に着座している運転者が運転操作可能な状態であるか否かを判定する運転操作可否判定部を備えていることを特徴としている。
　上記運転者状態推定装置（４）によれば、前記距離推定部で推定された前記距離を用いて、前記運転席に着座している運転者が運転操作可能な状態であるか否かを判定することができ、前記運転者の監視を適切に行うことができる。
　また本発明に係る運転者状態推定装置（５）は、上記運転者状態推定装置（１）～（４）のいずれかにおいて、前記撮像部が、前記運転席に着座している運転者の位置姿勢の変化に応じて前記運転者の頭部のボケ具合が異なる画像を撮像可能なものであることを特徴としている。
　上記運転者状態推定装置（５）によれば、前記運転席という限られた空間であっても、前記運転者の頭部のボケ具合が異なる画像が撮像可能であるので、前記ボケ量から前記距離を確実に推定することができる。
　また本発明に係る運転者状態推定方法は、運転席に着座している運転者を撮像可能な撮像部と、少なくとも１つのハードウェアプロセッサとを備えた装置を用い、
　前記運転席に着座している運転者の状態を推定する運転者状態推定方法であって、
　前記少なくとも１つのハードウェアプロセッサが、
　前記撮像部により撮像された画像中の運転者の頭部を検出する頭部検出ステップと、
　該頭部検出ステップで検出された前記画像中の運転者の頭部のボケ量を検出するボケ量検出ステップと、
　該ボケ量検出ステップで検出された前記ボケ量を用いて、前記運転席に着座している運転者の頭部から前記撮像部までの距離を推定する距離推定ステップとを含んでいることを特徴としている。
　上記運転者状態推定方法によれば、前記撮像部により撮像された前記運転者の画像を用いて、該画像中の運転者の頭部を検出し、該検出した前記画像中の運転者の頭部のボケ量を検出し、該ボケ量を用いて、前記運転席に着座している運転者の頭部から前記撮像部までの距離を推定する。したがって、前記画像中の顔領域の中心位置を求めることなく、前記画像中の前記運転者の頭部のボケ量から前記距離を推定することができる。該推定された距離を用いて、前記運転席に着座している運転者の位置姿勢などの状態を推定することが可能となる。
本発明の実施の形態に係る運転者状態推定装置を含む自動運転システムの要部を概略的に示したブロック図である。 実施の形態に係る運転者状態推定装置の構成を示すブロック図である。 運転席の座席位置と、撮像された画像中の運転者のボケ具合との関係について説明するためのイラスト図である。 実施の形態に係る運転者状態推定装置で検出されるボケ量と運転者までの距離との関係について説明するための図である。 運転者までの距離とボケ量の大きさとの相関関係を示すテーブル情報の一例を示したグラフ図である。 実施の形態に係る運転者状態推定装置におけるＣＰＵの行う処理動作を示したフローチャートである。
　以下、本発明に係る運転者状態推定装置、及び運転者状態推定方法の実施の形態を図面に基づいて説明する。なお、以下に述べる実施の形態は、本発明の好適な具体例であり、技術的に種々の限定が付されているが、本発明の範囲は、以下の説明において特に本発明を限定する旨の記載がない限り、これらの形態に限られるものではない。
　図１は、実施の形態に係る運転者状態推定装置を含む自動運転システムの要部を概略的に示したブロック図である。図２は、実施の形態に係る運転者状態推定装置の構成を示すブロック図である。
　自動運転システム１は、車両を道路に沿って自動で走行させるためのシステムであり、運転者状態推定装置１０、ＨＭＩ（Human Machine Interface）４０、及び自動運転制御装置５０を含んで構成され、これら各装置が通信バス６０を介して接続されている。なお、通信バス６０には、自動運転や運転者による手動運転の制御に必要な各種センサや制御装置（図示せず）も接続されている。
　運転者状態推定装置１０は、撮像された画像から運転者の状態、具体的には、撮像された画像中の運転者の頭部のボケ量を検出し、単眼カメラ１１から運転者の頭部（顔）までの距離を前記ボケ量から推定する処理、前記距離の推定結果に基づいて運転者が運転操作可能な状態であるか否かを判定し、その判定結果を出力する処理などを行う。
　運転者状態推定装置１０は、単眼カメラ１１、ＣＰＵ１２、ＲＯＭ１３、ＲＡＭ１４、記憶部１５、及び入出力インターフェース（Ｉ／Ｆ）１６を含んで構成され、これら各部が通信バス１７を介して接続されている。なお、単眼カメラ１１は、装置本体とは別体のカメラユニットとして構成してもよい。
　撮像部としての単眼カメラ１１は、運転席に着座している運転者の頭部を含む画像を定期的（例えば、１秒間に３０～６０回）に撮像可能な単眼カメラであり、１枚以上のレンズから構成されるレンズ系１１ａ、被写体の撮像データを生成するＣＣＤ又はＣＭＯＳなどの撮像素子１１ｂ、撮像データをデジタルデータに変換するＡＤ変換部（図示せず）、及び近赤外光を照射する近赤外ＬＥＤなどの赤外線照射器（図示せず）などを含んで構成されている。
　また、単眼カメラ１１のレンズ系１１ａには、運転席の可動範囲内のいずれかの位置で運転者にピントが合い、かつ被写界深度が浅く（ピントの合う範囲が狭く）なるように、レンズの焦点距離及び絞り（Ｆ値）などの光学パラメータが設定されているものが使用される。これら光学パラメータの設定により、運転席に着座している運転者の位置姿勢の変化、例えば、運転席の座面位置や背もたれの傾きの変化に応じて運転者の頭部のボケ具合が異なる画像（運転者にピントの合った画像から徐々にピントのずれたボケ具合の異なる画像）を撮像可能となっている。なお、前記被写界深度は、後述する頭部検出部２３における処理性能、すなわち、画像中から運転者の頭部や顔器官を検出する性能を妨げないように、頭部検出部２３における処理性能のボケ許容範囲内において極力浅くなるように設定にすることが好ましい。
　ＣＰＵ１２は、ハードウェアプロセッサであり、ＲＯＭ１３に記憶されているプログラムを読み出し、該プログラムに基づいて単眼カメラ１１で撮像された画像データの各種処理などを行う。ＣＰＵ１２は、画像処理や制御信号出力処理などの処理用途毎に複数装備してもよい。
　ＲＯＭ１３には、図２に示す記憶指示部２１、読み出し指示部２２、頭部検出部２３、ボケ量検出部２４、距離推定部２５、及び運転操作可否判定部２６としての処理を、ＣＰＵ１２に実行させるためのプログラムなどが記憶されている。なお、ＣＰＵ１２で実行される前記プログラムの全部又は一部をＲＯＭ１３とは別の記憶部１５や他の記憶媒体（図示せず）に記憶してもよい。
　ＲＡＭ１４には、ＣＰＵ１２で実行される各種処理に必要なデータやＲＯＭ１３から読み出したプログラムなどが一時記憶される。
　記憶部１５は、単眼カメラ１１で撮像された画像データが記憶される画像記憶部１５ａと、単眼カメラ１１から被写体（運転者）までの距離と単眼カメラ１１で撮像される被写体の画像のボケ量との相関関係を示すテーブル情報が記憶されるテーブル情報記憶部１５ｂとを含んでいる。また、記憶部１５には、単眼カメラ１１の焦点距離や絞り（Ｆ値）、画角や画素数（幅×縦）などを含むパラメータ情報、単眼カメラ１１の取付位置情報なども記憶されるようになっている。単眼カメラ１１の取付位置情報などは、例えば、単眼カメラ１１の設定メニューをＨＭＩ４０で読み出せるように構成しておき、取付時に、前記設定メニューから入力設定できるようにすればよい。記憶部１５は、例えば、ＥＥＰＲＯＭ、フラッシュメモリなどの１つ以上の不揮発性の半導体メモリで構成されている。入出力インターフェース（Ｉ／Ｆ）１６は、通信バス６０を介して各種外部装置とのデータのやり取りを行うためのものである。
　ＨＭＩ４０は、運転者状態推定装置１０から送信されてきた信号に基づいて、運転者に運転姿勢等の状態を報知する処理、自動運転システム１の作動状況や自動運転の解除情報などを運転者に報知する処理、自動運転制御に関連する操作信号を自動運転制御装置５０に出力する処理などを行う。ＨＭＩ４０は、例えば、運転者が視認しやすい位置に設けられた表示部４１や音声出力部４２の他、図示しない操作部や音声入力部などを含んで構成されている。
　自動運転制御装置５０は、図示しない動力源制御装置、操舵制御装置、制動制御装置、周辺監視センサ、ナビゲーションシステム、外部と通信を行う通信装置などにも接続され、これら各部から取得した情報に基づいて、自動運転を行うための制御信号を各制御装置へ出力して、車両の自動走行制御（自動操舵制御や自動速度調整制御など）を行う。
　図２に示した運転者状態推定装置１０の各部を説明する前に、図３を用いて、運転席の座席位置と、単眼カメラ１１で撮像される画像中の運転者のボケ具合との関係について説明する。図３は、運転席の座席位置の違いによって画像中の運転者のボケ具合が変化することを説明するためのイラスト図である。
　図３に示すように、運転者３０が運転席３１に着座しているとする。運転席３１の正面前方にはハンドル３２が設置されている。運転席３１は、前後方向に位置調整可能となっており、座面の可動範囲がＳに設定されている。単眼カメラ１１は、ハンドル３２の奥側（図示しないステアリングコラム、又はダッシュボードやインストルメントパネルの手前）に設けられており、運転者３０Ａの頭部（顔）を含む画像１１ｃを撮像可能な箇所に設置されている。なお、単眼カメラ１１の設置位置姿勢はこの形態に限定されるものではない。
　図３では、単眼カメラ１１から実世界における運転者３０までの距離をＺ（Ｚｆ、Ｚblur）、ハンドル３２から運転者３０までの距離をＡ、ハンドル３２から単眼カメラ１１までの距離をＢ、単眼カメラ１１の画角をα、撮像面の中心をＩで示している。
　図３（ｂ）は、運転席３１を可動範囲Ｓの略中間位置ＳＭにセットした状態を示している。この状態では、運転者３０の頭部（頭部正面の顔）の位置が、単眼カメラ１１のピントが合う焦点位置（距離Ｚｆ）になっており、画像１１ｃには、運転者３０Ａがピントの合ったボケのない状態で写されている。
　図３（ａ）は、運転席３１を可動範囲Ｓの後方位置ＳＢにセットした状態を示している。
運転者３０の頭部の位置は、単眼カメラ１１のピントが合う焦点位置（距離Ｚｆ）よりも遠い位置（ピントがずれた位置）（距離Ｚblur）にあるため、画像１１ｃには、運転者３０Ａが中間位置ＳＭよりも少し小さく、かつボケが生じた状態で写されている。
　図３（ｃ）は、運転席３１を可動範囲Ｓの前方位置ＳＦにセットした状態を示している。
運転者３０の頭部の位置は、単眼カメラ１１のピントが合う焦点位置（距離Ｚｆ）よりも近い位置（ピントがすれた位置）（距離Ｚblur）にあるため、画像１１ｃには、運転者３０Ａが中間位置ＳＭよりも少し大きく、かつボケが生じた状態で写されている。
　このように単眼カメラ１１は、運転席３１を略中間位置ＳＭにセットした状態で運転者３０の頭部にピントが合う一方、略中間位置ＳＭよりも前後に運転席３１をセットした状態では、運転者３０の頭部にピントが合わず、画像中の運転者３０Ａの頭部には、ピント位置からのずれ量に応じたボケが生じる設定になっている。
　なお、上記形態では、運転席３１を略中間位置ＳＭにセットしたときの運転者３０の頭部にピントが合うように単眼カメラ１１の光学パラメータが設定されているが、単眼カメラ１１のピントを合わせる位置は、この位置に限定されるものではない。運転席３１を可動範囲Ｓのいずれかの位置にセットしたときの運転者３０の頭部にピントが合うように、単眼カメラ１１の光学パラメータを設定することができる。
　次に、実施の形態に係る運転者状態推定装置１０の具体的構成について図２に示したブロック図に基づいて説明する。
　運転者状態推定装置１０は、ＲＯＭ１３に記憶された各種のプログラムがＲＡＭ１４に読み出され、ＣＰＵ１２で実行されることによって、記憶指示部２１、読み出し指示部２２、頭部検出部２３、ボケ量検出部２４、距離推定部２５、及び運転操作可否判定部２６としての処理を行う装置として成立する。
　記憶指示部２１は、単眼カメラ１１で撮像された運転者３０Ａの頭部（顔）を含む画像データを記憶部１５の一部である画像記憶部１５ａに記憶させる処理を行う。読み出し指示部２２は画像記憶部１５ａから運転者３０Ａが撮像された画像１１ｃを読み出す処理を行う。
　頭部検出部２３は、画像記憶部１５ａから読み出された画像１１ｃから運転者３０Ａの頭部（顔）を検出する処理を行う。画像１１ｃから頭部（顔）を検出する手法は特に限定されない。例えば、頭部（顔全体）の輪郭に対応した基準テンプレートを用いたテンプレートマッチング、頭部（顔）の構成要素（目、鼻、耳など）に基づくテンプレートマッチングによって頭部（顔）を検出するように構成してもよい。また、高速で高精度に頭部（顔）を検出する手法として、例えば、顔の局所的な領域、例えば、目の端点や口の端点、鼻の穴回りなどの顔器官の明暗差（輝度差）やエッジ強度、これら局所的領域間の関連性（共起性）を特徴量として捉え、これら多数の特徴量を組み合わせて学習することで検出器を作成し、階層的な構造（顔をおおまかにとらえる階層から顔の細部をとらえる階層構造）の検出器を用いる方法により、顔の領域検出を高速に行うことが可能となる。また、顔のボケ具合の違い、顔の向きや傾きに対応するために、顔のボケ具合、顔の向きや傾きごとに別々に学習させた複数の検出器を備えるようにしてもよい。
　ボケ量検出部２４は、頭部検出部２３で検出された画像１１ｃ中の運転者３０Ａの頭部のボケ量を検出する処理を行う。画像中の運転者３０Ａ（被写体）のボケ量を検出する方法には、公知の手法が採用され得る。
　例えば、撮像画像を分析することでボケ量を求める方法（非特許文献１参照）、画像の対数振幅スペクトル上に現れる暗い円環の半径から、ボケの特性を表現するＰＳＦ（Point Spread Function：点像分布関数）の推定を行う方法（非特許文献２参照）、画像の対数振幅スペクトル上の輝度こう配のベクトル分布を用いてボケの特性を表現し、ＰＳＦの推定を行う方法（非特許文献３）などを採用することができる。
　また、撮像された画像を処理して被写体までの距離を測定する方法として、合焦位置に応じた画像ボケに着目するＤＦＤ（Depth from Defocus）法やＤＦＦ（Depth from Focus）法が知られている。ＤＦＤ法は、焦点位置の異なる複数の画像を撮影して、光学ボケのモデル関数でボケ量をフィッティングし、ボケ量の変化から被写体に最もピントが合う位置を推定することで被写体までの距離を求める方法である。ＤＦＦ法は、焦点位置をずらしながら撮影した多数の画像列の中で、最もピントの合った画像位置から距離を求める方法である。これら方法を利用してボケ量を推定することも可能である。
　例えば、画像中のボケが薄レンズモデルに従うと仮定すると、ボケ量は上記点像分布関数（ＰＳＦ）としてモデル化できる。一般にこのモデルとしてガウス関数が用いられる。これらを利用して、撮像された１枚又は２枚のボケを含んだ画像のエッジを解析しボケ量を推定する方法（非特許文献４）、撮像されたボケを含む画像（入力画像）と該入力画像を再度ぼかした平滑化画像とのエッジの潰れ方（エッジ強度の変化度合）を解析することによってボケ量を推定する方法（非特許文献５）などを採用することができる。また、非特許文献６には、ＤＦＤ法がステレオ法と同じような仕組みで物体までの距離を測定できることが開示され、物体の画像が撮像素子面に投影されたときのブラー（ボケ）の円の半径を求める方法などが開示されている。これらＤＦＤ法などは、画像のボケ量と被写体距離との相関情報から距離を測定するものであり、単眼カメラ１１を用いて実現可能である。これら方法を使用して、画像のボケ量を検出することができる。
　図４は、ボケ量検出部２４で検出されるボケ量ｄと運転者３０までの距離との関係（ＤＦＤ法又はＤＦＦ法の仕組み）について説明するための図である。
　図４において、ｆはレンズ系１１ａと撮像素子１１ｂとの距離、Ｚｆはピントの合う焦点（フォーカス点）と撮像素子１１ｂとの距離、Ｚblurはボケの生じている（デフォーカスされている）運転者３０（被写体）と撮像素子１１ｂとの距離、Ｆはレンズの焦点距離、Ｄはレンズ系１１ａの口径、ｄは被写体の画像が撮像素子に投影されたときのブラー（ボケ）の円（錯乱円）の半径であり、半径ｄがボケ量に相当する。
　ボケ量ｄは、以下の式で示すことができる。
Figure JPOXMLDOC01-appb-M000001
　なお、実線で示す光線Ｌ１は、ピントの合う焦点位置に運転者３０がいるとき（図３（ｂ）の状態）の光線を示している。一点鎖線で示す光線Ｌ２は、単眼カメラ１１からの距離がピントの合う焦点位置よりも遠い位置に運転者３０がいるとき（図３（ａ）の状態）の光線を示している。破線で示す光線Ｌ３は、単眼カメラ１１からの距離がピントの合う焦点位置より近い位置に運転者３０がいるとき（図３（ｃ）状態）の光線を示している。
　上記式は、ボケ量ｄと、ボケが生じているときの距離Ｚblurとが相関関係を有していることを示している。本実施の形態では、単眼カメラ１１で撮像される被写体の画像のボケ量ｄと、単眼カメラ１１から被写体までの距離Ｚとの相関関係を示すテーブル情報が予め作成されて、テーブル情報記憶部１５ｂに記憶されている。
　図５は、テーブル情報記憶部１５ｂに記憶されているボケ量ｄと距離Ｚとの相関関係を示すテーブル情報の一例を示したグラフ図である。
　ピントの合う焦点位置の距離Ｚｆで、ボケ量ｄは略０となっている。運転者３０までの距離Ｚがピントの合う焦点位置の距離Ｚｆから外れる（距離Ｚblurに移動する）につれてボケ量ｄが大きくなる。運転席３１の可動範囲Ｓで、ボケ量ｄが検出できるように、レンズ系１１ａの焦点距離や絞りの設定がなされている。なお、図５に破線で示すように、単眼カメラ１１のレンズ系１１ａの焦点距離を大きく、又は絞りを開く（Ｆ値を小さくする）設定にすることで、ピント位置からのボケ量の変化を大きくすることができる。
　距離推定部２５は、ボケ量検出部２４で検出されたボケ量ｄを用いて、運転席３１に着座している運転者３０の頭部から単眼カメラ１１までの距離Ｚ（奥行きに関する情報）を推定する処理を行う。すなわち、ボケ量検出部２４で検出されたボケ量ｄを、上記したテーブル情報記憶部１５ｂに記憶されたテーブル情報に当てはめて、運転席３１に着座している運転者３０の頭部から単眼カメラ１１までの距離Ｚを推定する処理を行う。また、ボケ量検出部２４において、頭部検出部２３により検出された顔器官の特徴点部分、例えば、目の端点や口の端点、鼻の穴周りなどのコントラストがはっきりした特徴点部分のボケ量ｄを検出し、該ボケ量ｄを距離推定部２５での推定処理に用いることにより、距離推定が容易になるとともに、距離推定の精度も高めることができる。
　また、ボケ量ｄからでは、ピントの合う焦点位置（距離Ｚｆの位置）から前後いずれの方向に外れているのかの判定が難しい場合は、時系列で取得した複数の画像中から運転者の顔領域の大きさを検出し、顔領域の大きさの変化（大きくなっていれば単眼カメラ１１に近づいている一方、小さくなっていれば単眼カメラ１１から離れている）を検出することによって、前記いずれの方向に外れているのかを判定することができる。また、前記テーブル情報の代わりに、ボケ量ｄと距離Ｚとの相関関係を示す式を用いて、ボケ量ｄから距離Ｚを求めてもよい。
　運転操作可否判定部２６は、距離推定部２５で推定された距離Ｚを用いて、運転者３０が運転操作可能な状態であるか否か、例えば、ＲＯＭ１３又は記憶部１５に記憶された、ハンドルに手が届く範囲をＲＡＭ１４に読み出し、比較演算を行うことにより、運転者３０がハンドル３２に手が届く範囲内にいるか否かを判定し、該判定結果を示す信号をＨＭＩ４０や自動運転制御装置５０へ出力する。また、距離Ｚから距離Ｂ（ハンドル３２から単眼カメラ１１までの距離）を引き、距離Ａ（ハンドル３２から運転者３０までの距離）を求めて、上記判定を行ってもよい。
　図６は、実施の形態に係る運転者状態推定装置１０におけるＣＰＵ１２の行う処理動作を示したフローチャートである。単眼カメラ１１では、例えば、毎秒３０～６０フレームの画像が撮像され、各フレーム、又は一定間隔のフレーム毎に本処理が行われる。
　まず、ステップＳ１では、単眼カメラ１１で撮像された１つ以上の画像データを画像記憶部１５ａから読み出し、ステップＳ２で、読み出した１つ以上の画像１１ｃから運転者３０Ａの頭部（顔）領域を検出する処理を行う。
　ステップＳ３では、画像１１ｃ中における運転者３０Ａの頭部のボケ量ｄ、例えば、頭部領域の各画素のボケ量ｄ、又は頭部のエッジ領域の各画素のボケ量ｄを検出する処理を行う。ボケ量ｄの検出処理は上記手法が採用され得る。
　ステップＳ４では、画像１１ｃ中の運転者３０Ａの頭部のボケ量ｄを用いて、運転者３０の頭部から単眼カメラ１１までの距離Ｚを推定する。すなわち、テーブル情報記憶部１５ｂから読み出した上記テーブル情報と、検出したボケ量ｄとを照合して、ボケ量ｄに対応する単眼カメラ１１からの距離Ｚを決定する。また、距離Ｚを推定する際に、単眼カメラ１１により撮像された複数の画像（時系列の画像）から運転者の顔領域の大きさの変化を検出し、単眼カメラ１１のピントが合う焦点位置から前後いずれの方向に運転者が離れているのかを判定し、該判定結果とボケ量ｄとを用いて、距離Ｚを推定してもよい。
　ステップＳ５では、距離Ｚを用いて、ハンドル３２位置から運転者３０の頭部までの距離Ａを推定する。例えば、単眼カメラ１１と運転者３０との線分上にハンドル３２がある場合、距離Ｚから単眼カメラ１１とハンドル３２との距離Ｂを引くことで、距離Ａを推定する。
　ステップＳ６では、ＲＡＭ１３又は記憶部１５に記憶された、ハンドルに手が届く範囲を読み出し、比較演算を行うことにより、距離Ａが、適切なハンドル操作が可能な範囲内（距離Ｄ１＜距離Ａ＜距離Ｄ２）であるか否かを判定する。距離Ｄ１からＤ２の距離範囲は、運転者３０が運転席３１に着座した状態で、ハンドル３２の操作が可能と推定される距離範囲、例えば、Ｄ１は４０ｃｍ、距離Ｄ２は８０ｃｍ程度の値に設定することができる。
　ステップＳ６において、距離Ａが適切なハンドル操作が可能な範囲内であると判断すれば、その後処理を終える一方、距離Ａが適切なハンドル操作が可能な範囲内ではないと判断すればステップＳ７に進む。
　ステップＳ７では、ＨＭＩ４０や自動運転制御装置５０に運転操作不可信号を出力し、その後処理を終える。ＨＭＩ４０では、運転操作不可信号を入力した場合、例えば、表示部４１に運転姿勢や座席位置を警告する表示や、音声出力部４２より運転姿勢や座席位置を警告するアナウンスを実行する。また、自動運転制御装置５０では、運転操作不可信号を入力した場合、例えば、減速制御などを実行する。
　なお、上記ステップＳ５、Ｓ６の処理に代えて、ＲＡＭ１３又は記憶部１５に記憶された、適切なハンドル操作が可能な範囲を読み出し、比較演算を行うことにより、距離Ｚが、適切なハンドル操作が可能と推定する範囲内（距離Ｅ１＜距離Ｚ＜距離Ｅ２）であるか否かを判定する処理を行ってもよい。
　この場合、距離Ｅ１、Ｅ２は、例えば、上記した距離Ｄ１、Ｄ２に、ハンドル３２から単眼カメラ１１までの距離Ｂを加算した値とすればよい。距離Ｅ１、Ｅ２の距離範囲は、運転者３０が運転席３１に着座した状態で、ハンドル３２の操作が可能と推定される距離範囲、例えば、距離Ｅ１は（４０＋距離Ｂ）ｃｍ、距離Ｅ２は（８０＋距離Ｂ）ｃｍ程度の値に設定することができる。
　また、上記ステップＳ４、５、６に代えて、ボケ量検出部２４で検出されたボケ量ｄが、所定範囲内のボケ量（ボケ量ｄ１＜ボケ量ｄ＜ボケ量ｄ２）であるか否かにより、運転者が運転操作可能な位置にいるか否かを判断する処理を行ってもよい。
　この場合、上記距離Ｚ、又は距離Ａがハンドル操作可能と推定される範囲内（上記距離Ｅ１から距離Ｅ２、又は上記距離Ｄ１から距離Ｄ２）でのボケ量（距離Ｅ１、Ｄ１のときのボケ量ｄ１、距離Ｅ１、Ｄ２ときのボケ量ｄ２を含む）を予め作成したテーブル情報をテーブル情報記憶部１５ｂに記憶しておき、上記判定時にボケ量のテーブル情報を読み出し、比較演算を行って判定するようにすればよい。
　実施の形態に係る運転者状態推定装置１０によれば、単眼カメラ１１により撮像された運転者３０の頭部のボケ具合の異なる画像を用いて、画像１１ｃ中の運転者３０Ａの頭部を検出し、該検出した画像１１ｃ中の運転者３０Ａの頭部のボケ量を検出し、該ボケ量を用いて、運転席３１に着座している運転者３０の頭部から単眼カメラ１１までの距離Ｚが推定される。したがって、画像１１ｃ中の顔領域の中心位置を求めることなく、画像１１ｃ中の運転者３０Ａの頭部のボケ量ｄから距離Ｚを推定することができ、該推定された距離Ｚを用いて、運転席３１に着座している運転者３０の位置姿勢などの状態を推定することができる。
　また、運転者状態推定装置１０によれば、単眼カメラ１１に加えて別のセンサを設けることなく、上記した運転者までの距離Ｚや距離Ａを推定することができ、装置構成の簡素化を図ることができ、また、前記別のセンサを設ける必要がないため、それに伴う追加の処理も不要となり、ＣＰＵ１２にかかる負荷を低減させることができ、装置の小型化や低コスト化を図ることができる。
　また、テーブル情報記憶部１５ｂに、単眼カメラ１１で撮像される運転者（被写体）の画像のボケ量と、運転者（被写体）から単眼カメラ１１までの距離との対応関係を示すテーブル情報が記憶されており、ボケ量検出部２４で検出されたボケ量ｄと、テーブル情報記憶部１５ｂから読み出されたテーブル情報とが照合されて、運転席３１に着座している運転者３０の頭部から単眼カメラ１１までの距離Ｚが推定されるので、テーブル情報にボケ量ｄを当てはめることにより、運転席３１に着座している運転者３０の頭部から単眼カメラ１１までの距離Ｚを、演算処理に負荷をかけることなく高速に推定することができる。
　また、距離推定部２５で推定された距離Ｚを用いて、ハンドル３２から運転者３０までの距離Ａを推定し、運転席３１に着座している運転者３０がハンドル操作可能な状態であるか否かを判定することができ、運転者３０の監視を適切に行うことができる。
　運転者状態推定装置１０が自動運転システム１に搭載されることにより、運転者に自動運転の監視を適切に実行させることができ、自動運転での走行制御が困難状況になっても、手動運転への引き継ぎを迅速かつ安全に行うことができ、自動運転システム１の安全性を高めることができる。
（付記１）
　撮像された画像を用いて運転者の状態を推定する運転者状態推定装置であって、
　運転席に着座している運転者を撮像可能な撮像部と、
　少なくとも１つの記憶部と、
　少なくとも１つのハードウェアプロセッサとを備え、
　前記少なくとも１つの記憶部が、
　前記撮像部で撮像された画像を記憶する画像記憶部を備え、
　前記少なくとも１つのハードウェアプロセッサが、
　前記撮像部で撮像された画像を前記画像記憶部に記憶させる記憶指示部と、
　前記画像記憶部から前記運転者が撮像された画像を読み出す読み出し指示部と、
　前記画像記憶部から読み出された前記画像中の運転者の頭部を検出する頭部検出部と、
　該頭部検出部で検出された前記画像中の運転者の頭部のボケ量を検出するボケ量検出部と、
　該ボケ量検出部で検出された前記ボケ量を用いて、前記運転席に着座している運転者の頭部から前記撮像部までの距離を推定する距離推定部とを備えている運転者状態推定装置。
（付記２）
　運転席に着座している運転者を撮像可能な撮像部と、
　少なくとも１つの記憶部と、
　少なくとも１つのハードウェアプロセッサとを備えた装置を用い、
　前記運転席に着座している運転者の状態を推定する運転者状態推定方法であって、
　前記少なくとも１つのハードウェアプロセッサが、
　前記撮像部で撮像された画像を前記少なくとも１つの記憶部に含まれる画像記憶部に記憶させる記憶指示ステップと、
　前記画像記憶部から前記運転者が撮像された画像を読み出す読み出し指示ステップと、
　前記画像記憶部から読み出された前記画像中の運転者の頭部を検出する頭部検出ステップと、
　該頭部検出ステップで検出された前記画像中の運転者の頭部のボケ量を検出するボケ量検出ステップと、
　該ボケ量検出ステップで検出された前記ボケ量を用いて、前記運転席に着座している運転者の頭部から前記撮像部までの距離を推定する距離推定ステップとを含んでいる運転者状態推定方法。
　本発明は、運転者の状態を監視する必要がある自動運転システムなど、主に自動車産業の分野において広く利用することができる。
１　自動運転システム
１０　運転者状態推定装置
１１　単眼カメラ
１１ａ　レンズ系
１１ｂ　撮像素子
１１ｃ　画像
１２　ＣＰＵ
１３　ＲＯＭ
１４　ＲＡＭ
１５　記憶部
１５ａ　画像記憶部
１５ｂ　テーブル情報記憶部
１６　Ｉ／Ｆ
１７　通信バス
２１　記憶指示部
２２　読み出し指示部
２３　頭部検出部
２４　ボケ量検出部
２５　距離推定部
２６　運転操作可否判定部
３０、３０Ａ　運転者
３１　運転席
３２　ハンドル
４０　ＨＭＩ
５０　自動運転制御装置
６０　通信バス

Claims (6)

  1. 　撮像された画像を用いて運転者の状態を推定する運転者状態推定装置であって、
    　運転席に着座している運転者を撮像可能な撮像部と、
    　少なくとも１つのハードウェアプロセッサとを備え、
    　該少なくとも１つのハードウェアプロセッサが、
    　前記撮像部により撮像された画像中の運転者の頭部を検出する頭部検出部と、
    　該頭部検出部で検出された前記画像中の運転者の頭部のボケ量を検出するボケ量検出部と、
    　該ボケ量検出部で検出された前記ボケ量を用いて、前記運転席に着座している運転者の頭部から前記撮像部までの距離を推定する距離推定部とを備えていることを特徴とする運転者状態推定装置。
  2. 　前記運転席に着座している運転者の頭部から前記撮像部までの距離と、前記撮像部で撮像される前記運転者の画像のボケ量との相関関係を示すテーブル情報を記憶するテーブル情報記憶部を備え、
    　前記距離推定部が、
    　前記ボケ量検出部で検出された前記ボケ量と、前記テーブル情報記憶部から読み出された前記テーブル情報とを照合して、前記運転席に着座している運転者の頭部から前記撮像部までの距離を推定するものであることを特徴とする請求項１記載の運転者状態推定装置。
  3. 　前記距離推定部が、
    　前記撮像部により撮像された複数の画像から検出された前記運転者の顔領域の大きさの変化を考慮して、前記運転席に着座している運転者の頭部から前記撮像部までの距離を推定するものであることを特徴とする請求項１又は請求項２記載の運転者状態推定装置。
  4. 　前記少なくとも１つのハードウェアプロセッサが、
    　前記距離推定部で推定された前記距離を用いて、前記運転席に着座している運転者が運転操作可能な状態であるか否かを判定する運転操作可否判定部を備えていることを特徴とする請求項１～３のいずれかの項に記載の運転者状態推定装置。
  5. 　前記撮像部が、前記運転席に着座している運転者の位置姿勢の変化に応じて前記運転者の頭部のボケ具合が異なる画像を撮像可能なものであることを特徴とする請求項１～４のいずれかの項に記載の運転者状態推定装置。
  6. 　運転席に着座している運転者を撮像可能な撮像部と、
    　少なくとも１つのハードウェアプロセッサとを備えた装置を用い、
    　前記運転席に着座している運転者の状態を推定する運転者状態推定方法であって、
    　前記少なくとも１つのハードウェアプロセッサが、
    　前記撮像部により撮像された画像中の運転者の頭部を検出する頭部検出ステップと、
    　該頭部検出ステップで検出された前記画像中の運転者の頭部のボケ量を検出するボケ量検出ステップと、
    　該ボケ量検出ステップで検出された前記ボケ量を用いて、前記運転席に着座している運転者の頭部から前記撮像部までの距離を推定する距離推定ステップとを含んでいることを特徴とする運転者状態推定方法。
PCT/JP2017/027245 2017-03-14 2017-07-27 運転者状態推定装置、及び運転者状態推定方法 Ceased WO2018167996A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201780084001.0A CN110199318B (zh) 2017-03-14 2017-07-27 驾驶员状态推定装置以及驾驶员状态推定方法
DE112017007243.3T DE112017007243T5 (de) 2017-03-14 2017-07-27 Fahrerzustandsabschätzungsvorrichtung undfahrerzustandsabschätzungsverfahren
US16/481,846 US20200065595A1 (en) 2017-03-14 2017-07-27 Driver state estimation device and driver state estimation method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017048503A JP6737212B2 (ja) 2017-03-14 2017-03-14 運転者状態推定装置、及び運転者状態推定方法
JP2017-048503 2017-03-14

Publications (1)

Publication Number Publication Date
WO2018167996A1 true WO2018167996A1 (ja) 2018-09-20

Family

ID=63522872

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/027245 Ceased WO2018167996A1 (ja) 2017-03-14 2017-07-27 運転者状態推定装置、及び運転者状態推定方法

Country Status (5)

Country Link
US (1) US20200065595A1 (ja)
JP (1) JP6737212B2 (ja)
CN (1) CN110199318B (ja)
DE (1) DE112017007243T5 (ja)
WO (1) WO2018167996A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021043115A (ja) * 2019-09-12 2021-03-18 株式会社東芝 画像処理装置、測距装置、方法及びプログラム
JP2025088215A (ja) * 2023-11-30 2025-06-11 財団法人車輌研究測試中心 自動運転引継ぎ判定方法及びそのシステム

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7313211B2 (ja) * 2019-07-03 2023-07-24 株式会社Fuji 組付機
JP7500714B2 (ja) * 2019-09-26 2024-06-17 スマート、アイ、アクチボラグ 画像センサーと対象領域との間の距離決定
JP7509157B2 (ja) * 2022-01-18 2024-07-02 トヨタ自動車株式会社 ドライバ監視装置、ドライバ監視用コンピュータプログラム及びドライバ監視方法
EP4372700B1 (en) * 2022-11-18 2025-12-24 Aptiv Technologies AG A system and method for interior sensing in a vehicle
JP7854963B2 (ja) * 2023-05-12 2026-05-07 株式会社日立ソリューションズ・クリエイト 画像解析装置及び画像解析方法
US20240428447A1 (en) * 2023-06-22 2024-12-26 Honeywell International S.R.O. System and method for detecting the positioning of a person relative to a seat
JP7871792B2 (ja) * 2023-12-07 2026-06-09 トヨタ自動車株式会社 安全装置及び制御方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007518970A (ja) * 2003-11-21 2007-07-12 シーメンス　コーポレイト　リサーチ　インコーポレイテツド ステレオ検出器を使用して乗員および頭部ポーズを検出するためのシステムおよび方法
US20140184748A1 (en) * 2013-01-02 2014-07-03 California Institute Of Technology Single-sensor system for extracting depth information from image blur
JP2015194884A (ja) * 2014-03-31 2015-11-05 パナソニックＩｐマネジメント株式会社 運転者監視システム
JP2016045713A (ja) * 2014-08-22 2016-04-04 株式会社デンソー 車載制御装置
JP2016110374A (ja) * 2014-12-05 2016-06-20 富士通テン株式会社 情報処理装置、情報処理方法、および、情報処理システム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7570785B2 (en) * 1995-06-07 2009-08-04 Automotive Technologies International, Inc. Face monitoring system and method for vehicular occupants
CN1937763A (zh) * 2005-09-19 2007-03-28 乐金电子（昆山）电脑有限公司 移动通讯终端机的困倦感知装置及其困倦驾驶感知方法
JP6140935B2 (ja) * 2012-05-17 2017-06-07 キヤノン株式会社 画像処理装置、画像処理方法、画像処理プログラム、および撮像装置
JP2014218140A (ja) 2013-05-07 2014-11-20 株式会社デンソー 運転者状態監視装置、および運転者状態監視方法
JP2015036632A (ja) * 2013-08-12 2015-02-23 キヤノン株式会社 距離計測装置、撮像装置、距離計測方法
JP6429444B2 (ja) * 2013-10-02 2018-11-28 キヤノン株式会社 画像処理装置、撮像装置及び画像処理方法
JP6056746B2 (ja) * 2013-12-18 2017-01-11 株式会社デンソー 顔画像撮影装置、および運転者状態判定装置
JP6273921B2 (ja) * 2014-03-10 2018-02-07 サクサ株式会社 画像処理装置
CN103905735B (zh) * 2014-04-17 2017-10-27 深圳市世尊科技有限公司 具有动态追拍功能的移动终端及其动态追拍方法
TWI537872B (zh) * 2014-04-21 2016-06-11 楊祖立 辨識二維影像產生三維資訊之方法
JP6372388B2 (ja) * 2014-06-23 2018-08-15 株式会社デンソー ドライバの運転不能状態検出装置
US9338363B1 (en) * 2014-11-06 2016-05-10 General Electric Company Method and system for magnification correction from multiple focus planes
CN105227847B (zh) * 2015-10-30 2018-10-12 上海斐讯数据通信技术有限公司 一种手机的相机拍照方法和系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007518970A (ja) * 2003-11-21 2007-07-12 シーメンス　コーポレイト　リサーチ　インコーポレイテツド ステレオ検出器を使用して乗員および頭部ポーズを検出するためのシステムおよび方法
US20140184748A1 (en) * 2013-01-02 2014-07-03 California Institute Of Technology Single-sensor system for extracting depth information from image blur
JP2015194884A (ja) * 2014-03-31 2015-11-05 パナソニックＩｐマネジメント株式会社 運転者監視システム
JP2016045713A (ja) * 2014-08-22 2016-04-04 株式会社デンソー 車載制御装置
JP2016110374A (ja) * 2014-12-05 2016-06-20 富士通テン株式会社 情報処理装置、情報処理方法、および、情報処理システム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021043115A (ja) * 2019-09-12 2021-03-18 株式会社東芝 画像処理装置、測距装置、方法及びプログラム
JP7170609B2 (ja) 2019-09-12 2022-11-14 株式会社東芝 画像処理装置、測距装置、方法及びプログラム
JP2025088215A (ja) * 2023-11-30 2025-06-11 財団法人車輌研究測試中心 自動運転引継ぎ判定方法及びそのシステム
JP7731959B2 (ja) 2023-11-30 2025-09-01 財団法人車輌研究測試中心 自動運転引継ぎ判定方法及びそのシステム

Also Published As

Publication number Publication date
DE112017007243T5 (de) 2019-12-12
US20200065595A1 (en) 2020-02-27
CN110199318B (zh) 2023-03-07
JP2018151931A (ja) 2018-09-27
JP6737212B2 (ja) 2020-08-05
CN110199318A (zh) 2019-09-03

Similar Documents

Publication Publication Date Title
JP6737212B2 (ja) 運転者状態推定装置、及び運転者状態推定方法
EP2360638B1 (en) Method, system and computer program product for obtaining a point spread function using motion information
JP6532229B2 (ja) 物体検出装置、物体検出システム、物体検出方法及びプログラム
JP6700872B2 (ja) 像振れ補正装置及びその制御方法、撮像装置、プログラム、記憶媒体
JP6712775B2 (ja) 路面推定装置、車両制御装置、路面推定方法、およびプログラム
JP6479272B1 (ja) 視線方向較正装置、視線方向較正方法および視線方向較正プログラム
EP3545818B1 (en) Sight line direction estimation device, sight line direction estimation method, and sight line direction estimation program
JP6375633B2 (ja) 車両周辺画像表示装置、車両周辺画像表示方法
JP2015118287A (ja) 顔画像撮影装置、および運転者状態判定装置
EP3679545A1 (en) Image processing device, image processing method, and program
JP5007863B2 (ja) ３次元物体位置計測装置
JP2010152026A (ja) 距離測定器及び物体移動速度測定器
WO2019068699A1 (en) METHOD FOR CLASSIFYING AN OBJECT POINT AS STATIC OR DYNAMIC, DRIVER ASSISTANCE SYSTEM, AND MOTOR VEHICLE
KR20140079947A (ko) 차량용 영상 녹화 장치 및 차량용 영상 녹화 방법
US20210258490A1 (en) Imaging device and control method therefor
JP2020060550A (ja) 異常検出装置、異常検出方法、姿勢推定装置、および、移動体制御システム
WO2018167995A1 (ja) 運転者状態推定装置、及び運転者状態推定方法
JP6971582B2 (ja) 状態検出装置、状態検出方法、及びプログラム
JP5498183B2 (ja) 行動検出装置
JP2019125894A (ja) 車載画像処理装置
JP2019007739A (ja) 自己位置推定方法及び自己位置推定装置
KR20170016143A (ko) 광계카메라를 이용한 차선 인식 시스템 및 방법
CN110235178A (zh) 驾驶员状态推定装置以及驾驶员状态推定方法
JP2019020171A (ja) 車幅検出装置、車幅検出方法、およびプログラム
JP5004923B2 (ja) 車両の運転支援装置

Legal Events

Date Code Title Description
DPE2 Request for preliminary examination filed before expiration of 19th month from priority date (pct application filed from 20040101)
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17900968

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17900968

Country of ref document: EP

Kind code of ref document: A1