WO2014181510A1 - 運転者状態監視装置、および運転者状態監視方法 - Google Patents

運転者状態監視装置、および運転者状態監視方法 Download PDF

Info

Publication number
WO2014181510A1
WO2014181510A1 PCT/JP2014/002249 JP2014002249W WO2014181510A1 WO 2014181510 A1 WO2014181510 A1 WO 2014181510A1 JP 2014002249 W JP2014002249 W JP 2014002249W WO 2014181510 A1 WO2014181510 A1 WO 2014181510A1
Authority
WO
WIPO (PCT)
Prior art keywords
driver
face
vehicle interior
head position
orientation
Prior art date
Application number
PCT/JP2014/002249
Other languages
English (en)
French (fr)
Inventor
真悟 井村
Original Assignee
株式会社デンソー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社デンソー filed Critical 株式会社デンソー
Publication of WO2014181510A1 publication Critical patent/WO2014181510A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/149—Instrument input by detecting viewing direction not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras

Definitions

  • the present disclosure relates to a driver state monitoring device that monitors a driver's state, and more particularly, to a technique for detecting an area that the driver is viewing.
  • the vehicle is equipped with various instruments necessary for driving.
  • various systems such as an air conditioning system, a navigation system, and an audio system
  • drivers in recent years tend to be required to learn various system operations in addition to driving the vehicle.
  • the following techniques have been proposed. For example, by detecting the driver's movement and line of sight from the driver's image taken with the in-vehicle camera, the device that the driver is trying to operate and the operation content for the device are estimated. And the technique which shows the driver
  • a driving state monitoring apparatus is a driving state monitoring apparatus provided in a vehicle interior of a vehicle provided with a face image capturing unit, and is based on a driver's face image captured by the face image capturing unit.
  • a head position detecting unit for detecting the driver's head position
  • a face direction detecting unit for detecting the driver's face direction based on the face image, the head position and the face direction
  • a specifying unit that specifies a vehicle interior region that is a region of the vehicle interior that the driver is viewing.
  • the driving state monitoring method captures a driver's face image, The driver's head position is detected based on the face image, the driver's face orientation is detected based on the face image, and the driving is performed based on the head position and the face orientation.
  • a vehicle interior region that is a region of the vehicle interior that the person is viewing is specified.
  • FIG. 1 is an explanatory diagram illustrating a rough configuration of the driver state monitoring apparatus according to the embodiment.
  • FIG. 2 is an explanatory diagram illustrating a detailed configuration of the driver state monitoring apparatus according to the embodiment.
  • FIG. 3 is a flowchart illustrating the vehicle interior region specifying process executed by the CPU of the embodiment.
  • FIG. 4 is an explanatory diagram illustrating a state in which the angle of the head position with respect to the near-infrared light camera of the embodiment is detected.
  • FIG. 5 is an explanatory diagram illustrating a state in which feature points are detected from the face area in the face image of the embodiment.
  • FIG. 6 is an explanatory diagram conceptually showing the three-dimensional space of the embodiment.
  • FIG. 1 is an explanatory diagram illustrating a rough configuration of the driver state monitoring apparatus according to the embodiment.
  • FIG. 2 is an explanatory diagram illustrating a detailed configuration of the driver state monitoring apparatus according to the embodiment.
  • FIG. 3 is a flowchart illustrating the vehicle interior region
  • FIG. 7A is an explanatory diagram illustrating a situation where the driver is viewing the outside of the vehicle at different head positions.
  • FIG. 7B is an explanatory diagram illustrating a situation where the driver is viewing the in-vehicle region at different head positions.
  • FIG. 8 is an explanatory diagram illustrating a state in which the driver's face orientation according to the first modification is converted into a reference face orientation.
  • FIG. 9A is an explanatory diagram conceptually showing the vehicle interior region specifying table of the first modified example.
  • FIG. 9B is an explanatory diagram illustrating a correspondence between an angle range and a viewing area in the vehicle interior area specifying table according to the first modification.
  • FIG. 10 is an explanatory diagram illustrating a state in which the driver's face orientation according to the second modification is converted into a reference face orientation.
  • FIG. 1 shows a rough configuration of the driver condition monitoring device 10.
  • the driver state monitoring apparatus 10 is provided in the vehicle 100, and images the driver's face regularly (for example, 30 times per second) with the near-infrared light camera 11 that captures images using near-infrared light. Thus, the driver's face image is acquired.
  • FIG. 2 shows a detailed configuration of the driver condition monitoring device 10.
  • the driver state monitoring device 10 is centered on the CPU 12 and is the above-described near-infrared light camera 11, the ROM 13 in which programs executed by the CPU 12 and the like are stored, and the work area of the CPU 12, and the near-infrared light camera 11 captures images.
  • a RAM 14 that stores the driver's face image, an output device 15 such as a display that outputs predetermined information, and the like are connected via a bus 16.
  • the CPU 12 executes a program stored in the ROM 13, thereby the vehicle interior area (the area where the room mirror is arranged and the display of the navigation system are arranged) that the driver is viewing.
  • FIG. 3 shows a flowchart of the vehicle interior region specifying process executed by the CPU 12 of the driver condition monitoring apparatus 10.
  • the vehicle interior region specifying process is started every predetermined time (for example, every 0.5 s) when a predetermined condition is satisfied (for example, when the start of the process is instructed by a driver's operation).
  • the CPU 12 captures the driver's face using the near-infrared light camera 11 and stores the captured face image in the RAM 14 (S100).
  • the CPU 12 reads the face image stored in the RAM 14 and performs various processes such as edge detection on the read face image, thereby occupying the area occupied by the face in the driver's face image (hereinafter referred to as “face”). Region ”) is detected (S102). Then, the CPU 12 detects the driver's head position based on the detected face area (S104). In this process, first, the angle of the head position with respect to the near-infrared light camera 11 is detected.
  • FIG. 4 is an explanatory diagram showing a state in which the angle of the head position with respect to the near-infrared light camera 11 is detected.
  • the angle of the head position with respect to the near-infrared light camera 11 corresponds to the position of the face area in the face image.
  • the driver's head is present above the center of the range that can be imaged by the near-infrared light camera 11, and is on the right side from the center in the face image.
  • the driver's head is on the right side of the center of the range that the near-infrared light camera 11 can capture.
  • the driver's head (the center position of the head) exists on one of the virtual straight lines extending radially from the near-infrared light camera 11 at various angles. Therefore, in the process of S104, first, the angle of a straight line (near-infrared light camera of the head position) where the head position (center position of the head) exists based on the position of the face area (center position of the face area) on the image. 11).
  • the “straight line where the head position exists” determined in this way is hereinafter referred to as a “head position straight line”.
  • the head position on the determined head position line is detected next.
  • the head position on the head position straight line corresponds to the distance from the near-infrared light camera 11 to the head position, that is, the size of the face area in the face image. Therefore, the distance from the near-infrared light camera 11 to the head position is detected based on the size of the face area in the face image.
  • the standard size of the face area when the driver's head position is at a predetermined distance from the near-infrared light camera 11 is stored, and the standard size is compared with the actual size of the face area.
  • the distance from the near-infrared light camera 11 to the head position is detected.
  • a position on the head position straight line that is separated from the near-infrared light camera 11 by the detected distance is detected as the head position.
  • Various methods can be employed for detecting the driver's head position.
  • a method of detecting the head position using a distance measuring sensor or a plurality of cameras can be used. Examples include a method of detecting the head position using parallax obtained by capturing an image.
  • FIG. 5 illustrates a state in which feature points are detected from a face image. As shown in FIG. 5, as the feature points, each part of the face on the face image (the eye head, the corner of the eye, the nose, the mouth, the ear, etc.) is detected.
  • the CPU 12 detects the direction of the driver's face based on the feature point (S108).
  • the orientation of the driver's face is detected based on the positional relationship between a plurality of feature points. For example, “A straight line passing through the nose feature point and the mouth feature point passes through the midpoint of the straight line connecting the two eye feature points, and the distance between the mouth feature point and the nose feature point is a specific distance.
  • “is” it is assumed that the direction of the face is the front.
  • the direction of the driver's face is detected.
  • a reference feature point is stored in advance, and the reference feature point and the actual feature point are actually stored. For example, a method of detecting the orientation of the face by comparing with the feature points.
  • the CPU 12 places the driver's virtual head in a three-dimensional space based on the head position and face orientation. Arrange (S110).
  • FIG. 6 is an explanatory diagram conceptually showing the three-dimensional space of this embodiment.
  • the ROM 13 of the present embodiment stores a three-dimensional space in which the constituent elements (area where the vehicle is arranged) constituting the passenger compartment are virtually formed by polygons. For example, as shown in the figure, a windshield, a room mirror, a navigation screen, and the like are virtually formed. Of course, each component of these cabins is arranged in a three-dimensional space so as to approximate the actual positional relationship of the components.
  • the CPU 12 determines that the straight line extending in the direction of the face of the head is a polygon that forms a component of the passenger compartment. It is determined whether or not they intersect (S112). Since the straight line extending in the direction of the face is the driver's line of sight, this determination process ultimately determines whether or not the driver is looking at any component in the passenger compartment. As a result, when the straight line extending in the direction of the face intersects with the polygon forming the component of the passenger compartment (S112: yes), the CPU 12 determines the region in which the component (of the passenger compartment formed by this polygon is disposed). ) Is identified as a region (vehicle interior region) in the vehicle compartment that the driver is viewing (S114).
  • the CPU 12 displays information corresponding to the vehicle interior area on the output device 15 (S116). For example, when the region where the “room mirror” is arranged is specified as the vehicle interior region, an operation method for changing the angle of the room mirror is output to the output device 15 (image output and audio output are performed).
  • the driver condition monitoring apparatus 10 determines the region in the passenger compartment that the driver is viewing based on the driver's head position in addition to the driver's face direction. Identify.
  • the problem in the case of determining the region of the passenger compartment that the driver is viewing based on only the face orientation out of the face orientation and the head position will be described.
  • FIG. 7A and FIG. 7B are explanatory diagrams for explaining problems in the case where the area of the passenger compartment that the driver is viewing is determined based only on the face direction.
  • the technique conventionally proposed for detecting the direction of the driver's line of sight is a technique for detecting which area outside the passenger compartment the driver is looking at. For example, this is a technique for determining whether the driver is looking at the direction of travel, a traffic light, or a sidewalk pedestrian while the vehicle is running.
  • the head position is changed to about several tens of centimeters by changing the posture in which the driver sits in the driver's seat.
  • the driver state monitoring device 10 of the present invention specifies the region in the passenger compartment that the driver is viewing based not only on the driver's face direction but also on the driver's head position. It is possible to specify the region in the passenger compartment that the driver is viewing with high accuracy.
  • the driver condition monitoring apparatus 10 of the present embodiment forms each component of the passenger compartment in a virtual three-dimensional space, and based on the driver's head position and face orientation in this three-dimensional space. Arrange a virtual head. And the component of the vehicle interior which the straight line extended in the direction of the face of a virtual head cross
  • the near-infrared light camera 11 captures a driver's face image. Therefore, the near-infrared light camera 11 is an embodiment of a “face image capturing unit”. Further, the CPU 12 detects the driver's head position based on the face image. Therefore, the CPU 12 is an embodiment of a “head position detection unit”. Further, the CPU 12 detects the direction of the driver's face based on the face image. Therefore, the CPU 12 is an embodiment of a “face orientation detection unit”. In addition, the ROM 13 stores a three-dimensional space in which components that form the passenger compartment are virtually formed. Therefore, the ROM 13 is an embodiment of a “three-dimensional space storage unit”.
  • the CPU 12 arranges the virtual head of the driver in a three-dimensional space based on the head position and the face orientation, and extends in the virtual head face orientation in the three-dimensional space.
  • the components of the vehicle compartment where the straight lines intersect are specified as the vehicle interior region. Therefore, the CPU 12 is an embodiment of the “specifying unit”.
  • the vehicle interior region is specified by arranging the virtual head of the driver in the three-dimensional space in which the vehicle interior components are virtually formed.
  • the vehicle interior region is specified by converting the face direction of the driver into the face direction at the “reference position”.
  • the CPU 12 detects the driver's head position and face orientation as in S100 to S106 shown in FIG.
  • the face orientation is converted into a face orientation at the “reference position” (hereinafter referred to as “reference face orientation”).
  • reference face orientation a predetermined position in a range that can be imaged by the near-infrared light camera 11 is determined in advance as a “reference position”.
  • FIG. 8 shows an explanatory diagram showing how the driver's face orientation is converted to the reference face orientation.
  • the ROM 13 stores the position of the near-infrared light camera 11 at the origin X (0, 0, 0), the vehicle traveling direction is the X axis, the horizontal direction is the Y axis, and the height.
  • a virtual three-dimensional space whose direction is the Z axis is stored in advance.
  • F (Xf, Yf, Zf) is a coordinate indicating the head position detected by the same processing as S104 in FIG. 3
  • a (Xa, Ya, Za) is shown in FIG. This is a unit vector indicating the orientation of the face detected by the same processing as S108.
  • B (Xb, Yb, Zb) is a coordinate indicating the reference position.
  • a sphere having a reference position B at the center and a radius R (hereinafter referred to as “determination sphere”) is arranged.
  • the spherical surface of the determination sphere (determination spherical surface) is formed in the vicinity of a region where the components of the vehicle compartment are present if the components of the virtual vehicle compartment are arranged (see FIG. 6). Therefore, the intersection P between the extension line of the face direction A (Xa, Ya, Za) and the determination spherical surface corresponds to a region (vehicle interior region) where the components of the vehicle cabin that the driver is viewing are present. Yes.
  • FIG. 9A conceptually shows a vehicle interior region specifying table in which a correspondence relationship between the rotation angle indicating the reference face direction and the vehicle interior region is set.
  • this vehicle interior region specifying table includes “a range of the rotation angle of the head (reference face direction)” and “ This is a data table set in association with “vehicle interior area (component of vehicle interior)”, and is stored in advance in a predetermined address of the ROM 13.
  • a vehicle interior region specifying table conceptually, a vehicle interior region corresponding to each reference face direction range is pasted on the determination spherical surface.
  • the determination ball having the radius R, the driver's head position F, the driver's face orientation A (face orientation at the head position), and the reference position B are set in a three-dimensional space.
  • the vector V indicating the reference face orientation (face orientation at the reference position B) is calculated.
  • the intersection P is a point on the extension line of the face direction A, it can be expressed as follows using the parameter t.
  • the distance between the reference position B and the intersection point P is R.
  • the value of t can be derived as follows.
  • the vector V indicating the reference face direction can be expressed as follows.
  • the vector V indicating the reference face direction is detected, the vector V is converted into a rotation angle (that is, a rotation angle indicating the reference face direction) in the horizontal (left and right) direction and the vertical (up and down) direction in the three-dimensional space.
  • a rotation angle that is, a rotation angle indicating the reference face direction
  • the orientation of the driver's face is converted into the orientation of the face at the reference position (reference face orientation).
  • an area (vehicle interior area) in which the components of the vehicle compartment that the driver is viewing is present is specified. That is, the vehicle interior region corresponding to the detected reference face orientation is specified with reference to the vehicle interior region specification table described above with reference to FIGS. 9A and 9B.
  • the vehicle interior region specification table described above with reference to FIGS. 9A and 9B.
  • the horizontal rotation angle of the reference face is in the range of ⁇ 62 ° to ⁇ 44 ° and the vertical rotation angle is in the range of ⁇ 12 ° to 4 °
  • the horizontal rotation angle for the reference face is in the range of ⁇ 24 ° to ⁇ 8 °
  • the vertical rotation angle is ⁇ 36 °.
  • the “navigation screen” display of the navigation system
  • the driver state monitoring apparatus 10 of the present modified example is based not only on the driver's face direction but also on the driver's head position. Identify indoor areas). As a result, it is possible to specify the region in the passenger compartment that the driver is viewing with high accuracy.
  • the orientation of the driver's face is converted into the orientation of the face at the reference position (reference face orientation) based on the driver's head position. Then, the vehicle interior region corresponding to the reference face orientation is specified with reference to the vehicle interior region specifying table. Therefore, by converting the driver's face orientation to the reference face orientation, it is possible to refer to a common correspondence (vehicle compartment region identification table) regardless of the driver's head position, thus saving storage capacity. Therefore, it is possible to reduce the processing load when specifying the vehicle interior region. (Second modification) In the first modification described above, the determination sphere is arranged in the three-dimensional space, and the intersection P between the determination sphere and the extension line of the face direction A is defined as the vehicle interior region.
  • a determination plane may be arranged in a three-dimensional space, and an intersection point Q between the determination plane and an extension line of the face direction A may be set as a vehicle interior region.
  • an intersection point Q between the determination plane and an extension line of the face direction A may be set as a vehicle interior region.
  • FIGS. 9A and 9B conceptually, the vehicle interior regions corresponding to the ranges of the reference face orientations are pasted on the determination plane. It will be in the state.
  • the ROM 13 stores a correspondence relationship between the reference face orientation, which is the face orientation when the head is located at a predetermined reference position in the vehicle interior, and the vehicle interior region as a vehicle interior region specifying table. Therefore, the ROM 13 is an embodiment of the “correspondence relationship storage unit”. Further, the CPU 12 converts the driver's face direction into a reference face direction based on the head position, and specifies the vehicle interior region by referring to the vehicle interior region specification table (correspondence) from the reference face orientation. . Therefore, the CPU 12 is an embodiment of the “specifying unit”.
  • driver state monitoring device 10 has been described above, but the present disclosure is not limited to the above-described embodiment and the modification, and may be implemented in various modes without departing from the gist thereof. be able to.
  • the vehicle interior area when the vehicle interior area is determined, information corresponding to the vehicle interior area is output. Not limited to this, once the vehicle interior region is determined, if the vehicle interior region is a room mirror, a right mirror, or a left mirror, these angles may be automatically adjusted. In the case of the navigation screen, the brightness of the navigation screen may be increased (for example, return from the power saving mode).
  • a driver state monitoring apparatus and a driver state monitoring method capture a driver's face image, and based on this face image, not only the driver's face direction but also the driver's face direction.
  • the head position is also detected. Then, based on both the detected face orientation and head position, the vehicle interior region that is the vehicle interior region that the driver is viewing is specified.
  • the technique conventionally proposed for detecting the direction of the driver's line of sight is a technique for detecting which area the driver is looking at outside the passenger compartment. For example, this is a technique for determining whether the driver is looking at the direction of travel, a traffic light, or a sidewalk pedestrian while the vehicle is running. In such a case, the object that the driver is looking at is about 10 meters away, so even if the driver sits in the driver's seat and moves the head position by several tens of centimeters, the line of sight is directed. The target is unlikely to change. Therefore, if the direction of the driver's line of sight (face direction) is known (even if the head position is not known), it is possible to accurately detect which region outside the passenger compartment the driver is viewing.
  • the device closer to the driver in the passenger compartment (set in the passenger compartment). Since it is necessary to specify that the line of sight is directed to a narrow area), if the driver's head position is different, there is a high possibility that the device (area) where the driver is pointing is also different. Therefore, if the region of the passenger compartment that the driver is looking at is determined from the direction of the driver's line of sight (face direction) without considering the head position of the driver, this specifying accuracy is lowered.
  • the driver condition monitoring device and the driver condition monitoring method of the present disclosure are based on not only the direction of the driver's face but also the area of the passenger compartment that the driver is viewing based on the driver's head position. Therefore, it is possible to specify the region in the passenger compartment that the driver is viewing with high accuracy.
  • the vehicle interior region corresponding to the face orientation (reference face orientation) at this time is determined. Since it can be specified, the correspondence between the reference face orientation and the vehicle interior region may be stored in advance. Then, the direction of the driver's face is converted into a reference face direction based on the driver's head position, and the vehicle interior region is specified by referring to the correspondence relationship from the reference face direction.
  • a three-dimensional space in which components (for example, a room mirror and a display) constituting the vehicle compartment are virtually formed may be stored in advance.
  • the driver's virtual head is arranged based on the driver's head position and face orientation, and straight lines extending from the virtual head to the face intersect. It is good also as specifying the component of the vehicle interior to carry out as a vehicle interior area.
  • the vehicle that the driver sees after recreating the positional relationship between the driver's head position in the real space and the components of the passenger compartment and the orientation of the driver's face in the three-dimensional space Since the indoor area (vehicle interior area) is specified, the vehicle interior area can be specified with high accuracy.
  • Embodiments and configurations of the present disclosure are not limited to the above-described embodiments and configurations, and various modifications are possible. Embodiments and configurations of the present disclosure also include a part of each of the above-described embodiments and configurations, and embodiments and configurations obtained by appropriately combining technical parts disclosed in different embodiments and configurations.

Landscapes

  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

　車載システムや車載ディスプレイ等の車室内の領域のうち、運転者が目視している領域を高精度で特定できる運転者状態監視装置を提供する。運転者状態監視装置は、顔画像撮像部（１１）によって撮像された運転者の顔画像に基づいて当該運転者の頭部位置を検出する頭部位置検出部（１２）と、顔画像に基づいて運転者の顔の向きを検出する顔向き検出部（１２）と、頭部位置と顔の向きとに基づいて、運転者が目視している車室内の領域である車室内領域を特定する特定部（１２）と、を備える。

Description

運転者状態監視装置、および運転者状態監視方法 関連出願の相互参照
　本出願は、２０１３年５月７日に出願された日本国特許出願２０１３－９８０１１－号に基づくものであり、これをここに参照により援用する。
　本開示は、運転者の状態を監視する運転者状態監視装置に関し、詳しくは運転者の目視している領域を検出する技術に関する。
　車両には運転に必要な様々な計器類が搭載されている。近年では、これらの計器類に加えて、運転を快適にするための様々なシステム（空調システムや、ナビゲーションシステム、オーディオシステムなど）が搭載されるようになっている。このため近年の運転者は、車両の運転以外にも様々なシステムの操作を覚える必要に迫られる傾向がある。
　そこで、運転者のこのような負担を軽減するために、次のような技術が提案されている。たとえば、車載カメラで撮影した運転者の画像から、運転者の動作や視線を検出することにより、運転者が操作しようとしている機器と、その機器に対する操作内容とを推定する。そして、推定した操作内容に関する情報を運転者に提示する技術が提案されている（特許文献１）。あるいは、運転者の視線が車載ディスプレイを向いていることを検出して、視線が車載ディスプレイを向いている場合には、運転者が運転に用いる補助情報を提示する技術も提案されている（特許文献２）。
特開２００８－２０１１４６号公報 特開２０１１－９８６１６号公報
　しかし、本願発明者の検討によれば、上記の提案されている何れの技術においても、運転者に対して常に適切な情報が提示できるとは限らない。すなわち、運転者が操作しようとしてある機器に視線を向けたときに別の機器についての情報が提示されたり、あるいは、運転者の視線が車載ディスプレイに向いているにも拘わらずディスプレイ上に補助情報が表示されなかったりする場合があった。そして、このような事態が生じるのは、運転者が視線を向けている機器を特定する精度が十分でないためであると考えられる。
　この開示は、上述した点に鑑みてなされたものであり、運転者が視線を向けている領域を精度良く特定することが可能な技術の提供を目的とする。
本開示の一例に係る運転状態監視装置は、顔画像撮像部が備えられた車両の車室内に設けられる運転状態監視装置であって、顔画像撮像部によって撮像された運転者の顔画像に基づいて当該運転者の頭部位置を検出する頭部位置検出部と、前記顔画像に基づいて前記運転者の顔の向きを検出する顔向き検出部と、前記頭部位置と前記顔の向きとに基づいて、前記運転者が目視している前記車室内の領域である車室内領域を特定する特定部と、を備える。
　また、本開示の一例に係る運転状態監視方法は、運転者の顔画像を撮像し、
前記顔画像に基づいて前記運転者の頭部位置を検出し、前記顔画像に基づいて前記運転者の顔の向きを検出し、前記頭部位置と前記顔の向きとに基づいて、前記運転者が目視している車室内の領域である車室内領域を特定する。
　このような運転状態監視装置および運転状態監視方法によれば、運転者が視線を向けている領域を精度良く特定することが可能となる。
図１は、実施例の運転者状態監視装置の大まかな構成を示す説明図である。 図２は、実施例の運転者状態監視装置の詳細な構成を示す説明図である。 図３は、実施例のＣＰＵが実行する車室内領域特定処理を示すフローチャートである。 図４は、実施例の近赤外光カメラに対する頭部位置の角度を検出する様子を示す説明図である。 図５は、実施例の顔画像における顔領域内から特徴点が検出される様子を示す説明図である。 図６は、実施例の３次元空間を概念的に示す説明図である。 図７Ａは、異なる頭部位置において運転者が車外を目視している様子を示す説明図である。 図７Ｂは、異なる頭部位置において運転者が車内領域を目視している様子を示す説明図である。 図８は、第１変形例の運転者の顔の向きを基準顔向きに変換する様子を示す説明図である。 図９Ａは、第１変形例の車室内領域特定テーブルを概念的に示す説明図である。 図９Ｂは、第１変形例の車室内領域特定テーブルにおける角度範囲と目視領域との対応を示す説明図である。 図１０は、第２変形例の運転者の顔の向きを基準顔向きに変換する様子を示す説明図である。
　以下では、運転者状態監視装置の実施例について説明する。
（装置構成）
　図１には、運転者状態監視装置１０の大まかな構成が示されている。運転者状態監視装置１０は車両１００に設けられており、近赤外光を用いて撮像する近赤外光カメラ１１で運転者の顔を定期的に（例えば１秒間に３０回）撮像することにより、運転者の顔画像を取得している。
　図２には、運転者状態監視装置１０の詳細な構成が示されている。運転者状態監視装置１０は、ＣＰＵ１２を中心として、上述した近赤外光カメラ１１、ＣＰＵ１２が実行するプログラム等が記憶されているＲＯＭ１３、ＣＰＵ１２の作業領域であるとともに近赤外光カメラ１１によって撮像された運転者の顔画像が記憶されるＲＡＭ１４、所定の情報が出力されるディプレイ等の出力装置１５等が、バス１６を介して接続されている。運転者状態監視装置１０では、ＣＰＵ１２がＲＯＭ１３に記憶されているプログラムを実行することによって、運転者が目視している車室内の領域（ルームミラーが配置された領域や、ナビゲーションシステムのディスプレイが配置された領域等、以下「車室内領域」という）を特定する処理（車室内領域特定処理）が行われる。
（車室内領域特定処理）
　図３には、運転者状態監視装置１０のＣＰＵ１２が実行する車室内領域特定処理のフローチャートが示されている。本実施例の車室内領域特定処理は所定の条件が成立している場合（たとえば運転者操作によって処理の起動が指示されている場合）に所定時間毎（たとえば０．５ｓ毎）に起動される。ＣＰＵ１２は、車室内領域特定処理を開始すると、近赤外光カメラ１１を利用して運転者の顔を撮像するとともに、撮像された顔画像をＲＡＭ１４に記憶する（Ｓ１００）。続いて、ＣＰＵ１２は、ＲＡＭ１４に記憶された顔画像を読み出して、読み出した顔画像に対してエッジ検出等の各種処理を施すことによって、運転者の顔画像中の顔が占める領域（以下「顔領域」という）を検出する（Ｓ１０２）。そして、ＣＰＵ１２は、検出した顔領域に基づいて、運転者の頭部位置を検出する（Ｓ１０４）。この処理では先ず、近赤外光カメラ１１に対する頭部位置の角度を検出する。
　図４には、近赤外光カメラ１１に対する頭部位置の角度を検出する様子を示す説明図が示されている。図４に示すように、近赤外光カメラ１１に対する頭部位置の角度は、顔画像中の顔領域の位置に対応している。たとえば、顔画像中の中心より上側に顔領域が存在する場合は、近赤外光カメラ１１が撮像可能な範囲の中心より上側に運転者の頭部が存在し、顔画像中の中心より右側に顔領域が存在する場合は、近赤外光カメラ１１が撮像可能な範囲の中心より右側に運転者の頭部が存在する。また、運転者の頭部（頭部の中心位置）は、近赤外光カメラ１１から種々の角度で放射状に延びる仮想的な直線のうち、何れかの直線上に存在する。そこで、Ｓ１０４の処理では先ず、画像上の顔領域の位置（顔領域の中心位置）に基づき頭部位置（頭部の中心位置）が存在する直線の角度（頭部位置の近赤外光カメラ１１に対する角度）を決定する。尚、こうして決定された「頭部位置が存在する直線」を以下では「頭部位置直線」という。
　上述した処理では、頭部位置が頭部位置直線上に存在することは検出しているものの、頭部位置直線上の何れの位置に頭部位置が存在するか（頭部位置直線上の頭部位置）は未だ検出できていない。そこで、Ｓ１０４の処理では次に、決定した頭部位置直線上の頭部位置を検出する。頭部位置直線上の頭部位置は、近赤外光カメラ１１から頭部位置までの距離、すなわち、顔画像中の顔領域の大きさに対応している。そこで、顔画像中の顔領域の大きさに基づいて、近赤外光カメラ１１から頭部位置までの距離を検出する。たとえば、運転者の頭部位置が近赤外光カメラ１１から所定の距離に存在する場合の顔領域の標準大きさを記憶しておき、この標準大きさと実際の顔領域の大きさとを比較することによって、近赤外光カメラ１１から頭部位置までの距離を検出する。そして、この検出した距離だけ近赤外光カメラ１１から離れた、頭部位置直線上の位置を頭部位置として検出する。
　尚、運転者の頭部位置の検出には、種々の方法を採用することができ、上述した方法以外にも、測距センサを用いて頭部位置を検出する方法や、複数のカメラで顔画像を撮像することで得られる視差を利用して頭部位置を検出する方法等が例示できる。
　こうして、運転者の頭部位置を検出したら（Ｓ１０４）、ＣＰＵ１２は、ＲＡＭ１４に記憶された顔画像を読み出して、読み出した顔画像に対してエッジ検出等の各種処理を施すことによって、特徴点を検出する（Ｓ１０６）。図５には、顔画像から特徴点が検出される様子が例示されている。図５に示すように、特徴点としては、顔画像上の顔の各部位（目頭、目尻、鼻、口、耳など）が検出される。
　こうして、顔画像から特徴点を検出したら、ＣＰＵ１２は、この特徴点に基づいて運転者の顔の向きを検出する（Ｓ１０８）。運転者の顔の向きは、複数の特徴点の位置関係に基づいて検出する。たとえば、「２つの目頭の特徴点を結ぶ直線の中点を鼻の特徴点と口の特徴点とを通過する直線が通過し、口の特徴点と鼻の特徴点との距離が特定の距離である場合」を、顔の向きが正面であるとする。そして、「顔の向きが正面である場合の特徴点（あるいは複数の特徴点の位置関係）」に対する「実際に検出された特徴点（あるいは複数の特徴点の位置関係）」の変位量に基づいて、運転者の顔の向きを検出する。
　尚、運転者の顔の向きの検出には、種々の方法を採用することができ、上述した方法以外にも、基準となる特徴点を予め記憶しておき、この基準となる特徴点と実際の特徴点とを比較することによって顔の向きを検出する方法等が例示できる。
　こうして、運転者の頭部位置および顔の向きを検出したら（Ｓ１０４，Ｓ１０８）、ＣＰＵ１２は、この頭部位置と顔の向きとに基づいて、運転者の仮想的な頭部を３次元空間に配置する（Ｓ１１０）。
　図６には、本実施例の３次元空間を概念的に示す説明図が示されている。本実施例のＲＯＭ１３には、車室を構成する構成要素（が配置された領域）がポリゴンによって仮想的に形成された３次元空間が記憶されている。たとえば、図示されているように、フロントガラスや、ルームミラー、ナビ画面等が仮想的に形成されている。もちろん、これらの車室の各構成要素は、現実の構成要素の位置関係と近似するように、３次元空間に配置されている。
　図６に示すように、３次元空間に運転者の仮想的な頭部を配置したら（Ｓ１１０）、ＣＰＵ１２は、該頭部の顔の向きに延びる直線が車室の構成要素を形成するポリゴンと交差するか否かを判断する（Ｓ１１２）。顔の向きに延びる直線は運転者の視線であることから、この判断処理では結局のところ、運転者が車室の何れかの構成要素を目視しているか否かが判断される。その結果、顔の向きに延びる直線が車室の構成要素を形成するポリゴンと交差する場合は（Ｓ１１２：ｙｅｓ）、ＣＰＵ１２は、このポリゴンによって形成される車室の構成要素（が配置された領域）を運転者が目視している車室内の領域（車室内領域）として特定する（Ｓ１１４）。
　こうして、運転者が目視している車室内の領域（車室内領域）を特定したら、ＣＰＵ１２は、該車室内領域に対応する情報を出力装置１５に表示する（Ｓ１１６）。たとえば、「ルームミラー」が配置された領域が車室内領域として特定された場合は、ルームミラーの角度を変更するための操作方法を出力装置１５に出力する（画像出力や音声出力を行う）。
　以上のように、本実施例の運転者状態監視装置１０は、運転者の顔の向きに加えて、運転者の頭部位置にも基づいて、運転者が目視している車室内の領域を特定する。ここで、顔の向きと頭部位置のうち、顔の向きだけに基づいて運転者が目視している車室内の領域を判定する場合の問題点について説明する。
　図７Ａおよび図７Ｂは、顔の向きだけに基づいて運転者が目視している車室の領域を判定する場合の問題点を説明するための説明図である。運転者の視線の向きを検出するために従来から提案されている技術は、運転者が車室外の何れの領域を見ているかを検出する技術であった。たとえば、車両の走行中に運転者が進行方向を見ているのか、信号機を見ているのか、あるいは側道の歩行者を見ているのかといったことを判断するための技術であった。このような場合は、図７Ａに示すように、運転者が見ている対象は１０メートル程度、遠方にあるので、運転者が運転席に座る姿勢を変えて頭部位置を数十センチメートル程度移動させても、視線を向けている対象が変わる可能性は低い。従って、運転者の視線の向き（顔の向き）が分かれば（頭部位置は分からなくても）、運転者が車室外の何れの領域を目視しているかを精度良く検出することができる。
　これに対して、運転者が視線を向けている車室内の機器（運転者が目視している車室内の領域）を特定する場合は、車室内の運転者から近い機器（車室内に設定された狭い領域）に視線を向けていることを特定する必要があるため、運転者の頭部位置が異なると、運転者が視線を向けている機器（領域）も異なる可能性が高い。すなわち、図７Ｂに示すように、頭部位置が異なっていれば顔の向きが同じであっても運転者が目視している領域が異なるので、車室内領域を誤って判定する可能性が高くなる。この点、本発明の運転者状態監視装置１０は、運転者の顔の向きだけでなく運転者の頭部位置にも基づいて、運転者が目視している車室内の領域を特定するので、運転者が目視している車室内の領域を高精度で特定することが可能となる。
　また、本実施例の運転者状態監視装置１０は、仮想的な３次元空間に車室の各構成要素を形成して、この３次元空間に運転者の頭部位置および顔の向きに基づいて仮想的な頭部を配置する。そして、仮想的な頭部の顔の向きに延びる直線が交差した車室の構成要素を車室内領域として特定する。こうすれば、現実空間における運転者の頭部位置と車室の構成要素との位置関係や、運転者の顔の向きを、３次元空間内に再現した上で運転者が目視している車室内の領域（車室内領域）を特定するので、車室内領域を高精度で特定することが可能となる。
　尚、近赤外光カメラ１１は運転者の顔画像を撮像する。したがって、近赤外光カメラ１１は「顔画像撮像部」の一実施形態である。また、ＣＰＵ１２は、顔画像に基づいて運転者の頭部位置を検出する。したがって、ＣＰＵ１２は「頭部位置検出部」の一実施形態である。また、ＣＰＵ１２は、顔画像に基づいて運転者の顔の向きを検出する。したがって、ＣＰＵ１２は「顔向き検出部」の一実施形態である。また、ＲＯＭ１３は、車室を形成する構成要素が仮想的に形成された３次元空間を記憶する。したがって、ＲＯＭ１３は「３次元空間記憶部」の一実施形態である。また、ＣＰＵ１２は、頭部位置と顔の向きとに基づいて運転者の仮想的な頭部を３次元空間に配置し、該３次元空間において、該仮想的な頭部の顔の向きに延びる直線が交差する車室の構成要素を車室内領域として特定する。したがって、ＣＰＵ１２は「特定部」の一実施形態である。
（第１変形例）
　上述した実施例では、車室の構成要素が仮想的に形成された３次元空間に、運転者の仮想的な頭部を配置することによって車室内領域を特定する構成とした。第１変形例では、運転者の顔の向きを「基準位置」での顔の向きに変換することによって車室内領域を特定する。
　第１変形例でもＣＰＵ１２は、図３に示すＳ１００～Ｓ１０６と同様に、運転者の頭部位置および顔の向きを検出する。そして、運転者の頭部位置および顔の向きを検出したら、この顔の向きを「基準位置」での顔の向き（以下「基準顔向き」という）に変換する。本変施例では、近赤外光カメラ１１よって撮像可能な範囲中の所定の位置が「基準位置」として予め定められている。
　図８には、運転者の顔の向きを基準顔向きに変換する様子を示す説明図が示されている。図８に示すように、本実施例では、ＲＯＭ１３に、近赤外光カメラ１１の位置を原点Ｘ（０，０，０）として車両の進行方向をＸ軸、左右方向をＹ軸、高さ方向をＺ軸とする仮想的な３次元空間が予め記憶されている。
　図８に示す３次元空間において、Ｆ（Ｘｆ，Ｙｆ，Ｚｆ）は図３のＳ１０４と同様の処理で検出された頭部位置を示す座標であり、Ａ（Ｘａ，Ｙａ，Ｚａ）は図３のＳ１０８と同様の処理で検出された顔の向きを示す単位ベクトルである。また、Ｂ（Ｘｂ，Ｙｂ，Ｚｂ）は基準位置を示す座標である。
　また、この３次元空間には、中心が基準位置Ｂで半径がＲの球（以下「判定球」という）が配置されている。この判定球の球面（判定球面）は、仮想的な車室の構成要素を配置するとしたら（図６参照）、該車室の構成要素が存在することとなる領域の近傍に形成されている。したがって、顔の向きＡ（Ｘａ，Ｙａ，Ｚａ）の延長線と判定球面との交点Ｐは、運転者が目視している車室の構成要素が存在する領域（車室内領域）に対応している。
　図９Ａには、基準顔向きを示す回転角度と車室内領域との対応関係が設定された車室内領域特定テーブルが概念的に示されている。図９Ｂに示すように、この車室内領域特定テーブルは、実際に基準位置で車室の各構成要素を目視することで得られた「頭部の回転角度（基準顔向き）の範囲」と「車室内領域（車室の構成要素）」とを対応付けて設定されたデータテーブルであり、予めＲＯＭ１３の所定アドレスに記憶されている。このような車室内領域特定テーブルを記憶することにより、概念的には、各基準顔向きの範囲に対応する車室内領域が判定球面に貼り付けられている状態となる。
　以上のように、半径Ｒの判定球、運転者の頭部位置Ｆ、運転者の顔の向きＡ（頭部位置での顔の向き）、基準位置Ｂが３次元空間に設定された状態で、基準顔向き（基準位置Ｂでの顔の向き）を示すベクトルＶを算出する。まず、交点Ｐは顔の向きＡの延長線上の点であるので、媒介変数ｔを用いて次のように表現できる。
Figure JPOXMLDOC01-appb-M000001
 　また、交点Ｐは判定球面上に存在するため、基準位置Ｂと交点Ｐとの距離はＲである。
Figure JPOXMLDOC01-appb-M000002
 　そして、（１）、（２）式より、
Figure JPOXMLDOC01-appb-M000003
 　この結果、ｔの値は、次のように導き出すことができる。
Figure JPOXMLDOC01-appb-M000004
 　もっとも、後を振り返る場合は考慮する必要はないのでｔ＞０となるｔを選択する。
Figure JPOXMLDOC01-appb-M000005
 　したがって、基準顔向きを示すベクトルＶは、次のように表すことができる。
Figure JPOXMLDOC01-appb-M000006
 　こうして、基準顔向きを示すベクトルＶを検出したら、このベクトルＶを３次元空間における水平（左右）方向および垂直（上下）方向の回転角度（すなわち、基準顔向きを示す回転角度）に変換する。以上のようにして、運転者の顔の向きを、基準位置での顔の向き（基準顔向き）に変換する。
　続いて、基準顔向きを示す回転角度に基づいて、運転者が目視している車室の構成要素が存在する領域（車室内領域）を特定する。すなわち、図９Ａ，Ｂに例示された前述した車室内領域特定テーブルを参照して、検出した基準顔向きに対応する車室内領域を特定する。例えば、図６に示すように、基準顔向きの水平方向の回転角度が－６２°～－４４°の範囲であり、垂直方向の回転角度が－１２°～４°の範囲である場合は（図中Ｅの範囲）、車室内領域として「ルームミラー」が特定され、基準顔向きの水平方向の回転角度が－２４°～－８°の範囲であり、垂直方向の回転角度が－３６°～－２８°の範囲である場合は、車室内領域として「ナビ画面」（ナビゲーションシステムのディスプレイ）が特定される。
　こうして、運転者の車室内領域を判定したら、図３を用いて前述したＳ１１６の処理と同様に、当該車室内領域に対応する情報を出力装置１５に表示する。当然ながら、基準顔向きに対応する構成要素が存在しない場合は、この表示処理は省略される。
　以上のように、本変形例の運転者状態監視装置１０は、運転者の顔の向きだけでなく運転者の頭部位置にも基づいて、運転者が目視している車室内の領域（車室内領域）を特定する。この結果、運転者が目視している車室内の領域を高精度で特定することが可能となる。
　また、運転者の顔の向きを運転者の頭部位置に基づいて基準位置での顔の向き（基準顔向き）に変換する。そして、車室内領域特定テーブルを参照して基準顔向きに対応する車室内領域を特定する。したがって、運転者の顔の向きを基準顔向きに変換することで、運転者の頭部位置にかかわらず共通の対応関係（車室内領域特定テーブル）を参照することができるので、記憶容量を節約することができ、車室内領域を特定する際の処理負担を軽減することが可能となる。
（第２変形例）
　上述した第１変形例では、３次元空間に判定球を配置して、判定球と顔の向きＡの延長線との交点Ｐを車室内領域とした。これに限らず、図１０に示すように、３次元空間に判定平面を配置して、判定平面と顔の向きＡの延長線との交点Ｑを車室内領域としてもよい。もちろんこの場合は、図９Ａ，Ｂに例示された前述した車室内領域特定テーブルを記憶することにより、概念的には、各基準顔向きの範囲に対応する車室内領域が判定平面に貼り付けられている状態となる。
　尚、ＲＯＭ１３は、車室内の所定の基準位置に頭部がある場合の顔の向きである基準顔向きと車室内領域との対応関係を車室内領域特定テーブルとして記憶している。したがって、ＲＯＭ１３は「対応関係記憶部」の一実施形態である。また、ＣＰＵ１２は、運転者の顔の向きを頭部位置に基づいて基準顔向きに変換し、該基準顔向きから車室内領域特定テーブル（対応関係）を参照することによって車室内領域を特定する。したがって、ＣＰＵ１２は「特定部」の一実施形態である。
　以上、本実施例および変形例の運転者状態監視装置１０について説明したが、本開示は上記の実施例および変形例に限られるものではなく、その要旨を逸脱しない範囲において種々の態様で実施することができる。
　例えば、上述した実施例および変形例では、車室内領域を判定したら該車室内領域に対応する情報を出力することとした。これに限らず、車室内領域を判定したら、該車室内領域がルームミラーや、右ミラー、左ミラーであれば、これらの角度を自動的に調節することとしても良いし、該車室内領域がナビ画面であれば、ナビ画面の輝度を高くする（例えば節電モードからの復帰）こととしてもよい。
　本開示によれば、様々な態様の運転者状態監視装置および運転者状態監視方法を提供できる。例えば、本開示の一例に係る運転者状態監視装置および運転者状態監視方法は、運転者の顔画像を撮像して、この顔画像に基づいて、運転者の顔の向きだけでなく、運転者の頭部位置も検出する。そして、検出した顔の向きと頭部位置との両方に基づいて、運転者が目視している車室内の領域である車室内領域を特定する。
　運転者の視線の向きを検出するために従来から提案されている技術は、運転者が車室外の何れの領域を見ているかを検出する技術であった。たとえば、車両の走行中に運転者が進行方向を見ているのか、信号機を見ているのか、あるいは側道の歩行者を見ているのかといったことを判断するための技術であった。このような場合、運転者が見ている対象は１０メートル程度、遠方にあるので、運転者が運転席に座る姿勢を変えて頭部位置を数十センチメートル程度移動させても、視線を向けている対象が変わる可能性は低い。従って、運転者の視線の向き（顔の向き）が分かれば（頭部位置は分からなくても）、運転者が車室外の何れの領域を目視しているかを精度良く検出することができる。
　これに対して、運転者が視線を向けている車室内の機器（運転者が目視している車室内の領域）を特定する場合は、車室内の運転者から近い機器（車室内に設定された狭い領域）に視線を向けていることを特定する必要があるため、運転者の頭部位置が異なると、運転者が視線を向けている機器（領域）も異なる可能性が高い。従って、運転者の頭部位置は考慮せずに、運転者の視線の向き（顔の向き）から運転者が目視している車室内の領域を特定すると、この特定精度が低くなってしまう。この点、本開示の運転者状態監視装置および運転者状態監視方法は、運転者の顔の向きだけでなく運転者の頭部位置にも基づいて、運転者が目視している車室内の領域を特定するので、運転者が目視している車室内の領域を高精度で特定することが可能となる。
　また、上述した本開示の運転者状態監視装置においては、車室内の頭部の位置が基準位置にあると仮定すれば、このときの顔の向き（基準顔向き）に対応する車室内領域を特定できるので、この基準顔向きと車室内領域との対応関係を予め記憶しておいてもよい。そして、運転者の顔の向きを運転者の頭部位置に基づいて基準顔向きに変換し、基準顔向きから対応関係を参照することによって車室内領域を特定する。
　こうすれば、運転者の顔の向きを基準顔向きに変換することで、運転者の頭部位置にかかわらず共通の対応関係を参照することができるので、記憶容量を節約することができるとともに、車室内領域を特定する際の処理負担を軽減することが可能となる。
　また、上述した本開示の運転状態監視装置においては、車室を構成する構成要素（例えば、ルームミラーやディスプレイ等）が仮想的に形成された３次元空間を予め記憶しておいてもよい。そして、この３次元空間内に、運転者の頭部位置と顔の向きとに基づいて運転者の仮想的な頭部を配置し、該仮想的な頭部から顔の向きに延びる直線が交差する車室の構成要素を車室内領域として特定することとしてもよい。
　こうすれば、現実空間における運転者の頭部位置と車室の構成要素との位置関係や、運転者の顔の向きを、３次元空間内に再現した上で運転者が目視している車室内の領域（車室内領域）を特定するので、車室内領域を高精度で特定することが可能となる。
　なお、本開示の実施形態や構成は、上述した各実施形態や構成に限定されるものではなく、種々の変更が可能である。上述した各実施形態や構成の一部、並びに、異なる実施形態や構成にそれぞれ開示された技術的部位を適宜組み合わせて得られる実施形態や構成についても本開示の実施形態や構成に含まれる。
 

Claims (5)

  1. 　顔画像撮像部（１１）が備えられた車両の車室内に設けられて、
    　前記顔画像撮像部（１１）によって撮像された運転者の顔画像に基づいて当該運転者の頭部位置を検出する頭部位置検出部（１２）と、
    　前記顔画像に基づいて前記運転者の顔の向きを検出する顔向き検出部（１２）と、
    　前記頭部位置と前記顔の向きとに基づいて、前記運転者が目視している前記車室内の領域である車室内領域を特定する特定部（１２）と
    　を備える運転者状態監視装置。
  2. 　請求項１に記載の運転状態監視装置であって、
    　前記車室内の所定の基準位置に頭部がある場合の顔の向きである基準顔向きと前記車室内領域との対応関係を記憶している対応関係記憶部（１３）を備え、
    　前記特定部（１２）は、前記顔の向きを前記頭部位置に基づいて前記基準顔向きに変換し、該基準顔向きから前記対応関係を参照することによって前記車室内領域を特定する運転状態監視装置。
  3. 　請求項１に記載の運転状態監視装置であって、
    　前記車室を構成する構成要素が仮想的に形成された３次元空間を記憶している３次元空間記憶部（１３）を備え、
    　前記特定部（１２）は、前記頭部位置と前記顔の向きとに基づいて前記運転者の仮想的な頭部を前記３次元空間に配置し、該３次元空間において、該仮想的な頭部の顔の向きに延びる直線が交差する前記構成要素を前記車室内領域として特定する運転状態監視装置。
  4. 　請求項１ないし４に記載の運転状態監視装置であって、
    　前記顔画像撮像部（１１）を備える運転状態監視装置。
  5. 　運転者の顔画像を撮像することと、
    　前記顔画像に基づいて前記運転者の頭部位置を検出することと、
    　前記顔画像に基づいて前記運転者の顔の向きを検出することと、
    　前記頭部位置と前記顔の向きとに基づいて、前記運転者が目視している車室内の領域である車室内領域を特定することと
    　を備える運転者状態監視方法。
PCT/JP2014/002249 2013-05-07 2014-04-22 運転者状態監視装置、および運転者状態監視方法 WO2014181510A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013098011A JP2014218140A (ja) 2013-05-07 2013-05-07 運転者状態監視装置、および運転者状態監視方法
JP2013-098011 2013-05-07

Publications (1)

Publication Number Publication Date
WO2014181510A1 true WO2014181510A1 (ja) 2014-11-13

Family

ID=51867001

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/002249 WO2014181510A1 (ja) 2013-05-07 2014-04-22 運転者状態監視装置、および運転者状態監視方法

Country Status (2)

Country Link
JP (1) JP2014218140A (ja)
WO (1) WO2014181510A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110235178A (zh) * 2017-03-14 2019-09-13 欧姆龙株式会社 驾驶员状态推定装置以及驾驶员状态推定方法
CN110781799A (zh) * 2019-10-22 2020-02-11 上海商汤智能科技有限公司 车舱内图像处理方法及装置
CN111801248A (zh) * 2018-03-15 2020-10-20 五十铃自动车株式会社 检测装置及检测系统

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112017007011B4 (de) 2017-03-10 2021-11-04 Mitsubishi Electric Corporation Gesichtsrichtungsschätzvorrichtung und Gesichtsrichtungsschätzverfahren
JP6708152B2 (ja) 2017-03-14 2020-06-10 オムロン株式会社 運転者状態推定装置、及び運転者状態推定方法
JP6737212B2 (ja) 2017-03-14 2020-08-05 オムロン株式会社 運転者状態推定装置、及び運転者状態推定方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001175992A (ja) * 1999-12-14 2001-06-29 Mazda Motor Corp 車両用表示装置
JP2005066023A (ja) * 2003-08-25 2005-03-17 Nissan Motor Co Ltd 運転者状態検出装置
JP2007249352A (ja) * 2006-03-14 2007-09-27 Omron Corp 情報処理装置および方法、記録媒体、並びに、プログラム
JP5120249B2 (ja) * 2006-03-15 2013-01-16 オムロン株式会社 監視装置および監視方法、制御装置および制御方法、並びにプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001175992A (ja) * 1999-12-14 2001-06-29 Mazda Motor Corp 車両用表示装置
JP2005066023A (ja) * 2003-08-25 2005-03-17 Nissan Motor Co Ltd 運転者状態検出装置
JP2007249352A (ja) * 2006-03-14 2007-09-27 Omron Corp 情報処理装置および方法、記録媒体、並びに、プログラム
JP5120249B2 (ja) * 2006-03-15 2013-01-16 オムロン株式会社 監視装置および監視方法、制御装置および制御方法、並びにプログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110235178A (zh) * 2017-03-14 2019-09-13 欧姆龙株式会社 驾驶员状态推定装置以及驾驶员状态推定方法
CN111801248A (zh) * 2018-03-15 2020-10-20 五十铃自动车株式会社 检测装置及检测系统
CN110781799A (zh) * 2019-10-22 2020-02-11 上海商汤智能科技有限公司 车舱内图像处理方法及装置
CN110781799B (zh) * 2019-10-22 2022-01-28 上海商汤智能科技有限公司 车舱内图像处理方法及装置

Also Published As

Publication number Publication date
JP2014218140A (ja) 2014-11-20

Similar Documents

Publication Publication Date Title
WO2014181510A1 (ja) 運転者状態監視装置、および運転者状態監視方法
US10726576B2 (en) System and method for identifying a camera pose of a forward facing camera in a vehicle
US10183621B2 (en) Vehicular image processing apparatus and vehicular image processing system
EP3394833B1 (en) Dynamic image blending for multiple-camera vehicle systems
JP4899424B2 (ja) 物体検出装置
US9499099B2 (en) Motor vehicle having a camera monitoring system
CN106537904B (zh) 具有环境监测装置的车辆以及用于运行这种监测装置的方法
KR20160072190A (ko) 사발형 영상 시스템
JP2009060499A (ja) 運転支援システム及び連結車両
US9682655B2 (en) Method and device for operating a vehicle
EP3051807A1 (en) Predicted-route presentation device and predicted-route presentation method
US9162621B2 (en) Parking support apparatus
EP3633619B1 (en) Position detection apparatus and position detection method
JP2013168063A (ja) 画像処理装置、画像表示システム及び画像処理方法
CN105793909B (zh) 用于借助车辆周围环境的通过摄像机采集的两个图像产生警告的方法和设备
JP5539250B2 (ja) 接近物体検知装置及び接近物体検知方法
JP6669182B2 (ja) 乗員監視装置
TW201526638A (zh) 車用障礙物偵測顯示系統
EP3082069A1 (en) Stereoscopic object detection device and stereoscopic object detection method
US20220314886A1 (en) Display control device, display control method, moving body, and storage medium
JP2015154125A (ja) 車両周辺画像表示装置、車両周辺画像表示方法
JP2012022646A (ja) 視線方向検出装置、視線方向検出方法及び安全運転評価システム
JP2012116400A (ja) コーナーポール投影装置
US10933812B1 (en) Outside-vehicle environment monitoring apparatus
CN108973858A (zh) 用于确保行驶路线安全的装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14795048

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14795048

Country of ref document: EP

Kind code of ref document: A1