JP6702226B2 - Driver monitoring device - Google Patents

Driver monitoring device Download PDF

Info

Publication number
JP6702226B2
JP6702226B2 JP2017032296A JP2017032296A JP6702226B2 JP 6702226 B2 JP6702226 B2 JP 6702226B2 JP 2017032296 A JP2017032296 A JP 2017032296A JP 2017032296 A JP2017032296 A JP 2017032296A JP 6702226 B2 JP6702226 B2 JP 6702226B2
Authority
JP
Japan
Prior art keywords
driver
vibration
monitoring
unit
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017032296A
Other languages
Japanese (ja)
Other versions
JP2018136848A (en
Inventor
貴祥 藤澤
貴祥 藤澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2017032296A priority Critical patent/JP6702226B2/en
Publication of JP2018136848A publication Critical patent/JP2018136848A/en
Application granted granted Critical
Publication of JP6702226B2 publication Critical patent/JP6702226B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Description

本開示は、車両の運転者を監視する運転者監視装置に関する。   The present disclosure relates to a driver monitoring device that monitors a driver of a vehicle.

特許文献1には、車両の運転者の顔をカメラで撮影し、車両の運転者の居眠りや脇見等を検出する運転者監視装置が記載されている。   Patent Document 1 describes a driver monitoring device that captures the face of a driver of a vehicle with a camera and detects the driver's drowsiness, looking aside, and the like.

特開2000−60799号公報JP 2000-60799 A

カメラにより撮影された撮影画像の全領域のうち、直近で撮影された撮影画像において運転者の顔が写っている領域の周囲のみを、運転者を監視する監視領域として限定することにより、処理負荷を低減する技術が知られている。   The processing load is limited by limiting only the area around the area where the driver's face is shown in the most recently captured image out of the entire area of the captured image captured by the camera as the monitoring area for monitoring the driver. Techniques for reducing the above are known.

しかし、このように監視領域を限定すると、車両の走行中に振動が発生した場合に、監視領域から運転者の顔が外れてしまうことがある。このため、運転者を認識する精度が低下してしまう恐れがあった。   However, if the monitoring area is limited in this way, the driver's face may come off the monitoring area when vibration occurs while the vehicle is traveling. Therefore, the accuracy of recognizing the driver may decrease.

本開示は、運転者を認識する精度の低下を抑制することを目的とする。   The present disclosure aims to suppress a decrease in accuracy of recognizing a driver.

本開示の一態様は、画像取得部(S210)と、領域設定部(S330)と、振動取得部(S10)と、拡張部(S260〜S280)と、監視部(S310,S320,S340,S350)とを備える運転者監視装置(6)である。   One aspect of the present disclosure is an image acquisition unit (S210), a region setting unit (S330), a vibration acquisition unit (S10), an expansion unit (S260 to S280), and a monitoring unit (S310, S320, S340, S350). ) And a driver monitoring device (6).

画像取得部は、車両の運転席に座っている運転者の顔を連続して撮影する撮影部(2)から、撮影部が撮影した撮影画像を示す画像データを取得するように構成される。
領域設定部は、画像取得部により取得された画像データにより示される撮影画像において、運転者の顔が写っている顔領域を含むようにして、運転者を監視するための監視領域を設定するように構成される。
The image acquisition unit is configured to acquire image data indicating a captured image captured by the image capturing unit from the image capturing unit (2) that continuously captures the face of the driver sitting in the driver's seat of the vehicle.
The area setting unit is configured to set a monitoring area for monitoring the driver by including the face area in which the driver's face is shown in the captured image indicated by the image data acquired by the image acquisition unit. To be done.

振動取得部は、車両で発生する振動の大きさを検出する振動検出部(4)から、振動の大きさを示す振動量情報を取得するように構成される。
拡張部は、振動取得部が取得した振動量情報により示される振動の大きさに応じて、領域設定部により設定された監視領域を、振動検出部が振動を検出する前よりも拡張するように構成される。
The vibration acquisition unit is configured to acquire the vibration amount information indicating the magnitude of vibration from the vibration detection unit (4) that detects the magnitude of vibration generated in the vehicle.
The expansion unit expands the monitoring area set by the area setting unit according to the magnitude of the vibration indicated by the vibration amount information acquired by the vibration acquisition unit, before the vibration detection unit detects the vibration. Composed.

監視部は、監視領域に含まれる運転者の顔を監視する監視処理を実行するように構成される。
このように構成された本開示の運転者監視装置は、車両で発生する振動の大きさに応じて監視領域を拡張する。このため、本開示の運転者監視装置は、振動により運転者の顔が揺れることに起因して運転者の顔が監視領域から外れてしまい、運転者の顔を認識できなくなるという事態の発生を抑制することができる。これにより、本開示の運転者監視装置は、運転者を認識する精度の低下を抑制することができる。
The monitoring unit is configured to execute a monitoring process of monitoring the driver's face included in the monitoring area.
The driver monitoring device of the present disclosure configured in this manner expands the monitoring area according to the magnitude of vibration generated in the vehicle. For this reason, the driver monitoring device of the present disclosure causes a situation in which the driver's face moves out of the monitoring area due to the vibration of the driver's face, and the driver's face cannot be recognized. Can be suppressed. Thereby, the driver monitoring device of the present disclosure can suppress a decrease in accuracy of recognizing the driver.

なお、この欄及び特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本開示の技術的範囲を限定するものではない。   It should be noted that the reference numerals in parentheses described in this column and in the claims indicate the correspondence with the specific means described in the embodiments described below as one aspect, and do not indicate the technical scope of the present disclosure. It is not limited.

運転者監視システム1の構成を示すブロック図である。It is a block diagram showing a configuration of a driver monitoring system 1. カメラ2の撮影範囲SRを示す図である。It is a figure which shows the imaging range SR of the camera 2. 調整量算出処理を示すフローチャートである。It is a flow chart which shows adjustment amount calculation processing. 撮影タイミングと、X軸方向振動量の時間変化とを示す図である。It is a figure which shows the imaging timing and the time change of the amount of vibrations of the X-axis direction. 運転者監視処理を示すフローチャートである。It is a flowchart which shows a driver monitoring process. X軸認識範囲およびY軸認識範囲の設定方法を示す図である。It is a figure which shows the setting method of the X-axis recognition range and the Y-axis recognition range. Z軸方向振動量に基づいて認識範囲を設定する方法を示す図である。It is a figure which shows the method of setting a recognition range based on the Z-axis direction vibration amount. 運転者を正面から撮影するようにカメラ2が設置されていることを示す図である。It is a figure which shows that the camera 2 is installed so that a driver|operator may be imaged from the front. 運転者を斜めから撮影するようにカメラ2が設置されていることを示す図である。It is a figure which shows that the camera 2 is installed so that a driver|operator may be imaged diagonally.

以下に本開示の実施形態を図面とともに説明する。
本実施形態の運転者監視システム1は、車両に搭載され、図1に示すように、カメラ2と、フレームメモリ3と、振動センサ4と、スピーカ5と、システム制御部6とを備える。
Embodiments of the present disclosure will be described below with reference to the drawings.
The driver monitoring system 1 of the present embodiment is mounted on a vehicle and includes a camera 2, a frame memory 3, a vibration sensor 4, a speaker 5, and a system control unit 6 as shown in FIG.

カメラ2は、撮像部11と、照射部12と、画像生成部13と、露出制御部14と、コントローラ15とを備える。カメラ2は、例えば、ステアリングコラムの上部に設置され、運転席に座っている乗員(すなわち、運転者)の顔DFを撮影する。   The camera 2 includes an imaging unit 11, an irradiation unit 12, an image generation unit 13, an exposure control unit 14, and a controller 15. The camera 2 is installed, for example, in the upper part of the steering column, and photographs the face DF of an occupant (that is, a driver) sitting in the driver's seat.

カメラ2では、図2に示すように、矩形状の撮影範囲SRが設定されている。撮影範囲SRの長手方向をX軸方向とし、撮影範囲SRの短手方向をY軸方向とする。カメラ2は、車両の車幅方向が撮影範囲SRのX軸方向と平行となり、車両の車高方向が撮影範囲SRのY軸方向と平行となるように設置される。   In the camera 2, as shown in FIG. 2, a rectangular shooting range SR is set. The longitudinal direction of the shooting range SR is the X-axis direction, and the lateral direction of the shooting range SR is the Y-axis direction. The camera 2 is installed such that the vehicle width direction of the vehicle is parallel to the X-axis direction of the photographing range SR and the vehicle height direction of the vehicle is parallel to the Y-axis direction of the photographing range SR.

撮像部11は、図1に示すように、光学素子部21とイメージセンサ22とを備える。光学素子部21は、光を集める集光レンズと、予め定められた光の成分(例えば、近赤外領域の波長を有する光)が透過する光学フィルタとを少なくとも備える。イメージセンサ22は、CCDまたはCMOS素子を二次元的に配列することで構成された周知のものであり、光学素子部21を介して入射した光の強度に応じた信号を出力する。   The imaging unit 11 includes an optical element unit 21 and an image sensor 22, as shown in FIG. The optical element unit 21 includes at least a condenser lens that collects light and an optical filter that transmits a predetermined light component (for example, light having a wavelength in the near infrared region). The image sensor 22 is a well-known one configured by arranging CCD or CMOS elements two-dimensionally, and outputs a signal according to the intensity of light incident through the optical element section 21.

照射部12は、上記光学フィルタを透過する成分を含んだ光を照射する一つ以上の光源を備え、運転者の顔に向けて光を照射する。なお、光源として、例えば発光ダイオードを用いることができる。   The irradiation unit 12 includes one or more light sources that emit light including a component that passes through the optical filter, and emits light toward the driver's face. A light emitting diode, for example, can be used as the light source.

画像生成部13は、イメージセンサ22から出力された信号をアナログからデジタルへ変換することにより、カメラ2が撮影した二次元画像を示す画像データを生成する。
露出制御部14は、撮像部11および照射部12の特性を表す各種パラメータに従い、画像生成部13にて取得される信号(以下、画像信号)の平均的な信号強度が、予め設定されたダイナミックレンジの真ん中付近となるように、照射部12による照射光の輝度(以下、光源輝度)と、イメージセンサ22のシャッター時間(すなわち、露出時間)を設定する。
The image generator 13 converts the signal output from the image sensor 22 from analog to digital, thereby generating image data indicating a two-dimensional image captured by the camera 2.
The exposure control unit 14 sets the average signal intensity of the signal (hereinafter, image signal) acquired by the image generation unit 13 according to various parameters indicating the characteristics of the imaging unit 11 and the irradiation unit 12, and sets a preset dynamic value. The brightness of the irradiation light by the irradiation unit 12 (hereinafter, light source brightness) and the shutter time of the image sensor 22 (that is, the exposure time) are set so as to be near the center of the range.

コントローラ15は、露出制御部14での設定に従った光源輝度およびシャッター時間となるように、撮像部11および照射部12を制御する。なお、コントローラ15による撮像部11および照射部12の制御は、システム制御部6からコントローラ15への指示に従って実行される。   The controller 15 controls the image pickup unit 11 and the irradiation unit 12 so that the light source luminance and the shutter time are set according to the setting of the exposure control unit 14. The controller 15 controls the imaging unit 11 and the irradiation unit 12 according to an instruction from the system control unit 6 to the controller 15.

フレームメモリ3は、システム制御部6が画像生成部13から取得した画像データを一時的に記憶するメモリであり、複数画面分の画像データを記憶することが可能な記憶容量を有する。   The frame memory 3 is a memory that temporarily stores the image data acquired by the system control unit 6 from the image generation unit 13, and has a storage capacity capable of storing image data for a plurality of screens.

振動センサ4は、例えば加速度センサであり、三次元直交座標系を構成するX軸、Y軸およびZ軸のそれぞれの方向に沿った振動の大きさを検出し、検出した振動の大きさに応じた電圧を示す電圧信号(以下、振動電圧信号)をシステム制御部6へ出力する。振動センサ4は、例えば、運転席の座部の内部において、運転者が運転席に座ったときに運転者の直下となるように設置される。また振動センサ4は、振動センサ4のX軸方向が車両の車幅方向と平行となり、振動センサ4のZ軸方向が車両の進行方向と平行となるように設置される。これにより、振動センサ4のY軸方向は車両の車高方向と平行となる。   The vibration sensor 4 is, for example, an acceleration sensor, detects the magnitude of vibration along each of the X-axis, Y-axis, and Z-axis forming the three-dimensional Cartesian coordinate system, and determines the magnitude of the detected vibration. A voltage signal (hereinafter referred to as an oscillating voltage signal) indicating the voltage is output to the system control unit 6. The vibration sensor 4 is installed, for example, inside the seat portion of the driver's seat so as to be directly below the driver when the driver sits in the driver's seat. The vibration sensor 4 is installed so that the X-axis direction of the vibration sensor 4 is parallel to the vehicle width direction of the vehicle and the Z-axis direction of the vibration sensor 4 is parallel to the traveling direction of the vehicle. As a result, the Y-axis direction of the vibration sensor 4 becomes parallel to the vehicle height direction of the vehicle.

スピーカ5は、車室内に設置され、システム制御部6から入力された音声電気信号を音声に変換して出力する。
システム制御部6は、CPU31、ROM32およびRAM33等を備えた周知のマイクロコンピュータを中心に構成された電子制御装置である。マイクロコンピュータの各種機能は、CPU31が非遷移的実体的記録媒体に格納されたプログラムを実行することにより実現される。この例では、ROM32が、プログラムを格納した非遷移的実体的記録媒体に該当する。また、このプログラムの実行により、プログラムに対応する方法が実行される。なお、CPUが実行する機能の一部または全部を、一つあるいは複数のIC等によりハードウェア的に構成してもよい。また、システム制御部6を構成するマイクロコンピュータの数は1つでも複数でもよい。
The speaker 5 is installed in the vehicle compartment and converts an audio electric signal input from the system control unit 6 into a sound and outputs the sound.
The system control unit 6 is an electronic control device mainly composed of a well-known microcomputer including a CPU 31, a ROM 32, a RAM 33, and the like. Various functions of the microcomputer are realized by the CPU 31 executing the programs stored in the non-transitional substantive recording medium. In this example, the ROM 32 corresponds to the non-transitional substantive recording medium storing the program. By executing this program, the method corresponding to the program is executed. It should be noted that some or all of the functions executed by the CPU may be configured as hardware by one or more ICs or the like. Further, the number of microcomputers forming the system control unit 6 may be one or plural.

このように構成された運転者監視システム1において、システム制御部6は、運転者監視処理と、調整量算出処理を実行する。
まず、調整量算出処理の手順を説明する。調整量算出処理は、システム制御部6の動作中において、予め設定された算出実行時間が経過する毎に実行される処理である。この算出実行時間は、車両で発生する振動の周期より十分短い時間に設定される。
In the driver monitoring system 1 configured as described above, the system control unit 6 executes a driver monitoring process and an adjustment amount calculation process.
First, the procedure of the adjustment amount calculation process will be described. The adjustment amount calculation process is a process executed every time a preset calculation execution time elapses while the system control unit 6 is operating. This calculation execution time is set to a time that is sufficiently shorter than the cycle of vibration generated in the vehicle.

この調整量算出処理が実行されると、システム制御部6は、図3に示すように、まずS10にて、振動センサ4から振動電圧信号を取得し、取得した振動電圧信号に基づいて、X軸、Y軸およびZ軸のそれぞれの方向に沿った振動量を算出する。以下、X軸、Y軸およびZ軸方向の振動量をそれぞれ、X軸方向振動量、Y軸方向振動量およびZ軸方向振動量という。さらにS10では、システム制御部6は、算出したX軸方向振動量、Y軸方向振動量およびZ軸方向振動量をRAM33に記憶する。   When this adjustment amount calculation process is executed, the system control unit 6 first acquires the vibration voltage signal from the vibration sensor 4 in S10 as shown in FIG. 3, and based on the acquired vibration voltage signal, X The amount of vibration along each direction of the axis, the Y axis, and the Z axis is calculated. Hereinafter, the vibration amounts in the X-axis, Y-axis, and Z-axis directions are referred to as the X-axis direction vibration amount, the Y-axis direction vibration amount, and the Z-axis direction vibration amount, respectively. Further, in S10, the system control unit 6 stores the calculated X-axis direction vibration amount, Y-axis direction vibration amount, and Z-axis direction vibration amount in the RAM 33.

次にS20にて、システム制御部6は、カメラ2に撮影を実行させる撮影タイミングが到来したか否かを判断する。撮影タイミングは、予め設定された撮影実行時間が経過する毎に到来する。   Next, in S20, the system control unit 6 determines whether or not the photographing timing for causing the camera 2 to perform photographing has arrived. The shooting timing arrives every time a preset shooting execution time elapses.

ここで、撮影タイミングが到来していない場合には、システム制御部6は、調整量算出処理を一旦終了する。
一方、撮影タイミングが到来した場合には、S30にて、システム制御部6は、X軸方向振動量、Y軸方向振動量およびZ軸方向振動量のそれぞれについて、前回の撮影タイミングと今回の撮影タイミングとの間における最大値と最小値とを算出し、算出した最大値と最小値とをRAM33に記憶する。なお、S20で判断された撮影タイミングを今回の撮影タイミングとし、今回の撮影タイミングより1回前の撮影タイミングを前回の撮影タイミングとする。
Here, when the shooting timing has not come, the system control unit 6 once ends the adjustment amount calculation process.
On the other hand, when the shooting timing arrives, in S30, the system control unit 6 sets the previous shooting timing and the current shooting timing for each of the X-axis direction vibration amount, the Y-axis direction vibration amount, and the Z-axis direction vibration amount. The maximum value and the minimum value between the timings are calculated, and the calculated maximum value and the minimum value are stored in the RAM 33. The shooting timing determined in S20 is the current shooting timing, and the shooting timing one time before the current shooting timing is the previous shooting timing.

そしてS40にて、システム制御部6は、下式(1)により、X軸振動平均値Bxaveを算出する。
前回の撮影タイミングと今回の撮影タイミングとの間の時間範囲を第n撮影時間範囲という。nは2以上の整数である。そして、今回の撮影タイミングを(n+1)回目の撮影タイミングとし、今回の撮影タイミングよりもn回前の撮影タイミングを1回目の撮影タイミングとする。
Then, in S40, the system control unit 6 calculates the X-axis vibration average value Bx ave by the following equation (1).
The time range between the previous shooting timing and the current shooting timing is called the n-th shooting time range. n is an integer of 2 or more. Then, the current shooting timing is the (n+1)th shooting timing, and the shooting timing n times before the current shooting timing is the first shooting timing.

従って、第k撮影時間範囲は、k回前の撮影タイミングと(k+1)回前の撮影タイミングと間の時間範囲である。kは、1以上であり且つn以下である整数である。
下式(1)におけるBx(k)maxは、第k撮影時間範囲におけるX軸方向振動量の最大値である。下式(1)におけるBx(k)minは、第k撮影時間範囲におけるX軸方向振動量の最小値である。
Therefore, the k-th shooting time range is a time range between the shooting timing before k times and the shooting timing before (k+1) times. k is an integer that is 1 or more and n or less.
Bx(k)max in the following formula (1) is the maximum value of the X-axis direction vibration amount in the k-th imaging time range. Bx(k)min in the following equation (1) is the minimum value of the X-axis direction vibration amount in the k-th imaging time range.

図4は、1回目の撮影タイミングt1と2回目の撮影タイミングt2との間の時間範囲である第1撮影時間範囲における最大値Bx(1)maxと最小値Bx(1)minとを示している。同様に、図4は、2回目の撮影タイミングt2と3回目の撮影タイミングt3との間の時間範囲である第2撮影時間範囲における最大値Bx(2)maxと最小値Bx(2)minとを示している。また、図4は、3回目の撮影タイミングt3と4回目の撮影タイミングt4との間の時間範囲である第3撮影時間範囲における最大値Bx(3)maxと最小値Bx(3)minとを示している。   FIG. 4 shows the maximum value Bx(1)max and the minimum value Bx(1)min in the first shooting time range which is the time range between the first shooting timing t1 and the second shooting timing t2. There is. Similarly, FIG. 4 shows the maximum value Bx(2)max and the minimum value Bx(2)min in the second shooting time range which is the time range between the second shooting timing t2 and the third shooting timing t3. Is shown. Further, FIG. 4 shows the maximum value Bx(3)max and the minimum value Bx(3)min in the third shooting time range which is the time range between the third shooting timing t3 and the fourth shooting timing t4. Shows.

Figure 0006702226
Figure 0006702226

式(1)により算出されるX軸振動平均値Bxaveは、第1撮影時間範囲から第n撮影時間範囲におけるX軸方向振動量の最大値と最小値との差の平均値である。但し、X軸方向振動量の最小値の符号は負である。このため、X軸振動平均値Bxaveは、第1撮影時間範囲から第n撮影時間範囲におけるX軸方向振動量の最大値の絶対値と最小値の絶対値とを加算した加算値の平均値である。すなわち、X軸振動平均値Bxaveは、X軸方向振動量の最大値と最小値との差の時系列データについて、今回の撮影タイミングとn回前の撮影タイミングとの間における単純移動平均を算出することにより得られる値である。 The X-axis vibration average value Bx ave calculated by the equation (1) is an average value of the difference between the maximum value and the minimum value of the X-axis direction vibration amount in the first photographing time range to the n-th photographing time range. However, the sign of the minimum value of the X-axis direction vibration amount is negative. Therefore, the X-axis vibration average value Bx ave is the average value of the added values obtained by adding the absolute value of the maximum value and the absolute value of the minimum value of the X-axis direction vibration amount in the first shooting time range to the n-th shooting time range. Is. That is, the X-axis vibration average value Bx ave is a simple moving average between the current photographing timing and the photographing timing n times before, with respect to the time series data of the difference between the maximum value and the minimum value of the X-axis direction vibration amount. It is a value obtained by calculation.

S40の処理が終了すると、図3に示すように、S50にて、システム制御部6は、下式(2)により、Y軸振動平均値Byaveを算出する。
下式(2)におけるBy(k)maxは、第k撮影時間範囲におけるY軸方向振動量の最大値である。下式(2)におけるBy(k)minは、第k撮影時間範囲におけるY軸方向振動量の最小値である。式(2)により算出されるY軸振動平均値Byaveは、第1撮影時間範囲から第n撮影時間範囲におけるY軸方向振動量の最大値と最小値との差の平均値である。
When the process of S40 ends, as shown in FIG. 3, in S50, the system control unit 6 calculates the Y-axis vibration average value By ave by the following equation (2).
By(k)max in the following equation (2) is the maximum value of the Y-axis direction vibration amount in the k-th imaging time range. By(k)min in the following formula (2) is the minimum value of the Y-axis direction vibration amount in the k-th imaging time range. The Y-axis vibration average value By ave calculated by the equation (2) is the average value of the difference between the maximum value and the minimum value of the Y-axis direction vibration amount in the first photographing time range to the n-th photographing time range.

Figure 0006702226
Figure 0006702226

さらにS60にて、システム制御部6は、下式(3)により、Z軸振動平均値Bzaveを算出し、調整量算出処理を一旦終了する。
下式(3)におけるBz(k)maxは、第k撮影時間範囲におけるZ軸方向振動量の最大値である。下式(3)におけるBz(k)minは、第k撮影時間範囲におけるZ軸方向振動量の最小値である。式(3)により算出されるZ軸振動平均値Byaveは、第1撮影時間範囲から第n撮影時間範囲におけるZ軸方向振動量の最大値と最小値との差の平均値である。
Further, in S60, the system control unit 6 calculates the Z-axis vibration average value Bz ave by the following equation (3), and temporarily ends the adjustment amount calculation process.
Bz(k)max in the following formula (3) is the maximum value of the vibration amount in the Z-axis direction in the k-th imaging time range. Bz(k)min in the following formula (3) is the minimum value of the Z-axis direction vibration amount in the k-th imaging time range. The Z-axis vibration average value By ave calculated by the equation (3) is an average value of the difference between the maximum value and the minimum value of the Z-axis direction vibration amount in the first photographing time range to the n-th photographing time range.

Figure 0006702226
Figure 0006702226

次に、運転者監視処理の手順を説明する。運転者監視処理は、システム制御部6の動作中において、上記の撮影実行時間が経過する毎に実行される処理である。
この運転者監視処理が実行されると、システム制御部6は、図5に示すように、まずS210にて、カメラ2に撮影を実行させ、撮影により生成された画像データをカメラ2から取得する。
Next, the procedure of the driver monitoring process will be described. The driver monitoring process is a process that is executed each time the above-described shooting execution time elapses during operation of the system control unit 6.
When the driver monitoring process is executed, the system control unit 6 first causes the camera 2 to execute photographing in S210 and acquires the image data generated by the photographing from the camera 2 in S210, as shown in FIG. .

そしてS220にて、システム制御部6は、後述するS310における直近の処理で、運転者の顔が写っている領域(以下、顔領域)を抽出することができたか否かを判断する。ここで、運転者の顔領域を抽出することができなかった場合には、システム制御部6は、S230にて、S210で取得した画像データが示す画像の全領域を認識範囲として設定し、S290に移行する。   Then, in S220, the system control unit 6 determines whether or not the region in which the driver's face is shown (hereinafter referred to as the face region) can be extracted in the latest process in S310, which will be described later. Here, if the driver's face area cannot be extracted, the system control unit 6 sets the entire area of the image indicated by the image data acquired in S210 as the recognition range in S230, and then in S290. Move to.

一方、運転者の顔領域を抽出することができた場合には、システム制御部6は、S240にて、後述するS330における直近の処理で設定された認識範囲を認識範囲として設定する。   On the other hand, when the driver's face area can be extracted, the system control unit 6 sets, in S240, the recognition range set in the latest process in S330, which will be described later, as a recognition range.

そしてS250にて、システム制御部6は、S10の処理でRAM33に直近で記憶されたX軸方向振動量、Y軸方向振動量およびZ軸方向振動量の少なくとも1つが、予め設定された設定判定値以上であるか否かを判断する。ここで、X軸方向振動量、Y軸方向振動量およびZ軸方向振動量の全てが設定判定値未満である場合には、システム制御部6は、S290に移行する。   Then, in S250, the system control unit 6 determines whether or not at least one of the X-axis direction vibration amount, the Y-axis direction vibration amount, and the Z-axis direction vibration amount stored most recently in the RAM 33 in the process of S10 is preset. It is determined whether the value is greater than or equal to the value. Here, when all of the X-axis direction vibration amount, the Y-axis direction vibration amount, and the Z-axis direction vibration amount are less than the set determination value, the system control unit 6 proceeds to S290.

一方、X軸方向振動量、Y軸方向振動量およびZ軸方向振動量の少なくとも1つが設定判定値以上である場合には、システム制御部6は、S260にて、X軸方向振動量に基づいて認識範囲を設定する。   On the other hand, if at least one of the X-axis direction vibration amount, the Y-axis direction vibration amount, and the Z-axis direction vibration amount is equal to or greater than the set determination value, the system control unit 6 determines in S260 based on the X-axis direction vibration amount. To set the recognition range.

具体的には、システム制御部6は、まず、下式(4)により、X軸画素調整量APxを算出する。下式(4)のαは、X軸振動平均値Bxaveを、認識範囲を調整する画素数に変換するための調整係数である。 Specifically, the system control unit 6 first calculates the X-axis pixel adjustment amount APx by the following equation (4). Α in the following equation (4) is an adjustment coefficient for converting the X-axis vibration average value Bx ave into the number of pixels for adjusting the recognition range.

APx = α × Bxave ・・・(4)
そして図6に示すように、S240で設定された認識範囲におけるX軸認識範囲の下限値および上限値をそれぞれX軸下限値Px1およびX軸上限値Px2とする。また、調整後のX軸認識範囲の下限値および上限値をそれぞれX軸下限値Px1’およびX軸上限値Px2’とする。X軸認識範囲は、認識範囲におけるX軸方向の範囲である。
APx=α×Bx ave ... (4)
Then, as shown in FIG. 6, the lower limit value and the upper limit value of the X-axis recognition range in the recognition range set in S240 are respectively set as the X-axis lower limit value Px1 and the X-axis upper limit value Px2. Further, the lower limit value and the upper limit value of the adjusted X-axis recognition range are set as an X-axis lower limit value Px1′ and an X-axis upper limit value Px2′, respectively. The X-axis recognition range is a range in the X-axis direction in the recognition range.

S260では、システム制御部6は、下式(5),(6)によりX軸下限値Px1’およびX軸上限値Px2’を設定することにより、X軸認識範囲を設定する。
Px1’ = Px1 − APx ・・・(5)
Px2’ = Px2 + APx ・・・(6)
S260の処理が終了すると、図5に示すように、システム制御部6は、S270にて、Y軸方向振動量に基づいて認識範囲を設定する。
In S260, the system control unit 6 sets the X-axis recognition range by setting the X-axis lower limit value Px1′ and the X-axis upper limit value Px2′ according to the following equations (5) and (6).
Px1′=Px1−APx (5)
Px2′=Px2+APx (6)
When the process of S260 ends, as shown in FIG. 5, the system control unit 6 sets the recognition range based on the Y-axis direction vibration amount in S270.

具体的には、システム制御部6は、まず、下式(7)により、Y軸画素調整量APyを算出する。下式(7)のβは、Y軸振動平均値Byaveを、認識範囲を調整する画素数に変換するための調整係数である。 Specifically, the system control unit 6 first calculates the Y-axis pixel adjustment amount APy by the following equation (7). Β in the following formula (7) is an adjustment coefficient for converting the Y-axis vibration average value By ave into the number of pixels for adjusting the recognition range.

APy = β × Byave ・・・(7)
そして図6に示すように、S240で設定された認識範囲におけるY軸認識範囲の下限値および上限値をそれぞれY軸下限値Py1およびY軸上限値Py2とする。また、調整後のY軸認識範囲の下限値および上限値をそれぞれX軸下限値Py1’およびX軸上限値Py2’とする。Y軸認識範囲は、認識範囲におけるY軸方向の範囲である。
APy=β×By ave (7)
Then, as shown in FIG. 6, the lower limit value and the upper limit value of the Y-axis recognition range in the recognition range set in S240 are set as the Y-axis lower limit value Py1 and the Y-axis upper limit value Py2, respectively. Further, the lower limit value and the upper limit value of the Y-axis recognition range after adjustment are set as an X-axis lower limit value Py1′ and an X-axis upper limit value Py2′, respectively. The Y-axis recognition range is a range in the Y-axis direction in the recognition range.

S270では、システム制御部6は、下式(8),(9)によりY軸下限値Py1’およびY軸上限値Py2’を設定することにより、Y軸認識範囲を設定する。
Py1’ = Py1 − APy ・・・(8)
Py2’ = Py2 + APy ・・・(9)
S270の処理が終了すると、図5に示すように、システム制御部6は、S280にて、Z軸方向振動量に基づいて認識範囲を設定する。
In S270, the system control unit 6 sets the Y-axis recognition range by setting the Y-axis lower limit value Py1′ and the Y-axis upper limit value Py2′ according to the following equations (8) and (9).
Py1′=Py1−APy (8)
Py2′=Py2+APy (9)
When the processing of S270 ends, as shown in FIG. 5, the system control unit 6 sets the recognition range based on the Z-axis direction vibration amount in S280.

具体的には、システム制御部6は、まず、下式(10)により、Z軸画素調整量APzを算出する。下式(10)のγは、Z軸振動平均値Bzaveを、認識範囲を調整する画素数に変換するための調整係数である。 Specifically, the system control unit 6 first calculates the Z-axis pixel adjustment amount APz by the following expression (10). Γ in the following equation (10) is an adjustment coefficient for converting the Z-axis vibration average value Bz ave into the number of pixels for adjusting the recognition range.

APz = γ × Bzave ・・・(10)
そして図7に示すように、S260およびS270で調整された認識範囲における4つの頂点をそれぞれ、頂点VX1,VX2,VX3,VX4とする。なお、頂点VX1と頂点VX2とを結ぶ辺を下辺、頂点VX2と頂点VX3とを結ぶ辺を右辺、頂点VX3と頂点VX4とを結ぶ辺を上辺、頂点VX4と頂点VX1とを結ぶ辺を左辺とする。また、頂点VX1と頂点VX3とを結ぶ線分を対角線DL1、頂点VX2と頂点VX4とを結ぶ線分を対角線DL2とする。
APz=γ×Bz ave ... (10)
Then, as shown in FIG. 7, the four vertices in the recognition range adjusted in S260 and S270 are set as vertices VX1, VX2, VX3, VX4, respectively. The side connecting the vertices VX1 and VX2 is the lower side, the side connecting the vertices VX2 and VX3 is the right side, the side connecting the vertices VX3 and VX4 is the upper side, and the side connecting the vertices VX4 and VX1 is the left side. To do. A line segment connecting the vertices VX1 and VX3 is a diagonal line DL1, and a line segment connecting the vertices VX2 and VX4 is a diagonal line DL2.

そして、頂点VX1から対角線DL1と平行になるように認識範囲の外側へ向かって延び、且つ、長さがAPzである線分を延長線EL1とする。頂点VX2から対角線DL2と平行になるように認識範囲の外側へ向かって延び、且つ、長さがAPzである線分を延長線EL2とする。頂点VX3から対角線DL1と平行になるように認識範囲の外側へ向かって延び、且つ、長さがAPzである線分を延長線EL3とする。頂点VX4から対角線DL2と平行になるように認識範囲の外側へ向かって延び、且つ、長さがAPzである線分を延長線EL4とする。   Then, a line segment that extends from the apex VX1 toward the outside of the recognition range so as to be parallel to the diagonal line DL1 and has a length of APz is defined as an extension line EL1. A line segment extending from the vertex VX2 toward the outside of the recognition range so as to be parallel to the diagonal line DL2 and having a length of APz is defined as an extension line EL2. A line segment extending from the vertex VX3 toward the outside of the recognition range so as to be parallel to the diagonal line DL1 and having a length of APz is defined as an extension line EL3. A line segment extending from the vertex VX4 toward the outside of the recognition range so as to be parallel to the diagonal line DL2 and having a length of APz is defined as an extension line EL4.

また、延長線EL1の両端のうち、頂点VX1と異なる点を頂点VX1’とする。延長線EL2の両端のうち、頂点VX2と異なる点を頂点VX2’とする。延長線EL3の両端のうち、頂点VX3と異なる点を頂点VX3’とする。延長線EL4の両端のうち、頂点VX4と異なる点を頂点VX4’とする。   Further, of both ends of the extension line EL1, a point different from the vertex VX1 is a vertex VX1'. Of both ends of the extension line EL2, a point different from the vertex VX2 is a vertex VX2'. Of both ends of the extension line EL3, a point different from the vertex VX3 is a vertex VX3'. Of both ends of the extension line EL4, a point different from the vertex VX4 is a vertex VX4'.

そしてS280では、システム制御部6は、頂点VX1’,VX2’ VX3’ VX4’を頂点とする矩形を認識範囲として設定する。
S280の処理が終了すると、図5に示すように、システム制御部6は、S290に移行する。そしてS290に移行すると、システム制御部6は、S230〜S280の処理で設定された認識範囲に含まれる画素の数が予め設定された低減判定値以上であるか否かを判断する。ここで、認識範囲に含まれる画素の数が低減判定値未満である場合には、システム制御部6は、S310に移行する。
Then, in S280, the system control unit 6 sets a rectangle having the vertices VX1′, VX2′ VX3′ VX4′ as vertices as the recognition range.
When the process of S280 ends, the system control unit 6 proceeds to S290 as shown in FIG. Then, in S290, the system control unit 6 determines whether or not the number of pixels included in the recognition range set in the processes of S230 to S280 is equal to or more than a preset reduction determination value. Here, when the number of pixels included in the recognition range is less than the reduction determination value, the system control unit 6 proceeds to S310.

一方、認識範囲に含まれる画素の数が低減判定値以上である場合には、システム制御部6は、S300にて、認識範囲に含まれる画素のうち、後述するS310およびS340の処理で用いる画素(以下、認識対象画素)の数を低減し、S310に移行する。例えば、認識範囲は、X軸方向に沿って640個の画素を含み、Y軸方向に沿って480個の画素を含んでいるとする。この場合に、システム制御部6は、認識範囲に含まれる画素を間引くことにより、例えば、X軸方向に沿って120個の認識対象画素を含み、Y軸方向に沿って120個の認識対象画素を含むようにする。   On the other hand, when the number of pixels included in the recognition range is greater than or equal to the reduction determination value, the system control unit 6 determines in S300, among the pixels included in the recognition range, the pixels used in the processes of S310 and S340 described below. The number of (hereinafter, recognition target pixels) is reduced, and the process proceeds to S310. For example, it is assumed that the recognition range includes 640 pixels along the X-axis direction and 480 pixels along the Y-axis direction. In this case, the system control unit 6 thins out the pixels included in the recognition range to include, for example, 120 recognition target pixels along the X-axis direction and 120 recognition target pixels along the Y-axis direction. To include.

そしてS310に移行すると、システム制御部6は、S210で取得した画像データが示す画像の全領域のうち、S230〜S280の処理で設定された認識範囲に含まれる領域に対して、周知の画像認識処理を行うことにより、運転者の顔領域を抽出する。   Then, when proceeding to S310, the system control unit 6 performs well-known image recognition on the region included in the recognition range set by the processing of S230 to S280 among all the regions of the image indicated by the image data acquired at S210. By performing the processing, the face area of the driver is extracted.

さらにS320にて、システム制御部6は、S310において運転者の顔領域を抽出することができたか否かを判断する。ここで、運転者の顔領域を抽出することができなかった場合には、システム制御部6は、運転者監視処理を一旦終了する。   Further, in S320, system control unit 6 determines whether or not the face area of the driver could be extracted in S310. Here, if the driver's face area cannot be extracted, the system control unit 6 once ends the driver monitoring process.

一方、運転者の顔領域を抽出することができた場合には、システム制御部6は、S330にて、認識範囲を再設定する。具体的には、システム制御部6は、まず、S310で抽出した顔領域に外接する矩形領域を算出する。図2に示す矩形領域Rr1は、運転者の顔DFの顔領域に外接する矩形領域である。次に、システム制御部6は、顔領域に外接する矩形領域を含む矩形領域を認識範囲として設定する。図2に示す矩形領域Rr2は、顔領域に外接する矩形領域Rr1を含む矩形領域である。   On the other hand, when the driver's face area can be extracted, the system control unit 6 resets the recognition range in S330. Specifically, the system control unit 6 first calculates a rectangular area circumscribing the face area extracted in S310. The rectangular area Rr1 shown in FIG. 2 is a rectangular area circumscribing the face area of the driver's face DF. Next, the system control unit 6 sets a rectangular area including a rectangular area circumscribing the face area as a recognition range. The rectangular area Rr2 shown in FIG. 2 is a rectangular area including a rectangular area Rr1 circumscribing the face area.

S330の処理が終了すると、図5に示すように、システム制御部6は、S340にて、抽出した顔領域の画像に対して画像解析を行うことで、運転者の顔の特徴量(例えば、眉、瞼および口の動き)を抽出する。   When the process of S330 is completed, as shown in FIG. 5, the system control unit 6 performs image analysis on the image of the extracted face area in S340, and thus the feature amount of the driver's face (for example, Eyebrow, eyelid and mouth movements).

次にS350にて、システム制御部6は、S340で抽出した特徴量に基づいて、運転者の眠気の度合い(以下、眠気レベル)を判定する。具体的には、S350では、システム制御部6は、まず、ROM32に記憶されている表情設定テーブルを参照することにより、S340で抽出した特徴量の組み合わせに対応する表情パターンを決定する。表情設定テーブルには、運転者の顔の特徴量の組み合わせと、表情パターンとの対応関係が設定されている。S350では、システム制御部6は、さらに、ROM32に記憶されている眠気レベル設定テーブルを参照することにより、決定した表情パターンに対応する眠気レベルを決定する。眠気レベル設定テーブルには、表情パターンと、眠気レベルとの対応関係が設定されている。本実施形態では、眠気レベルは、0以上の整数で設定されている。そして、眠気レベルの数値が大きいほど、眠気が強いことを示している。   Next, in S350, the system control unit 6 determines the degree of drowsiness of the driver (hereinafter, drowsiness level) based on the feature amount extracted in S340. Specifically, in S350, the system control unit 6 first determines the facial expression pattern corresponding to the combination of the feature amounts extracted in S340 by referring to the facial expression setting table stored in the ROM 32. In the facial expression setting table, the correspondence between the combination of the facial features of the driver and the facial expression pattern is set. In S350, the system control unit 6 further determines the drowsiness level corresponding to the determined facial expression pattern by referring to the drowsiness level setting table stored in the ROM 32. In the drowsiness level setting table, correspondences between facial expression patterns and drowsiness levels are set. In this embodiment, the drowsiness level is set as an integer of 0 or more. The larger the drowsiness level value, the stronger the drowsiness.

その後にS360にて、システム制御部6は、S350で判定された眠気レベルが予め設定された警告判定値以上であるか否かを判断する。ここで、眠気レベルが警告判定値未満であると判断した場合には、システム制御部6は、運転者監視処理を一旦終了する。一方、眠気レベルが警告判定値以上であると判断した場合には、システム制御部6は、S370にて、スピーカ5から警告音を出力させて、運転者監視処理を一旦終了する。   Thereafter, in S360, system control unit 6 determines whether or not the drowsiness level determined in S350 is equal to or higher than a preset warning determination value. Here, when it is determined that the drowsiness level is less than the warning determination value, the system control unit 6 once ends the driver monitoring process. On the other hand, when it is determined that the drowsiness level is equal to or higher than the warning determination value, the system control unit 6 outputs a warning sound from the speaker 5 in S370, and temporarily ends the driver monitoring process.

このように構成されたシステム制御部6は、まず、車両の運転席に座っている運転者の顔DFを連続して撮影するカメラ2から、カメラ2が撮影した撮影画像を示す画像データを取得する。そしてシステム制御部6は、取得された画像データにより示される撮影画像において、運転者の顔が写っている顔領域を含むようにして、認識範囲を設定する。   The system control unit 6 configured as described above first acquires image data indicating a captured image captured by the camera 2 from the camera 2 that continuously captures the face DF of the driver sitting in the driver's seat of the vehicle. To do. Then, the system control unit 6 sets the recognition range such that the captured image indicated by the acquired image data includes the face area in which the driver's face is shown.

またシステム制御部6は、車両で発生する振動の大きさを検出する振動センサ4から、振動の大きさを示す振動電圧信号を取得する。さらにシステム制御部6は、取得した振動電圧信号により示される振動の大きさに応じて、設定された認識範囲を、振動センサ4が振動を検出する前よりも拡張する。   Further, the system control unit 6 acquires a vibration voltage signal indicating the magnitude of vibration from the vibration sensor 4 that detects the magnitude of vibration generated in the vehicle. Further, the system control unit 6 expands the set recognition range according to the magnitude of the vibration indicated by the acquired vibration voltage signal, compared with before the vibration sensor 4 detects the vibration.

そしてシステム制御部6は、認識範囲に含まれる運転者の顔に基づいて眠気レベルを判定する処理を実行する。
このようにシステム制御部6は、車両で発生する振動の大きさに応じて認識範囲を拡張する。このため、システム制御部6は、振動により運転者の顔が揺れることに起因して運転者の顔が認識範囲から外れてしまい、運転者の顔を認識できなくなるという事態の発生を抑制することができる。これにより、システム制御部6は、運転者を認識する精度の低下を抑制することができる。
Then, the system control unit 6 executes the process of determining the drowsiness level based on the driver's face included in the recognition range.
In this way, the system control unit 6 expands the recognition range according to the magnitude of vibration generated in the vehicle. Therefore, the system control unit 6 suppresses the occurrence of a situation in which the driver's face is out of the recognition range due to the vibration of the driver's face, and the driver's face cannot be recognized. You can As a result, the system control unit 6 can suppress a decrease in accuracy of recognizing the driver.

またシステム制御部6は、認識範囲のX軸方向に沿って、振動におけるX軸方向の成分の大きさに応じて、認識範囲を拡張する。同様に、システム制御部6は、認識範囲のY軸方向に沿って、振動におけるY軸方向の成分の大きさに応じて、認識範囲を拡張する。これにより、システム制御部6は、振動に起因して運転者の顔が揺れて移動する方向に限定して認識範囲を拡張することができる。このため、システム制御部6は、振動に起因して運転者の顔が移動しない方向にまで無駄に認識範囲を拡張してしまうことを回避し、認識範囲内で運転者の顔領域を抽出する処理の処理負荷の増加を必要最低限に抑制することができる。   Further, the system control unit 6 extends the recognition range along the X-axis direction of the recognition range according to the magnitude of the component of the vibration in the X-axis direction. Similarly, the system control unit 6 extends the recognition range along the Y-axis direction of the recognition range according to the magnitude of the component of the vibration in the Y-axis direction. Accordingly, the system control unit 6 can extend the recognition range only in the direction in which the driver's face shakes and moves due to the vibration. Therefore, the system control unit 6 avoids unnecessarily expanding the recognition range to the direction in which the driver's face does not move due to vibration, and extracts the driver's face area within the recognition range. It is possible to suppress an increase in processing load of processing to a necessary minimum.

またシステム制御部6は、第k撮影時間範囲におけるX軸方向振動量の最大値Bx(k)maxと最小値Bx(k)minとの差分の時系列データについて、n回前の撮影タイミングと今回の撮影タイミングとの間の期間内における移動平均をX軸振動平均値Bxaveとして算出する。kは、1以上であり且つn以下である整数である。 Further, the system control unit 6 sets the n-th previous shooting timing for the time-series data of the difference between the maximum value Bx(k)max and the minimum value Bx(k)min of the X-axis direction vibration amount in the k-th shooting time range. The moving average within the period from the current photographing timing is calculated as the X-axis vibration average value Bx ave . k is an integer that is 1 or more and n or less.

またシステム制御部6は、第k撮影時間範囲におけるY軸方向振動量の最大値By(k)maxと最小値By(k)minとの差分の時系列データについて、n回前の撮影タイミングと今回の撮影タイミングとの間の期間内における移動平均をY軸振動平均値Byaveとして算出する。 In addition, the system control unit 6 sets the time-series data of the difference between the maximum value By(k)max and the minimum value By(k)min of the Y-axis direction vibration amount in the k-th shooting time range to the shooting timing n times before. The moving average within the period from the current photographing timing is calculated as the Y-axis vibration average value By ave .

またシステム制御部6は、第k撮影時間範囲におけるZ軸方向振動量の最大値Bz(k)maxと最小値Bz(k)minとの差分の時系列データについて、n回前の撮影タイミングと今回の撮影タイミングとの間の期間内における移動平均をZ軸振動平均値Bzaveとして算出する。 In addition, the system control unit 6 determines the time-series data of the difference between the maximum value Bz(k)max and the minimum value Bz(k)min of the Z-axis direction vibration amount in the k-th shooting time range as the shooting timing n times before. The moving average within the period from the current photographing timing is calculated as the Z-axis vibration average value Bz ave .

そしてシステム制御部6は、算出されたX軸振動平均値Bxave、Y軸振動平均値ByaveおよびZ軸振動平均値Bzaveの大きさに応じて、認識範囲を拡張する。
このようにシステム制御部6は、複数の撮影タイミングに亘って振動の大きさを平均した値を用いて認識範囲を拡張する。このため、システム制御部6は、認識範囲の拡張量を決定するためのパラメータの時間変動を平滑化して、認識範囲が急激に変化しないようにすることができる。
Then, the system control unit 6 extends the recognition range according to the calculated X-axis vibration average value Bx ave , Y-axis vibration average value By ave, and Z-axis vibration average value Bz ave .
In this way, the system control unit 6 extends the recognition range by using a value obtained by averaging the magnitude of vibration over a plurality of shooting timings. Therefore, the system control unit 6 can smooth the time variation of the parameter for determining the expansion amount of the recognition range so that the recognition range does not change suddenly.

またシステム制御部6は、認識範囲に含まれる画素の数が予め設定された低減判定値以上であるか否かを判断する。そしてシステム制御部6は、認識範囲に含まれる画素の数が低減判定値以上であると判断した場合に、認識範囲において認識対象画素の数を低減する。これにより、システム制御部6は、認識範囲を拡張することに起因して、認識範囲内で運転者の顔領域を抽出する処理の処理負荷が増加することを抑制することができる。   The system control unit 6 also determines whether or not the number of pixels included in the recognition range is equal to or greater than a preset reduction determination value. Then, when the system control unit 6 determines that the number of pixels included in the recognition range is equal to or larger than the reduction determination value, the system control unit 6 reduces the number of recognition target pixels in the recognition range. As a result, the system control unit 6 can suppress an increase in the processing load of the process of extracting the face area of the driver within the recognition range due to the expansion of the recognition range.

また、振動センサ4は運転席に設置される。これにより、振動センサ4が運転者の付近に設置される。このため、システム制御部6は、振動センサ4の検出結果に基づいて、運転者の顔の揺れを精度よく推定することが可能となり、振動センサ4の検出結果に基づいて適切に認識範囲を拡張することができる。   Further, the vibration sensor 4 is installed in the driver's seat. Thereby, the vibration sensor 4 is installed near the driver. Therefore, the system control unit 6 can accurately estimate the shake of the driver's face based on the detection result of the vibration sensor 4, and appropriately extend the recognition range based on the detection result of the vibration sensor 4. can do.

以上説明した実施形態において、システム制御部6は運転者監視装置に相当し、カメラ2は撮影部に相当し、振動センサ4は振動検出部に相当する。
また、S210は画像取得部としての処理に相当し、S330は領域設定部としての処理に相当し、S10は振動取得部としての処理に相当する。
In the embodiment described above, the system control unit 6 corresponds to a driver monitoring device, the camera 2 corresponds to a photographing unit, and the vibration sensor 4 corresponds to a vibration detection unit.
Further, S210 corresponds to the process as the image acquisition unit, S330 corresponds to the process as the area setting unit, and S10 corresponds to the process as the vibration acquisition unit.

また、S260〜S280は拡張部としての処理に相当し、S310,S320,S340,S350は監視部としての処理に相当する。
また、認識範囲は監視領域に相当し、振動電圧信号は振動量情報に相当し、S310,S320,S340,S350は監視処理に相当する。
Further, S260 to S280 correspond to the processing as the extension unit, and S310, S320, S340, and S350 correspond to the processing as the monitoring unit.
The recognition range corresponds to the monitoring area, the vibration voltage signal corresponds to the vibration amount information, and S310, S320, S340, and S350 correspond to the monitoring process.

また、認識範囲におけるX軸方向とY軸方向は拡張方向に相当し、S20〜S60は平均算出部としての処理に相当し、互いに隣接する2つの撮影タイミングの間の期間はサンプル期間に相当し、n回前の撮影タイミングと今回の撮影タイミングとの間の期間は平均算出期間に相当し、X軸振動平均値BxaveとY軸振動平均値ByaveとZ軸振動平均値Bzaveは振動平均値に相当する。 Further, the X-axis direction and the Y-axis direction in the recognition range correspond to the extension direction, S20 to S60 correspond to the processing as the average calculation unit, and the period between two adjacent imaging timings corresponds to the sample period. , The period between the nth previous shooting timing and the current shooting timing corresponds to the average calculation period, and the X-axis vibration average value Bx ave , the Y-axis vibration average value By ave, and the Z-axis vibration average value Bz ave are vibrations. Equivalent to the average value.

また、S290は高負荷判断部としての処理に相当し、S300は画素低減部としての処理に相当し、S290の判断条件は高負荷条件に相当し、認識対象画素は監視処理に利用する画素に相当する。   Further, S290 corresponds to the process as the high load determination unit, S300 corresponds to the process as the pixel reduction unit, the determination condition of S290 corresponds to the high load condition, and the recognition target pixel is the pixel used for the monitoring process. Equivalent to.

以上、本開示の一実施形態について説明したが、本開示は上記実施形態に限定されるものではなく、種々変形して実施することができる。
[変形例1]
例えば上記実施形態では、図8に示すように、認識範囲の右側と左側とでX軸画素調整量APxが同一である形態を示した。すなわち、認識範囲の右側と左側とで調整係数αが同一である。これは、図8に示すように、カメラ2が運転者の顔DFを正面から撮影するように設置されているために、認識範囲の左側の振動範囲に対応するカメラの撮影角度θと、認識範囲の右側の振動範囲に対応するカメラの撮影角度θとが等しくなるためである。
Although one embodiment of the present disclosure has been described above, the present disclosure is not limited to the above embodiment, and various modifications can be implemented.
[Modification 1]
For example, in the above embodiment, as shown in FIG. 8, the X-axis pixel adjustment amount APx is the same on the right side and the left side of the recognition range. That is, the adjustment coefficient α is the same on the right side and the left side of the recognition range. As shown in FIG. 8, since the camera 2 is installed so as to photograph the face DF of the driver from the front, the photographing angle θ 1 of the camera corresponding to the vibration range on the left side of the recognition range, This is because the shooting angle θ 2 of the camera corresponding to the vibration range on the right side of the recognition range becomes equal.

一方、カメラ2が運転者の顔DFに対して右側または左側に偏って設置されている場合には、認識範囲の左側と右側とでX軸画素調整量APxが異なるようにするとよい。図9は、カメラ2が運転者の顔DFに対して左側に偏って設置されていることを示している。図9に示すように、運転者の顔DFの左側にカメラ2が設置されている場合には、認識範囲の左側の振動範囲に対応するカメラ2の撮影角度θが、認識範囲の右側の振動範囲に対応するカメラ2の撮影角度θよりも大きくなる。したがって、認識範囲の左側に対応する調整係数をαとし、認識範囲の右側に対応する調整係数をαとすると、α>αとなるように調整係数を設定するとよい。これにより、認識範囲の左側におけるX軸画素調整量APxが、認識範囲の右側におけるX軸画素調整量APxよりも大きくなる。このようにすることで、システム制御部6は、X軸方向の振動に起因して認識範囲内において運転者の顔DFが左側および右側に移動する移動量に応じた適切な画素調整量で認識範囲を拡張することができる。 On the other hand, when the camera 2 is installed on the right or left side of the driver's face DF, the X-axis pixel adjustment amount APx may be different between the left side and the right side of the recognition range. FIG. 9 shows that the camera 2 is installed so as to be biased to the left side with respect to the driver's face DF. As shown in FIG. 9, when the camera 2 is installed on the left side of the driver's face DF, the shooting angle θ 1 of the camera 2 corresponding to the vibration range on the left side of the recognition range is on the right side of the recognition range. It becomes larger than the photographing angle θ 2 of the camera 2 corresponding to the vibration range. Therefore, assuming that the adjustment coefficient corresponding to the left side of the recognition range is α 1 and the adjustment coefficient corresponding to the right side of the recognition range is α 2 , the adjustment coefficient may be set so that α 12 . As a result, the X-axis pixel adjustment amount APx on the left side of the recognition range becomes larger than the X-axis pixel adjustment amount APx on the right side of the recognition range. By doing so, the system control unit 6 recognizes with an appropriate pixel adjustment amount according to the amount of movement of the driver's face DF to the left and right within the recognition range due to the vibration in the X-axis direction. The range can be extended.

同様に、認識範囲の上側と下側についても、カメラ2の設置位置に応じて、認識範囲の上側と下側とで調整係数βを異ならせるようにしてもよい。すなわち、カメラ2が運転者の顔DFに対して上側または下側に偏って設置されている場合には、認識範囲の上側と下側とでY軸画素調整量APyが異なるようにするとよい。例えば、運転者の顔DFの下側にカメラ2が設置されている場合には、認識範囲の下側の振動範囲に対応するカメラ2の撮影角度が、認識範囲の上側の振動範囲に対応するカメラ2の撮影角度よりも大きくなる。したがって、認識範囲の下側に対応する調整係数をβとし、認識範囲の上側に対応する調整係数をβとすると、β>βとなるように調整係数を設定するとよい。これにより、認識範囲の下側におけるY軸画素調整量APyが、認識範囲の上側におけるY軸画素調整量APyよりも大きくなる。このようにすることで、システム制御部6は、Y軸方向の振動に起因して認識範囲内において運転者の顔DFが下側および上側に移動する移動量に応じた適切な画素調整量で認識範囲を拡張することができる。 Similarly, with respect to the upper side and the lower side of the recognition range, the adjustment coefficient β may be different between the upper side and the lower side of the recognition range depending on the installation position of the camera 2. That is, when the camera 2 is installed so as to be biased upward or downward with respect to the driver's face DF, the Y-axis pixel adjustment amount APy may be different between the upper side and the lower side of the recognition range. For example, when the camera 2 is installed below the driver's face DF, the shooting angle of the camera 2 corresponding to the lower vibration range of the recognition range corresponds to the upper vibration range of the recognition range. It becomes larger than the shooting angle of the camera 2. Therefore, assuming that the adjustment coefficient corresponding to the lower side of the recognition range is β 1 and the adjustment coefficient corresponding to the upper side of the recognition range is β 2 , the adjustment coefficient may be set so that β 12 . As a result, the Y-axis pixel adjustment amount APy on the lower side of the recognition range becomes larger than the Y-axis pixel adjustment amount APy on the upper side of the recognition range. By doing so, the system control unit 6 sets an appropriate pixel adjustment amount according to the amount of movement of the driver's face DF to the lower side and the upper side within the recognition range due to the vibration in the Y-axis direction. The recognition range can be extended.

[変形例2]
上記実施形態では、運転席の座部に振動センサ4が設置される形態を示した。しかし、振動センサ4の設置位置は座部に限定されるものではない。但し、運転者の付近に設置されることが望ましい。
[Modification 2]
In the above embodiment, the vibration sensor 4 is installed on the seat of the driver's seat. However, the installation position of the vibration sensor 4 is not limited to the seat portion. However, it is desirable to install it near the driver.

[変形例3]
上記実施形態では、認識範囲に含まれる画素の数が予め設定された低減判定値以上であるか否かを判断する形態を示したが、これに限定されるものではなく、処理負荷が高いことを示す条件であればよい。例えば、認識範囲内で運転者の顔領域を抽出するために要する時間を推測し、この推測時間が予め設定された低減判定時間より長い場合に、認識対象画素の数を低減するようにしてもよい。
[Modification 3]
In the above-described embodiment, the form in which it is determined whether or not the number of pixels included in the recognition range is equal to or greater than the preset reduction determination value is shown, but the present invention is not limited to this, and the processing load is high. Any condition that indicates For example, the time required to extract the driver's face area within the recognition range is estimated, and if the estimated time is longer than the preset reduction determination time, the number of recognition target pixels may be reduced. Good.

[変形例4]
上記実施形態では、カメラ2の内部にコントローラ15が含まれている形態を示したが、カメラ2の外部にコントローラ15を設置するようにしてもよい。
[Modification 4]
Although the controller 15 is included in the camera 2 in the above-described embodiment, the controller 15 may be installed outside the camera 2.

[変形例5]
上記実施形態では、互いに隣接する2つの撮影タイミングの間の期間がサンプル期間である形態を示したが、これに限定されるものではなく、例えば、サンプル期間は予め設定された一定の時間間隔であってもよい。
[Modification 5]
In the above embodiment, the period between two adjacent imaging timings is the sample period, but the present invention is not limited to this. For example, the sample period is a preset constant time interval. It may be.

[変形例6]
上記実施形態では、スピーカ5から警告音を出力させる形態を示したが、これに限定されるものではなく、例えば、運転者に何らかの刺激を与えて覚醒を促すようなアクチュエータを作動させるようにしてもよい。
[Modification 6]
In the above-described embodiment, the form in which the warning sound is output from the speaker 5 has been shown, but the present invention is not limited to this. Good.

また、上記実施形態における1つの構成要素が有する機能を複数の構成要素に分担させたり、複数の構成要素が有する機能を1つの構成要素に発揮させたりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加、置換等してもよい。なお、特許請求の範囲に記載の文言から特定される技術思想に含まれるあらゆる態様が本開示の実施形態である。   Further, the function of one constituent element in the above-described embodiment may be shared by a plurality of constituent elements, or the function of a plurality of constituent elements may be exerted by one constituent element. Further, a part of the configuration of the above embodiment may be omitted. Further, at least a part of the configuration of the above-described embodiment may be added to or replaced with the configuration of the other above-described embodiment. Note that all aspects included in the technical idea specified by the wording of the claims are the embodiments of the present disclosure.

上述したシステム制御部6の他、当該システム制御部6を構成要素とするシステム、当該システム制御部6としてコンピュータを機能させるためのプログラム、このプログラムを記録した媒体、運転者監視方法など、種々の形態で本開示を実現することもできる。   In addition to the system control unit 6 described above, there are various systems such as a system having the system control unit 6 as a component, a program for causing a computer to function as the system control unit 6, a medium storing the program, a driver monitoring method, and the like. The present disclosure can be realized in a form.

2…カメラ、4…振動センサ、6…システム制御部   2... Camera, 4... Vibration sensor, 6... System control unit

Claims (7)

車両の運転席に座っている運転者の顔を連続して撮影する撮影部(2)から、前記撮影部が撮影した撮影画像を示す画像データを取得するように構成された画像取得部(S210)と、
前記画像取得部により取得された前記画像データにより示される前記撮影画像において、前記運転者の顔が写っている顔領域を含むようにして、前記運転者を監視するための監視領域を設定するように構成された領域設定部(S330)と、
前記車両で発生する振動の大きさを検出する振動検出部(4)から、前記振動の大きさを示す振動量情報を取得するように構成された振動取得部(S10)と、
前記振動取得部が取得した前記振動量情報により示される前記振動の大きさに応じて、前記領域設定部により設定された前記監視領域を、前記振動検出部が前記振動を検出する前よりも拡張するように構成された拡張部(S260〜S280)と、
前記監視領域に含まれる前記運転者の顔を監視する監視処理を実行するように構成された監視部(S310,S320,S340,S350)と
を備える運転者監視装置(6)。
An image acquisition unit (S210) configured to acquire image data representing a captured image captured by the image capturing unit (2) that continuously captures the face of the driver sitting in the driver's seat of the vehicle. )When,
In the photographed image indicated by the image data acquired by the image acquisition unit, a monitoring area for monitoring the driver is set so as to include a face area in which the driver's face is shown. The set area (S330),
A vibration acquisition unit (S10) configured to acquire vibration amount information indicating the magnitude of vibration from a vibration detection unit (4) that detects the magnitude of vibration generated in the vehicle;
Depending on the magnitude of the vibration indicated by the vibration amount information acquired by the vibration acquisition unit, the monitoring area set by the area setting unit is expanded more than before the vibration detection unit detects the vibration. An extension unit (S260 to S280) configured to
A driver monitoring device (6), comprising: a monitoring unit (S310, S320, S340, S350) configured to perform a monitoring process of monitoring the driver's face included in the monitoring area.
請求項1に記載の運転者監視装置であって、
前記拡張部は、
予め設定された拡張方向に沿って、前記振動における前記拡張方向の成分の大きさに応じて、前記監視領域を拡張する運転者監視装置。
The driver monitoring device according to claim 1, wherein
The extension is
A driver monitoring device that expands the monitoring area according to the magnitude of a component of the vibration in the expansion direction along a preset expansion direction.
請求項1または請求項2に記載の運転者監視装置であって、
予め設定されたサンプル期間内における前記振動の大きさの最大値と最小値との差分を振動変動量として算出し、前記振動変動量の時系列データについて、前記サンプル期間より長くなるように設定された平均算出期間内における前記振動変動量の移動平均を振動平均値として算出するように構成された平均算出部(S20〜S60)を備え、
前記拡張部は、
前記平均算出部により算出された前記振動平均値の大きさに応じて、前記監視領域を拡張する運転者監視装置。
The driver monitoring device according to claim 1 or 2, wherein
The difference between the maximum value and the minimum value of the magnitude of the vibration within the preset sample period is calculated as the vibration variation amount, and the time series data of the vibration variation amount is set to be longer than the sample period. An average calculation unit (S20 to S60) configured to calculate a moving average of the vibration fluctuation amount within the average calculation period as a vibration average value,
The extension is
A driver monitoring apparatus that expands the monitoring area according to the magnitude of the vibration average value calculated by the average calculation unit.
請求項1〜請求項3の何れか1項に記載の運転者監視装置であって、
前記拡張部は、
前記撮影部が前記運転者の顔に対して右側または左側に偏って設置されている場合に、前記監視領域の右側へ向かって拡張する右側拡張量と、前記監視領域の左側へ向かって拡張する左側拡張量とが異なるように、前記監視領域を拡張する運転者監視装置。
The driver monitoring device according to any one of claims 1 to 3,
The extension is
When the imaging unit is installed on the right side or the left side with respect to the driver's face, it expands toward the right side of the monitoring area and expands toward the left side of the monitoring area. A driver monitoring device that expands the monitoring area so that the left expansion amount is different.
請求項1〜請求項3の何れか1項に記載の運転者監視装置であって、
前記拡張部は、
前記撮影部が前記運転者の顔に対して上側または下側に偏って設置されている場合に、前記監視領域の上側へ向かって拡張する上側拡張量と、前記監視領域の下側へ向かって拡張する下側拡張量とが異なるように、前記監視領域を拡張する運転者監視装置。
The driver monitoring device according to any one of claims 1 to 3,
The extension is
When the imaging unit is installed biased to the upper side or the lower side with respect to the driver's face, the upper expansion amount that expands toward the upper side of the monitoring area and the lower side of the monitoring area. A driver monitoring device that expands the monitoring area so that a lower expansion amount to be expanded is different.
請求項1〜請求項5の何れか1項に記載の運転者監視装置であって、
前記監視部は、
前記監視処理の処理負荷が高いことを示す予め設定された高負荷条件が成立しているか否かを判断するように構成された高負荷判断部(S290)と、
前記高負荷条件が成立していると前記高負荷判断部が判断した場合に、前記監視領域において前記監視処理に利用する画素の数を低減するように構成された画素低減部(S300)と
を備える運転者監視装置。
The driver monitoring device according to any one of claims 1 to 5,
The monitoring unit is
A high load determining unit (S290) configured to determine whether or not a preset high load condition indicating that the processing load of the monitoring process is high is satisfied;
A pixel reduction unit (S300) configured to reduce the number of pixels used in the monitoring process in the monitoring region when the high load determination unit determines that the high load condition is satisfied. A driver monitoring device provided.
請求項1〜請求項6の何れか1項に記載の運転者監視装置であって、
前記振動検出部は、前記運転席に設置される運転者監視装置。
The driver monitoring device according to any one of claims 1 to 6,
The vibration detection unit is a driver monitoring device installed in the driver's seat.
JP2017032296A 2017-02-23 2017-02-23 Driver monitoring device Active JP6702226B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017032296A JP6702226B2 (en) 2017-02-23 2017-02-23 Driver monitoring device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017032296A JP6702226B2 (en) 2017-02-23 2017-02-23 Driver monitoring device

Publications (2)

Publication Number Publication Date
JP2018136848A JP2018136848A (en) 2018-08-30
JP6702226B2 true JP6702226B2 (en) 2020-05-27

Family

ID=63365568

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017032296A Active JP6702226B2 (en) 2017-02-23 2017-02-23 Driver monitoring device

Country Status (1)

Country Link
JP (1) JP6702226B2 (en)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3926254B2 (en) * 2002-11-25 2007-06-06 Necシステムテクノロジー株式会社 Customer satisfaction evaluation system and method for vehicle
JP4039425B2 (en) * 2004-12-20 2008-01-30 日産自動車株式会社 Image processing apparatus and method
JP5177011B2 (en) * 2009-02-25 2013-04-03 株式会社デンソー Eye opening degree identification device
JP2015179368A (en) * 2014-03-19 2015-10-08 株式会社日本自動車部品総合研究所 Road marking recognition device and road marking recognition program

Also Published As

Publication number Publication date
JP2018136848A (en) 2018-08-30

Similar Documents

Publication Publication Date Title
JP5435307B2 (en) In-vehicle camera device
JP6140935B2 (en) Image processing apparatus, image processing method, image processing program, and imaging apparatus
JP5398156B2 (en) WHITE BALANCE CONTROL DEVICE, ITS CONTROL METHOD, AND IMAGING DEVICE
JP4917509B2 (en) Autofocus control circuit, autofocus control method, and imaging apparatus
JP6566737B2 (en) Information processing apparatus, information processing method, and program
JP2010204304A (en) Image capturing device, operator monitoring device, method for measuring distance to face
JP2013005234A5 (en)
JP6074254B2 (en) Image processing apparatus and control method thereof
JP6336148B2 (en) Image processing apparatus, image processing method, image processing program, and imaging apparatus
JP2007199633A (en) Focusing detector
WO2015194091A1 (en) Imaging device and imaging method
US10348966B2 (en) Optical apparatus and a control method for performing image readout and reconstruction based on a delayed readout from different partial regions
JP2016200702A (en) Focus detection device, control method therefor, program, and storage medium
JP6702226B2 (en) Driver monitoring device
JP5189913B2 (en) Image processing device
JP2014142832A (en) Image processing apparatus, control method of image processing apparatus, and program
JP7401246B2 (en) Imaging device, method of controlling the imaging device, and program
US11295464B2 (en) Shape measurement device, control method, and recording medium
JP2021111929A (en) Imaging device, control method of imaging device, and program
JP2019057240A (en) Imaging apparatus
JPWO2018193704A1 (en) Signal processing system, signal processing device, and signal processing method
JP2016142924A5 (en)
JP5315019B2 (en) Autofocus device, autofocus method, and imaging device
JP6459745B2 (en) Self-position calculation device and self-position calculation method
JP2020077946A (en) Image processing device, image processing method, and program, for reducing image noise

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190409

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200319

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200407

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200420

R151 Written notification of patent or utility model registration

Ref document number: 6702226

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250