WO2017057017A1 - 状態判定装置 - Google Patents

状態判定装置 Download PDF

Info

Publication number
WO2017057017A1
WO2017057017A1 PCT/JP2016/077231 JP2016077231W WO2017057017A1 WO 2017057017 A1 WO2017057017 A1 WO 2017057017A1 JP 2016077231 W JP2016077231 W JP 2016077231W WO 2017057017 A1 WO2017057017 A1 WO 2017057017A1
Authority
WO
WIPO (PCT)
Prior art keywords
driver
vehicle
state
state determination
imaging unit
Prior art date
Application number
PCT/JP2016/077231
Other languages
English (en)
French (fr)
Inventor
眞由美 岩男
Original Assignee
いすゞ自動車株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by いすゞ自動車株式会社 filed Critical いすゞ自動車株式会社
Publication of WO2017057017A1 publication Critical patent/WO2017057017A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems

Definitions

  • the present disclosure relates to a state determination device that determines the state of a driver based on an image generated by photographing the inside of a vehicle.
  • Patent Document 1 detects whether or not the position of the driver's head and hand is within a predetermined reference range based on an image generated by photographing the inside of the vehicle, and determines the driver's state. A method of determining is disclosed.
  • a camera that captures the inside of a vehicle is set at a position that is easily visible to the driver, such as a dashboard.
  • the image pickup unit is arranged at a position that is easily visible to the driver during driving, the driver feels that the driver is being monitored, which may cause discomfort to the driver.
  • the present disclosure has been made in view of these points, and an object thereof is to provide a state determination device that can suppress discomfort to the driver.
  • the vehicle is disposed above a virtual straight line passing through the upper end of the driver's seat of the vehicle and the lower end of the sun visor in the light blocking position for blocking light
  • the state determination apparatus which has an imaging part which produces
  • the imaging unit may be disposed in front of a virtual straight line that is in contact with the front surface of the backrest of the driver's seat and extends in the vertical direction.
  • the imaging unit may be provided on any one of the ceiling, back panel, head tray, room lamp, or A pillar of the vehicle.
  • the imaging unit shoots an area including a steering wheel of the vehicle to generate the image, and the state determination unit is based on whether the driver's hand is in a predetermined reference range for the steering wheel, The state of the driver may be determined.
  • the vehicle is disposed above a virtual straight line passing through the upper end of the driver's seat of the vehicle and the lower end of the sun visor in the deployed position deployed from the retracted position,
  • An imaging device that shoots and generates an image
  • a processor and a memory that records instructions, the instructions causing the processor to perform the following operations when executed by the processor: based on the images
  • a state determination device that determines the state of the driver of the vehicle may be provided.
  • the imaging unit of the state determination device is restrained from giving the driver discomfort.
  • FIG. 1 is a schematic diagram of the vehicle according to the present embodiment as viewed from the side.
  • FIG. 2 is a block diagram illustrating a configuration of the state determination device.
  • FIG. 3 is a block diagram illustrating an image generated by the imaging unit.
  • FIG. 4 is a flowchart showing the operation of the state determination device.
  • FIG. 5 is a schematic view of the interior of the vehicle according to the present embodiment as viewed from the rear.
  • FIG. 1 is a schematic diagram of a state in which a handle 2 and a driver's seat 3 of a vehicle 1 according to this embodiment are viewed from the side.
  • the driver's seat 3 is connected to the seat portion 3a on which the driver 30 is seated, the seat portion 3a, the backrest portion 3b that supports the waist and back of the driver 30, and the upper end of the backrest portion 3b.
  • a sun visor 4 is provided in front of the driver's seat 3.
  • the sun visor 4 can be adjusted to an arbitrary position between the light shielding position (deployed position) represented by the solid line in FIG. 1 and the storage position represented by the dotted line.
  • the sun visor 4 can block at least part of the light incident on the eyes of the driver 30 at the light blocking position.
  • An imaging unit 21 is provided inside the vehicle 1.
  • the imaging unit 21 is a CCD camera, for example.
  • the imaging unit 21 is a component of a part of the state determination device that determines the state of the driver based on the image captured by the imaging unit 21. Details of the state determination device will be described later with reference to FIG.
  • the imaging unit 21 is disposed above an imaginary straight line B1 that passes through the upper end of the driver's seat 3 (the upper end of the headrest 3c) and the lower end of the sun visor 4 at the light-shielding position that blocks light.
  • the imaging unit 21 is disposed on the ceiling 5 of the vehicle 1. For this reason, it can suppress that the image pick-up part 21 enters into the visual field of the driver
  • the imaging unit 21 can photograph the handle 2 from the surface 2a side.
  • the driver 30 usually holds the handle 2 from the front surface 2a side, not from the back surface 2b side of the handle 2. Therefore, when the imaging unit 21 captures the handle 2 from the surface 2a side, the position of the right hand 31 of the driver 30 with respect to the handle 2 can be specified more accurately.
  • the arrangement of the imaging part 21 is not limited to the ceiling 5.
  • FIG. 1 and FIG. 5 described later an example of the arrangement of the imaging unit 21 other than the ceiling 5 is indicated by a dotted line with a reference numeral 21. Details of an example of the arrangement of the imaging unit 21 will be described later.
  • the imaging unit 21 may be provided on the ceiling 5 so as to be movable along the ceiling 5.
  • members 6 such as iron plates and rails extending along the width direction of the vehicle 1 may be provided on the ceiling 5, and the imaging unit 21 may be attached to the member 6 so as to be movable along the member 6.
  • the state determination device 20 may automatically adjust the position of the imaging unit 21 according to the sitting height, body shape, and the like of the driver 30.
  • the imaging unit 21 is preferably disposed in front of a virtual straight line B2 that passes through the front surface of the backrest 3b of the driver's seat 3 and extends in the vertical direction. Thereby, it is possible to further suppress the region including the handle 2 from being shielded by the upper body of the driver 30 in the image captured by the imaging unit 21.
  • FIG. 2 is a block diagram illustrating the state determination device 20 according to the present embodiment.
  • the state determination device 20 includes an imaging unit 21, a state determination unit 22, an alarm unit 23, and a transmission unit 24.
  • the imaging unit 21 is, for example, a CCD camera.
  • the imaging unit 21 captures an area including the handle 2 at every predetermined sampling period to generate an image.
  • the imaging unit 21 outputs the generated image to the state determination unit 22.
  • the imaging unit 21 may include a wide-angle lens such as a fisheye lens.
  • a wide-angle lens such as a fisheye lens.
  • the state determination unit 22 includes, for example, a CPU, a ROM, and a RAM, and functions as the specifying unit 221 and the determination unit 222 by executing a program stored in the ROM.
  • the state determination unit 22 determines the state of the driver 30 of the vehicle 1 based on the image input from the imaging unit 21.
  • FIG. 3 is a diagram illustrating an example of the image 211 generated by the imaging unit 21.
  • the image 211 includes an image showing the steering wheel 2, the driver's right hand 31 and the left hand 32.
  • the specifying unit 221 specifies the right hand 31 and the left hand 32 that appear in the image 211 input from the imaging unit 21. While the vehicle 1 is traveling, the positions of the components of the vehicle 1 such as the handle 2 included in the image 211 hardly change, and therefore the specifying unit 221 can specify the image areas whose positions change as the right hand 31 and the left hand 32. it can.
  • the specifying unit 221 includes, for example, the image 211 based on a difference between a sample image that is captured in advance by the imaging unit 21 and includes the handle 2 and does not include the right hand 31 and the left hand 32 and the image 211 captured by the imaging unit 21.
  • the right hand 31 and the left hand 32 may be specified.
  • the determining unit 222 determines the state of the driver 30 based on whether or not the right hand 31 in the image 211 specified by the specifying unit 221 is within a predetermined reference range R1 with respect to the steering wheel 2. For example, the determination unit 222 calculates an integrated value S1 obtained by integrating the periods during which the right hand 31 has deviated from the reference range R1 during the predetermined determination period T1. The determination unit 222 determines that the state of the driver 30 is an abnormal state when the integrated value S1 is equal to or greater than a predetermined threshold value E1.
  • the determination period T1 is a period (for example, 60 seconds) in the length of the past T1 from the present time.
  • the threshold E1 is set to 80% or more of the determination period T1, preferably 90% or more, and shorter than the determination period T1 (for example, 99% or less, preferably 95% or less), for example, 55 seconds.
  • the reference range R1 may be stored in advance in the ROM or RAM of the state determination unit 22, or may be determined according to the position of the right hand 31 of the driver 30 during a predetermined period.
  • the determination unit 222 sets, as the reference range R1, a range in which the right hand 31 of the driver 30 moves during a predetermined period after the vehicle 1 starts and starts running.
  • the determination unit 222 determines that the driver is based on the image 211.
  • the process for determining the state of 30 may be interrupted.
  • the determination unit 222 acquires the control information of the vehicle 1 including the information related to the speed of the vehicle 1 and the information related to the steering status of the vehicle 1 from the vehicle control unit that controls the vehicle 1, and the control information
  • the determination of the state of the driver 30 may be interrupted based on the above. For example, the determination unit 222 interrupts the determination based on the control information while the vehicle 1 is stopped or while the vehicle 1 is traveling at a low speed.
  • the determination unit 222 interrupts the determination. May be. In this case, the determination unit 222 ignores the period during which the determination is interrupted and calculates the determination period T1 and the integrated value S1.
  • the determination unit 222 causes the alarm unit 23 to output an alarm when the driver 30 is in an abnormal state. For example, after determining that the driver 30 is in an abnormal state, the determination unit 222 causes the alarm unit 23 to output an alarm until a predetermined alarm stop condition is satisfied. Further, the determination unit 222 determines that the driver 30 is in a normal state when the alarm stop condition is satisfied, and stops the alarm unit 23 from outputting an alarm.
  • the alarm stop condition is, for example, that the driver 30 performs a predetermined operation such as a steering operation or a brake operation.
  • the determination unit 222 determines whether or not the driver 30 has performed a predetermined operation based on control information input from a vehicle control unit that controls the vehicle 1.
  • the alarm stop condition may be that a switch for stopping the alarm is input by the driver 30.
  • the determination unit 222 may determine the state of the driver 30 based on the integrated value S1 of the departure period. In this case, the determination unit 222 may stop the alarm when the driver 30 is determined to be in a normal state based on the integrated value S1.
  • the determination unit 222 calculates an alarm continuation period S2 in which the alarm unit 23 continuously outputs an alarm. And the determination part 222 may transmit the information that the driver
  • the alarm unit 23 outputs an alarm indicating that the driver 30 is in an abnormal state based on the input from the determination unit 222.
  • the alarm unit 23 includes a speaker that outputs an alarm by voice.
  • the alarm unit 23 may include a display that displays the alarm with characters or images.
  • the transmission unit 24 transmits information on the state of the driver 30 to the outside of the vehicle 1 based on the input from the determination unit 222. For example, the transmission unit 24 transmits information using a wireless communication method in a telematics service. When the vehicle 1 is a commercial vehicle such as a bus or a truck, the transmission unit 24 transmits information to a management company that manages the vehicle 1, for example.
  • the imaging unit 21 captures an area including the handle 2 and generates an image 211 (S11).
  • the specifying unit 221 specifies the right hand 31 shown in the image 211 (S12).
  • the determination unit 222 determines whether or not the right hand 31 in the image 211 has deviated from the predetermined reference range R1 for the handle 2 (S13).
  • the determination unit 222 calculates the integrated value S1 for the period during which the right hand 31 deviates from the reference range R1 during the predetermined determination period T1. (S14). Subsequently, the determination unit 222 determines whether or not the integrated value S1 is equal to or greater than a predetermined threshold E1 (S15). When integrated value S1 is equal to or greater than threshold value E1 (YES in S15), determination unit 222 determines that driver 30 is in an abnormal state (S16) and causes alarm unit 23 to output an alarm (S17).
  • the determination unit 222 checks whether or not a predetermined alarm stop condition is satisfied at every predetermined sampling period (S18). When the alarm stop condition is not satisfied (NO in S18), the determination unit 222 determines whether or not the alarm continuation period S2 is equal to or greater than a predetermined threshold E2 (S19). When alarm duration S2 is equal to or greater than threshold value E2 (YES in S19), determination unit 222 causes transmission unit 24 to transmit information indicating that driver 30 is in an abnormal state to the management company of vehicle 1. (S20). When the predetermined alarm stop condition is satisfied in S18 (YES in S18), determination unit 222 stops alarming unit 23 from outputting an alarm (S21).
  • the imaging unit 21 of the state determination device 20 is disposed above a virtual straight line B1 that passes through the upper end of the driver's seat 3 and the lower end of the sun visor 4 in the light blocking position that blocks light. Has been. For this reason, it can suppress that the image pick-up part 21 enters into the visual field of the driver
  • the imaging unit 21 can photograph the handle 2 from the surface 2a side. For this reason, the position of the right hand 31 of the driver 30 with respect to the handle 2 can be specified more accurately than in the case where the handle 2 is photographed from the back surface 2b side.
  • the imaging unit 21 may be provided on the back panel 8 installed behind the driver's seat 3.
  • the back panel 8 extends above the upper end of the driver's seat 3 in the vertical direction.
  • the imaging unit 21 may be provided on the back panel 8 at a position above the upper end of the driver's seat 3.
  • the imaging unit 21 may be provided on the head tray 9 installed on the ceiling 5.
  • the imaging unit 21 is attached to the bottom of the head tray 9, for example.
  • the imaging unit 21 may be provided in the room lamp 10 installed on the ceiling 5.
  • the imaging unit 21 is disposed, for example, inside the illumination cover of the room lamp 10.
  • the imaging unit 21 is disposed in front of a virtual straight line B2 that is in contact with the front surface of the backrest 3b of the driver's seat 3 and extends in the vertical direction.
  • FIG. 5 is a schematic view of the inside of the vehicle as viewed from the rear.
  • the imaging unit 21 may be provided on the A pillar 11 formed between the windshield 12 and the side glass 13.
  • the imaging unit 21 is provided at the end of the A pillar 11 on the ceiling 5 side.
  • the state determination device 20 determines the state of the driver 30 based on whether or not the right hand 31 of the driver 30 is in the predetermined reference range R1 with respect to the steering wheel 2 has been described.
  • the present invention is not limited to this, and the state determination device 20 may determine the state of the driver 30 based on the position of an arbitrary part of the driver's 30 body.
  • the state determination device 20 may determine the state of the driver 30 based on whether or not the left hand 32 of the driver 30 is within a predetermined reference range with respect to the steering wheel 2.
  • the state determination device 20 determines whether the right hand 31 of the driver 30 is within a predetermined reference range with respect to the steering wheel 2 and whether the left hand 32 of the driver 30 is within a predetermined reference range with respect to the steering wheel 2.
  • the state of the driver 30 may be determined in consideration of both of the information.
  • the driver 30 uses the left hand 32 not only to operate the handle 2 but also to operate the shift lever, the audio device, the air conditioner, and the like. Therefore, the frequency with which the left hand 32 is separated from the handle 2 is higher than the frequency with which the right hand 31 is separated from the handle 2.
  • the threshold for determining the driver 30 as an abnormal state based on the left hand 32 may be higher than the threshold E1 for determining the driver 30 as an abnormal state based on the right hand 31.
  • the frequency with which the right hand 31 is separated from the handle 2 is higher than the frequency with which the left hand 32 is separated from the handle 2, so that the driver 30 is determined to be in an abnormal state based on the right hand 31.
  • the threshold value may be higher than the threshold value E1 when the driver 30 is determined to be in an abnormal state based on the left hand 32.
  • the state determination device 20 may determine the state of the driver 30 based on whether or not the head 33 of the driver 30 is within a predetermined reference range. Further, the state determination device 20 may determine the state of the driver 30 based on whether or not the upper body of the driver 30 is within a predetermined reference range.
  • the state determination device 20 includes one imaging unit 21 .
  • the present invention is not limited to this, and the state determination device 20 may include a plurality of imaging units 21.
  • the plurality of imaging units 21 shoot the handle 2 and the like from different angles above a virtual straight line B1 passing through the upper end of the driver's seat 3 and the lower end of the sun visor 4 in the light blocking position for blocking light. Is arranged.
  • it is preferable that all of the plurality of imaging units 21 are disposed in front of a virtual straight line B2 that is in contact with the front surface of the backrest portion 3b of the driver's seat 3 and extends in the vertical direction.
  • the state determination device 20 determines the state of the driver 30 based on the plurality of images 211 captured by the plurality of imaging units 21. For this reason, the state determination apparatus 20 can determine the state of the driver 30 more accurately.
  • the present invention has an effect of suppressing discomfort to the driver, and is useful for a state determination device for determining the state of the driver.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Traffic Control Systems (AREA)

Abstract

状態判定装置２０は、車両１の運転席３の上端と、光を遮る遮光位置にあるサンバイザー４の下端と、を通る仮想的な直線Ｂ１よりも上方に配置され、車両１の内部を撮影して画像を生成する撮像部２１と、画像に基づいて、車両１の運転者３０の状態を判定する状態判定部と、を有する。

Description

状態判定装置
　本開示は、車両の内部を撮影して生成した画像に基づいて運転者の状態を判定する状態判定装置に関する。
　従来、車両の運転者が正常な状態にあるか否かを検出する方法として、撮像部を用いて車両の内部を撮影して画像を生成し、画像に基づいて運転者の状態を判定する方法が知られている。例えば、特許文献１には、車両の内部を撮影して生成した画像に基づいて、運転者の頭部及び手の位置が所定の基準範囲にあるか否かを検出し、運転者の状態を判定する方法が開示されている。
日本国特許第４９２２７１５号公報
　特許文献１に記載された方法においては、車両の内部を撮影するカメラが、ダッシュボードのように、運転者の目に付きやすい位置に設定されている。しかし、運転中の運転者の目に付きやすい位置に撮像部が配置されていると、運転者は監視されているように感じてしまい、運転者に不快感を与える虞がある。
　そこで、本開示はこれらの点に鑑みてなされたものであり、運転者に不快感を与えることを抑制できる状態判定装置を提供することを目的とする。
　本開示の態様においては、車両の運転席の上端と、光を遮る遮光位置にあるサンバイザーの下端と、を通る仮想的な直線よりも上方に配置され、前記車両の内部を撮影して画像を生成する撮像部と、前記画像に基づいて、前記車両の運転者の状態を判定する状態判定部と、を有する、状態判定装置を提供する。
　前記撮像部は、前記運転席の背もたれ部の前面に接し、かつ上下方向に延びる仮想的な直線よりも前方に配置されていてもよい。
　前記撮像部は、前記車両の天井、バックパネル、ヘッドトレイ、ルームランプ又はＡピラーのいずれかに設けられていてもよい。
　前記撮像部は、前記車両のハンドルを含む領域を撮影して前記画像を生成し、前記状態判定部は、前記ハンドルに対する所定の基準範囲に前記運転者の手があるか否かに基づいて、前記運転者の状態を判定してもよい。
　本開示の他の態様においては、車両の運転席の上端と、格納位置から展開した展開位置にあるサンバイザーの下端と、を通る仮想的な直線よりも上方に配置され、前記車両の内部を撮影して画像を生成する撮像装置と、プロセッサと、命令を記録したメモリと、を備え、前記命令は、前記プロセッサにより実行されると、前記プロセッサに以下の動作を実行させる：前記画像に基づいて、前記車両の運転者の状態を判定する、状態判定装置が提供されてもよい。
　本開示によれば、状態判定装置の撮像部が運転者に不快感を与えることを抑制するという効果を奏する。
図１は、本実施形態に係る車両の内部を側方から見た状態の模式図である。 図２は、状態判定装置の構成を示すブロック図である。 図３は、撮像部が生成した画像を示すブロック図である。 図４は、状態判定装置の動作を示すフローチャートである。 図５は、本実施形態に係る車両の内部を後方から見た状態の模式図である。
［車両の構成］
　図１は、本実施形態に係る車両１のハンドル２及び運転席３を側方から見た状態の模式図である。運転席３は、運転者３０が着座するシート部３ａ、シート部３ａに連結され、運転者３０の腰部および背部を支持する背もたれ部３ｂ、及び、背もたれ部３ｂの上端に設けられ、運転者３０の頭部３３を支持するヘッドレストを含む。運転席３の前方には、サンバイザー４が設けられている。
　サンバイザー４は、図１において実線で表された遮光位置（展開位置）と、点線で表された格納位置との間の任意の位置に調整可能である。サンバイザー４は、遮光位置において、運転者３０の目に入射する光の少なくとも一部を遮ることができる。
［撮像部２１の配置］
　車両１の内部には、撮像部２１が設けられている。撮像部２１は、例えばＣＣＤカメラである。撮像部２１は、撮像部２１が撮像した画像に基づいて運転者の状態を判定する状態判定装置の一部の構成要素である。状態判定装置の詳細については、図２を参照して後述する。
　以下、撮像部２１の配置について説明する。本実施の形態において、撮像部２１は、運転席３の上端（ヘッドレスト３ｃの上端）と、光を遮る遮光位置にあるサンバイザー４の下端と、を通る仮想的な直線Ｂ１よりも上方に配置されている。例えば、撮像部２１は、車両１の天井５に配置されている。このため、撮像部２１が運転中の運転者３０の視界に入ることを抑制できる。このことにより、撮像部２１の存在が運転者３０に不快感を与えることを抑制できる。
　また、撮像部２１を直線Ｂ１よりも上方に配置することにより、撮像部２１は、ハンドル２をその表面２ａ側から撮影できる。運転者３０は通常、ハンドル２を、ハンドル２の裏面２ｂ側からではなく表面２ａ側から握る。従って、撮像部２１がハンドル２を表面２ａ側から撮影することにより、ハンドル２に対する運転者３０の右手３１の位置をより正確に特定できる。
　なお、撮像部２１が直線Ｂ１よりも上方に位置する限りにおいて、撮像部２１の配置が天井５に限られることはない。図１および後述する図５においては、天井５以外の撮像部２１の配置の例が、符号２１が付された点線で示されている。撮像部２１の配置の例の詳細については後述する。
　撮像部２１は、天井５に沿って移動可能であるよう、天井５に設けられていてもよい。例えば、車両１の幅方向に沿って延びる鉄板、レールなどの部材６を天井５に設け、撮像部２１を、部材６に沿って移動可能であるよう部材６に取り付けてもよい。この場合、運転者３０の座高、体型などに応じて撮像部２１を移動させることができるので、撮像部２１が撮影する画像において、ハンドル２を含む領域が運転者３０の上半身によって遮蔽されることを抑制できる。
　状態判定装置２０は、撮像部２１の位置の調整を、運転者３０の座高、体型などに応じて自動で行ってもよい。
　以下、撮像部２１の配置のより好ましい例について説明する。撮像部２１は、好ましくは、運転席３の背もたれ部３ｂの前面を通り、かつ上下方向に延びる仮想的な直線Ｂ２よりも前方に配置されている。これによって、撮像部２１が撮影する画像において、ハンドル２を含む領域が運転者３０の上半身によって遮蔽されることをさらに抑制できる。
［状態判定装置２０の構成］
　以下、状態判定装置２０の構成及び動作について詳細に説明する。図２は、本実施形態に係る状態判定装置２０を示すブロック図である。状態判定装置２０は、撮像部２１、状態判定部２２、警報部２３、及び送信部２４を有している。
　撮像部２１は、例えばＣＣＤカメラである。撮像部２１は、所定のサンプリング周期ごとにハンドル２を含む領域を撮影して画像を生成する。撮像部２１は、生成した画像を、状態判定部２２に対して出力する。
　撮像部２１は、魚眼レンズといった広角レンズを含んでいてもよい。魚眼レンズを用いることにより、ハンドル２を含む領域を広角に撮影できるので、運転者３０の手がハンドル２から大きく離れている場合であっても、運転者３０の手を検出できる。
　状態判定部２２は、例えばＣＰＵ、ＲＯＭ及びＲＡＭを含んでおり、ＲＯＭに記憶されたプログラムを実行することにより、特定部２２１及び判定部２２２として機能する。状態判定部２２は、撮像部２１から入力された画像に基づいて、車両１の運転者３０の状態を判定する。
　図３は、撮像部２１が生成した画像２１１の一例を示す図である。図３に示すように、画像２１１には、ハンドル２、運転者の右手３１及び左手３２を示す画像が含まれている。特定部２２１は、撮像部２１から入力された画像２１１に映る右手３１及び左手３２を特定する。車両１の走行中、画像２１１に含まれるハンドル２などの車両１の構成要素の位置はほとんど変化しないので、特定部２２１は、位置が変化する画像領域を右手３１及び左手３２として特定することができる。特定部２２１は、例えば、予め撮像部２１によって撮像された、ハンドル２を含み、右手３１及び左手３２を含まないサンプル画像と、撮像部２１が撮像した画像２１１との差分に基づいて、画像２１１から右手３１及び左手３２を特定してもよい。
　判定部２２２は、特定部２２１が特定した画像２１１中の右手３１が、ハンドル２に対する所定の基準範囲Ｒ１にあるか否かに基づいて、運転者３０の状態を判定する。例えば、判定部２２２は、所定の判定期間Ｔ１の間に右手３１が基準範囲Ｒ１から逸脱していた期間を積算した積算値Ｓ１を算出する。判定部２２２は、積算値Ｓ１が、所定の閾値Ｅ１以上である場合、運転者３０の状態を異常状態と判定する。判定期間Ｔ１は、現時点から過去のＴ１の長さの期間（例えば、６０秒）である。閾値Ｅ１は、判定期間Ｔ１の８０％以上、好ましくは９０％以上で、かつ、判定期間Ｔ１よりも短く（たとえば９９％以下、好ましくは９５％以下）設定され、例えば５５秒である。
　基準範囲Ｒ１は、状態判定部２２のＲＯＭ又はＲＡＭに予め記憶されていてもよく、若しくは、所定の期間中における運転者３０の右手３１の位置に応じて定められてもよい。例えば、判定部２２２は、車両１が始動して走行を始めた後の所定の期間中に運転者３０の右手３１が動いた範囲を、基準範囲Ｒ１として設定する。
　判定部２２２は、車両１が所定の制御状態にあることにより、右手３１が基準範囲Ｒ１から逸脱していることが重大な問題を引き起こさないと考えられる場合には、画像２１１に基づいて運転者３０の状態を判定する処理を中断してもよい。具体的には、判定部２２２は、車両１の速度に関する情報、及び車両１の操舵状況に関する情報を含む、車両１の制御情報を、車両１を制御する車両制御部から取得し、当該制御情報に基づいて、運転者３０の状態の判定を中断してもよい。例えば、判定部２２２は、制御情報に基づいて、車両１が停止している間、又は車両１が低速で走行している間は判定を中断する。また、運転者３０が操舵動作を行っている間は、右手３１がハンドル２の上部を握ることによって右手３１が基準範囲Ｒ１から逸脱することが生じうるので、判定部２２２は、判定を中断してもよい。この場合、判定部２２２は、判定を中断している間の期間を無視して、判定期間Ｔ１及び積算値Ｓ１を算出する。
　判定部２２２は、運転者３０が異常状態にある場合、警報部２３に警報を出力させる。例えば、判定部２２２は、運転者３０が異常状態にあると判定した後、所定の警報停止条件が満たされるまで、警報部２３に警報を出力させる。また、判定部２２２は、警報停止条件が満たされた場合、運転者３０が正常状態であると判定し、警報部２３に警報を出力させることを停止する。
　警報停止条件は、例えば、運転者３０が操舵動作、ブレーキ動作などの所定の動作を行うことである。判定部２２２は、運転者３０が所定の動作を行ったか否かを、車両１を制御する車両制御部から入力された制御情報に基づいて判定する。
　また、警報停止条件は、警報を停止するためのスイッチが運転者３０によって入力されたことであってもよい。
　また、警報部２３が警報を出力している間も判定部２２２が逸脱期間の積算値Ｓ１に基づく運転者３０の状態の判定を行うようにしてもよい。この場合、判定部２２２は、積算値Ｓ１に基づいて運転者３０を正常状態と判定した場合に、警報を停止してもよい。
　判定部２２２は、警報部２３に連続的に警報を出力させている警報継続期間Ｓ２を算出する。そして、判定部２２２は、警報継続期間Ｓ２が、所定の閾値Ｅ２を超えた場合、送信部２４を介して、運転者３０が異常状態にあるという情報を車両１の外部に送信してもよい。
　警報部２３は、判定部２２２からの入力に基づいて、運転者３０が異常状態であることを示す警報を出力する。例えば、警報部２３は、警報を音声で出力するスピーカーを含んでいる。警報部２３は、警報を文字又は画像で表示するディスプレイを含んでいてもよい。
　送信部２４は、判定部２２２からの入力に基づいて、運転者３０の状態に関する情報を車両１の外部へ送信する。例えば、送信部２４は、テレマティクスサービスにおける無線通信方式を利用して、情報を送信する。車両１が、バス、トラックなどの商用車である場合、送信部２４は、例えば、車両１を管理する管理会社へ情報を送信する。
［状態判定装置２０の動作］
　次に、状態判定装置２０の動作について、図４のフローチャートを参照して説明する。
　はじめに、撮像部２１は、ハンドル２を含む領域を撮影して画像２１１を生成する（Ｓ１１）。次に、特定部２２１は、画像２１１に映る右手３１を特定する（Ｓ１２）。続いて、判定部２２２は、画像２１１中の右手３１が、ハンドル２に対する所定の基準範囲Ｒ１から逸脱しているか否かを判定する（Ｓ１３）。
　右手３１が基準範囲Ｒ１から逸脱している場合（Ｓ１３においてＹＥＳ）、判定部２２２は、所定の判定期間Ｔ１の間に右手３１が基準範囲Ｒ１から逸脱していた期間の積算値Ｓ１を算出する（Ｓ１４）。続いて、判定部２２２は、積算値Ｓ１が所定の閾値Ｅ１以上になるか否かを判定する（Ｓ１５）。積算値Ｓ１が閾値Ｅ１以上になる場合（Ｓ１５においてＹＥＳ）、判定部２２２は、運転者３０を異常状態と判定し（Ｓ１６）、警報部２３に警報を出力させる（Ｓ１７）。
　警報部２３に警報を出力させている間、判定部２２２は、所定のサンプリング周期ごとに、所定の警報停止条件が満たされたか否かを確認する（Ｓ１８）。警報停止条件が満たされていない場合（Ｓ１８においてＮＯ）、判定部２２２は、警報継続期間Ｓ２が所定の閾値Ｅ２以上になるか否かを判定する（Ｓ１９）。警報継続期間Ｓ２が閾値Ｅ２以上になる場合、（Ｓ１９においてＹＥＳ）、判定部２２２は、送信部２４に、車両１の管理会社へ、運転者３０が異常状態にあることを示す情報を送信させる（Ｓ２０）。
　判定部２２２は、Ｓ１８において所定の警報停止条件が満たされた場合（Ｓ１８においてＹＥＳ）、警報部２３に警報を出力させることを停止する（Ｓ２１）。
［本実施形態による状態判定装置２０の効果］
　本実施形態によれば、状態判定装置２０の撮像部２１は、運転席３の上端と、光を遮る遮光位置にあるサンバイザー４の下端と、を通る仮想的な直線Ｂ１よりも上方に配置されている。このため、撮像部２１が運転中の運転者３０の視界に入ることを抑制できる。従って、運転者３０に不快感を与えることを抑制しながら、運転者３０の状態を判定できる。
　また、本実施形態によれば、撮像部２１は、ハンドル２をその表面２ａ側から撮影できる。このため、ハンドル２をその裏面２ｂ側から撮影する場合に比べて、ハンドル２に対する運転者３０の右手３１の位置をより正確に特定できる。
［撮像部２１の配置の変形例］
　上述の説明においては、撮像部２１が天井５に設けられている例を示した。しかしながら、撮像部２１が、運転席３の上端と、光を遮る遮光位置にあるサンバイザー４の下端と、を通る仮想的な直線Ｂ１よりも上方に配置されている限りにおいて、撮像部２１を設ける対象が天井５に限られることはない。
　例えば、図１に点線で示すように、撮像部２１は、運転席３の後方に設置されたバックパネル８に設けられていてもよい。バックパネル８は、上下方向において、運転席３の上端よりも上方まで延びている。この場合、撮像部２１は、運転席３の上端よりも上方の位置においてバックパネル８に設けられていてもよい。
　また、撮像部２１は、天井５に設置されたヘッドトレイ９に設けられていてもよい。撮像部２１は、例えば、ヘッドトレイ９の底部に取り付けられている。
　また、撮像部２１は、天井５に設置されたルームランプ１０に設けられていてもよい。この場合、撮像部２１は、例えば、ルームランプ１０の照明カバーの内側に配置される。
　好ましくは、撮像部２１は、運転席３の背もたれ部３ｂの前面に接し、かつ上下方向に延びる仮想的な直線Ｂ２よりも前方に配置されている。
　図５は、車両の内部を後方から見た状態の模式図である。図５に点線で示すように、撮像部２１は、フロントガラス１２とサイドガラス１３の間に形成されたＡピラー１１に設けられていてもよい。例えば、撮像部２１は、Ａピラー１１の天井５側の端部に設けられている。
［判定対象の変形例］
　上述の説明においては、状態判定装置２０が、運転者３０の右手３１がハンドル２に対する所定の基準範囲Ｒ１にあるか否かに基づいて、運転者３０の状態を判定する例を示した。しかしながら、これに限られることはなく、状態判定装置２０は、運転者３０の身体の任意の部分の位置に基づいて、運転者３０の状態を判定してもよい。
　例えば、状態判定装置２０は、運転者３０の左手３２がハンドル２に対する所定の基準範囲にあるか否かに基づいて、運転者３０の状態を判定してもよい。若しくは、状態判定装置２０は、運転者３０の右手３１がハンドル２に対する所定の基準範囲にあるか否かの情報、及び運転者３０の左手３２がハンドル２に対する所定の基準範囲にあるか否かの情報の両方を考慮して、運転者３０の状態を判定してもよい。なお、運転者３０は、ハンドル２の操作だけでなく、シフトレバー、オーディオ装置、空調装置などの操作も、左手３２を用いて行う。従って、左手３２がハンドル２から離れる頻度は、右手３１がハンドル２から離れる頻度に比べて高くなる。この点を考慮し、左手３２に基づいて運転者３０を異常状態と判定する際の閾値を、右手３１に基づいて運転者３０を異常状態と判定する際の閾値Ｅ１よりも高くしてもよい。他方で、左ハンドルの車両においては、右手３１がハンドル２から離れる頻度は、左手３２がハンドル２から離れる頻度に比べて高くなることから、右手３１に基づいて運転者３０を異常状態と判定する際の閾値を、左手３２に基づいて運転者３０を異常状態と判定する際の閾値Ｅ１よりも高くしてもよい。
　また、状態判定装置２０は、運転者３０の頭部３３が所定の基準範囲にあるか否かに基づいて、運転者３０の状態を判定してもよい。また、状態判定装置２０は、運転者３０の上半身が所定の基準範囲にあるか否かに基づいて、運転者３０の状態を判定してもよい。
［撮像部２１の変形例］
　上述の説明においては、状態判定装置２０が１つの撮像部２１を有する例を示した。しかしながら、これに限られることはなく、状態判定装置２０が複数の撮像部２１を有していてもよい。複数の撮像部２１は、運転席３の上端と、光を遮る遮光位置にあるサンバイザー４の下端と、を通る仮想的な直線Ｂ１よりも上方に、異なる角度からハンドル２などを撮影するように配置されている。ここで、複数の撮像部２１はいずれも、運転席３の背もたれ部３ｂの前面に接し、かつ上下方向に延びる仮想的な直線Ｂ２よりも前方に配置されていることが好ましい。状態判定装置２０は、複数の撮像部２１が撮像した複数の画像２１１に基づいて、運転者３０の状態を判定する。このため、状態判定装置２０は、運転者３０の状態をより正確に判定できる。
　以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。そのような変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
　本出願は、2015年9月30日付で出願された日本国特許出願（特願2015-193228）に基づくものであり、その内容はここに参照として取り込まれる。
　本発明は、運転者に不快感を与えることを抑制できるという効果を有し、運転者の状態を判定する状態判定装置等に有用である。
　１　車両
　２　ハンドル
　２ａ　表面
　２ｂ　裏面
　３　運転席
　３ａ　シート部
　３ｂ　背もたれ部
　３ｃ　ヘッドレスト
　４　サンバイザー
　５　天井
　６　部材
　８　バックパネル
　９　ヘッドトレイ
　１０　ルームランプ
　１１　Ａピラー
　１２　フロントガラス
　１３　サイドガラス
　２０　状態判定装置
　２１　撮像部
　２２　状態判定部
　２２１　特定部
　２２２　判定部
　２３　警報部
　２４　送信部
　３０　運転者
　３１　右手
　３２　左手
　３３　頭部
　２１１　画像

Claims (4)

  1. 　車両の運転席の上端と、光を遮る遮光位置にあるサンバイザーの下端と、を通る仮想的な直線よりも上方に配置され、前記車両の内部を撮影して画像を生成する撮像部と、
    　前記画像に基づいて、前記車両の運転者の状態を判定する状態判定部と、
    　を有する、状態判定装置。
  2. 　前記撮像部は、前記運転席の背もたれ部の前面に接し、かつ上下方向に延びる仮想的な直線よりも前方に配置されている、請求項１に記載の状態判定装置。
  3. 　前記撮像部は、前記車両の天井、バックパネル、ヘッドトレイ、ルームランプ又はＡピラーのいずれかに設けられている、請求項１又は２に記載の状態判定装置。
  4. 　前記撮像部は、前記車両のハンドルを含む領域を撮影して前記画像を生成し、
    　前記状態判定部は、前記ハンドルに対する所定の基準範囲に前記運転者の手があるか否かに基づいて、前記運転者の状態を判定する、請求項１から３のいずれか１項に記載の状態判定装置。
PCT/JP2016/077231 2015-09-30 2016-09-15 状態判定装置 WO2017057017A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-193228 2015-09-30
JP2015193228A JP6638291B2 (ja) 2015-09-30 2015-09-30 状態判定装置

Publications (1)

Publication Number Publication Date
WO2017057017A1 true WO2017057017A1 (ja) 2017-04-06

Family

ID=58423551

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/077231 WO2017057017A1 (ja) 2015-09-30 2016-09-15 状態判定装置

Country Status (2)

Country Link
JP (1) JP6638291B2 (ja)
WO (1) WO2017057017A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021033570A (ja) * 2019-08-22 2021-03-01 本田技研工業株式会社 操作制御装置、操作制御方法、およびプログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007140978A (ja) * 2005-11-18 2007-06-07 Toyota Motor Corp 走行支援装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007140978A (ja) * 2005-11-18 2007-06-07 Toyota Motor Corp 走行支援装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021033570A (ja) * 2019-08-22 2021-03-01 本田技研工業株式会社 操作制御装置、操作制御方法、およびプログラム
JP7227106B2 (ja) 2019-08-22 2023-02-21 本田技研工業株式会社 操作制御装置、操作制御方法、およびプログラム

Also Published As

Publication number Publication date
JP6638291B2 (ja) 2020-01-29
JP2017068582A (ja) 2017-04-06

Similar Documents

Publication Publication Date Title
JP6020507B2 (ja) 車両用画像表示装置及び車両用画像表示方法
JP2019125920A (ja) モニター表示システム及びその表示方法
JP2014027353A5 (ja)
RU2017111352A (ru) Система и способ для улучшения ситуационной осведомленности во время эксплуатации моторного транспортного средства
JP2008044603A (ja) 車両用防眩装置
WO2017195684A1 (ja) 車両用視認装置
JP2010058742A (ja) 車両用運転支援装置
JP6393653B2 (ja) 車両用視認装置
JP6223143B2 (ja) 運転支援装置および運転支援方法
JP4798015B2 (ja) 防眩制御装置
JPWO2018096953A1 (ja) 撮像装置、表示システムおよび方法
WO2017057017A1 (ja) 状態判定装置
JP2019116220A (ja) 車両用視認装置
KR20160129984A (ko) 졸음운전 검출장치 및 방법
JP6115278B2 (ja) 車両用表示装置
KR20190064310A (ko) 차량의 후측방 감지 장치 및 방법
JP2006264574A (ja) 車載カメラ及び車載カメラシステム
KR102010407B1 (ko) 스마트 리어뷰 시스템
JP2011230621A (ja) 移動体における透過光量制御装置
WO2017069046A1 (ja) 状態判定装置
KR101352723B1 (ko) 운전 지원 장치
JP2017061216A (ja) 車載撮像システム、車両および撮像方法
JPWO2019177036A1 (ja) 車両用映像システム
JP2015227115A (ja) 車載カメラ制御装置
KR200474940Y1 (ko) 차량용 사이드미러

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16851191

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16851191

Country of ref document: EP

Kind code of ref document: A1