JP7099036B2 - データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、及びデータ処理プログラム - Google Patents
データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、及びデータ処理プログラム Download PDFInfo
- Publication number
- JP7099036B2 JP7099036B2 JP2018089367A JP2018089367A JP7099036B2 JP 7099036 B2 JP7099036 B2 JP 7099036B2 JP 2018089367 A JP2018089367 A JP 2018089367A JP 2018089367 A JP2018089367 A JP 2018089367A JP 7099036 B2 JP7099036 B2 JP 7099036B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- aptitude
- movement
- person
- data processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 157
- 238000012544 monitoring process Methods 0.000 title claims description 45
- 238000003672 processing method Methods 0.000 title claims description 14
- 238000004364 calculation method Methods 0.000 claims description 181
- 230000011514 reflex Effects 0.000 claims description 129
- 230000004462 vestibulo-ocular reflex Effects 0.000 claims description 117
- 230000004886 head movement Effects 0.000 claims description 97
- 238000011156 evaluation Methods 0.000 claims description 88
- 210000001747 pupil Anatomy 0.000 claims description 88
- 238000000034 method Methods 0.000 claims description 61
- 230000008569 process Effects 0.000 claims description 54
- 206010041349 Somnolence Diseases 0.000 claims description 50
- 238000001514 detection method Methods 0.000 claims description 32
- 230000001133 acceleration Effects 0.000 claims description 24
- 230000008859 change Effects 0.000 claims description 13
- 230000001720 vestibular Effects 0.000 claims description 8
- 238000013500 data storage Methods 0.000 description 37
- 230000004424 eye movement Effects 0.000 description 37
- 210000001508 eye Anatomy 0.000 description 31
- 210000003128 head Anatomy 0.000 description 18
- 210000005252 bulbus oculi Anatomy 0.000 description 11
- 239000012141 concentrate Substances 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000004434 saccadic eye movement Effects 0.000 description 5
- 238000005259 measurement Methods 0.000 description 4
- 230000004397 blinking Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 239000000725 suspension Substances 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000037007 arousal Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000001179 pupillary effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000004256 retinal image Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
- B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
- B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
- B60K28/066—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver actuating a signalling device
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W50/16—Tactile feedback to the driver, e.g. vibration or force feedback to the driver on the steering wheel or the accelerator pedal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/197—Matching; Classification
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2503/00—Evaluating a particular growth phase or type of persons or animals
- A61B2503/20—Workers
- A61B2503/22—Motor vehicles operators, e.g. drivers, pilots, captains
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
- A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
- A61M2021/0022—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the tactile sense, e.g. vibrations
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/20—Optical features of instruments
- B60K2360/21—Optical features of instruments using cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W2040/0818—Inactivity or incapacity of driver
- B60W2040/0827—Inactivity or incapacity of driver due to sleepiness
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2520/00—Input parameters relating to overall vehicle dynamics
- B60W2520/10—Longitudinal speed
- B60W2520/105—Longitudinal acceleration
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/225—Direction of gaze
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mechanical Engineering (AREA)
- Transportation (AREA)
- Automation & Control Theory (AREA)
- General Health & Medical Sciences (AREA)
- Heart & Thoracic Surgery (AREA)
- Biomedical Technology (AREA)
- Veterinary Medicine (AREA)
- Psychiatry (AREA)
- Animal Behavior & Ethology (AREA)
- Psychology (AREA)
- Public Health (AREA)
- Combustion & Propulsion (AREA)
- Chemical & Material Sciences (AREA)
- Molecular Biology (AREA)
- Hospice & Palliative Care (AREA)
- Social Psychology (AREA)
- Medical Informatics (AREA)
- Pathology (AREA)
- Multimedia (AREA)
- Surgery (AREA)
- Child & Adolescent Psychology (AREA)
- Biophysics (AREA)
- Educational Technology (AREA)
- Developmental Disabilities (AREA)
- Mathematical Physics (AREA)
- Hematology (AREA)
- Anesthesiology (AREA)
- Ophthalmology & Optometry (AREA)
- Acoustics & Sound (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Traffic Control Systems (AREA)
- Eye Examination Apparatus (AREA)
Description
特許文献1には、自動車運転時を模擬した実験システム、すなわちドライビングシミュレータシステムを用い、スクリーンに投影される前方車両のナンバープレート上部を注視点として固視させるなどの実験タスクを被験者に課した状態で試験を行った結果が開示されている。
前記人の瞳孔運動及び頭部運動を算出する算出部と、
前記人の瞳孔運動及び頭部運動に基づいて前庭動眼反射運動を算出する際の状況の適性度を評価する評価部と、
前記算出部により算出された前記人の瞳孔運動及び頭部運動に係るデータに、前記評価部により評価された前記適性度を付与する付与部と、
前記適性度を考慮し、前記データに基づいて、前記人の前庭動眼反射運動を算出する反射運動算出部とを備えていることを特徴としている。
前記反射運動算出部が、前記第1の記憶部に記憶された前記データを用いて、前記人の前庭動眼反射運動を算出するものであることを特徴としている。
前記反射運動算出部が、前記第2の記憶部に記憶された前記データのうち、前記適性度が所定の条件を満たしているデータを用いて、前記人の前庭動眼反射運動を算出するものであることを特徴としている。
前記適性度が所定の閾値より高いデータ、又は前記適性度が高い方のデータから抽出された所定数のデータであることを特徴としている。
前記評価部が、
前記データに含まれるノイズ成分、前記運転者の視線方向、前記車両の走行状態、及び前記車両の進行方向に存在する物体の検出状態のうちの少なくともいずれかに基づいて、前記適性度を評価するものであることを特徴としている。
前記車両の加速度を取得する取得部を備え、
前記評価部が
前記車両から取得した該車両の加速度の変化と、前記算出部により算出された前記運転者の頭部運動又は瞳孔運動との関係に基づいて、前記適性度を評価するものであることを特徴としている。
前記データ処理装置の前記算出部が、
前記撮像装置から取得した前記画像を用いて、前記人の瞳孔運動及び頭部運動を算出するものであることを特徴としている。
上記覚醒システムによれば、前記覚醒制御部により前記覚醒装置が制御されるので、該覚醒装置により前記人を適切に覚醒させることができる。
前記人の瞳孔運動及び頭部運動を算出する算出ステップと、
前記人の瞳孔運動及び頭部運動に基づいて前庭動眼反射運動を算出する際の状況の適性度を評価する評価ステップと、
前記算出ステップにより算出された前記人の瞳孔運動及び頭部運動に係るデータに、前記評価ステップにより検出された前記適性度を付与する付与ステップと、
前記適性度を考慮し、前記データに基づいて、前記人の前庭動眼反射運動を算出する反射運動算出ステップとを含むことを特徴としている。
前記少なくとも1つのコンピュータに、
前記人の瞳孔運動及び頭部運動を算出する算出ステップと、
前記人の瞳孔運動及び頭部運動に基づいて前庭動眼反射運動を算出する際の状況の適性度を評価する評価ステップと、
前記算出ステップにより算出された前記人の瞳孔運動及び頭部運動に係るデータに、前記評価ステップにより評価された前記適性度を付与する付与ステップと、
前記適性度を考慮し、前記データに基づいて、前記人の前庭動眼反射運動を算出する反射運動算出ステップとを実行させることを特徴としている。
本発明に係るデータ処理装置は、例えば、人(対象者)をモニタリングするシステムに広く適用可能である。例えば、車両、鉄道車両、飛行機、及び船舶などの各種移動体の運転者(操縦者)をモニタリングするシステムの他、工場内の機械や装置などの各種設備を操作したり、監視したり、所定の作業をしたりする人などをモニタリングするシステムなどに適用可能である。
図1は、実施の形態に係るデータ処理装置を用いたモニタリングシステムの一例を模式的に示す図である。
モニタリングシステム1は、車両2に搭載されるドライバモニタリングシステムであり、データ処理装置10とカメラ20とを含んで構成されている。データ処理装置10は、車両2の運転者3をモニタリングするためのデータ処理を行うコンピュータである。カメラ20は、本発明の「撮像装置」の一例である。カメラ20は、データ処理装置10に接続され、運転者3の顔を含む画像が撮像できるように配置されている。
データ処理装置10は、カメラ20から撮像画像を取得し、取得した撮像画像から、少なくとも運転者3の瞳孔運動及び頭部運動を算出する。また、データ処理装置10は、運転者3の瞳孔運動及び頭部運動に基づいて前庭動眼反射運動を算出する際の状況の適性度を検出する。
運転者3の状態には、運転者3の視線方向が含まれる。例えば、運転者3が特定の方向や特定の箇所を注視している状態は、前庭動眼反射運動以外の眼球運動(例えば、サッカード運動や輻輳性運動など)が生じにくい状態、換言すれば、前庭動眼反射運動のノイズ成分が小さくなり、S/N比が高くなりやすい状態にある。運転者3がこのような状態にある場合、例えば、適性が有る、又は適性が高いと判定され、適性度が高く評価される。
例えば、車両2の状態が、運転者3の頭部が上下、左右又は前後方向、或いはヨー又はピッチ方向に変位又は振動しやすい状態、換言すれば、前庭動眼反射運動のシグナル成分、特に変位量が大きくなりやすい状態にある場合、例えば、適性が有る、又は適性が高いと判定され、適性度が高く評価される。
例えば、運転者3の瞳孔運動及び頭部運動に係るデータのうち、適性度が所定の条件を満たしているデータを用いて、運転者3の前庭動眼反射運動が算出される。適性度が所定の条件を満たしているデータには、例えば、適性度が高く評価されたデータ、より具体的には、VORを算出する状態として適性が有る、又は適性が高いと評価されたデータが挙げられる。または、適性度が適性度合いを示す多値データで表される場合、適性度が所定の閾値以上であるデータが挙げられる。
図2は、実施の形態に係るモニタリングシステム1のハードウェア構成の一例を示すブロック図である。
モニタリングシステム1は、データ処理装置10とカメラ20とを含んで構成されている。
制御ユニット12は、ハードウェアプロセッサであるCPU(Central Processing Unit)121、RAM(Random Access Memory)122、ROM(Read Only Memory)123を含んで構成され、データ処理に応じた各種制御を行う。なお、制御ユニット12は、複数のハードウェアプロセッサを含んでもよい。ハードウェアプロセッサは、CPU121の他、マイクロプロセッサ、Graphics processing unit(GPU)などを含んで構成されてもよい。
前方監視カメラや後方監視カメラには、ステレオカメラや単眼カメラなどが採用され得る。レーダは、ミリ波等の電波を車両周囲に送信し、車両周囲に存在する対象物で反射された電波を受信することで対象物の位置、方向、距離などを検出する。ライダーは、レーザー光を車両周囲に送信し、車両周囲に存在する対象物で反射された光を受信することで対象物の位置、方向、距離などを検出する。
データ処理装置10は、車載センサ30、ナビゲーション装置50、及び電子制御ユニット60などから取得したデータを取得データ記憶部132に記憶する。
図3は、実施の形態に係るデータ処理装置10の制御ユニット12の機能構成の一例を示すブロック図である。
これによって、データ処理装置10は、図3に示す、画像取得部12a、データ取得部12b、算出部12c、適性度評価部12d、付与部12e、反射運動算出部12f、眠気検出部12g、及び覚醒制御部12hを制御ユニット12に備えたコンピュータとして構成される。制御ユニット12に装備されたこれら各部は、ソフトウェアモジュールとして構成されてもよい。
算出部12cは、まず、テンプレートマッチングによりカメラ20で撮像された画像から運転者3の顔(例えば、顔領域)を検出する。顔領域の検出は、予め用意された顔のテンプレート画像を用いてよい。次に、算出部12cは、撮像画像から検出された運転者3の顔領域に対して、テンプレートマッチングにより運転者3の顔領域から瞳孔の位置を検出する。瞳孔の位置は、予め用意された瞳孔のテンプレート画像を用いて検出してもよい。そして、算出部12cは、撮像画像のフレーム毎に運転者3の瞳孔の位置を検出し、これらフレーム毎の瞳孔の位置変化(移動量)から瞳孔運動(例えば、眼球運動角速度)を算出する。
算出部12cは、まず、テンプレートマッチングによりカメラ20で撮像された画像から運転者3の顔(例えば、顔領域)を検出する。顔領域の検出は、予め用意された顔のテンプレート画像を用いてよい。また、上記した瞳孔運動を算出する処理で検出された運転者3の顔領域のデータを用いてもよい。
そして、算出部12cは、撮像画像のフレーム毎に運転者3の目尻と目頭の位置を検出し、これらフレーム毎の目尻と目頭の位置変化(移動量)から頭部運動(例えば、頭部運動角速度)を算出する。なお、目尻又は目頭の位置を検出するようにしてもよい。
このような距離画像データを取得するために、例えば、モニタリングシステム1に三次元画像計測部を装備してもよい。三次元画像計測部は、撮像画像の各画素に対象物までの距離の値(奥行きに関する情報)を持たせた三次元画像(距離画像)を取得するように構成されている。このような三次元画像計測部は、例えば、ステレオ法などの受動型計測部であってもよいし、光レーダやパターン光などの光を投影する方式の能動型計測部であってもよい。
そして、算出部12cで算出された運転者3の瞳孔運動及び頭部運動に係るデータ(算出データ)は、付与部12eと適性度評価部12dに出力される。
(1)適性度評価部12dは、運転者3の瞳孔運動及び頭部運動が算出部12cで算出できたか否かを判定する。そもそも、瞳孔運動及び頭部運動が適切に算出できていなければ、前庭動眼反射運動の算出を行うことができない。
例えば、瞳孔の運動量が頭部の運動量よりも大きい場合など、眼球の回転速度や回転角などの眼球運動が所定の閾値より大きい場合、又は頭部の移動又は回転方向に追従して(すなわち、略同一方向に)瞳孔が移動又は回転している場合、瞳孔運動のデータには、サッカード運動などのノイズ成分が多く含まれる。このような場合、前庭動眼反射運動を算出する状態として適していないと評価してもよい。
そこで、適性度評価部12dは、車速データが所定の速度(例えば、徐行速度)より小さい場合、前庭動眼反射運動を算出する状態として適していないと評価し、車速データが所定の速度より大きい場合、前庭動眼反射運動を算出する状態として適していると評価してもよい。
前庭動眼反射運動は、運転者3の頭部が運動しなければ発生しない眼球運動である。したがって、適性度評価部12dは、算出部12cで算出した頭部運動の運動量(平行移動又は回転移動)が、所定の運動量より小さい場合、前庭動眼反射運動を算出する状態として適していないと評価してもよい。
車両2の上下、左右又は前後方向に所定の加速度が発生している場合、運転者3の頭部が上下、左右又はピッチ方向に運動しやすい状態になる。
また、適性度評価部12dは、車両2の加速度データから得られた車両2の振動と頭部運動とが、同じ方向に同等の周波数で振動しているなどの一定の関係にある場合、前庭動眼反射運動を算出する状態として適していると評価してもよい。
車両2の加速度データは、車両2に装備した加速度センサ32からのデータを用いることができる他、車外センサ31で認識された物体との距離の時系列変化から車両2の速度を求め、該速度から求めた加速度データを用いてもよい。
一方、適性度評価部12dにおいて、前庭動眼反射運動を算出する状態として適性が無い、又は適性が低いと判定された場合、適性度評価部12dは、適性が無い、又は適性が低いことを示す判定データを適性度として付与部12eに出力する。
または、適性度評価部12dにおいて、前庭動眼反射運動を算出する状態として適性の程度を示す適性度が評価された場合、適性度評価部12dは、適性の程度を示すデータを適性度として付与部12eに出力する。
VORゲインは、原理的には頭部運動(頭部回転角速度)に対する瞳孔運動(眼球回転角速度)の応答度合を意味し、瞳孔運動(眼球回転角速度)/頭部運動(頭部回転角速度)で表すことができる。
眼球回転角速度e(t)は、算出部12cで算出された瞳孔運動データに基づいて眼球運動角を求め、該眼球運動角を微分処理して求めることができる。理想眼球角速度h(t)は、算出部12cで算出された頭部運動データに基づいて頭部運動角を求め、該頭部運動角を微分処理して求めることができる。なお、VORゲインは、運転者3の前後、上下、左右、ヨー、及びピッチ方向の少なくとも1つの方向について算出すればよい。
覚醒装置70が、例えば、音又は光などで運転者3に警告を発する警報装置で構成されている場合、覚醒制御部12hは、警報装置を所定期間作動させる制御信号を警報装置に出力する。
また、覚醒装置70が、冷風、温風、又は香気成分や臭気成分を含む気体などを運転者3に吹き付ける空調装置で構成されている場合、覚醒制御部12hは、空調装置を所定期間作動させる制御信号を空調装置に出力する。
また、覚醒装置70が、ステアリング、シートベルト、又は座席シートなどを振動させる振動装置で構成されている場合、覚醒制御部12hは、振動装置を所定期間作動させる制御信号を振動装置に出力する。
図4は、実施の形態に係るデータ処理装置10における制御ユニット12が行う処理動作の一例を示すフローチャートである。なお、以下で説明する処理動作は一例に過ぎず、適宜、処理ステップの省略、置換、及び追加などの変更が可能である。
まず、運転者3により車両2の始動スイッチ40がオンされると、モニタリングシステム1を構成するデータ処理装置10とカメラ20とが起動され、データ処理装置10の制御ユニット12がプログラム134に基づいて運転者3のモニタリング処理を開始する。
運転者3の眠気度は、上記したように、例えば、VORゲイン、残差標準偏差、及び遅れ時間のうちの少なくともいずれかのパラメータを用いて検出してもよいし、瞬きの頻度又は眼の開閉度などを加味して検出してもよい。運転者3の眠気度の検出処理を行うと、制御ユニット12は、次のステップS9に処理を進める。
ステップS21では、制御ユニット12は、運転者3の瞳孔運動及び頭部運動に係るデータ(算出データ)に付与された適性度が、所定の閾値より大きいか否かを判定する。なお、所定の閾値は、算出データをVORの算出に用いるのに適しているか否かを判定するための値である。ステップS21において、適性度が所定の閾値より大きいと判定すれば、制御ユニット12は、次のステップS22に処理を進める。
ステップS23では、制御ユニット12は、当該適性度が付与された画像フレームの算出データを算出データ記憶部133に記憶しない処理を行い、その後、次のステップS24に処理を進める。
ステップS24において、算出データ記憶部133に、所定の閾値より高い適性度が付与された算出データがt秒間分記憶されていないと判定すれば、制御ユニット12は、図3のステップS1に戻り、処理を繰り返す。
ステップS25では、制御ユニット12は、算出データ記憶部133に記憶されたt秒間分の算出データを用いて、運転者3の前庭動眼反射運動を算出する処理を行う。その後、制御ユニット12は、VORの算出処理を終え、図4のステップS8に処理を進める。
ステップS31では、制御ユニット12は、運転者3の瞳孔運動及び頭部運動に係るデータ(算出データ)と該算出データに付与された適性度とを紐付けて算出データ記憶部133に記憶する処理を行う。算出データ記憶部133への記憶処理を行うと、制御ユニット12は、次のステップS32に処理を進める。
一方ステップS32において、算出データ記憶部133に、算出データがt秒間分記憶されたと判定すれば、制御ユニット12は、次のステップS33に処理を進める。
ステップS41では、制御ユニット12は、運転者3の瞳孔運動及び頭部運動に係るデータ(算出データ)と該算出データに付与された適性度とを紐付けて算出データ記憶部133に記憶する処理を行う。算出データ記憶部133への記憶処理を行うと、制御ユニット12は、次のステップS42に処理を進める。
一方ステップS42において、算出データ記憶部133に、算出データがt秒間分記憶されたと判定すれば、制御ユニット12は、次のステップS43に処理を進める。
上記実施の形態に係るデータ処理装置10によれば、適性度評価部12dにより前庭動眼反射運動を算出する際の状況の適性度が評価され、付与部12eにより算出データに適性度(例えば、適性の有無又は適性の高低を示す2値データ、又は適性の程度を示す多値データ)が付与される。
したがって、算出データに付与された適性度によって、算出データが、前庭動眼反射運動を算出する状態として、どのような適性を有しているのかを判別することが可能となる。そして、反射運動算出部12fにより、適性度を考慮し、算出データに基づいて、運転者3の前庭動眼反射運動が算出される。これにより、複雑な眼球運動などが発生する実車環境下であっても、算出データのうち、適性度が考慮された適切なデータを用いることにより、運転者3の前庭動眼反射運動の算出精度を高めることが可能になる。
また、データ処理装置10と覚醒装置70とを備えた覚醒システムにより、実車環境下において、運転者3を適切に覚醒させることができるシステムを提供することができる。
以上、本発明の実施の形態を詳細に説明したが、前述までの説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく、種々の改良や変更を行うことができることは言うまでもない。
データ処理装置10の制御ユニット12は、図3に示した各部を全て備えている必要はい。別の実施の形態では、制御ユニット12が、少なくとも算出部12c、適性度評価部12d、付与部12e、及び反射運動算出部12fを備えた第1の構成、該第1の構成に眠気検出部12gをさらに備えた第2の構成、又は該第2の構成に覚醒制御部12hをさらに備えた第3の構成によって構成されてもよい。
図5で説明した制御ユニット12が行う第1のVORの算出処理動作では、ステップS21において、適性度が、所定の閾値より大きいか否かを判定するように構成されている。適性度は、適性度合いを示す多値データに限定されるものではなく、適性の有無、又は適性の高低を示す2値データであってもよい。このように適性度が2値データである場合は、ステップS21において、適性の有無、又は適性の高低を判定するようにしてもよい。
また、上記実施の形態では、モニタリングシステム1及びデータ処理装置10が車両2に搭載されている場合について説明したが、モニタリングシステム1及びデータ処理装置10は、車載用に限定されるものではない。
別の実施の形態では、例えば、モニタリングシステム1及びデータ処理装置10を工場内や事務所内に設置して、工場内に装備された設備を操作する人、机で所定の作業を行う人などの眠気をモニタリングするシステムなどにも広く適用することができる。この場合、工場内で人が操作する物には、例えば、生産装置などが挙げられる。また、事務所内で人が操作する物には、例えば、パーソナルコンピュータなどの事務機器などが挙げられる。
本発明の実施の形態は、以下の付記の様にも記載され得るが、これらに限定されない。
(付記1)
人をモニタリングするためのデータ処理を行うデータ処理装置(10)であって、
前記人の瞳孔運動及び頭部運動を算出する算出部(12c)と、
前記人の瞳孔運動及び頭部運動に基づいて前庭動眼反射運動を算出する際の状況の適性度を評価する評価部(12d)と、
前記算出部(12c)により算出された前記人の瞳孔運動及び頭部運動に係るデータに、前記評価部(12d)により評価された前記適性度を付与する付与部(12e)と、
前記適性度を考慮し、前記データに基づいて、前記人の前庭動眼反射運動を算出する算出部(12f)とを備えていることを特徴とするデータ処理装置(10)。
データ処理装置(10)と、
人を含む画像を撮像する撮像装置(20)とを含み、
前記データ処理装置(10)の前記算出部(12c)が、
前記撮像装置(20)から取得した前記画像を用いて、前記人の瞳孔運動及び頭部運動を算出するものであることを特徴とするモニタリングシステム(1)。
人をモニタリングするためのデータ処理方法であって、
前記人の瞳孔運動及び頭部運動を算出する算出ステップ(S3、S4)と、
前記人の瞳孔運動及び頭部運動に基づいて前庭動眼反射運動を算出する際の状況の適性度を評価する評価ステップ(S5)と、
前記算出ステップ(S3、S4)により算出された前記人の瞳孔運動及び頭部運動に係るデータに、前記評価ステップ(S5)により評価された前記適性度を付与する付与ステップ(S6)と、
前記適性度を考慮し、前記データに基づいて、前記人の前庭動眼反射運動を算出する算出ステップ(S7)とを含むことを特徴とするデータ処理方法。
人をモニタリングするためのデータ処理を少なくとも1つのコンピュータ(12)に実行させるためのデータ処理プログラムであって、
前記少なくとも1つのコンピュータ(12)に、
前記人の瞳孔運動及び頭部運動を算出する算出ステップ(S3、S4)と、
前記人の瞳孔運動及び頭部運動に基づいて前庭動眼反射運動を算出する際の状況の適性度を評価する評価ステップ(S5)と、
前記算出ステップ(S3、S4)により算出された前記人の瞳孔運動及び頭部運動に係るデータに、前記評価ステップ(S5)により評価された前記適性度を付与する付与ステップ(S6)と、
前記適性度を考慮し、前記データに基づいて、前記人の前庭動眼反射運動を算出する算出ステップ(S7)とを実行させることを特徴とするデータ処理プログラム。
2 車両
3 運転者
10 データ処理装置
11 外部インターフェース(外部I/F)
12 制御ユニット
121 CPU
122 RAM
123 ROM
12a 画像取得部
12b データ取得部
12c 適性度評価部(評価部)
12d 算出部
12e 付与部
12f 反射運動算出部
12g 眠気検出部
12h 覚醒制御部
13 記憶ユニット
131 画像記憶部
132 取得データ記憶部
133 算出データ記憶部
134 プログラム
20 カメラ
30 車載センサ
31 車外センサ
32 加速度センサ
33 ジャイロセンサ
34 操舵センサ
40 始動スイッチ
50 ナビゲーション装置
60 電子制御ユニット(ECU)
70 覚醒装置
Claims (17)
- 人をモニタリングするためのデータ処理を行うデータ処理装置であって、
撮像された前記人の画像を解析して前記人の瞳孔運動及び頭部運動を算出する算出部と、
前記人の前庭動眼反射運動を算出する際の状況の適性度を評価する評価部と、
前記算出部により算出された各画像の前記人の瞳孔運動及び頭部運動に係るデータに、前記評価部により評価された前記適性度を付与する付与部と、
前記適性度を考慮し、前記データに基づいて、前記人の前庭動眼反射運動を算出する反射運動算出部と、
前記適性度が付与された前記データのうち、前記適性度が所定の条件を満たしているデータを記憶する第1の記憶部とを備え、
前記反射運動算出部が、前記第1の記憶部に前記所定の条件を満たしているデータが所定時間分、又は所定の画像数分記憶された場合に、記憶された前記所定の条件を満たしているデータを用いて前記人の前庭動眼反射運動を算出するものであることを特徴とするデータ処理装置。 - 前記適性度が、適正度合いを示す多値データであり、
前記所定の条件が、前記適性度が所定の閾値以上であるという条件であることを特徴とする請求項1記載のデータ処理装置。 - 人をモニタリングするためのデータ処理を行うデータ処理装置であって、
撮像された前記人の画像を解析して前記人の瞳孔運動及び頭部運動を算出する算出部と、
前記人の前庭動眼反射運動を算出する際の状況の適性度を評価する評価部と、
前記算出部により算出された各画像の前記人の瞳孔運動及び頭部運動に係るデータに、前記評価部により評価された前記適性度を付与する付与部と、
前記適性度を考慮し、前記データに基づいて、前記人の前庭動眼反射運動を算出する反射運動算出部と、
前記データと前記適性度とを紐付けて記憶する第2の記憶部を備え、
前記反射運動算出部が、前記第2の記憶部に所定時間分又は所定画像数分の前記データと前記適性度とが記憶された場合に、記憶された前記所定時間分又は所定画像数分の前記データのうち、前記適性度が所定の条件を満たしているデータを用いて、前記人の前庭動眼反射運動を算出するものであることを特徴とするデータ処理装置。 - 前記適性度が所定の条件を満たしているデータが、
前記適性度が所定の閾値より高いデータ、又は前記適性度が高い方のデータから抽出された所定数のデータであることを特徴とする請求項3記載のデータ処理装置。 - 前記所定の閾値、又は前記所定数が、
前記所定時間分、又は所定画像数分の前記データに付与されている前記適性度を統計処理して求めた値に応じて変更可能となっていることを特徴とする請求項4記載のデータ処理装置。 - 前記反射運動算出部により算出された前記人の前庭動眼反射運動に基づいて眠気を検出する眠気検出部を備えていることを特徴とする請求項1~5のいずれかの項に記載のデータ処理装置。
- 前記眠気検出部により検出された前記眠気に基づいて、前記人を覚醒させるための制御を行う覚醒制御部を備えていることを特徴とする請求項6記載のデータ処理装置。
- 前記評価部が、前記人又は該人が操作する物の状態に基づいて、前記適性度を評価するものであることを特徴とする請求項1~7のいずれかの項に記載のデータ処理装置。
- 前記物が車両であり、
前記人が前記車両の運転者であることを特徴とする請求項8記載のデータ処理装置。 - 前記評価部が、
前記データに含まれるノイズ成分、前記運転者の視線方向、前記車両の走行状態、及び前記車両の進行方向に存在する物体の検出状態のうちの少なくともいずれかに基づいて、前記適性度を評価するものであることを特徴とする請求項9記載のデータ処理装置。 - 前記車両の加速度を取得する取得部を備え、
前記評価部が
前記車両から取得した該車両の加速度の変化と、前記算出部により算出された前記運転者の頭部運動又は瞳孔運動との関係に基づいて、前記適性度を評価するものであることを特徴とする請求項9記載のデータ処理装置。 - 請求項1~11のいずれかの項に記載のデータ処理装置と、
前記人を含む画像を撮像する撮像装置とを含み、
前記データ処理装置の前記算出部が、
前記撮像装置から取得した前記画像を用いて、前記人の瞳孔運動及び頭部運動を算出するものであることを特徴とするモニタリングシステム。 - 請求項7記載のデータ処理装置と、
該データ処理装置の前記覚醒制御部により制御される覚醒装置とを含んで構成されていることを特徴とする覚醒システム。 - 人をモニタリングするためのデータ処理方法であって、
撮像された前記人の画像を解析して前記人の瞳孔運動及び頭部運動を算出する算出ステップと、
前記人の前庭動眼反射運動を算出する際の状況の適性度を評価する評価ステップと、
前記算出ステップにより算出された各画像の前記人の瞳孔運動及び頭部運動に係るデータに、前記評価ステップにより評価された前記適性度を付与する付与ステップと、
前記適性度を考慮し、前記データに基づいて、前記人の前庭動眼反射運動を算出する反射運動算出ステップと、
前記適性度が付与された前記データのうち、前記適性度が所定の条件を満たしているデータを記憶する第1の記憶ステップとを含み、
前記反射運動算出ステップが、前記第1の記憶ステップにより前記所定の条件を満たしているデータが所定時間分、又は所定の画像数分記憶された場合に、記憶された前記所定の条件を満たしているデータを用いて前記人の前庭動眼反射運動を算出するステップであることを特徴とするデータ処理方法。 - 人をモニタリングするためのデータ処理を少なくとも1つのコンピュータに実行させるためのデータ処理プログラムであって、
前記少なくとも1つのコンピュータに、
撮像された前記人の画像を解析して前記人の瞳孔運動及び頭部運動を算出する算出ステップと、
前記人の前庭動眼反射運動を算出する際の状況の適性度を評価する評価ステップと、
前記算出ステップにより算出された各画像の前記人の瞳孔運動及び頭部運動に係るデータに、前記評価ステップにより評価された前記適性度を付与する付与ステップと、
前記適性度を考慮し、前記データに基づいて、前記人の前庭動眼反射運動を算出する反射運動算出ステップと、
前記適性度が付与された前記データのうち、前記適性度が所定の条件を満たしているデータを記憶する第1の記憶ステップとを実行させ、
前記反射運動算出ステップが、前記第1の記憶ステップにより前記所定の条件を満たしているデータが所定時間分、又は所定の画像数分記憶された場合に、記憶された前記所定の条件を満たしているデータを用いて前記人の前庭動眼反射運動を算出するステップであることを特徴とするデータ処理プログラム。 - 人をモニタリングするためのデータ処理方法であって、
撮像された前記人の画像を解析して前記人の瞳孔運動及び頭部運動を算出する算出ステップと、
前記人の前庭動眼反射運動を算出する際の状況の適性度を評価する評価ステップと、
前記算出ステップにより算出された各画像の前記人の瞳孔運動及び頭部運動に係るデータに、前記評価ステップにより評価された前記適性度を付与する付与ステップと、
前記適性度を考慮し、前記データに基づいて、前記人の前庭動眼反射運動を算出する反射運動算出ステップと、
前記データと前記適性度とを紐付けて記憶する第2の記憶ステップとを含み、
前記反射運動算出ステップが、前記第2の記憶ステップにより所定時間分又は所定画像数分の前記データと前記適性度とが記憶された場合に、記憶された前記所定時間分又は所定画像数分の前記データのうち、前記適性度が所定の条件を満たしているデータを用いて、前記人の前庭動眼反射運動を算出するステップであることを特徴とするデータ処理方法。 - 人をモニタリングするためのデータ処理を少なくとも1つのコンピュータに実行させるためのデータ処理プログラムであって、
前記少なくとも1つのコンピュータに、
撮像された前記人の画像を解析して前記人の瞳孔運動及び頭部運動を算出する算出ステップと、
前記人の前庭動眼反射運動を算出する際の状況の適性度を評価する評価ステップと、
前記算出ステップにより算出された各画像の前記人の瞳孔運動及び頭部運動に係るデータに、前記評価ステップにより評価された前記適性度を付与する付与ステップと、
前記適性度を考慮し、前記データに基づいて、前記人の前庭動眼反射運動を算出する反射運動算出ステップと、
前記データと前記適性度とを紐付けて記憶する第2の記憶ステップとを実行させ、
前記反射運動算出ステップが、前記第2の記憶ステップにより所定時間分又は所定画像数分の前記データと前記適性度とが記憶された場合に、記憶された前記所定時間分又は所定画像数分の前記データのうち、前記適性度が所定の条件を満たしているデータを用いて、前記人の前庭動眼反射運動を算出するステップであることを特徴とするデータ処理プログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018089367A JP7099036B2 (ja) | 2018-05-07 | 2018-05-07 | データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、及びデータ処理プログラム |
US16/377,335 US10684695B2 (en) | 2018-05-07 | 2019-04-08 | Data processing device, monitoring system, awakening system, data processing method, and data processing program |
DE102019109491.7A DE102019109491A1 (de) | 2018-05-07 | 2019-04-10 | Datenverarbeitungsvorrichtung, überwachungssystem, wecksystem, datenverarbeitungsverfahren und datenverarbeitungsprogramm |
CN201910297110.1A CN110448312A (zh) | 2018-05-07 | 2019-04-11 | 数据处理装置、监视系统、唤醒系统、数据处理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018089367A JP7099036B2 (ja) | 2018-05-07 | 2018-05-07 | データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、及びデータ処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019195376A JP2019195376A (ja) | 2019-11-14 |
JP7099036B2 true JP7099036B2 (ja) | 2022-07-12 |
Family
ID=68276549
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018089367A Active JP7099036B2 (ja) | 2018-05-07 | 2018-05-07 | データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、及びデータ処理プログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US10684695B2 (ja) |
JP (1) | JP7099036B2 (ja) |
CN (1) | CN110448312A (ja) |
DE (1) | DE102019109491A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7259957B2 (ja) * | 2019-06-11 | 2023-04-18 | 日本電気株式会社 | 判定システム、処理方法、プログラム |
DE102020101339B4 (de) | 2020-01-21 | 2021-11-11 | Bayerische Motoren Werke Aktiengesellschaft | Interaktive Duftsteuerung in einem Fahrzeug |
JP2021167163A (ja) * | 2020-04-13 | 2021-10-21 | マツダ株式会社 | ドライバ異常判定装置 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007524134A (ja) | 2003-11-30 | 2007-08-23 | ボルボ テクノロジー コーポレイション | 運転者の障害を認識するための方法およびシステム |
WO2010032424A1 (ja) | 2008-09-18 | 2010-03-25 | 学校法人中部大学 | 眠気予兆検出装置 |
JP2010134608A (ja) | 2008-12-03 | 2010-06-17 | Omron Corp | 検出装置および方法、並びに、プログラム |
JP2011015913A (ja) | 2009-07-10 | 2011-01-27 | Toyota Central R&D Labs Inc | 居眠り判定装置及びプログラム並びに警報出力装置及びプログラム |
JP2013054735A (ja) | 2011-09-02 | 2013-03-21 | Volvo Car Corp | 閉瞼を分類するための方法 |
JP2014016702A (ja) | 2012-07-06 | 2014-01-30 | Yazaki Corp | ドライバ状態検出装置及びドライバ状態報知装置 |
JP2015532743A (ja) | 2012-08-14 | 2015-11-12 | ボルボ ラストバグナー アーベー | ドライバの運転状態を判断する方法 |
JP2017217472A (ja) | 2016-06-02 | 2017-12-14 | オムロン株式会社 | 状態推定装置、状態推定方法、及び状態推定プログラム |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6091334A (en) * | 1998-09-04 | 2000-07-18 | Massachusetts Institute Of Technology | Drowsiness/alertness monitor |
US6161071A (en) * | 1999-03-12 | 2000-12-12 | Navigation Technologies Corporation | Method and system for an in-vehicle computing architecture |
JP3603825B2 (ja) * | 2001-08-27 | 2004-12-22 | オムロン株式会社 | 監視システム、中央監視装置、および車載監視装置 |
WO2005098777A1 (en) * | 2004-03-22 | 2005-10-20 | Volvo Technology Corporation | Method and system for perceptual suitability test of a driver |
EP1811456B1 (en) | 2004-11-12 | 2011-09-28 | Omron Corporation | Face feature point detector and feature point detector |
JP4093273B2 (ja) | 2006-03-13 | 2008-06-04 | オムロン株式会社 | 特徴点検出装置、特徴点検出方法および特徴点検出プログラム |
JP4866644B2 (ja) * | 2006-04-10 | 2012-02-01 | オムロンオートモーティブエレクトロニクス株式会社 | 感性識別装置、アシスト力制御装置、アシスト力設定装置、感性識別方法、アシスト力制御方法、アシスト力設定方法、感性識別プログラム、アシスト力制御プログラム、アシスト力設定プログラム、および記録媒体 |
US7652583B2 (en) * | 2007-03-20 | 2010-01-26 | Deere & Company | Method and system for maintaining operator alertness |
JP5262243B2 (ja) * | 2008-03-31 | 2013-08-14 | アイシン精機株式会社 | 眼開閉判別装置、及びプログラム |
JP2011519293A (ja) * | 2008-04-14 | 2011-07-07 | ザ・ジョンズ・ホプキンス・ユニバーシティー | 前庭‐眼球運動機能の検査システムおよび方法 |
CN101754715B (zh) * | 2008-05-20 | 2012-07-25 | 松下电器产业株式会社 | 视线检测装置、摄像装置以及视线检测方法 |
WO2010073689A1 (ja) * | 2008-12-26 | 2010-07-01 | オムロンヘルスケア株式会社 | 電子血圧計および血圧測定方法 |
US20130021462A1 (en) * | 2010-03-23 | 2013-01-24 | Aisin Seiki Kabushiki Kaisha | Alertness determination device, alertness determination method, and recording medium |
US8690750B2 (en) * | 2010-05-14 | 2014-04-08 | Wesley W. O. Krueger | System and method for measuring and minimizing the effects of vertigo, motion sickness, motion intolerance, and/or spatial disorientation |
WO2013151773A1 (en) * | 2012-04-06 | 2013-10-10 | Massachusetts Eye & Ear Infirmary | Data collection for vestibulogram construction |
US10231614B2 (en) * | 2014-07-08 | 2019-03-19 | Wesley W. O. Krueger | Systems and methods for using virtual reality, augmented reality, and/or a synthetic 3-dimensional information for the measurement of human ocular performance |
CN106537290B (zh) * | 2014-05-09 | 2019-08-27 | 谷歌有限责任公司 | 与真实和虚拟对象交互的基于生物力学的眼球信号的系统和方法 |
KR101555444B1 (ko) * | 2014-07-10 | 2015-10-06 | 현대모비스 주식회사 | 차량탑재 상황감지 장치 및 그 방법 |
CN104757981A (zh) * | 2015-03-16 | 2015-07-08 | 于莹光 | 一种高灵敏收发一体红外检测驾驶员疲劳度的方法及装置 |
CN105030258B (zh) * | 2015-04-16 | 2017-07-28 | 东营利丰亚飞汽车连锁有限责任公司 | 双模式汽车驾驶员驾驶状态检测平台 |
CN105719431A (zh) * | 2016-03-09 | 2016-06-29 | 深圳市中天安驰有限责任公司 | 一种疲劳驾驶检测系统 |
CN107595307A (zh) * | 2017-10-23 | 2018-01-19 | 湖南科技大学 | 基于机器视觉人眼识别的疲劳驾驶检测装置及检测方法 |
-
2018
- 2018-05-07 JP JP2018089367A patent/JP7099036B2/ja active Active
-
2019
- 2019-04-08 US US16/377,335 patent/US10684695B2/en active Active
- 2019-04-10 DE DE102019109491.7A patent/DE102019109491A1/de active Pending
- 2019-04-11 CN CN201910297110.1A patent/CN110448312A/zh active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007524134A (ja) | 2003-11-30 | 2007-08-23 | ボルボ テクノロジー コーポレイション | 運転者の障害を認識するための方法およびシステム |
WO2010032424A1 (ja) | 2008-09-18 | 2010-03-25 | 学校法人中部大学 | 眠気予兆検出装置 |
JP2010134608A (ja) | 2008-12-03 | 2010-06-17 | Omron Corp | 検出装置および方法、並びに、プログラム |
JP2011015913A (ja) | 2009-07-10 | 2011-01-27 | Toyota Central R&D Labs Inc | 居眠り判定装置及びプログラム並びに警報出力装置及びプログラム |
JP2013054735A (ja) | 2011-09-02 | 2013-03-21 | Volvo Car Corp | 閉瞼を分類するための方法 |
JP2014016702A (ja) | 2012-07-06 | 2014-01-30 | Yazaki Corp | ドライバ状態検出装置及びドライバ状態報知装置 |
JP2015532743A (ja) | 2012-08-14 | 2015-11-12 | ボルボ ラストバグナー アーベー | ドライバの運転状態を判断する方法 |
JP2017217472A (ja) | 2016-06-02 | 2017-12-14 | オムロン株式会社 | 状態推定装置、状態推定方法、及び状態推定プログラム |
Also Published As
Publication number | Publication date |
---|---|
US10684695B2 (en) | 2020-06-16 |
US20190339786A1 (en) | 2019-11-07 |
DE102019109491A1 (de) | 2019-11-07 |
CN110448312A (zh) | 2019-11-15 |
JP2019195376A (ja) | 2019-11-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7099037B2 (ja) | データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、及びデータ処理プログラム | |
CN107336710B (zh) | 驾驶意识推定装置 | |
JP6418341B1 (ja) | データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、及びデータ処理プログラム | |
CN109791739B (zh) | 晕车估计装置、晕车防止装置和晕车估计方法 | |
JP4872245B2 (ja) | 歩行者認識装置 | |
CN110826369A (zh) | 一种驾驶员驾驶时注意力检测方法和系统 | |
KR20200113202A (ko) | 정보 처리 장치, 이동 장치, 및 방법, 그리고 프로그램 | |
JP7099036B2 (ja) | データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、及びデータ処理プログラム | |
JP6693489B2 (ja) | 情報処理装置、運転者モニタリングシステム、情報処理方法、及び情報処理プログラム | |
WO2019155914A1 (ja) | データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、データ処理プログラム、及び記憶媒体 | |
JP2019088522A (ja) | 情報処理装置、運転者モニタリングシステム、情報処理方法、及び情報処理プログラム | |
WO2019176492A1 (ja) | 算出システム、情報処理装置、運転支援システム、指標算出方法、コンピュータプログラム、及び記憶媒体 | |
JP7331728B2 (ja) | 運転者状態推定装置 | |
TW201927610A (zh) | 安全確認評價裝置、車載裝置、具備這些裝置之安全確認評價系統、安全確認評價方法以及安全確認評價程式 | |
JP7114953B2 (ja) | 車載機、運転評価装置、これらを備えた運転評価システム、データ送信方法、及びデータ送信プログラム | |
JP7331729B2 (ja) | 運転者状態推定装置 | |
JP7068606B2 (ja) | 運転評価装置、車載機、運転評価方法、及びコンピュータプログラム | |
JP7537450B2 (ja) | 車両制御装置、車両制御方法及び車両制御用コンピュータプログラム | |
JP2020129091A (ja) | 運転評価画面の表示方法、プログラム、運転評価システム、及び運転評価画面 | |
JP7298351B2 (ja) | 状態判定装置、車載機、運転評価システム、状態判定方法、及びプログラム | |
JP7075048B2 (ja) | 安全確認評価装置、車載機、これらを備えた安全確認評価システム、安全確認評価方法、及び安全確認評価プログラム | |
JP7060841B2 (ja) | 運転評価装置、運転評価方法、及び運転評価プログラム | |
JP6950597B2 (ja) | 車載機、運転評価システム、情報処理方法、及びプログラム | |
JP2019159641A (ja) | 運転評価装置、車載機、これらを備えた運転評価システム、運転評価方法、及び運転評価プログラム | |
JP7130994B2 (ja) | 車載機、後退判定方法、及び後退判定プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210305 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211222 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220112 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220214 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220531 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220613 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7099036 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |