JP6735955B2 - 乗員監視装置及び乗員監視方法 - Google Patents
乗員監視装置及び乗員監視方法 Download PDFInfo
- Publication number
- JP6735955B2 JP6735955B2 JP2020517707A JP2020517707A JP6735955B2 JP 6735955 B2 JP6735955 B2 JP 6735955B2 JP 2020517707 A JP2020517707 A JP 2020517707A JP 2020517707 A JP2020517707 A JP 2020517707A JP 6735955 B2 JP6735955 B2 JP 6735955B2
- Authority
- JP
- Japan
- Prior art keywords
- eye
- determination unit
- opening degree
- occupant
- brightness
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012806 monitoring device Methods 0.000 title claims description 49
- 238000012544 monitoring process Methods 0.000 title claims description 19
- 238000000034 method Methods 0.000 title claims description 8
- 206010041349 Somnolence Diseases 0.000 claims description 36
- 238000001514 detection method Methods 0.000 claims description 31
- 238000003384 imaging method Methods 0.000 claims description 19
- 230000006870 function Effects 0.000 description 59
- 102100029860 Suppressor of tumorigenicity 20 protein Human genes 0.000 description 12
- 102100035353 Cyclin-dependent kinase 2-associated protein 1 Human genes 0.000 description 9
- 101000737813 Homo sapiens Cyclin-dependent kinase 2-associated protein 1 Proteins 0.000 description 6
- 101000585359 Homo sapiens Suppressor of tumorigenicity 20 protein Proteins 0.000 description 6
- 210000000744 eyelid Anatomy 0.000 description 6
- 101000710013 Homo sapiens Reversion-inducing cysteine-rich protein with Kazal motifs Proteins 0.000 description 4
- 101000661807 Homo sapiens Suppressor of tumorigenicity 14 protein Proteins 0.000 description 4
- 102100034634 Reversion-inducing cysteine-rich protein with Kazal motifs Human genes 0.000 description 4
- 102100037942 Suppressor of tumorigenicity 14 protein Human genes 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000004313 glare Effects 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 101001139126 Homo sapiens Krueppel-like factor 6 Proteins 0.000 description 2
- 102100020679 Krueppel-like factor 6 Human genes 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 102000003898 interleukin-24 Human genes 0.000 description 2
- 108090000237 interleukin-24 Proteins 0.000 description 2
- 208000032140 Sleepiness Diseases 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000037321 sleepiness Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/24765—Rule-based classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
- G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W2040/0818—Inactivity or incapacity of driver
- B60W2040/0827—Inactivity or incapacity of driver due to sleepiness
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W2040/0818—Inactivity or incapacity of driver
- B60W2040/0836—Inactivity or incapacity of driver due to alcohol
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/229—Attention level, e.g. attentive to driving, reading or sleeping
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/24—Drug level, e.g. alcohol
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Mathematical Physics (AREA)
- Ophthalmology & Optometry (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Human Computer Interaction (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Traffic Control Systems (AREA)
- Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)
- Image Analysis (AREA)
Description
この発明は、車両に搭乗している乗員の状態を監視する乗員監視装置及び乗員監視方法に関するものである。
従来、車両の運転者が居眠りしているか否かを判定する運転者監視装置がある。上記運転者監視装置は、運転者監視カメラにより撮像された顔画像に基づいて、運転者の眼が閉じているか否かを判定する。そして、上記運転者監視装置は、運転者の眼が閉じていると判定した場合、運転者が居眠りしていると判定する。
上記運転者監視装置は、運転者が車両前方に存在する発光体を眩しく感じて眼を細めた場合に、居眠りしていると誤判定することがあった。そこで、特許文献１に係る運転者監視装置は、車外監視カメラ又は照度計を用いて、運転者に向けて発せられる光波の光強度を検出し、運転者の眼が閉じているか否かを判定するための閾値を光強度に応じて補正していた。
特許文献１に係る運転者監視装置は、車外監視カメラ又は照度計により光強度を検出する必要があり、運転者監視カメラのみで眩しさを考慮した居眠り判定を行うことができないという課題があった。
この発明は、上記のような課題を解決するためになされたもので、撮像装置により撮像された画像のみを用いて眩しさを考慮した居眠り判定を行うことを目的とする。
この発明に係る乗員監視装置は、露光時間を調整する自動露光調整機能を有する撮像装置により撮像された画像を用いて、車両に搭乗している乗員の眼を検出して眼の開眼度を判定する開眼度判定部と、開眼度判定部により判定された眼の開眼度が予め定められた開眼度閾値未満である場合に眼が閉じていると判定する開閉眼判定部と、自動露光調整機能が有効であって開閉眼判定部により眼が閉じていると判定された場合、自動露光調整機能を無効にする露光切替部と、露光切替部により自動露光調整機能が無効にされた後に撮像装置により撮像された画像を用いて、眼の周辺の輝度を検出する輝度検出部と、開閉眼判定部により眼が閉じていると判定された場合、輝度検出部により検出された眼の周辺の輝度が予め定められた輝度閾値未満であれば乗員が居眠り状態であると判定し、輝度閾値以上であれば乗員が覚醒状態であると判定する眠気判定部とを備えるものである。
この発明によれば、撮像画像を用いて乗員の眼が閉じていると判定した場合、撮像装置の自動露光調整機能を無効にし、自動露光調整機能が無効にされた撮像画像における眼の周辺の輝度に基づいて乗員が居眠り状態であるか覚醒状態であるかを判定するようにしたので、撮像装置により撮像された画像のみを用いて眩しさを考慮した居眠り判定を行うことができる。
以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
図１は、実施の形態１に係る乗員監視装置１０の構成例を示すブロック図である。車両には、撮像装置１及び乗員監視装置１０が搭載され、撮像装置１及び乗員監視装置１０は電気的に接続される。
実施の形態１．
図１は、実施の形態１に係る乗員監視装置１０の構成例を示すブロック図である。車両には、撮像装置１及び乗員監視装置１０が搭載され、撮像装置１及び乗員監視装置１０は電気的に接続される。
撮像装置１は、車両内を撮像する可視光カメラ又は赤外線カメラ等である。なお、撮像装置１が赤外線カメラである場合、この赤外線カメラは、車両内に赤外線を照射する赤外線光源（例えば、Ｉｎｆｒａｒｅｄ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）を有することが好ましい。
また、撮像装置１は、自動露光調整機能２を有する。自動露光調整機能２の有効化及び無効化は、乗員監視装置１０の露光切替部１３により切り替えられる。自動露光調整機能２が有効化された場合、自動露光調整機能２は、撮像画像の輝度平均値が予め定められた輝度になるよう、撮像素子の露光時間を調整する。自動露光調整機能２が無効化された場合、露光時間は予め定められた時間に固定される。
乗員監視装置１０は、開眼度判定部１１、開閉眼判定部１２、露光切替部１３、輝度検出部１４、及び眠気判定部１５を備える。
開眼度判定部１１は、自動露光調整機能２の有効時及び無効時に撮像された画像を取得する。開眼度判定部１１は、取得した画像を用いてエッジ検出処理等を行い、乗員の眼の位置、特に瞼の位置を検出する。そして、開眼度判定部１１は、検出した乗員の眼の位置、特に瞼の位置に基づいて、開眼度を判定する。開眼度の値が大きいほど眼が開いていることを示し、開眼度の値が小さいほど眼が閉じていることを示す。開眼度判定部１１は、画像、眼の位置及び開眼度の情報を開閉眼判定部１２へ出力する。
開閉眼判定部１２は、自動露光調整機能２の有効時及び無効時に開眼度判定部１１により判定された乗員の眼の開眼度と、予め定められた開眼度閾値とを比較する。開閉眼判定部１２は、開眼度が開眼度閾値未満である場合に眼が閉じていると判定し、開眼度が開眼度閾値以上である場合に眼が開いていると判定する。なお、開眼度閾値は、瞼が完全に閉じている状態のみを閉眼と判定する値であってもよいし、瞼が完全に閉じている状態に加えて瞼がわずかに開いている状態も閉眼と判定する値であってもよい。また、開眼度閾値は、自動露光調整機能２の有効時と無効時とで同じ値であってもよいし、異なる値であってもよい。開閉眼判定部１２は、画像、眼の位置及び開閉眼の判定結果の情報を、露光切替部１３、輝度検出部１４、及び眠気判定部１５へ出力する。
露光切替部１３は、撮像装置１の自動露光調整機能２の有効化及び無効化を切り替える。露光切替部１３は、後述の眠気判定部１５により乗員が覚醒状態であることが判定された場合、自動露光調整機能２を有効化する。一方、露光切替部１３は、自動露光調整機能２が有効である場合に、開閉眼判定部１２により乗員の眼が閉じていると判定された場合、自動露光調整機能２を無効化する。自動露光調整機能２が無効になることにより、撮像装置１が撮像する画像に基づいて乗員の顔にどれだけの光波が届いているのかを判定可能となり、乗員が太陽光等を眩しく感じているか否かを判定可能となる。露光切替部１３は、自動露光調整機能２の有効化及び無効化の切り替え情報を、輝度検出部１４へ出力する。
輝度検出部１４は、露光切替部１３により自動露光調整機能２が無効化された場合、自動露光調整機能２が無効の状態で撮像装置１により撮像された画像を用いて、乗員の眼の周辺の輝度を検出する。例えば、輝度検出部１４は、眼の位置を基準にした予め定められた範囲に含まれる画素の輝度平均値を検出する。輝度検出部１４は、検出した輝度の情報を眠気判定部１５へ出力する。
眠気判定部１５は、開閉眼判定部１２により乗員の眼が閉じていると判定された場合、輝度検出部１４により検出された眼の周辺の輝度と、予め定められた輝度閾値とを比較する。眠気判定部１５は、眼が閉じている場合、かつ、眼の周辺の輝度が輝度閾値未満である場合、乗員が居眠り状態であると判定する。一方、眠気判定部１５は、眼が閉じている場合、かつ、眼の周辺の輝度が輝度閾値以上である場合、乗員が太陽光等を眩しく感じて眼を閉じている可能性が高いため、乗員は覚醒状態であると判定する。眠気判定部１５は、眠気判定結果を露光切替部１３へ出力する。
以下では、車両に搭乗している乗員が運転者である場合を例に用いて、乗員監視装置１０の動作を説明する。
図２は、実施の形態１に係る乗員監視装置１０の動作例を示すフローチャートである。乗員監視装置１０は、例えば車両のエンジンがオンされている期間、図２のフローチャートに示される動作を繰り返す。
ステップＳＴ１１において、露光切替部１３は、撮像装置１の自動露光調整機能２を有効にする。これにより、撮像装置１は、運転者の顔の輝度に応じて露光時間を調整して撮像し、撮像した画像を乗員監視装置１０へ出力することになる。
ステップＳＴ１２において、開眼度判定部１１は、自動露光調整機能２の有効時に撮像された画像を用いて、この画像における運転者の眼の位置を検出する。そして、開眼度判定部１１は、検出結果に基づいて、運転者の眼の開眼度を判定する。
ステップＳＴ１３において、開閉眼判定部１２は、自動露光調整機能２の有効時における運転者の眼の開眼度が開眼度閾値未満である場合、即ち閉眼時（ステップＳＴ１３“ＹＥＳ”）、ステップＳＴ１４へ進む。一方、開閉眼判定部１２は、自動露光調整機能２の有効時における運転者の眼の開眼度が開眼度閾値以上である場合、即ち開眼時（ステップＳＴ１３“ＮＯ”）、ステップＳＴ２０へ進む。
ステップＳＴ１４において、露光切替部１３は、自動露光調整機能２の有効時において運転者の眼が閉じているため、自動露光調整機能２を無効化する。これにより、撮像装置１は、運転者の顔の輝度によらず一定の露光時間で撮像し、撮像した画像を乗員監視装置１０へ出力する。
ステップＳＴ１５において、開眼度判定部１１は、自動露光調整機能２の無効時に撮像された画像を用いて、この画像における運転者の眼の位置を検出する。そして、開眼度判定部１１は、検出結果に基づいて、運転者の眼の開眼度を判定する。
ステップＳＴ１６において、開閉眼判定部１２は、自動露光調整機能２の無効時における運転者の眼の開眼度が開眼度閾値未満である場合、即ち閉眼時（ステップＳＴ１６“ＹＥＳ”）、ステップＳＴ１７へ進む。一方、開閉眼判定部１２は、自動露光調整機能２の無効時における運転者の眼の開眼度が開眼度閾値以上である場合、即ち開眼時（ステップＳＴ１６“ＮＯ”）、ステップＳＴ１１へ戻る。
ステップＳＴ１７において、輝度検出部１４は、自動露光調整機能２の無効時に撮像された画像を用いて、運転者の眼の周辺の輝度を検出する。
ステップＳＴ１８において、眠気判定部１５は、自動露光調整機能２の無効時に撮像された画像における運転者の眼の周辺の輝度が輝度閾値未満である場合（ステップＳＴ１８“ＹＥＳ”）、ステップＳＴ１９へ進み、輝度閾値以上である場合（ステップＳＴ１８“ＮＯ”）、ステップＳＴ２０へ進む。
ステップＳＴ１９において、眠気判定部１５は、運転者が居眠り状態であると判定する。一方、ステップＳＴ２０において、眠気判定部１５は、運転者が覚醒状態であると判定する。
以上のように、実施の形態１に係る乗員監視装置１０は、開眼度判定部１１、開閉眼判定部１２、露光切替部１３、輝度検出部１４、及び眠気判定部１５を備える。開眼度判定部１１は、自動露光調整機能２を有する撮像装置１により撮像された画像を用いて、車両に搭乗している乗員の眼を検出して当該眼の開眼度を判定する。開閉眼判定部１２は、開眼度判定部１１により判定された眼の開眼度が開眼度閾値未満である場合に当該眼が閉じていると判定する。露光切替部１３は、自動露光調整機能２が有効であって開閉眼判定部１２により眼が閉じていると判定された場合、自動露光調整機能２を無効にする。輝度検出部１４は、露光切替部１３により自動露光調整機能２が無効にされた後に撮像装置１により撮像された画像を用いて、眼の周辺の輝度を検出する。眠気判定部１５は、開閉眼判定部１２により眼が閉じていると判定された場合、輝度検出部１４により検出された当該眼の周辺の輝度が輝度閾値未満であれば乗員が居眠り状態であると判定し、輝度閾値以上であれば乗員が覚醒状態であると判定する。上述したように、従来は、車外監視カメラ又は照度計により運転者へ向けて発せられる光波の光強度を検出しており、運転者監視カメラからの情報に加えて車外監視カメラ又は照度計からの情報が必要であった。これに対し、実施の形態１の乗員監視装置１０は、車両内を撮像する撮像装置１の画像から眩しさを考慮した居眠り判定を行うことができるため、車外監視カメラ又は照度計からの情報は必要ない。また、車外監視カメラでは乗員の眼に対してどれだけの光波が届いているかを精度よく検出することは困難と思われる。これに対し実施の形態１の乗員監視装置１０は、車両内を撮像する撮像装置１の画像を使用するため、乗員の眼の位置及び眼に届く光波の光強度を精度よく検出することができ、居眠り状態と覚醒状態とを精度よく判別することができる。
実施の形態２．
実施の形態２に係る乗員監視装置１０の構成は、実施の形態１の図１に示された構成と図面上は同一であるため、以下では図１を援用する。
実施の形態２に係る乗員監視装置１０の構成は、実施の形態１の図１に示された構成と図面上は同一であるため、以下では図１を援用する。
図３は、実施の形態２に係る乗員監視装置１０の動作例を示すフローチャートである。図３のステップＳＴ１１〜ＳＴ１６，ＳＴ１９，ＳＴ２０は、図２のステップＳＴ１１〜ＳＴ１６，ＳＴ１９，ＳＴ２０と同じ動作である。
ステップＳＴ２７において、輝度検出部１４は、自動露光調整機能２の無効時に撮像装置１により撮像された時系列の複数の画像（例えば、数秒分の画像）を用いて、各画像における眼の周辺の輝度を検出する。そして、輝度検出部１４は、検出した輝度の時系列データから輝度の度数分布を作成する。
ステップＳＴ２８において、眠気判定部１５は、ステップＳＴ２７で輝度検出部１４により作成された輝度の度数分布の最頻値と、輝度閾値とを比較する。眠気判定部１５は、輝度の度数分布の最頻値が輝度閾値未満である場合（ステップＳＴ２８“ＹＥＳ”）、ステップＳＴ１９へ進み、輝度閾値以上である場合（ステップＳＴ２８“ＮＯ”）、ステップＳＴ２０へ進む。
以上のように、実施の形態２の輝度検出部１４は、眼の周辺の輝度の時系列データから輝度の度数分布を作成する。眠気判定部１５は、輝度検出部１４により作成された輝度の度数分布の最頻値が輝度閾値未満である場合に乗員が居眠り状態であり、輝度閾値以上である場合に乗員が覚醒状態であると判定する。これにより、眠気判定部１５は、眼周辺輝度の時間的なばらつきを考慮して、居眠り状態と覚醒状態とを精度よく判別することができる。
実施の形態３．
実施の形態３に係る乗員監視装置１０の構成は、実施の形態１の図１に示された構成と図面上は同一であるため、以下では図１を援用する。
実施の形態３に係る乗員監視装置１０の構成は、実施の形態１の図１に示された構成と図面上は同一であるため、以下では図１を援用する。
図４は、実施の形態３に係る乗員監視装置１０の動作例を示すフローチャートである。図４のステップＳＴ１１，ＳＴ１２，ＳＴ１４，ＳＴ１５，ＳＴ１９，ＳＴ２０，ＳＴ２７，ＳＴ２８は、図３のステップＳＴ１１，ＳＴ１２，ＳＴ１４，ＳＴ１５，ＳＴ１９，ＳＴ２０，ＳＴ２７，ＳＴ２８と同じ動作である。
ステップＳＴ３３において、開閉眼判定部１２は、自動露光調整機能２の有効時にステップＳＴ１２で開眼度判定部１１により判定された開眼度と、開眼度閾値とを比較する。そして、開閉眼判定部１２は、開眼度が開眼度閾値未満である状態が、予め定められた時間（以下、「所定時間」と称する。）以上継続した場合（ステップＳＴ３３“ＹＥＳ”）、閉眼状態が維持されたと判定して、ステップＳＴ１４へ進む。一方、開閉眼判定部１２は、開眼度が開眼度閾値未満である状態が所定時間以上継続しなかった場合（ステップＳＴ３３“ＮＯ”）、開眼状態になったと判定して、ステップＳＴ２０へ進む。所定時間は、例えば、数秒である。
ステップＳＴ３６において、開閉眼判定部１２は、自動露光調整機能２の無効時にステップＳＴ１５で開眼度判定部１１により判定された開眼度と、開眼度閾値とを比較する。そして、開閉眼判定部１２は、開眼度が開眼度閾値未満である状態が、所定時間以上継続した場合（ステップＳＴ３６“ＹＥＳ”）、閉眼状態が維持されたと判定して、ステップＳＴ２７へ進む。一方、開閉眼判定部１２は、開眼度が開眼度閾値未満である状態が所定時間以上継続しなかった場合（ステップＳＴ３６“ＮＯ”）、開眼状態になったと判定して、ステップＳＴ１１へ戻る。
以上のように、実施の形態３の開閉眼判定部１２は、眼の開眼度が開眼度閾値未満である状態が所定時間継続した場合、眼が閉じていると判定する。これにより、露光切替部１３は、開眼度の時間的なばらつきを考慮して、自動露光調整機能２の有効化及び無効化を切り替えることができる。
なお、図４の例では、実施の形態２と実施の形態３とを組み合わせたが、実施の形態１と実施の形態３とを組み合わせてもよい。
実施の形態４．
実施の形態４に係る乗員監視装置１０の構成は、実施の形態１の図１に示された構成と図面上は同一であるため、以下では図１を援用する。
実施の形態４に係る乗員監視装置１０の構成は、実施の形態１の図１に示された構成と図面上は同一であるため、以下では図１を援用する。
図５は、実施の形態４に係る乗員監視装置１０の動作例を示すフローチャートである。図５のステップＳＴ１１，ＳＴ１４，ＳＴ１５，ＳＴ１９，ＳＴ２０，ＳＴ２７，ＳＴ２８，ＳＴ３６は、図４のステップステップＳＴ１１，ＳＴ１４，ＳＴ１５，ＳＴ１９，ＳＴ２０，ＳＴ２７，ＳＴ２８，ＳＴ３６と同じ動作である。
ステップＳＴ４２において、開眼度判定部１１は、自動露光調整機能２の有効時に撮像装置１により撮像された時系列の複数の画像（例えば、数秒分の画像）を用いて、各画像における運転者の眼の位置を検出する。そして、開眼度判定部１１は、検出した開眼度の時系列データから開眼度の度数分布を作成する。
ステップＳＴ４３において、開閉眼判定部１２は、ステップＳＴ４２で開眼度判定部１１により作成された開眼度の度数分布の最頻値と、開眼度閾値とを比較する。開閉眼判定部１２は、開眼度の度数分布の最頻値が開眼度閾値未満である場合（ステップＳＴ４３“ＹＥＳ”）、ステップＳＴ１４へ進み、開眼度閾値以上である場合（ステップＳＴ４３“ＮＯ”）、ステップＳＴ２０へ進む。
以上のように、実施の形態４に係る開眼度判定部１１は、眼の開眼度の時系列データから開眼度の度数分布を作成する。開閉眼判定部１２は、開眼度判定部１１により作成された開眼度の度数分布の最頻値が開眼度閾値未満である場合に眼が閉じていると判定する。これにより、露光切替部１３は、開眼度の時間的なばらつきを考慮して、自動露光調整機能２を無効化することができる。
なお、図５の例において、乗員監視装置１０は、自動露光調整機能２を無効化する判定（ステップＳＴ４３）に開眼度の度数分布を使用し、自動露光調整機能２を有効化する判定（ステップＳＴ３６）に閉眼状態の継続時間を使用したが、この構成に限定されるものではない。例えば、乗員監視装置１０は、自動露光調整機能２を無効化する判定に閉眼状態の継続時間を使用し、自動露光調整機能２を有効化する判定に開眼度の度数分布を使用してもよい。また、例えば、乗員監視装置１０は、自動露光調整機能２を無効化する判定及び有効化する判定に、開眼度の度数分布を使用してもよい。また、例えば、乗員監視装置１０は、自動露光調整機能２を無効化する判定及び有効化する判定に、閉眼状態の継続時間を使用してもよい。
また、図５の例では、実施の形態３と実施の形態４とを組み合わせたが、実施の形態１又は実施の形態２の少なくとも一方と実施の形態４とを組み合わせてもよい。
実施の形態５．
実施の形態５に係る乗員監視装置１０の構成は、実施の形態１の図１に示された構成と図面上は同一であるため、以下では図１を援用する。
実施の形態５に係る乗員監視装置１０の構成は、実施の形態１の図１に示された構成と図面上は同一であるため、以下では図１を援用する。
図６は、実施の形態５に係る乗員監視装置１０の動作例を示すフローチャートである。図６のステップＳＴ５１以外のステップは、図５のフローチャートに示される動作と同じである。
ステップＳＴ５１において、開眼度判定部１１は、自動露光調整機能２の無効時に撮像装置１により撮像された画像を用いて、この画像における運転者の眼の位置を検出する。このとき、開眼度判定部１１は、眼の位置が検出できた場合（ステップＳＴ５１“ＹＥＳ”）、ステップＳＴ１５へ進み、眼の位置が検出できなかった場合（ステップＳＴ５１“ＮＯ”）、ステップＳＴ１１へ戻る。即ち、開眼度判定部１１において眼が検出できなかった場合、眠気判定部１５は、運転者が居眠り状態であるか覚醒状態であるかの判定を行わないことになる。
開眼度判定部１１において眼の位置が検出できない場合とは、太陽光等の影響で眼周辺輝度が高く白飛びした状態となったために眼の位置を検出できない場合、車両内の光強度又は赤外線光源の光量が足りず眼周辺輝度が低く黒潰れした状態となったために眼の位置を検出できない場合、及び乗員の眼が手等で隠されているために眼の位置を検出できない場合等である。
以上のように、実施の形態５の眠気判定部１５は、開眼度判定部１１において乗員の眼が検出できなかった場合、乗員が居眠り状態であるか覚醒状態であるかの判定を行わない。これにより、眠気判定部１５は、誤判定を防止することができる。
なお、図６の例では、実施の形態４と実施の形態５とを組み合わせたが、実施の形態１、実施の形態２又は実施の形態３のうちの少なくとも１つと実施の形態５とを組み合わせてもよい。
最後に、各実施の形態に係る乗員監視装置１０のハードウェア構成を説明する。
図７Ａ及び図７Ｂは、各実施の形態に係る乗員監視装置１０のハードウェア構成例を示す図である。乗員監視装置１０における開眼度判定部１１、開閉眼判定部１２、露光切替部１３、輝度検出部１４、及び眠気判定部１５の機能は、処理回路により実現される。即ち、乗員監視装置１０は、上記機能を実現するための処理回路を備える。処理回路は、専用のハードウェアとしての処理回路１００であってもよいし、メモリ１０２に格納されるプログラムを実行するプロセッサ１０１であってもよい。
図７Ａ及び図７Ｂは、各実施の形態に係る乗員監視装置１０のハードウェア構成例を示す図である。乗員監視装置１０における開眼度判定部１１、開閉眼判定部１２、露光切替部１３、輝度検出部１４、及び眠気判定部１５の機能は、処理回路により実現される。即ち、乗員監視装置１０は、上記機能を実現するための処理回路を備える。処理回路は、専用のハードウェアとしての処理回路１００であってもよいし、メモリ１０２に格納されるプログラムを実行するプロセッサ１０１であってもよい。
図７Ａに示されるように、処理回路が専用のハードウェアである場合、処理回路１００は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又はこれらを組み合わせたものが該当する。開眼度判定部１１、開閉眼判定部１２、露光切替部１３、輝度検出部１４、及び眠気判定部１５の機能を複数の処理回路１００で実現してもよいし、各部の機能をまとめて１つの処理回路１００で実現してもよい。
図７Ｂに示されるように、処理回路がプロセッサ１０１である場合、開眼度判定部１１、開閉眼判定部１２、露光切替部１３、輝度検出部１４、及び眠気判定部１５の機能は、ソフトウェア、ファームウェア、又はソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェア又はファームウェアはプログラムとして記述され、メモリ１０２に格納される。プロセッサ１０１は、メモリ１０２に格納されたプログラムを読みだして実行することにより、各部の機能を実現する。即ち、乗員監視装置１０は、プロセッサ１０１により実行されるときに、図２等のフローチャートで示されるステップが結果的に実行されることになるプログラムを格納するためのメモリ１０２を備える。また、このプログラムは、開眼度判定部１１、開閉眼判定部１２、露光切替部１３、輝度検出部１４、及び眠気判定部１５の手順又は方法をコンピュータに実行させるものであるとも言える。
ここで、プロセッサ１０１とは、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、処理装置、演算装置、又はマイクロプロセッサ等のことである。
メモリ１０２は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、又はフラッシュメモリ等の不揮発性もしくは揮発性の半導体メモリであってもよいし、ハードディスク又はフレキシブルディスク等の磁気ディスクであってもよいし、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）又はＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等の光ディスクであってもよい。
メモリ１０２は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、又はフラッシュメモリ等の不揮発性もしくは揮発性の半導体メモリであってもよいし、ハードディスク又はフレキシブルディスク等の磁気ディスクであってもよいし、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）又はＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等の光ディスクであってもよい。
なお、開眼度判定部１１、開閉眼判定部１２、露光切替部１３、輝度検出部１４、及び眠気判定部１５の機能について、一部を専用のハードウェアで実現し、一部をソフトウェア又はファームウェアで実現するようにしてもよい。このように、乗員監視装置１０における処理回路は、ハードウェア、ソフトウェア、ファームウェア、又はこれらの組み合わせによって、上述の機能を実現することができる。
なお、本発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、各実施の形態の任意の構成要素の変形、又は各実施の形態の任意の構成要素の省略が可能である。
この発明に係る乗員監視装置は、車両内を撮像する撮像装置からの画像を用いて乗員の居眠り状態を判定するようにしたので、運転者の状態を監視する運転者監視装置等に用いるのに適している。
１ 撮像装置、２ 自動露光調整機能、１０ 乗員監視装置、１１ 開眼度判定部、１２ 開閉眼判定部、１３ 露光切替部、１４ 輝度検出部、１５ 眠気判定部、１００ 処理回路、１０１ プロセッサ、１０２ メモリ。
Claims (6)
- 露光時間を調整する自動露光調整機能を有する撮像装置により撮像された画像を用いて、車両に搭乗している乗員の眼を検出して前記眼の開眼度を判定する開眼度判定部と、
前記開眼度判定部により判定された前記眼の開眼度が予め定められた開眼度閾値未満である場合に前記眼が閉じていると判定する開閉眼判定部と、
前記自動露光調整機能が有効であって前記開閉眼判定部により前記眼が閉じていると判定された場合、前記自動露光調整機能を無効にする露光切替部と、
前記露光切替部により前記自動露光調整機能が無効にされた後に前記撮像装置により撮像された画像を用いて、前記眼の周辺の輝度を検出する輝度検出部と、
前記開閉眼判定部により前記眼が閉じていると判定された場合、前記輝度検出部により検出された前記眼の周辺の輝度が予め定められた輝度閾値未満であれば前記乗員が居眠り状態であると判定し、前記輝度閾値以上であれば前記乗員が覚醒状態であると判定する眠気判定部とを備える乗員監視装置。 - 前記輝度検出部は、前記眼の周辺の輝度の時系列データから輝度の度数分布を作成し、
前記眠気判定部は、前記輝度検出部により作成された前記輝度の度数分布の最頻値が前記輝度閾値未満である場合に前記乗員が居眠り状態であり、前記輝度閾値以上である場合に前記乗員が覚醒状態であると判定することを特徴とする請求項１記載の乗員監視装置。 - 前記開閉眼判定部は、前記眼の開眼度が前記開眼度閾値未満である状態が、予め定められた時間継続した場合、前記眼が閉じていると判定することを特徴とする請求項１記載の乗員監視装置。
- 前記開眼度判定部は、前記眼の開眼度の時系列データから開眼度の度数分布を作成し、
前記開閉眼判定部は、前記開眼度判定部により作成された前記開眼度の度数分布の最頻値が前記開眼度閾値未満である場合に前記眼が閉じていると判定することを特徴とする請求項１記載の乗員監視装置。 - 前記眠気判定部は、前記開眼度判定部において前記乗員の前記眼が検出できなかった場合、前記乗員が居眠り状態であるか覚醒状態であるかの判定を行わないことを特徴とする請求項１記載の乗員監視装置。
- 開眼度判定部が、露光時間を調整する自動露光調整機能を有する撮像装置により撮像された、前記自動露光調整機能が有効時の画像を用いて、車両に搭乗している乗員の眼を検出して前記眼の開眼度を判定するステップと、
開閉眼判定部が、前記自動露光調整機能の有効時に前記開眼度判定部により判定された前記眼の開眼度が予め定められた開眼度閾値未満である場合に前記眼が閉じていると判定するステップと、
露光切替部が、前記開閉眼判定部により前記眼が閉じていると判定された場合、前記自動露光調整機能を無効にするステップと、
前記開眼度判定部が、前記自動露光調整機能が無効にされた後に前記撮像装置により撮像された画像を用いて、前記乗員の眼を検出して前記眼の開眼度を判定するステップと、
前記開閉眼判定部が、前記自動露光調整機能の無効時に前記開眼度判定部により判定された前記眼の開眼度が予め定められた開眼度閾値未満である場合に前記眼が閉じていると判定するステップと、
輝度検出部が、前記自動露光調整機能の無効時に前記開閉眼判定部により前記眼が閉じていると判定された場合、前記自動露光調整機能の無効時に前記撮像装置により撮像された画像を用いて、前記眼の周辺の輝度を検出するステップと、
眠気判定部が、前記輝度検出部により検出された前記眼の周辺の輝度が予め定められた輝度閾値未満であれば前記乗員が居眠り状態であると判定し、前記輝度閾値以上であれば前記乗員が覚醒状態であると判定するステップとを備える乗員監視方法。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2018/018151 WO2019215879A1 (ja) | 2018-05-10 | 2018-05-10 | 乗員監視装置及び乗員監視方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP6735955B2 true JP6735955B2 (ja) | 2020-08-05 |
| JPWO2019215879A1 JPWO2019215879A1 (ja) | 2020-08-20 |
Family
ID=68467853
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020517707A Active JP6735955B2 (ja) | 2018-05-10 | 2018-05-10 | 乗員監視装置及び乗員監視方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US11093768B2 (ja) |
| JP (1) | JP6735955B2 (ja) |
| WO (1) | WO2019215879A1 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220170216A (ko) * | 2021-06-22 | 2022-12-29 | 장덕환 | 졸음 방지 및 집중력 강화를 위한 스마트 안경 |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE112018006886T5 (de) * | 2018-02-19 | 2020-09-24 | Mitsubishi Electric Corporation | Insassenzustand-Detektionsvorrichtung, Insassenzustand-Detektionssystem und Insassenzustand-Detektionsverfahren |
| JP7342746B2 (ja) * | 2020-03-12 | 2023-09-12 | 株式会社Ｊｖｃケンウッド | 映像処理装置、映像処理方法および映像処理プログラム |
| JP7374386B2 (ja) * | 2021-06-21 | 2023-11-06 | 三菱電機株式会社 | 状態判定装置および状態判定方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000198369A (ja) * | 1998-12-28 | 2000-07-18 | Niles Parts Co Ltd | 眼の状態検出装置、居眠り運転警報装置 |
| JP2011043961A (ja) * | 2009-08-20 | 2011-03-03 | Toyota Motor Corp | 運転者監視装置 |
| JP5867355B2 (ja) * | 2012-10-02 | 2016-02-24 | 株式会社デンソー | 状態監視装置及び状態監視プログラム |
| KR20170046413A (ko) * | 2015-10-21 | 2017-05-02 | 삼성전자주식회사 | 피사체의 눈 검출 방법 및 그 전자 장치 |
-
2018
- 2018-05-10 US US17/041,831 patent/US11093768B2/en active Active
- 2018-05-10 WO PCT/JP2018/018151 patent/WO2019215879A1/ja active Application Filing
- 2018-05-10 JP JP2020517707A patent/JP6735955B2/ja active Active
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220170216A (ko) * | 2021-06-22 | 2022-12-29 | 장덕환 | 졸음 방지 및 집중력 강화를 위한 스마트 안경 |
| KR102511785B1 (ko) | 2021-06-22 | 2023-03-17 | 장덕환 | 졸음 방지 및 집중력 강화를 위한 스마트 안경 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20210027079A1 (en) | 2021-01-28 |
| WO2019215879A1 (ja) | 2019-11-14 |
| US11093768B2 (en) | 2021-08-17 |
| JPWO2019215879A1 (ja) | 2020-08-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6735955B2 (ja) | 乗員監視装置及び乗員監視方法 | |
| US8988597B2 (en) | Imaging control device and program for controlling facial image taking apparatus which radiates infrared light toward the face | |
| AU2015276536B2 (en) | Device, method, and computer program for detecting momentary sleep | |
| US9329684B2 (en) | Eye tracking with detection of adequacy of lighting | |
| US20140268055A1 (en) | Eye/Gaze Tracker and Method of Tracking the Position of an Eye and/or a Gaze Point of a Subject | |
| JP2010097379A (ja) | ドライバモニタリング装置およびドライバモニタリング装置用のプログラム | |
| CN105575368B (zh) | 一种调节显示屏亮度的方法及装置 | |
| JPWO2018134875A1 (ja) | 瞼検出装置、居眠り判定装置、および瞼検出方法 | |
| WO2018099247A1 (zh) | 一种投影控制方法和装置 | |
| JP2022123858A (ja) | 電気的に切り替えられた偏光を用いた改善された乗員モニタリング | |
| KR102645054B1 (ko) | 차량 상태 관리 장치 및 방법 | |
| JP4888382B2 (ja) | 異常検出装置および方法、並びに、プログラム | |
| JPWO2019030855A1 (ja) | 運転不能状態判定装置および運転不能状態判定方法 | |
| CN112041783A (zh) | 曝光时间控制 | |
| JPH06255388A (ja) | 運転状態検出装置 | |
| JP2022143854A (ja) | 乗員状態判定装置および乗員状態判定方法 | |
| JP2018143285A (ja) | 生体状態判定装置、生体状態判定システム、及び、生体状態判定方法 | |
| WO2021186710A1 (ja) | ジェスチャ検出装置及びジェスチャ検出方法 | |
| WO2019097677A1 (ja) | 撮像制御装置、撮像制御方法および撮像制御装置を備えるドライバモニタリングシステム | |
| KR20160040335A (ko) | 저조도 상황에서 영상 인식 개선을 위한 적외선 조명 기능을 포함한 저전력 차량용 영상 저장 장치 및 방법 | |
| JP2008123057A (ja) | 不審者検知装置 | |
| JP6698966B2 (ja) | 誤検出判定装置及び誤検出判定方法 | |
| KR102473523B1 (ko) | 홍채 인식 방법 및 장치 | |
| KR102038371B1 (ko) | 운전자의 눈 위치 검출 장치 및 방법 | |
| JP7061709B1 (ja) | 撮影サポート装置、及び撮影サポート方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200406 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20200407 |
|
| A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20200608 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200616 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200714 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6735955 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |