JP2024000525A - まばたき検出方法及びシステム - Google Patents

まばたき検出方法及びシステム Download PDF

Info

Publication number
JP2024000525A
JP2024000525A JP2023098278A JP2023098278A JP2024000525A JP 2024000525 A JP2024000525 A JP 2024000525A JP 2023098278 A JP2023098278 A JP 2023098278A JP 2023098278 A JP2023098278 A JP 2023098278A JP 2024000525 A JP2024000525 A JP 2024000525A
Authority
JP
Japan
Prior art keywords
dvs
frame
frames
eye
average height
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023098278A
Other languages
English (en)
Inventor
シュエリ ファン
Xueli Fan
ハイ リウ
Hai Liu
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harman International Industries Inc
Original Assignee
Harman International Industries Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harman International Industries Inc filed Critical Harman International Industries Inc
Publication of JP2024000525A publication Critical patent/JP2024000525A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/29—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area inside the vehicle, e.g. for viewing passengers or cargo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/108—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using 'non-standard' camera systems, e.g. camera sensor used for additional purposes i.a. rain sensor, camera sensor split in multiple image areas
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Ophthalmology & Optometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Mechanical Engineering (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

【課題】まばたき検出方法及びシステムを提供する。【解決手段】方法は、ＤＶＳカメラを用いて顔を撮影し、それによりＤＶＳピクセルストリームを取得するステップＳ４１と、ＤＶＳピクセルストリームのＤＶＳピクセルを統合して複数のＤＶＳフレームを形成するステップＳ４２と、を含む。各ＤＶＳフレームは複数の第１色ピクセル及び複数の第２色ピクセルを含み、各第１色ピクセルは明化イベントを示す１つ又は複数のＤＶＳピクセルに関連付けられ、各第２ピクセルは暗化イベントを示す１つ又は複数のＤＶＳピクセルに関連付けられる。方法はまた、複数のＤＶＳフレームの少なくとも１つのＤＶＳフレームにまばたき動作が存在するか否かを判定するステップＳ４３を含む。前記判定するステップは、少なくとも１つのＤＶＳフレームの眼部領域内に第１色領域及び第２色領域が上下に分布するパターンが存在するか否かを判定するステップを含む。【選択図】図４

Description

本発明はまばたき検出方法及びシステムに関し、より具体的にはＤＶＳカメラ又はイベントカメラに基づくまばたき検出方法及びシステムに関する。本発明はさらに疲労運転検出方法及びシステム、並びにまばたき検出システム又は疲労運転検出システムを備える車両に関する。
疲労運転とは、運転者が長時間の連続運転又はその他の理由により疲労した状態で車両を運転することをいう。疲労運転は重大な交通事故を引き起こしやすく、従って運転者の疲労状態を検出する必要がある。まばたき持続時間及び／又は頻度などの人のまばたきパターンは、眠気の程度などの人の状態を示すことができる。疲労運転検出方法において、運転者のまばたき検出は非常に重要なプロセスである。
現在、従来のカメラを使用したまばたき検出技術が存在する。しかしながら、眼部は顔全体に占める面積が小さく、且つまばたきは一般的に非常に速く、数分の１秒の時間しか続かない。従来のほとんどのカメラでは、まばたきの頻度だけでなく、まばたきのパターンの詳細を分析することも困難である。例えば、毎秒３０フレームの従来のカメラで撮影されたまばたきの画像は不明瞭になるおそれがある。さらに、通常まばたき全体は数フレームしか持続せず、まばたきの正確な持続時間を特定することは困難である。毎秒１００フレームを超えるフレームレートの高速カメラを採用することで、より正確にまばたき検出を行うことができる。しかしながら、高速カメラはコスト及びデータ処理量が大幅に増加する。さらに、従来のカメラは、低照度条件下で鮮明なまばたき写真を撮影することが困難である。
ＤＶＳカメラ又はイベントカメラは、斬新で、生物から発想を得た非同期ビジョン取得デバイスである。標準的な従来のフレームベースカメラと比較して、ＤＶＳカメラの単一ピクセルは光強度変化の「イベント」ストリームを非同期的に報告する。従来のカメラと比較して、ＤＶＳカメラは、ｉ） 高い時間分解能（ミリ秒スケール）、ｉｉ） 高いダイナミックレンジ（１４０ｄＢ、従来のカメラのダイナミックレンジは６０ｄＢ）、ｉｉｉ） 低い電力消費といういくつかの利点を有する。しかしながら、現在、ＤＶＳカメラに基づきまばたき検出を行う簡単且つ効果的な方法は存在しない。
本発明の目的は、まばたき頻度及びまばたき持続時間等を簡単且つ正確に検出することができる、ＤＶＳカメラに基づくまばたき検出方法を提供することである。
本発明の一態様によれば、ＤＶＳカメラを用いて顔を撮影し、それによりＤＶＳピクセルストリームを取得するステップと、前記ＤＶＳピクセルストリームのＤＶＳピクセルを統合して複数のＤＶＳフレームを形成し、前記複数のＤＶＳフレームの各ＤＶＳフレームは複数の第１色ピクセル及び複数の第２色ピクセルを含み、各前記第１色ピクセルは明化イベントを示す１つ又は複数のＤＶＳピクセルに関連付けられ、各前記第２ピクセルは暗化イベントを示す１つ又は複数のＤＶＳピクセルに関連付けられるステップと、前記複数のＤＶＳフレームの少なくとも１つのＤＶＳフレームにまばたき動作が存在するか否かを判定するステップと、を含み、そのうち、まばたき動作が存在するか否かを判定するステップは、前記少なくとも１つのＤＶＳフレームの眼部領域内に第１色領域及び第２色領域が上下に分布するパターンが存在するか否かを判定するステップを含む、ＤＶＳカメラに基づくまばたき検出方法を提供する。
本発明の別の態様によれば、ＤＶＳピクセルストリームを取得するために撮影することに用いられるＤＶＳカメラと、前記ＤＶＳカメラに接続され、上記まばたき検出方法を実行するように構成されたプロセッサと、を備えるまばたき検出システムを提供する。
本発明の別の態様によれば、車両本体と、前記車両本体に取り付けられた上記まばたき検出システムと、を備える第２ピクセル車両を提供する。
本発明は、例えば、以下を提供する。
（項目１）
ＤＶＳカメラを用いて顔を撮影し、それによりＤＶＳピクセルストリームを取得するステップと、
前記ＤＶＳピクセルストリームのＤＶＳピクセルを統合して複数のＤＶＳフレームを形成し、前記複数のＤＶＳフレームの各ＤＶＳフレームは複数の第１色ピクセル及び複数の第２色ピクセルを含み、各前記第１色ピクセルは明化イベントを示す１つ又は複数のＤＶＳピクセルに関連付けられ、各前記第２ピクセルは暗化イベントを示す１つ又は複数のＤＶＳピクセルに関連付けられるステップと、
前記複数のＤＶＳフレームの少なくとも１つのＤＶＳフレームにまばたき動作が存在するか否かを判定するステップと、を含み、
まばたき動作が存在するか否かを判定するステップは、前記少なくとも１つのＤＶＳフレームの眼部領域内に第１色領域及び第２色領域が上下に分布するパターンが存在するか否かを判定するステップを含む、ＤＶＳカメラに基づくまばたき検出方法。
（項目２）
前記複数のＤＶＳフレームのうち各ＤＶＳフレームはさらに複数の第３色ピクセルを含み、前記第３色ピクセルは明化イベントを示すＤＶＳピクセル又は暗化イベントを示すＤＶＳピクセルに関連付けられていない、上記項目に記載のまばたき検出方法。
（項目３）
まばたき動作が存在するか否かを判定するステップは、前記パターンにおいて第１色領域が前記第２色領域の上方にある時、目を閉じる動作が進行中であると判定するステップをさらに含む、上記項目のいずれか一項に記載のまばたき検出方法。
（項目４）
まばたき動作が存在するか否かを判定するステップは、前記パターンにおいて第２色領域が前記第１色領域の上方にある時、目を開ける動作が進行中であると判定するステップをさらに含む、上記項目のいずれか一項に記載のまばたき検出方法。
（項目５）
まばたき動作が存在するか否かを判定するステップは、
前記少なくとも１つのＤＶＳフレームのうち各ＤＶＳフレームの平均高さの差を計算し、前記平均高さの差は、前記少なくとも１つのＤＶＳフレームの前記眼部領域における第１色ピクセルと第２色ピクセルの平均高さの差であるステップと、
前記平均高さの差の絶対値が閾値よりも大きい時、前記少なくとも１つのＤＶＳフレームの眼部領域に第１色領域と第２色領域が上下に分布するパターンが存在すると判定するステップと、をさらに含む、上記項目のいずれか一項に記載のまばたき検出方法。
（項目６）
平均高さの差を計算するステップは、
前記眼部領域における第１色ピクセルの第１平均高さを計算するステップと、
前記眼部領域における第２色ピクセルの第２平均高さを計算するステップと、
第１平均高さから第２平均高さを引いて前記平均高さの差を計算するステップと、を含む上記項目のいずれか一項に記載のまばたき検出方法。
（項目７）
まばたき動作が存在するか否かを判定するステップの後、まばたき持続時間を計算するステップをさらに含み、まばたき持続時間を計算するステップは、
前記複数のＤＶＳフレームから第１組隣接ＤＶＳフレームを特定し、第１組隣接ＤＶＳフレームの各ＤＶＳフレームの前記平均高さの差は正であり且つその絶対値は第１閾値よりも大きいステップと、
前記複数のＤＶＳフレームの前記第１組隣接ＤＶＳフレームの後続のＤＶＳフレームから第２組隣接ＤＶＳフレームを特定し、前記第２組隣接ＤＶＳフレームの各ＤＶＳフレームの平均高さの差は負であり且つその絶対値は第２閾値よりも大きいステップと、
前記第１組隣接ＤＶＳフレームから第１基準ＤＶＳフレームを特定するステップと、
前記第２組隣接ＤＶＳフレームから第２基準ＤＶＳフレームを特定するステップと、
第１基準ＤＶＳフレームの撮影時間と第２基准ＤＶＳフレームの撮影時間の時間差に基づいてまばたき持続時間を計算するステップと、を含む、上記項目のいずれか一項に記載のまばたき検出方法。
（項目８）
前記第１基準ＤＶＳフレームは、前記第１組隣接ＤＶＳフレームのうち時間的に真中のＤＶＳフレームであり、前記第２基準ＤＶＳフレームは、前記第２組隣接ＤＶＳフレームのうち時間的に真中のＤＶＳフレームである、上記項目のいずれか一項に記載のまばたき検出方法。
（項目９）
前記第１基準ＤＶＳフレームは、前記第１組隣接ＤＶＳフレームのうち前記平均高さの差の絶対値が最も大きいＤＶＳフレームであり、前記第２基準ＤＶＳフレームは、前記第２組隣接ＤＶＳフレームのうち前記平均高さの差の絶対値が最も大きいＤＶＳフレームである、上記項目のいずれか一項に記載のまばたき検出方法。
（項目１０）
まばたき動作が存在するか否かを判定するステップの後、１回以上の完全なまばたきを特定するステップをさらに含み、１回以上の完全なまばたきを特定するステップは、
前記複数のＤＶＳフレームから第１組隣接ＤＶＳフレームを特定し、前記第１組隣接ＤＶＳフレームの各ＤＶＳフレームの前記平均高さの差は正であり且つ第１閾値よりも大きいステップと、
前記複数のＤＶＳフレームの前記第１組隣接ＤＶＳフレームの後続のＤＶＳフレームから第２組隣接ＤＶＳフレームを特定し、前記第２組隣接ＤＶＳフレームの各ＤＶＳフレームの平均高さの差は負であり且つ第２閾値よりも大きいステップと、
特定された第１組隣接ＤＶＳフレーム及び特定された第２組隣接ＤＶＳフレームに基づき１回以上の完全なまばたきを特定するステップと、を含む、上記項目のいずれか一項に記載のまばたき検出方法。
（項目１１）
前記１回以上の完全なまばたきに関連するＤＶＳフレームのうち少なくとも一部のＤＶＳフレームの撮影時間を利用してまばたき頻度を計算するステップをさらに含む、上記項目のいずれか一項に記載のまばたき検出方法。
（項目１２）
まばたき動作が存在するか否かを判定するステップの前に、前記少なくとも１つのＤＶＳフレームの各ＤＶＳフレーム内で前記眼部領域を特定するステップをさらに含む、上記項目のいずれか一項に記載のまばたき検出方法。
（項目１３）
ＤＶＳピクセルストリームを取得するために撮影することに用いられるＤＶＳカメラと、
前記ＤＶＳカメラに接続され、上記項目のいずれか一項に記載のまばたき検出方法を実行するように構成されたプロセッサと、を備えるまばたき検出システム。
（項目１４）
車両本体と、
前記車両本体に取り付けられた上記項目に記載のまばたき検出システムと、を備える車両。
（摘要）
まばたき検出方法及びシステムを開示する。まばたき検出方法は、ＤＶＳカメラを用いて顔を撮影し、それによりＤＶＳピクセルストリームを取得するステップと、前記ＤＶＳピクセルストリームのＤＶＳピクセルを統合して複数のＤＶＳフレームを形成し、各前記ＤＶＳフレームは複数の第１色ピクセル及び複数の第２色ピクセルを含み、各前記第１色ピクセルは明化イベントを示す１つ又は複数のＤＶＳピクセルに関連付けられ、各前記第２ピクセルは暗化イベントを示す１つ又は複数のＤＶＳピクセルに関連付けられるステップと、前記複数のＤＶＳフレームの少なくとも１つのＤＶＳフレームにまばたき動作が存在するか否かを判定するステップと、を含み、そのうち、まばたき動作が存在するか否かを判定するステップは、前記少なくとも１つのＤＶＳフレームの眼部領域内に第１色領域及び第２色領域が上下に分布するパターンが存在するか否かを判定するステップを含む。
本発明の１つ又は複数の実施例に係るまばたき検出システムの概略図である。 本発明の１つ又は複数の実施例に係るまばたき検出システムによって取得されたまばたき過程における複数のＤＶＳフレームの図である。 本発明の１つ又は複数の実施例に係るまばたき検出システムによって取得されたまばたき過程における複数のＤＶＳフレームの図である。 本発明の１つ又は複数の実施例に係るまばたき検出システムによって取得されたまばたき過程における複数のＤＶＳフレームの図である。 本発明の１つ又は複数の実施例に係るまばたき検出システムによって取得されたまばたき過程における複数のＤＶＳフレームの図である。 本発明の１つ又は複数の実施例に係るまばたき検出システムによって取得されたまばたき過程における複数のＤＶＳフレームの図である。 図２Ｂの部分拡大図である。 図２Ｄの部分拡大図である。 本発明の１つ又は複数の実施例に係るまばたき検出方法である。 本発明のいくつかの実施例に係るまばたき動作を判定（ステップＳ３３）する具体的なステップである。 本発明の１つ又は複数の実施例に係るまばたき検出方法である。 本発明の１つ又は複数の実施例に係るまばたき検出方法である。
以下に本発明の実施例を詳細に説明し、前記実施例の実例は図面に示され、これらの図面において同一又は類似の符号は同一又は類似の要素又は同一又は類似の機能を有する要素を示す。以下に図面を参照して説明する実施例は例示的なものであり、本発明を説明するためのものに過ぎず、本発明を限定するものと理解すべきではない。
本明細書で使用される場合、「ＤＶＳカメラ」、「イベントカメラ」、「ダイナミックビジョンセンサ」及び「ＤＶＳ」という用語は互換可能に使用され、いずれもイベントベースカメラを指す。「ＤＶＳピクセル」、「ピクセルイベント」、「イベント」という用語は互換可能に使用され、ＤＶＳカメラでキャプチャされた光強度の変化を指すことができる。ＤＶＳカメラの「フレーム」又は「ＤＶＳフレーム」という用語は、ＤＶＳによってタイムスパン内に撮影されたＤＶＳピクセル又はその中に一定数のピクセルが統合された画像又はフレームを指す。ＤＶＳフレームの「撮影時間」という用語は、ＤＶＳピクセルがキャプチャ又は撮影された時間、例えばＤＶＳフレームのタイムスパンの中間時間、又はＤＶＳフレーム内の全てのＤＶＳピクセルのタイプスタンプの中間時間を指す。
別途定義されない限り、本明細書で使用される技術用語及び科学用語は、本発明の当業者が一般的に理解するものと同じ意味を有する。なお、本発明の説明において、「中心」、「縦方向」、「横方向」、「上」、「下」、「前」、「後」、「左」、「右」、「垂直」、「水平」、「上部」、「底部」、「内」、「外」等の用語が指示する方位又は位置関係は、図面に示す方位又は位置関係に基づき、本発明を説明しやすくし、説明を簡略化するためのものに過ぎず、対象の装置や素子が特定の方位を有し、特定の方位で構成され及び操作されるべきであることを指示又は暗示するものではなく、従って本発明を限定するものと理解すべきではない。さらに、「第１」、「第２」という用語は、説明する目的で用いられるに過ぎず、相対的な重要性を示す又は暗示するものと理解すべきではない。
ＤＶＳカメラは光強度の変化のみをキャプチャし、次いで非同期ＤＶＳピクセル（ピクセルイベント）を作成する。ＤＶＳピクセル又はピクセルイベント又はイベントは、ピクセル又はイベントデータを用いて示されることが可能であり、一般的に［ｘ， ｙ， ｔ， ｐ］の形態が利用され、ｘ及びｙは該イベントのｘ座標及びｙ座標を表し、ｔは該イベントを示すタイプスタンプを表し、ｐはイベントの極性を表し、光強度の変化が明化であるか暗化であるかを示す。１つ又は複数の実施例において、光強度が明化した場合、ｐは＋１であり、光強度が弱くなった場合、ｐは－１である。従来のカメラと比較して、ＤＶＳは、低レイテンシで、モーションブラーがなく、高ダイナミックレンジで、電力消費が少ないなどの利点を有する。
連続するピクセルを含む完全な画像又はフレームを作成する従来のカメラとは異なり、ＤＶＳカメラは、空間及び時間上で離散的且つ非連続的である非同期ＤＶＳピクセルのみを作成するため、ＤＶＳフレームを生成するために、タイムスパン内でＤＶＳカメラによってキャプチャされたＤＶＳピクセル（ピクセルイベント）を統合する必要がある。ＤＶＳフレームを作成することができる様々な方法があり、例えば、ＤＶＳフレームを形成するために、固定タイムスパン又は可変タイムスパン内のＤＶＳピクセルを統合するか、又は一定数のＤＶＳピクセルを統合するなどである。ＤＶＳピクセルをＤＶＳフレームに統合する方法は周知であり、ここでは説明を省略する。
本発明はＤＶＳカメラに基づくまばたき検出方法を提供する。該まばたき検出方法は、ＤＶＳフレーム内に固有のパターン特性が存在するか否かを判定することによってまばたき検出を行う。いくつかの実施例において、該まばたき検出方法は、ＤＶＳフレームの眼部領域内に第１色領域及び第２色領域が上下に分布するパターンが存在するか否かを判定することにより、まばたき動作が進行中であるか否かを特定する。いくつかの実施例において、該まばたき検出方法は、眼部領域内の第１色ピクセルと第２色ピクセルの平均高さの差を計算し、且つ該平均高さの差の絶対値が閾値よりも大きい場合、前記ＤＶＳフレームの眼部領域内に第１色領域及び第２色領域が上下に分布するパターンが存在すると判定することにより、まばたき動作が進行中であるか否かを特定する。いくつかの実施例において、該まばたき検出方法はさらに、まばたき、目を開ける又は目を閉じる動作を検出する。いくつかの実施例において、該まばたき検出方法はさらに、まばたき頻度及び／又はまばたき持続時間を計算することができる。
本発明に係るいくつかの実施例において、ＤＶＳフレームの眼部における第１色ピクセルの平均高さと第２色ピクセルの平均高さ、及び両者の高さの差を計算するだけで、目のまばたき、目を開ける及び目を閉じる動作を正確に判定することができる。本発明の方法は、従来の画像処理方法と比較して計算量が非常に少ない。また、ＤＶＳフレームにおいて光強度の変化が発生した位置のみが第１色ピクセル又は第２色ピクセルを有することから、計算量がさらに減少する。従って、本発明の方法は高フレームレート（例えば毎秒２００フレーム）の画像処理に特に適しており、それによりまばたき検出の精度を保証する。
図１は、本発明の１つ又は複数の実施例に係るまばたき検出システム１００の概略図である。図に示すように、本発明に係るまばたき検出システム１００はＤＶＳカメラ１０２を備える。該ＤＶＳカメラ１０２は人物１０４の顔１０６を撮影するために用いられる。まばたき検出システム１００はさらに、ＤＶＳカメラ１０２に接続され、且つＤＶＳカメラ１０２からＤＶＳピクセルストリームを受信し、処理するために用いられるプロセッサ（図示せず）を備える。
図２Ａ－２Ｅは、本発明に係るまばたき検出システム１００によって撮影されたまばたき過程における複数のＤＶＳフレームの図であり、図２Ａはまばたきする前のＤＶＳフレームを示し、図２Ｂはちょうど眼を閉じる時のＤＶＳフレームを示し、図２Ｃは実質的に眼を完全に閉じている時のＤＶＳフレームを示し、図２Ｄ及び図２Ｅはちょうど眼を開ける時のＤＶＳフレームを示す。２Ａ－２ＥのＤＶＳフレームにおいて、白色ピクセル点は光強度の明化を示し、黒色ピクセル点は光強度の暗化を示し、灰色ピクセル点は光強度が変化していないことを示す。本発明のＤＶＳフレームのピクセル色は黒色、白色、灰色に限定されなくてもよい。例えば、本発明の別の実施例に係るＤＶＳフレームにおいて、第１色ピクセル点は光強度の明化を示し、第２色ピクセル点は光強度の暗化を示し、第３色ピクセル点は光強度が変化していないことを示す。本発明の別の実施例に係るＤＶＳフレームは、図２Ａ－２Ｅに示されるような実際の画像ではなく、単にタイムスパンのＤＶＳピクセルを含む仮想フレームの概念であってもよい。この場合、ＤＶＳフレームは第１色ピクセル及び第２色ピクセルのみを含み、第３色ピクセルを含まなくてもよい。
当業者であれば、図２Ａ－２Ｅはまばたき検出システム１００によって撮影されたいくつかの例示的なＤＶＳフレームに過ぎず、まばたき検出システム１００によって実際に撮影されるＤＶＳフレームの数は、図２Ａ－２Ｅに示されたものよりもはるかに多くなり得ることを理解されたい。図２Ａ－２Ｅに示す各ＤＶＳフレームは、５ｍｓのタイムスパン内でＤＶＳカメラ１０２によってキャプチャされたＤＶＳピクセルを統合することで形成されたＤＶＳフレームである。当業者であれば、ＤＶＳフレームは５ｍｓ以外のタイムスパンのＤＶＳピクセルを統合することで形成してもよく、又は一定数のＤＶＳピクセルを統合することで形成してもよいことを理解されたい。
本発明者らは研究の結果、目を閉じる及び目を開ける過程で撮影されたＤＶＳフレームが非常に顕著な特徴を有することを発見した。図２Ｂ、図２Ｄ及び図２Ｅに示すように、目を開ける及び目を閉じる過程で、ＤＶＳフレームの眼部領域には、白色領域と黒色領域が上下に分布する非常に明快なパターンが存在する。具体的には、図２Ｂに示すように、目を閉じる過程において、ＤＶＳフレームの眼部領域の該パターンにおける白色領域は上部にあり、黒色領域は下部にあり、それに対して図２Ｄ及び図２Ｅに示すように、目を開ける過程において、ＤＶＳフレームの眼部領域の該パターンにおける白色領域は下部にあり、黒色領域は上部にある。まばたきを開始する前の図２Ａ及び目を完全に閉じている図Ｃにおいて、ＤＶＳフレームの眼部領域はそのようなパターンを含まない。
図３Ａは図２Ｂの部分拡大図であり、図３Ｂは図２Ｄの部分拡大図である。図３Ａに示すように、目を閉じる過程で撮影されたＤＶＳフレームの眼部領域３０２ａにおいて、眼部は実質的に上下２つの部分に分割され、眼部の上半分３１２ａが白色で、眼部の下半分３１４ａが黒色である。換言すれば、眼部的上半分３１２ａは実質的に水平な白色ストリップを呈し、眼部の下半分３１４ａは実質的に水平な黒色ストリップを呈する。図３Ｂに示すように、目を閉じる過程で撮影されたＤＶＳフレームの眼部領域３０２ｂにおいて、眼部は実質的に上下２つの部分に分割され、眼部の上半分３１２ｂが黒色で、眼部の下半分３０４ｂが白色である。換言すれば、眼部の上半分３１２ｂは実質的に水平な黒色ストリップを呈し、眼部の下半分３１４ｂは実質的に水平な白色ストリップを呈する。
目を開ける及び目を閉じる過程で撮影されたＤＶＳフレームの眼部のパターンは、非常に顕著な特徴（白色領域と黒色領域が上下に分布する）を有するため、本発明者らは、ＤＶＳフレームにおける該顕著な特徴を利用して、まばたき又は目を開ける及び目を閉じる動作を識別した。本発明に係る１つ又は複数の実施例において、ＤＶＳフレームの眼部領域に黒色領域と白色領域が上下に分布するパターンが存在する時、まばたき動作が進行中であると判定することができる。本発明に係る別の１つ又は複数の実施例において、ＤＶＳフレームの眼部領域に白色領域と黒色領域が上下に分布し、且つ白色領域が黒色領域の上方にある時、目を閉じる動作が進行中であると判定する。本発明に係る１つ又は複数の実施例において、ＤＶＳフレームの眼部領域に白色領域と黒色領域が上下に分布し、且つ黒色領域が白色領域の上方にある時、目を閉じる動作が進行中であると判定する。
本発明に係るいくつかの実施例において、いくつかの既知の画像処理技術によって、ＤＶＳフレームに黒色領域と白色領域が上下に分布するパターンが存在するか否かを判定し、且つＤＶＳフレームの眼部領域に白色領域と黒色領域が上下に分布するパターンが存在する時、まばたき動作が進行中であると判定することができる。本発明に係る別の実施例において、いくつかの既知の画像処理技術によって、ＤＶＳフレームの眼部領域に白色領域と黒色領域が上下に分布し且つ白色領域が黒色領域の上方にあるパターンが存在するか否かを判定し、且つそのようなパターンが存在する場合、目を閉じる動作が進行中であると判定することができる。本発明に係る別の実施例において、いくつかの既知の画像処理技術によって、ＤＶＳフレームの眼部領域に白色領域と黒色領域が上下に分布し且つ黒色領域が白色領域の上方にあるパターンが存在するか否かを判定し、且つそのようなパターンが存在する場合、目を開ける動作が進行中であると判定することができる。本発明に係るいくつかの実施例において、上記の判定前及び／又は判定中に、ＤＶＳフレームにおける眼部領域を特定することができる。ＤＶＳにおける眼部領域を特定することは、いくつかの既知の画像処理技術によって実現することができる。
本発明の発明者らはさらに、まばたき又は目を開ける及び目を閉じる動作時のＤＶＳフレームにおけるパターン特性に基づき、簡単且つ効果的なまばたき、目を開ける又は目を閉じる動作の判定方法を提供する。図３Ａに示すように、ＤＶＳフレームの眼部の上半分３１２ａは実質的に水平な白色ストリップを呈し、眼部の下半分３１４ａは実質的に水平な黒色ストリップを呈するため、ＤＶＳフレームの眼部の全ての白色ピクセルの平均高さは高く、全ての黒色ピクセルの平均高さは低い。図３Ｂに示すように、ＤＶＳフレームの眼部の上半分３１２ｂは実質的に水平な黒色ストリップを呈し、眼部の下半分３１４ｂは実質的に水平な白色ストリップを呈するため、ＤＶＳフレームの眼部の全ての白色ピクセルの平均高さは低く、全ての黒色ピクセルの平均高さは高い。目を開ける又は目を閉じる以外のＤＶＳフレーム（例えば図２Ａ及び図２Ｃに示すＤＶＳフレーム）において、ＤＶＳフレームの眼部における白色ピクセルと黒色ピクセルの分布は比較的にランダムであり、ＤＶＳフレームの眼部における全ての白色ピクセルの平均高さと全ての黒色ピクセルの平均高さは基本的に同じである。すなわち、本発明者らは、ＤＶＳフレームの眼部における白色ピクセルの平均高さと黒色ピクセルの平均高さとの関係に基づいて、まばたき動作、目を開ける動作又は目を閉じる動作が進行中であるか否かを判断できることを発見した。ＤＶＳフレームの眼部における白色ピクセルの平均高さと黒色ピクセルの平均高さの差の絶対値が閾値よりも大きい時、ＤＶＳフレームの眼部に白色領域と黒色領域が上下に分布するパターンが存在し、すなわちまばたき動作が進行中であると判定することができる。ＤＶＳフレームの眼部における白色ピクセルの平均高さが黒色ピクセルの平均高さよりも大きく、且つ高さの差の絶対値が閾値よりも大きい時、ＤＶＳフレームの眼部に白色領域と黒色領域が上下に分布し且つ白色領域が黒色領域の上方にあるパターンが存在し、すなわち目を閉じる動作が進行中であると判定することができる。ＤＶＳフレームの眼部における白色ピクセルの平均高さが黒色ピクセルの平均高さよりも小さく、且つ高さの差の絶対値が閾値よりも大きい時、ＤＶＳフレームの眼部に白色領域と黒色領域が上下に分布し且つ白色領域が黒色領域の下方にあるパターンが存在し、すなわち目を開ける動作が進行中であると判定することができる。
本発明に係る実施例において、ＤＶＳフレームの眼部における全ての白色ピクセルの平均高さと全ての黒色ピクセルの平均高さ、及び両者の高さの差を計算するだけで、目のまばたき、目を開ける及び目を閉じる動作を正確に判定することができる。本発明の方法は、従来の画像処理方法と比較して計算量が非常に少ない。また、ＤＶＳカメラの特性により、ＤＶＳフレームにおいて光強度の変化が発生した位置のみが白色ピクセル又は黒色ピクセルを有し、光強度が変化していない位置は灰色ピクセルであり、これにより計算量がさらに減少する。
図２Ａ－２Ｅに示す実施例において、ＤＶＳフレームは５ｍｓのタイムスパン内でＤＶＳカメラ１０２によってキャプチャされたＤＶＳピクセルを統合することで形成されたものである。従って、該実施例において、毎秒２００個のＤＶＳフレームを生成することができる。これまで説明したように、本発明の方法はまばたき、目を開ける及び目を閉じる動作を判定する時の計算量が非常に少ないため、高フレームレート（例えば毎秒２００フレーム）の画像処理を保証することができる。
本発明の実施例において、フレームレートが高い（例えば毎秒２００フレーム）ため、毎回のまばたき過程でより多くのＤＶＳフレームを取得することができ、毎回の目を開ける過程又は毎回の目を閉じる過程でもより多くのＤＶＳフレームを取得することが可能である。従って、本発明のまばたき検出方法は、目のまばたき過程におけるまず目を閉じて、それから目を開けるという完全な過程を明確に判定することができ、まばたき頻度をより正確に計算することができる。また、まばたき過程全体におけるまず目を閉じて、それから目を開けるという過程を分析することにより、まばたき持続時間を比較的に正確に計算することができる。まばたき頻度及びまばたき持続時間という２つの指標は、疲労運転状態にあるか否かなどの人の精神状態を判断するために非常に有用である。
図４は、本発明の１つ又は複数の実施例に係るまばたき検出方法である。ステップＳ４１では、ＤＶＳカメラを用いて人物の顔を撮影し、ＤＶＳピクセルストリームを取得する。ＤＶＳカメラで撮影された顔の部分は、少なくとも眼部を含む。従来のカメラとは異なり、ＤＶＳカメラは光強度の変化のみをキャプチャし、次いで非同期ＤＶＳピクセル（ピクセルイベント）を作成する。これらのＤＶＳピクセルは、空間及び時間上で離散的且つ非連続的である可能性がある。ＤＶＳカメラの撮影過程で連続的に生成され、空間及び時間上で離散的且つ非連続的である可能性があるＤＶＳピクセルを、本明細書ではＤＶＳピクセルストリームと称する。ステップＳ４２では、前記ＤＶＳピクセルストリームのＤＶＳピクセルを統合又は組み合わせて複数のＤＶＳフレームを形成する。いくつかの実施例において、固定タイムスパン内でＤＶＳカメラによってキャプチャされたＤＶＳピクセル（ピクセルイベント）を統合又は組み合わせることで１つのＤＶＳフレームを生成してもよい。他の実施例において、可変タイムスパン内のＤＶＳピクセルを統合又は組み合わせることで１つのＤＶＳフレームを生成してもよい。別の実施例において、一定数のＤＶＳピクセルを統合又は組み合わせることで１つのＤＶＳフレームを生成してもよい。ステップＳ４３では、形成されたＤＶＳフレームに基づき、まばたき動作が存在するか否かを判定する。いくつかの実施例において、前記ＤＶＳフレームの眼部領域に白色領域と黒色領域が上下に分布するパターンが存在する場合、まばたき動作が存在すると判定する。本発明に係る１つ又は複数の実施例において、まばたき動作を判断するステップは、眼部領域における白色ピクセルの第１平均高さを計算するステップと、眼部領域における黒色ピクセルの第２平均高さを計算するステップと、眼部領域における白色ピクセルの第１平均高さから黒色ピクセルの第２平均高さを引いて平均高さの差を取得するステップと、平均高さの差の絶対値が閾値よりも大きい時、ＤＶＳフレームの眼部領域に白色領域と黒色領域が上下に分布するパターンが存在し、すなわちまばたき動作が存在すると判定するステップと、を含む。該閾値は実験により決定することができる。１つ又は複数の実施例において、該閾値は眼部の高さに関連した値、例えば眼部の高さの１／８、１／１０、１／１５、１／２０等であってもよい。
図５は、本発明のいくつかの実施例に係るまばたき動作を判定（ステップＳ３３）する具体的なステップである。図５の実施例において、まばたき動作を判断するステップは、目を閉じる動作を判断するステップＳ５１と、目を開ける動作を判断するステップＳ５２と、を含む。図５の実施例において、ＤＶＳカメラのＤＶＳピクセルストリームから生成された複数のＤＶＳフレームにおいて、まず目を閉じる動作を判断し、次いで後続のＤＶＳフレームにおいて目を開ける動作を判断する。これによりまばたき過程全体に対する検出を行い、まばたき過程をより正確に検出することができる。ステップＳ５１では、前記ＤＶＳフレームの眼部領域に白色領域と黒色領域が上下に分布するパターンが存在し、且つ白色領域が黒色領域の上方にある場合、目を閉じる動作が進行中であると判定する。ステップＳ５２では、前記ＤＶＳフレームの眼部領域に白色領域と黒色領域が上下に分布するパターンが存在し、且つ白色領域が黒色領域の下方にある場合、目を開ける動作が進行中であると判定する。本発明に係る別の１つ又は複数の実施例において、ステップＳ５１では、ＤＶＳフレームの眼部領域における白色ピクセルの平均高さと黒色ピクセルの平均高さとの間の平均高さの差の絶対値が閾値よりも大きく、且つ白色ピクセルの平均高さが黒色ピクセルの平均高さよりも大きい時、ＤＶＳフレームの眼部領域に白色領域と黒色領域が上下に分布し、且つ白色領域が黒色領域の上方にあるパターンが存在し、すなわち目を閉じる動作が進行中であると判定する。ステップＳ５２では、ＤＶＳフレームの眼部領域における白色ピクセルの平均高さと黒色ピクセルの平均高さとの間の平均高さの差の絶対値が閾値よりも大きく、且つ白色ピクセルの平均高さが黒色ピクセルの平均高さよりも小さい時、ＤＶＳフレームの眼部領域に白色領域と黒色領域が上下に分布し、且つ白色領域が黒色領域の下方にあるパターンが存在し、すなわち目を開ける動作が進行中であると判定する。本発明に係るいくつかの実施例において、目を閉じる動作を判定するための閾値と、目を開ける動作を判定するための閾値は同じであっても異なっていてもよい。
本発明に係る別の１つ又は複数の実施例において、ステップＳ５１では、ＤＶＳカメラのＤＶＳピクセルストリームから生成された複数のＤＶＳフレームから、隣接する複数の目を閉じるＤＶＳフレーム（第１組隣接ＤＶＳフレーム）を特定し、各目を閉じるＤＶＳフレームの白色ピクセルと黒色ピクセルの平均高さの差は閾値よりも大きく、且つ白色ピクセルの平均高さは黒色ピクセルの平均高さよりも大きい。ステップＳ５２では、複数のＤＶＳフレームの該複数の目を閉じるＤＶＳフレームの後続ＤＶＳフレームから、隣接する複数の目を開けるＤＶＳフレーム（第２組隣接ＤＶＳフレーム）を特定し、各目を開けるＤＶＳフレームの白色ピクセルと黒色ピクセルの平均高さの差は閾値よりも大きく、且つ白色ピクセルの平均高さは黒色ピクセルの平均高さよりも小さい。これにより、ステップＳ５１及びＳ５２によって、複数の目を閉じるＤＶＳフレーム及び複数の目を開けるＤＶＳフレームを含む１回の完全なまばたきが特定される。
図６は、本発明の１つ又は複数の実施例に係るまばたき検出方法である。図６に示すまばたき検出方法のステップＳ６１、Ｓ６２及びＳ６３は、図４に示すステップＳ４１、Ｓ４２及びＳ４３と基本的に同一又は類似しており、ここでは説明を省略する。ステップＳ６４では、ステップＳ６３を繰り返して実行し（又はステップＳ６１～６３を繰り返して実行）、複数回のまばたきを特定し、且つ各ＤＶＳフレームの撮影時間を組み合わせてまばたき頻度を計算する。
図７は、本発明の１つ又は複数の実施例に係るまばたき検出方法である。図７に示すまばたき検出方法のステップＳ７１、Ｓ７２及びＳ７３は、図４に示すステップＳ４１、Ｓ４２及びＳ４３と基本的に同一又は類似しており、ここでは説明を省略する。ステップＳ７４では、ステップＳ５１で特定された複数の目を閉じるＤＶＳフレーム（第１組隣接ＤＶＳフレーム）から目を閉じる基準ＤＶＳフレーム（第１基準ＤＶＳフレーム）を特定し、且つステップＳ５２で特定された複数の目を開けるＤＶＳフレーム（第２組隣接ＤＶＳフレーム）から目を開ける基準ＤＶＳフレーム（第２基準ＤＶＳフレーム）を特定し、次いで目を閉じる基準ＤＶＳフレームと目を開ける基準ＤＶＳフレームとの間の撮影時間の差に基づいてまばたき持続時間を特定する。実際のまばたき持続時間は、一般的に、目を閉じる基準ＤＶＳフレームと目を開ける基準ＤＶＳフレームとの間の撮影時間の差よりも長い。本発明に係るいくつかの実施例において、まばたき持続時間と前記撮影時間の差との間の関係は、実験により特定することができる。本発明に係るいくつかの実施例において、まばたき持続時間は、目を閉じる基準ＤＶＳフレームと目を開ける基準ＤＶＳフレームとの間の撮影時間の差の線型関数であってもよい。
本発明に係るいくつかの実施例において、目を閉じる基準ＤＶＳフレーム又は目を開ける基準ＤＶＳフレームは、目を閉じる及び目を開ける過程における図３Ａ及び図３Ｂに示すパターンが最も明確なＤＶＳフレームである。これらの実施例において、目を閉じる基準ＤＶＳフレームは、複数の目を閉じるＤＶＳフレームにおける白色ピクセルと黒色ピクセルの平均高さの差の絶対値が最も大きいＤＶＳフレームであり、前記目を開ける基準ＤＶＳフレームは、複数の目を開けるＤＶＳフレームにおける白色ピクセルと黒色ピクセルの平均高さの差の絶対値が最も大きいＤＶＳフレームである。
本発明に係る別の実施例において、目を閉じる基準ＤＶＳフレームは、複数の目を閉じるＤＶＳフレームのうち撮影時間が真中のＤＶＳフレームであり、目を開ける基準ＤＶＳフレームは、複数の目を開けるＤＶＳフレームのうち撮影時間が真中のＤＶＳフレームである。本発明に係る別の実施例において、目を閉じる基準ＤＶＳフレームは、複数の目を閉じるＤＶＳフレームのうちの他のＤＶＳフレームであってもよく、目を開ける基準ＤＶＳフレームは、複数の目を開けるＤＶＳフレームのうちの他のＤＶＳフレームであってもよい。
本発明に係る１つ又は複数の実施例において、まばたき検出方法は、まばたき動作が存在するか否かを判定するステップの前に、ＤＶＳフレーム内で眼部領域を特定するステップをさらに含む。
図６に示すまばたき検出は、まばたき頻度を計算することに用いられ、図７に示すまばたき検出は、まばたき持続時間を計算することに用いられる。当業者であれば、図６と図７の方法は一緒に組み合わされてもよいことを理解されたい。すなわち、本発明に係る１つ又は複数の実施例において、まばたき検出はまばたき頻度を計算することだけでなく、まばたき持続時間を計算することも含む。
本発明の複数の態様は、システム、方法、又はコンピュータプログラム製品として具現化されてもよい。従って、本発明の複数の態様は、ハードウェア一式による実施例、ソフトウェア一式による実施例（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）、又はソフトウェアとハードウェアの態様を組み合わせた実施例の形態をとることができる。さらに、本開示の各態様は、コンピュータ読み取り可能なプログラムコードが記憶された１つ又は複数のコンピュータ読み取り可能な媒体に組み込まれたコンピュータプログラム製品の形態をとることができる。
コンピュータ読み取り可能な媒体は、コンピュータ読み取り可能な信号媒体又はコンピュータ読み取り可能な記憶媒体であってもよい。コンピュータ読み取り可能な記憶媒体は、例えば、電子的、磁気的、光学的、電磁的、赤外線又は半導体のシステム、装置又はデバイス又はそれらの任意の好適な組み合わせであってもよいが、これに限定されない。コンピュータ読み取り可能な記憶媒体のより具体的な例（非網羅的なリスト）は、ポータブルコンピュータ磁気ディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、書き込み消去可能プログラマブルリードオンリーメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、コンパクトディスクリードオンリーメモリ（ＣＤ－ＲＯＭ）、光記憶デバイス、磁気記憶デバイス、又は上記の任意の適切な組み合わせを含む。本明細書の文脈において、コンピュータ読み取り可能な記憶媒体は、コマンド実行システム、装置、又はデバイスを使用し、又はそれらと一緒に組み合わせて使用するためのプログラムを含むか又は記憶することができる任意の有形媒体であってもよい。
本発明の複数の態様は、本発明の実施例に係る方法、装置（システム）及びコンピュータプログラム製品のフローチャート及び／又はブロック図を参照して説明されている。なお、フローチャート及び／又はブロック図における各ブロック、及びフローチャート及び／又はブロック図におけるブロックの組み合わせは、コンピュータプログラムコマンドによって実現することができる。これらのコンピュータプログラムコマンドは、汎用コンピュータ、専用コンピュータ、又は他のプログラマブルデータ処理装置のプロセッサに提供されて、それにより機器が生成され、コンピュータ又は他のプログラマブルデータ処理装置のプロセッサを介して実行されるコマンドが、フローチャート及び／又はブロック図の１つ又は複数のブロックにおける指定された機能／動作の実現を有効化する。このようなプロセッサは汎用プロセッサ、専用プロセッサ、特定用途向けプロセッサ又はフィールドプログラマブルプロセッサ又はゲートアレイであってもよいがこれらに限定されない。
本発明は、以下の方法で実施することができる。
（項目１）ＤＶＳカメラを用いて顔を撮影し、それによりＤＶＳピクセルストリームを取得するステップと、前記ＤＶＳピクセルストリームのＤＶＳピクセルを統合して複数のＤＶＳフレームを形成し、前記複数のＤＶＳフレームの各ＤＶＳフレームは複数の第１色ピクセル及び複数の第２色ピクセルを含み、各前記第１色ピクセルは明化イベントを示す１つ又は複数のＤＶＳピクセルに関連付けられ、各前記第２ピクセルは暗化イベントを示す１つ又は複数のＤＶＳピクセルに関連付けられるステップと、前記複数のＤＶＳフレームの少なくとも１つのＤＶＳフレームにまばたき動作が存在するか否かを判定するステップと、を含み、そのうち、まばたき動作が存在するか否かを判定するステップは、前記少なくとも１つのＤＶＳフレームの眼部領域内に第１色領域及び第２色領域が上下に分布するパターンが存在するか否かを判定するステップを含む、ＤＶＳカメラに基づくまばたき検出方法。
（項目２）前記複数のＤＶＳフレームのうち各ＤＶＳフレームはさらに複数の第３色ピクセルを含み、前記第３色ピクセルは明化イベントを示すＤＶＳピクセル又は暗化イベントを示すＤＶＳピクセルに関連付けられていない、項目１に記載のまばたき検出方法。
（項目３）まばたき動作が存在するか否かを判定するステップは、前記パターンにおいて第１色領域が前記第２色領域の上方にある時、目を閉じる動作が進行中であると判定するステップをさらに含む、項目１～２のいずれか一項に記載のまばたき検出方法。
（項目４）まばたき動作が存在するか否かを判定するステップは、前記パターンにおいて第２色領域が前記第１色領域の上方にある時、目を開ける動作が進行中であると判定するステップをさらに含む、項目１～３のいずれか一項に記載のまばたき検出方法。
（項目５）まばたき動作が存在するか否かを判定するステップは、
前記少なくとも１つのＤＶＳフレームのうち各ＤＶＳフレームの平均高さの差を計算し、前記平均高さの差は、対応するＤＶＳフレームの前記眼部領域における第１色ピクセルと第２色ピクセルの平均高さの差であるステップと、
前記平均高さの差の絶対値が閾値よりも大きい時、対応するＤＶＳフレームの眼部領域に第１色領域と第２色領域が上下に分布するパターンが存在すると判定するステップと、をさらに含む、項目１～４のいずれか一項に記載のまばたき検出方法。
（項目６）平均高さの差を計算するステップは、
前記眼部領域における第１色ピクセルの第１平均高さを計算するステップと、
前記眼部領域における第２色ピクセルの第２平均高さを計算するステップと、
第１平均高さと第２平均高さの差を求めて前記平均高さの差を計算するステップと、を含む項目１～５のいずれか一項に記載のまばたき検出方法。
（項目７）まばたき動作が存在するか否かを判定するステップの後、まばたき持続時間を計算するステップをさらに含み、まばたき持続時間を計算するステップは、
前記複数のＤＶＳフレームから第１組隣接ＤＶＳフレームを特定し、第１組隣接ＤＶＳフレームの各ＤＶＳフレームの前記平均高さの差は正であり且つその絶対値は第１閾値よりも大きいステップと、
前記複数のＤＶＳフレームの前記第１組隣接ＤＶＳフレームの後続のＤＶＳフレームから第２組隣接ＤＶＳフレームを特定し、前記第２組隣接ＤＶＳフレームの各ＤＶＳフレームの平均高さの差は負であり且つその絶対値は第２閾値よりも大きいステップと、
前記第１組隣接ＤＶＳフレームから第１基準ＤＶＳフレームを特定するステップと、
前記第２組隣接ＤＶＳフレームから第２基準ＤＶＳフレームを特定するステップと、
第１基準ＤＶＳフレームの撮影時間と第２基准ＤＶＳフレームの撮影時間の時間差に基づいてまばたき持続時間を計算するステップと、を含む、項目１～６のいずれか一項に記載のまばたき検出方法。
（項目８）前記第１基準ＤＶＳフレームは、前記第１組隣接ＤＶＳフレームのうち時間的に真中のＤＶＳフレームであり、前記第２基準ＤＶＳフレームは、前記第２組隣接ＤＶＳフレームのうち時間的に真中のＤＶＳフレームである、項目１～７のいずれか一項に記載のまばたき検出方法。
（項目９）前記第１基準ＤＶＳフレームは、前記第１組隣接ＤＶＳフレームのうち前記平均高さの差の絶対値が最も大きいＤＶＳフレームであり、前記第２基準ＤＶＳフレームは、前記第２組隣接ＤＶＳフレームのうち前記平均高さの差の絶対値が最も大きいＤＶＳフレームである、項目１～８のいずれか一項に記載のまばたき検出方法。
（項目１０）まばたき動作が存在するか否かを判定するステップの後、複数回の完全なまばたきを特定するステップをさらに含み、複数回の完全なまばたきの各回の完全なまばたきを特定するステップは、
前記複数のＤＶＳフレームから第１組隣接ＤＶＳフレームを特定し、前記第１組隣接ＤＶＳフレームの各ＤＶＳフレームの前記平均高さの差は正であり且つ第１閾値よりも大きいステップと、
前記複数のＤＶＳフレームの前記第１組隣接ＤＶＳフレームの後続のＤＶＳフレームから第２組隣接ＤＶＳフレームを特定し、前記第２組隣接ＤＶＳフレームの各ＤＶＳフレームの平均高さの差は負であり且つ第２閾値よりも大きいステップと、
特定された第１組隣接ＤＶＳフレーム及び特定された第２組隣接ＤＶＳフレームに基づき１回の完全なまばたきを特定するステップと、を含む、項目１～９のいずれか一項に記載のまばたき検出方法。
（項目１１）前記複数回の完全なまばたきに関連するＤＶＳフレームのうち少なくとも一部のＤＶＳフレームの撮影時間を利用してまばたき頻度を計算するステップをさらに含む、項目１～１０のいずれか一項に記載のまばたき検出方法。
（項目１２）まばたき動作が存在するか否かを判定するステップの前に、前記少なくとも１つのＤＶＳフレームの各ＤＶＳフレーム内で前記眼部領域を特定するステップをさらに含む、項目１～１１のいずれか一項に記載のまばたき検出方法。
（項目１３）ＤＶＳピクセルストリームを取得するために撮影することに用いられるＤＶＳカメラと、前記ＤＶＳカメラに接続され、項目１～１２のいずれか一項に記載のまばたき検出方法を実行するように構成されたプロセッサと、を備えるまばたき検出システム。
（項目１４）車両本体と、前記車両本体に取り付けられた項目１３に記載のまばたき検出システムと、を備える車両。
以上の記述は、本発明の原理を説明するための例示的な実施例に過ぎず、本発明の保護範囲を限定するものではない。当業者であれば、本発明の精神及び本質から逸脱することなく、様々な変形及び改良を行うことができ、これらの変形及び改良も本発明の保護範囲内にある。

Claims (14)

  1. ＤＶＳカメラを用いて顔を撮影し、それによりＤＶＳピクセルストリームを取得するステップと、
    前記ＤＶＳピクセルストリームのＤＶＳピクセルを統合して複数のＤＶＳフレームを形成し、前記複数のＤＶＳフレームの各ＤＶＳフレームは複数の第１色ピクセル及び複数の第２色ピクセルを含み、各前記第１色ピクセルは明化イベントを示す１つ又は複数のＤＶＳピクセルに関連付けられ、各前記第２ピクセルは暗化イベントを示す１つ又は複数のＤＶＳピクセルに関連付けられるステップと、
    前記複数のＤＶＳフレームの少なくとも１つのＤＶＳフレームにまばたき動作が存在するか否かを判定するステップと、を含み、
    まばたき動作が存在するか否かを判定するステップは、前記少なくとも１つのＤＶＳフレームの眼部領域内に第１色領域及び第２色領域が上下に分布するパターンが存在するか否かを判定するステップを含む、ＤＶＳカメラに基づくまばたき検出方法。
  2. 前記複数のＤＶＳフレームのうち各ＤＶＳフレームはさらに複数の第３色ピクセルを含み、前記第３色ピクセルは明化イベントを示すＤＶＳピクセル又は暗化イベントを示すＤＶＳピクセルに関連付けられていない、請求項１に記載のまばたき検出方法。
  3. まばたき動作が存在するか否かを判定するステップは、前記パターンにおいて第１色領域が前記第２色領域の上方にある時、目を閉じる動作が進行中であると判定するステップをさらに含む、請求項１に記載のまばたき検出方法。
  4. まばたき動作が存在するか否かを判定するステップは、前記パターンにおいて第２色領域が前記第１色領域の上方にある時、目を開ける動作が進行中であると判定するステップをさらに含む、請求項１に記載のまばたき検出方法。
  5. まばたき動作が存在するか否かを判定するステップは、
    前記少なくとも１つのＤＶＳフレームのうち各ＤＶＳフレームの平均高さの差を計算し、前記平均高さの差は、前記少なくとも１つのＤＶＳフレームの前記眼部領域における第１色ピクセルと第２色ピクセルの平均高さの差であるステップと、
    前記平均高さの差の絶対値が閾値よりも大きい時、前記少なくとも１つのＤＶＳフレームの眼部領域に第１色領域と第２色領域が上下に分布するパターンが存在すると判定するステップと、をさらに含む、請求項１～４のいずれか一項に記載のまばたき検出方法。
  6. 平均高さの差を計算するステップは、
    前記眼部領域における第１色ピクセルの第１平均高さを計算するステップと、
    前記眼部領域における第２色ピクセルの第２平均高さを計算するステップと、
    第１平均高さから第２平均高さを引いて前記平均高さの差を計算するステップと、を含む請求項５に記載のまばたき検出方法。
  7. まばたき動作が存在するか否かを判定するステップの後、まばたき持続時間を計算するステップをさらに含み、まばたき持続時間を計算するステップは、
    前記複数のＤＶＳフレームから第１組隣接ＤＶＳフレームを特定し、第１組隣接ＤＶＳフレームの各ＤＶＳフレームの前記平均高さの差は正であり且つその絶対値は第１閾値よりも大きいステップと、
    前記複数のＤＶＳフレームの前記第１組隣接ＤＶＳフレームの後続のＤＶＳフレームから第２組隣接ＤＶＳフレームを特定し、前記第２組隣接ＤＶＳフレームの各ＤＶＳフレームの平均高さの差は負であり且つその絶対値は第２閾値よりも大きいステップと、
    前記第１組隣接ＤＶＳフレームから第１基準ＤＶＳフレームを特定するステップと、
    前記第２組隣接ＤＶＳフレームから第２基準ＤＶＳフレームを特定するステップと、
    第１基準ＤＶＳフレームの撮影時間と第２基准ＤＶＳフレームの撮影時間の時間差に基づいてまばたき持続時間を計算するステップと、を含む、請求項５に記載のまばたき検出方法。
  8. 前記第１基準ＤＶＳフレームは、前記第１組隣接ＤＶＳフレームのうち時間的に真中のＤＶＳフレームであり、前記第２基準ＤＶＳフレームは、前記第２組隣接ＤＶＳフレームのうち時間的に真中のＤＶＳフレームである、請求項７に記載のまばたき検出方法。
  9. 前記第１基準ＤＶＳフレームは、前記第１組隣接ＤＶＳフレームのうち前記平均高さの差の絶対値が最も大きいＤＶＳフレームであり、前記第２基準ＤＶＳフレームは、前記第２組隣接ＤＶＳフレームのうち前記平均高さの差の絶対値が最も大きいＤＶＳフレームである、請求項７に記載のまばたき検出方法。
  10. まばたき動作が存在するか否かを判定するステップの後、１回以上の完全なまばたきを特定するステップをさらに含み、１回以上の完全なまばたきを特定するステップは、
    前記複数のＤＶＳフレームから第１組隣接ＤＶＳフレームを特定し、前記第１組隣接ＤＶＳフレームの各ＤＶＳフレームの前記平均高さの差は正であり且つ第１閾値よりも大きいステップと、
    前記複数のＤＶＳフレームの前記第１組隣接ＤＶＳフレームの後続のＤＶＳフレームから第２組隣接ＤＶＳフレームを特定し、前記第２組隣接ＤＶＳフレームの各ＤＶＳフレームの平均高さの差は負であり且つ第２閾値よりも大きいステップと、
    特定された第１組隣接ＤＶＳフレーム及び特定された第２組隣接ＤＶＳフレームに基づき１回以上の完全なまばたきを特定するステップと、を含む、請求項５に記載のまばたき検出方法。
  11. 前記１回以上の完全なまばたきに関連するＤＶＳフレームのうち少なくとも一部のＤＶＳフレームの撮影時間を利用してまばたき頻度を計算するステップをさらに含む、請求項１０に記載のまばたき検出方法。
  12. まばたき動作が存在するか否かを判定するステップの前に、前記少なくとも１つのＤＶＳフレームの各ＤＶＳフレーム内で前記眼部領域を特定するステップをさらに含む、請求項１～４のいずれか一項に記載のまばたき検出方法。
  13. ＤＶＳピクセルストリームを取得するために撮影することに用いられるＤＶＳカメラと、
    前記ＤＶＳカメラに接続され、請求項１～１２のいずれか一項に記載のまばたき検出方法を実行するように構成されたプロセッサと、を備えるまばたき検出システム。
  14. 車両本体と、
    前記車両本体に取り付けられた請求項１３に記載のまばたき検出システムと、を備える車両。
JP2023098278A 2022-06-20 2023-06-15 まばたき検出方法及びシステム Pending JP2024000525A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202210697571.X 2022-06-20
CN202210697571.XA CN117315629A (zh) 2022-06-20 2022-06-20 眨眼检测方法和系统

Publications (1)

Publication Number Publication Date
JP2024000525A true JP2024000525A (ja) 2024-01-05

Family

ID=86861792

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023098278A Pending JP2024000525A (ja) 2022-06-20 2023-06-15 まばたき検出方法及びシステム

Country Status (5)

Country Link
US (1) US20230410554A1 (ja)
EP (1) EP4296980A1 (ja)
JP (1) JP2024000525A (ja)
KR (1) KR20230174192A (ja)
CN (1) CN117315629A (ja)

Also Published As

Publication number Publication date
US20230410554A1 (en) 2023-12-21
KR20230174192A (ko) 2023-12-27
CN117315629A (zh) 2023-12-29
EP4296980A1 (en) 2023-12-27

Similar Documents

Publication Publication Date Title
US10789464B2 (en) Apparatus and method for robust eye/gaze tracking
JP4307496B2 (ja) 顔部位検出装置及びプログラム
US20200334477A1 (en) State estimation apparatus, state estimation method, and state estimation program
JP5109922B2 (ja) ドライバモニタリング装置およびドライバモニタリング装置用のプログラム
US10572008B2 (en) Apparatus and method for robust eye/gaze tracking
US20180249090A1 (en) Image processing apparatus, solid-state imaging device, and electronic apparatus
KR20140111858A (ko) 이미지 처리 장치 및 방법
JP6601351B2 (ja) 視線計測装置
JP2010198313A (ja) 開眼度特定装置
JP2008171108A (ja) 顔状況判定処理装置および撮像装置
CN110231018B (zh) 一种结构光测距方法、装置及计算机可读存储介质
JP2010114752A (ja) 撮像装置及び撮像方法及びプログラム
JP2013135341A5 (ja)
JP2020145536A (ja) 映像処理装置、映像処理方法および映像処理プログラム
JP5362405B2 (ja) 瞳孔計測装置、瞳孔計測方法ならびに瞳孔計測プログラム
CN112949370A (zh) 眼睛事件检测
JP3116638B2 (ja) 覚醒状態検知装置
US9886630B2 (en) Apparatus and method for robust eye/gaze tracking
JP2005049854A (ja) 対象決定装置及び撮像装置
JP7524713B2 (ja) 情報処理装置および情報処理方法
JP2024000525A (ja) まばたき検出方法及びシステム
JP2010108182A (ja) 車両の運転支援装置
JP2009244944A (ja) 画像回復装置および撮影装置
JP2021144150A (ja) 映像処理装置、映像処理方法および映像処理プログラム
JP2014135683A (ja) 撮像制御装置、撮像制御方法および撮像制御プログラム