JP6894880B2 - 監視システム - Google Patents

監視システム Download PDF

Info

Publication number
JP6894880B2
JP6894880B2 JP2018209418A JP2018209418A JP6894880B2 JP 6894880 B2 JP6894880 B2 JP 6894880B2 JP 2018209418 A JP2018209418 A JP 2018209418A JP 2018209418 A JP2018209418 A JP 2018209418A JP 6894880 B2 JP6894880 B2 JP 6894880B2
Authority
JP
Japan
Prior art keywords
face image
face
light source
camera
passenger
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018209418A
Other languages
English (en)
Other versions
JP2020075596A (ja
Inventor
隆司 塩田
隆司 塩田
賢太郎 大友
賢太郎 大友
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yazaki Corp
Original Assignee
Yazaki Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yazaki Corp filed Critical Yazaki Corp
Priority to JP2018209418A priority Critical patent/JP6894880B2/ja
Priority to EP19206113.3A priority patent/EP3650991B8/en
Priority to US16/675,132 priority patent/US10963718B2/en
Priority to CN201911070848.0A priority patent/CN111160081B/zh
Publication of JP2020075596A publication Critical patent/JP2020075596A/ja
Application granted granted Critical
Publication of JP6894880B2 publication Critical patent/JP6894880B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/103—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using camera systems provided with artificial illumination device, e.g. IR light source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
    • Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Mechanical Engineering (AREA)
  • Image Processing (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Description

本発明は、監視システムに関する。
従来、車両のドライバの視線の状態（例えば、まばたき等）を検出する目状態検出装置が提案されている（例えば、特許文献１，２参照）。このようなドライバの監視システムでは、外乱光（例えば、太陽光）の影響を受ける車両内でも安定した品質で顔を撮影するために、近赤外線（ＮＩＲ）を射出する光源でドライバの顔を照明して撮影を行っている。また、従来の監視システムでは、外乱光を除去するための可視光カットフィルタを通してドライバの顔を撮影するものもある。
特開２００８−９４２２１号公報 特許第４３５６７３３号公報
ところで、上述した監視システムでは、眼鏡を着用したドライバの顔を撮影した場合、目の手前にある眼鏡のレンズに光源が映り込んで目の撮影が阻害され、得られた顔画像からドライバの視線の状態を識別することができないおそれがあり、改善の余地がある。
本発明の目的は、搭乗者の視線の状態を精度よく監視することができる監視システムを提供することである。
上記目的を達成するために、本発明に係る監視システムは、車両の搭乗者の顔を連続して撮影して顔画像を取得するカメラと、前記カメラを上下方向から視た場合に前記カメラを挟んで左右方向に配置され、前記搭乗者の顔に光を照射する一対の右側光源及び左側光源と、前記右側光源と前記左側光源とを、前記カメラの撮影ごとに交互に点灯させる点灯制御手段と、前記カメラで取得された複数の顔画像を用いて、少なくとも前記搭乗者の目の開閉を含む視線の状態を判定し、当該判定結果に基づいて車両制御を行う制御手段と、を備え、前記カメラは、前記右側光源の点灯に応じて撮影した第１の顔画像と、前記左側光源の点灯に応じて撮影した第２の顔画像とをそれぞれ取得し、前記制御手段は、前記第１の顔画像と、前記第１の顔画像が取得された時点の直近に取得された前記第２の顔画像とに基づいて前記視線の状態を判定し、前記顔画像を用いて前記搭乗者の顔の向きを判定する顔向き判定手段と、前記搭乗者の顔の向きが前記カメラから視て正対していると判定された場合、前記第１の顔画像を、前記右側光源と対向する前記搭乗者の右顔側の第１の右顔画像と、前記右側光源からの距離が前記搭乗者の右顔側より遠い左顔側の第１の左顔画像とに分割し、かつ前記第２の顔画像を、前記左側光源と対向する前記搭乗者の左顔側の第２の左顔画像と、前記左側光源からの距離が前記搭乗者の左顔側より遠い右顔側の第２の右顔画像とに分割する顔画像分割手段と、前記第１の左顔画像と前記第２の右顔画像とを合成して１つの顔画像を作成する顔画像合成手段と、さらに備え、前記制御手段は、前記顔画像合成手段で作成された顔画像に基づいて前記視線の状態を判定し、前記点灯制御手段は、前記搭乗者の顔の向きが前記カメラから視て右方向に回転していると判定された場合には、前記左側光源を点灯させ、前記搭乗者の顔の向きが前記カメラから視て左方向に回転していると判定された場合には、前記右側光源を点灯させ、前記カメラは、前記右側光源の点灯に応じて撮影した単独判定用顔画像と、前記左側光源の点灯に応じて撮影した単独判定用顔画像とをそれぞれ取得し、前記制御手段は、各前記単独判定用顔画像に基づいて前記視線の状態を判定する、ことを特徴とする。
本発明に係る監視システムは、搭乗者の視線の状態を精度よく監視することができる、という効果を奏する。
図１は、実施形態に係る監視システムが適用される車両の室内の概略構成を示す模式図である。 図２は、実施形態に係る監視システムの概略構成を示すブロック図である。 図３は、実施形態に係る監視システムの制御装置の第１点灯制御の一例を示すフローチャート図である。 図４は、実施形態に係る監視システムの制御装置の第２点灯制御の一例を示すフローチャート図である。 図５は、実施形態に係る監視システムの制御措置の視線状態判定の一例を示すフローチャート図である。 図６は、実施形態に係る監視システムの右側光源点灯時の状態の一例を示す模式図である。 図７は、実施形態に係る監視システムの左側光源点灯時の状態の一例を示す模式図である。 図８は、実施形態に係る監視システムの顔画像の分割及び合成を説明するための模式図である。 図９は、実施形態に係る監視システムの右側光源点灯時の状態の他の一例を示す模式図である。 図１０は、実施形態に係る監視システムの左側光源点灯時の状態の他の一例を示す模式図である。 図１１（ａ）及び図１１（ｂ）は、実施形態に係る監視システムの単独判定用顔画像の一例を示す模式図である。
以下に、本発明に係る監視システムの実施形態について図面を参照しつつ詳細に説明する。なお、下記実施形態により本発明が限定されるものではない。下記実施形態における構成要素には、当業者が容易に想定できるもの、あるいは実質的に同一のものが含まれる。また、下記実施形態における構成要素は、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。
［実施形態］
本発明の実施形態に係る監視システムについて図１〜図１１を参照して説明する。監視システム１は、図１に示すように、自動車等の車両１００に搭載され、当該車両１００の座席１０２に着座した搭乗者１０１の視線の状態を監視し、搭乗者１０１に対する様々な処理を行うものである。視線の状態とは、目の開閉（まばたき）を含めた目の状態を意味する。搭乗者１０１は、監視システム１による監視の対象者であり、例えば車両１００の運転者である。本実施形態の搭乗者１０１は、眼鏡１０１ｃを着用しているものとする。なお、本実施形態では、車両１００は、自動車である場合について説明するが、例えば、バス、電車等であってもよい。
監視システム１は、図２に示すように、右側光源１１Ｒと、左側光源１１Ｌと、カメラ１３と、制御手段としての制御装置１５とを備える。監視システム１は、車両１００内のバッテリ（不図示）等から受電して動作する。
右側光源１１Ｒ及び左側光源１１Ｌは、カメラ１３を上下方向から視た場合にカメラ１３を挟んで左右方向に配置され、搭乗者１０１の顔１０１ａに光を照射する一対の光源である。右側光源１１Ｒ及び左側光源１１Ｌは、それぞれが近赤外線を出射する光源であり、例えば近赤外ＬＥＤ（近赤外発光ダイオード）等で構成される。右側光源１１Ｒ及び左側光源１１Ｌは、それぞれが車両１００の座席１０２に着座した搭乗者１０１の顔を照明する。右側光源１１Ｒ及び左側光源１１Ｌは、例えば、車両１００のインストルメントパネル（不図示）内に設置される。
右側光源１１Ｒは、信号線１７を介して制御装置１５に電気的に接続されており、制御装置１５からの点灯信号または消灯信号に応じて点灯または消灯する。左側光源１１Ｌは、信号線１８を介して制御装置１５に電気的に接続されており、制御装置１５からの点灯信号または消灯信号に応じて点灯または消灯する。右側光源１１Ｒ及び左側光源１１Ｌは、それぞれがカメラ１３の撮影タイミングに併せて発光するように、制御装置１５により制御される。ここでいう発光とは、制御装置１５から順に出力された点灯信号、消灯信号に応じて、光源（右側光源１１Ｒ及び左側光源１１Ｌ）が点灯から消灯に状態変化するものを意味する。
カメラ１３は、車両１００の搭乗者１０１の顔１０１ａを連続して撮影して顔画像を取得するものである。カメラ１３は、照明光として可視光線と赤外光線との双方による撮影が可能なカメラである。カメラ１３は、例えば、図８に示すように、右側光源１１Ｒの点灯に応じて撮影した第１の顔画像３１、左側光源１１Ｌの点灯に応じて撮影した第２の顔画像３３をそれぞれ取得することができる。また、カメラ１３は、図１１に示すように、右側光源１１Ｒの点灯に応じて撮影した単独判定用顔画像３９、左側光源１１Ｌの点灯に応じて撮影した単独判定用顔画像４０をそれぞれ取得することができる。カメラ１３は、信号線１９を介して制御装置１５に接続されており、一定のタイミングで連続して撮影した複数の顔画像を制御装置１５に出力する。カメラ１３は、制御装置１５から受信する制御信号に応じて、撮影を行う。カメラ１３は、搭乗者１０１の座席１０２から正面方向に設置されており、例えば、車両１００のインストルメントパネル（不図示）内に設置される。カメラ１３の撮影間隔は、一般的なまばたきの速さ（例えば１００〜１５０ｍｓｅｃ）を考慮して設定されることが好ましく、例えば１５ｍｓｅｃとする。なお、カメラ１３の撮影間隔は、これに限定されるものではない。
制御装置１５は、監視システム１の各部を統括的に制御する部分である。制御装置１５は、搭乗者１０１の顔１０１ａの視線状態の監視や車両１００の各部を制御するための各種の演算処理を実行する。制御装置１５は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の中央演算処理装置、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）及びインターフェースを含む周知のマイクロコンピュータを主体とする電子回路を含んで構成される。制御装置１５は、カメラ１３で取得された複数の顔画像を用いて、搭乗者１０１の目１０１ｂの開閉を含む視線の状態を判定し、当該判定結果に基づいて車両制御を行うものである。制御装置１５は、カメラ１３から複数の顔画像を入力する。制御装置１５は、複数の顔画像のうち、第１の顔画像３１と、第１の顔画像３１が取得された時点の直近に取得された第２の顔画像３３とに基づいて視線の状態を判定する。制御装置１５は、点灯制御部２１と、顔認識部２２と、顔向き判定部２３と、顔画像分割部２４と、顔画像合成部２５と、視線状態判定部２６と、警告部２７とを含んで構成される。なお、これらは制御装置１５が有する機能の一部であり、この他に、車両１００の各部を制御するための機能を有していてもよい。
点灯制御部２１は、点灯制御手段の一例であり、右側光源１１Ｒと左側光源１１Ｌとを、カメラ１３の撮影ごとに交互に点灯させる機能を有する。点灯制御部２１は、右側光源１１Ｒを点灯させる場合には、右側光源１１Ｒに点灯信号を出力し、左側光源１１Ｌを点灯させる場合には、左側光源１１Ｌに点灯信号を出力する。点灯制御部２１は、右側光源１１Ｒ及び左側光源１１Ｌの両方を点灯させる場合、右側光源１１Ｒ及び左側光源１１Ｌの両方に点灯信号を出力する。また、点灯制御部２１は、右側光源１１Ｒを消灯させる場合には、右側光源１１Ｒに消灯信号を出力し、左側光源１１Ｌを消灯させる場合には、左側光源１１Ｌに消灯信号を出力する。点灯制御部２１は、右側光源１１Ｒ及び左側光源１１Ｌの両方を消灯させる場合、右側光源１１Ｒ及び左側光源１１Ｌの両方に消灯信号を出力する。点灯制御部２１は、カメラ１３の撮影に連動して点灯信号、消灯信号を右側光源１１Ｒ及び左側光源１１Ｌに対して出力する。すなわち、右側光源１１Ｒの点灯に応じて撮影された第１の顔画像３１と、左側光源１１Ｌの点灯に応じて撮影された第２の顔画像３３とに基づいて視線の状態を判定することから、点灯制御部２１は、カメラ１３の撮影ごとに交互に右側光源１１Ｒと左側光源１１Ｌとに対して点灯信号と消灯信号とを連続して出力する。
顔認識部２２は、カメラ１３から入力された顔画像を解析して、特徴点（例えば、顔の輪郭、目や鼻、口の形及び位置、眼鏡の有無）を抽出する。顔認識方法としては、例えば、主成分分析を使った固有顔、線形判別分析、弾性バンチグラフマッチング、隠れマルコフモデル、ニューロン動機づけによるダイナミックリンク照合などの周知の顔認識アルゴリズムを使用するとよい。顔認識部２２は、抽出した特徴点を顔向き判定部２３に出力する。なお、顔認識部２２は、抽出した特徴点に基づいて、予め登録された顔画像と照合して、登録された人物か否かを判定するように構成されていてもよい。
顔向き判定部２３は、顔向き判定手段の一例であり、顔画像を用いて搭乗者１０１の顔１０１ａの向きを判定する機能を有する。顔向き判定部２３は、顔認識部２２により抽出された特徴点に基づいて、顔画像に含まれる搭乗者１０１の顔１０１ａの向きがカメラ１３に対して正対しているか否か、すなわち顔１０１ａの向きが正面を向いているか否かを判定することができる。また、顔向き判定部２３は、カメラ１３から入力された顔画像を解析して、顔画像に含まれる搭乗者１０１の顔１０１ａの向きがカメラ１３から視て右方向に回転しているか否か、すなわち顔１０１ａの向きが右側を向いているか否かを判定することができる。さらに、顔向き判定部２３は、カメラ１３から入力された顔画像を解析して、顔画像に含まれる搭乗者１０１の顔１０１ａの向きがカメラ１３から視て左方向に回転しているか否か、すなわち顔１０１ａの向きが左側を向いているか否かを判定することができる。
顔画像分割部２４は、顔画像分割手段の一例であり、搭乗者１０１の顔１０１ａの向きがカメラ１３から視て正対していると判定された場合、第１の顔画像３１を、右側光源１１Ｒと対向する搭乗者の右顔側の第１の右顔画像３１Ｒと、右側光源１１Ｒからの距離が搭乗者１０１の右顔側より遠い左顔側の第１の左顔画像３１Ｌとに分割する機能を有する。また、顔画像分割部２４は、搭乗者１０１の顔１０１ａの向きがカメラ１３から視て正対していると判定された場合、第２の顔画像３３を、左側光源１１Ｌと対向する搭乗者１０１の左顔側の第２の左顔画像３３Ｌと、左側光源１１Ｌからの距離が搭乗者１０１の左顔側より遠い右顔側の第２の右顔画像３３Ｒとに分割する機能を有する。
顔画像合成部２５は、顔画像合成手段の一例であり、第１の左顔画像３１Ｌと第２の右顔画像３３Ｒとを合成して１つの顔画像を作成する機能を有する。制御装置１５は、図８に示すように、顔画像合成部２５により合成された合成顔画像３５に基づいて視線の状態を判定し、当該判定結果に基づいて搭乗者１０１に対して警告等を行う。
視線状態判定部２６は、制御手段の一例であり、第１の顔画像と、第１の顔画像が取得された時点の直近に取得された第２の顔画像とに基づいて視線の状態を判定する機能を有する。視線状態判定部２６は、図１１に示すように、右側光源１１Ｒの点灯に応じて撮影した単独判定用顔画像３９及び左側光源１１Ｌの点灯に応じて撮影した単独判定用顔画像４０に基づいて搭乗者１０１の視線の状態を判定する。制御装置１５は、カメラ１３で取得された複数の単独判定用顔画像３９，４０を用いて視線の状態を判定し、当該判定結果に基づいて搭乗者１０１に対して警告等を行う。
警告部２７は、制御手段の一例であり、搭乗者１０１に対して警告を行う機能を有する。警告部２７は、例えば警告音を発したり、座席１０２を振動させたりして搭乗者１０１に注意を促す。なお、警告部２７による警告方法は、これらに限定されるものではなく、搭乗者１０１に対して注意を促すものであれば、例えば臭いを発するものであってもよいし、電気的または物理的な衝撃を与えるものであってもよい。
次に、監視システム１における第１点灯制御について図３を参照して説明する。
ステップＳ１では、顔向き判定部２３は、顔の向きが正対しているか否かを判定する。顔向き判定部２３は、例えば、カメラ１３で取得された顔画像を用いて搭乗者１０１の顔１０１ａの向きがカメラ１３に対して正対している状態か否かを判定する。顔１０１ａの向きが正対していない場合には、ステップＳ８の第２点灯制御処理に移行する。一方、顔１０１ａの向きが正対している場合には、ステップＳ２〜ステップＳ７の第１点灯制御処理に移行する。
ステップＳ２では、点灯制御部２１は、図６に示すように、右側光源１１Ｒを点灯させる。右側光源１１Ｒは、点灯制御部２１による点灯信号を制御装置１５から受信すると点灯状態となる。
ステップＳ３では、カメラ１３は、右側光源１１Ｒにより照明された搭乗者１０１の顔１０１ａを撮影して顔画像を取得し、当該顔画像のデータを制御装置１５に対して出力する。
ステップＳ４では、点灯制御部２１は、右側光源１１Ｒを消灯させる。右側光源１１Ｒは、点灯制御部２１による消灯信号を制御装置１５から受信すると消灯状態となる。
ステップＳ５では、点灯制御部２１は、図７に示すように、左側光源１１Ｌを点灯させる。左側光源１１Ｌは、点灯制御部２１による点灯信号を制御装置１５から受信すると点灯状態となる。
ステップＳ６では、カメラ１３は、左側光源１１Ｌにより照明された搭乗者１０１の顔１０１ａを撮影して顔画像を取得し、当該顔画像のデータを制御装置１５に対して出力する。
ステップＳ７では、点灯制御部２１は、左側光源１１Ｌを消灯させる。左側光源１１Ｌは、点灯制御部２１による消灯信号を制御装置１５から受信すると消灯状態となり、ステップＳ１に戻る。
次に、監視システム１における第２点灯制御について図４を参照して説明する。本処理は、図３のステップＳ８の第２点灯制御処理である。
ステップＳ１１では、顔向き判定部２３は、顔の向きが右方向に回転しているか否かを判定する。顔向き判定部２３は、例えば、カメラ１３で取得された顔画像を用いて搭乗者１０１の顔１０１ａの向きがカメラ１３から視て右方向に回転しているか否かを判定する。顔向き判定部２３は、図１０に示すように、顔１０１ａの向きが右方向に回転していると判定した場合は、ステップＳ１２に進む。一方、顔１０１ａの向きが右方向に回転していないと判定した場合は、ステップＳ１５に進む。
ステップＳ１２では、点灯制御部２１は、上記ステップＳ５と同様に、左側光源１１Ｌを点灯させる。左側光源１１Ｌは、点灯制御部２１による点灯信号を制御装置１５から受信すると点灯状態となる。
ステップＳ１３では、カメラ１３は、上記ステップＳ６と同様に、左側光源１１Ｌにより照明された搭乗者１０１の顔１０１ａを撮影して顔画像を取得し、当該顔画像のデータを制御装置１５に対して出力する。
ステップＳ１４では、点灯制御部２１は、上記ステップＳ７と同様に、左側光源１１Ｌを消灯させる。左側光源１１Ｌは、点灯制御部２１による消灯信号を制御装置１５から受信すると消灯状態となり、本処理を終了してリターンする。
ステップＳ１５では、顔向き判定部２３は、顔の向きが左方向に回転しているか否かを判定する。顔向き判定部２３は、例えば、カメラ１３で取得された顔画像を用いて搭乗者１０１の顔１０１ａの向きがカメラ１３から視て左方向に回転しているか否かを判定する。顔向き判定部２３は、図９に示すように、顔１０１ａの向きが右方向に回転していると判定した場合は、ステップＳ１６に進む。一方、顔１０１ａの向きが左方向に回転していないと判定した場合は、本処理を終了してリターンする。
ステップＳ１６では、点灯制御部２１は、上記ステップＳ２と同様に、右側光源１１Ｒを点灯させる。右側光源１１Ｒは、点灯制御部２１による点灯信号を制御装置１５から受信すると点灯状態となる。
ステップＳ１７では、カメラ１３は、上記ステップＳ３と同様に、右側光源１１Ｒにより照明された搭乗者１０１の顔１０１ａを撮影して顔画像を取得し、当該顔画像のデータを制御装置１５に対して出力する。
ステップＳ１８では、点灯制御部２１は、上記ステップＳ４と同様に、右側光源１１Ｒを消灯させる。右側光源１１Ｒは、点灯制御部２１による消灯信号を制御装置１５から受信すると消灯状態となり、本処理を終了してリターンする。
次に、監視システム１の視線状態の判定処理について図５、図８を参照して説明する。
ステップＳ２２では、顔向き判定部２３は、顔の向きが正対しているか否かを判定する。顔向き判定部２３は、例えば、カメラ１３で取得された顔画像を用いて搭乗者１０１の顔１０１ａの向きがカメラ１３に対して正対している状態か否かを判定する。顔１０１ａの向きが正対していない場合には、ステップＳ２６に移行する。一方、顔１０１ａの向きが正対している場合には、ステップＳ２３に移行する。
ステップＳ２３では、顔画像分割部２４は、図８に示すように、第１の顔画像３１を、右側光源１１Ｒと対向する搭乗者１０１の右顔側の第１の右顔画像３１Ｒと、右側光源１１Ｒからの距離が搭乗者１０１の右顔側より遠い左顔側の第１の左顔画像３１Ｌとに分割する。第１の顔画像３１は、顔の中心線３１ａを挟んで第１の右顔画像３１Ｒと第１の左顔画像３１Ｌとに分割される。本実施形態の第１の顔画像３１は、例えば、右側光源１１Ｒが眼鏡１０１ｃの右側レンズに映り込んでしまい、搭乗者１０１の右目の視線方向が正確に把握できない状態にあるものとする。
ステップＳ２４では、顔画像分割部２４は、図８に示すように、第２の顔画像３３を、左側光源１１Ｌと対向する搭乗者１０１の左顔側の第２の左顔画像３３Ｌと、左側光源１１Ｌからの距離が搭乗者１０１の左顔側より遠い右顔側の第２の右顔画像３３Ｒとに分割する。第２の顔画像３３は、顔の中心線３３ａを挟んで第２の右顔画像３３Ｒと第２の左顔画像３３Ｌとに分割される。本実施形態の第２の顔画像３３は、例えば、左側光源１１Ｌが眼鏡１０１ｃの左側レンズに映り込んでしまい、搭乗者１０１の左目の視線方向が正確に把握できない状態にあるものとする。
次に、ステップＳ２５では、顔画像合成部２５は、ステップＳ２３で分割された第１の左顔画像３１Ｌと、ステップＳ２４で分割された第２の右顔画像３３Ｒとを合成して１つの顔画像を作成する。
ステップＳ２６では、視線状態判定部２６は、ステップＳ２５にて顔画像合成部２５により作成された顔画像に基づいて、搭乗者１０１の視線の状態を判定する。視線状態判定部２６は、例えば、搭乗者１０１の目１０１ｂが閉じられている頻度が高い場合、搭乗者１０１がいねむりをしていると推定することができる。
ステップＳ２７では、警告部２７は、ステップＳ２６にて判定された視線の状態に基づいて、搭乗者１０１に所定の方法で警告を行って本処理を終了する。例えば、警告部２７は、警告音を鳴らして搭乗者１０１に注意を促す。
以上説明したように、本実施形態に係る監視システム１は、カメラ１３を上下方向から視た場合にカメラ１３を挟んで左右方向に配置され、搭乗者１０１の顔１０１ａに対して光を照射する一対の右側光源１１Ｒ及び左側光源１１Ｌを備え、右側光源１１Ｒと左側光源１１Ｌとを、カメラ１３の撮影ごとに交互に点灯させる。カメラ１３は、右側光源１１Ｒの点灯に応じて撮影した第１の顔画像３１と、左側光源１１Ｌの点灯に応じて撮影した第２の顔画像３３とをそれぞれ取得する。制御装置１５は、第１の顔画像３１と、第１の顔画像３１が取得された時点の直近に取得された第２の顔画像３３とに基づいて視線の状態を判定する。
本実施形態に係る監視システム１は、例えば眼鏡のレンズに光源が映り込んでいない側の顔の視線の状態を判定することができ、眼鏡１０１ｃを着用した搭乗者１０１であっても目１０１ｂの状態を精度よく監視することができる。従来、眼鏡を着用した搭乗者の顔を２つの光源を同時に発光して撮影した場合、眼鏡の各レンズに光源が映り込んで目の撮影が阻害され、得られた顔画像からドライバの視線の状態を識別できず、搭乗者の視線の状態を監視することが困難な場合がある。そこで、右側光源１１Ｒの点灯に応じて撮影した第１の顔画像３１と、左側光源１１Ｌの点灯に応じて撮影した第２の顔画像３３とを取得し、第１の顔画像３１と、第１の顔画像３１が取得された時点の直近に取得された第２の顔画像３３とに基づいて視線の状態を判定する。これにより、眼鏡を着用している搭乗者の視線の状態を監視する場合であっても、眼鏡のレンズの一方に光源が映り込んでいない顔画像を取得することが可能となり、当該顔画像が時系列に沿って複数あることで、搭乗者の視線の経時的変化を判定することができる。この結果、従来のシステム構成を変更することなく、監視精度を向上させることができる。また、従来は、２つの光源から搭乗者の顔に照射される光を偏光板を通して縮小させていたが、当該偏光板が不要となるので、部品コストを低く抑えることができる。この偏光板は、赤外線照明の放射強度（顔に照射する光の強さ）を下げてしまうことから、必要な放射強度を得るために光源のＬＥＤの個数が増えたり、ＬＥＤの消費電流値が上がったりしていたが、偏光板が不要となるので、部品コストをより低く抑えることができる。
また、本実施形態に係る監視システム１は、顔画像分割部２４が、搭乗者１０１の顔１０１ａの向きがカメラ１３から視て正対していると判定された場合、第１の顔画像３１を、右側光源１１Ｒと対向する搭乗者１０１の右顔側の第１の右顔画像３１Ｒと、右側光源１１Ｒからの距離が搭乗者１０１の右顔側より遠い左顔側の第１の左顔画像３１Ｌとに分割し、第２の顔画像３３を、左側光源１１Ｌと対向する搭乗者１０１の左顔側の第２の左顔画像３３Ｌと、左側光源１１Ｌからの距離が搭乗者１０１の左顔側より遠い右顔側の第２の右顔画像３３Ｒとに分割する。顔画像合成部２５は、第１の左顔画像３１Ｌと第２の右顔画像３３Ｒとを合成して１つの合成顔画像３５を作成する。制御装置１５は、顔画像合成部２５で作成された合成顔画像３５に基づいて視線の状態を判定する。上記構成により、作成された合成顔画像３５を用いて視線の状態を判定することができ、眼鏡１０１ｃを着用した搭乗者１０１であっても目１０１ｂの状態を精度よく監視することができる。
また、本実施形態に係る監視システム１は、点灯制御部２１が、搭乗者１０１の顔の向きがカメラ１３から視て右方向に回転していると判定された場合には、左側光源１１Ｌを点灯させ、搭乗者１０１の顔１０１ａの向きがカメラ１３から視て左方向に回転していると判定された場合には、右側光源１１Ｒを点灯させる。カメラ１３は、右側光源１１Ｒの点灯に応じて撮影した単独判定用顔画像３９と、左側光源１１Ｌの点灯に応じて撮影した単独判定用顔画像４０とをそれぞれ取得する。制御装置１５は、各単独判定用顔画像３９，４０に基づいて視線の状態を判定する。上記構成により、搭乗者１０１の顔１０１ａの向きに応じて、点灯させる光源を制御し、各光源の点灯に応じて撮影した顔画像を用いて視線の状態を判定するので、眼鏡のレンズに光源が映り込んでいない状態の顔画像を用いて視線の状態を判定することができる。この結果、眼鏡１０１ｃを着用した搭乗者１０１であっても目１０１ｂの状態を精度よく監視することができる。
上記実施形態では、搭乗者１０１の顔１０１ａの向きがカメラ１３から視て正対していると判定された場合、顔画像合成部２５で作成された合成顔画像３５に基づいて視線の状態を判定しているが、これに限定されるものではない。例えば、各顔画像を左顔画像と右顔画像とに分割することなく、第１の顔画像３１及び第２の顔画像３３に基づいて視線の状態を判定してもよい。すなわち、眼鏡を着用した搭乗者の顔を撮影した場合、顔の向きがカメラから視て正対しているときであっても、必ずしも眼鏡のレンズに光源が映り込むとは限らないことから、第１の顔画像３１及び第２の顔画像３３の各顔画像における搭乗者１０１の両目の視線の状態を判定してもよい。これにより、顔画像を分割して合成する処理が不要となり、視線状態の判定処理に要する時間を短縮することができる。
また、各顔画像を第１の左顔画像３１Ｌと第１の右顔画像３１Ｒ、第２の左顔画像３３Ｌと第２の右顔画像３３Ｒとに分割し、分割した各顔画像に基づいて視線の状態を判定してもよい。例えば、第１の左顔画像３１Ｌ及び第２の左顔画像３３Ｌの各左顔画像における搭乗者１０１の片目の視線の状態を判定してもよいし、第１右顔画像３１Ｒ及び第２右顔画像３３Ｒの各右顔画像における搭乗者１０１の片目の視線の状態を判定してもよい。これにより、顔画像を合成する処理が不要となり、視線状態の判定処理に要する時間を短縮することができる。
上記実施形態では、監視システム１は、搭乗者１０１の眼鏡１０１ｃの着用有無にかかわらず、右側光源１１Ｒと左側光源１１Ｌとを、カメラ１３の撮影ごとに交互に点灯させているが、これに限定されるものではない。例えば、搭乗者１０１の眼鏡１０１ｃの着用有無に応じて、右側光源１１Ｒ及び左側光源１１Ｌの点灯方法を異なるようにしてもよい。具体的には、搭乗者１０１が眼鏡１０１ｃを着用していない場合には、カメラ１３の撮影ごとに右側光源１１Ｒ及び左側光源１１Ｌを同時に発光させ、搭乗者１０１が眼鏡１０１ｃを着用している場合には、右側光源１１Ｒと左側光源１１Ｌとを、カメラ１３の撮影ごとに交互に点灯させる。これにより、搭乗者１０１が眼鏡１０１ｃを着用していない場合、搭乗者１０１の顔１０１ａを均等に照明することができ、撮影により得られた顔画像における不要な影の発生を抑止して、搭乗者１０１の視線の状態を精度よく監視することができる。ここで搭乗者１０１が眼鏡１０１ｃを着用しているか否かを判定する方法として、例えばカメラ１３から得られた顔画像を解析する方法が挙げられる。
１ 監視システム
１１Ｒ 右側光源
１１Ｌ 左側光源
１３ カメラ
１５ 制御装置
２１ 点灯制御部
２２ 顔認識部
２３ 顔向き判定部
２４ 顔画像分割部
２５ 顔画像合成部
２６ 視線状態判定部
２７ 警告部
３１ 第１の顔画像
３１Ｒ 第１の右顔画像
３１Ｌ 第１の左顔画像
３１ａ，３３ａ 顔の中心線
３３ 第２の顔画像
３３Ｒ 第２の右顔画像
３３Ｌ 第２の左顔画像
３５ 合成顔画像
３９，４０ 単独判定用顔画像
１００ 車両
１０１ 搭乗者
１０１ａ 顔
１０１ｂ 目
１０１ｃ 眼鏡
１０２ 座席

Claims (1)

  1. 車両の搭乗者の顔を連続して撮影して顔画像を取得するカメラと、
    前記カメラを上下方向から視た場合に前記カメラを挟んで左右方向に配置され、前記搭乗者の顔に光を照射する一対の右側光源及び左側光源と、
    前記右側光源と前記左側光源とを、前記カメラの撮影ごとに交互に点灯させる点灯制御手段と、
    前記カメラで取得された複数の顔画像を用いて、少なくとも前記搭乗者の目の開閉を含む視線の状態を判定し、当該判定結果に基づいて車両制御を行う制御手段と、を備え、
    前記カメラは、
    前記右側光源の点灯に応じて撮影した第１の顔画像と、前記左側光源の点灯に応じて撮影した第２の顔画像とをそれぞれ取得し、
    前記制御手段は、
    前記第１の顔画像と、前記第１の顔画像が取得された時点の直近に取得された前記第２の顔画像とに基づいて前記視線の状態を判定し、
    前記顔画像を用いて前記搭乗者の顔の向きを判定する顔向き判定手段と、
    前記搭乗者の顔の向きが前記カメラから視て正対していると判定された場合、前記第１の顔画像を、前記右側光源と対向する前記搭乗者の右顔側の第１の右顔画像と、前記右側光源からの距離が前記搭乗者の右顔側より遠い左顔側の第１の左顔画像とに分割し、かつ前記第２の顔画像を、前記左側光源と対向する前記搭乗者の左顔側の第２の左顔画像と、前記左側光源からの距離が前記搭乗者の左顔側より遠い右顔側の第２の右顔画像とに分割する顔画像分割手段と、
    前記第１の左顔画像と前記第２の右顔画像とを合成して１つの顔画像を作成する顔画像合成手段と、さらに備え、
    前記制御手段は、
    前記顔画像合成手段で作成された顔画像に基づいて前記視線の状態を判定し、
    前記点灯制御手段は、
    前記搭乗者の顔の向きが前記カメラから視て右方向に回転していると判定された場合には、前記左側光源を点灯させ、前記搭乗者の顔の向きが前記カメラから視て左方向に回転していると判定された場合には、前記右側光源を点灯させ、
    前記カメラは、
    前記右側光源の点灯に応じて撮影した単独判定用顔画像と、前記左側光源の点灯に応じて撮影した単独判定用顔画像とをそれぞれ取得し、
    前記制御手段は、
    各前記単独判定用顔画像に基づいて前記視線の状態を判定する、
    ことを特徴とする監視システム。
JP2018209418A 2018-11-07 2018-11-07 監視システム Active JP6894880B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018209418A JP6894880B2 (ja) 2018-11-07 2018-11-07 監視システム
EP19206113.3A EP3650991B8 (en) 2018-11-07 2019-10-30 Monitoring system
US16/675,132 US10963718B2 (en) 2018-11-07 2019-11-05 Monitoring system
CN201911070848.0A CN111160081B (zh) 2018-11-07 2019-11-05 监控系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018209418A JP6894880B2 (ja) 2018-11-07 2018-11-07 監視システム

Publications (2)

Publication Number Publication Date
JP2020075596A JP2020075596A (ja) 2020-05-21
JP6894880B2 true JP6894880B2 (ja) 2021-06-30

Family

ID=68392863

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018209418A Active JP6894880B2 (ja) 2018-11-07 2018-11-07 監視システム

Country Status (4)

Country Link
US (1) US10963718B2 (ja)
EP (1) EP3650991B8 (ja)
JP (1) JP6894880B2 (ja)
CN (1) CN111160081B (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019004692B3 (de) * 2019-07-03 2020-11-12 Daimler Ag Vorrichtung und Verfahren zur Ermittlung von Bilddaten der Augen, von Augenpositionen und/oder einer Blickrichtung eines Fahrzeugnutzers in einem Fahrzeug
US11921917B2 (en) 2020-04-07 2024-03-05 Eyetech Digital Systems, Inc. Compact eye-tracking camera systems and methods
US10996753B1 (en) * 2020-04-07 2021-05-04 Eyetech Digital Systems, Inc. Multi-mode eye-tracking with independently operable illuminators
US12002290B2 (en) 2022-02-25 2024-06-04 Eyetech Digital Systems, Inc. Systems and methods for hybrid edge/cloud processing of eye-tracking image data
GB2618078A (en) * 2022-04-25 2023-11-01 Continental Automotive Tech Gmbh An image processing method for removal of glare spots and system for the same

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7777778B2 (en) * 2004-10-27 2010-08-17 Delphi Technologies, Inc. Illumination and imaging system and method
JP2008094221A (ja) * 2006-10-11 2008-04-24 Denso Corp 目状態検出装置および目状態検出装置の取り付け方法
JP4356733B2 (ja) * 2006-11-09 2009-11-04 アイシン精機株式会社 車載用画像処理装置とその制御方法
KR100936334B1 (ko) * 2008-06-11 2010-01-12 현대자동차주식회사 얼굴 검출 시스템
JP5206190B2 (ja) * 2008-07-17 2013-06-12 トヨタ自動車株式会社 ドライバー監視装置
JP2010244156A (ja) * 2009-04-02 2010-10-28 Toyota Motor Corp 画像特徴量検出装置及びこれを用いた視線方向検出装置
JP2016032257A (ja) * 2014-07-30 2016-03-07 株式会社デンソー ドライバ監視装置
DE102014118387A1 (de) 2014-12-12 2016-06-16 Valeo Schalter Und Sensoren Gmbh Erfassungsvorrichtung zum Erkennen einer Geste und/oder einer Blickrichtung eines Insassen eines Kraftfahrzeugs durch synchrone Ansteuerung von Leuchteinheiten, Bedienanordnung, Kraftfahrzeug sowie Verfahren
CN104834381B (zh) * 2015-05-15 2017-01-04 中国科学院深圳先进技术研究院 用于视线焦点定位的可穿戴设备及视线焦点定位方法
JP2017068385A (ja) * 2015-09-28 2017-04-06 京セラ株式会社 撮像装置、および監視システム
DE102016215766A1 (de) * 2016-08-23 2018-03-01 Robert Bosch Gmbh Verfahren und Vorrichtung zum Betreiben einer Innenraumkamera

Also Published As

Publication number Publication date
CN111160081B (zh) 2023-07-18
EP3650991B8 (en) 2023-07-05
US10963718B2 (en) 2021-03-30
CN111160081A (zh) 2020-05-15
JP2020075596A (ja) 2020-05-21
EP3650991B1 (en) 2023-05-31
EP3650991A1 (en) 2020-05-13
US20200143189A1 (en) 2020-05-07

Similar Documents

Publication Publication Date Title
JP6894880B2 (ja) 監視システム
JP6338701B2 (ja) 瞬間的な眠りを検出するデバイス、方法およびコンピュータプログラム
US10521683B2 (en) Glare reduction
EP1986129B1 (en) Face image capturing apparatus
JP3214195B2 (ja) 運転者撮影装置
JP4853389B2 (ja) 顔画像撮像装置
CN109791739A (zh) 晕车估计装置、晕车防止装置和晕车估计方法
JP2021501517A (ja) 低照明光条件下での物体追跡における信号対雑音比を向上させるためのシステム及び方法
US11442300B2 (en) Vehicle mounted virtual visor system and method thereof
US10604063B2 (en) Control device for vehicle headlight
JP2006248363A (ja) 運転者照明装置、運転者撮影装置および運転者監視装置
JP2002352229A (ja) 顔部位検出装置
KR20130097671A (ko) 촬상 제어 장치 및 컴퓨터 독출 가능 저장 매체
JP6201956B2 (ja) 視線検出装置および視線検出方法
JP6957048B2 (ja) 眼部画像処理装置
JP2006151287A (ja) 車両用照明装置
US20220234594A1 (en) Monitoring system and non-transitory storage medium
EP3362308A1 (en) Method for examining a perception of a visual warning notice by a vehicle user, driver assistance system and motor vehicle
JP2021527980A (ja) 高フレームレート画像前処理システム及び方法
JP2022149287A (ja) ドライバ監視装置、ドライバ監視方法及びドライバ監視用コンピュータプログラム
KR101694785B1 (ko) 졸음 운전 방지 시스템
JP2022100538A (ja) 生体情報取得装置
JP2023083837A (ja) 乗員モニタリングシステム用撮影装置及び乗員モニタリングシステム
US20230196799A1 (en) Detecting a Moving Object in the Passenger Compartment of a Vehicle
US20230342891A1 (en) An image processing method for removal of glare spots and system for the same

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200117

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201002

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210601

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210604

R150 Certificate of patent or registration of utility model

Ref document number: 6894880

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250