JP7138168B2 - 低照明光条件下での物体追跡における信号対雑音比を向上させるためのシステム及び方法 - Google Patents

低照明光条件下での物体追跡における信号対雑音比を向上させるためのシステム及び方法 Download PDF

Info

Publication number
JP7138168B2
JP7138168B2 JP2020523296A JP2020523296A JP7138168B2 JP 7138168 B2 JP7138168 B2 JP 7138168B2 JP 2020523296 A JP2020523296 A JP 2020523296A JP 2020523296 A JP2020523296 A JP 2020523296A JP 7138168 B2 JP7138168 B2 JP 7138168B2
Authority
JP
Japan
Prior art keywords
drive current
image
brightness
current pulse
imaging system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020523296A
Other languages
English (en)
Other versions
JP2021501517A (ja
Inventor
ジョン ノーブル
Original Assignee
シーイング マシーンズ リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from AU2017904419A external-priority patent/AU2017904419A0/en
Application filed by シーイング マシーンズ リミテッド filed Critical シーイング マシーンズ リミテッド
Publication of JP2021501517A publication Critical patent/JP2021501517A/ja
Application granted granted Critical
Publication of JP7138168B2 publication Critical patent/JP7138168B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/02—Illuminating scene
    • G03B15/03—Combinations of cameras with lighting apparatus; Flash units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2215/00—Special procedures for taking photographs; Apparatus therefor
    • G03B2215/05—Combinations of cameras with electronic flash units
    • G03B2215/0564—Combinations of cameras with electronic flash units characterised by the type of light source
    • G03B2215/0567—Solid-state light source, e.g. LED, laser
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/16—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly in accordance with both the intensity of the flash source and the distance of the flash source from the object, e.g. in accordance with the "guide number" of the flash bulb and the focusing of the camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Eye Examination Apparatus (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

本発明は、照明システム、特に、変動する照明特性を有する画像における被験者の眼又は頭部を追跡するための方法及びシステムに関する。いくつかの実施形態が、その応用を特に参照してここに説明される一方、本発明はそのような使用領域に限定されず、より広い状況において適用可能であるということが理解される。
本明細書を通して、背景技術についてのいかなる議論も、そのような技術が、その分野において広く知られている又は共通の一般的知識の部分を構成するということを容認すると、決してみなされるべきではない。
頭部及び眼追跡システムは、車両運転者監視、パイロット訓練監視、及び市場調査における消費者の視線の追跡を含むさまざまな応用で使用されている。これらのシステムは、被験者の画像を取り込み、眼を含む、画像の顔の特徴を識別し、連続した画像にわたる被験者の注視を追跡するために、１つ以上のカメラを使用することを含む。被験者の眼を検出するために、１つ以上の光源、典型的にはＬＥＤが、画像取り込み中に被験者の顔を照らすために使用される。眼追跡（eye tracking）システムの例が、エドワードらへの、シーイングマシーンズリミテッドに譲渡された、「顔画像処理システム」とのタイトルの米国特許7,043,056号（以下では「エドワードら」）に開示されている。
眼追跡システムは、通常の動作条件下ではかなり堅牢であり得る。しかし、被験者がカメラから大きく離れているとき、又は被験者の眼がカメラの視野から部分的に遮られるようになると、システムはしばしば動作しなくなる。被験者の眼がカメラの視野から部分的に遮られるようになる例は、被験者が、大きなグレアが存在する場合に（例えばコンバーチブル車両内で）メガネを掛けているとき、又は濃いサングラスを掛けているときである。これらの状況においては、画像の信号対雑音比が低くなり過ぎて、被験者の眼を画像内の周囲の物体から正確に区別することができない。雑音成分がとりわけイメージセンサの暗電流雑音、環境から眼への反射、環境からメガネレンズへの反射、ＬＥＤからメガネレンズへの反射、及び動きブレを含む一方、信号対雑音比は、信号成分としての目に見える眼の特徴を含むと考えられ得る。
眼追跡が動作しなくなるこれらのシナリオは極めてありふれているので、眼追跡システムの堅牢性を向上させて、より広範囲にわたり絶え間のない眼の追跡をさまざまな環境条件の範囲にわたって提供することが望まれている。
本発明の第１局面によると、被験者の画像を取り込むための１つ以上のカメラと、前記１つ以上のカメラによる画像取り込み中に、前記被験者を選択的に照明するように構成された１つ以上の発光ダイオード（ＬＥＤ）と、前記被験者の１つ以上の追跡パラメータを求めるため、及び、前記画像の１つ以上の照明特性を求めるために、取り込まれた前記画像の少なくともサブセットを処理するように構成されたプロセッサと、前記１つ以上のＬＥＤの前記駆動電流振幅及びパルス時間を制御するためのＬＥＤ制御信号を、前記１つ以上のＬＥＤに送信するように構成され、以前に取り込まれた１つ又は複数の画像の求められた前記照明特性に基づいて前記駆動電流及びパルス時間を選択的に調整するコントローラとを備える撮像システムが提供される。
いくつかの実施形態において、前記コントローラは、以前に取り込まれた１つ又は複数の画像の求められた前記照明特性に基づいて、前記１つ以上のカメラのイメージセンサ露出時間を制御するように構成されてもいる。
いくつかの実施形態において、前記コントローラは、以前に取り込まれた１つ又は複数の画像の求められた前記照明特性に基づいて、前記１つ以上のカメラのイメージセンサゲイン値を制御するように構成されてもいる。
好ましくは、前記ＬＥＤ駆動電流パルス時間は、前記イメージセンサ露出時間に基づいて求められる。より好ましくは、前記駆動電流振幅は、前記ＬＥＤ駆動電流パルス時間から、前記ＬＥＤ駆動電流振幅と前記ＬＥＤ駆動電流パルス時間との間の予め定義された関係に基づいて求められる。
いくつかの実施形態において、前記コントローラは、前記１つ以上のＬＥＤの製造者によって規定された予め定義されたパルス操作曲線に従って、前記駆動電流振幅及びパルス時間を選択的に調整する。好ましくは、前記パルス操作曲線は、所与のデューティサイクル用の、前記駆動電流振幅とパルス時間との間の非線形の関係を含む。
いくつかの実施形態において、取り込まれた画像の前記照明特性は、前記取り込まれた画像の明るさの測定値を含む。一実施形態において、前記明るさの測定値は、前記取り込まれた画像内の各ピクセルの平均ピクセル輝度を含む。
いくつかの実施形態において、システムは前記被験者の一方又は両方の眼を撮像するように構成されている。
いくつかの実施形態において、前記取り込まれた画像の少なくともサブセットの処理は、前記被験者の眼の周りの局所的な領域に対応する眼ピクセル領域を求めることを含む。いくつかの実施形態において、前記照明特性は、前記眼ピクセル領域の明るさの測定値を含む。一実施形態において、前記明るさの測定値は、前記眼ピクセル領域内のピクセルの平均ピクセル輝度を含む。一実施形態において、前記照明特性は、前記眼ピクセル領域内のピクセルのコントラストの測定値を含む。
いくつかの実施形態において、前記取り込まれた画像の少なくともサブセットの処理は、前記被験者に装着されたサングラスの検出を含む。これらの実施形態において、前記照明特性は、前記サングラスの濃さ又は反射率の測定値を含む。
いくつかの実施形態において、前記プロセッサは、複数の以前に取り込まれた画像の眼ピクセル領域内の対応するピクセルのピクセル値を、以前に取り込まれた１つ又は複数の画像の求められた前記照明特性に基づいて積分するように更に構成される。
本発明の第２局面によると、
ａ）１つ以上のカメラを制御して被験者の画像を取り込むためのカメラ制御信号を生成することと、
ｂ）１つ以上の発光ダイオード（ＬＥＤ）を制御して前記１つ以上のカメラによる画像取り込み中に前記被験者を選択的に照明するためのＬＥＤ制御信号であって、前記１つ以上のＬＥＤの少なくとも駆動電流振幅及びパルス時間を制御する、ＬＥＤ制御信号を生成することと、
ｃ）前記画像の１つ以上の照明特性を求めるために前記取り込まれた画像の少なくともサブセットを処理することと、
ｄ）求められた前記照明特性に基づいて、前記１つ以上のＬＥＤの前記駆動電流振幅及びパルス時間を選択的に調整することと
を含む撮像方法が提供される。
いくつかの実施形態において、前記方法は、求められた前記照明特性に基づいて、前記１つ以上のカメラのイメージセンサ露出時間を選択的に調整するステップを含む。
いくつかの実施形態において、前記方法は、求められた前記照明特性に基づいて、前記１つ以上のカメラのイメージセンサゲイン値を選択的に調整するステップを含む。
好ましくは、前記ＬＥＤ駆動電流パルス時間は、前記イメージセンサ露出時間に基づいて求められる。より好ましくは、前記駆動電流振幅は、前記ＬＥＤ駆動電流パルス時間から、前記ＬＥＤ駆動電流振幅と前記ＬＥＤ駆動電流パルス時間との間の予め定義された関係に基づいて求められる。
いくつかの実施形態において、前記駆動電流振幅及びパルス時間は、前記１つ以上のＬＥＤの製造者によって規定された予め定義されたパルス操作曲線に従って、選択的に調整される。好ましくは、前記パルス操作曲線は、所与のデューティサイクル用の、前記駆動電流振幅とパルス時間との間の非線形の関係を含む。
いくつかの実施形態において、取り込まれた画像の前記照明特性は、前記取り込まれた画像の明るさの測定値を含む。一実施形態において、前記明るさの測定値は、前記取り込まれた画像内の各ピクセルの平均ピクセル輝度を含む。
いくつかの実施形態において、前記方法は、前記被験者の一方又は両方の眼を撮像するように構成されている。これらの実施形態において、前記方法は、ｃ）ii）前記被験者の一方又は両方の眼の１つ以上の眼追跡パラメータを求めるステップを含み得る。
前記方法は、ｅ）前記被験者の一方又は両方の眼の１つ以上の眼追跡パラメータを出力するステップも含み得る。
いくつかの実施形態において、前記取り込まれた画像の少なくともサブセットを処理するステップは、前記被験者の眼の周りの局所的な領域に対応する眼ピクセル領域を求めることを含む。いくつかの実施形態において、前記照明特性は、前記眼ピクセル領域の明るさの測定値を含む。一実施形態において、前記明るさの測定値は、前記眼ピクセル領域内のピクセルの平均ピクセル輝度を含む。いくつかの実施形態において、前記照明特性は、前記眼ピクセル領域内のピクセルのコントラストの測定値を含む。
いくつかの実施形態において、前記取り込まれた画像の少なくともサブセットを処理するステップは、前記被験者に装着されたサングラスの検出を含む。これらの実施形態において、前記照明特性は、前記サングラスの濃さ又は反射率の測定値を含む。
いくつかの実施形態において、ステップｄ）は、
i. 明るさの測定値を目標明るさと比較すること
を含む。
一実施形態において、
ステップｄ）は、
ii. もし前記明るさの測定値が前記目標明るさより小さいなら、
ＬＥＤ駆動電流振幅を選択的に減少させながら、ＬＥＤ駆動電流パルス時間を選択的に増加させること
を更に含む。
一実施形態において、ステップｄ）は、
iii. もし前記明るさの測定値が前記目標明るさより大きいなら、
ＬＥＤ駆動電流振幅を選択的に増加させながら、ＬＥＤ駆動電流パルス時間を選択的に減少させること
を更に含む。
いくつかの実施形態において、前記１つ以上のＬＥＤの駆動電流振幅及びパルス時間を調整する量は、前記明るさの測定値と目標明るさとの間の差に依存する。一実施形態において、前記駆動電流振幅及びパルス時間の調整の量は、複数の将来の画像にわたって漸増的に適用される。
いくつかの実施形態において、前記方法は、以前に取り込まれた１つ又は複数の画像の前記求められた照明特性に基づいて、複数の以前に取り込まれた画像の眼ピクセル領域内の対応するピクセルのピクセル値を積分することによって、積分画像を生成するステップと、前記被験者の眼の１つ以上の眼追跡パラメータを求めるために、前記積分画像を処理するステップとを含む。
一実施形態において、前記積分画像を生成するために使用される以前に取り込まれた画像の数は、以前に取り込まれた１つ又は複数の画像の前記求められた照明特性に依存する。
本発明の第３局面によると、
１つ以上のＬＥＤによる照明の下で被験者の画像を取り込むことと、
画像の照明条件を求めることと、
前記照明条件を基準照明条件と比較することと、
前記比較に基づいて、１つ以上のＬＥＤの前記駆動電流振幅及びパルス時間の一方又は両方を、既定のパルス操作曲線に従って、ＬＥＤ出力電力又はパルス時間におけるＬＥＤ出力エネルギーを増加させるように選択的に調整することと
を含む、撮像システムにおいて１つ以上のＬＥＤを制御する方法が提供される。
本発明の第４局面によると、
ａ）物体の画像を取り込むカメラを制御することと、
ｂ）前記１つ以上のカメラによる画像キャプチャ中に前記物体を選択的に照明するために１つ以上のＬＥＤを制御することと、
ｃ） 前記物体の周りの局所的な領域に対応する物体ピクセル領域、
前記物体の１つ以上の眼追跡パラメータ、及び、
前記物体ピクセル領域の１つ以上の照明特性
を求めるために少なくとも前記取り込まれた画像のサブセットを処理することと、
ｄ）以前に取り込まれた１つ又は複数の画像の求められた照明特性に基づいて、複数の以前に取り込まれた画像の物体ピクセル領域内の対応するピクセルのピクセル値を組み合わせることによって合成画像を生成すること
ｅ）前記物体の１つ以上の物体追跡パラメータを求めるために前記合成画像を処理することと
を含む、物体追跡方法が提供される。
いくつかの実施形態において、前記合成画像は、以前に取り込まれた１つ又は複数の画像の求められた照明特性に基づいて、複数の以前に取り込まれた画像の物体ピクセル領域内の対応するピクセルのピクセル値を積分することによって形成される。
いくつかの実施形態において、前記合成画像は、以前に取り込まれた１つ又は複数の画像の求められた照明特性に基づいて、複数の以前に取り込まれた画像の物体ピクセル領域内の対応するピクセルのピクセル値を平均することによって形成される。前記照明特性は、前記物体ピクセル領域の明るさの測定値を含み得る。
いくつかの実施形態において、前記合成画像を生成するために使用される以前に取り込まれた画像の数は、前記求められた照明特性に基づいて求められる。他の実施形態において、前記合成画像を生成するために使用される以前に取り込まれた画像の数は、前記画像内の動きブレの検出レベルに基づいて求められる。
好ましくは、前記物体は被験者の一方又は両方の眼であり、前記物体ピクセル領域は、眼ピクセル領域である。
本開示の好ましい実施形態が、添付の図面を参照して、例としてのみ、ここに説明される。
図１は、本発明の実施形態による撮像システムを示す、車両の内部の透視図である。 図２は、図１の眼追跡システム及び運転者の前方視野を示す、図１の車両の運転者の透視図である。 図３は、図１及び２の眼追跡システムの概略機能図である。 図４は、本発明の実施形態による撮像方法を示す処理フロー図である。 図５は、デューティサイクル５％及び１０％の例としてのＬＥＤパルス操作曲線を示すグラフである。 図６は、ＬＥＤの駆動電流振幅及び／又はパルス時間を選択的に調整する処理におけるサブステップを示す処理フロー図である。 図７は、カメラシャッタ時間調整のＬＥＤ駆動電流調整との図式化された比較である。 図８は、カメラのセンサ利得及び露出時間に加えて、ＬＥＤの駆動電流振幅及び／又はパルス時間を選択的に調整する処理におけるステップを示す処理フロー図である。 図９は、追跡の堅牢性を向上させるための多数フレームの統合又は平均化を利用する撮像方法におけるステップを示す処理フロー図である。
システムの概要
本発明は、好ましくは物体の追跡に使用するための照明システム及び方法に関する。本発明は、車両の運転者の眼の追跡を行うために車両内で使用するための眼追跡システムを特に参照して説明される。しかし、本発明は、車両内における、及び航空機、車両又は航空機シミュレータ、航空交通管制設備及び消費者の意識を監視するシナリオのような他のシナリオにおける、被験者の眼、頭及び他の特性を追跡することに適用可能であるということが理解される。
最初に図１及び２を参照すると、車両１０４の運転者１０２の眼を追跡するための眼追跡システム１００が示されている。システム１００は、車両のダッシュボードの計器の上又は中に配置され、赤外領域の波長で運転者１０２の眼の画像を取り込む赤外線カメラ１０６を含む。発光ダイオード（ＬＥＤ）１０８及び１１０の形の水平方向に間隔を空けた２つの赤外ＬＥＤが、カメラ１０６による画像取り込み中に運転者の顔を赤外照射で選択的に照明するために、カメラ１０６について対称に配置されている。いくつかの実施形態において、ＬＥＤ１０８及び１１０は、指向性のあるフィラメントライト又は蛍光灯のような他のタイプの光源で置き換えられ得る。赤外領域での動作は、運転者の気が散ることを抑制する。間隔の空いた２つのＬＥＤを使用することは、「グレア低減」という表題のシーイングマシーンズリミテッドに譲渡されたＰＣＴ特許出願公開WO 2016/131075に記載されているように、グレア効果の減少を可能にする異なる角度での照明を行う。代替の実施形態において、システム１００は、グレアが存在するときに潜在的な性能の低下という犠牲を払って単一の赤外照明装置のみを使用して、又は２つより多くのＬＥＤを使用して、動作することが可能であるということが理解される。
カメラ１０６は、好ましくは、赤外領域で電磁放射を検出するように構成されたイメージセンサを有する２次元カメラである。他の実施形態において、カメラ１０６は、深度検出能力を有する単一の２次元カメラ、又はステレオ構成で動作し、正確な深度に校正された同様のカメラの対によって置き換えられ得る。カメラ１０６は赤外波長領域で撮像するように好ましくは構成されるが、代替の実施形態において、カメラ１０６は可視領域で撮像し得るということが理解される。以下で説明されるように、本発明において、カメラ１０６は、感光ピクセルの２次元アレイを使用するイメージセンサを含む。
図３に示されているように、システムコントローラ１１２は、システム１００のための中心となるプロセッサとして働き、以下に説明されるような多数の機能を実行するように構成される。コントローラ１１２は、車両５のダッシュボードの中に配置され、車両のオンボードコンピュータに接続、又はそれと一体化され得る。他の実施形態において、コントローラ１１２は、カメラ１０６並びにＬＥＤ１０８及び１１０とともに筐体又はモジュール内に配置され得る。筐体又はモジュールは、アフターマーケット製品として販売され、車両のダッシュボードに取り付けられ、その後その車両内での使用のために調整されることができる。フライトシミュレータのような更なる実施形態において、コントローラ１１２は、パーソナルコンピュータのような外部コンピュータ又はユニットであり得る。
コントローラ１１２は、コンピュータ処理装置の任意の形態、又は、例えばレジスタ及び／若しくはメモリからの電子データを処理して、その電子データを例えばレジスタ及び／若しくはメモリに格納され得る他の電子データに変換する装置の部分の任意の形態として、実現され得る。図２に示されているように、コントローラ１１２は、マイクロプロセッサ１１４と、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、電子的消去可能なプログラマブルリードオンリーメモリ（ＥＥＰＲＯＭ）、及び当業者に直ちに明らかな他の同等のメモリ又は記憶システムのようなメモリ１１６に格納された実行コードとを含む。
コントローラ１１２のマイクロプロセッサ１１４は、視覚プロセッサ１１８と、デバイスコントローラ１２０とを含む。視覚プロセッサ１１８及びデバイスコントローラ１２０は、マイクロプロセッサ１１４によって実行される機能要素を表す。しかし、代替の実施形態において、視覚プロセッサ１１８及びデバイスコントローラ１２０は、カスタム回路又は特化した回路とともにフィールドプログラマブルゲートアレイ又はマイクロプロセッサのような分離したハードウェアとして実現され得る、ということが理解される。
視覚プロセッサ１１８は、取り込まれた画像を処理してモニタリング環境内での運転者５の３次元注視位置を求めるように構成される。これを達成するために、視覚プロセッサ１１８は、１つ以上の、眼の注視測定アルゴリズムを利用する。これは、例として、エドワードらに記載されている方法を含む。視覚プロセッサ１１８は、閉眼及び運転者の頭部の動きの追跡のような、運転者５の特質を求めることを含む他のさまざまな機能も行い得る。未処理の画像データ、注視位置データ及び視覚プロセッサ１１８によって取得された他のデータは、メモリ１１６に格納される。
デバイスコントローラ１２０は、カメラ１０６を制御し、カメラ１０６の露出時間と同期してＬＥＤ１０８及び１１０を選択的に駆動するように構成される。ＬＥＤ１０８及び１１０は、好ましくはデバイスコントローラ１２０に電気的に接続されるが、ブルートゥース（商標）又はＷｉＦｉ（商標）通信のような無線通信を通してコントローラ１２０によって無線で制御もされ得る。
車両１０４の運転中に、デバイスコントローラ１２０は、運転者１０２の顔の画像をビデオシーケンスで取り込むためにカメラ１０６を駆動する。ＬＥＤ１０８及び１１０は、カメラ１０６によって取り込まれた画像の交互のフレームと同期して動作する、動作しないを交互に行い、画像取り込み中に運転者を照明する。デバイスコントローラ１２０及び視覚プロセッサ１１８は、連携して動作して、運転者の画像の取り込み及び処理を行い、車両１０４の通常の運転中の眠気、注意及び注視点のような運転者状態情報を取得する。
システム１００は、明るい及び暗い状況、並びに、運転者が濃い又は反射するサングラスを装着しているときを含むさまざまな照明の状況において動作する。本発明は、システム１００の堅牢性を向上させてこれらのさまざまな照明の状況において動作させるために、ＬＥＤ１０８及び１１０を制御することに関する。
ＬＥＤ制御処理
本発明において、システム１００は、頭部、顔特徴及び眼の追跡のような物体検出及び追跡の点で、取り込まれた画像の信号対雑音比（ＳＮＲ）を高くするために、アクティブＬＥＤ制御を行うように構成される。眼追跡の文脈において、ＳＮＲの適切な信号成分は、運転者の眼の画像特徴の強さ又は視認性のことを意味し、これらはシステム１００によって識別され、追跡されるべき特徴であるからである。ＳＮＲの雑音成分は、環境からの周囲の明るさ（例えば太陽）、眼又は運転者によって装着されたサングラス上の環境からの反射、及び暗い状況において目立つイメージセンサの暗電流雑音のような、望まれていない信号成分を含む。本発明者は、照明ＬＥＤの非線形動作は、さまざまな照明状況の下でＳＮＲを増加又は最大化するのに影響を与えられ得るということを突き止めた。例えば、明るい太陽がある状況において、明るさ及び反射率が支配的な雑音源となる場合に、ＬＥＤは、瞬時出力電力又は放射照度を最大化し、かつ、パルス持続時間を最小化するように制御され得る。運転者が濃いサングラスを装着しているときのような暗い画像の状況においては、ＬＥＤは、動きブレの限度内でパルス持続時間を増加させることによってエネルギーを最大化するように制御され得る。
この動作を達成するために、システム１００は、図４に示されているような眼追跡方法４００を実行する。ステップ４０１において、デバイスコントローラ１２０は、運転者の一方又は両方の眼の画像を取り込むためにカメラ１０６を制御するカメラ制御信号を生成する。カメラ制御信号は、カメラのイメージセンサの露出時間及びイメージセンサのゲイン値のようなパラメータを含む。いくつかの実施形態において、デバイスコントローラ１２０は、残留光又は背景光の検出レベルに基づいて適切なイメージセンサ露出時間を求める自動露出アルゴリズムを実行する。カメラ制御信号は、画像解像度及びフレームレートのような他のパラメータも含み得る。
ステップ４０２において、デバイスコントローラ１０２は、カメラ１０６による画像取込み中に被験者の眼を選択的に照明するために、ＬＥＤ１０８及び１１０を制御する発光ダイオード（ＬＥＤ）制御信号を生成する。ＬＥＤ制御信号は、１つ以上のＬＥＤの少なくとも駆動電流振幅及びパルス時間を制御する。ＬＥＤの製造者は、過度の熱による損傷を避けるためにＬＥＤの制御限界を規定する。これらの制御限界は、図５に示されているような「パルス操作曲線」を通して規定されることが多い。設計の鍵となる変数は、駆動電流、パルス持続時間及びデューティサイクルである。パルス操作曲線は、効率的なデバイス動作のためのこれらの鍵となる駆動パラメータ間の既定の関係を表す。各デューティサイクルの曲線は、特に、ＬＥＤの型、周囲温度、及びＬＥＤに組み込まれた設計の熱的性能を考慮する必要がある。もしＬＥＤがパルス操作曲線によって既定された制約の外で動作させられるなら、ＬＥＤの予想寿命は短くなる。
本発明において、ＬＥＤ１０８及び１１０の駆動電流振幅及びパルス時間は、撮像システムのＳＮＲを増加させるために動的に制御される。ＬＥＤの駆動電流振幅及びパルス時間が制御される方法が、以下で詳細に説明される。
ステップ４０３において、取り込まれた画像の少なくとも一部が、画像の１つ以上の照明特性を求めるために視覚プロセッサ１１８によって処理される。このステップは、画像の明るさの測定値（measure）のような照明特性を求めることを含む。例として、一実施形態において、明るさを示す照明特性は、取り込まれた画像内の各ピクセルの平均ピクセル輝度（intensity）、又は複数の過去の画像にわたる平均を含む。他の例は、運転者の眼の周りのピクセルの局所的な領域に対応する眼ピクセル領域を最初に求め、その次にその眼ピクセル領域の明るさの測定値を得ることを含む。明るさの測定値は、眼の領域内のピクセルの平均ピクセル輝度、又は複数の過去に取り込まれた画像にわたる眼の領域のピクセルの平均であり得る。これは、１つの眼に、又は両方の眼に独立して行われ得る。照明特性は、明るさの代わりとして、眼ピクセル領域内のピクセルのコントラストの測定値も含み得る。いくつかの実施形態において、運転者の眼が識別され得る場合には、眼ピクセル領域の平均ピクセル輝度が使用されるが、眼が識別され得ない場合には、画像全体の平均ピクセル輝度が使用される。
ステップ４０３は、エドワードらにおいて行われたような眼の検出及び視線決定アルゴリズムを実行することによって、被験者の眼の１つ以上の眼追跡パラメータを求めることも含み得る。これらのアルゴリズムは、眼ピクセル領域を求めるために使用され得る。眼追跡パラメータは、画像内の２次元の眼の位置、閉瞼、視線方向及び注視点を含む。眼追跡パラメータは、頭部の位置及び向きのような頭部姿勢の測定値も含み得る。もし追跡される物体が被験者の頭部又は他の顔の造作であるなら、これらの特徴の検出及び追跡の作業工程はステップ４０３で行われる。
この処理は、取り込まれた画像のそれぞれ、又は２画像毎のような一部に対して行われ得る。いくつかの状況においては、眼が正確に識別され得ず、これらの画像は、捨てられ、又は眼が特定され得ないということを示すフラグと共に格納される。
いくつかの実施形態において、ステップ４０３での処理は、運転者１０２上のサングラスの検出を含む。これらの実施形態においては、照明特性は、サングラスの濃さ又は反射率の測定値を含む。
ステップ４０４においては、求められた照明特性に基づいて、ＬＥＤ１０８及び１１０の駆動電流振幅及び／又はパルス時間が選択的に調節される。これらの調節されたパラメータはＬＥＤ制御信号に適用され、ＬＥＤ制御信号は、次の画像取り込みの間、ＬＥＤに適用される。
ステップ４０４は、図６に示されたような多数のサブステップを含む。サブステップ４０４Ａにおいて、ステップ４０３で求められた画像又は眼ピクセル領域の測定された明るさが、画像全体又は眼ピクセル領域の平均ピクセル輝度のような、目標明るさと比較される。比較は、露出誤差として測定され得、露出の絞り（exposure stop）に換算して表され得る。露出の絞りは、センサによって受け取られる光の量を２倍又は半分にするのに必要な、カメラのシャッター及びセンサのパラメータを決定する写真技術における２の累乗の尺度である。例えば、現在の明るさが目標明るさの半分であるなら、現在の明るさは露出の１絞りだけ増加させられるべきである。
サブステップ４０４Ｂにおいて、現在の明るさの値が目標明るさより小さいかそれとも大きいかについて、決定がされる。サブステップ４０４Ｂにおいて、もし現在の明るさの値が目標明るさより小さいなら、サブステップ４０４Ｃにおいて、ＬＥＤ駆動電流振幅が選択的に減少させられるのに対して、ＬＥＤ駆動電流パルス時間が選択的に増加させられ、より長い光パルスを全体の光エネルギーを増加させて提供する。サブステップ４０４Ｂにおいて、もし現在の明るさの値が目標明るさより大きいなら、サブステップ４０４Ｄにおいて、ＬＥＤ駆動電流振幅が選択的に増加させられるのに対して、ＬＥＤ駆動電流パルス時間が選択的に減少させられ、より短くより強力な光パルスを生成する。よって、ＬＥＤ１０８及び１１０は、明るい条件では電力を増加又は最大化し、暗い条件では出力エネルギーを増加又は最大化するように駆動され得る。最後に、ステップ４０４Ｅでは、それに続く画像取り込みの間の照明のために、ＬＥＤ制御信号において新たなパラメータがＬＥＤ１０８及び１１０に適用される。
ＬＥＤのパラメータが調整される量は、目標明るさを持つ明るさ値とパルス操作曲線によって決定されるＬＥＤの実際の制御限界との間の差に依存する。図５を再び参照して、もしＬＥＤ駆動電流振幅が２．４Ａに増加されるべきであるとデバイスコントローラ１２０が決定するなら、ＬＥＤが５％のデューティサイクルで駆動される場合、ＬＥＤ駆動電流パルス時間は、デバイス操作要求に適合するために最大３ｍｓに減少させられるべきである。よって、ＬＥＤ駆動電流パルス時間及び駆動電流振幅の動的制御は、ＬＥＤの既定のパルス操作曲線の関係に基づいて行われる。
デバイスコントローラ１２０によって決定される駆動電流振幅及び／又はパルス時間の調整の量は、一様な増加において適用される必要はない。いくつかの実施形態において、複数の将来の画像にわたって、求められたパラメータ調整を漸増的に適用することが好ましい。パラメータを漸増的に調整する量は、ダンピングファクターによって求められ得る。そのようなダンピングファクターは、明るさの値と目標明るさとの間の差に基づいて変化し得て、システムが大きな明るさの差にすばやく適応することを可能にする。ダンピングファクターは、システムの力学がフレームレートに対して不変であるように、タイムスタンプを使用し得る。
以下で説明されるように、ＬＥＤ制御は、好ましくはカメラ１０６の制御とともに行われる。これは、イメージセンサ露出時間（又はシャッター時間）とカメラ１０６のイメージセンサのゲイン値との両方を制御することを含む。例として、もし、ステップ４０４Ｂにおいて、画像の明るさが閾値より低いと判定されるなら、デバイスコントローラ１２０は、カメラのシャッター時間を所定値だけ増加させる。デバイスコントローラ１２０は、増加したカメラのシャッター時間に適合させるために、ＬＥＤ駆動電流パルス時間の調整もする。所与のデューティサイクル用のパルス操作曲線（例えば図５）に基づいて、ＬＥＤ駆動電流は、そのＬＥＤ駆動電流パルス時間の最大許容値に調整される。例としてのシナリオが図７に示されている。ここで、フレーム１において、ＬＥＤは、４Ａの駆動電流振幅で駆動され、シャッター時間は１．５ｍｓに設定され、ＬＥＤ駆動電流パルス時間はシャッター時間に合わせられる。画像が暗すぎると判定された後、フレーム２において、次の画像の明るさを増加させるために、シャッター時間は３ｍｓに増加させられる。ＬＥＤ駆動電流パルス時間は、その新たなシャッター時間に合わせるために調整される。５％のデューティサイクル用のＬＥＤパルス操作曲線内に保つために、ＬＥＤ駆動電流振幅は２．４Ａに減少させられる。イメージセンサのゲインは、ステップ４０４で行われる明るさの比較に基づいて、同様に動的に調整され得る。カメラパラメータへのこれらの調整は、カメラ制御信号を通して後続の画像に適用される。
いま図８を参照すると、必要なカメラパラメータを最初に計算することに基づいてステップ４０４を行い、それに続いてカメラパラメータの制約に基づいてＬＥＤパラメータを調整する代替方法８００が示されている。方法８００はデバイスコントローラ１２０によって行われる。
ステップ８０１において、ステップ４０３で測定された明るさと目標明るさとの間の露出の絞りの段数に関係する露出誤差が求められる。例えば、求められた明るさが目標明るさの半分であるなら、露出誤差は－１である。露出誤差は、次の式、すなわち、
露出誤差 ＝ log2（現在のピクセル輝度／目標ピクセル輝度） （式１）
から計算され得る。
上述のように、ピクセル輝度は、画像全体のピクセルの平均輝度、又は画像内の眼ピクセル領域のピクセルの平均輝度に関係し得る。
ステップ８０２において、ダンピングファクターが求められる。このダンピングファクターは、カメラパラメータ（センサ露出時間及びセンサゲイン）及びＬＥＤパラメータへの調整が行われる後続の画像フレームの数を決定する。ダンピングファクターは、露出制御の更新の不安定な振動を防止するために使用される。例えば、ダンピング（damping）は、カメラセンサの露出時間又はシャッター時間が、現在値と、現在のシーンで目標の明るさを達成する値との間である程度まで調整される、という結果となる。ダンピングファクターは、露出誤差に基づいて変わり、システムが大きな露出誤差にすばやく適応できるようにする。ダンピングファクターは、システムの動力学がフレームレートに対して不変であるように、タイムスタンプも使用する。ダンピングファクターは、次の式、すなわち、
Figure 0007138168000001
（式２）
から計算され得る。
ここで、ｎは０から予め定義された最大ダンピング値までの範囲にあり、誤差スケーリングファクターは、
Figure 0007138168000002
（式３）
として表される。
ステップ８０３において、現在の画像の明るさが目標明るさより大きい又は小さいかどうかについて判定される。これは上述の式１の符号によって判定される。正の露出誤差は現在の明るさが目標明るさより大きいことを意味するのに対し、負の露出誤差は現在の明るさが目標明るさより小さいことを意味する。その後の処理フローは、現在の明るさが目標明るさより暗いか明るいかに応じて２つの分枝に分けられる。
もし現在の明るさが目標明るさより小さいなら（負の露出誤差－センサの暗電流雑音が支配する）、ステップ８０４において、動きブレの限度に基づいて、シャッター時間（イメージセンサの露出時間）がその最大値であるかどうかについて判定がされる。もしシャッター時間が最大値であると判定されると、更なる増加はできず、ステップ８０５において、現在の明るさを目標レベルに増加させる適切なイメージセンサゲインレベルが求められる。もしシャッター時間がその使用可能な最大値より小さいと判定されると、ステップ８０６において、現在の明るさを目標レベルに増加させる適切なより長いシャッター時間が求められる。この求められたシャッター時間に基づいて、ＬＥＤ１０８及び１１０の対応する駆動電流パルス時間が新たなシャッター時間に適合するように調整される。最後に、ステップ８０７において、ＬＥＤ駆動電流振幅が、その最大レベルに、図５及び７に示されているようなＬＥＤパルス操作曲線に従って減少させられる。
もし、ステップ８０３において、現在の明るさが目標明るさより大きいなら（正の露出誤差－明るさ／反射雑音が支配する）、ステップ８０８において、イメージセンサゲインが現在、最大レベルにあるかどうかについて判定がなされる。もしイメージセンサゲインがその最大値より小さいなら、ステップ８０９において、現在の明るさを目標レベルに減少させる適切なゲインレベルが求められる。もしイメージセンサゲインがその最大値であるなら、ステップ８１０において、現在の画像明るさを目標レベルに減少させる適切なより短いシャッター時間が求められる。ＬＥＤ１０８及び１１０の対応する駆動電流パルス時間が新たなシャッター時間に適合するように調整される。最後に、ステップ８１１において、ＬＥＤ駆動電流振幅が、その最大レベルに、図５及び７に示されているようなＬＥＤパルス操作曲線に従って増加させられる。
ステップ８０５，８０７，８０９及び８１１でのイメージセンサゲイン、イメージセンサ露出時間（シャッター時間）、ＬＥＤ駆動電流振幅及びＬＥＤ駆動電流パルス時間への調整は、ステップ８０２で求められたダンピングファクターに基づいて、その後の画像にインクリメンタルに行われる。方法８００は、取り込まれた各画像又は取り込まれた画像のサブセットに対して行われ得る。もし、パラメータの漸増的な更新中にシーンの明るさが大きく変化するなら、新たな露出誤差、ダンピングファクター及び対応するパラメータが計算され得る。
図４を再び参照して、ステップ４０５において、その後の画像が新たな照明条件（ＬＥＤ駆動電流振幅及びＬＥＤ駆動電流パルス時間）の下で、対応するカメラパラメータをもって取り込まれる。最後に、ステップ４０６において、運転者の一方又は両方の眼の眼追跡パラメータが出力される。出力されたパラメータは、その後の眼追跡分析のためにメモリ１１６又は独立したデータベースに格納され得る。パラメータは、タイムスタンプとともに、オプションとして元の又は処理された画像とともに、格納され得る。
よって、上述の方法４００は、現在の画像明るさ又は照明条件を評価し、ＬＥＤ駆動電流振幅及び／又は駆動電流パルス時間を調整することによって、眼追跡の間にＬＥＤ１０８及び１１０の動的な制御を行い、眼の視認性を向上させる。
代替実施形態
多くの変更が方法４００に行われ得て、これらが以下に説明される。
いくつかの状況においては、照明条件が、同時に、明るく（高雑音）かつサングラスレンズが非常に暗く（小信号）、単純に上述のようにＬＥＤ及びカメラパラメータを制御することによって眼追跡を行うのに十分なＳＮＲを実現することが可能ではないかもしれない。これらの状況において、眼追跡アルゴリズムに入力されるような多数の連続した眼領域画像を使用するために、視覚プロセッサ１１８が制御され得る。一実施形態においては、複数の以前に取り込まれた画像の眼ピクセル領域内の対応するピクセルのピクセル値を積分することによって積算画像を生成するために、視覚プロセッサ１１８を含む。もし、積分期間中に、眼が画像内で比較的静止したままであるなら、積分は、有用な眼信号成分が一貫して加算されるようにし、一方、よりランダムに分布する雑音成分が一貫性なく加算されるようにし、それによってＳＮＲを向上させる。積分画像は、次に、被験者の眼の１つ以上の眼追跡パラメータを求めるために処理され得る。
一実施形態において、このマルチフレーム積分眼追跡技術は、図９に示された方法９００として行われる。方法９００は、ステップ９０１において、被験者の眼の画像を取り込むために、デバイスコントローラ１２０によってカメラ１０６を制御することを含む。ステップ９０２において、ＬＥＤ１０８及び１１０は、カメラ１０６による画像取り込みの間に被験者の眼を選択的に照明するために、デバイスコントローラ１２０によって制御される。ステップ９０３において、視覚プロセッサ１１８は、
被験者の眼の周りの局所的な領域に対応する眼ピクセル領域、
被験者の眼の眼追跡パラメータ、及び、
眼ピクセル領域の１つ以上の照明特性
を求めるために、取り込まれた画像の少なくともサブセットを処理する。
眼以外の物体が追跡される場合、ピクセル領域は、検出された物体の周りの局所的な領域に関係する。
眼追跡パラメータは、画像内の２次元の眼の位置、閉眼、眼の注視方向及び注視点を含む。照明特性は、眼ピクセル領域内の各ピクセルの平均ピクセル輝度、又は複数の過去の画像にわたる平均という観点での明るさを含み得る。
ステップ９０４において、以前に取り込まれた１つ又は複数の画像の求められた照明特性に基づいて、複数の以前に取り込まれた画像の眼ピクセル領域内の対応するピクセルのピクセル値を組み合わせることによって、合成画像（combined image）が生成される。好ましくは、合成画像は、以前に取り込まれた１つ又は複数の画像の求められた照明特性に基づいて、複数の以前に取り込まれた画像の眼ピクセル領域内の対応するピクセルのピクセル値を積分することによって形成される積分画像（integrated image）を表す。しかし、合成画像は、以前に取り込まれた１つ又は複数の画像の求められた照明特性に基づいて、複数の以前に取り込まれた画像の眼ピクセル領域内の対応するピクセルのピクセル値を平均することによって形成されてもよい。
最後に、ステップ９０５において、合成画像は、被験者の眼の１つ以上の眼追跡パラメータを求めるために視覚プロセッサ１１８によって処理される。
積分画像を生成するために使用される画像の数は、以前に取り込まれた画像の求められた照明特性（例えば明るさ）と撮像されたシーンの動きブレ（例えば運転者の頭の動き）にも基づいて求められ得る。もし積分期間中に眼が静止していないなら、眼の領域は、虹彩、瞳及び眼瞼という眼の特徴のアラインメントを最大にするために、眼若しくは周りの顔からの特徴追跡又はサングラス／メガネを使用してオプションとして位置合わせされ得る。
マルチフレーム積分技術は、追跡アルゴリズム（例えばニューラルネットワーク）への多数の眼の領域の入力として、オプションとして実行され得、追跡アルゴリズムは、追跡の計算中に眼の領域の入力画像内の情報を組み合わせる。
結論
上述のシステム及び方法は、明るさ及び反射が大きい条件のような変化する照明条件下での、並びに暗い条件においての、より堅牢性の高い眼（又は他の物体の）追跡に備える。特に、眼追跡は、顔に強いコントラストが存在するとき、及び、被験者がサングラス又は反射性の高いメガネを装着しているときに、実行され得る。ＬＥＤの厳重な制御は、コスト、サイズ及び熱損失を減少させるという結果ももたらす。
本発明は、ＬＥＤは、非線形応答をし、低駆動電流で電気エネルギーを光に変換するという点でより効率的である、という事実を強化する。この特性を利用して、本発明は、さまざまな照明条件を補償するために駆動電流振幅と駆動電流パルス時間との両方の点で２次元制御を提供する。暗い画像という条件において、ＬＥＤ駆動電流振幅を減少させ、より長いカメラ露出時間にわたって駆動電流パルス時間を増加させることによって、より高い出力光エネルギーが実現される。反対に、明るい画像という条件において、ＬＥＤ駆動電流振幅を増加させ、より短いカメラ露出時間にわたって駆動電流パルス時間を減少させることによって、より高い瞬時光パワーが実現され得る。
結果として、より高い画像品質成果が、従来のＬＥＤ素子及び温度限界でより広い範囲の照明条件にわたって、実現され得る。
解釈
本明細書を通して、「要素」という用語の使用は、単一の単体の構成部分、又は組み合わせられて特定の機能又は目的を成し遂げる構成部分の集合のいずれかを意味することが意図される。
具体的にそうではないと述べない限り、以下の議論から明らかなように、明細書を通して、「処理すること」、「コンピューティングすること」、「計算すること」、「求めること」、「分析すること」等のような語の利用は、例えば電子的な、物理的な量として表されるデータを同様に物理的な量として表される他のデータに操作及び／又は変換する、コンピュータ又はコンピューティングシステム、又は類似の電子計算装置の動作及び／又は処理を指すことが理解されよう。
同様に、「コントローラ」又は「プロセッサ」という語は、例えばレジスタ及び／又はメモリからの、電子データを処理することによって、その電子データを、例えばレジスタ及び／又はメモリに格納され得る、他の電子データに変換する任意の装置又は装置の一部を指し得る。「コンピュータ」又は「コンピューティングマシン」又は「コンピューティングプラットフォーム」は、１つ以上のプロセッサを含み得る。
ここで記載される手法は、ある実施形態では、１つ以上のプロセッサによって実行されたときに、ここで記載された方法のうちの少なくとも１つを実行する一連の命令を含むコンピュータで読み取り可能な（機械読み取り可能なとも呼ばれる）コードを受け入れる、１つ以上のプロセッサによって実行可能である。とられるべき動作を特定する一連の命令（順次の又は他の）を実行できる任意のプロセッサが含まれる。よって、１つの例としては、１つ以上のプロセッサを含む典型的な処理システムがある。それぞれのプロセッサは、１つ以上のＣＰＵ、グラフィックスプロセシングユニット、及びプログラマブルＤＳＰユニットを含み得る。処理システムは、メインＲＡＭ及び／又はスタティックＲＡＭ、及び／又はＲＯＭをさらに含み得る。バスサブシステムが、要素間で通信するために含まれ得る。処理システムは、さらに、ネットワークによって結合されたプロセッサ群を持つ分散化された処理システムであり得る。
ここで用いられるメモリユニットという語は、もし文脈から明らかであり、明示的にそうではないと述べられないなら、ディスクドライブユニットのような記憶システムも包含する。ある構成の処理システムは、サウンド出力デバイス及びネットワークインタフェースデバイスを含み得る。メモリサブシステムは、よって、１つ以上のプロセッサによって実行されたときに、ここで記載された１つ以上の方法を実行させる一連の命令を含むコンピュータ読み取り可能なコード（例えばソフトウェア）を担持するコンピュータ読み取り可能な担持媒体を含む。
この方法がいくつかの要素、例えば、いくつかのステップを含むとき、具体的に述べられない限り、そのような要素の順番付けは暗示されていない。ソフトウェアは、ハードディスク中に常駐し得て、又は、コンピュータシステムによるその実行の間には、完全に又は少なくとも部分的にはＲＡＭ内に及び／又はプロセッサ内に常駐し得る。よって、メモリ及びプロセッサも、コンピュータ読み取り可能なコードを担持するコンピュータ読み取り可能な担持媒体を構成する。
本明細書を通して「１つの実施形態」、「いくつかの実施形態」、又は「ある実施形態」という言い方は、実施形態に関連して記載された特定の特徴、構造、又は特性が、本発明の少なくとも１つの実施形態に含まれることを意味する。よって、本明細書を通してさまざまな箇所に「１つの実施形態において」、「いくつかの実施形態において」、又は「ある実施形態において」という文言が現れることは、必ずしも全てが同一の実施形態を指すのではない。さらに、特定の特徴、構造、又は特性は、本開示から当業者には明らかなように、１つ以上の実施形態において任意の適切なやり方で組み合わせられてもよい。
ここで用いられるように、特にそうではないと述べられない限り、共通の物体を記載するために順序を表す形容詞「第１」、「第２」、「第３」等を用いることは、単に類似の物体の異なる例が参照されることを示すだけであり、そのように記載された物体が、時間的、空間的、序列において、又は任意の他の点において、与えられた順序で存在しなければならないことを示唆するようには意図されていない。
以下の特許請求の範囲及びここでの説明において、備える、備わった、又は備えられているという語のいずれも開放的な語であり、少なくとも後に続く要素／特徴を含むことを意味するのであって、他のものを排除することを意味しない。よって備えるという語は、特許請求の範囲で用いられるときは、その後に列挙された手段又は要素又はステップに限定されるようには解釈されるべきではない。例えば、Ａ及びＢを備える装置という表現の範囲は、要素Ａ及びＢだけからなる装置に限定されるべきではない。ここで使われているように含むという語のいずれもやはり開放的な語であり、その語の後に続く要素／特徴を少なくとも含むということを意味するが、他の物を排除する意味はない。よって含むは、備えると同義であり、備えるという意味である。
本開示の例示的実施形態の上の説明において、本開示のさまざまな特徴は、時として、本開示を効率的にし、１つ以上のさまざまな発明の局面の理解を助けるために、単一の実施形態、図、又はその記載においてまとめられている。しかしこの開示方法は、特許請求の範囲がそれぞれの請求項において明示的に記載されたよりも多くの特徴を要求するという意図を反映するようには解釈されるべきではない。むしろ、以下の特許請求の範囲が反映するように、本発明の局面は、単一の前述の開示された実施形態の全ての特徴よりも少ない所に存する。よって詳細な説明の後の特許請求の範囲は、ここで明示的にこの詳細な説明に援用され、それぞれの請求項は、本開示の別々の実施形態として、それ自身で有効である。
さらに、当業者に理解されるように、ここで記載されたいくつかの実施形態は、いくつかの特徴を含むが、他の実施形態中に含まれる他の特徴は含まないが、異なる実施形態の特徴の組み合わせも本開示の範囲内にあると意図され、異なる実施形態を形成するものと意図される。例えば、以下の特許請求の範囲において、請求された実施形態の任意のものは、任意の組み合わせにおいて用いられ得る。
ここに提供された記載において、多くの具体的な詳細が述べられている。しかし、本開示の実施形態は、これら具体的な詳細なしでも実施され得ることが理解されよう。換言すれば、本記載の理解を不明瞭にさせないために、よく知られた方法、構造、及び技術は詳細には示されていない。
よって、本開示の好ましい実施形態であるべきものが記載されてきたが、他のさらなる改変が本開示の精神から逸脱することなくなされ得て、そのような変更及び改変が本開示の範囲内に入るものとして請求されていると意図されていることが当業者にはわかるだろう。例えば、上で与えられた任意の表現は、用いられ得る手続を代表するものに過ぎない。機能が、ブロック図から追加又は削除されてもよく、操作は、機能ブロック間で相互交換されてもよい。本開示の範囲内で、記載された方法に対してステップが追加又は削除されてもよい。

Claims (16)

  1. シーンの画像を取り込むための１つ以上のカメラと、
    前記１つ以上のカメラによる画像取り込み中に、前記シーンを選択的に照明するように構成された１つ以上の光源と、
    前記シーンの１つ以上の追跡パラメータを求めるため、及び、前記画像の１つ以上の照明特性を求めるために、取り込まれた前記画像の少なくともサブセットの処理をするように構成されたプロセッサと、
    前記１つ以上の光源の駆動電流振幅及び駆動電流パルス時間を制御するための制御信号を、前記１つ以上の光源に送信するように構成され、以前に取り込まれた１つ又は複数の画像の求められた前記照明特性に基づいて前記駆動電流振幅及び前記駆動電流パルス時間を選択的に調整するコントローラと
    を備え、
    前記コントローラは、前記１つ以上のカメラのイメージセンサ露出時間に適合させるために、前記１つ以上の光源の駆動電流パルス時間を制御するように構成されており、
    前記駆動電流振幅は、前記光源の駆動電流振幅と前記光源の駆動電流パルス時間との間の予め定義された関係に基づいて、前記光源の駆動電流パルス時間から求められる
    撮像システム。
  2. 前記コントローラは、以前に取り込まれた１つ又は複数の画像の求められた前記照明特性に基づいて、前記１つ以上のカメラのイメージセンサゲイン値を制御するように構成されてもいる
    請求項１に記載の撮像システム。
  3. 前記光源の駆動電流パルス時間は、前記イメージセンサ露出時間に基づいて求められる
    請求項１に記載の撮像システム。
  4. 前記コントローラは、前記１つ以上の光源の製造者によって規定された予め定義されたパルス操作曲線に従って、前記駆動電流振幅及び前記駆動電流パルス時間を選択的に調整する
    請求項１に記載の撮像システム。
  5. 取り込まれた画像の前記照明特性は、前記取り込まれた画像の明るさの測定値を含む
    請求項１に記載の撮像システム。
  6. 前記明るさの測定値は、前記取り込まれた画像内の各ピクセルの平均ピクセル輝度を含む
    請求項５に記載の撮像システム。
  7. 被験者の一方又は両方の眼を撮像するように構成された
    請求項１に記載の撮像システム。
  8. 前記取り込まれた画像の少なくともサブセットの処理は、前記被験者の眼の周りの局所的な領域に対応する眼ピクセル領域を求めることを含む
    請求項７に記載の撮像システム。
  9. 前記照明特性は、前記眼ピクセル領域の明るさの測定値を含む
    請求項８に記載の撮像システム。
  10. 前記明るさの測定値は、前記眼ピクセル領域内のピクセルの平均ピクセル輝度を含む
    請求項９に記載の撮像システム。
  11. 前記照明特性は、前記眼ピクセル領域内のピクセルのコントラストの測定値を含む
    請求項９に記載の撮像システム。
  12. 前記シーンは被験者を含み、前記取り込まれた前記画像の少なくともサブセットの処理は、被験者に装着されたサングラスの検出を含み、前記照明特性は、前記サングラスの濃さ又は反射率を含む
    請求項１に記載の撮像システム。
  13. ａ）１つ以上のカメラを制御してシーンの画像を取り込むためのカメラ制御信号を生成することと、
    ｂ）１つ以上の光源を制御して前記１つ以上のカメラによる画像取り込み中に前記シーンを選択的に照明するための光源制御信号であって、前記１つ以上の光源の少なくとも駆動電流振幅及び駆動電流パルス時間を制御する、光源制御信号を生成することと、
    ｃ）前記画像の１つ以上の照明特性を求めるために、取り込まれた前記画像の少なくともサブセットを処理することと、
    ｄ）求められた前記照明特性に基づいて、前記１つ以上の光源の前記駆動電流振幅及び前記駆動電流パルス時間を選択的に調整することと
    を含み、
    前記１つ以上のカメラのイメージセンサ露出時間に適合させるために、前記１つ以上の光源の駆動電流パルス時間が制御され、
    前記駆動電流振幅は、前記光源の駆動電流振幅と前記光源の駆動電流パルス時間との間の予め定義された関係に基づいて、前記光源の駆動電流パルス時間から求められる
    撮像方法。
  14. 求められた前記照明特性に基づいて、前記１つ以上のカメラのイメージセンサゲイン値を選択的に調整するステップを含む
    請求項１３に記載の方法。
  15. 前記光源の駆動電流パルス時間は、前記イメージセンサ露出時間に基づいて求められる
    請求項１３に記載の方法。
  16. 前記駆動電流振幅及び前記駆動電流パルス時間は、前記１つ以上の光源の製造者によって規定された予め定義されたパルス操作曲線に従って、選択的に調整される
    請求項１３に記載の方法。
JP2020523296A 2017-10-31 2018-07-27 低照明光条件下での物体追跡における信号対雑音比を向上させるためのシステム及び方法 Active JP7138168B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
AU2017904419A AU2017904419A0 (en) 2017-10-31 System and method for improving signal to noise ratio in eye tracking under poor light conditions
AU2017904419 2017-10-31
PCT/AU2018/050776 WO2019084595A1 (en) 2017-10-31 2018-07-27 System and method for improving signal to noise ratio in object tracking under poor light conditions

Publications (2)

Publication Number Publication Date
JP2021501517A JP2021501517A (ja) 2021-01-14
JP7138168B2 true JP7138168B2 (ja) 2022-09-15

Family

ID=66331179

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020523296A Active JP7138168B2 (ja) 2017-10-31 2018-07-27 低照明光条件下での物体追跡における信号対雑音比を向上させるためのシステム及び方法

Country Status (4)

Country Link
US (1) US11386709B2 (ja)
JP (1) JP7138168B2 (ja)
DE (1) DE112018005191T5 (ja)
WO (1) WO2019084595A1 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9280202B2 (en) 2013-05-10 2016-03-08 Magna Electronics Inc. Vehicle vision system
JP2020148747A (ja) * 2019-03-15 2020-09-17 株式会社リコー 物体検出装置
US11205083B2 (en) 2019-04-02 2021-12-21 Magna Electronics Inc. Vehicular driver monitoring system
JP2023500210A (ja) * 2019-11-07 2023-01-05 シーイング マシーンズ リミテッド 高性能な明瞳孔アイトラッキング
EP3890300B1 (en) * 2020-04-03 2023-01-25 Uav Autosystems Hovering Solutions España, S.L. A self-propelled vehicle
US11465561B2 (en) 2020-04-17 2022-10-11 Magna Mirrors Of America, Inc. Interior rearview mirror assembly with driver monitoring system
US11851080B2 (en) 2021-02-03 2023-12-26 Magna Mirrors Of America, Inc. Vehicular driver monitoring system with posture detection and alert
US11780372B2 (en) 2021-03-01 2023-10-10 Magna Mirrors Of America, Inc. Vehicular driver monitoring system with driver monitoring camera and near IR light emitter at interior rearview mirror assembly
WO2022187805A1 (en) 2021-03-01 2022-09-09 Magna Mirrors Of America, Inc. Interior rearview mirror assembly with driver monitoring system
US11766968B2 (en) 2021-05-18 2023-09-26 Magna Mirrors Of America, Inc. Vehicular interior rearview mirror assembly with video mirror display and VRLC stack
US11930264B2 (en) 2021-05-18 2024-03-12 Magna Electronics Inc. Vehicular driver monitoring system with camera view optimization
CN113490316B (zh) * 2021-06-30 2024-04-12 浙江大华技术股份有限公司 一种补光系统及补光灯
WO2023034956A1 (en) 2021-09-03 2023-03-09 Magna Electronics Inc. Vehicular interior cabin monitoring system with light emitter that is selectively operable for dms and oms functions
SE2250765A1 (en) * 2022-06-22 2023-12-23 Tobii Ab An eye tracking system
US12104952B1 (en) * 2023-10-03 2024-10-01 Pixieray Oy Calibration arrangement, method for calibrating light intensity reading and a system for determining gaze direction

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009116797A (ja) 2007-11-09 2009-05-28 Aisin Seiki Co Ltd 顔画像撮像装置、顔画像撮像方法、及びそのプログラム
JP2013175914A (ja) 2012-02-24 2013-09-05 Denso Corp 撮像制御装置及びプログラム
JP2016532396A (ja) 2013-09-03 2016-10-13 シーイング マシーンズ リミテッド 低電力眼追跡システムおよび眼追跡方法
WO2017017896A1 (ja) 2015-07-29 2017-02-02 京セラ株式会社 画像処理装置、撮像装置、運転者監視システム、移動体、および画像処理方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AUPQ896000A0 (en) 2000-07-24 2000-08-17 Seeing Machines Pty Ltd Facial image processing system
JP2012519276A (ja) * 2009-03-01 2012-08-23 タウ・サイエンス・コーポレーション 固体光源を利用した量子効率高速測定装置
US9430040B2 (en) * 2014-01-14 2016-08-30 Microsoft Technology Licensing, Llc Eye gaze detection with multiple light sources and sensors
US9454699B2 (en) 2014-04-29 2016-09-27 Microsoft Technology Licensing, Llc Handling glare in eye tracking
US9131150B1 (en) * 2014-06-06 2015-09-08 Amazon Technologies, Inc. Automatic exposure control and illumination for head tracking
EP3259734B1 (en) 2015-02-20 2024-07-24 Seeing Machines Limited Glare reduction

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009116797A (ja) 2007-11-09 2009-05-28 Aisin Seiki Co Ltd 顔画像撮像装置、顔画像撮像方法、及びそのプログラム
JP2013175914A (ja) 2012-02-24 2013-09-05 Denso Corp 撮像制御装置及びプログラム
JP2016532396A (ja) 2013-09-03 2016-10-13 シーイング マシーンズ リミテッド 低電力眼追跡システムおよび眼追跡方法
WO2017017896A1 (ja) 2015-07-29 2017-02-02 京セラ株式会社 画像処理装置、撮像装置、運転者監視システム、移動体、および画像処理方法

Also Published As

Publication number Publication date
DE112018005191T5 (de) 2020-06-18
US11386709B2 (en) 2022-07-12
WO2019084595A1 (en) 2019-05-09
US20200327323A1 (en) 2020-10-15
JP2021501517A (ja) 2021-01-14

Similar Documents

Publication Publication Date Title
JP7138168B2 (ja) 低照明光条件下での物体追跡における信号対雑音比を向上させるためのシステム及び方法
RU2453884C1 (ru) Устройство для формирования изображения водителя и способ формирования изображения водителя
US10521683B2 (en) Glare reduction
JP5366028B2 (ja) 顔画像撮像装置
US7819525B2 (en) Automatic direct gaze detection based on pupil symmetry
JP7369184B2 (ja) 運転者注意状態推定
WO2016038784A1 (ja) ドライバ状態判定装置
US20200169678A1 (en) Driver's eye position detecting device and method, imaging device having image sensor with rolling shutter driving system, and illumination control method thereof
JP6201956B2 (ja) 視線検出装置および視線検出方法
US20160063334A1 (en) In-vehicle imaging device
EP3650991B1 (en) Monitoring system
CN111798488A (zh) 用于执行眼睛检测和/或跟踪的系统
US20220377223A1 (en) High performance bright pupil eye tracking
JP6504788B2 (ja) 瞳孔検出用光源装置の制御方法
US10089731B2 (en) Image processing device to reduce an influence of reflected light for capturing and processing images
JP2016028669A (ja) 瞳孔検出装置、および瞳孔検出方法
JP2021527980A (ja) 高フレームレート画像前処理システム及び方法
US20190206082A1 (en) Corneal reflex position detection device, eye-gaze tracking device, and corneal reflex position detection method
US20220335648A1 (en) Determination of Gaze Direction
JP2023164485A (ja) 映像処理装置、映像処理方法および映像処理プログラム
KR102146837B1 (ko) 이미지 통합 장치 및 이를 포함하는 운전 보조 시스템
US11272086B2 (en) Camera system, vehicle and method for configuring light source of camera system
JP2020140637A (ja) 瞳孔検出装置
WO2021166221A1 (ja) 生体認証装置、生体認証方法、及び、そのプログラムが格納されたコンピュータ可読媒体
US11003936B2 (en) Method and system for controlling an eye tracking system

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200703

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210416

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220428

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220510

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220810

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220830

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220905

R150 Certificate of patent or registration of utility model

Ref document number: 7138168

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150