JP6186465B2 - 注視追跡に基づく電子ディスプレイの調整 - Google Patents

注視追跡に基づく電子ディスプレイの調整 Download PDF

Info

Publication number
JP6186465B2
JP6186465B2 JP2016047892A JP2016047892A JP6186465B2 JP 6186465 B2 JP6186465 B2 JP 6186465B2 JP 2016047892 A JP2016047892 A JP 2016047892A JP 2016047892 A JP2016047892 A JP 2016047892A JP 6186465 B2 JP6186465 B2 JP 6186465B2
Authority
JP
Japan
Prior art keywords
display
pupil
diameter
electronic display
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016047892A
Other languages
English (en)
Other versions
JP2016170415A (ja
Inventor
フレドリック ルーサー ウェインドルフ ポール
フレドリック ルーサー ウェインドルフ ポール
メール シャディ
メール シャディ
オー モリス ポール
オー モリス ポール
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Visteon Global Technologies Inc
Original Assignee
Visteon Global Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Visteon Global Technologies Inc filed Critical Visteon Global Technologies Inc
Publication of JP2016170415A publication Critical patent/JP2016170415A/ja
Application granted granted Critical
Publication of JP6186465B2 publication Critical patent/JP6186465B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10Intensity circuits
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/19Sensors therefor
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0626Adjustment of display parameters for control of overall brightness
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/14Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/144Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light being ambient light
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00Specific applications
    • G09G2380/10Automotive applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Description

本発明は、注視追跡に基づく電子ディスプレイの調整に関する。
電子ディスプレイは、点灯プラットフォーム上でのデータの再生を助長する。駆動回路は、表示される情報を提供するように点灯素子を処理するのに使用される。観視者は、情報を処理及び消費するように、ディスプレイを注視でき、また、点灯素子を観視できる。
しかし、光が電子情報を伝達するのに使用されるので、観視体験(viewing experience)は、電子ディスプレイが実装される環境によって影響を受ける。例えば、電子ディスプレイが不都合または不便な場所にあると、電子ディスプレイの観視は、結局は不満を起こさせるものとなるであろう。
さらに、電子ディスプレイ周辺の環境は、動的であり、且つ変化することがある。例えば、電子ディスプレイが、外側または外部の光供給源と相互に影響し合う領域に実装される場合、電子ディスプレイが点灯素子を介して情報を伝達する機能は、妨げられたり修正されたりすることがある。
特定の方向に伝送または伝搬される光の強度を決定するための単位の尺度は、輝度として知られている。カンデラ毎平方メートルなどの様々な単位が、輝度を測定するのに使用できる。測定のいくつかの単位またはタイプが輝度測定のために使用できることを、当業者は理解するであろう。
例えば、電子ディスプレイが乗り物に実装される場合、電子ディスプレイは外側の照明環境と相互に影響し合うことがある。それゆえ、鮮明な表示を最適に提供するディスプレイの機能に影響を及ぼすいくつかのファクタは、屋外の照明により生じることがある。例えば、屋外の照明は、雲量、天候、道(例えば、乗り物がトンネル内にある場合)、時間帯または同様のものによって影響を受けることがある。
それゆえ、電子ディスプレイは、屋外の照明条件を認識する機能によって大きく助けられることがある。屋外の照明条件の知識に基づき、電子ディスプレイはそれに応じてディスプレイ輝度を調整できる。
ディスプレイ輝度を調整するためのシステムの1つのこのような実施例が、図1に示してある。図1は、従来の実施態様によりディスプレイ輝度を調整するためのシステム100の実施例を示す。システム100は先行技術において知られているので、詳細な説明は省略される。システム100は、線形光システムと呼ばれる。線形光システムは、6〜8桁などの特定のダイナミックレンジを超えて動作できない。これらのダイナミックレンジを超えると、アナログ‐デジタル変換器は不適格であることがある。
図2は、周囲のディスプレイ背景輝度(DBL)を決定するためのプロセスの実施例を示す。態様が示された図2を参照すると、反射係数や輝度レベルなどの様々なファクタが知られている場合、DBLが算出できる。
図2に示すように、様々な構成要素の反射係数(R1・・・Rn)が輝度率と関連する。これらの輝度率は、DBLを決定するのに使用できる。
図2に示した態様は、周囲の輝度検出のために従来のシステムを使用できる。例えば、乗り物の場合、次のファクタが感知できる。ランバート拡散、正反射、ヘイズ拡散である。
図3Aは、電子ディスプレイ300上への光の反射が、光受信源(すなわち人の目)310によりどのように測定できるかについての実施例を示す。図3Aを参照すると、点光源320がディスプレイ300上への光325を発生させる。ディスプレイ300は、光325を光受信源310上へ、角度315により反射する。反射率β、角度315の、当業者に知られた数学的関係を使用すると、システムは、ディスプレイの反射により引き起こされる周囲光を決定できる。
図3Bは、正反射方向(角度315)を基準とした源の傾斜を示す輝度グラフ350を示す。y軸及び提供される範囲は、異なる角度での様々な輝度修正を生じさせ得る関連の効果を示す。
図3Bに示した効果により、電子ディスプレイ300の観視者は、様々な背景輝度(DBL)を見ることになろう。それゆえ、DBLが増加すると、ディスプレイの輝度はDBL効果を抑制するように対応する量で増加できる。
ディスプレイ輝度をどのように調整するかを理解するために、Silverstein関係が提供される(提出された幾つかの参考文献において説明されている)。以下で説明される数式は、検出DBLとディスプレイにおいて使用される輝度との関係を説明するものである。
ESL=BO(DBL)C
用語は、次のように定義される。
ESL=cd/m2での放出記号輝度(Emitted Symbol luminance)
O=輝度オフセット定数(Luminance Offset Constant)
DBL=cd/m2での様々なディスプレイ背景輝度
c=冪定数(Power Constant)(対数座標における冪関数の傾き)
陰極線管(CRT)ディスプレイ技術により、蛍光体反射率は蛍光体発光に応じて変化しない。液晶ディスプレイ(LCD)は、各LCDセル体験の「オン」及び「オフ」状態により、異なる課題を提示する。それゆえ、Silverstein関係の変形形態が、LCDディスプレイのために算出されてもよい。しかし、上記のDBL関係を使用することにより、ディスプレイの見易さは大きく改善できる。
また、Silverstein方法論を使用する様々な他のファクタが使用されてもよい。例えば、ゲイン修正ファクタ(GF)が算出されてもよく、これは前向き光センサを使用する。
しかし、明順応効果を補償する既存の対数センサは、Silverstein方法論(線形光感知に最も効果的なものとして設計されたもの)と両立できない。それゆえ、ディスプレイ調整システムにおける対数光センサの使用は、結局は、不満を起こさせるであろう。
インターフェースは、電子ディスプレイに結合された電子システムとのやり取りを可能にする。インターフェースからの入力の検出は、電子システムを介した動作を引き起こすことができ、これはその後に電子ディスプレイ上に示される。インターフェースは、同様により複雑になってきている。従来、インターフェースは、キーボード、手動のつまみまたは同様のものなどの物理的な入力デバイスを実装するものであった。
最近の実施形態において、インターフェース機器は、より堅牢で、非接触ベースのものになってきている。例えば、インターフェース機器は、監視デバイス(カメラ、映像捕捉デバイス、動作検出器または同様のものなど)により助長される追跡技法を介したやり取りを可能にできる。
1つのこのような実施形態は、注視追跡デバイスである。注視追跡デバイスは、人物の目(または両目)を捕捉するカメラを使用し、電子ディスプレイの様々な素子を制御するように、目の動きの検出を可能にする。例えば、一例において、人物の目が電子ディスプレイの特定の領域に集中しているという検出がなされると、電子ディスプレイはそれに応じてズームインまたはズームアウトできる。
それゆえ、電子ディスプレイ、システム及び同様のものは、制御及び双方向性を助長するように、注視追跡デバイスと共に実装されている。例えば、電子ディスプレイまたはシステムと対話する人物が電子ディスプレイまたはシステムと対話する際に凝視している領域にカメラを取付けることにより、注視追跡システムは乗り物において実施できる。乗り物の場合、カメラは、ダッシュボード、乗り物の屋根、またはユーザの注視を捕捉可能なあらゆる場所に搭載できる。
電子ディスプレイを調整するためのシステムが、本明細書において提供される。システムは、電子ディスプレイの観視者に関連する瞳孔の画像と、瞳孔の画像により確認される瞳孔の直径とを捕捉するように、注視追跡デバイスを含む。別の実施例において、システムはさらに、周囲光センサからの光情報を対数的に受信するように周囲光センサ受信機と、直径と光情報との組合せに基づき電子ディスプレイの輝度を調整するようにディスプレイ調整器とを含むことができる。
発明を実施するための形態は、以下の図面を参照する。図面において、同様の参照番号は、同様の項目に言及する。
従来の実施態様によりディスプレイ輝度を調整するためのシステムの実施例を示す図である。 周囲のディスプレイ背景輝度(DBL)を決定するためのプロセスの実施例を示す図である。 電子ディスプレイ上への光の反射が、光受信源によりどのように測定できるかについての実施例を示す図である。 正反射方向を基準とした源の傾斜を示す輝度グラフを示す図である。 注視追跡デバイスに基づき電子ディスプレイを調整するためのシステムの実施態様の実施例を示す図である。 図4のシステムにおいて説明された画像+光処理装置の実施例を示す図である。 図4に示したシステムの画像+光処理装置の実施態様の別の実施例を示す図である。 図6のGFテーブルの実施例を示す表である。 図4に示したシステムの画像+光処理装置の実施態様の別の実施例を示す図である。 瞳孔の直径の大きさと関連した対数関数を決定するための実施例を示す図である。 瞳孔の直径の大きさと関連した対数関数を決定するための実施例を示す図である。 瞳孔の直径の大きさと関連した対数関数を決定するための実施例を示す図である。 瞳孔の直径の大きさと関連した対数関数を決定するための実施例を示す図である。 上記で説明されたシステムの実施態様の実施例を示す図である。 上記で説明されたシステムの実施態様の実施例を示す図である。
本発明は、添付の図面を参照して以下でより完全に説明される。図面では、本発明の例示的な実施形態が示される。しかし、本発明は、多くの様々な形で実現でき、本願で述べる実施形態に限定されるものと解釈すべきでない。むしろ、これらの例示的な実施形態は、本開示が十分なものであるように提供されており、また、当業者に本発明の範囲を完全に伝達するものであろう。本開示の目的のために、「それぞれのうちの少なくとも1つ」は、多数の列挙される要素の組合せを含め、それぞれの用語の後で列挙される要素の任意の組合せを意味すると解釈されることが理解されよう。例えば、「X、Y、及びZのうちの少なくとも1つ」とは、Xのみ、Yのみ、Zのみ、または、2つまたはそれ以上の項目X、Y及びZの任意の組合せ(例えば、XYZ、XZ、YZ、X)を意味すると解釈されよう。図面及び発明を実施するための形態を通して、特に記述がない場合は、同じ図面参照番号は、同じ要素、特徴及び構造を指すと理解される。これらの要素の相対的な大きさ及び描写は、明確さ、説明及び利便性のために誇張されることがある。
電子ディスプレイは、観視者に情報を伝達するように照明を使用する。背景技術の部分において説明したように、照明は、周囲光や天候条件などの環境条件によりたびたび妨害される。これらの状況においては、観視体験は環境条件によって影響を受けることがあり、それゆえ混乱されることがある。
照明を調整することができる様々な技法が開示されてきた。しかし、これらの技法はいずれも、それらが提供する範囲または動的機能により制限されるものである。
1つのこのような実施形態においては、周囲光が検出され、ディスプレイがそれに応じて修正または調整される。電子ディスプレイ上に位置できるこれらのセンサにより、電子ディスプレイに影響を与える光が、ディスプレイを修正または調整するのに使用される。
しかし、こうした光は、電子ディスプレイの観視に影響を与えることのある外部の照明全てを包含するものではない。例えば、観視者の目は、外部の照明源(すなわち、太陽等)により体験される照明条件によって影響を受けることがある。これらの状況において、太陽の採光は、観視者の瞳孔に、違ったやり方で電子ディスプレイを処理及び観視させるであろう。
背景技術の部分及び他の技法において説明するように、線形前向き光センサを使用する近似が提示されてきた。この方法論は、線形光感知に関連する範囲の限界により有効に動作できない。線形前向き光センサは、電子ディスプレイを調整するための技術をうまく実施するのに必要な検出量を十分に含まない範囲を処理する。
注視追跡に基づいて電子ディスプレイを調整するための方法、システム及びデバイスが本明細書で開示される。本明細書で開示される態様は、電子ディスプレイシステムを有効に調整するように、注視追跡デバイスと組合される周囲光センサの使用を可能にする。調整は、ディスプレイに関連する輝度を調整するために行うことができる。本明細書で述べる様々な方法論及び構成要素は、ディスプレイシステムの実施についての環境的な問題に対する動的応答を可能にするやり方で光レベルを調整するように電子ディスプレイを提供または駆動するシステムを助長する。
例えば、電子ディスプレイが乗り物に実装される場合、注視追跡デバイス、周囲光センサ、及び、その両方からのデータを統合するためのシステムにより、電子ディスプレイシステムの観視者は、良好でより安全な運転システムを実現できるであろう。
本明細書で開示される態様は、説明目的のために乗り物用ディスプレイシステムを使用する。しかし、注視追跡デバイスと周囲光センサの両方を使用する他の状況において、本明細書で開示される態様が実施されてもよい。
以下で説明される実施態様における周囲光センサは、対数的なものである。対数光センサの使用は、ダイナミックレンジを表すのを可能にする。
本明細書で開示される態様の1つの利点は、多くのシステムが既に注視追跡デバイスを使用していることである。それゆえ、電子ディスプレイの輝度の調整を補助及び増大するように注視追跡デバイスを組み込むことにより、以前からあるインターフェース技術が有効に維持できる。
図4は、注視追跡デバイス470に基づき電子ディスプレイ480を調整するためのシステム400の実施態様の実施例を示す。
注視追跡デバイス470は、人物の注視を介して情報を検出するように人物の目を監視するのに使用される、あらゆる種類の注視追跡回路またはシステムとすることができる。注視は、瞳孔画像471により表示されるデータファイルに変換できる。
図4を参照すると、全ての素子間の電気的接続を提供する電気制御ユニット(ECU)460が示してある。ECU460は乗り物などの場所に一般に実装されて、電気的構成要素が(有線または無線のいずれかで)シームレスに互いに接続するための技法を提供する。
ECU460は、電気信号の受信、処理及び伝送を促進するための処理装置または非一時的なコンピュータ可読媒体の一般的な用語である。上述のように、ECU460は、乗り物に実装できる。自動車用電子機器において、電子制御ユニット(ECU)は、自動車における電気的システムまたはサブシステムのうちの1つまたは複数を制御するあらゆるエンベデッドシステムの一般的な用語である。以下に提供される数多くの実施例は、乗り物の場合で示される。しかし、本明細書で説明される概念は様々な状況に適用でき、乗り物の場合におけるものに限定されないことに留意されたい。
ディスプレイ480は、ディスプレイへの情報を受信する電子ディスプレイである。情報は、ディスプレイ480上またはその周辺を注視するユーザまたは人物による情報の処理に関連した、あらゆる種類の情報とすることができる。ディスプレイ480は、周囲光センサ481及び482と関連する。周囲光センサ481及び482は、人間の目と類似の方法で、光または明るさを検出するのに使用される。それらは、システムの設定が、人間により知覚された周囲光条件に応じて調整されなければならない場合に使用される。使用される光センサの数は例示的なものである。実際の数は、図4に示した構成の設置者による実施態様の選択とすることができる。ディスプレイ480は、(周囲光センサ481及び482と共に)ECU460に結合される。
図4に示すように、周囲光センサからの光情報483はECU460に伝送され、ECU460は当該情報をシステム400に伝搬する。
システム400は、画像受信機410、瞳孔抽出器420、周囲光受信機430、画像+光処理装置440及びディスプレイ調整器450を含む。システム400は、ECU460などの中央処理装置に組み込んでもよく、あるいは、必須の回路を含んだスタンドアローンの構成要素としてパッケージされてもよい。
画像受信機410は、注視追跡デバイス470から(例えば、ECU460を介して)瞳孔画像471を受信する。画像受信機410は、画像蓄積及び伝送の分野で知られた多数の形式で、瞳孔画像471を受信するように構成できる。画像471は、ディスプレイ480上を注視する人物に関連する顔、目、両目の瞳孔(または片目の瞳孔)または同様のものの写真とすることができる。少なくとも1つの瞳孔が捕捉される限り、画像471は、人物に関連するあらゆる兆候とすることができる。
瞳孔抽出器420は、瞳孔画像471の瞳孔を抽出する。瞳孔(または両目の瞳孔)が取得されると、瞳孔に関連する直径が決定できる。別の実施例においては、画像受信機410及び瞳孔抽出器420は、瞳孔の直径を直接受信することにより違ったように実施されてもよい。
周囲光受信機430は、周囲光センサ481及び482からの光情報483を受信する。光情報483は対数的に受信できる。図5は、対数感知を使用する周囲光センサの実施例を示す。
画像+光処理装置440は、調整401を生成するように、瞳孔抽出器420により取得された情報と、周囲光受信機430により取得された情報とを組合せる。調整401は、ディスプレイ調整器450を介してディスプレイ480へ伝達できる。画像+光処理装置440の実施例は、図5、図6及び図8によって以下で説明される。
図5は、システム400において説明した画像+光処理装置440の実施例を示す。ブロックレベル図により使用される素子は、以下で列挙されるものなどのあらゆる種類の回路または符号化ベースの論理において実施できる。
図5を参照すると、センサ481及び482はそれぞれ、実際のセンサ回路484a及び484bと、増幅器485a及び485bとを含む。各増幅器により生成される電圧は、図5に示したもの(A/D510及びA/D511)などのアナログ‐デジタル変換器(A/D)に出力される。次の数式が、A/D510及びA/D511に入力される電圧を決定するのに使用できる。
Figure 0006186465
デジタル変換は、次の数式によって表される。
Figure 0006186465
上記で特定された数式(用語、定数の定義、及び導出)は、本出願と共に提出された参考文献において見つけられ、それゆえ、完全な説明は簡潔さのために省略される。
A/Dブロックの出力は、ディスプレイ調整器450を駆動するのに(そしてそれゆえディスプレイ480の照明を調整するのに)使用できる。しかし、値は、以下で説明されるように、別の方法でディスプレイ480を調整するのに使用されてもよい。
A/Dブロック510及び511の出力の組合せは、組合せ回路512によって実行できる。出力は変数NDに変換でき、ユーザバイアス(NBD)と合計される(513)。ND及びNBDは、予め定義された関係または式によって取得できる。
次の関係は、Lsel値を説明する。Lsel値は所望のディスプレイ輝度であり、様々な一定のステップ比(constant step ratio)Rに基づきルックアップテーブルにデータを入力することによって決定できる。一定のステップ比が使用される場合、ND値及びNDB値は、Lsel値を決定するのに使用できる。NDは、A/D出力によって使用及び導出され、NDBは、ユーザオフセットまたはバイアスにより取得できる。この定義は、開示された参照文献において説明されており、次のように記載される(514)。
Figure 0006186465
上述の関係の対数表示は、下記よって定義される(515)。
Figure 0006186465
素子513の出力は、素子517に伝搬でき、これは次の関係によって説明される(517)。
Figure 0006186465
Figure 0006186465
素子517の出力はLsel値の対数であり、数値1.125で乗算できる。
注視追跡デバイス470はカメラ472を含む。カメラは、目471の写真を撮るのに備え付けることができる。瞳孔抽出器420は、瞳孔の直径を抽出するように構成でき、これは素子518に伝搬できる。
素子518は、受信した直径をNH値に変換するように構成できる。
素子520において、次の数式が生成される。
1.125log10(FFVI)=1.125Δlog(FFVI)×NH+1.125log(FFVI0
520の出力は、次の式により、517の出力及び定数と合計できる(521)。
Figure 0006186465
上記で説明された実施形態は、主に、ディスプレイ480などのデジタルディスプレイによる使用のためのものである。別の実施例において、情報は、ヘッドアップディスプレイ(HUD)525に関連する調整を決定するのに使用されてもよい。NH値は、ユーザバイアス値(NBH)と合計され(519)、素子523に伝搬される。素子523及び524に示した処理は、HUD525の調整を実行するのに使用できる。
GFはゲインファクタであり、ディスプレイ480を調整するのに使用できる。GFが1よりも小さい場合(521)、GFは1に設定され、素子515により算出されたLsel値は、ディスプレイ480を調整するのに使用される。
1よりも大きい場合(522)、ディスプレイ480を調整するようにGFを決定するために、515からのLsel値は乗算されてもよく(516)、または以下の技法が(ルックアップテーブルを使用して)使用されてもよい。ゲインファクタを決定する別の方法は、ステップ比の関係に基づきルックアップテーブルを使用することである。
Figure 0006186465
上式で、
c=Silversteinの冪定数(Power Constant)
T=輝度ステップの総数(Total number of luminance steps)
Max=最大の輝度レベル(Maximum luminance level)
Min=最小の輝度レベル(Minimum luminance level)
である。
GF=GF×LSEL
ステップ数NGF(ルックアップテーブルにより使用される)を解くために、次の関係がこの値を導出するように設定される。
Figure 0006186465
上記数式を代入すると、次の数式が生じる。
Figure 0006186465
上記を簡略化したものが以下に提示される。
Figure 0006186465
また、以下である。
Figure 0006186465
さらに、以下である。
Figure 0006186465
上記の数式の両辺の自然対数が得られると、次の関係が確立される。
Figure 0006186465
輝度比は、次のように定義される。
Figure 0006186465
それゆえ、上記の関係を導出された式に代入すると、次の関係になる。
Figure 0006186465
上記の一連の数式の重要性が示すのは、周囲光センサステップレベル(これは、本明細書において提出された、Silverstein方法論に関する技術において知られた用語である)が上記のGFの決定にとって不可欠ではないことである。上記で説明されたΔN方法は、ΔNに関連する様々なステップがディスプレイ出力輝度比に関連するので、説明された調整のために使用できる。
図6は、システム400において説明された画像+光処理装置440の実施形態の別の実施例を示す。図示するように、乗算器516が除去されている。代わりに、GFテーブル616が実装される。GFテーブル616の出力は、ΔNファクタを統合するように修正された新たな素子614及び615に伝搬でき、ディスプレイ480に使用される輝度調整401を算出するのに使用できる。
図7は、GFテーブル616の実施例を示す。GFテーブル616は、各GFの数をΔNと関連付ける。リトリーブされたΔNは、それに応じて、図6で述べられた式を使用できる。GFテーブル616は、パラメータ及び値の特定のセットのための例示的なものである。実施例のテーブルは、T=10、Lmax=2000及びLmin=80のようなパラメータに基づくものである。
図8は、画像+光処理装置440の実施形態の別の実施例を示す。具体的には、図8は、前述のような比のテーブルを使用するのではなく、計算アプローチである。図8における実施態様は、Lsel値をゲインファクタ(GF)と組合せるのに処理装置が使用される点で、図5に示したものと類似している。しかし、1つの重要な違いは、ブロック801、802、813及び817が導入されていることである。これにより、ブロック514の実施の回避が可能となる。以下の一連の数式は、図8に示した実施態様の解明を容易にする。
OR素子512の出力は、下記を生成できる。
Figure 0006186465
これは、以下を生成するように処理できる。
Figure 0006186465
Figure 0006186465
Figure 0006186465
Figure 0006186465
また、DBL(提出された論文により明示される知られた用語)を解くと、次の式になる。
Figure 0006186465
下記は、以下の式を生成するのに使用できる。
ESL=BOD(DBL)C
Figure 0006186465
Figure 0006186465
Figure 0006186465
ディスプレイがユーザバイアス量を既に含むことができるので、このファクタは、次の式により導入できる。
Figure 0006186465
システム400の実施態様によれば、定数K1及びK2が定義できる。それゆえ、上記の式は、次の式を生成するように簡略化できる。
Figure 0006186465
対数センサの実施態様により、次の変換も実行される。
Figure 0006186465
Figure 0006186465
Figure 0006186465
類似の変換が、注視追跡デバイス470に関連する経路上へ調整できる。具体的には、瞳孔の直径の大きさがブロック820に伝搬される。以下で説明される代替的な実施形態において、データは、ヘッドアップディスプレイ(HUD)の実施を直接的に制御するのに使用できる。ブロック820は、受信したデータの次の処理を実行する。
1.125log10(FFVI)=1.125log(La)−1.125log(a)
ブロック820の出力は、画像+光処理装置440の他の実施形態により上記で説明されたのと類似の方法で組合される。
また、HUD525を調整するための実施形態を図8に示す。素子473からの情報が素子818に伝搬され、変換が生成される。そこで、処理装置が、821からのユーザバイアスを組合せる素子819を介して、822に示した式を生成するのに使用される。822から、本明細書で開示される概念を使用して、対数的に変換された瞳孔の直径(以下に示す式による)がHUD525を調整するのに使用される。
図9〜図12は、瞳孔の直径の大きさに関連する対数関数を決定するための実施例を示す。異なる瞳孔の大きさは、異なるファクタ(すなわち、様々な目の機能)と共に、瞳孔により確認される異なる量の輝度と相関できる。従って、瞳孔の直径を観察された輝度と関連付ける曲線を解くことは、図4に示したシステムの実施態様にとって有益であろう。
図9では、提示された様々な他の知られた関係ついて、統一された関係が示してある。その算出は以下で詳細に説明される。
数式、すなわち、解答のための関数は、次の関係により提示される。
log(L)=f(D)
ここで、輝度の対数(log(L))は好ましいものである。Dの関数は、ここではDは瞳孔の直径であり、決定される必要があるものである。輝度Lと視野(度数における「a」)との両方に対応する瞳孔の直径により、Laの積は、次の数学的処理を実行することによって解くことができる(以下の関係は、「Stanley Davies」関数と呼ばれる)。
Figure 0006186465
Figure 0006186465
Figure 0006186465
Figure 0006186465
Figure 0006186465
Figure 0006186465
Figure 0006186465
Figure 0006186465
図10は、上記で説明された数式を解くのに説明した、いくつかの視野領域(「a」)についてのlog(L)関数に対する瞳孔の直径のプロットの実施例を示す。
上記が示すのは、上記で説明された関数の対数を取ると、図9に示した統一された線と似ていないプロットがもたらされることである。それゆえ、目もまた視野(「a」)に対応するので、輝度Lの対数を単に取ることは、本明細書で開示される態様によるシステムを実施するのに正しい方法ではない。
修正されたものが以下に示される。
Figure 0006186465
図11は、ブロック420の例示的な実施形態によるプロットの実施例を示す。
別の実施例において、ブロック420は、さらに、瞳孔画像に関連する年齢(すなわち、人物の年齢)を調整するように修正できる。関係、すなわちStanley Davies関数により、年齢の調整が可能となる。実行できる数学的処理は下記である。
U=DSD+(y−y0)[0.02132−0.009562DSD
上式で、y=年単位での年齢、yo=定数(28歳)であり、また、DUは、年齢ファクタを含む統一された「Stanley Davies」関数を意味する。観視者の年齢y=28.58歳を使用すると、式は上記に示した数式となる。
U=DSD+(y−y0)(0.02132)−(y−y0)(0.009562)DSD
U=DSD[1−(y−y0)(0.009562)]+(y−y0)(0.02132)
次の式は、上記の式を簡略化するのに使用できる。
D=DU
F1=1−(y−y0)(0.009562)
F2=(y−y0)(0.02132)
結果は以下である。
D=DSDF1+F2
上記式をStanley Davies関係に置くと、以下が導かれる。
Figure 0006186465
上記で実行されたのと同様に、log(La)は、次を解くことができる。
Figure 0006186465
Figure 0006186465
Figure 0006186465
Figure 0006186465
(La)0.41=F3[(La)0.41+2(846)0.41
(La)0.41=F3(La)0.41+F3(2)(846)0.41
(La)0.41[1−F3]=F3(2)(846)0.41
Figure 0006186465
Figure 0006186465
(La)0.41=F4
0.41log(La)=log(F4)
Figure 0006186465
Figure 0006186465
Figure 0006186465
Figure 0006186465
Figure 0006186465
Figure 0006186465
Figure 0006186465
Figure 0006186465
Figure 0006186465
Figure 0006186465
図12は、28.5歳及び60歳のサンプルケースを使用した、上記で説明された式の実施例を示す。このように、対数的処理を実行する関数は、そこで示した処理によれば、年齢に依存できる。
y項(y term)は、実施者によって設定できる。一実施例において、項(term)は28.5に設定され、図12におけるグラフはこの設定を反映している。別の実施例において、項は60に設定され、図12におけるグラフはやはりこの設定を示している。
図13A及び図13Bは、上記で説明されたシステム400の実施態様の実施例を示す。注視追跡デバイス470も示してある。注視追跡デバイス470は、図9〜図12に関して上記で説明した概念により実施できる。
図13A及び図13Bに示すように、乗り物1300が示してあり、注視追跡デバイス470を実装している。注視追跡デバイス470は、人物1310の瞳孔1315の画像を捕捉するように構成される。上記で説明したように、システム400は、瞳孔1315の画像を捕捉し、直径の大きさを対数的成分(上記で説明したもの)に変換し、周囲光センサ481及び482のうちの1つ(または両方)から読み込む周囲光センサとデータを組合せる。情報は、(同様にユーザバイアスと共に)ディスプレイ480の輝度を調整及び決定するのに、システム400によって使用される。
光源1350が示してある。光源1350は、太陽、月、街灯からの周囲照明または同様のものなどの環境光条件を反映できる。それゆえ、場所や時間により、光源1350は異なる量の光を生成できる。
図13A及び図13Bに示すように、光源1350は異なる量の光を生成できる。それゆえ、本明細書で開示される態様によれば、検出された瞳孔の大きさ(両図面において異なっている)は、ディスプレイ480に輝度を調整させることができる。
ディスプレイ480は、ダッシュボードの一部の据付けのデジタル画面として示してある。しかし、上記で説明したように、HUDを備える実施態様も実現できる。
上記で開示した態様は、乗り物による動作において示されている。しかし、システム400に関連する概念は、多数のディスプレイの実施態様に適用できる。
本発明の精神または範囲から逸脱することなく、様々な修正形態及び変形形態が本発明においてなされてもよいことが当業者に明らかであろう。それゆえ、添付の特許請求の範囲及びそれらの均等物の範囲内であれば、本発明は、本発明の修正形態及び変形形態を含むことが意図される。

Claims (9)

  1. 電子ディスプレイを調整するためのシステムであって、
    前記電子ディスプレイの観視者に関連する瞳孔の画像と、前記瞳孔の画像により確認された前記瞳孔の直径とを捕捉する注視追跡デバイスと、
    周囲光センサからの光情報を対数的に受信する周囲光センサ受信機と、
    前記直径と前記光情報の組み合わせに基づき前記電子ディスプレイの輝度を調整するディスプレイ調整器と、
    を含
    前記瞳孔の直径が、対数変換にかけられ、
    前記対数変換が、視野毎の輝度であるLa及び直径Dに関連する数式により定義され、且つ、前記瞳孔に関連する年齢のためにさらに調整される、システム。
  2. 前記光情報が、アナログ‐デジタル(A/D)処理によって変換される、請求項1に記載のシステム。
  3. 前記光情報が、前記A/D処理にかけられた後に、出力を生成するようにディスプレイユーザバイアスと組み合わされる、請求項2に記載のシステム。
  4. 前記出力が、ゲインファクタを生成するように、前記瞳孔の直径の変換されたものと組み合わされる、請求項3に記載のシステム。
  5. 前記ゲインファクタが、前記電子ディスプレイの前記調整を実行するのに使用される、請求項4に記載のシステム。
  6. 前記視野毎の輝度であるLaは、前記瞳孔に関連する年齢が高くなるほど、小さな値に設定される、請求項1に記載のシステム。
  7. ヘッドアップディスプレイ(HUD)を調整するためのシステムであって、
    前記ヘッドアップディスプレイの観視者に関連する瞳孔の画像と、前記瞳孔の画像により確認された前記瞳孔の直径とを捕捉する注視追跡デバイスと、
    対数変換により前記直径を変換するための変換回路と、
    変換された直径に基づき前記ヘッドアップディスプレイの輝度を調整するディスプレイ調整器と
    を含
    前記対数変換が、視野毎の輝度であるLa及び直径Dに関連する数式により定義され、且つ、前記瞳孔に関連する年齢のためにさらに調整される、システム。
  8. 前記ディスプレイ調整器がさらにユーザバイアスにより前記ヘッドアップディスプレイを調整する、請求項に記載のシステム。
  9. 前記視野毎の輝度であるLaは、前記瞳孔に関連する年齢が高くなるほど、小さな値に設定される、請求項7に記載のシステム。
JP2016047892A 2015-03-12 2016-03-11 注視追跡に基づく電子ディスプレイの調整 Active JP6186465B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/656,288 US9633626B2 (en) 2015-03-12 2015-03-12 Adjusting an electronic display based on gaze tracking
US14/656,288 2015-03-12

Publications (2)

Publication Number Publication Date
JP2016170415A JP2016170415A (ja) 2016-09-23
JP6186465B2 true JP6186465B2 (ja) 2017-08-23

Family

ID=56800741

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016047892A Active JP6186465B2 (ja) 2015-03-12 2016-03-11 注視追跡に基づく電子ディスプレイの調整

Country Status (3)

Country Link
US (1) US9633626B2 (ja)
JP (1) JP6186465B2 (ja)
DE (1) DE102016104362A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10520728B2 (en) * 2017-10-17 2019-12-31 Visteon Global Technologies, Inc. Embedded optimization algorithm of parameters to drive deployment mechanism for displays
CN113950636A (zh) * 2019-05-30 2022-01-18 京瓷株式会社 三维显示装置、平视显示器系统以及移动体
CN112148119B (zh) * 2019-06-26 2024-08-09 托比股份公司 用于在数字图像数据中确定眼睛位置的方法、眼睛追踪器和计算机程序
KR20220091160A (ko) * 2020-12-23 2022-06-30 삼성전자주식회사 증강 현실 디바이스 및 그 동작 방법
CN112837659A (zh) * 2021-01-18 2021-05-25 湖南金宏光电有限公司 一种背光亮度控制方法
KR20230053215A (ko) * 2021-10-14 2023-04-21 삼성전자주식회사 바이저의 투과율과 디스플레이의 밝기를 조절하는 웨어러블 전자 장치

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5016282A (en) * 1988-07-14 1991-05-14 Atr Communication Systems Research Laboratories Eye tracking image pickup apparatus for separating noise from feature portions
US5883605A (en) 1992-02-25 1999-03-16 Gentex Corporation Automatic electrochromic control of light level of vacuum fluorescent display
US6008781A (en) * 1992-10-22 1999-12-28 Board Of Regents Of The University Of Washington Virtual retinal display
JP2001506772A (ja) * 1996-12-20 2001-05-22 シーメンス アクチエンゲゼルシヤフト 少なくとも一人のための情報表示システム
US6757422B1 (en) * 1998-11-12 2004-06-29 Canon Kabushiki Kaisha Viewpoint position detection apparatus and method, and stereoscopic image display system
US6479810B1 (en) 2000-08-18 2002-11-12 Visteon Global Tech, Inc. Light sensor system and a method for detecting ambient light
US6483245B1 (en) 2000-09-08 2002-11-19 Visteon Corporation Automatic brightness control using a variable time constant filter
US6396217B1 (en) * 2000-12-22 2002-05-28 Visteon Global Technologies, Inc. Brightness offset error reduction system and method for a display device
US6762741B2 (en) 2000-12-22 2004-07-13 Visteon Global Technologies, Inc. Automatic brightness control system and method for a display device using a logarithmic sensor
US6507286B2 (en) 2000-12-29 2003-01-14 Visteon Global Technologies, Inc. Luminance control of automotive displays using an ambient light sensor
ATE552478T1 (de) * 2004-06-03 2012-04-15 Making Virtual Solid L L C Navigationsanzeigeverfahren und vorrichtung für unterwegs unter verwendung eines head-up-displays
JP4608996B2 (ja) * 2004-08-19 2011-01-12 ブラザー工業株式会社 瞳孔検出装置およびそれを備えた画像表示装置
JP2007316492A (ja) * 2006-05-29 2007-12-06 Matsushita Electric Ind Co Ltd 表示装置
JP2008170785A (ja) * 2007-01-12 2008-07-24 Denso Corp 車載用表示装置
JP5410140B2 (ja) * 2009-04-03 2014-02-05 シャープ株式会社 光検出器およびそれを備える電子機器
US8537174B2 (en) * 2009-10-06 2013-09-17 Palm, Inc. Techniques for adaptive brightness control of a display
US8472120B2 (en) * 2010-02-28 2013-06-25 Osterhout Group, Inc. See-through near-eye display glasses with a small scale image source
WO2012049617A1 (en) * 2010-10-12 2012-04-19 Tc View Ltd. Methods and apparatuses of eye adaptation support
US9421866B2 (en) * 2011-09-23 2016-08-23 Visteon Global Technologies, Inc. Vehicle system and method for providing information regarding an external item a driver is focusing on
JP2013123970A (ja) * 2011-12-14 2013-06-24 Toshiba Corp 表示装置
WO2013167466A2 (en) 2012-05-11 2013-11-14 Nxp B.V. Integrated circuit with directional light sensor, device including such an ic and method of manufacturing such an ic
JP5492962B2 (ja) * 2012-09-28 2014-05-14 富士重工業株式会社 視線誘導システム
JP5622818B2 (ja) * 2012-09-28 2014-11-12 富士重工業株式会社 視線誘導システム
US20140191927A1 (en) 2013-01-09 2014-07-10 Lg Electronics Inc. Head mount display device providing eye gaze calibration and control method thereof
US20150002554A1 (en) * 2013-06-26 2015-01-01 Dsp Group Ltd. Power saving techniques for displays with pixel-addressable intensity
JP6391952B2 (ja) * 2014-03-17 2018-09-19 ソニー株式会社 表示装置及び光学装置

Also Published As

Publication number Publication date
DE102016104362A1 (de) 2016-09-15
US9633626B2 (en) 2017-04-25
US20160267875A1 (en) 2016-09-15
JP2016170415A (ja) 2016-09-23
DE102016104362A8 (de) 2016-12-01

Similar Documents

Publication Publication Date Title
JP6186465B2 (ja) 注視追跡に基づく電子ディスプレイの調整
JP6305972B2 (ja) 光感知に基づく電子ディスプレイの調整
JP4812008B2 (ja) 画像表示装置
US20120154355A1 (en) Image display apparatus
KR102076873B1 (ko) 표시 디바이스 제어
US8525752B2 (en) System and method for automatically adjusting electronic display settings
EP2308375B1 (en) Gray scale display device
US10147393B2 (en) Display apparatus and control method thereof
JP6030396B2 (ja) 映像処理装置
KR20160047972A (ko) 영상 처리 장치, 영상 처리 방법, 및 영상 표시 장치
JP4573719B2 (ja) 画像表示装置、ホワイトバランス調整装置、ホワイトバランス調整システム、及びホワイトバランス調整方法
US20100054623A1 (en) Image display apparatus and method
JP2011112961A (ja) 画像表示装置
US20100123696A1 (en) Image display apparatus and method
JP4646945B2 (ja) 映像表示装置及び映像表示装置の制御方法
JP2014202941A (ja) 表示装置、表示方法、およびプログラム
CN114450185B (zh) 图像显示装置、显示控制装置、显示控制方法以及记录介质
JP6990840B2 (ja) 表示システム
JP2009077156A (ja) 画像表示装置、画像表示方法、及び、リモートコントローラー
WO2013038596A1 (ja) 画像表示装置及び信号処理プログラム
JP5381641B2 (ja) 画像表示装置およびテレビジョン
GB2499075A (en) System and Method for Automatically Adjusting Electronic Display Settings

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170131

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170227

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20170420

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170525

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170724

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170731

R150 Certificate of patent or registration of utility model

Ref document number: 6186465

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250