JP7439243B2 - 視聴者同期の照明検知 - Google Patents

視聴者同期の照明検知 Download PDF

Info

Publication number
JP7439243B2
JP7439243B2 JP2022514526A JP2022514526A JP7439243B2 JP 7439243 B2 JP7439243 B2 JP 7439243B2 JP 2022514526 A JP2022514526 A JP 2022514526A JP 2022514526 A JP2022514526 A JP 2022514526A JP 7439243 B2 JP7439243 B2 JP 7439243B2
Authority
JP
Japan
Prior art keywords
light source
viewer
display device
light
glare
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022514526A
Other languages
English (en)
Other versions
JP2022546580A (ja
Inventor
クンケル，ティモ
Original Assignee
ドルビー ラボラトリーズ ライセンシング コーポレイション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ドルビー ラボラトリーズ ライセンシング コーポレイション filed Critical ドルビー ラボラトリーズ ライセンシング コーポレイション
Publication of JP2022546580A publication Critical patent/JP2022546580A/ja
Application granted granted Critical
Publication of JP7439243B2 publication Critical patent/JP7439243B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10—Intensity circuits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G09G5/06—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed using colour palettes, e.g. look-up tables
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1041—Mechanical or electronic switches, or control elements
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0233—Improving the luminance or brightness uniformity across the screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0242—Compensation of deficiencies in the appearance of colours
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0626—Adjustment of display parameters for control of overall brightness
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/066—Adjustment of display parameters for control of contrast
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0666—Adjustment of display parameters for control of colour parameters, e.g. colour temperature
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/144—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light being ambient light

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Circuit Arrangement For Electric Light Sources In General (AREA)
  • Eye Examination Apparatus (AREA)

Description

［関連出願への相互参照］
本出願は、2019年9月5日に出願された欧州特許出願第19195627.5号及び2019年9月5日に出願された米国仮特許出願第62/896,203号に対する優先権を主張し、これらを参照することによって援用する。
［技術分野］
本開示は、概して、視覚デバイスに関し、特に、視聴者同期の照明検知に関する。
ビデオ資料は、専門的な制作環境において特定の芸術的意図に基づいて作成されてカラーグレーディングされることがある。これらの専門的な制作環境は、ビデオ資料がレンダリングされる視認環境とは非常に異なる可能性がある。その結果、意図した色特性を有する鮮明で高度に詳細な画像を見る代わりに、視聴者は、ビデオ資料が最初に専門的な制作環境において作成されてカラーグレーディングされた芸術的意図からかなり逸脱した、鈍く、白っぽい、不十分な色の画像を見る可能性がある。
消費者のテレビ、モバイルデバイス等のような表示デバイスは、周囲の光レベルの測定に基づいて周辺/グレア光を補償するために、ピクチャマッピングを調整することを試みることがある。しかし、このような調整及び補償(例えば、散乱光、非方向性光等を考慮することのみ)は単純すぎて、より複雑な周辺及びグレア光の問題を効果的に緩和するように、完全に正確なリアルタイムピクチャマッピングを生成することができない。
このセクションに記載の手法は、追求され得る手法であるが、必ずしも以前に考案又は追求された手法であるとは限らない。したがって、別段の指示がない限り、このセクションに記載の手法のいずれかが、単にこのセクションに含まれているという理由のみで従来技術として認められると想定されるべきではない。同様に、1以上の手法に関して特定される問題は、別段の指示がない限り、このセクションに基づいて決して従来技術においても認識されていると想定されるべきではない。
本発明は、添付の図面の図において、限定ではなく、一例として示されており、添付の図面において、同様の参照符号は同様の要素を示す。
いくつかの実施形態による、ユーザ/視聴者が前方向及び横方向を向いている例示的な図を示す。 一実施形態による、光検知システムを有するヘッドセットの例示的なブロック図を示す。 一実施形態による、表示デバイスの画面上の反射のタイプを使用した照明/光検知の例を示す。 一実施形態による、表示デバイスの画面上の反射のタイプを使用した照明/光検知の例を示す。 一実施形態による、表示画面から反射したグレアの検出の例を示す。 一実施形態による、表示画面におけるアーチファクト(ここでは、図４Ｃに示すような卓上ライト)からのグレアの検出の例を示す。 一実施形態による、表示画面におけるアーチファクト(ここでは、図４Ｃに示すような卓上ライト)からのグレアの検出の例を示す。 一実施形態による、表示画面におけるアーチファクト(ここでは、図４Ｃに示すような卓上ライト)からのグレアの検出の例を示す。 いくつかの実施形態による、異なるレベルのグレア評価の例を示す。 いくつかの実施形態による、異なるレベルのグレア評価の例を示す。 いくつかの実施形態による、異なるレベルのグレア評価の例を示す。 いくつかの実施形態による、異なるレベルのグレア評価の例を示す。 いくつかの実施形態による、異なるレベルのグレア評価の例を示す。 いくつかの実施形態による、異なるレベルのグレア評価の例を示す。 いくつかの実施形態による、異なるレベルのグレア評価の例を示す。 いくつかの実施形態による、視聴者の位置に基づくグレア補償の例を示す。 いくつかの実施形態による、視聴者の位置に基づくグレア補償の例を示す。 いくつかの実施形態による、視聴者の位置に基づくグレア補償の例を示す。 一実施形態による、モーションベクトルに基づくセンサ閉塞検出(sensor occlusion detection)の例を示す。 一実施形態による、モーションベクトルに基づくセンサ閉塞検出の例を示す。 一実施形態による、モーションベクトルに基づくセンサ閉塞検出の例を示す。 一実施形態による、センサの測定観察地点及び眼の推定観察地点の例を示す。 いくつかの実施形態による照明補償の例を示す。 いくつかの実施形態による照明補償の例を示す。 一実施形態による、アクティブ光源を使用して表示及び環境特性を検出する例を示す。 一実施形態によるパノラマビューの例を示す。 いくつかの実施形態による1つ以上の方法を示すフローチャートである。 いくつかの実施形態による1つ以上の方法を示すフローチャートである。 いくつかの実施形態による1つ以上の方法を示すフローチャートである。 いくつかの実施形態による方法を示すフローチャートである。 いくつかの実施形態による受動反射器を装着したユーザ/視聴者を示す。 いくつかの実施形態による受動反射器を装着したユーザ/視聴者を示す。 いくつかの実施形態による受動反射器を装着したユーザ/視聴者を示す。 一実施形態による皮膚及び眼球上のハイライト反射を示す。 データ処理システムの例を示す。
視覚デバイスのための周囲の周辺光の検知、処理及び調整に関する例示的な実施形態について本明細書で説明する。以下の説明では、説明の目的で、本発明の完全な理解を提供するために、多数の特定の詳細が記載されている。しかし、本発明は、これらの特定の詳細なしに実施されてもよいことは明らかである。他の場合にも、本発明を不必要に閉塞、不明瞭又は曖昧にすることを回避するために、周知の構造及びデバイスは、詳細には記載されていない。
明細書において「一実施形態」又は「実施形態」への言及は、実施形態に関して記載される特定の特徴、構造又は特性が、本発明の少なくとも1つの実施形態に含まれることができることを意味する。明細書における様々な箇所に「一実施形態では」という語句が現れることは、必ずしも同じ実施形態を示すとは限らない。「光源」は、光を放射する物体(光子)を示すが、大量の光を反射又は透過する領域も示す。以下の図面に示すプロセスは、ハードウェア(例えば、回路、専用ロジック等)、ソフトウェア又は双方の組み合わせを含む処理ロジックによって実行される。これらのプロセスは、以下にいくつかの逐次的な動作に関して記載されるが、記載の動作のいくつかは、異なる順序で実行されてもよいことが認識されるべきである。さらに、いくつかの動作は、逐次的ではなく、並行して実行されてもよい。
一態様によれば、本開示の実施形態は、視聴者の位置に基づいて光源を検知するための方法及びシステムを提供する。システムは、室内の表示デバイスの視聴者によって装着されたウェアラブルデバイス(例えば、ウェアラブルヘッドセット)に取り付けられた1つ以上の光センサからセンサデータを受信し、光センサの視野は視聴者の視野をカバーする。ここで、光センサは、カメラで使用されるような無指向性若しくは指向性の単一ピクセル又はピクセルマトリックスセンサとすることができる。システムは、センサデータに基づいて、視聴者の視野内で感知される光源を識別する。システムは、光源の光源情報に少なくとも部分的に基づいて、光源によって引き起こされるコンテンツの輝度又は色の変化を補償するように、コンテンツを表示する表示デバイスによって実行されるべき1つ以上の動作のためのデータを視聴者に送信する。
一実施形態では、システムは、表示デバイスの表面の位置を決定し、光源の位置を決定して、光源が直接光源であるか反射光源であるかを決定することによって、光源が直接光源であるか、表示デバイスの表面から反射した反射光源であるかを決定する。一実施形態では、システムは、所定の期間にわたる光源の輝度の変化を追跡し、輝度の変化が緩やかであるか急激であるかを更に決定する。システムは、追跡された変化に基づく決定論的アルゴリズムを使用して光源の潜在的光源を決定する。
他の実施形態では、光源が反射光源である場合、システムは、表示デバイスの表面の平均輝度及び輝度の標準偏差を分析する。システムは、平均輝度及び輝度の標準偏差に基づいて反射光源が周辺光源であるかグレア光源であるかを識別する。他の実施形態では、グレア光源は、輝度の大きい標準偏差を有する表示デバイスの表面の部分を識別することによって識別される。
他の実施形態では、光源が反射光源又はグレア光源である場合、システムは、光源が制御可能であるか否かを識別する。光源が制御可能である場合、システムは光源の輝度を制御し、光源が制御可能である場合に光源を補償する。光源が制御可能でない場合、或いは制御後に表示画面から変化が検出されない場合、システムは、視聴者に対して視点位置の変更を示唆する。他の実施形態では、光源が制御可能であるか否かを決定することは、ローカルネットワーク上で室内のモノのインターネット(internet of things, IOT)に基づく光源を自動的に検出し、検出された光源のそれぞれを制御可能な光源として登録することを含む。
他の実施形態では、グレア光源は、ウェアラブルデバイスに取り付けられた1つ以上の光センサの左側光センサ及び右側光センサによって捕捉された画像の間の位置的不一致、又はウェアラブルデバイスの光センサの2つ以上の画像の間の時間的不一致を介して、1つ以上のアーチファクトを識別することによって識別される。他の実施形態では、視聴者によって装着されたウェアラブルデバイスに取り付けられた1つ以上の光センサは、それぞれ視聴者の左眼及び右眼の左側及び右側に、左側及び右側光センサを含む。
他の実施形態では、光源が直接光源として識別された場合、システムは、直接光源が視聴者の視野内にあるか否かを決定する。視聴者の視野内にある場合、システムは、直接光源から表示デバイスの表面のエッジまでの最短距離を決定する。システムは、決定された距離及び強度に基づいて実行されるべき1つ以上の動作のために、直接光源の強度を決定する。他の実施形態では、2人以上の視聴者が存在する場合、1つ以上の動作は、2人以上の視聴者のそれぞれの視野内にあるものとして感知される平均強度又は他の方法で重み付けされた強度に基づいて実行される。他の実施形態では、システムは、ウェアラブルデバイスに取り付けられた1つ以上の光センサの左側及び右側光センサによって捕捉された画像に基づいて、直接光源がウェアラブルデバイスを装着した視聴者の左眼の視野内にあるものとして感知されるか右眼の視野内にあるものとして感知されるか両眼の視野内にあるものとして感知されるかを決定する。
他の実施形態では、左側及び右側光センサの双方が直接光源を感知した場合、システムは、直接光源が視聴者の両眼に視認可能であると決定する。他の実施形態では、左側又は右側光センサの一方のみが直接光源を検知するが、双方が検知しない場合、システムは、センサの測定観察地点と、ウェアラブルデバイスから表示デバイスの表面までの距離で投影される、センサから視聴者の眼までの距離オフセットとに基づいて、視聴者の眼の観察地点を決定する。システムは、眼の観察地点が表示デバイスの表面の表面外側にあるか否かを決定する。外側にある場合、システムは、直接光源が両眼に視認可能でないと決定する。
他の実施形態では、システムは、ウェアラブルデバイスに取り付けられたモーションセンサに基づいて、ウェアラブルデバイスのモーションベクトルを決定する。システムは、眼の観察地点に基づいて、直接光源が、モーションベクトルに基づいて表示デバイスの表面によって閉塞されていると決定する。
一実施形態では、表示デバイスによって実行されるべき1つ以上の動作は、表示デバイスによって表示される最小黒色レベルを調整することと、表示デバイスのトーンマッピング特性を調整することとを含む。他の実施形態では、表示デバイスによって実行されるべき1つ以上の動作は、制御不能のグレア光源を補償するために手動アクションを行うように視聴者に通知することを含む。一実施形態では、1つ以上のセンサは、1つ以上の光トランスデューサ又は画像捕捉デバイスを含む。一実施形態では、表示デバイスによって実行されるべき1つ以上の動作のためのデータを送信することは、表示デバイスに対して、光源のタイプに基づいて実行されるべき1つ以上の動作のために、ルックアップテーブル(又はパラメトリック調整パラメータ)内のエントリを検索させ、1つ以上の動作を実行させる。
第2の態様によれば、光源を補償するための方法及びシステムの実施形態が開示される。システム(例えば、表示デバイスの表示システム)は、コンテンツを視聴者に表示する表示デバイスによって実行されるべき1つ以上の動作のためのデータを受信する。システムは、受信データから、視聴者の視野内にあるものとして感知される光源を識別する光源情報を取得する。システムは、光源によって引き起こされるコンテンツの輝度又は色の変化を補償するために、光源情報に基づいて実行されるべき1つ以上の動作についてルックアップテーブルを検索する。システムは、光源情報に少なくとも部分的に基づいて、1つ以上の動作を実行する。
第3の態様によれば、視聴者の表面(例えば、受動反射器又は顔の一部)上の反射に基づいて光源を識別するための方法及びシステムの実施形態が開示される。システムは、室内の表示デバイス上又はその近接若しくは近傍に取り付けられた1つ以上の光センサからセンサデータを受信し、1つ以上の光センサは、表示デバイスを視認する視聴者に向けられる。システムは、センサデータに基づいて、視聴者の受動表面上の光源の反射を識別する。システムは、反射に基づいて、グレア光源又は周辺光源となる光源を分析する。システムは、分析に少なくとも部分的に基づいて、1つ以上の動作を実行する。
表示デバイスは、前方向を向いている周辺光を捕捉するために、内蔵の光センサを含むことができる。これは、表示デバイスの表示パネルに入射する光の量を評価するのに有益であるが、この情報は、視聴者の視点から受ける光の量及び光源のタイプについての指示を与えない。したがって、視聴者が表示デバイスから画像/ビデオを利用するときに、表示デバイス(例えば、プロジェクタ、TV、ラップトップ、コンピュータディスプレイ又はモバイルデバイス)によるより正確な周辺光の調整及び補償を提供するために、光源測定を有することが有益である。環境センサは、視聴者の室内に配置できるが、必ずしも視聴者の視点から情報を捕捉しなくてもよい。他の実施形態では、表示デバイスが取り付け可能な環境センサを有する場合、ウェアラブルデバイスによって捕捉された周辺光は、捕捉された周辺光の推定を改善するために、表示デバイスの環境センサによって捕捉された光情報と比較できる。
図１Ａは、いくつかの実施形態による、ユーザ/視聴者が前方向及び横方向を向いている例示的な図を示す。図１Ａを参照すると、一実施形態では、視聴者は、1つ以上の光学センサを有する光検知システムを有するウェアラブルデバイス(例えば、ヘッドセット/ヘッドフォン又は拡張現実/仮想現実ヘッドマウントディスプレイ(augmented reality/virtual reality head mounted display, AR/VR HMD)等)100を装着する。一実施形態では、光学センサは、視聴者が向いている方向と同期して回転する。光/光学センサは、視聴者の視野と同様の視野/重複した視野を有する円錐視野内の光を捕捉する画像センサ及び/又は光トランスデューサとすることができる。視聴者の室内の重要な位置に配置された静的な環境センサとは異なり、ヘッドセット100は、リアルタイムで視聴者の視野を識別できる。図１Ａを参照すると、一実施形態では、光検知システムは、視聴者の視野内の光強度を検知できる。光検知システムは、所定の検知円錐を有する前方向の光検知、所定の検知円錐を有する前方向及び後方向の光検知、又は全方向の光検知球体の構成を含むことができる。
一実施形態では、光検知システムは、表示画面に入射する周辺光に関する情報と、表示画面の領域の外側の表示画面の背後からの直接光の情報とを有する視野を識別できる。一実施形態では、光検知システムは、視聴者にとって視認可能であるが、壁に取り付けられた光センサ又は表示デバイスに取り付けられた光センサのように、室内の他の場所に配置されたセンサからは見えない可能性があるコンテンツ/光源を識別できる。他の実施形態では、光検知システムは、ヘッドセット100が無線及び可動とすることができるので、可動(屋内又は屋外)とすることができる。他の実施形態では、光検知システムは、一人称の視野の光情報を表示デバイスに送信して、視聴者により視認可能な表示デバイスによって表示されるコンテンツのカラー外観を調整できる。
図１Ｂは、一実施形態による、光検知システムを有するヘッドセットの例示的なブロック図を示す。図１Ｂを参照すると、ヘッドセット100は、光検知システム110を含む。光検知システム110は、センサの視野についての周辺光及びグレアを検出できる。光検知システム110は、周辺光を検出するための全方向性光センサ121と、方向性光源の位置及び配置を検出するための空間光センサ122とを含むことができる。光検知システム110はまた、ヘッドセットの位置及び向きを測定して視聴者のリアルタイム視野を決定するための慣性測定ユニット(inertial measurement unit, IMU)123を含むことができる。IMU123は、位置、向き及び動作検知のためにMEMS加速度計及び/又はジャイロスコープの組み合わせを含むことができる。
一実施形態では、光センサ121～122は、光を電気信号に変換する1つ以上の光トランスデューサとして実装できる。他の実施形態では、光センサ121～122は、左側光学カメラ及び右側光学カメラ、又は単一カメラとして実装できる。一実施形態では、全方向性光学センサに関して、光源(及び閉塞)は、IMU123の他の位置センサ及び/又は加速度センサを使用して検出及び補償できる。
図２Ａ～図２Ｂは、一実施形態による、表示デバイスの画面上の反射のタイプを使用した照明/光検知の例を示す。一実施形態では、周辺光源を識別するために、ヘッドセットの光検知システムの光センサ(カメラ等)は、視聴者の視野を識別できる。識別された視野に基づいて、システムは、表示デバイスの黒色領域(例えば、表示パネル)を識別できる。一実施形態では、識別は、表示デバイスにコンテンツ(例えば、黒と白とのパルス)を能動的に表示させ、検知システムが表示パネルを検出することを可能にするために、要求を表示デバイスに送信できる。識別された表示画面領域に基づいて、システムは、その領域の平均輝度及び標準偏差を分析し、典型的な視認条件について検出された光源のタイプ(例えば、周辺又はグレア)を識別する。光検知システムの物理的な動き/揺れは、捕捉された情報に影響を与えないはずである。この理由は、光センサによって捕捉された光情報は、表示領域にわたって平均化されるからである。一実施形態では、慣性測定ユニット(IMU)を有する光検知システムは、視聴者からの極端な動き及び/又は揺れを追跡して補償できる。
図２Ａを参照すると、例えば表示画面がオフにされたときに、顕著な周辺光を伴わない背景照明レベルを有する表示画面は、基準照明条件として捕捉される。図２Ｂを参照すると、表示画面は、周辺光、例えば、周辺の寄与と組み合わされた基準照明条件で捕捉される。捕捉された画素を使用して、また、基準と比較して、表示領域にわたって平均化された強度及びこれらの画素の標準偏差を有する周辺光の量が計算できる。次に、計算された平均強度及び標準偏差の値を使用して、照明条件が分析できる。
光分析アルゴリズムの擬似コードにおける例示的な関数は、以下のようにすることができる。
FUNCTION AssessCompensation(PatchLum,PatchSdDev)
IF PatchLum==high && PatchStdDev==small
AmbientCondition=‘higher ambient’;
Compensate_for_diffuse ambient_light
ELSEIF PatchLum==high && PatchStdDev==larger
AmbientCondition=‘higher ambient’;
Compensate_for_glare_and_ambient_light(DistanceInPx,LightSourceIntensity);
ELSE
%PatchLum==low
AmbientCondition=‘dark room’;
END
END
ここで、輝度強度が強度閾値(例えば、高い方)よりも高く、標準偏差(standard deviation, SD)がSD閾値(例えば、大きい方)よりも大きい場合、グレアと周辺光との双方が存在する可能性があり、システムはグレアと周辺光との双方を補償すべきである。輝度強度が高く、SDがSD閾値(例えば、小さい方)よりも小さい場合、主として散乱周辺光が存在し、システムは、周辺光を補償できる(補償閾値が満たされる場合)。輝度強度が強度閾値(例えば、低い方)よりも低い場合、アクションは行われない。したがって、専用の較正セッションの必要性が低減され、画質が改善できる。
一実施形態では、光分析アルゴリズムは、所定の期間にわたる周辺条件について学習できる。学習されるべきパラメータは、視聴者による典型的な視認条件、個々の光源の特性(例えば、制御可能か否か、位置及び/又は輝度若しくは色)、視聴者が視認可能な表示デバイス、室内における材料の反射率、及び表示デバイスのディスプレイのサイズ又は他の幾何学的特性(例えば、湾曲したパネル)を含むことができる。例えば、特定の光源の光強度が徐々に及び/又は緩やかに変化する場合、この光源は、視聴者の制御下にない太陽又は屋外光源である可能性が高い。このような光源については、システムは、光源を視聴者に通知することができ、及び/又は制御可能であることを条件として、室内のブラインドを制御するような制御を自動的に調整することができる。他の例では、特定の光源の光強度が急激に変化する場合、システムは、トリガがネットワーク上で光検知システムによって検出可能であることを条件として、(例えば、光スイッチ又はモバイルデバイスを介して)制御可能な光源がトリガされたか否かを検査できる。システムはまた、識別された光源の照度レベルを評価できる。補償するために、システムは、光源について視聴者に通知し、及び/又は表示デバイスのディスプレイにおける周辺反射及び/又はグレア反射を調整するようにトリガされた光を直接制御できる。更に他の例では、光源の直接反射は、a)表示デバイスのアクティブ表示領域によって反射されるものとして、或いは、b)TVの背後(例えば、直接光)として見える。補償するために、システムは、光源について視聴者に通知し、及び/又は調整可能な光源を直接制御できる。したがって、システムは、時間と共に視聴者の視認体験を改善できる。
一実施形態では、光検知システムは、光源に対処するためのアクションを決定するためのフィードバック機構を含むことができる。例えば、システムは、表示画面上で反射された光源が制御可能であるか否かを識別してもよい。次いで、システムは、室内の光源の強度を調整するように光源を自動的に制御できる。光の強度の変化がヘッドセットの光検知システムによって検出された場合、システムは、周辺/グレアを補償するために光強度を更に変更でき、或いは、視認位置を変更するように視聴者に提案/確認でき、或いは、調整されている光源に関する情報に基づいてどの光源が周辺/グレアの反射を引き起こしているかを視聴者に通知できる。変化が検出されない場合、システムは、視認位置を単に変更するように或いはグレアがもはや検出不能になるまで変更するように視聴者に提案でき、或いは、視聴者に室内の照明を手動で薄暗くするように提案できる。
図３は、一実施形態による、表示画面から反射したグレアの検出の例を示す。図３を参照すると、表示画面(例えば、表示デバイス)は、グレア及び散乱周辺光反射を含む。グレア成分は、激しいハイライト(約数百～数千cd/m2)を引き起こすが、周辺光成分は、典型的には、より少ないもの(約数個～数十cd/m2)を引き起こす。一実施形態では、表示デバイスがグレア輝度に近似するか或いはそれよりも高い画素輝度を生成できる場合、表示デバイス上のピクチャ忠実度は、画面上のレンダリングを変更することによって改善できる。一実施形態では、グレア成分は、表示反射における高強度ハイライトを見ることによって検出できる。表示反射強度が所定の閾値を超えた場合、グレアが存在する。他の実施形態では、グレアは、高強度を有する所定のパーセンテージ(例えば、90%又は上位10%)の検出画素を分析することによって検出でき、そのパーセンテージは、表示画面の特性(マット又は光沢)に依存する。より高いパーセンテージの画素に基づいて、大きい変動(又は標準偏差)が存在する場合、グレアが存在する。他の実施形態では、補償されるべき強度の程度は、分析されたパーセンテージに基づいて決定できる。例えば、補償は、50%の強度値に基づくものとすることができる。
図４Ａ～４Ｃは、実施形態による、表示画面におけるアーチファクト(ここでは、図４Ｃに示すような卓上ライト)からのグレアの検出の例を示す。最初に、グレアは画面内の光強度における大きい標準偏差(SD)によって示されることができるが、表示画面がコンテンツを表示している場合、大きいSDは表示画面のコンテンツの一部である可能性があり、システムはグレアを識別できない。一実施形態では、コンテンツが示されている場合、グレアが存在するか否かを決定するために、1つ以上のアーチファクト(ハイライト等)が捕捉できる。アーチファクトは、光検知システムの左側カメラ及び右側カメラによって捕捉された左側画像と右側画像との間の位置的不一致によって識別できる。他の実施形態では、アーチファクトは、シーンカットに基づいて変化しないアーチファクトの常時存在を識別することによって識別できる。他の実施形態では、表示された静止ロゴをグレアとして検出することを回避するために、光源であることが疑わしいピクチャ領域は、視聴者のヘッドセットの動きに基づいて(例えば、モーションセンサを使用して)動きについて分析できる。疑わしい光源の動きと視聴者の動きが相関する場合、それは光源である可能性が高く、そうでない場合、表示されている静止ロゴである。
図４を参照すると、卓上ライト(図４Ｃに参照として図示する)が表示画面から反射している場合、アーチファクトは、左側及び右側カメラの捕捉画像の双方においてハイライトされる。左側画像及び右側画像からの位置的不一致を計算して、光検知システムは、表示画面のコンテンツの一部ではないアーチファクトを識別できる。アーチファクトに基づいて、システムは、アーチファクトのグレア強度に基づいて画像に対してグレア補償を適用できる。他の実施形態では、三角測量に基づいて、システムは、視聴者に対する室内の光源(例えば、ライト)の位置を計算できる。識別された光源位置に基づいて、システムは、例えば、室内の利用可能な光源の情報を記憶するモノのインターネット(Internet of things, IOT)データベース内の位置ラベルに基づいて光源識別子(ID)を検索することによって、光源が制御可能であるか否かを決定することができる(どの光源が制御可能であるかは以前に学習されている)。システムはまた、音声アシスタント(例えば、Amazon Alexa、Apple Siri等)に、どの光源がグレアを引き起こしているかを視聴者に指示するように要求できる。例えば、音声アシスタントは、「あなたの右側の背後のライトがグレアを引き起こしています。電源を切ってください」と指示してもよい。
左側画像及び右側画像の位置的不一致からアーチファクト及びアーチファクトの強度を見つけるための擬似コードの例は、以下のようにすることができる。
FindMaxPixels=max(abs(LeftImage-RightImage));
GlareIntensity=Mean(LeftImage(FindMaxPixels));
図５Ａ～５Ｇは、いくつかの実施形態による、異なるレベルのグレア評価の例を示す。散乱周辺光の検知(及びその後の補正)に加えて、システムはまた、アクティブ表示領域の外側の直接視認可能な「シャープ」なハイライト及び放射光を検知して緩和できる。図５Ａを参照すると、アクティブ表示領域を捕捉する画像は、図１Ｂのシステム110のような、光検知システムのいずれかの光センサによって捕捉される画像に対応できる。ここで、薄暗い背後の周辺光でアクティブ表示領域が識別された場合、背面光が散乱して薄暗くなり、かなりのレベルのグレアを引き起こさないので、グレア補償は必要とされない。図５Ｂを参照すると、システムがアクティブ表示領域を取り囲む1つ以上の光源を検出したが、表示デバイスのベゼル(例えば、TVベゼル)から遠く離れている場合(アクティブ表示領域と比較して閾値距離よりも大きい場合)、光源が表示デバイスのベゼルから遠く離れており低減したレベルのグレアを引き起こすので、中間グレア補償を適用できる。図５Ｃを参照すると、システムがアクティブ表示領域の中間領域を取り囲む光源を検出した場合(例えば、アクティブ表示領域と比較して閾値距離未満である場合)、検出された光源は表示デバイスのベゼルに近接しておりかなりのレベルのグレアを引き起こすので、システムは、完全グレア補償を適用する。
図５Ｄ～５Ｆは、それぞれ、図５Ａ～５Ｃに対応できる。一実施形態では、画像に基づいて、システムは、光源及びアクティブ表示領域の画素のクラスタをマスクするバイナリ画像を作成できる。ここで、画素のクラスタは、光源LS1、LS2及びLS3並びにアクティブ表示領域としてラベル付けされて識別できる。次に図５Ｇを参照すると、システムは、各光源からアクティブ表示領域のエッジまでの最も近い距離(例えば、グレアオフセット)を計算するために距離計算を適用する。次に、光源及び測定計算は、(アクティブ表示領域の)表示デバイスに送信され、表示デバイスに対して、グレア補償モデルに基づくグレア補償アルゴリズムを、表示デバイスに表示されるべき画像/ビデオに適用させる。グレア補償モデルは、アクティブ表示領域までの光源の距離及び検出されたアクティブ表示領域の強度に基づいて適用できる。複数の光源については、表示デバイスは、アクティブ表示領域に最も近い光源又は光源の平均についてアルゴリズムを適用できる。
グレア補償アルゴリズムの擬似コードは以下のようにすることができる。
FUNCTION Compensate_for_glare_and_ambient_light(DistanceInPx,LightSourceIntensity)
GlareOffset=GlareModel(DistanceInPx,LightSourceIntensity);
ImgDisplayed=CompensateAmbient(GlareOffset,SrcImgIn);
END
一実施形態では、グレア補償モデルは、光源からアクティブ表示領域までのスカラ距離に基づいて適用できる。他の実施形態では、グレア補償モデルは、光源からアクティブ表示領域までの距離、アクティブ表示領域のサイズ及びアクティブ表示領域までの視聴者の距離に基づいて適用できる。したがって、グレア補償モデルは、視聴者の眼におけるグレアの知覚的低下、例えば、光源強度及びアクティブTV領域までの光源の距離の関数を予測することである。
図６Ａ～６Ｃは、いくつかの実施形態による、視聴者の位置に基づくグレア補償の例を示す。光検知及び散乱周辺光の補償に加えて、システム光検知システムは、視聴者に直接見える「シャープ」なハイライト及び放射光を補償できる。図６Ａを参照すると、2人の視聴者がそれぞれ位置A及びBに座っている。位置A及びBの視聴者は、それぞれヘッドセット601～602を装着し、ヘッドセット601～602のそれぞれは、図１Ｂの光検知システム110のような光検知システムを含む。ヘッドセット601～602の光検知システムは、視聴者によって視認可能な周辺及びグレア光の位置及び強度を有する視野を識別できる。図６Ｂ～６Ｃは、それぞれヘッドセット601～602によって識別される例示的な視点である。ここで、ヘッドセット601は、明るいグレアを検出するので、ヘッドセット601は、データを表示デバイス603(図１Ａの表示デバイス102と同様)に送信し、位置Aの表示デバイス603の視聴者がグレアを見ることができることを通知できる。同様に、ヘッドセット602は、周辺光のみを検出し、ヘッドセット602は、データを表示デバイス603に送信し、位置Bの視聴者が周辺光のみを見ることを表示デバイス603に通知できる。ヘッドセット601～602からデータを受信したことに応じて、表示デバイス603は、明るい光源が表示デバイス603のベゼルに非常に近くにあるように検出され、かなりのレベルのグレアを引き起こすので、位置Aの視聴者に対して完全グレア補償が実行されるべきであると決定できる。表示デバイス603はまた、ヘッドセット602がグレア光源を識別しなかった(例えば、直接光源が閉塞されている)ので、位置Bの視聴者に対してグレア補償及び/又は周辺補償が必要ないと決定できる。集約すると、2人の視聴者が表示デバイス603を共有しているので、表示デバイス603は補償の平均化を実行でき、補償の平均又は所望の重み付けが、2人の視聴者についての表示デバイス603のコンテンツに適用され、例えば、周辺補償を伴う半グレア補償が、2人の視聴者についての表示デバイス603上に表示されるコンテンツに適用される。図６Ａ～６Ｃは、2人の視聴者のみを示しているが、如何なるの数の視聴者もサポートできる。
図７Ａ～７Ｃは、一実施形態による、モーションベクトルに基づくセンサ閉塞検出の例を示す。モーションベクトルは、光検知システムを有するヘッドセットについてのグレア閉塞検出の精度を改善できる。典型的には、ヘッドフォンに取り付けられた光センサは、視聴者の眼と比較して更に外側にある。視聴者が視点の位置を調整すると、センサによって検出された光源は、視聴者の眼から閉塞される前に、センサから閉塞される(或いは遮られる)。図７Ａ～７Ｃは、この概念を示すことができる。図７Ａを参照すると、視聴者は、図１Ｂのシステム110と同様に、光検知システムを有するヘッドセットを装着する。光検知システムは、それぞれ視聴者の左眼及び右眼に対する左側及び右側光センサを含む。最初に、視聴者は両眼で見ることができ、左側及び右側光センサの双方は、最初に光源を検出できる。図７Ｂを参照すると、視聴者が右に移動するにつれて、光源(例えば、グレア)は、もはや右側センサによって検出できない。ここで、左側センサのみが光源を検出でき、光源は、視聴者の両眼によって視認可能である。図７Ｃに示すように、ユーザが右に移動するにつれて、光源は左側センサのみによって検出可能であり、光源は、視聴者の左眼によってのみ視認可能である。
上記の考察に基づいて、ヘッドセットは、視聴者の位置を評価して視聴者が移動したか否かを決定するために、ヘッドセットのモーションベクトルを(例えば、光検知システムのIMU、MEMS、加速度計及び/又はジャイロスコープセンサによって)測定できる。次に、ヘッドセットは、双方のセンサがグレア光源を検知したか否かを決定する。検知した場合、システムはデータを表示デバイスに送信し、表示デバイスに対して完全グレア補償を適用するように命令する。1つのセンサのみが明るい光源を検知した場合、システムは、視聴者の少なくとも1つの眼が光源を視認できるか否かを決定する。双方のセンサが閉塞されている場合、システムはグレア補償が必要とされないと決定する。ここで、図７Ａ～７Ｃは、右眼のみの例を示しているが、視聴者の左眼にも同様の概念が適用できる。
図８は、一実施形態による、センサの測定観察地点及び眼の実際の観察地点の例を示す。図８の概念は、表示デバイス(例えば、TV)の背後にある光源が所与の観察地点、例えば、光源が視認される視点又は位置若しくは立場から視認可能であるか否かを示すものである。センサと視聴者の眼との間にはオフセットが存在するので、光源は、センサによって検知されない場合であっても、視聴者の眼に視認可能である可能性があるので、眼の観察地点が推定される必要がある。1つ以上のセンサが明るい光源を検知した場合、システムは、観察地点推定/測定技術を使用して、光源が視聴者の眼の何れに対しても視認可能でないか、片眼に対して視認可能であるか、両眼に対して視認可能であるかを決定できるべきである。ここで、眼の実際の観察地点は、視聴者の眼によって実際に視認可能な視野を示す。センサの測定観察地点は、センサの視野を示す。眼の推定観察地点は、視聴者の眼による推定視野を示す。センサの測定観察地点は、1つ以上のセンサの位置に基づいて測定でき、眼の観察地点は、視聴者の眼の推定観察地点及び視聴者の眼の推定位置へのセンサのオフセットに基づいて推定できる(例えば、点線の円)。
図８を参照すると、センサの所与の測定観察地点及び視聴者の眼の実際の観察地点についての光源が、右側センサ/右眼の対について横に並べて示されている。センサの観察地点を参照すると、点線の円は、眼の観察地点についての推定位置を表す。ここで、センサの測定観察地点と眼の推定観察地点との間の距離は、視聴者から表示デバイスまでの距離と、センサと視聴者の眼との間の距離とに基づいて計算できる。例えば、推定の光源(点線の円)が計算され、表示デバイスの平面上に投影でき、ここで、推定の光源の位置は、眼までのセンサの位置距離、及び表示デバイスまでの視認距離に基づいて計算される。ユーザが移動するので、眼の推定観察地点は動的である点に留意する。視聴者が右に移動すると、眼の観察地点の推定位置が右にシフトする(右にシフトする眼の推定観察地点によって示される)。次いで、眼の推定観察地点は、光源が視聴者の眼によって視認可能であるか否かを決定するために表示アルゴリズムによって使用できる。同様のことが、右側センサ又は左側センサ/右眼又は左眼の対について推定できる。
図９Ａ～９Ｂは、いくつかの実施形態による照明補償の例を示す。図９Ａ～９Ｂを参照すると、光源1(LS1)は、視聴者のヘッドセットから光センサによって検出された光源を表し、OL1は、LS1へのオフセットを表し、光源についての眼の推定観察地点からセンサの測定観察地点へのオフセットを表す。図９Ａを参照すると、ヘッドセットのセンサ(例えば、右側センサ)は、LS1を検知でき、モーションベクトルは、視聴者が視認位置を調整していることを表す。ここで、視聴者は右に或る距離を移動している。図９Ｂを参照すると、モーションベクトルに基づいてセンサの観察地点がLS1をもはや検出しない場合、システムは、光源LS1がセンサから閉塞されているか或いは表示デバイス(例えば、TV)の表面領域によってカバーされているかを決定する。そうでない場合、グレア補償が適用される。そうである場合、システムは、センサから閉塞されたLS1が、視聴者の右瞳(例えば、右眼)からセンサまでの推定オフセット距離に基づいて、視聴者によって視認可能であるか否かを決定する。そうである場合、グレア補償が適用される。
補償の擬似コードの例は、以下のようにすることができる。
WHILE Displaying_Content
LS1=GetPosition_of_LS()
IF LS1==occluded from the sensor (compared to previous measurement)
EyePosition=LastLightSourcePos-EyeOffset
IF EyePosition==occluded by TVarea
No_Compensate_for_glare_and_ambient_light()
ELSE
Compensate_for_glare_and_ambient_light()
END
ELSE
Compensate_for_glare_and_ambient_light()
END
END
右側センサ及び右眼のみが示されているが、同様の概念が左側センサ/左眼に適用できる。
図１０は、一実施形態による、アクティブ光源を使用して表示及び環境特性を検出する例を示す。一実施形態では、図１Ｂのシステム110のようなヘッドセットに取り付けられた光検知システムは、アクティブ光源を含むことができる。アクティブ光源は、光検知システム及び/又は表示デバイス較正のためにオン及びオフを切り替えることができる。アクティブ光源はまた、表示デバイスの光センサを較正するために使用できる。例えば、アクティブ光源は、表示デバイスの表示表面の特性(例えば、光沢レベル、視聴者までの距離)を識別するために使用できる。アクティブ光源はまた、ヘッドセット内のアクティブ光源の特性が予め決定されている場合には、背景の反射率特性を較正できる。アクティブ光源の例は、発光ダイオード(light emitting diode, LED)、白熱灯、又は電気光源のいずれかの組み合わせを含むことができる。図１０を参照すると、表示デバイスの反射特性(例えば、マット又は光沢ディスプレイ)を識別するために、光検知システムは、アクティブ光源を作動させ、表示デバイスからのグレア反射を生成できる。検知されたピーク輝度は、反射から計算できる。反射特性は、ピーク輝度の周囲の勾配降下を分析して識別できる。例えば、急激な勾配降下は、ディスプレイについての高レベルの光沢を示すことができる。ここで、光沢ディスプレイは、マットディスプレイよりも鋭い勾配降下を有する。
図１１は、一実施形態によるパノラマビューの例を示す。図１１を参照すると、ヘッドセット/HMD内の光センサが、表示デバイス(図示のようなTV)を含む室内の広角視野又はパノラマを捕捉できる場合、周辺光源について方向情報が決定されてもよい。したがって、TVの表面への角度を捕捉することによって、周辺光補償のために周辺光の方向が考慮できる。
図１２Ａ～１２Ｃは、いくつかの実施形態による1つ以上の方法を示すフローチャートである。図１２Ａ～１２Ｃを参照すると、プロセス1200、1210及び/又は1220は、ソフトウェア、ハードウェア又はこれらの組み合わせを含み得る処理ロジックによって実行されてもよい。例えば、プロセス1200、1210及び/又は1220は、図１Ｂの光検知システム110によって実行されてもよい。図１２Ａを参照すると、ブロック1201において、処理ロジックは、室内の表示デバイスの視聴者によって装着されたウェアラブルヘッドセットに取り付けられた1つ以上の光センサからセンサデータを受信し、光センサの視野は視聴者の視野をカバーする。ブロック1202において、処理ロジックは、センサデータに基づいて、視聴者の視野内にあるものとして感知される光源を識別する。ブロック1203において、処理ロジックは、光源の光源情報に少なくとも部分的に基づいて、光源によって引き起こされるコンテンツの輝度又は色の変化を補償するように、コンテンツを表示する表示デバイスによって実行されるべき1つ以上の動作のためのデータを視聴者に送信する。
一実施形態では、処理ロジックは、所定の期間にわたる光源の輝度の変化を追跡し、輝度の変化が緩やかであるか急激であるかを決定する。処理ロジックは、追跡された変化に基づく決定論的アルゴリズムを使用して光源の潜在的光源を決定する。
図１２Ｂを参照すると、ブロック1211において、処理ロジックは、光源が直接光源であるか、表示デバイスの表面から反射した反射光源であるかを決定する。一実施形態では、処理ロジックは、まず、表示デバイスの表面の位置を決定し、次いで、光源の位置を決定して、光源が直接光源であるか反射光源であるかを決定する。ブロック1212において、光源が反射光源である場合、処理ロジックは、表示デバイスの表面の平均輝度及び輝度の標準偏差を分析する。ブロック1213において、処理ロジックは、平均輝度及び輝度の標準偏差に基づいて反射光源が周辺光源であるかグレア光源であるかを識別する。ブロック1214において、一実施形態では、グレア光源は、輝度の大きい標準偏差を有する表示デバイスの表面の部分を識別することによって識別される。ブロック1215において、一実施形態では、グレア光源は、ウェアラブルヘッドセットに取り付けられた1つ以上の光センサの左側光センサ及び右側光センサによって捕捉された画像の間の位置的不一致を介して、1つ以上のアーチファクトを識別することによって識別される。
一実施形態では、光源が反射光源である場合、処理ロジックは、光源が制御可能であるか否かを識別する。光源が制御可能である場合、処理ロジックは光源の輝度を制御し、光源が制御可能である場合に光源を補償する。光源が制御可能でない場合、或いは制御後に表示画面から変化が検出されない場合、処理ロジックは、視聴者に対して視点位置の変更を示唆する。他の実施形態では、光源が制御可能であるか否かを決定することは、ローカルネットワーク上で室内のモノのインターネット(internet of things, IOT)に基づく光源を自動的に検出し、検出された光源のそれぞれを制御可能な光源として登録することを含む。他の実施形態では、視聴者によって装着されたウェアラブルヘッドセットに取り付けられた1つ以上の光センサは、それぞれ視聴者の左眼及び右眼の左側及び右側に、左側及び右側光センサを含む。
図１２Ｃを参照すると、ブロック1221において、処理ロジックは、光源が直接光源であるか、表示デバイスの表面から反射した反射光源であるかを決定する。ブロック1222において、光源が直接光源として識別された場合、処理ロジックは、直接光源が視聴者の視野内にあるか否かを決定する。ブロック1223において、視聴者の視野内にある場合、処理ロジックは、直接光源から表示デバイスの表面のエッジまでの最短距離を決定する。ブロック1224において、処理ロジックは、決定された距離及び強度に基づいて実行されるべき1つ以上の動作のために、直接光源の強度を決定する。
一実施形態では、2人以上の視聴者が存在する場合、1つ以上の動作は、2人以上の視聴者のそれぞれの視野内にあるものとして感知される平均強度に基づいて実行される。他の実施形態では、処理ロジックは、ウェアラブルヘッドセットに取り付けられた1つ以上の光センサの左側及び右側光センサによって捕捉された画像に基づいて、直接光源がヘッドセットを装着した視聴者の左眼の視野内にあるか右眼の視野内にあるか両眼の視野内にあるかを決定する。
他の実施形態では、左側及び右側光センサの双方が直接光源を感知した場合、処理ロジックは、直接光源が視聴者の両眼に視認可能であると決定する。他の実施形態では、左側又は右側光センサの一方のみが直接光源を検知するが、双方が検知しない場合、処理ロジックは、センサの測定観察地点と、ウェアラブルデバイスから表示デバイスの表面までの距離で投影される、センサから視聴者の眼の視点までの距離オフセットとに基づいて、視聴者の眼の観察地点を決定する。処理ロジックは、眼の観察地点が表示デバイスの表面の表面外側にあるか否かを決定する。外側にある場合、処理ロジックは、直接光源が両眼に視認可能でないと決定する。
他の実施形態では、処理ロジックは、ヘッドセットに取り付けられたモーションセンサに基づいて、ヘッドセットのモーションベクトルを決定する。処理ロジックは、眼の観察地点に基づいて、直接光源が、モーションベクトルに基づいて表示デバイスの表面によって閉塞されていると決定する。
一実施形態では、表示デバイスによって実行されるべき1つ以上の動作は、表示デバイスによって表示される黒色レベルを調整すること、及び/又は表示デバイスのトーンマッピング特性を調整することを含む。他の実施形態では、表示デバイスによって実行されるべき1つ以上の動作は、制御不能のグレア光源を補償するために手動アクションを行うように視聴者に通知することを含む。一実施形態では、1つ以上のセンサは、1つ以上の光トランスデューサ又は画像捕捉デバイスを含む。一実施形態では、表示デバイスによって実行されるべき1つ以上の動作のためのデータを送信することは、表示デバイスに対して、光源のタイプに基づいて実行されるべき1つ以上の動作のために、ルックアップテーブル(又はパラメトリック調整パラメータ)内のエントリを検索させ、1つ以上の動作を実行させる。
図１３は、いくつかの実施形態による方法を示すフローチャートである。図３を参照すると、プロセス1300は、ソフトウェア、ハードウェア又はこれらの組み合わせを含み得る処理ロジックによって実行されてもよい。例えば、プロセス1300は、図１Ａの表示デバイス102によって実行されてもよい。図１３を参照すると、ブロック1301において、処理ロジックは、コンテンツを視聴者に表示する表示デバイスによって実行されるべき1つ以上の動作のためのデータを受信する。ブロック1302において、処理ロジックは、受信データから、視聴者の視野内にあるものとして感知される光源を識別する光源情報を導出(又は取得)する。ブロック1303において、処理ロジックは、光源によって引き起こされるコンテンツの輝度又は色の変化を補償するために、光源情報に基づいて実行されるべき1つ以上の動作についてルックアップテーブルを検索する。ブロック1304において、処理ロジックは、光源情報に少なくとも部分的に基づいて、1つ以上の動作を実行する。
図１４Ａ～１４Ｃは、いくつかの実施形態による受動反射器を装着したユーザ/視聴者を示す。図１４Ａ～１４Ｃを参照すると、視聴者は、グレア検出のための電子機器又は他の能動機器を搭載する必要はない。その代わりに、グレアが視聴者の視点から視認可能である場合、(例えば、TV内の)カメラによって捕捉された画像/ビデオによってグレアが評価でき、視聴者の眼の近くの反射面(視聴者によって装着される受動反射器、又は視聴者の顔の表面(額、頬、鼻等))における反射を分析できる。一実施形態では、視聴者は、大きさがより小さいミラー型の半ドームに似た反射面を有する受動反射器を装着する。ミラー型の半ドームは通路の交差点、コーナー付近の入口にあるセキュリティミラーである点に留意する。ここで、表示デバイス(例えば、TV)に取り付けられたカメラは、(例えば、顔検出又は眼追跡アルゴリズムを介して)視聴者の顔(及び眼)を追跡できる。次いで、表示デバイスは、反射器から来るかなりの反射が存在するか否かを識別できる。
視聴者が、例えばグレアを引き起こす画面の背後にある光源を知覚できる場合、この光源はまた、受動反射器からも反射する。光源が視認可能でない場合、光源は受動反射器において反射されるべきでない。一実施形態では、表示デバイスは、反射を分析(又は評価)し、光源がグレアであるか周辺光源であるかを決定できる。一実施形態では、表示デバイスは、グレア評価の期間に、表示デバイスがオフ又は低輝度に切り替えられることを視聴者に通知できる。評価が長い期間を有する場合、表示デバイスは、グレア評価のために、表示されているコンテンツの一部であるライト(時間と共に変化する)を、視聴者の周辺のアクティブなライト(時間と共に変化しない)から分離できる。一実施形態では、光源の位置はまた、受動反射器の表面上の反射の位置に基づいて評価できる。評価に基づいて、表示デバイスは、光源によって引き起こされるコンテンツの輝度又は色の変化を補償するために、(上記のように)幾つかの修正動作を実行できる。
いくつかの実施形態では、受動反射器は、いずれかの種類の表面とすることができ、例えば、半球でない表面からの反射が使用できる(例えば、光沢ガラスフレーム、時計、ジュエリー等)。他の実施形態では、視聴者は、必ずしもいずれかのタイプの反射器を装着するとは限らず、むしろ、視聴者の顔の一部の表面が受動反射器として作用できる。図１４Ｄは、一実施形態による、視聴者の顔の皮膚及び眼球上のハイライト反射を示す。図１４Ｄを参照すると、皮膚(前額部等)及び眼球の反射が、グレアの方向及び強度を評価するために使用できる。
様々な例示的な実施形態では、装置、デバイス、システム、表示管理システム、表示コントローラ又は1つ以上の他の計算デバイスは、上記の方法のいずれか又は一部を実行する。一実施形態では、非一時的なコンピュータ読み取り可能記憶媒体は、ソフトウェア命令を記憶し、1つ以上のプロセッサによって実行されると、本明細書に記載の方法の実行を引き起こす。
別個の実施形態が本明細書で議論されるが、本明細書で議論される実施形態及び/又は部分的な実施形態のいずれかの組み合わせが、更なる実施形態を形成するために組み合わされてもよい点に留意する。
一実施形態によれば、本明細書に記載の技術は、1つ以上の特殊目的の計算デバイスによって実装される。特殊目的の計算デバイスは、技術を実行するために配線接続されてもよく、或いは、技術を実行するために永続的にプログラムされた1つ以上の特定用途向け集積回路(application-specific integrated circuit, ASIC)又はフィールドプログラマブルゲートアレイ(field programmable gate array, FPGA)のようなデジタル電子デバイスを含んでもよく、或いは、ファームウェア、メモリ、他の記憶装置又はこれらの組み合わせの中のプログラム命令に従って技術を実行するようにプログラムされた1つ以上の汎用ハードウェアプロセッサを含んでもよい。このような特殊目的の計算デバイスはまた、カスタム配線ロジック、ASIC又はFPGAをカスタムプログラミングと組み合わせて、技術を達成してもよい。特殊目的の計算デバイスは、デスクトップコンピュータシステム、ポータブルコンピュータシステム、ハンドヘルドデバイス、ネットワーキングデバイス、又はこの技術を実施するために配線及び/又はプログラムロジックを組み込んだいずれかの他のデバイスでもよい。
例えば、図１５は、本発明の例示的な実施形態が実装できるコンピュータシステム500を示すブロック図である。コンピュータシステム500は、情報を通信するためのバス502又は他の通信メカニズムと、情報を処理するためのバス502と結合されたハードウェアプロセッサ504とを含む。ハードウェアプロセッサ504は、例えば、汎用マイクロプロセッサでもよい。
コンピュータシステム500はまた、プロセッサ504によって実行されるべき情報及び命令を記憶するために、バス502に結合されたランダムアクセスメモリ(random access memory, RAM)又は他の動的記憶デバイス装置のようなメインメモリ506を含む。メインメモリ506はまた、プロセッサ504によって実行されるべき命令の実行中に、一時変数又は他の中間情報を記憶するために使用されてもよい。このような命令は、プロセッサ504にアクセス可能な非一時的な記憶媒体に記憶されると、コンピュータシステム500を、命令に指定された動作を実行するようにカスタマイズされた専用マシンにする。
コンピュータシステム500は、プロセッサ504のための静的情報及び命令を記憶するために、バス502に結合された読み取り専用メモリ(read only memory)508又は他の静的記憶デバイスを更に含む。
情報及び命令を記憶するために、磁気ディスク又は光ディスクのような記憶デバイス510が設けられ、バス502に結合される。
コンピュータシステム500は、バス502を介して、コンピュータユーザに情報を表示するための液晶ディスプレイのようなディスプレイ512に結合されてもよい。英数字及び他のキーを含む入力デバイス514は、情報及びコマンド選択をプロセッサ504に通信するためにバス502に結合される。他のタイプのユーザ入力デバイスは、方向情報及びコマンド選択をプロセッサ504に通信し、ディスプレイ512上のカーソル移動を制御するための、マウス、トラックボール又はカーソル方向キーのようなカーソル制御516である。この入力デバイスは、典型的には、デバイスが平面内の位置を指定することを可能にする第1の軸(例えば、x)及び第2の軸(例えば、y)の2つの軸における2つの自由度を有する。
コンピュータシステム500は、カスタマイズされた配線ロジック、1つ以上のASIC又はFPGA、ファームウェア及び/又はプログラムロジックを使用して、本明細書に記載の技術を実装してもよく、これらは、コンピュータシステムと組み合わせて、コンピュータシステム500を特殊用途の機械にさせるか或いはそのようにプログラムする。一実施形態によれば、本明細書の技術は、メインメモリ506に含まれる1つ以上の命令の1つ以上のシーケンスを実行するプロセッサ504に応じて、コンピュータシステム500によって実行される。このような命令は、記憶デバイス510のような他の記憶媒体からメインメモリ506に読み取られてもよい。メインメモリ506に含まれる命令のシーケンスの実行は、プロセッサ504に、本明細書に記載のプロセスステップを実行させる。代替実施形態では、配線回路が、ソフトウェア命令の代わりに或いはソフトウェア命令と組み合わせて使用されてもよい。
本明細書で使用される「記憶媒体」という用語は、機械を特定の様式で動作させるデータ及び/又は命令を記憶するいずれかの非一時的な媒体を示す。このような記憶媒体は、不揮発性媒体及び/又は揮発性媒体を含んでもよい。不揮発性媒体は、例えば、記憶デバイス510のような光又は磁気ディスクを含む。揮発性媒体は、メインメモリ506のようなダイナミックメモリを含む。記憶媒体の一般的な形式は、例えば、フロッピーディスク、フレキシブルディスク、ハードディスク、ソリッドステートドライブ、磁気テープ若しくはいずれかの他の磁気データ記憶媒体、CD-ROM、いずれかの他の光データ記憶媒体、穴のパターンを有するいずれかの物理媒体、RAM、PROM、及びEPROM、FLASH-EPROM、NVRAM、いずれかの他のメモリチップ又はカートリッジを含む。
記憶媒体は、伝送媒体とは区別されるが、伝送媒体と共に使用されてもよい。伝送媒体は、記憶媒体の間の情報の転送に関与する。例えば、伝送媒体は、バス502を構成するワイヤを含む同軸ケーブル、銅線及び光ファイバを含む。伝送媒体はまた、無線波及び赤外線データ通信の間に発生されるもののような音波又は光波の形式を取ることができる。
1つ以上の命令の1つ以上のシーケンスをプロセッサ504に搬送する際に、様々な形式の媒体が関与してもよい。例えば、命令は、まず、遠隔コンピュータの磁気ディスク又はソリッドステートドライブ上に保持されてもよい。遠隔コンピュータは、命令をそのダイナミックメモリにロードし、モデムを使用して電話回線で命令を送信できる。コンピュータシステム500のローカルにあるモデムは、電話回線でデータを受信し、データを赤外線信号に変換するために、赤外線送信機を使用できる。赤外線検出器は、赤外線信号で搬送されたデータを受信でき、適切な回路は、バス502上にデータを配置できる。バス502はデータをメインメモリ506に搬送し、そこからプロセッサ504が命令を取り出して実行する。任意選択で、メインメモリ506によって受信された命令は、プロセッサ504による実行の前又は後のいずれかで、記憶デバイス510に記憶されてもよい。
コンピュータシステム500はまた、バス502に結合された通信インタフェース518を含む。通信インタフェース518は、ローカルネットワーク522に接続されたネットワークリンク520への双方向データ通信結合を提供する。例えば、通信インタフェース518は、統合サービスデジタルネットワーク(integrated services digital network, ISDN)カード、ケーブルモデム、衛星モデム、又はデータ通信接続を対応するタイプの電話回線に提供するモデムでもよい。他の例として、通信インタフェース518は、データ通信接続を互換性のあるLANに提供するためのローカルエリアネットワーク(local area network, LAN)カードでもよい。無線リンクも実装されてもよい。いずれかのこのような実装では、通信インタフェース518は、様々なのタイプの情報を表すデジタルデータストリームを搬送する電気信号、電磁信号又は光信号を送信及び受信する。
ネットワークリンク520は、典型的には、1つ以上のネットワークを通じて他のデータデバイスへのデータ通信を提供する。例えば、ネットワークリンク520は、ローカルネットワーク522を通じてホストコンピュータ524又はインターネットサービスプロバイダ(Internet Service Provider, ISP)526によって運用されるデータ機器への接続を提供してもよい。次に、ISP526は、現在一般的に「インターネット」528と呼ばれている世界的なパケットデータ通信ネットワークを通じてデータ通信サービスを提供する。ローカルネットワーク522及びインターネット528の双方は、デジタルデータストリームを搬送する電気信号、電磁信号又は光信号を使用する。コンピュータシステム500との間でデジタルデータを搬送する、様々なネットワークを通じた信号並びにネットワークリンク520上の信号及び通信インタフェース518を通じた信号は、伝送媒体の例示的な形式である。
コンピュータシステム500は、ネットワーク、ネットワークリンク520及び通信インタフェース518を通じて、メッセージを送信し、プログラムコードを含むデータを受信できる。インターネットの例では、サーバ530は、インターネット528、ISP526、ローカルネットワーク522及び通信インタフェース518を通じて、アプリケーションプログラムの要求されたコードを送信してもよい。
受信されたコードは、それが受信されたときにプロセッサ504によって実行されてもよく、及び/又は、後の実行のために記憶デバイス510又は他の不揮発性ストレージに記憶されてもよい。
上記の明細書において、本発明の例示的な実施形態について、実装によって変化し得る多数の特定の詳細を参照して説明した。したがって、何が発明であり、出願人が何を発明であるかを意図しているもの唯一且つ排他的な指標は、このような特許請求の範囲が発行される特定の形式で、いずれかのその後の訂正を含めて、この出願から発行される特許請求の範囲のセットである。このような特許請求の範囲に含まれる用語について本明細書に明示的に記載されるいずれかの定義は、特許請求の範囲において使用される用語の意味を支配するものとする。したがって、特許請求の範囲に明示的に記載されていない限定、要素、特性、特徴、利点又は属性は、このような特許請求の範囲を決して限定すべきではない。したがって、本明細書及び図面は、限定的な意味ではなく例示的な意味に考えられるべきである。
以下の例示的な実施形態(それぞれ「EE」と呼ぶ)が記載される。
EE1.光源を識別するための方法であって、
室内の表示デバイスの視聴者によって装着されたウェアラブルデバイスに取り付けられた1つ以上の光センサからセンサデータを受信するステップであり、光センサの視野は視聴者の視野を少なくともカバーする、ステップと、
センサデータに基づいて、視聴者の視野内の光源を識別するステップと、
光源の光源情報に少なくとも部分的に基づいて、光源によって引き起こされるコンテンツの輝度又は色の変化を補償するように、コンテンツを表示する表示デバイスの表示コントローラによって実行されるべき1つ以上の動作のためのデータを視聴者に送信するステップと
を含む方法。
EE2.表示デバイスの表面の位置を決定し、光源の位置を決定して、光源が直接光源であるか反射光源であるかを決定することによって、光源が直接光源であるか、表示デバイスの表面から反射した反射光源であるかを決定するステップを更に含む、EE1に記載の方法。
EE3.システムは、所定の期間にわたる光源の輝度の変化を追跡し、輝度の変化が緩やかであるか急激であるかを決定するステップと、
追跡された変化に基づく決定論的アルゴリズムを使用して光源の潜在的光源を決定するステップと
を更に含む、EE1又はEE2に記載の方法。
EE4.光源が反射光源である場合、表示デバイスの表面の平均輝度及び輝度の標準偏差を分析するステップと、
平均輝度及び輝度の標準偏差に基づいて反射光源が散乱周辺光源であるかグレア光源であるかを識別するステップと
を更に含む、EE3に記載の方法。
EE5.グレア光源は、輝度の大きい標準偏差を有する表示デバイスの表面の部分を識別することによって識別される、EE4に記載の方法。
EE6.グレア光源は、ウェアラブルデバイスに取り付けられた1つ以上の光センサの左側光センサ及び右側光センサによって捕捉された画像の間の位置的不一致、又はウェアラブルデバイスの光センサの2つ以上の画像の間の時間的不一致を介して、1つ以上のアーチファクトを識別することによって識別される、EE4に記載の方法。
EE7.光源が反射光源である場合、光源が制御可能であるか否かを識別するステップと、
光源が制御可能である場合、光源の輝度を制御し、光源が制御可能である場合に光源を補償するステップと、
光源が電子的に制御可能でない場合、或いは制御後に表示画面から変化が検出されない場合、視聴者による手動制御を示唆するステップと、
光源の制御が視聴者の能力を超える場合、視聴者に対して視点位置の変更を示唆するステップと
を更に含む、EE3乃至6のいずれかに記載の方法。
EE8.光源が制御可能であるか否かを決定することは、ローカルネットワーク上で室内のモノのインターネット(IOT)に基づく光源を自動的に検出し、検出された光源のそれぞれを制御可能な光源として登録することを含む、EE7に記載の方法。
EE9.視聴者によって装着されたウェアラブルデバイスに取り付けられた1つ以上の光センサは、それぞれ視聴者の左眼及び右眼の左側及び右側に、左側及び右側光センサを含む、EE8に記載の方法。
EE10.光源が直接光源として識別された場合、直接光源が視聴者の視野内にあるか否かを決定するステップと、
視聴者の視野内にある場合、直接光源から表示デバイスの表面のエッジまでの最短距離を決定するステップと、
決定された距離及び強度に基づいて実行されるべき1つ以上の動作のために、直接光源の強度を決定するステップと
を更に含む、EE3乃至9のいずれかに記載の方法。
EE11.2人以上の視聴者が存在する場合、1つ以上の動作は、2人以上の視聴者のそれぞれの視野内にあるものとして感知される平均強度又は重み付けされた強度に基づいて実行される、EE10に記載の方法。
EE12.ウェアラブルデバイスに取り付けられた1つ以上の光センサの左側及び右側光センサによって捕捉された画像に基づいて、直接光源がウェアラブルデバイスを装着した視聴者の左眼の視野内で感知されるか右眼の視野内で感知されるか両眼の視野内で感知されるかを決定するステップを更に含む、EE10に記載の方法。
EE13.左側及び右側光センサの双方が直接光源を感知した場合、直接光源が視聴者の両眼に視認可能であると決定するステップを更に含む、EE12に記載の方法。
EE14.左側又は右側光センサの一方のみが直接光源を検知するが、双方が検知しない場合、センサの測定観察地点と、ウェアラブルデバイスから表示デバイスの表面までの距離で投影される、センサから視聴者の眼までの距離オフセットとに基づいて、視聴者の眼の観察地点を決定するステップと、
眼の観察地点に基づいて、光源が表示デバイスの表面によって閉塞されているか否かを決定するステップと、
閉塞されていると決定された場合、直接光源が両眼に視認可能でないと決定するステップと
を更に含む、EE12に記載の方法。
EE15.ウェアラブルデバイスに取り付けられたモーションセンサに基づいて、ウェアラブルデバイスのモーションベクトルを決定するステップと、
眼の観察地点に基づいて、直接光源が、モーションベクトルの値に基づいて表示デバイスの表面によって閉塞されていると決定するステップと
を更に含む、EE14に記載の方法。
EE16.表示デバイスによって実行されるべき1つ以上の動作は、
表示デバイスによって表示される黒色レベルを調整することと、
表示デバイスのトーンマッピング特性を調整することと
を含む、EE1乃至15のいずれかに記載の方法。
EE17.表示デバイスによって実行されるべき1つ以上の動作は、制御不能のグレア光源を補償するために手動アクションを行うように視聴者に通知することを含む、EE1乃至15のいずれかに記載の方法。
EE18.1つ以上のセンサは、1つ以上の光トランスデューサ又は画像若しくはビデオ捕捉デバイスを含む、EE1乃至17のいずれかに記載の方法。
EE19.表示デバイスによって実行されるべき1つ以上の動作のためのデータを送信することは、表示デバイスに対して、光源のタイプに基づいて実行されるべき1つ以上の動作のために、ルックアップテーブル又はパラメトリック調整パラメータ内のエントリを検索させ、1つ以上の動作を実行させる、EE1乃至18のいずれかに記載の方法。
EE20.ウェアラブルデバイスはウェアラブルヘッドセットを含む、EE1乃至19のいずれかに記載の方法。
EE21.ウェアラブルデバイスによって実行されると、ウェアラブルデバイスにEE1乃至20のいずれかに記載の方法を実行させる命令を記憶した非一時的な機械読み取り可能媒体。
EE22.EE1乃至20のいずれかに記載の方法を実行するように構成されたメモリ及び処理システムを含むウェアラブルデバイス。
EE23.光源を補償するための方法であって、
視聴者のウェアラブルデバイスから、コンテンツを視聴者に表示するために表示デバイスの表示管理によって実行されるべき1つ以上の動作のためのデータを受信するステップと、
受信データから、視聴者の視野内で感知される光源を識別する光源情報を取得するステップと、
光源によって引き起こされるコンテンツの輝度又は色の変化を補償するために、光源情報に基づいて実行されるべき1つ以上の動作についてルックアップテーブル又はパラメトリックテーブルを検索するステップと、
光源情報に少なくとも部分的に基づいて、1つ以上の動作を実行するステップと
を含む方法。
EE24.光源を識別するための方法であって、
室内の表示デバイス上又はその近傍に取り付けられた1つ以上の光センサからセンサデータを受信するステップであり、1つ以上の光センサは、表示デバイスを視認する視聴者に向けられる、ステップと、
センサデータに基づいて、視聴者の受動表面上の光源の反射を識別するステップと、
反射に基づいて、グレア光源又は周辺光源となる光源を分析するステップと、
分析に少なくとも部分的に基づいて、1つ以上の動作を実行するステップと
を含む方法。

Claims (22)

  1. 表示デバイスの視聴者の視野で感知される光源を補償するための方法であり、前記光源は前記表示デバイスとは異なる直接光源又は前記表示デバイスの表面から反射した反射光源である、方法であって、
    前記視聴者によって装着されたウェアラブルデバイスに取り付けられた1つ以上の光センサからセンサデータを受信するステップであり、前記光センサの視野は前記視聴者の前記視野を少なくともカバーする、ステップと、
    前記センサデータに基づいて、前記視聴者の前記視野内で感知される光源を識別するステップと、
    前記識別された光源の光源情報に少なくとも部分的に基づいて、前記光源によって引き起こされる、前記表示デバイスによって表示されるコンテンツの輝度又は色の変化を補償するように、前記表示デバイスの表示コントローラによる1つ以上の動作を実行するステップと
    を含み、
    前記光源を識別することは、
    所定の期間にわたる前記光源の輝度の変化を追跡し、前記追跡された変化に基づいて前記光源の特性を識別し、前記光源が制御可能であるか否かを決定することを含み、
    前記1つ以上の動作を実行するステップは、
    前記光源が前記反射光源である場合、且つ、前記光源が制御可能である場合、前記光源の輝度を制御するステップを含む、方法。
  2. 前記光源が前記反射光源である場合、前記表示デバイスの前記表面の平均輝度及び輝度の変動を分析するステップと、
    前記平均輝度及び前記輝度の変動に基づいて前記光源が散乱周辺光源であるかグレア光源であるかを識別するステップと
    を更に含む、請求項１に記載の方法。
  3. グレア光源は、輝度の大きい変動を有する前記表示デバイスの前記表面の部分を識別することによって識別される、請求項２に記載の方法。
  4. グレア光源は、前記ウェアラブルデバイスに取り付けられた前記1つ以上の光センサの左側光センサ及び右側光センサによって捕捉された画像の間の位置的不一致、又は前記ウェアラブルデバイスの光センサの2つ以上の画像の間の時間的不一致を介して、1つ以上のアーチファクトを識別することによって識別される、請求項２に記載の方法。
  5. 前記光源が前記反射光源である場合、且つ、前記光源が制御可能でない場合、手動アクション又は視聴者に対する視点位置の変更を示唆するステップを更に含む、請求項１乃至４のうちいずれか１項に記載の方法。
  6. 前記光源が制御可能であるか否かを決定することは、
    ローカルネットワーク上で室内のモノのインターネット(IOT)に基づく光源を自動的に検出し、前記検出された光源のそれぞれを制御可能な光源として登録することを含む、請求項１に記載の方法。
  7. 前記視聴者によって装着された前記ウェアラブルデバイスに取り付けられた前記1つ以上の光センサは、それぞれ前記視聴者の左眼及び右眼の左側及び右側に、左側及び右側光センサを含む、請求項１乃至６のうちいずれか１項に記載の方法。
  8. 前記光源が前記反射光源でない場合、前記光源が前記視聴者の前記視野内で感知されたか否かを決定するステップと、
    前記光源が前記視聴者の前記視野内で感知された場合、前記光源から前記表示デバイスの前記表面のエッジまでの最短距離を決定するステップと、
    前記決定された距離及び強度に基づいて実行されるべき前記1つ以上の動作のために、前記光源の強度を決定するステップと
    を更に含む、請求項１乃至７のうちいずれか１項に記載の方法。
  9. 2人以上の視聴者が存在する場合、前記1つ以上の動作は、前記2人以上の視聴者のそれぞれの視野内で感知される平均強度又は重み付けされた強度に基づいて実行される、請求項８に記載の方法。
  10. 前記ウェアラブルデバイスに取り付けられた前記1つ以上の光センサの左側及び右側光センサによって捕捉された画像に基づいて、前記光源が前記ウェアラブルデバイスを装着した前記視聴者の左眼の視野内で感知されるか右眼の視野内で感知されるか両眼の視野内で感知されるかを決定するステップを更に含む、請求項８又は９に記載の方法。
  11. 前記左側及び右側光センサの双方が前記光源を感知した場合、前記光源が前記視聴者の両眼に視認可能であると決定するステップを更に含む、請求項１０に記載の方法。
  12. 前記左側又は右側光センサの一方のみが前記光源を検知するが、双方が検知しない場合、センサの測定観察地点と、前記ウェアラブルデバイスから前記表示デバイスの前記表面までの距離で投影される、前記センサから前記視聴者の眼までの距離オフセットとに基づいて、前記視聴者の前記眼の観察地点を決定するステップと、
    前記眼の前記観察地点に基づいて、前記光源が前記表示デバイスの前記表面によって閉塞されているか否かを決定するステップと、
    前記光源が前記表示デバイスの前記表面によって閉塞されていると決定された場合、前記光源が両眼に視認可能でないと決定するステップと
    を更に含む、請求項１０に記載の方法。
  13. 前記ウェアラブルデバイスに取り付けられたモーションセンサに基づいて、前記ウェアラブルデバイスのモーションベクトルを決定するステップと、
    前記眼の観察地点に基づいて、前記光源が、前記モーションベクトルの値に基づいて前記表示デバイスの前記表面によって閉塞されているか否かを決定するステップと
    を更に含む、請求項１２に記載の方法。
  14. 前記表示デバイスによって実行されるべき前記1つ以上の動作は、
    前記表示デバイスによって表示される黒色レベルを調整することと、
    前記表示デバイスのトーンマッピング特性を調整することと
    を含む、請求項１乃至１３のうちいずれか１項に記載の方法。
  15. 前記表示デバイスによって実行されるべき前記1つ以上の動作は、制御不能のグレア光源を補償するために手動アクションを行うように視聴者に通知することを含む、請求項１乃至１４のうちいずれか１項に記載の方法。
  16. 前記1つ以上の光センサは、1つ以上の光トランスデューサ、画像捕捉デバイス又はビデオ捕捉デバイスを含む、請求項１乃至１５のうちいずれか１項に記載の方法。
  17. 前記表示デバイスによって実行されるべき1つ以上の動作のためのデータを送信することは、前記表示デバイスに対して、前記光源のタイプに基づいて実行されるべき1つ以上の動作のために、ルックアップテーブル又はパラメトリック調整パラメータ内のエントリを検索させ、前記1つ以上の動作を実行させる、請求項１乃至１６のうちいずれか１項に記載の方法。
  18. 前記ウェアラブルデバイスはウェアラブルヘッドセットを含む、請求項１乃至１７のうちいずれか１項に記載の方法。
  19. 前記ウェアラブルヘッドセットはヘッドフォンを含む、請求項１８に記載の方法。
  20. 前記視聴者によって装着された前記ウェアラブルデバイスに取り付けられた前記1つ以上の光センサから、前記表示デバイスの前記表示コントローラによって前記センサデータを受信するステップと、
    前記センサデータから、前記視聴者の前記視野内で感知される前記光源を識別する前記光源情報を取得するステップと、
    前記光源によって引き起こされる前記コンテンツの輝度又は色の変化を補償するために、前記光源情報に基づいて実行されるべき前記1つ以上の動作についてルックアップテーブル又はパラメトリックテーブルを検索するステップと
    を更に含む、請求項１乃至１９のうちいずれか１項に記載の方法。
  21. プロセッサによって実行されると、前記プロセッサに請求項１乃至２０のうちいずれか１項に記載の方法を実行させる命令を記憶した非一時的な機械読み取り可能媒体。
  22. 請求項１乃至２０のうちいずれか１項に記載の方法を実行するように構成されたメモリ及びプロセッサを含むウェアラブルデバイス。
JP2022514526A 2019-09-05 2020-09-03 視聴者同期の照明検知 Active JP7439243B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962896203P 2019-09-05 2019-09-05
EP19195627 2019-09-05
US62/896,203 2019-09-05
EP19195627.5 2019-09-05
PCT/US2020/049239 WO2021046242A1 (en) 2019-09-05 2020-09-03 Viewer synchronized illumination sensing

Publications (2)

Publication Number Publication Date
JP2022546580A JP2022546580A (ja) 2022-11-04
JP7439243B2 true JP7439243B2 (ja) 2024-02-27

Family

ID=72474378

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022514526A Active JP7439243B2 (ja) 2019-09-05 2020-09-03 視聴者同期の照明検知

Country Status (5)

Country Link
US (1) US11996023B2 (ja)
EP (1) EP4025990A1 (ja)
JP (1) JP7439243B2 (ja)
CN (1) CN114365077B (ja)
WO (1) WO2021046242A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190284871A1 (en) * 2016-04-28 2019-09-19 The Regents Of The University Of California Glare sensor that identifies potential glare sources in digital images and computes their coordinates to help control dynamic window and skylight systems

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010186044A (ja) 2009-02-12 2010-08-26 Funai Electric Co Ltd 表示装置
JP2012128206A (ja) 2010-12-15 2012-07-05 Canon Inc 画像処理装置及びその制御方法、プログラム
US20120182276A1 (en) 2011-01-19 2012-07-19 Broadcom Corporation Automatic adjustment of display systems based on light at viewer position
US20120229487A1 (en) 2011-03-11 2012-09-13 Nokia Corporation Method and Apparatus for Reflection Compensation
US20150089551A1 (en) 2013-09-20 2015-03-26 Echostar Technologies L. L. C. Environmental adjustments to perceive true content
JP2017523481A (ja) 2014-05-28 2017-08-17 インオプテック リミテッド， ツヴァイクニーダーラッスング ドイチュランド 電子眼鏡
US20180211440A1 (en) 2015-07-21 2018-07-26 Dolby Laboratories Licensing Corporation Surround ambient light sensing, processing and adjustment

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8965460B1 (en) 2004-01-30 2015-02-24 Ip Holdings, Inc. Image and augmented reality based networks using mobile devices and intelligent electronic glasses
US8269692B2 (en) * 2007-11-20 2012-09-18 Panasonic Corporation Image display apparatus, display method thereof, program, integrated circuit, goggle-type head-mounted display, vehicle, binoculars, and desktop display
US8786675B2 (en) 2008-01-23 2014-07-22 Michael F. Deering Systems using eye mounted displays
US10180572B2 (en) 2010-02-28 2019-01-15 Microsoft Technology Licensing, Llc AR glasses with event and user action control of external applications
US9098731B1 (en) 2011-03-22 2015-08-04 Plickers Inc. Optical polling platform methods, apparatuses and media
US9123272B1 (en) * 2011-05-13 2015-09-01 Amazon Technologies, Inc. Realistic image lighting and shading
US8752963B2 (en) 2011-11-04 2014-06-17 Microsoft Corporation See-through display brightness control
US9101312B2 (en) 2012-04-18 2015-08-11 TBI Diagnostics LLC System for the physiological evaluation of brain function
JP5887026B2 (ja) 2012-09-03 2016-03-16 ゼンソモトリック インストゥルメンツ ゲゼルシャフト ヒューア イノベイティブ ゼンソリック エムベーハーＳＥＮＳＯＭＯＴＯＲＩＣ ＩＮＳＴＲＵＭＥＮＴＳ Ｇｅｓｅｌｌｓｃｈａｆｔ ｆｕｒ ｉｎｎｏｖａｔｉｖｅ Ｓｅｎｓｏｒｉｋ ｍｂＨ ヘッドマウントシステム及びヘッドマウントシステムを用いてディジタル画像のストリームを計算しレンダリングする方法
US20150169780A1 (en) 2012-10-09 2015-06-18 Nokia Corporation Method and apparatus for utilizing sensor data for auto bookmarking of information
CN103793104B (zh) * 2012-10-31 2017-05-03 原相科技股份有限公司 具有亮度补偿的光学触控系统及其亮度补偿方法
US20140333773A1 (en) 2013-05-11 2014-11-13 Randy James Davis Portable audio/ video mask
US10686972B2 (en) 2013-09-03 2020-06-16 Tobii Ab Gaze assisted field of view control
US9762895B1 (en) 2014-03-11 2017-09-12 Rockwell Collins, Inc. Dual simultaneous image presentation for a three-dimensional aviation display
US10268041B2 (en) 2014-05-24 2019-04-23 Amalgamated Vision Llc Wearable display for stereoscopic viewing
EP3161828A4 (en) 2014-05-27 2017-08-09 Chase, Stephen Video headphones, systems, helmets, methods and video content files
US9626936B2 (en) 2014-08-21 2017-04-18 Microsoft Technology Licensing, Llc Dimming module for augmented and virtual reality
US10540818B2 (en) 2015-04-15 2020-01-21 Google Llc Stereo image generation and interactive playback
US10888222B2 (en) 2016-04-22 2021-01-12 Carl Zeiss Meditec, Inc. System and method for visual field testing
JP2019527377A (ja) * 2016-06-30 2019-09-26 ノース インコーポレイテッドＮｏｒｔｈ Ｉｎｃ． 視線追跡に基づき自動合焦する画像捕捉システム、デバイス及び方法
US20180068449A1 (en) 2016-09-07 2018-03-08 Valve Corporation Sensor fusion systems and methods for eye-tracking applications
KR20240046291A (ko) 2017-03-22 2024-04-08 매직 립, 인코포레이티드 디스플레이 시스템들을 위한 깊이 기반 포비티드 렌더링
US10459534B2 (en) 2017-07-14 2019-10-29 Thirdeye Gen, Inc. System and method for large data augmented reality applications on smartglasses

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010186044A (ja) 2009-02-12 2010-08-26 Funai Electric Co Ltd 表示装置
JP2012128206A (ja) 2010-12-15 2012-07-05 Canon Inc 画像処理装置及びその制御方法、プログラム
US20120182276A1 (en) 2011-01-19 2012-07-19 Broadcom Corporation Automatic adjustment of display systems based on light at viewer position
US20120229487A1 (en) 2011-03-11 2012-09-13 Nokia Corporation Method and Apparatus for Reflection Compensation
US20150089551A1 (en) 2013-09-20 2015-03-26 Echostar Technologies L. L. C. Environmental adjustments to perceive true content
JP2017523481A (ja) 2014-05-28 2017-08-17 インオプテック リミテッド， ツヴァイクニーダーラッスング ドイチュランド 電子眼鏡
US20180211440A1 (en) 2015-07-21 2018-07-26 Dolby Laboratories Licensing Corporation Surround ambient light sensing, processing and adjustment

Also Published As

Publication number Publication date
CN114365077B (zh) 2024-01-02
WO2021046242A1 (en) 2021-03-11
EP4025990A1 (en) 2022-07-13
US11996023B2 (en) 2024-05-28
US20220375378A1 (en) 2022-11-24
JP2022546580A (ja) 2022-11-04
CN114365077A (zh) 2022-04-15

Similar Documents

Publication Publication Date Title
US8670000B2 (en) Optical display system and method with virtual image contrast control
CA2820950C (en) Optimized focal area for augmented reality displays
JP6186689B2 (ja) 映像表示システム
US11089427B1 (en) Immersive augmented reality experiences using spatial audio
US11575877B2 (en) Utilizing dual cameras for continuous camera capture
US10867174B2 (en) System and method for tracking a focal point for a head mounted device
US11353955B1 (en) Systems and methods for using scene understanding for calibrating eye tracking
US20210409628A1 (en) Visual-inertial tracking using rolling shutter cameras
US11719939B2 (en) Eyewear device dynamic power configuration
KR20230022239A (ko) 증강 현실 환경 향상
JP7439243B2 (ja) 視聴者同期の照明検知
GB2548151A (en) Head-mountable display
US11483569B1 (en) Device with dynamic transcode throttling
US10082672B2 (en) Display apparatus and method of displaying using electromechanical faceplate
CN110895433A (zh) 用于增强现实中用户交互的方法和装置
US20230252918A1 (en) Eyewear projector brightness control
US9679352B2 (en) Method for operating a display device and system with a display device
US11789266B1 (en) Dynamic sensor selection for visual inertial odometry systems
US11619814B1 (en) Apparatus, system, and method for improving digital head-mounted displays
TWI683135B (zh) 頭戴型顯示裝置及用於其之調整方法
US20230168522A1 (en) Eyewear with direction of sound arrival detection
US11902534B2 (en) Device with dynamic transcode throttling
US11030817B2 (en) Display system and method of using environment map to generate extended-reality images

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220426

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230317

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230418

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230608

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230815

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231113

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240116

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240214

R150 Certificate of patent or registration of utility model

Ref document number: 7439243

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150