JP6096276B2 - 視線追跡に基づくディスプレイの選択的バックライト - Google Patents
視線追跡に基づくディスプレイの選択的バックライト Download PDFInfo
- Publication number
- JP6096276B2 JP6096276B2 JP2015501649A JP2015501649A JP6096276B2 JP 6096276 B2 JP6096276 B2 JP 6096276B2 JP 2015501649 A JP2015501649 A JP 2015501649A JP 2015501649 A JP2015501649 A JP 2015501649A JP 6096276 B2 JP6096276 B2 JP 6096276B2
- Authority
- JP
- Japan
- Prior art keywords
- display
- region
- users
- interest
- visual data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000000007 visual effect Effects 0.000 claims description 74
- 210000001508 eye Anatomy 0.000 claims description 71
- 238000000034 method Methods 0.000 claims description 63
- 230000004044 response Effects 0.000 claims description 45
- 230000005055 memory storage Effects 0.000 claims description 23
- 238000003384 imaging method Methods 0.000 claims description 20
- 238000003860 storage Methods 0.000 claims description 15
- 230000009471 action Effects 0.000 claims description 11
- 238000004891 communication Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 description 25
- 238000012545 processing Methods 0.000 description 17
- 238000001514 detection method Methods 0.000 description 7
- 238000009826 distribution Methods 0.000 description 6
- 239000000463 material Substances 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000003993 interaction Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 230000004434 saccadic eye movement Effects 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
- G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
- G09G3/3406—Control of illumination source
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/26—Power supply means, e.g. regulation thereof
- G06F1/32—Means for saving power
- G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
- G06F1/3234—Power saving characterised by the action undertaken
- G06F1/325—Power saving in peripheral device
- G06F1/3265—Power saving in display device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
- G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
- G09G3/36—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/06—Adjustment of display parameters
- G09G2320/0626—Adjustment of display parameters for control of overall brightness
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2330/00—Aspects of power supply; Aspects of display protection and defect management
- G09G2330/02—Details of power systems and of start or stop of display operation
- G09G2330/021—Power management, e.g. power saving
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2354/00—Aspects of interface with display user
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
- G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Computer Hardware Design (AREA)
- Chemical & Material Sciences (AREA)
- Crystallography & Structural Chemistry (AREA)
- Ophthalmology & Optometry (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- User Interface Of Digital Computer (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
- Controls And Circuits For Display Device (AREA)
Description
上述したように、ディスプレイの照明/減光の効率的な管理は、典型的には、ユーザによって制御された明示的なキーボード/マウス入力のタイムアウトスキームに基づいている。このようなタイムアウトスキームは、典型的には、コンピュータの使用を介してのユーザのディスプレイの必要性を予測することに狙いを定めている。このスキームは、いくつかの用途のために適切でないことがある(例えば、特にユーザが受動的である場合や、ユーザが効率的な使用のための明示的なキーボード/マウス入力を提供する必要がない場合である)。例えば、電子書籍を読んだり、ウェブページで複合コンテンツを調べるユーザは、キーボードやマウスの休止のタイムアウトによるディスプレイ減光の気に障る挙動を経験することがある。同じ問題は、ユーザがビデオ又は自動スライドショーを見ている場合に存在することがある。ユーザとの相互作用(対話)がディスプレイに依存しているが、このユーザとの相互作用は、ユーザインターフェイスの入力イベントに縛られない状況が存在する。
さらに、このような視線追跡に基づく部分的な減光は、新たなユーザ経験を提供する。例えば、ユーザは、関心領域のみを照明することによって読み取り箇所や視聴箇所に集中することができ、ユーザの注意を集中するのを助けることができる。
いくつかの例では、バックライトシステム100は、選択的なバックライトが、関心領域140を離散ディスプレイ要素120に関連付けることに少なくとも部分的に基づいて、関心領域に140の対応する領域を選択的にバックライトするように動作してもよい。追加的に又は代替的に、バックライトシステム100は、選択的なバックライトが、デフォルトの領域サイズに少なくとも部分的に基づいて、関心領域140に対応する領域を選択的にバックライトするように動作してもよい。例えば、関心領域140に対応する領域は、このようなデフォルトの矩形、楕円形又は他の形状等の、デフォルトの形状やプロポーションを有することがある。
図2は、本開示の少なくともいくつかの実装形態に従って配置された、例示の選択的なバックライト手順200を示すフローチャートである。示される実装形態では、手順200は、1つ以上のブロック202,204,206及び/又は208によって示されるように、1つ又は複数の操作、機能又は動作を含んでもよい。非限定的な例として、手順200は、図1及び/又は図4の例示的なバックライトシステム100を参照してここで説明する。
処理は、操作202から、「視線追跡を行う」操作204に進み、ここで、視線追跡が実行される。例えば、視線追跡は、受信した視覚データに少なくとも部分的に基づいて、1人以上のユーザのうちの少なくとも1人について実行される。
注視は、視野内の特定の点の観察である。視野の約2度に及ぶこの入力は、シャープに、明確に及び正確に処理された入力のみである。典型的には、毎秒の約3から4回の注視が存在し、それぞれ約200から300ミリ秒の持続時間である。例えば、注視は、密接にグループ化されたいくつかの凝視点を含んでもよく、ここで、このような凝視は、典型的には、約17ミリ秒の持続時間を有することができる。
注視及びサッカードは、視覚的な情報を収集し且つ統合するために利用することができる。これらの注視及びサッカードは、人間の意向や認知の状態も反映する。
別の例では、このような視線追跡は、所定のディスプレイ要素に関して、所定の時間窓(例えば、直前)に亘って関心領域上の注視の数を判定することを含んでもよい。例えば、このような注視は、テキスト又はディスプレイ領域の他の領域と比較して、ディスプレイ要素(例えば、単語、文章、テキスト領域での特定の列(段)/行、及び/又は画像)の関心領域上の関心の割合を示すことができる。このメトリックは、視聴者に対して領域の「重要性」の表示を示すことができ、凝視レートに直接関連させてもよい。
処理が、操作206から、「決定された関心領域に関連付けられたディスプレイの一部を選択的にバックライトする」操作208に進み、ここで、決定された関心領域に関連付けられたディスプレイの一部を、選択的にバックライトする。例えば、決定された関心領域に関連付けられたディスプレイの一部は、選択的にバックライトされるが、決定された関心領域に関連付けられていないディスプレイの第2部分は、選択的に減光してもよい。
処理200に関するいくつかの追加の及び/又は代替の詳細を、図3に関して以下でより詳細に議論する1つ又は複数の例示的な実装形態において示す。
処理は、操作314から、「視覚データを受信する」操作316に進み、ここで、視覚データを受信する。例えば、受信した視覚データは、1人以上のユーザのビデオを含んでもよい。
処理は、操作322から、「選択的にバックライトする」操作324に進み、ここで、決定された関心領域に関連付けられたディスプレイの一部が、選択的にバックライトされる。例えば、決定された関心領域に関連付けられたディスプレイの一部が、選択的にバックライトされるが、決定された関心領域に関連付けられていないディスプレイの第2部分が、選択的に減光されてもよい。
メモリ512は、ランダムアクセスメモリ(RAM)、ダイナミック・ランダムアクセスメモリ(DRAM)又はスタティックRAM(SRAM)等の揮発性メモリデバイスとして実装してもよいが、これらに限定されるものではない。
一例では、コンピュータのディスプレイを選択的にバックライトするようなコンピュータ実装式方法が、視覚データの受信を含んでもよく、この視覚データは、1人以上のユーザのビデオを含んでもよい。視線追跡は、1人以上のユーザのうちの少なくとも1人について行ってもよい。例えば、視線追跡は、受信した視覚データに少なくとも部分的に基づいて実行してもよい。コンピュータシステムのディスプレイの一部に関連付けられるように、関心領域を決定してもよい。例えば、関心領域の決定は、実行された視線追跡に少なくとも部分的に基づいてもよい。決定された関心領域と関連付けられたディスプレイの一部が、選択的にバックライトされ、決定された関心領域に関連付けられていないディスプレイの第2部分を減光してもよい。
いくつかの例では、この方法は、選択的なバックライトが、関心領域を離散ディスプレイ要素に関連付けることに少なくとも部分的に基づいて、領域を選択的にバックライトするように動作してもよく、ここで、離散ディスプレイ要素は、テキストボックス、テキストの段落、デフォルト数のテキスト行、画像、メニュー等、及び/又はこれらの組み合わせを含む。
いくつかの例では、この方法は、選択的なバックライトが、決定された関心領域に関連付けられたディスプレイの一部であって、この部分に関連付けられたバックライトの以前減光された部分のスイッチをオンにするように動作してもよい。
いくつかの例では、この方法は、受信した視覚データに応答して、1人以上のユーザの目のいずれもが、実行された視線追跡に応答してディスプレイに向けられていないという判定に少なくとも部分的に基づいて、ディスプレイを完全に減光(暗く)するステップを含んでもよい。
いくつかの例では、システムは、選択的なバックライトが、関心領域を離散ディスプレイ要素に関連付けることに少なくとも部分的に基づいて、領域を選択的にバックライトするように動作され、ここで、離散ディスプレイ要素は、テキストボックス、テキストの段落、デフォルト数のテキスト行、画像、メニュー等、及び/又はこれらの組み合わせを含む。
いくつかの例では、システムは、選択的なバックライトが、決定された関心領域に関連付けられたディスプレイの一部であって、この部分に関連付けられたバックライトの以前減光された部分のスイッチをオンにするように動作してもよい。
さらに別の例では、装置は、上述した例のいずれかに従って本方法を実行するための手段を含んでもよい。
Claims (22)
- コンピュータのディスプレイを選択的にバックライトするためのコンピュータ実装方法であって、当該方法は:
1人以上のユーザの映像を含む視覚データを受信するステップと;
前記受信した視覚データに少なくとも部分的に基づいて、前記1人以上のユーザのうちの少なくとも1人について視線追跡(eye tracking)を実行するステップと;
前記実行された視線追跡に少なくとも部分的に基づいて、コンピュータシステムの前記ディスプレイの一部に関連付けられた関心領域を決定するステップと;
前記決定された関心領域に関連付けられた前記ディスプレイの一部を選択的にバックライトするとともに、前記決定された関心領域に関連付けられていない前記ディスプレイの第2部分を減光するステップと;
アプリケーションが、視線追跡に伴う動作について選択的に指定されたか否かを判定するステップと;
前記1人以上のユーザのうちの少なくとも1人が、前記受信した視覚データに少なくとも部分的に基づいて存在するか否かを判定するステップであって、前記1人以上のユーザのうちの少なくとも1人が存在するか否かの判定は、前記アプリケーションが前記視線追跡に伴う動作について選択的に指定されたという判定に応答して、行われる、判定するステップと;を含む
方法。 - 前記選択的にバックライトするステップは、前記関心領域を離散ディスプレイ要素に関連付けることに少なくとも部分的に基づいて、領域を選択的にバックライトするステップを含み、
前記離散ディスプレイ要素は、テキストの段落、及び/又はデフォルト数のテキスト行を含む、
請求項1に記載の方法。 - 前記視線追跡の動作は、前記1人以上のユーザのうちの少なくとも1人が存在するという判定に応答して、前記1人以上のユーザのうちの少なくとも1人について行われる、
請求項1に記載の方法。 - 前記選択的にバックライトするステップは、デフォルトの領域サイズに少なくとも部分的に基づいて、領域を選択的にバックライトするステップを含む、
請求項1に記載の方法。 - 前記選択的にバックライトするステップは、前記関心領域を離散ディスプレイ要素に関連付けることに少なくとも部分的に基づいて、領域を選択的にバックライトするステップを含み、
前記離散ディスプレイ要素は、テキストボックス、テキストの段落、デフォルト数のテキスト行、画像、及び/又はメニューを含む、
請求項1に記載の方法。 - 前記選択的にバックライトするステップは、前記ディスプレイの第2部分に関連付けられたバックライトの以前照明された部分のスイッチをオフにするステップを含む、
請求項1に記載の方法。 - 前記選択的にバックライトするステップは、前記決定された関心領域に関連付けられたディスプレイの一部であって、この部分に関連付けられたバックライトの以前減光された部分のスイッチをオンにするステップを含む、
請求項1に記載の方法。 - 前記受信した視覚データに応答して、前記1人以上のユーザの誰もが存在しないという判定に少なくとも部分的に基づいて、前記ディスプレイを完全に減光するステップをさらに含む、
請求項1に記載の方法。 - 前記受信した視覚データに応答して、前記1人以上のユーザの目のいずれもが、前記実行された視線追跡に応答して前記ディスプレイに向けられていないという判定に少なくとも部分的に基づいて、前記ディスプレイを完全に減光するステップ、をさらに含む、
請求項1に記載の方法。 - 前記受信した視覚データに応答して、前記1人以上のユーザの誰も存在していないという判定及び/又は前記1人以上のユーザの目のいずれもが、前記実行された視線追跡に応答して前記ディスプレイに向けられていないという判定に少なくとも部分的に基づいて、前記ディスプレイを完全に減光するステップと;をさらに含み、
前記視線追跡の動作は、前記1人以上のユーザのうちの少なくとも1人が存在するという判定に応答して、前記1人以上のユーザのうちの少なくとも1人について、行われ、
前記選択的にバックライトするステップは、デフォルトの領域サイズに少なくとも部分的に基づいて、領域を選択的にバックライトするステップ、及び/又は前記関心領域を離散ディスプレイ要素に関連付けることに少なくとも部分的に基づいて、領域を選択的にバックライトするステップを含み、前記離散ディスプレイ要素は、テキストボックス、テキストの段落、デフォルト数のテキスト行、画像、及び/又はメニューを含み、
前記選択的にバックライトするステップが、前記ディスプレイの第2部分に関連付けられたバックライトの以前照明された部分のスイッチをオフにするステップ、及び/又は前記決定された関心領域に関連付けられた前記ディスプレイの一部であって、この部分に関連付けられたバックライトの以前減光された部分のスイッチをオンにするステップを含む、
請求項1に記載の方法。 - コンピュータを選択的にバックライトするシステムであって、当該システムは:
ディスプレイと;
視覚データを取り込むように構成された撮像装置と;
前記ディスプレイに及び前記撮像装置に通信可能に結合された1つ以上のプロセッサと;
前記1つ以上のプロセッサに通信可能に結合された1つ以上のメモリ格納装置と;
前記1つ以上のプロセッサ及び前記1つ以上のメモリ格納装置に通信可能に結合されるとともに、前記視覚データを受信するように構成された視覚データ論理モジュールであって、前記視覚データは、1人以上のユーザのビデオを含む、視覚データ論理モジュールと;
前記1つ以上のプロセッサ及び前記1つ以上のメモリ格納装置に通信可能に結合されるとともに、前記受信した視覚データに少なくとも部分的に基づいて、前記1人以上のユーザのうちの少なくとも1人について視線追跡を実行するように構成された視線追跡論理モジュールと;
前記1つ以上のプロセッサ及び前記1つ以上のメモリ格納装置に通信可能に結合されるとともに、前記実行された視線追跡に少なくとも部分的に基づいて前記ディスプレイの一部に関連付けられた関心領域を決定するように構成された関心領域論理モジュールと;
前記1つ以上のプロセッサ及び前記1つ以上のメモリ格納装置に通信可能に結合されるとともに、前記決定された関心領域に関連付けられた前記ディスプレイの一部を選択的にバックライトし、且つ前記決定された関心領域に関連付けられていない前記ディスプレイの第2部分を減光する、選択的バックライト論理モジュールと;
前記1つ以上のプロセッサ及び前記1つ以上のメモリ格納装置に通信可能に結合されるとともに、前記1人以上のユーザのうちの少なくとも1人が、前記受信した視覚データに少なくとも部分的に基づいて存在するか否かを判定するように構成された、ユーザ存在論理モジュールであって、前記1人以上のユーザのうちの少なくとも1人が存在するか否かの判定は、アプリケーションが前記視線追跡に伴う動作について選択的に指定されたという判定に応答して、行われる、ユーザ存在論理モジュールと;を備える、
システム。 - 前記選択的なバックライトは、前記関心領域を離散ディスプレイ要素に関連付けることに少なくとも部分的に基づいて、領域を選択的にバックライトすることを含み、前記離散ディスプレイ要素は、テキストの段落、及び/又はデフォルト数のテキスト行を含む、
請求項11に記載のシステム。 - 前記視線追跡の動作は、前記1人以上のユーザのうちの少なくとも1人が存在するという判定に応答して、前記1人以上のユーザのうちの少なくとも1人について行われる、
請求項11に記載のシステム。 - 前記選択的なバックライトは、デフォルトの領域サイズに少なくとも部分的に基づいて、領域を選択的にバックライトすることを含む、
請求項11に記載のシステム。 - 前記選択的なバックライトは、前記関心領域を離散ディスプレイ要素に関連付けることに少なくとも部分的に基づいて、領域を選択的にバックライトすることを含み、前記離散ディスプレイ要素は、テキストボックス、テキストの段落、デフォルト数のテキスト行、画像、及び/又はメニューを含む、
請求項11に記載のシステム。 - 前記選択的なバックライトは、前記ディスプレイの第2部分に関連付けられたバックライトの以前照明された部分のスイッチをオフにすることを含む、
請求項11に記載のシステム。 - 前記選択的なバックライトは、前記決定された関心領域に関連付けられたディスプレイの一部であって、この部分に関連付けられたバックライトの以前減光された部分のスイッチをオンにする、
請求項11に記載のシステム。 - 前記1つ以上のプロセッサ及び前記1つ以上のメモリ格納装置に通信可能に結合されるとともに、前記受信した視覚データに応答して、前記1人以上のユーザの誰も存在していないという判定に少なくとも部分的に基づいて、前記ディスプレイを完全に減光するように構成されている、完全な減光論理モジュールを、さらに備える、
請求項11に記載のシステム。 - 前記1つ以上のプロセッサ及び前記1つ以上のメモリ格納装置に通信可能に結合されるとともに、前記受信した視覚データに応答して、前記1人以上のユーザの目のいずれもが、前記実行された視線追跡に応答して前記ディスプレイに向けられていないという判定に少なくとも部分的に基づいて、前記ディスプレイを完全に減光するように構成されている、完全な減光論理モジュール、をさらに備える、
請求項11に記載のシステム。 - プログラムであって、当該プログラムは:
コンピュータ装置で実行されることに応答して、前記コンピュータ装置に請求項1乃至10のいずれか一項に記載の方法を実行させるような複数の命令を含む、
プログラム。 - 装置であって、当該装置は、
請求項1乃至10のいずれか一項に記載の方法を実行するための手段を有する、
装置。 - 請求項20に記載のプログラムを含む少なくとも1つの機械可読記憶媒体。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/US2012/033196 WO2013154561A1 (en) | 2012-04-12 | 2012-04-12 | Eye tracking based selectively backlighting a display |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015511044A JP2015511044A (ja) | 2015-04-13 |
JP6096276B2 true JP6096276B2 (ja) | 2017-03-15 |
Family
ID=49327981
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015501649A Active JP6096276B2 (ja) | 2012-04-12 | 2012-04-12 | 視線追跡に基づくディスプレイの選択的バックライト |
Country Status (7)
Country | Link |
---|---|
US (1) | US9361833B2 (ja) |
EP (1) | EP2836889A4 (ja) |
JP (1) | JP6096276B2 (ja) |
KR (1) | KR101634154B1 (ja) |
CN (1) | CN104169838B (ja) |
TW (1) | TWI605433B (ja) |
WO (1) | WO2013154561A1 (ja) |
Families Citing this family (63)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DK2389095T3 (da) * | 2009-01-26 | 2014-11-17 | Tobii Technology Ab | Detektering af blikpunkt hjulpet af optiske referencesignaler |
US9151646B2 (en) | 2011-12-21 | 2015-10-06 | Deka Products Limited Partnership | System, method, and apparatus for monitoring, regulating, or controlling fluid flow |
US10228683B2 (en) | 2011-12-21 | 2019-03-12 | Deka Products Limited Partnership | System, method, and apparatus for monitoring, regulating, or controlling fluid flow |
US9746093B2 (en) * | 2011-12-21 | 2017-08-29 | Deka Products Limited Partnership | Flow meter and related system and apparatus |
US9759343B2 (en) | 2012-12-21 | 2017-09-12 | Deka Products Limited Partnership | Flow meter using a dynamic background image |
KR20140117110A (ko) * | 2013-03-26 | 2014-10-07 | 삼성디스플레이 주식회사 | 휴대 단말기 및 휴대 단말기의 구동 방법 |
US9367117B2 (en) | 2013-08-29 | 2016-06-14 | Sony Interactive Entertainment America Llc | Attention-based rendering and fidelity |
CN103646632B (zh) * | 2013-12-06 | 2016-05-18 | 惠州Tcl移动通信有限公司 | 电子设备及其背光显示方法 |
US20150169048A1 (en) * | 2013-12-18 | 2015-06-18 | Lenovo (Singapore) Pte. Ltd. | Systems and methods to present information on device based on eye tracking |
US10180716B2 (en) | 2013-12-20 | 2019-01-15 | Lenovo (Singapore) Pte Ltd | Providing last known browsing location cue using movement-oriented biometric data |
US10667007B2 (en) * | 2014-01-22 | 2020-05-26 | Lenovo (Singapore) Pte. Ltd. | Automated video content display control using eye detection |
US9817474B2 (en) * | 2014-01-24 | 2017-11-14 | Tobii Ab | Gaze driven interaction for a vehicle |
EP3102995B1 (en) | 2014-02-05 | 2020-11-04 | Fujitsu Client Computing Limited | Display device, computer system and method for managing the operating states of a computer system |
GB201402533D0 (en) | 2014-02-13 | 2014-04-02 | Piksel Inc | Sensed content delivery |
US20150228226A1 (en) * | 2014-02-13 | 2015-08-13 | Nvidia Corporation | Power-efficient steerable displays |
US9614724B2 (en) | 2014-04-21 | 2017-04-04 | Microsoft Technology Licensing, Llc | Session-based device configuration |
US10111099B2 (en) | 2014-05-12 | 2018-10-23 | Microsoft Technology Licensing, Llc | Distributing content in managed wireless distribution networks |
US9384335B2 (en) | 2014-05-12 | 2016-07-05 | Microsoft Technology Licensing, Llc | Content delivery prioritization in managed wireless distribution networks |
US9384334B2 (en) | 2014-05-12 | 2016-07-05 | Microsoft Technology Licensing, Llc | Content discovery in managed wireless distribution networks |
US9430667B2 (en) | 2014-05-12 | 2016-08-30 | Microsoft Technology Licensing, Llc | Managed wireless distribution network |
US20150331240A1 (en) * | 2014-05-15 | 2015-11-19 | Adam G. Poulos | Assisted Viewing Of Web-Based Resources |
US9874914B2 (en) | 2014-05-19 | 2018-01-23 | Microsoft Technology Licensing, Llc | Power management contracts for accessory devices |
US10037202B2 (en) | 2014-06-03 | 2018-07-31 | Microsoft Technology Licensing, Llc | Techniques to isolating a portion of an online computing service |
US9367490B2 (en) | 2014-06-13 | 2016-06-14 | Microsoft Technology Licensing, Llc | Reversible connector for accessory devices |
US9717006B2 (en) | 2014-06-23 | 2017-07-25 | Microsoft Technology Licensing, Llc | Device quarantine in a wireless network |
JP6279997B2 (ja) * | 2014-07-25 | 2018-02-14 | ヤフー株式会社 | 情報処理装置、情報処理方法及びプログラム |
KR20160114413A (ko) * | 2015-03-24 | 2016-10-05 | 엘지전자 주식회사 | 이동 단말기 및 그것의 제어방법 |
JP6038089B2 (ja) * | 2014-09-22 | 2016-12-07 | 京セラドキュメントソリューションズ株式会社 | 文書閲覧装置、文書閲覧装置の制御方法 |
US9535497B2 (en) | 2014-11-20 | 2017-01-03 | Lenovo (Singapore) Pte. Ltd. | Presentation of data on an at least partially transparent display based on user focus |
US9857871B2 (en) | 2015-09-04 | 2018-01-02 | Sony Interactive Entertainment Inc. | Apparatus and method for dynamic graphics rendering based on saccade detection |
US10775882B2 (en) | 2016-01-21 | 2020-09-15 | Microsoft Technology Licensing, Llc | Implicitly adaptive eye-tracking user interface |
WO2017127991A1 (zh) * | 2016-01-25 | 2017-08-03 | 华为技术有限公司 | 一种标记方法及屏显设备 |
SG11201806463SA (en) | 2016-01-28 | 2018-08-30 | Deka Products Lp | Apparatus for monitoring, regulating, or controlling fluid flow |
US10372205B2 (en) * | 2016-03-31 | 2019-08-06 | Sony Interactive Entertainment Inc. | Reducing rendering computation and power consumption by detecting saccades and blinks |
US10401952B2 (en) | 2016-03-31 | 2019-09-03 | Sony Interactive Entertainment Inc. | Reducing rendering computation and power consumption by detecting saccades and blinks |
US10192528B2 (en) | 2016-03-31 | 2019-01-29 | Sony Interactive Entertainment Inc. | Real-time user adaptive foveated rendering |
US10169846B2 (en) | 2016-03-31 | 2019-01-01 | Sony Interactive Entertainment Inc. | Selective peripheral vision filtering in a foveated rendering system |
US10437326B2 (en) * | 2016-04-21 | 2019-10-08 | Facebook Technologies, Llc | Backlight modulation for liquid crystal display with eyetracking for virtual reality |
USD854145S1 (en) | 2016-05-25 | 2019-07-16 | Deka Products Limited Partnership | Apparatus to control fluid flow through a tube |
WO2018020368A1 (en) * | 2016-07-29 | 2018-02-01 | Semiconductor Energy Laboratory Co., Ltd. | Display method, display device, electronic device, non-temporary memory medium, and program |
US10339853B2 (en) | 2016-11-09 | 2019-07-02 | Samsung Display Co., Ltd. | Mobile terminal and method for controlling the same |
US10324525B2 (en) | 2016-12-31 | 2019-06-18 | Intel Corporation | Context aware selective backlighting techniques |
KR102076506B1 (ko) | 2017-08-21 | 2020-02-13 | 경희대학교 산학협력단 | 시선 추적에 기초한 디스플레이의 영역별 밝기 조절 장치 및 그 방법 |
US10948983B2 (en) * | 2018-03-21 | 2021-03-16 | Samsung Electronics Co., Ltd. | System and method for utilizing gaze tracking and focal point tracking |
CN112088329B (zh) * | 2018-05-04 | 2022-12-02 | 哈曼国际工业有限公司 | 用于多平面平视显示器的可再配置的光学器件 |
US11262839B2 (en) | 2018-05-17 | 2022-03-01 | Sony Interactive Entertainment Inc. | Eye tracking with prediction and late update to GPU for fast foveated rendering in an HMD environment |
US10942564B2 (en) | 2018-05-17 | 2021-03-09 | Sony Interactive Entertainment Inc. | Dynamic graphics rendering based on predicted saccade landing point |
US10802585B2 (en) | 2018-07-12 | 2020-10-13 | Apple Inc. | Electronic devices with display operation based on eye activity |
US20200049946A1 (en) * | 2018-08-10 | 2020-02-13 | Varjo Technologies Oy | Display apparatus and method of displaying using gaze prediction and image steering |
US11099381B2 (en) * | 2018-08-10 | 2021-08-24 | Varjo Technologies Oy | Synchronizing light sources and optics in display apparatuses |
CN111868816B (zh) * | 2018-09-04 | 2023-01-20 | 京东方科技集团股份有限公司 | 显示优化方法和显示装置 |
CA3028220C (en) * | 2018-12-20 | 2020-08-18 | Cae Inc. | Dynamically adjusting image characteristics in real-time |
EP3948492A4 (en) * | 2019-03-27 | 2022-11-09 | INTEL Corporation | SMART BILLBOARD APPARATUS AND RELATED METHODS |
US11379016B2 (en) | 2019-05-23 | 2022-07-05 | Intel Corporation | Methods and apparatus to operate closed-lid portable computers |
US11839741B2 (en) | 2019-07-26 | 2023-12-12 | Deka Products Limited Partneship | Apparatus for monitoring, regulating, or controlling fluid flow |
USD964563S1 (en) | 2019-07-26 | 2022-09-20 | Deka Products Limited Partnership | Medical flow clamp |
US11543873B2 (en) | 2019-09-27 | 2023-01-03 | Intel Corporation | Wake-on-touch display screen devices and related methods |
US11733761B2 (en) | 2019-11-11 | 2023-08-22 | Intel Corporation | Methods and apparatus to manage power and performance of computing devices based on user presence |
US11809535B2 (en) | 2019-12-23 | 2023-11-07 | Intel Corporation | Systems and methods for multi-modal user device authentication |
US11360528B2 (en) | 2019-12-27 | 2022-06-14 | Intel Corporation | Apparatus and methods for thermal management of electronic user devices based on user activity |
US11244654B2 (en) | 2020-06-19 | 2022-02-08 | Intel Corporation | Display control apparatus and method for a display based on information indicating presence or engagement of the user of the display |
US11605152B1 (en) * | 2021-06-22 | 2023-03-14 | Arnold Chase | Dynamic positional control system |
JP2023019689A (ja) * | 2021-07-29 | 2023-02-09 | 株式会社Jvcケンウッド | 読影制御装置、読影制御方法およびプログラム |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0981309A (ja) * | 1995-09-13 | 1997-03-28 | Toshiba Corp | 入力装置 |
JPH11242733A (ja) * | 1998-02-24 | 1999-09-07 | Sanyo Electric Co Ltd | 省電力制御装置 |
JP2001134256A (ja) * | 1999-11-05 | 2001-05-18 | Sony Corp | ディスプレイ装置の利用者検出回路 |
US7068813B2 (en) * | 2001-03-28 | 2006-06-27 | Koninklijke Philips Electronics N.V. | Method and apparatus for eye gazing smart display |
US20030052903A1 (en) | 2001-09-20 | 2003-03-20 | Weast John C. | Method and apparatus for focus based lighting |
JP2003174505A (ja) * | 2001-12-05 | 2003-06-20 | Kyocera Corp | 携帯端末、及びその消費電力削減方法 |
JP2003280805A (ja) * | 2002-03-26 | 2003-10-02 | Gen Tec:Kk | データ入力装置 |
US6890077B2 (en) | 2002-11-27 | 2005-05-10 | The Boeing Company | Method and apparatus for high resolution video image display |
DE10339314B3 (de) | 2003-08-27 | 2005-04-21 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Verfahren zur Anzeigesteuerung von unterschiedlichen Informationen in einem Fahrzeug und optoakustische Informationseinheit |
JP2005221907A (ja) * | 2004-02-09 | 2005-08-18 | Sanyo Electric Co Ltd | 表示装置 |
DK2202609T3 (en) | 2004-06-18 | 2016-04-25 | Tobii Ab | Eye control of computer equipment |
US20060192775A1 (en) * | 2005-02-25 | 2006-08-31 | Microsoft Corporation | Using detected visual cues to change computer system operating states |
JP2007102360A (ja) * | 2005-09-30 | 2007-04-19 | Sharp Corp | 電子書籍装置 |
US8225229B2 (en) * | 2006-11-09 | 2012-07-17 | Sony Mobile Communications Ab | Adjusting display brightness and/or refresh rates based on eye tracking |
JP2008209610A (ja) * | 2007-02-26 | 2008-09-11 | Mitsubishi Electric Corp | 携帯機器及びその表示制御方法 |
JP2008225216A (ja) * | 2007-03-14 | 2008-09-25 | Toyota Motor Corp | 情報表示装置 |
JP2008244917A (ja) * | 2007-03-28 | 2008-10-09 | Pioneer Electronic Corp | 受像機制御システム |
JP2009237210A (ja) * | 2008-03-27 | 2009-10-15 | Sharp Corp | 液晶表示装置 |
JP5299866B2 (ja) * | 2009-05-19 | 2013-09-25 | 日立コンシューマエレクトロニクス株式会社 | 映像表示装置 |
US9520105B2 (en) * | 2009-06-30 | 2016-12-13 | Intel Corporation | Power savings for display panels |
US20110310001A1 (en) * | 2010-06-16 | 2011-12-22 | Visteon Global Technologies, Inc | Display reconfiguration based on face/eye tracking |
-
2012
- 2012-04-12 JP JP2015501649A patent/JP6096276B2/ja active Active
- 2012-04-12 EP EP12874339.0A patent/EP2836889A4/en not_active Withdrawn
- 2012-04-12 US US13/977,487 patent/US9361833B2/en not_active Expired - Fee Related
- 2012-04-12 WO PCT/US2012/033196 patent/WO2013154561A1/en active Application Filing
- 2012-04-12 KR KR1020147026104A patent/KR101634154B1/ko active IP Right Grant
- 2012-04-12 CN CN201280071861.8A patent/CN104169838B/zh not_active Expired - Fee Related
-
2013
- 2013-04-11 TW TW102112853A patent/TWI605433B/zh active
Also Published As
Publication number | Publication date |
---|---|
TWI605433B (zh) | 2017-11-11 |
US9361833B2 (en) | 2016-06-07 |
KR101634154B1 (ko) | 2016-06-28 |
EP2836889A1 (en) | 2015-02-18 |
TW201351376A (zh) | 2013-12-16 |
CN104169838A (zh) | 2014-11-26 |
JP2015511044A (ja) | 2015-04-13 |
EP2836889A4 (en) | 2015-11-18 |
US20140313120A1 (en) | 2014-10-23 |
KR20140138178A (ko) | 2014-12-03 |
CN104169838B (zh) | 2017-07-21 |
WO2013154561A1 (en) | 2013-10-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6096276B2 (ja) | 視線追跡に基づくディスプレイの選択的バックライト | |
US11257459B2 (en) | Method and apparatus for controlling an electronic device | |
TWI590149B (zh) | 包括根據觀看條件之動態使用者介面的能量效率及能量保存之方法,設備,及系統 | |
US8856815B2 (en) | Selective adjustment of picture quality features of a display | |
KR101488094B1 (ko) | 캡처된 비디오 콘텐츠의 비디오 분석을 위한 기술 | |
TWI639931B (zh) | 眼動追蹤式選擇性強調顯示器之一部分 | |
US9952433B2 (en) | Wearable device and method of outputting content thereof | |
US9851790B2 (en) | Gaze based notification reponse | |
US9377868B2 (en) | Sliding control method and terminal device thereof | |
US20210218845A1 (en) | Technologies for video conferencing | |
TWI480725B (zh) | 適應性圖形次級系統電源及效能管理 | |
KR20160033605A (ko) | 콘텐트를 디스플레이하기 위한 장치 및 방법 | |
US20220374123A1 (en) | Display element display method and electronic device | |
US20140023351A1 (en) | Selective post-processing of decoded video frames based on focus point determination | |
US10067656B2 (en) | Method and apparatus for context based application grouping in virtual reality | |
CN110682912B (zh) | 一种数据处理方法、装置和机器可读介质 | |
KR102656425B1 (ko) | 영상을 표시하는 전자 장치 및 방법 | |
US20140006463A1 (en) | System, method, and computer program product for using eye movement tracking for retrieval of observed information and of related specific context | |
US10275924B2 (en) | Techniques for managing three-dimensional graphics display modes |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140922 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20151001 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151201 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160226 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160524 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160822 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160913 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161207 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170117 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170215 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6096276 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |