JP6096276B2 - 視線追跡に基づくディスプレイの選択的バックライト - Google Patents

視線追跡に基づくディスプレイの選択的バックライト Download PDF

Info

Publication number
JP6096276B2
JP6096276B2 JP2015501649A JP2015501649A JP6096276B2 JP 6096276 B2 JP6096276 B2 JP 6096276B2 JP 2015501649 A JP2015501649 A JP 2015501649A JP 2015501649 A JP2015501649 A JP 2015501649A JP 6096276 B2 JP6096276 B2 JP 6096276B2
Authority
JP
Japan
Prior art keywords
display
region
users
interest
visual data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015501649A
Other languages
English (en)
Other versions
JP2015511044A (ja
Inventor
カムヒ,ギラ
Original Assignee
インテル コーポレイション
インテル コーポレイション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by インテル コーポレイション, インテル コーポレイション filed Critical インテル コーポレイション
Publication of JP2015511044A publication Critical patent/JP2015511044A/ja
Application granted granted Critical
Publication of JP6096276B2 publication Critical patent/JP6096276B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/3406Control of illumination source
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234Power saving characterised by the action undertaken
    • G06F1/325Power saving in peripheral device
    • G06F1/3265Power saving in display device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/19Sensors therefor
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/36Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0626Adjustment of display parameters for control of overall brightness
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2330/00Aspects of power supply; Aspects of display protection and defect management
    • G09G2330/02Details of power systems and of start or stop of display operation
    • G09G2330/021Power management, e.g. power saving
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Chemical & Material Sciences (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Ophthalmology & Optometry (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本発明は、視線追跡(eye tracking)に基づくディスプレイの選択的バックライトに関する。
ディスプレイは、典型的には、電力管理について特有の困難性を示す構成要素である。ディスプレイは、典型的には、中央演算処理装置に次ぐ最大の消費電力装置を表す。ディスプレイは、ユーザとの相互作用のためだけに存在しており、従って、誰かがそのディスプレイを見るときのみ必要になる。ユーザが、おそらく電話に答えたり、コーヒーを口にするために、自分の注意をコンピュータディスプレイから離すことが何度も存在している。ディスプレイは、特定の用途について少しの間のみ使用されるか、又は全く使用されないというシナリオも存在する。例えば、音楽を再生するためにコンピュータ装置を用いるユーザは、曲を選択するためだけに装置と相互作用する。
従って、ディスプレイの照明/減光の効率的な管理は、典型的には、ユーザによって制御される明示的なキーボード/マウス入力のタイムアウトスキームに基づいている。このようなタイムアウトスキームは、典型的には、コンピュータの使用を介してのユーザのディスプレイの必要性を予測することに狙いを定めている。
例示的なバックライトシステムの説明図である。 例示的な選択的なバックライト手順を示すフローチャートである。 作動中の例示的なバックライトシステムの説明図である。 例示的なバックライトシステムの説明図である。 例示的なシステムの説明図である。 本開示の少なくともいくつかの実装形態に従って全てが構成された、例示的なシステムの説明図である。
本明細書で説明される材料は、例としてのみ例示されており、且つ添付の図面によって限定されるものではない。説明を簡潔且つ明瞭にするために、図面に示される要素は、必ずしも縮尺通りに描かれていない。例えば、いくつかの要素の寸法は、明瞭にするために他の要素に対して誇張される場合がある。さらに、適切とみなされる場合には、参照符号は、対応する又は類似の要素を示すために、図面同士の間で繰り返される。
1つ以上の実施形態又は実装形態について、添付図面を参照しながら説明する。特定の構成及び配置が議論されるが、これは例示目的のためだけに行われていることを理解すべきである。当該技術分野における当業者は、他の構成及び配置が、本明細書の精神及び範囲から逸脱することなく用いることができることを認識するであろう。本明細書で説明する技術及び/又は構成は、本明細書で説明される以外の種々の他のシステムやアプリケーションにおいても用いられることは、当業者には明らかであろう。
以下の説明は、例えばシステムオンチップ(SoC)アーキテクチャ等のアーキテクチャで明らかにされるような様々な実装形態を説明するが、本明細書で説明する技術及び/又は構成の実装形態は、特定のアーキテクチャ及び/又はコンピュータシステムに限定されるものではなく、且つ同様の目的のために任意のアーキテクチャ及び/又はコンピュータシステムによって実施することができる。例えば複数の集積回路(IC)チップ及び/又はパッケージ、及び/又は様々なコンピュータ装置、及び/又は例えばセットトップボックス、スマートフォン等の消費者電子(CE)装置を用いた様々なアーキテクチャは、本明細書で説明する技術及び/又は構成(配置)を実装することができる。さらに、以下の説明は、ロジックの実装形態、システムコンポーネントの種類及び相互関係、ロジックの分割/統合選択等の多くの特定の詳細を説明するが、特許請求の範囲に記載されている主題は、このような特定の詳細なしに実施することができる。他の場合では、例えば制御構造及び完全なソフトウェア命令シーケンス等のいくつかの材料は、本明細書に開示された材料を不明瞭にしないために詳細に示されないことがある。
本明細書で開示される材料は、ハードウェア、ファームウェア、ソフトウェア、又はこれらの任意の組み合わせで実現してもよい。本明細書に開示された材料は、1つ以上のプロセッサによって読み取られ且つ実行されるような機械可読媒体に格納された命令として実装してもよい。機械可読媒体は、マシン(例えば、コンピュータ装置)によって読み取り可能な形式の情報を格納又は送信するための任意の媒体及び/又は機構を含んでもよい。例えば、機械可読媒体は、読み出し専用メモリ(ROM);ランダムアクセスメモリ(RAM);磁気ディスク記憶媒体;光記憶媒体;フラッシュメモリデバイス;電子的、光学的、音響的又は他の形態の伝搬信号(例えば、搬送波、赤外線信号、デジタル信号等)等を含んでもよい。
明細書における「一実装形態」、「実装形態」、「実装例」等への言及は、説明する実装形態が、特定の特徴、構造、又は特性を含むことができるが、全ての実装形態が、必ずしもこれら特定の特徴、構造、又は特性を含まないことを示している。また、このような語句は、必ずしも同じ実装形態を指しているわけではない。また、特定の特徴、構造、又は特性を、ある実装形態に関して説明するときに、本明細書で明示的に説明しているか否かに拘わらず、他の実装形態に関してこのような特徴、構造、又は特性を達成することは、当業者の知識の範囲内であると考えられる。
視線追跡に基づくディスプレイの選択バックライトの動作を含むシステム、装置、物品、及び方法を、以下に説明する。
上述したように、ディスプレイの照明/減光の効率的な管理は、典型的には、ユーザによって制御された明示的なキーボード/マウス入力のタイムアウトスキームに基づいている。このようなタイムアウトスキームは、典型的には、コンピュータの使用を介してのユーザのディスプレイの必要性を予測することに狙いを定めている。このスキームは、いくつかの用途のために適切でないことがある(例えば、特にユーザが受動的である場合や、ユーザが効率的な使用のための明示的なキーボード/マウス入力を提供する必要がない場合である)。例えば、電子書籍を読んだり、ウェブページで複合コンテンツを調べるユーザは、キーボードやマウスの休止のタイムアウトによるディスプレイ減光の気に障る挙動を経験することがある。同じ問題は、ユーザがビデオ又は自動スライドショーを見ている場合に存在することがある。ユーザとの相互作用(対話)がディスプレイに依存しているが、このユーザとの相互作用は、ユーザインターフェイスの入力イベントに縛られない状況が存在する。
さらに、いくつかの使用シナリオにおいて、ユーザは、(例えば、小説を読む、電子書籍を介して物品を読む、又はビデオを見るとき)スクリーン上の非常に特定の領域を見ており、ここで、ユーザは、読書やビデオ鑑賞経験に関連するスクリーンの極小さな部分のみを見る必要がある。これらの場合の関心領域は、種類又は使用に基づいて急激に減少することがある(例えば、小説又は物品において現在読まれている行だけにバックライトを当てる必要がある)。
部分的なスクリーン減光のための方法(例えば、使用されているスクリーンの部分のみにバックライトを当てる)が、提案されるが、広く採用されていない。例えば、部分的なスクリーン減光の方法は、マウス追跡に基づいて提案されている。このようなマウス追跡は、(例えば、マウスカーソルを介して)関心領域を明示的に強調するような部分的な減光をトリガーするために、ユーザからの物理的な入力を必要とするので、広く採用されない。
以下により詳細に説明するように、選択的にバックライトする動作が、部分的なバックライト(それぞれ、部分的な減光)する関心領域の暗黙的且つ正確な同定のために視線追跡を利用することができる。さらに、ディスプレイの全て又は一部の減光が、ディスプレイにマッピングされたユーザの凝視(gaze)情報に基づいてもよい。換言すると、ユーザの凝視によって、減光を暗黙的に制御しており、こうして、ユーザが見ているスクリーン上の領域のみを自然にバックライトする。このような凝視情報の使用は、他の従来の手段(すなわち、キーボードやマウスのクリック)よりもコンピュータの前面でのユーザの活動を判定するためにより正確な手段であり、この手段は、いくつかの使用ケースで(例えば、電子書籍の読書をしたりビデオを見たりするときに)誤作動を招く可能性がある。さらに、ユーザ凝視情報は、スクリーンのどの領域をバックライトすべきかを判定するためにより正確な手段とすることもでき、部分的なスクリーン減光機能を実現するために、より自然で且つユーザフレンドリーな手段を提供する。
視線追跡に基づく関心領域の暗黙的なバックライトは、いくつかの利点を有している。例えば、このような動作は、(キーボード/マウス入力の休止によって解釈されるような)ユーザ入力の休止に基づいて典型的な従来のタイムアウトスキームによって現在トリガーされるディスプレイ減光機能の制御を、ディスプレイ上でのユーザ凝視の休止に基づいてディスプレイを減光することを介することに拡張することができる。いくつかの実装形態では、(例えば、電子書籍を読書するユーザ経験のケースで大抵の場合起きるように)ユーザによって与えられた明示的なタッチスクリーン、キーボード、及び/又はマウス入力がない場合であっても、視線追跡に基づいてユーザ凝視がスクリーン上にある場合に、ディスプレイを減光しない。(所定の期間に亘ったユーザ入力の休止の代わりに)ディスプレイ上でのユーザ凝視の休止に基づいて減光するこのようなディスプレイ制御は、使いやすさを向上させ、且つ電力節約を高めることができる。例えば、ディスプレイが、(ユーザの存在が検出されない場合に直ぐに減光する等の)有効期限が切れるまで、減光するタイムアウト時間を待つ前に、ユーザ凝視の休止に基づいて減光されるケースにおいて、電力節約を実現することができる。こうして、このような制御は、タッチスクリーン、キーボード及び/又はマウスを介して提供される明示的な入力に基づくタイムアウトスキームを介してのユーザの非活動状態を予測する代わりに(又はこれに加えて)、ユーザ自身の行動に減光を一致させることによって、電力管理機能の使い勝手を向上させることができる。
さらに、視線追跡は、ディスプレイの部分的な減光を提供することによって、例えばユーザの凝視が置かれるスクリーン上の領域のみをバックライトすることによって、減光機能を拡張するように利用することができる。また、電力節約は、ユーザの凝視が置かれるスクリーン上の領域のみをバックライトすることによって実現することができる。例えば、ディスプレイの部分的な減光は、ユーザの凝視情報を介して照明する必要のある領域の判定に基づいて、さらなる電力節約を提供することができる。このような凝視に基づく部分的な減光は、減光/照明がカーソル領域の周囲領域によって支配されていた従来の実装形態で直面した使い勝手の問題を解決することができる。凝視に基づく部分的な減光は、ディスプレイ上に緊急に点灯するように凝視を利用する効果を提供し、(例えば、読まれる行の)関心領域にバックライトがもたらされる。このような視線追跡に基づく解決法は、直感的なものであり、ユーザからの追加入力を要求しないものであり、代わりに、ユーザが本質的に見ているディスプレイの領域のみが照明される。
さらに、このような視線追跡に基づく部分的な減光は、新たなユーザ経験を提供する。例えば、ユーザは、関心領域のみを照明することによって読み取り箇所や視聴箇所に集中することができ、ユーザの注意を集中するのを助けることができる。
図1は、本開示の少なくともいくつかの実装形態に従って配置された、例示的なバックライトシステム100の説明図である。示される実装形態では、バックライトシステム100は、ディスプレイ102と撮像装置104とを含んでもよい。いくつかの例では、バックライトシステム100は、明瞭にするために図1に示されない追加のアイテムを含んでもよい。例えば、バックライトシステム100は、プロセッサ、無線周波数タイプ(RF)トランシーバ、及び/又はアンテナを含んでもよい。さらに、バックライトシステム100は、明瞭にするために図1に示されないようなスピーカー、マイク、加速度計、メモリ、ルータ、ネットワーク・インターフェイス・ロジック等の追加アイテムを含んでもよい。
撮像装置104は、バックライトシステム100の1人以上のユーザ110から視覚データを取り込むように構成してもよい。例えば、撮像装置104は、第1のユーザ112から、第2のユーザ114から、1人又は複数の追加のユーザ等から、及び/又はこれらの組み合わせから視覚データを取り込むように構成してもよい。いくつかの例では、撮像装置104は、ユーザ110がディスプレイ102を見ている間に、ユーザ110を確認できるようにバックライトシステム100上に配置することができる。
いくつかの例では、第1ユーザの視覚データは、話している人を見つけるために赤緑青(RGB)深度カメラ及び/又はマイク・アレイの使用をすることなく、カメラセンサタイプの撮像装置104等(例えば、相補型金属−酸化半導体タイプの画像センサ(CMOS)又は電荷結合素子タイプの画像センサ(CCD))を介して取り込むことができる。他の例では、RGB深度カメラ及び/又はマイク・アレイを、カメラセンサに追加して、又はカメラセンサの代わりに使用してもよい。いくつかの例では、撮像装置104は、周辺視線追跡カメラ、又はバックライトシステム100における統合型周辺視線追跡カメラのいずれかを用いて提供してもよい。
動作中に、バックライトシステム100は、ディスプレイ102のどの部分をバックライトすべきかを判定することを可能にするために視覚データ入力を利用してもよい。従って、バックライトシステム100は、視覚的な情報処理技術を活用することで、選択的バックライトを実行することができる。例えば、バックライトシステム100は、1人以上のユーザ110の視覚データを撮像装置104から受け取ることができる。受け取った視覚データに少なくとも部分的に基づいて、ディスプレイ102のどの部分をバックライトすべきかの判定が行われる。
いくつかの例では、このような選択的なバックライトは、関心領域を離散ディスプレイ要素120に関連付けることに少なくとも部分的に基づいて、ディスプレイ102の領域を選択的にバックライトすることを含んでもよい。本明細書で使用されるように、用語「離散ディスプレイ要素」は、表示される識別可能で且つ分離したアイテムを指す。例えば、離散ディスプレイ要素120は、テキスト(text)ボックス、テキストの段落、デフォルト数のテキスト行、画像、メニュー等、及び/又はこれらの組み合わせを含んでもよい。示されるように、離散ディスプレイ要素120は、テキストのいくつかの段落及び/又は複数の画像を含むことがある。
いくつかの例では、視線追跡は、1人以上のユーザ110のうちの少なくとも1人について実行してもよい。例えば、視線追跡は、受信した視覚データ130に少なくとも部分に基づいて実行してもよい。バックライトシステム100のディスプレイ102の一部に関連付けられるように、関心領域140を決定することができる。例えば、関心領域140の決定は、実行された視線追跡に少なくとも部分的に基づいてもよい。
決定された関心領域140に関連付けられたディスプレイ102の一部を、選択的にバックライトすることができ、決定された関心領域に関連付けられていないディスプレイの第2部分を、(例えば、図1の影付き部分によって示されるように)減光してもよい。
いくつかの例では、バックライトシステム100は、選択的なバックライトが、関心領域140を離散ディスプレイ要素120に関連付けることに少なくとも部分的に基づいて、関心領域に140の対応する領域を選択的にバックライトするように動作してもよい。追加的に又は代替的に、バックライトシステム100は、選択的なバックライトが、デフォルトの領域サイズに少なくとも部分的に基づいて、関心領域140に対応する領域を選択的にバックライトするように動作してもよい。例えば、関心領域140に対応する領域は、このようなデフォルトの矩形、楕円形又は他の形状等の、デフォルトの形状やプロポーションを有することがある。
いくつかの例では、バックライトシステム100は、選択的なバックライトが、ディスプレイの第2部分に関連付けられたバックライトの以前照明された部分のスイッチをオフにするように動作してもよい。追加的に又は代替的に、バックライトシステム100は、選択的なバックライトが、決定された関心領域に関連付けられたディスプレイの一部に関連付けられたバックライトの以前減光された部分のスイッチをオンにするように動作してもよい。
以下でより詳細に議論するように、バックライトシステム100は、図2及び/又は図3に関して以下で議論される様々な機能の一部又は全部を実行するように使用してもよい。
図2は、本開示の少なくともいくつかの実装形態に従って配置された、例示の選択的なバックライト手順200を示すフローチャートである。示される実装形態では、手順200は、1つ以上のブロック202,204,206及び/又は208によって示されるように、1つ又は複数の操作、機能又は動作を含んでもよい。非限定的な例として、手順200は、図1及び/又は図4の例示的なバックライトシステム100を参照してここで説明する。
手順200は、「視覚データを受信する」ブロック202で開始することができ、ここで、視覚データが受信される。例えば、受信した視覚データは、1人以上のユーザのビデオを含んでもよい。
処理は、操作202から、「視線追跡を行う」操作204に進み、ここで、視線追跡が実行される。例えば、視線追跡は、受信した視覚データに少なくとも部分的に基づいて、1人以上のユーザのうちの少なくとも1人について実行される。
いくつかの例では、このような視線追跡は、トラッキング注視(fixation)及び/又は凝視(gaze)を含んでもよい。本明細書で使用されるように、用語「凝視」は、一瞥を指すが、用語「注視」は、凝視の時間より長い時間に亘って維持された、持続的な一瞥を指す。
注視は、視野内の特定の点の観察である。視野の約2度に及ぶこの入力は、シャープに、明確に及び正確に処理された入力のみである。典型的には、毎秒の約3から4回の注視が存在し、それぞれ約200から300ミリ秒の持続時間である。例えば、注視は、密接にグループ化されたいくつかの凝視点を含んでもよく、ここで、このような凝視は、典型的には、約17ミリ秒の持続時間を有することができる。
サッカード(saccade)(眼球の衝動的運動)は、注視点を再配置する。眼の速い弾道運動が存在する(すなわち、開始する前にターゲットが決定される)。これらの運動は、典型的には、(視覚刺激の抑制が存在する間に)約20度までの振幅と、約40ミリ秒の持続時間とを有している。
注視及びサッカードは、視覚的な情報を収集し且つ統合するために利用することができる。これらの注視及びサッカードは、人間の意向や認知の状態も反映する。
一例では、ディスプレイ要素(例えば、単語、文章、テキスト領域での特定の列(段)/行、及び/又は画像)での凝視持続時間を決定することができる。例えば、このような凝視持続時間は、眼が向けられたディスプレイ要素を見るのに費やされた時間の割合を判定することに基づいてもよい。
別の例では、このような視線追跡は、所定のディスプレイ要素に関して、所定の時間窓(例えば、直前)に亘って関心領域上の注視の数を判定することを含んでもよい。例えば、このような注視は、テキスト又はディスプレイ領域の他の領域と比較して、ディスプレイ要素(例えば、単語、文章、テキスト領域での特定の列(段)/行、及び/又は画像)の関心領域上の関心の割合を示すことができる。このメトリックは、視聴者に対して領域の「重要性」の表示を示すことができ、凝視レートに直接関連させてもよい。
さらなる例では、このような視線追跡は、所定の時間ウィンドウに亘って関心領域上の凝視の数を判定することを含んでもよい。例えば、このような凝視の数の判定は、テキスト又はディスプレイ領域の他の領域と比較して、ディスプレイ要素の関心領域上の凝視の割合を示すことができる。凝視の数は、(ディスプレイ又はテキスト要素を規定する)関心領域内の連続する注視を連結したものとして測定することができ、ユーザに対して表示されるアイテムの重要性を示す指標を提供し、選択的なバックライトをトリガーするために使用することができる。
処理は、操作204から、「関心領域を決定する」操作206に進み、ここで、関心領域が決定される。例えば、コンピュータシステムのディスプレイの一部に関連付けられた関心領域は、実行された視線追跡に少なくとも部分的に基づいている。
処理が、操作206から、「決定された関心領域に関連付けられたディスプレイの一部を選択的にバックライトする」操作208に進み、ここで、決定された関心領域に関連付けられたディスプレイの一部を、選択的にバックライトする。例えば、決定された関心領域に関連付けられたディスプレイの一部は、選択的にバックライトされるが、決定された関心領域に関連付けられていないディスプレイの第2部分は、選択的に減光してもよい。
操作中に、手順200は、スマート(機能)を利用することができ、コンテキストの認識が、ユーザの視覚的な待ち行列に応答する。例えば、手順200は、ユーザの注意が、所定のディスプレイ部分のみに応答しバックライトするように向けられるような伝達(telling)が可能になる。
処理200に関するいくつかの追加の及び/又は代替の詳細を、図3に関して以下でより詳細に議論する1つ又は複数の例示的な実装形態において示す。
図3は、本開示の少なくともいくつかの実装形態に従って配置された、例示的なバックライトシステム100及び動作中の選択的なバックライト手順300の説明図である。示される実装形態では、手順300は、1つ又は複数の操作310,311,312,314,316,318,320,322,324,326,328及び/又は330によって示されるような1つ以上の操作、機能又は動作を含んでもよい。非限定的な例として、手順300は、図1及び/又は図4の例示的なバックライトシステム100を参照してここで説明する。
示される実装形態では、バックライトシステム100は、ディスプレイ102、撮像装置104、論理モジュール306等、及び/又はこれらの組み合わせを含んでもよい。図3に示されるように、バックライトシステム100は、特定のモジュールに関連付けられたブロック又はアクションの特定のセットを含んでもよい。これらブロック又アクションは、ここで示される特定のモジュールとは異なるモジュールに関連付けてもよい。
手順300は、「アプリケーションが視線追跡のために指定されているか否かを判定する」ブロック310で開始することができ、ここで、所定のアプリケーションが視線追跡のために指定されているか否かの判定が行われる。例えば、ディスプレイ102上に現在提示されアプリケーションは、視線追跡に基づく選択的減光での動作に指定されてもよいし、されなくてもよい。
いくつかの例では、所定のアプリケーションは、全てのアプリケーション、いくつかのカテゴリのアプリケーション(例えば、テキストベースのアプリケーションは、視線追跡のスイッチをオンにするようにデフォルト設定されるが、ビデオベースのアプリケーションは、視線追跡のスイッチをオフにするようにオフにデフォルト設定される)、又はアプリケーション毎の基準についての機能を有効にするようなデフォルトモード(例えば、視線追跡をオンにすることや視線追跡をオフにすること)を有している。追加的に又は代替的に、ユーザ選択は、全てのアプリケーション、いくつかのカテゴリのアプリケーション、又はアプリケーション毎の基準についての機能を有効にする又は無効にするために利用することができる。例えば、ユーザは、機能を有効又は無効にするように促されてもよい。
処理は、操作310から、「画像データを取り込む」操作312に進み、ここで、画像データが取り込まれる。例えば、画像データの取り込みは、撮像装置104を介して実行してもよい。いくつかの例では、このような撮像データの取り込みは、ディスプレイ102に現在提示されているアプリケーションが、視線追跡に基づく選択的な減光での動作に指定されたという、操作310での判定に応答して実行してもよい。
処理は、操作312から、「画像データを転送する」操作314に進み、ここで、画像データが転送される。例えば、画像データは、撮像装置104から論理モジュール306に転送されてもよい。
処理は、操作314から、「視覚データを受信する」操作316に進み、ここで、視覚データを受信する。例えば、受信した視覚データは、1人以上のユーザのビデオを含んでもよい。
処理は、操作316から、「ユーザの存在を判定する」操作318に進み、ここで、ユーザの存在又は非存在を判定することができる。例えば、1人以上のユーザのうちの少なくとも1人が、受信した視覚データに少なくとも部分的に基づいて存在するか否かの判定が行われる。1人以上のユーザのうちの少なくとも1人が存在するという判定は、アプリケーションが視線追跡での動作に指定されたという、操作310での判定に応答して生じる。
例えば、手順300は、ユーザの顔が検出されるような顔検出を含んでもよい。例えば、1人以上のユーザの顔が、視覚データに少なくとも部分的に基づいて検出される。いくつかの例では、このような顔検出は、1人以上のユーザ同士の間を差別化するように構成してもよい。このような顔検出技術によって、相対的な累積が、顔検出、視線追跡、ランドマーク検出、顔アライメント、笑顔/瞬き/性別/年齢検出、顔認識、二つ以上の顔の検出及び/又は同様のものを含むように可能になってもよい。
処理は、操作316及び/又は操作318から、「視線追跡を実行する」操作320に進み、ここで、視線追跡が行われる。例えば、視線追跡は、受信した視覚データに少なくとも部分的に基づいて、1人以上のユーザのうちの少なくとも1人について行ってもよい。例えば、視線追跡の動作は、1人以上のユーザのうちの少なくとも1人が存在するという操作318での判定に応答して、1人以上のユーザのうちの少なくとも1人ついて発生してもよい。代替的に又は追加的に、視線追跡の動作は、アプリケーションが視線追跡での動作に指定されたという、操作310での判定に応答して発生してもよい。
処理は、操作320から、「関心領域を決定する」操作322に進み、ここで、関心領域が決定される。例えば、コンピュータシステムのディスプレイの一部に関連付けられた関心領域は、実行された視線追跡に少なくとも部分的に基づいてもよい。
処理は、操作322から、「選択的にバックライトする」操作324に進み、ここで、決定された関心領域に関連付けられたディスプレイの一部が、選択的にバックライトされる。例えば、決定された関心領域に関連付けられたディスプレイの一部が、選択的にバックライトされるが、決定された関心領域に関連付けられていないディスプレイの第2部分が、選択的に減光されてもよい。
いくつかの例では、手順300は、選択的なバックライトが、関心領域を離散的なディスプレイ要素に関連付けることに少なくとも部分的に基づいて領域を選択的にバックライトするように動作してもよく、ここで、離散的なディスプレイ要素は、テキストボックス、テキストの段落、デフォルト数のテキスト行、画像、メニュー等、及び/又はこれらの組み合わせを含む。例えば、バックライト領域は、凝視の位置に中心決めされた所定半径の円によって規定された近傍、凝視の中央位置から上下方向の既定数の行、凝視の中央位置、テキストの段落全体、画像全体等からの全体のディスプレイの特定割合の領域に基づいて決定することができる。
処理は、操作324から、「ディスプレイを選択的にバックライトする」操作326に進み、ここで、ディスプレイ102は、ディスプレイ102の選択的なバックライト部分をユーザに提示することができる。例えば、選択的なバックライトは、デフォルトの領域サイズに少なくとも部分的に基づいて、領域を選択的にバックライトすることを含んでもよい。選択的に又は代替的に、選択的なバックライトは、関心領域を離散ディスプレイ要素に関連付けすることに少なくとも部分的に基づいて、領域を選択的にバックライトすることを含んでもよい。
いくつかの例では、操作326は、選択的なバックライトが、ディスプレイの第2部分に関連付けられたバックライトの以前照明された部分のスイッチをオフにするように動作してもよい。例えば、ユーザの凝視が一定期間に亘ってディスプレイのこの領域に存在しない場合には、そのような領域は、そのバックライトが低減される又はスイッチがオフにされる。追加的に又は代替的に、操作326は、選択的なバックライトが、決定された関心領域に関連付けられたディスプレイの一部であって、この部分に関連付けられたバックライトの以前減光された部分のスイッチをオンにするように動作してもよい。
処理は、操作326から、「完全に減光(暗く)する」操作328に進み、ここで、例えば、ディスプレイ102は、受信した視覚データに応答して、1人以上のユーザの誰も存在しないという操作318での判定に少なくとも部分的に基づいて、完全に減光(暗く)される。追加的に又は代替的に、操作328は、受信した視覚データに応答して、1人以上のユーザの目のいずれもが、実行された視線追跡に応答してディスプレイに向けられていないという操作320での判定に少なくとも部分的に基づいて、ディスプレイ102を完全に減光することを含んでもよい。
処理は、操作328から、「ディスプレイを完全に減光(暗く)する」操作330に進み、ここで、ディスプレイ102を完全に減光(暗く)する。例えば、このような完全な減光は、ディスプレイ102のスイッチをオフにすること、又はディスプレイ全体をより低い光レベルに部分的に減光することを含んでもよい。
動作中に、手順300は、どのアプリケーションが部分的な減光を行うために登録されているかを決定してもよい。手順300は、視線追跡が、アクティブなアプリケーション(例えば、システム100の最も上にあるアプリケーション)についてスイッチが「オン」にされており、ユーザが存在すると判定される場合に、ユーザの凝視をバックライトする及び追跡するための領域として最初にディスプレイ102全体をマークすることによって、選択的にバックライトすべき領域を決定する。手順300は、凝視データ(例えば、ディスプレイ102上の凝視のx,y座標、及び凝視の関連するタイムスタンプ)を計算することができる。凝視のx,y座標が、表示されるアプリケーション領域の領域内にある場合には、バックライトの領域が、決定され、そして部分的な減光機能が、ディスプレイ102上の凝視履歴に基づいて以前のバックライトのスイッチをオフにしてもよい。
図2及び図3に示されるように、例示的な手順200及び300の実装形態は、示された順番で全てのブロックを着手することを含むが、本開示はこの点に限定されるものではなく、様々な例において、手順200及び300の実装形態は、図示されたブロックのサブセットのみを着手する、及び/又は図示された順番とは異なる順序で着手することを含んでもよい。
加えて、図2及び図3のブロックの1つ又は複数は、1つ又は複数のコンピュータプログラム製品によって提供される命令に応答して着手されてもよい。このようなプログラム製品は、例えばプロセッサによって実行されたときに、本明細書で説明する機能を提供するような命令を提供する信号搬送媒体を含んでもよい。コンピュータプログラム製品は、任意の形態のコンピュータ可読媒体で提供されてもよい。従って、例えば、1つ又は複数のプロセッサコア(複数可)を含むプロセッサは、コンピュータ可読媒体によってプロセッサに搬送される命令に応答して、図2及び図3に示される1つ以上のブロックを着手してもよい。
本明細書で説明される任意の実装形態において使用されるように、用語「モジュール」は、本明細書で説明する機能を提供するように構成されたソフトウェア、ファームウェア及び/又はハードウェアの任意の組合せを指す。ソフトウェアは、ソフトウェアパッケージ、コード及び/又は命令セット又は命令として具体化することができ、及び「ハードウェア」は、本明細書で説明する任意の実装形態で使用されるように、例えば、配線接続回路、プログラマブル回路、状態マシン回路、及び/又はプログラマブル回路によって実行される命令を格納するファームウェアを、単独で又は任意の組み合わせで含んでもよい。モジュールは、集合的に又は個別的に、例えば、集積回路(IC)、システムオンチップ(SoC)等の、より大きなシステムの一部を形成する回路として具体化してもよい。
図4は、本開示の少なくともいくつかの実装形態に従って配置された、例示的なバックライトシステム100の説明図である。示される実装形態では、バックライトシステム100は、ディスプレイ102、撮像装置104、及び/又は論理モジュール306を含んでもよい。論理モジュール306は、視覚データ論理モジュール412、視線追跡論理モジュール414、関心領域論理モジュール416、選択的バックライト論理モジュール418、ユーザ存在論理モジュール420は、完全な減光論理モジュール422等、及び/又はこれらの組み合わせを含んでもよい。示されるように、ディスプレイ102、撮像装置104、プロセッサ402及び/又はメモリ格納装置404は、互いに通信する及び/又は論理モジュール306の一部と通信する能力を有してもよい。図4に示されるように、バックライトシステム100は、特定のモジュールに関連付けられたブロック又はアクションの特定のセットを含むことがあるが、これらのブロック又はアクションは、本明細書で示される特定のモジュールと異なるモジュールに関連付けることができる。
いくつかの例では、撮像装置104は、視覚データを取り込むように構成してもよい。プロセッサ402は、ディスプレイ102に及び撮像装置104に通信可能に結合してもよい。メモリ格納装置404は、プロセッサ402に通信可能に結合してもよい。視覚データ論理モジュール412、視線追跡論理モジュール414、関心領域論理モジュール416、選択的バックライト論理モジュール418、ユーザ存在論理モジュール420、及び/又は完全な減光論理モジュール422は、プロセッサ402及び/又はメモリ格納装置404に通信可能に結合してもよい。
いくつかの例では、視覚データ論理モジュール412は、視覚データを受信するように構成してもよく、ここで、視覚データは、1人以上のユーザのビデオを含む。視線追跡論理モジュール414は、受信した視覚データに少なくとも部分的に基づいて、1人以上のユーザのうちの少なくとも1人について視線追跡を実行するように構成してもよい。関心領域論理モジュール416は、実行された視線追跡に少なくとも部分的に基づいて、ディスプレイ102の一部に関連付けられた関心領域を決定するように構成してもよい。選択的バックライト論理モジュール418は、決定された関心領域に関連付けられたディスプレイ102の一部を選択的にバックライトするが、決定された関心領域に関連付けられていないディスプレイ102の第2部分を減光するように構成してもよい。
いくつかの例では、論理モジュール306は、1人以上のユーザのうちの少なくとも1人が、受信した視覚データに少なくとも部分的に基づいて存在するか否かを判定するように構成されたユーザ存在論理モジュール420を含んでもよい。例えば、1人以上のユーザのうちの少なくとも1人が存在するか否かの判定は、アプリケーションが視線追跡での動作に指定されたという判定に応答して生じてもよい。いくつかの例では、視線追跡論理モジュール414を介しての視線追跡の動作は、1人以上のユーザのうちの少なくとも1人が存在するという判定に応答して、1人以上のユーザのうちの少なくとも1人について発生してもよい。
いくつかの例では、論理モジュール306は、受信した視覚データに応答して、ディスプレイ102を完全に減光(暗く)するように構成された完全な減光論理モジュール422を含んでもよい。例えば、完全な減光論理モジュール422は、1人以上のユーザの誰も存在しないという、ユーザ存在論理モジュール420を介した判定に少なくとも部分的に基づいて、ディスプレイ102を完全に減光(暗く)するように構成してもよい。追加的に又は代替的に、完全な減光論理モジュール422は、1人以上のユーザの目のいずれもが、実行された視線追跡に応答してディスプレイに向けられていないという、視線追跡論理モジュール414を介した判定に少なくとも部分的に基づいて、ディスプレイ102を完全に減光(暗く)するように構成してもよい。
様々な実施形態では、選択的バックライト論理モジュール418及び/又は完全な減光論理モジュール422は、ハードウェアで実装されてもよいが、ソフトウェアは、視覚データ論理モジュール412、視線追跡論理モジュール414、関心領域論理モジュール416、及び/又はユーザ存在論理モジュール420を実装してもよい。例えば、いくつかの実施形態では、選択的バックライト論理モジュール418及び/又は完全な減光論理モジュール422は、ASIC論理によって実装されてもよいが、視覚データ論理モジュール412、視線追跡論理モジュール414、関心領域論理モジュール416の領域、及び/又はユーザ存在論理モジュール420は、プロセッサ406等のロジックによって実行されるソフトウェア命令によって提供されてもよい。しかしながら、本開示はこの点に限定されるものではなく、視線追跡論理モジュール414、関心領域論理モジュール416、選択的バックライト論理モジュール418、ユーザ存在論理モジュール420、及び/又は完全な減光論理モジュール422は、ハードウェア、ファームウェア及び/又はソフトウェアの任意の組み合わせによって実装してもよい。また、メモリ格納装置408は、(例えば、スタティック・ランダムアクセスメモリ(SRAM)、ダイナミック・ランダムアクセスメモリ(DRAM)等の)揮発性メモリ、(例えば、フラッシュメモリ等の)不揮発性メモリ等の任意のタイプのメモリであってよい。非限定的な例では、メモリ格納装置408は、キャッシュメモリによって実現されてもよい。
図5は、本開示に従った例示的なシステム500を示す図である。様々な実装形態では、システム500は、媒体システムであってもよいが、システム500はこの文脈に限定されるものではない。例えば、システム500は、パーソナルコンピュータ(PC)、ラップトップコンピュータ、ウルトララップトップコンピュータ、タブレット、タッチパッド、ポータブルコンピュータ、ハンドヘルドコンピュータ、パームトップコンピュータ、携帯情報端末(PDA)、携帯電話、携帯電話/PDAの組み合わせ、テレビ、スマート装置(例えば、スマートフォン、スマートタブレット又はスマートテレビ)、携帯型インターネット機器(MID)、メッセージ装置、データ通信装置等に組み込むことができる。
様々な実装形態では、システム500は、ディスプレイ520に結合されたプラットフォーム502を含む。プラットフォーム502は、コンテンツサービス装置(複数可)530又はコンテンツ配信装置(複数可)540又は他の同様のコンテンツソース等のコンテンツ装置からコンテンツを受信してもよい。1つ以上のナビゲーション機能を含むナビゲーション制御装置550は、例えば、プラットフォーム502及び/又はディスプレイ520と相互作用するように使用される。これらのコンポーネントのそれぞれは、以下でさらに詳細に説明する。
様々な実装形態では、プラットフォーム502は、チップセット505、プロセッサ510、メモリ512、記憶装置514、グラフィック・サブシステム515、アプリケーション516、及び/又は無線機518の任意の組み合わせを含んでもよい。チップセット505は、プロセッサ510、メモリ512、記憶装置514、グラフィック・サブシステム515、アプリケーション516、及び/又は無線機518の中で相互通信を提供してもよい。例えば、チップセット505は、記憶装置514との相互通信を提供可能な記憶装置アダプタ(図示せず)を含んでもよい。
プロセッサ510は、複数命令セットコンピュータ(CISC)又は縮小命令セットコンピュータ(RISC)、x86命令セット互換プロセッサ、マルチコア、又は任意の他のマイクロプロセッサ又は中央処理装置(CPU)として実装してもよい。様々な実装形態では、プロセッサ510は、デュアルコアプロセッサ(複数可)、デュアルコア・モバイルプロセッサ(複数可)等であってもよい。
メモリ512は、ランダムアクセスメモリ(RAM)、ダイナミック・ランダムアクセスメモリ(DRAM)又はスタティックRAM(SRAM)等の揮発性メモリデバイスとして実装してもよいが、これらに限定されるものではない。
記憶装置514は、磁気ディスクドライブ、光ディスクドライブ、テープドライブ、内部記憶装置、接続式記憶装置、フラッシュメモリ、バッテリバックアップ式SDRAM(同期型DRAM)、及び/又はネットワークアクセス可能な記憶装置等の不揮発性記憶装置として実施してもよいが、これらに限定されるものではない。様々な実装形態では、記憶装置514は、例えば複数のハードドライブが含まれている場合に、貴重なデジタル媒体について記憶性能が向上した保護を強化させるような技術を含めることができる。
グラフィック・サブシステム515は、ディスプレイ用の静止画又はビデオ等の画像処理を実行してもよい。グラフィック・サブシステム515は、例えば、グラフィック処理ユニット(GPU)、又は視覚処理ユニット(VPU)であってもよい。アナログ又はデジタル・インターフェイスを使用して、グラフィック・サブシステム515とディスプレイ520とを通信可能に結合してもよい。例えば、インターフェイスは、高品位マルチメディア・インターフェイス(HDMI(登録商標))、ディスプレイポート、無線HDMI、及び/又は無線HD準拠技術のいずれであってもよい。グラフィック・サブシステム515は、プロセッサ510又はチップセット505内に統合されてもよい。いくつかの実装形態では、グラフィック・サブシステム515は、チップセット505に通信可能に結合されたスタンドアロン・カードであってもよい。
本明細書で説明するグラフィック及び/又はビデオ処理技術は、様々なハードウェア・アーキテクチャで実装してもよい。例えば、グラフィック及び/又はビデオ機能は、チップセット内に統合してもよい。あるいはまた、分散グラフィック及び/又はビデオプロセッサを使用してもよい。さらに別の実装形態として、グラフィック及び/又はビデオ機能は、マルチコアプロセッサを含む汎用プロセッサにより提供されてもよい。さらなる実施形態では、機能は、消費者向け電子機器に実装してもよい。
無線機518は、各種の適切な無線通信技術を用いて信号を送受信することが可能な1つ又は複数の無線機を含んでもよい。このような技術は、1又は複数の無線ネットワークを介した通信を含んでもよい。例示的な無線ネットワークとしては、無線ローカルエリアネットワーク(WLAN)、無線パーソナルエリアネットワーク(WPAN)、無線メトロポリタンエリアネットワーク(WMAN)、セルラーネットワーク、衛星ネットワークが挙げられる(が、これらに限定されるものではない)。このようなネットワークを介して通信するには、無線機518は、任意のバージョンの1つ又は複数の適用規格に従って作動することができる。
様々な実装形態では、ディスプレイ520は、任意のテレビタイプのモニタ又はディスプレイを含んでもよい。ディスプレイ520は、例えば、コンピュータディスプレイ・スクリーン、タッチスクリーン・ディスプレイ、ビデオモニタ、テレビのような装置、及び/又はテレビを含んでもよい。ディスプレイ520は、デジタル及び/又はアナログであってもよい。様々な実装形態では、ディスプレイ520は、ホログラフィック・ディスプレイであってもよい。また、ディスプレイ520は、視覚的な投影を受け取ることができる透明な表面であってもよい。このような投影によって、様々な形態の情報、画像、及び/又はオブジェクトを伝達することができる。例えば、このような投影は、モバイル拡張現実(MAR)アプリケーションのための視覚的なオーバーレイとすることができる。1つ又は複数のソフトウェアアプリケーション516の制御下で、プラットフォーム502は、ユーザインターフェイス522をディスプレイ520上に表示してもよい。
様々な実装形態では、コンテンツサービス装置(複数可)530は、国内の、国際的な及び/又は独立したサービスによってホストされ、こうして、例えばインターネットを介してプラットフォーム502にアクセス可能になる。コンテンツサービス装置(複数可)530を、プラットフォーム502及び/又はディスプレイ520に結合してもよい。プラットフォーム502及び/又はコンテンツサービス装置(複数可)530をネットワーク560に結合して、ネットワーク560との間でメディア情報を通信(例えば、送信及び/又は受信)してもよい。コンテンツ配信装置(複数可)540を、プラットフォーム502及び/又はディスプレイ520に結合してもよい。
様々な実装形態では、コンテンツサービス装置(複数可)530は、ネットワーク560を介して又は直接的に、コンテンツプロバイダとプラットフォーム502及び/又はディスプレイ520との間で一方向又は双方向のコンテンツの通信が可能な、ケーブルテレビボックス、パーソナルコンピュータ、ネットワーク、電話、インターネット対応装置、又はデジタル情報及び/又はコンテンツ配信可能な電化製品、及び他の同様の装置を含んでもよい。コンテンツは、ネットワーク560を介してシステム500内のコンポーネント及びコンテンツプロバイダのいずれかとの間で一方向及び/又は双方向に通信することができることを理解されたい。コンテンツの例は、例えば、ビデオ、音楽、医療、ゲーム情報等が挙げられる任意のメディア情報を含んでもよい。
コンテンツサービス装置(複数可)530は、メディア情報、デジタル情報、及び/又は他のコンテンツを含むケーブルテレビ番組等のコンテンツを受信することができる。コンテンツプロバイダの例としては、ケーブル又は衛星テレビ、ラジオ、又はインターネットコンテンツ・プロバイダが挙げられる。提供される実施例は、本開示に従った実装形態に決して制限されるものではない。
様々な実装態様では、プラットフォーム502は、1つ以上のナビゲーション機能を有するナビゲーション制御装置550から制御信号を受信してもよい。制御装置550のナビゲーション機能を使用して、例えばユーザインターフェイス522と相互作用(対話)することができる。実施形態では、ナビゲーション制御装置550は、ユーザが空間(例えば、連続的且つ多次元の)データをコンピュータに入力することを可能にするようなコンピュータのハードウェア・コンポーネント(具体的には、ヒューマン・インターフェイス装置)とすることができるポインティング・デバイスであってもよい。グラフィカル・ユーザインターフェイス(GUI)等の多くのシステム、テレビ及びモニタによって、ユーザが物理的なジェスチャーを使用してコンピュータ又はテレビにデータを提供し且つ制御することを可能にする。
制御装置550のナビゲーション機能の動きは、ポインタ、カーソル、フォーカスリング、又はディスプレイ上に表示される他の視覚的なインジケータの動きによってディスプレイ(例えば、ディスプレイ520)に再現される。例えば、ソフトウェアアプリケーション516の制御下で、ナビゲーション制御装置550に位置するナビゲーション機能は、例えば、ユーザインターフェイス522に表示される仮想ナビゲーション機能にマッピングすることができる。実施形態では、制御装置550は、個別のコンポーネントであってもよいが、プラットフォーム502及び/又はディスプレイ520内に統合してもよい。しかしながら、本開示は、本明細書に示され又は説明される要素又は文脈に限定されるものではない。
様々な実装形態では、ドライバ(図示せず)は、例えば、有効にされた場合に、最初の起動後に、ユーザが、タッチボタンを含むテレビ等のプラットフォーム502のスイッチを瞬時にオン及びオフにする技術を含んでもよい。プログラム論理によって、プラットフォームのスイッチが「オフ」にされた場合であっても、プラットフォーム502が、メディアアダプタ又は他のコンテンツサービス装置(複数可)530又はコンテンツ配信装置(複数可)540にコンテンツをストリーミングすることを可能にする。さらに、チップセット505は、例えば、5.1サラウンド・オーディオサウンド及び/又は高品位7.1サラウンド・オーディオサウンドをサポートするハードウェア及び/又はソフトウェアを含んでもよい。ドライバは、統合型グラフィックプラットフォーム用のグラフィックドライバを含んでもよい。実施形態では、グラフィックドライバは、周辺コンポーネント相互接続(PCI)エクスプレス(Express)グラフィックカードを含んでもよい。
様々な実装形態では、システム500に示されるコンポーネントのうちの1つ以上を、統合してもよい。例えば、プラットフォーム502及びコンテンツサービス装置(複数可)530を統合してもよい、又はプラットフォーム502及びコンテンツ配信装置(複数可)540を統合してもよい、又は例えばプラットフォーム502、コンテンツサービス装置(複数可)530、及びコンテンツ配信装置540を統合してもよい。様々な実施形態では、プラットフォーム502及びディスプレイ520を統合ユニットとしてもよい。ディスプレイ520及びコンテンツサービス装置(複数可)530を統合してもよい、又は例えばディスプレイ520及びコンテンツ配信装置(複数可)540を統合してもよい。これらの実施例は、本開示を限定することを意図したものではない。
様々な実施形態では、システム500は、無線システム、有線システム、又はこれら両方の組み合わせとして実現してもよい。無線システムとして実現された場合に、システム500は、1つ以上のアンテナ、送信機、受信機、送受信機、アンプ、フィルタ、制御論理等の無線共有媒体を介して通信するのに適したコンポーネント及びインターフェイスを含んでもよい。無線共用媒体の例としては、RFスペクトル等の無線スペクトルの一部を含んでもよい。有線システムとして実現された場合に、システム500は、入力/出力(I/O)アダプタ、I/Oアダプタを対応する有線通信媒体に接続するための物理的なコネクタ、ネットワークインターフェイスカード(NIC)、ディスクコントローラ、ビデオコントローラ、オーディオコントローラ等の有線通信媒体を介して通信するのに適したコンポーネント及びインターフェイスを含んでもよい。有線通信媒体の例としては、ワイヤ、ケーブル、金属リード、プリント回路基板(PCB)、バックプレーン(backplane)、スイッチ構造、半導体材料、ツイストペア線、同軸ケーブル、光ファイバ等が挙げられる。
プラットフォーム502は、情報を通信するための1つ又は複数の論理又は物理チャネルを確立することができる。情報は、メディア情報及び制御情報を含んでもよい。メディア情報は、ユーザ用のコンテンツを表す任意のデータを指す。コンテンツの例としては、例えば、音声対話、ビデオ会議、ビデオ・ストリーミング、電子メールアドレス(「電子メール」)メッセージ、ボイスメールメッセージ、英数字記号、グラフィック、画像、ビデオ、テキスト等のデータが挙げられる。音声対話からのデータは、例えば、音声情報、沈黙時間、バックグラウンドノイズ、コンフォートノイズ、トーンである。制御情報は、自動化されたシステム用のコマンド、命令又は制御ワードを表す任意のデータを指す。例えば、制御情報を使用して、システムを介してメディア情報を送る、又はノードに命令して所定の方法でメディア情報を処理してもよい。実施形態は、しかしながら、図5に示され又は説明された要素又は文脈に限定されるものではない。
上述したように、システム500は、物理的なスタイルやフォームファクタを変更するように具体化してもよい。図6は、システム500が具体化された小さなフォームファクタの装置600の実装形態を示している。実施形態では、例えば、装置600は、無線機能を有するモバイルコンピュータ装置として実現することができる。モバイルコンピュータ装置は、処理システム及び、例えば1つ以上のバッテリ等の移動用電力源又は電源を有する任意の装置を指す。
上述したように、モバイルコンピュータ装置の例としては、パーソナルコンピュータ(PC)、ラップトップコンピュータ、ウルトララップトップコンピュータ、タブレット、タッチパッド、ポータブルコンピュータ、ハンドヘルドコンピュータ、パームトップコンピュータ、携帯情報端末(PDA)、携帯電話、携帯電話/PDAの組み合わせ、テレビ、スマート装置(例えば、スマートフォンや、スマートタブレット又はスマートテレビ)、携帯インターネット機器(MID)、メッセージ装置、データ通信装置等が挙げられる。
モバイルコンピュータ装置の例としては、手首装着型コンピュータ、指装着型コンピュータ、指輪型コンピュータ、眼鏡型コンピュータ、ベルトクリップ型コンピュータ、アームバンド式コンピュータ、靴型コンピュータ、衣類装着型コンピュータ、及び他のウェアラブルコンピュータ等の、人によって着用されるように配置されたコンピュータが挙げられる。様々な実施形態では、例えば、モバイルコンピュータ装置は、コンピュータ・アプリケーションだけでなく音声通信及び/又はデータ通信を実行可能なスマートフォンとして実現してもよい。いくつかの実施形態は、例としてスマートフォンとして実現されたモバイルコンピュータ装置を用いて説明するが、他の実施形態は、他の無線モバイルコンピュータ装置を使用して同様に実現され得ることを理解されたい。実施形態は、この文脈に限定されるものではない。
図6に示されるように、装置600は、ハウジング602、ディスプレイ604、入力/出力(I/O)装置606、及びアンテナ608を含んでもよい。装置600は、ナビゲーション機能612も含んでよい。ディスプレイ604は、モバイルコンピュータ装置について適切な情報を表示するための任意の適切なディスプレイユニットを含んでもよい。I/O装置606は、モバイルコンピュータ装置に情報を入力するための任意の適切なI/O装置を含んでもよい。I/O装置606の例としては、英数字キーボード、数字キーパッド、タッチパッド、入力キー、ボタン、スイッチ、ロッカースイッチ、マイク、スピーカー、音声認識装置及びソフトウェア等が挙げられる。情報は、マイク(図示せず)を介して装置600に入力してもよい。このような情報は、音声認識装置(図示せず)によってデジタル化することもできる。実施形態は、この文脈に限定されるものではない。
様々な実施形態は、ハードウェア要素、ソフトウェア要素、又はこれら両方の組み合わせを用いて実現することができる。ハードウェア要素の例としては、プロセッサ、マイクロプロセッサ、回路、回路素子(例えば、トランジスタ、抵抗、コンデンサ、インダクタ等)、集積回路、特定用途向け集積回路(ASIC)、プログラマブル論理デバイス(PLD)、デジタル信号プロセッサ(DSP)、フィールドプログラマブル・ゲートアレイ(FPGA)、論理ゲート、レジスタ、半導体デバイス、チップ、マイクロチップ、チップセット等が挙げられる。ソフトウェアの例としては、ソフトウェア・コンポーネント、プログラム、アプリケーション、コンピュータプログラム、アプリケーションプログラム、システムプログラム、マシンプログラム、オペレーティングシステム・ソフトウェア、ミドルウェア、ファームウェア、ソフトウェアモジュール、ルーチン、サブルーチン、関数、メソッド、プロシージャ、ソフトウェアインターフェイス、アプリケーションプログラム・インターフェイス(API)、命令セット、コンピュータコード、計算コード、コードセグメント、コンピュータコードセグメント、ワード、値、シンボル、又はこれらの任意の組み合わせが挙げられる。実施形態がハードウェア要素及び/又はソフトウェア要素を用いて実現されているか否かの判定は、所望の計算速度、電力レベル、熱耐性、処理サイクル量、入力データレート、出力データレート、メモリリソース、データバス速度、及び他のデザインや性能の制約等の任意の数の要因に従って変更することができる。
少なくとも1つの実施形態の1つ以上の態様は、プロセッサ内の様々な論理を表す機械可読媒体に格納された代表的な命令によって実現することができ、マシンによって読み取られることによって、このマシンが論理を組み立てて、本明細書に説明する技術を実行する。「IPコア」として知られているこのような表現は、有形の機械可読媒体に格納することができ、様々な顧客や製造設備に供給されて、実際に論理又はプロセッサを形成する製造マシンにロードされる。
本明細書で説明される特定の機能を、様々な実装形態を参照して説明したが、この説明は、限定的な意味として解釈されることを意図したものではない。従って、本明細書で説明した実装形態だけでなく、本開示に付随するような当業者には明らかであるような他の実装形態の様々な修正は、本開示の精神及び範囲内にあるとみなされる。
以下の実施例は、さらなる実施形態に関係する。
一例では、コンピュータのディスプレイを選択的にバックライトするようなコンピュータ実装式方法が、視覚データの受信を含んでもよく、この視覚データは、1人以上のユーザのビデオを含んでもよい。視線追跡は、1人以上のユーザのうちの少なくとも1人について行ってもよい。例えば、視線追跡は、受信した視覚データに少なくとも部分的に基づいて実行してもよい。コンピュータシステムのディスプレイの一部に関連付けられるように、関心領域を決定してもよい。例えば、関心領域の決定は、実行された視線追跡に少なくとも部分的に基づいてもよい。決定された関心領域と関連付けられたディスプレイの一部が、選択的にバックライトされ、決定された関心領域に関連付けられていないディスプレイの第2部分を減光してもよい。
いくつかの例では、この方法は、アプリケーションが、視線追跡で動作するように指定されたか否かを判定するステップを含んでもよい。1人以上のユーザのうちの少なくとも1人が、受信した視覚データに少なくとも部分的に基づいて存在しているか否かの判定を行うことができ、1人以上のユーザのうちの少なくとも1人が存在するか否かの判定は、アプリケーションが、視線追跡で動作するように指定されたという判定に応答して、生じる。
いくつかの例では、この方法は、1人以上のユーザのうちの少なくとも1人が、受信した視覚データに少なくとも部分的に基づいて存在しているか否かを判定するステップを含んでもよい。例えば、視線追跡の動作は、1人以上のユーザのうちの少なくとも1人が存在するという判定に応答して、1人以上のユーザのうちの少なくとも1人について発生してもよい。
いくつかの例では、この方法は、アプリケーションが、視線追跡で動作するように指定されたか否かを判定するステップを含んでもよい。1人以上のユーザのうちの少なくとも1人が、受信した視覚データに少なくとも部分的に基づいて存在するか否かの判定を行うことができ、ここで、1人以上のユーザのうちの少なくとも1人が存在するか否かの判定は、アプリケーションが視線追跡で動作するように指定されたという判定に応答して生じてもよい。例えば、視線追跡の動作は、1人以上のユーザのうちの少なくとも1人が存在するという判定に応答して、1人以上のユーザのうちの少なくとも1人について発生してもよい。
いくつかの例では、この方法は、選択的なバックライトが、デフォルトの領域サイズに少なくとも部分的に基づいて、領域を選択的にバックライトするように動作してもよい。
いくつかの例では、この方法は、選択的なバックライトが、関心領域を離散ディスプレイ要素に関連付けることに少なくとも部分的に基づいて、領域を選択的にバックライトするように動作してもよく、ここで、離散ディスプレイ要素は、テキストボックス、テキストの段落、デフォルト数のテキスト行、画像、メニュー等、及び/又はこれらの組み合わせを含む。
いくつかの例では、この方法は、選択的なバックライトが、ディスプレイの第2部分に関連付けられたバックライトの以前照明された部分のスイッチをオフにするように動作してもよい。
いくつかの例では、この方法は、選択的なバックライトが、決定された関心領域に関連付けられたディスプレイの一部であって、この部分に関連付けられたバックライトの以前減光された部分のスイッチをオンにするように動作してもよい。
いくつかの例では、この方法は、1人以上のユーザのうちの少なくとも1人が、受信した視覚データに少なくとも部分的に基づいて存在しているか否かを判定するステップを含んでもよい。ディスプレイは、受信した視覚データに応答して、1人以上のユーザの誰も存在しないという判定に少なくとも部分的に基づいて、完全に減光(暗く)してもよい。
いくつかの例では、この方法は、受信した視覚データに応答して、1人以上のユーザの目のいずれもが、実行された視線追跡に応答してディスプレイに向けられていないという判定に少なくとも部分的に基づいて、ディスプレイを完全に減光(暗く)するステップを含んでもよい。
いくつかの例では、この方法は、アプリケーションが、視線追跡で動作するように指定されたか否かを判定するステップを含んでもよい。1人以上のユーザのうちの少なくとも1人が、受信した視覚データに少なくとも部分的に基づいて存在するか否かの判定を行ってもよい。例えば、1人以上のユーザのうちの少なくとも1人が存在するか否かの判定は、アプリケーションが視線追跡で動作するように指定されたという判定に応答して生じてもよい。受信した視覚データに応答して、1人以上のユーザの誰も存在しないという判定、及び/又は1人以上のユーザの目のいずれもが、実行された視線追跡に対応してディスプレイに向けていないという判定に少なくとも部分的に基づいて、ディスプレイを完全に減光してもよい。視線追跡の動作は、1人以上のユーザのうちの少なくとも1人が存在するという判定に応答して、1人以上のユーザのうちの少なくとも1人について発生してもよい。選択的なバックライトは、デフォルトの領域サイズに少なくとも部分的に基づいて領域を選択的にバックライトする、及び/又は関心領域を離散ディスプレイ要素に関連付けることに少なくとも部分的に基づいて領域を選択的にバックライトすることを含み、ここで、離散ディスプレイ要素は、テキストボックス、テキストの段落、デフォルト数のテキスト行、画像、メニュー等、及び/又はこれらの組み合わせを含んでもよい。選択的なバックライトは、ディスプレイの第2部分に関連付けられたバックライトの以前照明された部分のスイッチをオフにし、及び/又は決定された関心領域に関連付けられたディスプレイの一部に関連付けられたバックライトの以前減光された部分のスイッチをオンにすることを含んでもよい。
他の例では、コンピュータを選択的にバックライトするシステムは、ディスプレイ、撮像装置、1つ以上のプロセッサ、1つ以上のメモリ格納装置、視覚データ論理モジュール、視線追跡論理モジュール、関心領域論理モジュール、選択的バックライト論理モジュール等、及び/又はこれらの組み合わせを含んでもよい。撮像装置は、視覚データを取り込むように構成してもよい。1つ又は複数のプロセッサを、ディスプレイに及び撮像装置に通信可能に結合してもよい。1つ以上のメモリ格納装置は、1つ以上のプロセッサに通信可能に結合してもよい。視覚データ論理モジュールは、1つ以上のプロセッサに及び1つ以上のメモリ格納装置に通信可能に結合してよく、且つ視覚データを受信するように構成され、ここで、視覚データは、1人以上のユーザのビデオを含む。視線追跡論理モジュールは、1つ以上のプロセッサに及び1つ以上のメモリ格納装置に通信可能に結合してよく、且つ受信した視覚データに少なくとも部分的に基づいて1人以上のユーザのうちの少なくとも1人について視線追跡を実行するように構成してもよい。関心領域論理モジュールは、1つ以上のプロセッサに及び1つ以上のメモリ格納装置に通信可能に結合してもよく、且つ実行された視線追跡に少なくとも部分的に基づいて、ディスプレイの一部に関連付けられた関心領域を決定するように構成してもよい。選択的バックライト論理モジュールは、1つ以上のプロセッサに及び1つ以上のメモリ格納装置に通信可能に結合してもよく、且つ、決定された関心領域に関連付けられたディスプレイの一部を選択的にバックライトし、決定された関心領域に関連付けられていないディスプレイの第2部分を減光するように構成してもよい。
いくつかの例では、システムは、1つ以上のプロセッサに及び1つ以上のメモリ格納装置に通信可能に結合され、且つ1人以上のユーザのうちの少なくとも1人が、受信した視覚データに少なくとも部分的に基づいて存在するか否かを判定するように構成された、ユーザ存在論理モジュールを含んでもよく、ここで、1人以上のユーザのうちの少なくとも1人が存在するか否かの判定は、アプリケーションが視線追跡で動作するように指定されたという判定に応答して生じてもよい。
いくつかの例では、システムは、1つ以上のプロセッサに及び1つ以上のメモリ格納装置に通信可能に結合され、且つ1人以上のユーザのうちの少なくとも1人が、受信した視覚データに少なくとも部分的に基づいて存在するか否かを判定するように構成された、ユーザ存在論理モジュールを含んでもよく、ここで、視線追跡の動作は、1人以上のユーザのうちの少なくとも1人が存在するという判定に応答して、1人以上のユーザのうちの少なくとも1人について発生してもよい。
いくつかの例では、システムは、1つ以上のプロセッサに及び1つ以上のメモリ格納装置に通信可能に結合され、且つ1人以上のユーザのうちの少なくとも1人が、受信した視覚データに少なくとも部分的に基づいて存在するか否かを判定するように構成された、ユーザ存在論理モジュールを含んでもよく、ここで、1人以上のユーザのうちの少なくとも1人が存在するか否かの判定は、アプリケーションが、視線追跡で動作するように指定されたという判定に応答して生じてもよい。視線追跡の動作は、1人以上のユーザの1人以上のうちの少なくとも1人が存在するという判定に応答して、1人以上のユーザのうちの少なくとも1人について発生してもよい。
いくつかの例では、システムは、選択的なバックライトが、デフォルトの領域サイズに少なくとも部分的に基づいて、領域を選択的バックライトするように動作してもよい。
いくつかの例では、システムは、選択的なバックライトが、関心領域を離散ディスプレイ要素に関連付けることに少なくとも部分的に基づいて、領域を選択的にバックライトするように動作され、ここで、離散ディスプレイ要素は、テキストボックス、テキストの段落、デフォルト数のテキスト行、画像、メニュー等、及び/又はこれらの組み合わせを含む。
いくつかの例では、システムは、選択的なバックライトが、ディスプレイの第2部分に関連付けられたバックライトの以前照明された部分のスイッチをオフにするように動作してもよい。
いくつかの例では、システムは、選択的なバックライトが、決定された関心領域に関連付けられたディスプレイの一部であって、この部分に関連付けられたバックライトの以前減光された部分のスイッチをオンにするように動作してもよい。
いくつかの例では、システムは、1つ以上のプロセッサに及び1つ以上のメモリ格納装置に通信可能に結合され、且つ受信した視覚データに応答して、1人以上のユーザの誰も存在しないという判定に少なくとも部分的に基づいて、ディスプレイを完全減光するように構成された、完全な減光論理モジュールを含んでもよい。
いくつかの例では、システムは、1つ以上のプロセッサに及び1つ以上のメモリ格納装置に通信可能に結合され、且つ受信した視覚データに応答して、1人以上のユーザの目のいずれも、実行された視線追跡に応答してディスプレイに向けられていないという判定に少なくとも部分的に基づいて、ディスプレイを完全に減光するように構成された、完全な減光論理モジュールを含んでもよい。
さらなる例では、少なくとも1つの機械可読媒体は、コンピュータ装置に実行されることに応答して、コンピュータ装置が上述した例のいずれかに従って本方法を実行させるような複数の命令を含んでもよい。
さらに別の例では、装置は、上述した例のいずれかに従って本方法を実行するための手段を含んでもよい。
上述した例は、機能の特定の組み合わせを含んでもよい。しかしながら、このような上述した例は、この点に限定されるものではなく、様々な実装形態において、上述した例は、このような機能のサブセットのみを着手する、このような機能を異なる順序で着手する、このような機能の異なる組み合わせを着手する、及び/又は明示的に列挙されているこれらの機能以外の追加の機能を着手してもよい。例えば、例示的な方法に関して説明する全ての機能は、例示的な装置、例示的なシステム、例示的な物品に関して実現することができ、その逆も同様に実現することができる。

Claims (22)

  1. コンピュータのディスプレイを選択的にバックライトするためのコンピュータ実装方法であって、当該方法は:
    1人以上のユーザの映像を含む視覚データを受信するステップと;
    前記受信した視覚データに少なくとも部分的に基づいて、前記1人以上のユーザのうちの少なくとも1人について視線追跡(eye tracking)を実行するステップと;
    前記実行された視線追跡に少なくとも部分的に基づいて、コンピュータシステムの前記ディスプレイの一部に関連付けられた関心領域を決定するステップと;
    前記決定された関心領域に関連付けられた前記ディスプレイの一部を選択的にバックライトするとともに、前記決定された関心領域に関連付けられていない前記ディスプレイの第2部分を減光するステップと;
    アプリケーションが、視線追跡に伴う動作について選択的に指定されたか否かを判定するステップと;
    前記1人以上のユーザのうちの少なくとも1人が、前記受信した視覚データに少なくとも部分的に基づいて存在するか否かを判定するステップであって、前記1人以上のユーザのうちの少なくとも1人が存在するか否かの判定は、前記アプリケーションが前記視線追跡に伴う動作について選択的に指定されたという判定に応答して、行われる、判定するステップと;を含む
    方法。
  2. 前記選択的にバックライトするステップは、前記関心領域を離散ディスプレイ要素に関連付けることに少なくとも部分的に基づいて、領域を選択的にバックライトするステップを含み、
    前記離散ディスプレイ要素は、テキストの段落、及び/又はデフォルト数のテキスト行を含む、
    請求項1に記載の方法。
  3. 前記視線追跡の動作は、前記1人以上のユーザのうちの少なくとも1人が存在するという判定に応答して、前記1人以上のユーザのうちの少なくとも1人について行われる、
    請求項1に記載の方法。
  4. 前記選択的にバックライトするステップは、デフォルトの領域サイズに少なくとも部分的に基づいて、領域を選択的にバックライトするステップを含む、
    請求項1に記載の方法。
  5. 前記選択的にバックライトするステップは、前記関心領域を離散ディスプレイ要素に関連付けることに少なくとも部分的に基づいて、領域を選択的にバックライトするステップを含み、
    前記離散ディスプレイ要素は、テキストボックス、テキストの段落、デフォルト数のテキスト行、画像、及び/又はメニューを含む、
    請求項1に記載の方法。
  6. 前記選択的にバックライトするステップは、前記ディスプレイの第2部分に関連付けられたバックライトの以前照明された部分のスイッチをオフにするステップを含む、
    請求項1に記載の方法。
  7. 前記選択的にバックライトするステップは、前記決定された関心領域に関連付けられたディスプレイの一部であって、この部分に関連付けられたバックライトの以前減光された部分のスイッチをオンにするステップを含む、
    請求項1に記載の方法。
  8. 前記受信した視覚データに応答して、前記1人以上のユーザの誰もが存在しないという判定に少なくとも部分的に基づいて、前記ディスプレイを完全に減光するステップをさらに含む、
    請求項1に記載の方法。
  9. 前記受信した視覚データに応答して、前記1人以上のユーザの目のいずれもが、前記実行された視線追跡に応答して前記ディスプレイに向けられていないという判定に少なくとも部分的に基づいて、前記ディスプレイを完全に減光するステップ、をさらに含む、
    請求項1に記載の方法。
  10. 前記受信した視覚データに応答して、前記1人以上のユーザの誰も存在していないという判定及び/又は前記1人以上のユーザの目のいずれもが、前記実行された視線追跡に応答して前記ディスプレイに向けられていないという判定に少なくとも部分的に基づいて、前記ディスプレイを完全に減光するステップと;をさらに含み、
    前記視線追跡の動作は、前記1人以上のユーザのうちの少なくとも1人が存在するという判定に応答して、前記1人以上のユーザのうちの少なくとも1人について、行われ、
    前記選択的にバックライトするステップは、デフォルトの領域サイズに少なくとも部分的に基づいて、領域を選択的にバックライトするステップ、及び/又は前記関心領域を離散ディスプレイ要素に関連付けることに少なくとも部分的に基づいて、領域を選択的にバックライトするステップを含み、前記離散ディスプレイ要素は、テキストボックス、テキストの段落、デフォルト数のテキスト行、画像、及び/又はメニューを含み、
    前記選択的にバックライトするステップが、前記ディスプレイの第2部分に関連付けられたバックライトの以前照明された部分のスイッチをオフにするステップ、及び/又は前記決定された関心領域に関連付けられた前記ディスプレイの一部であって、この部分に関連付けられたバックライトの以前減光された部分のスイッチをオンにするステップを含む、
    請求項1に記載の方法。
  11. コンピュータを選択的にバックライトするシステムであって、当該システムは:
    ディスプレイと;
    視覚データを取り込むように構成された撮像装置と;
    前記ディスプレイに及び前記撮像装置に通信可能に結合された1つ以上のプロセッサと;
    前記1つ以上のプロセッサに通信可能に結合された1つ以上のメモリ格納装置と;
    前記1つ以上のプロセッサ及び前記1つ以上のメモリ格納装置に通信可能に結合されるとともに、前記視覚データを受信するように構成された視覚データ論理モジュールであって、前記視覚データは、1人以上のユーザのビデオを含む、視覚データ論理モジュールと;
    前記1つ以上のプロセッサ及び前記1つ以上のメモリ格納装置に通信可能に結合されるとともに、前記受信した視覚データに少なくとも部分的に基づいて、前記1人以上のユーザのうちの少なくとも1人について視線追跡を実行するように構成された視線追跡論理モジュールと;
    前記1つ以上のプロセッサ及び前記1つ以上のメモリ格納装置に通信可能に結合されるとともに、前記実行された視線追跡に少なくとも部分的に基づいて前記ディスプレイの一部に関連付けられた関心領域を決定するように構成された関心領域論理モジュールと;
    前記1つ以上のプロセッサ及び前記1つ以上のメモリ格納装置に通信可能に結合されるとともに、前記決定された関心領域に関連付けられた前記ディスプレイの一部を選択的にバックライトし、且つ前記決定された関心領域に関連付けられていない前記ディスプレイの第2部分を減光する、選択的バックライト論理モジュールと;
    前記1つ以上のプロセッサ及び前記1つ以上のメモリ格納装置に通信可能に結合されるとともに、前記1人以上のユーザのうちの少なくとも1人が、前記受信した視覚データに少なくとも部分的に基づいて存在するか否かを判定するように構成された、ユーザ存在論理モジュールであって、前記1人以上のユーザのうちの少なくとも1人が存在するか否かの判定は、アプリケーションが前記視線追跡に伴う動作について選択的に指定されたという判定に応答して、行われる、ユーザ存在論理モジュールと;を備える、
    システム。
  12. 前記選択的なバックライトは、前記関心領域を離散ディスプレイ要素に関連付けることに少なくとも部分的に基づいて、領域を選択的にバックライトすることを含み、前記離散ディスプレイ要素は、テキストの段落、及び/又はデフォルト数のテキスト行を含む、
    請求項11に記載のシステム。
  13. 前記視線追跡の動作、前記1人以上のユーザのうちの少なくとも1人が存在するという判定に応答して、前記1人以上のユーザのうちの少なくとも1人について行われる、
    請求項11に記載のシステム。
  14. 前記選択的なバックライトは、デフォルトの領域サイズに少なくとも部分的に基づいて、領域を選択的にバックライトすることを含む、
    請求項11に記載のシステム。
  15. 前記選択的なバックライトは、前記関心領域を離散ディスプレイ要素に関連付けることに少なくとも部分的に基づいて、領域を選択的にバックライトすることを含み、前記離散ディスプレイ要素は、テキストボックス、テキストの段落、デフォルト数のテキスト行、画像、及び/又はメニューを含む、
    請求項11に記載のシステム。
  16. 前記選択的なバックライトは、前記ディスプレイの第2部分に関連付けられたバックライトの以前照明された部分のスイッチをオフにすることを含む、
    請求項11に記載のシステム。
  17. 前記選択的なバックライトは、前記決定された関心領域に関連付けられたディスプレイの一部であって、この部分に関連付けられたバックライトの以前減光された部分のスイッチをオンにする、
    請求項11に記載のシステム。
  18. 前記1つ以上のプロセッサ及び前記1つ以上のメモリ格納装置に通信可能に結合されるとともに、前記受信した視覚データに応答して、前記1人以上のユーザの誰も存在していないという判定に少なくとも部分的に基づいて、前記ディスプレイを完全に減光するように構成されている、完全な減光論理モジュールを、さらに備える、
    請求項11に記載のシステム。
  19. 前記1つ以上のプロセッサ及び前記1つ以上のメモリ格納装置に通信可能に結合されるとともに、前記受信した視覚データに応答して、前記1人以上のユーザの目のいずれもが、前記実行された視線追跡に応答して前記ディスプレイに向けられていないという判定に少なくとも部分的に基づいて、前記ディスプレイを完全に減光するように構成されている、完全な減光論理モジュール、をさらに備える、
    請求項11に記載のシステム。
  20. プログラムであって、当該プログラムは:
    コンピュータ装置で実行されることに応答して、前記コンピュータ装置に請求項1乃至10のいずれか一項に記載の方法を実行させるような複数の命令を含む、
    プログラム。
  21. 装置であって、当該装置は、
    請求項1乃至10のいずれか一項に記載の方法を実行するための手段を有する、
    装置。
  22. 請求項20に記載のプログラムを含む少なくとも1つの機械可読記憶媒体。
JP2015501649A 2012-04-12 2012-04-12 視線追跡に基づくディスプレイの選択的バックライト Active JP6096276B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2012/033196 WO2013154561A1 (en) 2012-04-12 2012-04-12 Eye tracking based selectively backlighting a display

Publications (2)

Publication Number Publication Date
JP2015511044A JP2015511044A (ja) 2015-04-13
JP6096276B2 true JP6096276B2 (ja) 2017-03-15

Family

ID=49327981

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015501649A Active JP6096276B2 (ja) 2012-04-12 2012-04-12 視線追跡に基づくディスプレイの選択的バックライト

Country Status (7)

Country Link
US (1) US9361833B2 (ja)
EP (1) EP2836889A4 (ja)
JP (1) JP6096276B2 (ja)
KR (1) KR101634154B1 (ja)
CN (1) CN104169838B (ja)
TW (1) TWI605433B (ja)
WO (1) WO2013154561A1 (ja)

Families Citing this family (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DK2389095T3 (da) * 2009-01-26 2014-11-17 Tobii Technology Ab Detektering af blikpunkt hjulpet af optiske referencesignaler
US9151646B2 (en) 2011-12-21 2015-10-06 Deka Products Limited Partnership System, method, and apparatus for monitoring, regulating, or controlling fluid flow
US10228683B2 (en) 2011-12-21 2019-03-12 Deka Products Limited Partnership System, method, and apparatus for monitoring, regulating, or controlling fluid flow
US9746093B2 (en) * 2011-12-21 2017-08-29 Deka Products Limited Partnership Flow meter and related system and apparatus
US9759343B2 (en) 2012-12-21 2017-09-12 Deka Products Limited Partnership Flow meter using a dynamic background image
KR20140117110A (ko) * 2013-03-26 2014-10-07 삼성디스플레이 주식회사 휴대 단말기 및 휴대 단말기의 구동 방법
US9367117B2 (en) 2013-08-29 2016-06-14 Sony Interactive Entertainment America Llc Attention-based rendering and fidelity
CN103646632B (zh) * 2013-12-06 2016-05-18 惠州Tcl移动通信有限公司 电子设备及其背光显示方法
US20150169048A1 (en) * 2013-12-18 2015-06-18 Lenovo (Singapore) Pte. Ltd. Systems and methods to present information on device based on eye tracking
US10180716B2 (en) 2013-12-20 2019-01-15 Lenovo (Singapore) Pte Ltd Providing last known browsing location cue using movement-oriented biometric data
US10667007B2 (en) * 2014-01-22 2020-05-26 Lenovo (Singapore) Pte. Ltd. Automated video content display control using eye detection
US9817474B2 (en) * 2014-01-24 2017-11-14 Tobii Ab Gaze driven interaction for a vehicle
EP3102995B1 (en) 2014-02-05 2020-11-04 Fujitsu Client Computing Limited Display device, computer system and method for managing the operating states of a computer system
GB201402533D0 (en) 2014-02-13 2014-04-02 Piksel Inc Sensed content delivery
US20150228226A1 (en) * 2014-02-13 2015-08-13 Nvidia Corporation Power-efficient steerable displays
US9614724B2 (en) 2014-04-21 2017-04-04 Microsoft Technology Licensing, Llc Session-based device configuration
US10111099B2 (en) 2014-05-12 2018-10-23 Microsoft Technology Licensing, Llc Distributing content in managed wireless distribution networks
US9384335B2 (en) 2014-05-12 2016-07-05 Microsoft Technology Licensing, Llc Content delivery prioritization in managed wireless distribution networks
US9384334B2 (en) 2014-05-12 2016-07-05 Microsoft Technology Licensing, Llc Content discovery in managed wireless distribution networks
US9430667B2 (en) 2014-05-12 2016-08-30 Microsoft Technology Licensing, Llc Managed wireless distribution network
US20150331240A1 (en) * 2014-05-15 2015-11-19 Adam G. Poulos Assisted Viewing Of Web-Based Resources
US9874914B2 (en) 2014-05-19 2018-01-23 Microsoft Technology Licensing, Llc Power management contracts for accessory devices
US10037202B2 (en) 2014-06-03 2018-07-31 Microsoft Technology Licensing, Llc Techniques to isolating a portion of an online computing service
US9367490B2 (en) 2014-06-13 2016-06-14 Microsoft Technology Licensing, Llc Reversible connector for accessory devices
US9717006B2 (en) 2014-06-23 2017-07-25 Microsoft Technology Licensing, Llc Device quarantine in a wireless network
JP6279997B2 (ja) * 2014-07-25 2018-02-14 ヤフー株式会社 情報処理装置、情報処理方法及びプログラム
KR20160114413A (ko) * 2015-03-24 2016-10-05 엘지전자 주식회사 이동 단말기 및 그것의 제어방법
JP6038089B2 (ja) * 2014-09-22 2016-12-07 京セラドキュメントソリューションズ株式会社 文書閲覧装置、文書閲覧装置の制御方法
US9535497B2 (en) 2014-11-20 2017-01-03 Lenovo (Singapore) Pte. Ltd. Presentation of data on an at least partially transparent display based on user focus
US9857871B2 (en) 2015-09-04 2018-01-02 Sony Interactive Entertainment Inc. Apparatus and method for dynamic graphics rendering based on saccade detection
US10775882B2 (en) 2016-01-21 2020-09-15 Microsoft Technology Licensing, Llc Implicitly adaptive eye-tracking user interface
WO2017127991A1 (zh) * 2016-01-25 2017-08-03 华为技术有限公司 一种标记方法及屏显设备
SG11201806463SA (en) 2016-01-28 2018-08-30 Deka Products Lp Apparatus for monitoring, regulating, or controlling fluid flow
US10372205B2 (en) * 2016-03-31 2019-08-06 Sony Interactive Entertainment Inc. Reducing rendering computation and power consumption by detecting saccades and blinks
US10401952B2 (en) 2016-03-31 2019-09-03 Sony Interactive Entertainment Inc. Reducing rendering computation and power consumption by detecting saccades and blinks
US10192528B2 (en) 2016-03-31 2019-01-29 Sony Interactive Entertainment Inc. Real-time user adaptive foveated rendering
US10169846B2 (en) 2016-03-31 2019-01-01 Sony Interactive Entertainment Inc. Selective peripheral vision filtering in a foveated rendering system
US10437326B2 (en) * 2016-04-21 2019-10-08 Facebook Technologies, Llc Backlight modulation for liquid crystal display with eyetracking for virtual reality
USD854145S1 (en) 2016-05-25 2019-07-16 Deka Products Limited Partnership Apparatus to control fluid flow through a tube
WO2018020368A1 (en) * 2016-07-29 2018-02-01 Semiconductor Energy Laboratory Co., Ltd. Display method, display device, electronic device, non-temporary memory medium, and program
US10339853B2 (en) 2016-11-09 2019-07-02 Samsung Display Co., Ltd. Mobile terminal and method for controlling the same
US10324525B2 (en) 2016-12-31 2019-06-18 Intel Corporation Context aware selective backlighting techniques
KR102076506B1 (ko) 2017-08-21 2020-02-13 경희대학교 산학협력단 시선 추적에 기초한 디스플레이의 영역별 밝기 조절 장치 및 그 방법
US10948983B2 (en) * 2018-03-21 2021-03-16 Samsung Electronics Co., Ltd. System and method for utilizing gaze tracking and focal point tracking
CN112088329B (zh) * 2018-05-04 2022-12-02 哈曼国际工业有限公司 用于多平面平视显示器的可再配置的光学器件
US11262839B2 (en) 2018-05-17 2022-03-01 Sony Interactive Entertainment Inc. Eye tracking with prediction and late update to GPU for fast foveated rendering in an HMD environment
US10942564B2 (en) 2018-05-17 2021-03-09 Sony Interactive Entertainment Inc. Dynamic graphics rendering based on predicted saccade landing point
US10802585B2 (en) 2018-07-12 2020-10-13 Apple Inc. Electronic devices with display operation based on eye activity
US20200049946A1 (en) * 2018-08-10 2020-02-13 Varjo Technologies Oy Display apparatus and method of displaying using gaze prediction and image steering
US11099381B2 (en) * 2018-08-10 2021-08-24 Varjo Technologies Oy Synchronizing light sources and optics in display apparatuses
CN111868816B (zh) * 2018-09-04 2023-01-20 京东方科技集团股份有限公司 显示优化方法和显示装置
CA3028220C (en) * 2018-12-20 2020-08-18 Cae Inc. Dynamically adjusting image characteristics in real-time
EP3948492A4 (en) * 2019-03-27 2022-11-09 INTEL Corporation SMART BILLBOARD APPARATUS AND RELATED METHODS
US11379016B2 (en) 2019-05-23 2022-07-05 Intel Corporation Methods and apparatus to operate closed-lid portable computers
US11839741B2 (en) 2019-07-26 2023-12-12 Deka Products Limited Partneship Apparatus for monitoring, regulating, or controlling fluid flow
USD964563S1 (en) 2019-07-26 2022-09-20 Deka Products Limited Partnership Medical flow clamp
US11543873B2 (en) 2019-09-27 2023-01-03 Intel Corporation Wake-on-touch display screen devices and related methods
US11733761B2 (en) 2019-11-11 2023-08-22 Intel Corporation Methods and apparatus to manage power and performance of computing devices based on user presence
US11809535B2 (en) 2019-12-23 2023-11-07 Intel Corporation Systems and methods for multi-modal user device authentication
US11360528B2 (en) 2019-12-27 2022-06-14 Intel Corporation Apparatus and methods for thermal management of electronic user devices based on user activity
US11244654B2 (en) 2020-06-19 2022-02-08 Intel Corporation Display control apparatus and method for a display based on information indicating presence or engagement of the user of the display
US11605152B1 (en) * 2021-06-22 2023-03-14 Arnold Chase Dynamic positional control system
JP2023019689A (ja) * 2021-07-29 2023-02-09 株式会社Jvcケンウッド 読影制御装置、読影制御方法およびプログラム

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0981309A (ja) * 1995-09-13 1997-03-28 Toshiba Corp 入力装置
JPH11242733A (ja) * 1998-02-24 1999-09-07 Sanyo Electric Co Ltd 省電力制御装置
JP2001134256A (ja) * 1999-11-05 2001-05-18 Sony Corp ディスプレイ装置の利用者検出回路
US7068813B2 (en) * 2001-03-28 2006-06-27 Koninklijke Philips Electronics N.V. Method and apparatus for eye gazing smart display
US20030052903A1 (en) 2001-09-20 2003-03-20 Weast John C. Method and apparatus for focus based lighting
JP2003174505A (ja) * 2001-12-05 2003-06-20 Kyocera Corp 携帯端末、及びその消費電力削減方法
JP2003280805A (ja) * 2002-03-26 2003-10-02 Gen Tec:Kk データ入力装置
US6890077B2 (en) 2002-11-27 2005-05-10 The Boeing Company Method and apparatus for high resolution video image display
DE10339314B3 (de) 2003-08-27 2005-04-21 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren zur Anzeigesteuerung von unterschiedlichen Informationen in einem Fahrzeug und optoakustische Informationseinheit
JP2005221907A (ja) * 2004-02-09 2005-08-18 Sanyo Electric Co Ltd 表示装置
DK2202609T3 (en) 2004-06-18 2016-04-25 Tobii Ab Eye control of computer equipment
US20060192775A1 (en) * 2005-02-25 2006-08-31 Microsoft Corporation Using detected visual cues to change computer system operating states
JP2007102360A (ja) * 2005-09-30 2007-04-19 Sharp Corp 電子書籍装置
US8225229B2 (en) * 2006-11-09 2012-07-17 Sony Mobile Communications Ab Adjusting display brightness and/or refresh rates based on eye tracking
JP2008209610A (ja) * 2007-02-26 2008-09-11 Mitsubishi Electric Corp 携帯機器及びその表示制御方法
JP2008225216A (ja) * 2007-03-14 2008-09-25 Toyota Motor Corp 情報表示装置
JP2008244917A (ja) * 2007-03-28 2008-10-09 Pioneer Electronic Corp 受像機制御システム
JP2009237210A (ja) * 2008-03-27 2009-10-15 Sharp Corp 液晶表示装置
JP5299866B2 (ja) * 2009-05-19 2013-09-25 日立コンシューマエレクトロニクス株式会社 映像表示装置
US9520105B2 (en) * 2009-06-30 2016-12-13 Intel Corporation Power savings for display panels
US20110310001A1 (en) * 2010-06-16 2011-12-22 Visteon Global Technologies, Inc Display reconfiguration based on face/eye tracking

Also Published As

Publication number Publication date
TWI605433B (zh) 2017-11-11
US9361833B2 (en) 2016-06-07
KR101634154B1 (ko) 2016-06-28
EP2836889A1 (en) 2015-02-18
TW201351376A (zh) 2013-12-16
CN104169838A (zh) 2014-11-26
JP2015511044A (ja) 2015-04-13
EP2836889A4 (en) 2015-11-18
US20140313120A1 (en) 2014-10-23
KR20140138178A (ko) 2014-12-03
CN104169838B (zh) 2017-07-21
WO2013154561A1 (en) 2013-10-17

Similar Documents

Publication Publication Date Title
JP6096276B2 (ja) 視線追跡に基づくディスプレイの選択的バックライト
US11257459B2 (en) Method and apparatus for controlling an electronic device
TWI590149B (zh) 包括根據觀看條件之動態使用者介面的能量效率及能量保存之方法,設備,及系統
US8856815B2 (en) Selective adjustment of picture quality features of a display
KR101488094B1 (ko) 캡처된 비디오 콘텐츠의 비디오 분석을 위한 기술
TWI639931B (zh) 眼動追蹤式選擇性強調顯示器之一部分
US9952433B2 (en) Wearable device and method of outputting content thereof
US9851790B2 (en) Gaze based notification reponse
US9377868B2 (en) Sliding control method and terminal device thereof
US20210218845A1 (en) Technologies for video conferencing
TWI480725B (zh) 適應性圖形次級系統電源及效能管理
KR20160033605A (ko) 콘텐트를 디스플레이하기 위한 장치 및 방법
US20220374123A1 (en) Display element display method and electronic device
US20140023351A1 (en) Selective post-processing of decoded video frames based on focus point determination
US10067656B2 (en) Method and apparatus for context based application grouping in virtual reality
CN110682912B (zh) 一种数据处理方法、装置和机器可读介质
KR102656425B1 (ko) 영상을 표시하는 전자 장치 및 방법
US20140006463A1 (en) System, method, and computer program product for using eye movement tracking for retrieval of observed information and of related specific context
US10275924B2 (en) Techniques for managing three-dimensional graphics display modes

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140922

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20151001

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160524

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160822

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160913

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161207

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170117

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170215

R150 Certificate of patent or registration of utility model

Ref document number: 6096276

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250