JP6611733B2 - 表示装置の閲覧者の注視誘引 - Google Patents

表示装置の閲覧者の注視誘引 Download PDF

Info

Publication number
JP6611733B2
JP6611733B2 JP2016560400A JP2016560400A JP6611733B2 JP 6611733 B2 JP6611733 B2 JP 6611733B2 JP 2016560400 A JP2016560400 A JP 2016560400A JP 2016560400 A JP2016560400 A JP 2016560400A JP 6611733 B2 JP6611733 B2 JP 6611733B2
Authority
JP
Japan
Prior art keywords
viewer
gaze
display
guide element
advertisement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016560400A
Other languages
English (en)
Other versions
JP2017518554A5 (ja
JP2017518554A (ja
Inventor
エデン，イブラヒム
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Corp
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of JP2017518554A publication Critical patent/JP2017518554A/ja
Publication of JP2017518554A5 publication Critical patent/JP2017518554A5/ja
Application granted granted Critical
Publication of JP6611733B2 publication Critical patent/JP6611733B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0021—Image watermarking
    • G06T1/0028—Adaptive watermarking, e.g. Human Visual System [HVS]-based watermarking
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/219—Input arrangements for video game devices characterised by their sensors, purposes or types for aiming at specific areas on the display, e.g. light-guns
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/426—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving on-screen location information, e.g. screen coordinates of an area at which the player is aiming with a light gun
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0242—Determining effectiveness of advertisements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0242—Determining effectiveness of advertisements
    • G06Q30/0246—Traffic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0273—Determination of fees for advertising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0021—Image watermarking
    • G06T1/0028—Adaptive watermarking, e.g. Human Visual System [HVS]-based watermarking
    • G06T1/0035—Output size adaptive watermarking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B2071/0602—Non-electronic means therefor
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • A63B2071/0638—Displaying moving images of recorded environment, e.g. virtual environment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2213/00—Indexing scheme for animation
    • G06T2213/12—Rule based animation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Accounting & Taxation (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Road Signs Or Road Markings (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)

Description

[0001] コンテンツの作成および／または配信装置は、注視追跡システムを利用してユーザの注視のロケーションを追跡することがある。状況によっては、映画の製作者、広告主、またはゲーム開発者などのコンテンツ作成者が、表示装置を介して表示される特定のロケーションまたはフィーチャ（feature）を見るようにユーザを誘導したいことがある。注視追跡システムを使用して、ユーザの注視の現在のロケーションを推定することができる。そのような現在のロケーションが希望のロケーションまたはフィーチャと一致しない場合は、希望のロケーションまたはフィーチャを目立つように視覚的に強化して、ユーザの注意と注視を捉えることができる。例えば、希望のロケーションまたはフィーチャを、明るい対照的な色で強調表示する、視覚的に拍動もしくは点滅させる、および／またはその他の形で外観を変化させて、ユーザの注意を引くことができる。
[0002] しかし、希望のロケーションやフィーチャをこのようにして強化することは、ユーザにとって目障りになる可能性があり、そのような強化がなければ満足の行くものであったユーザ体験の妨げになりかねない。また、希望のフィーチャが広告である場合には、ユーザは、広告を見るためにユーザ体験から意図的に引き離されることを好ましく思わない可能性がある。
[0003] 閲覧者の注視を引くことに関する様々な例が本明細書に開示される。開示される一方法では、対象オブジェクトを表示するように表示装置を制御し、注視追跡システムからの注視追跡データを使用して、ディスプレイの閲覧者の注視ロケーションを監視する。閲覧者の注視ロケーションに隣接する所定の領域の中を横断して対象オブジェクトに至る、算出された動的経路に沿って移動するようにガイド要素が表示される。
[0004] 注視追跡データを使用して、閲覧者の注視ロケーションがガイド要素の所定の逸脱閾値内にあるかどうかを判定する。閲覧者の注視ロケーションがガイド要素の所定の逸脱閾値内にある場合は、対象オブジェクトまでの算出された動的ガイド経路に沿って移動するガイド要素の表示を続けるようにディスプレイが制御される。しかしながら、閲覧者の注視ロケーションがガイド要素から少なくとも所定の逸脱閾値の差をつけて離れている場合は、対象オブジェクトまでの算出された動的ガイド経路に沿って移動するガイド要素の表示を中止するようにディスプレイが制御される。
[0005] この概要は、下記の詳細な説明でさらに説明する概念のいくつかを簡略化した形態で紹介するために提供される。この概要は、請求項に記載される主題の主要な特徴または必須の特徴を明らかにする意図はなく、また請求項に記載される主題の範囲を限定するために使用する意図もない。さらに、請求項に記載される主題は、本開示のいずれかの箇所に記載される不都合点のいずれかまたはすべてを解決する実装に限定されない。
[0006]本開示の例による、閲覧者の注視を引くためにディスプレイと共に利用することができる例示的コンピューティング装置の概略図である。 [0007]本開示の例による、閲覧者の注視を引くコンピューティング装置およびディスプレイと対話している室内の閲覧者の概略図である。 [0008]本開示の例による、閲覧者の注視を引くことができる、表示装置に表示された映画の概略図である。 [0009]本開示の例による、閲覧者の注視を引くことができる、表示装置に表示されたゲームの概略図である。 [0010]本開示の例による、閲覧者の注視を引くことができる、表示装置に表示されたウェブページの概略図である。 [0011]例示的な頭部装着型表示装置の概略図である。 [0012]本開示の例による、表示装置の閲覧者の注視を引くための方法のフローチャートである。 [0012]本開示の例による、表示装置の閲覧者の注視を引くための方法のフローチャートである。 [0013]コンピューティング装置の一例の簡略概略図である。
[0014] 図１は、表示装置の閲覧者の注視を引くためのコンピューティング装置の例示的実装の概略図を示す。下記で詳しく説明するように、コンピューティング装置は、注視追跡システムからの注視追跡データを使用して、閲覧者の注視ロケーションを監視する。注視誘引プログラムが、表示装置を制御して、閲覧者の注視ロケーションに隣接する所定の領域の中を横断して対象オブジェクトに至る、算出された動的経路に沿って移動するガイド要素を表示させる。閲覧者の注視がガイド要素に留まっている場合、ガイド要素は、対象オブジェクトまでの算出された動的ガイド経路に沿って移動を続ける。閲覧者の注視が少なくとも所定の逸脱閾値の差をつけてガイド要素から離れている場合は、対象オブジェクトまでの算出された動的ガイド経路に沿って移動するガイド要素はそれ以上表示されなくなる。
[0015] 様々な例では、コンピューティング装置は、閲覧者が対話することが可能な表示装置から物理的に分離している場合も、または表示装置に組み込まれる場合もある。図１は、表示装置１４から物理的に分離したコンピューティング装置１０の一例を概略的に示す。この例では、コンピューティング装置１０は、セットトップボックス、ゲームコンソール、ウェブカメラ、頭部装着型コンピューティング装置もしくは他の装着型コンピューティング装置、キーボード、専用周辺機器、または一体型ディスプレイを備えない他の同様の装置などの別個の装置からなるか、あるいはそれらの別個の装置に組み込むことができる。
[0016] コンピューティング装置１０は、有線接続を使用して表示装置１４と動作的に接続されるか、または、ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、もしくは任意の他の適切なワイヤレス通信プロトコルを介するワイヤレス接続を用いることができる。例えば、コンピューティング装置１０は、通信可能にネットワーク１６に結合されることが可能である。ネットワーク１６は、ローカルエリアネットワーク（LAN）、ワイドエリアネットワーク（WAN）、有線ネットワーク、ワイヤレスネットワーク、パーソナルエリアネットワーク、またはそれらの組み合わせの形態をとることができ、インターネットを含むことができる。コンピューティング装置１０の構成要素およびコンピューティング態様に関するさらなる詳細は、図８を参照して下記で詳しく説明する。
[0017] 図１は、頭部装着型ディスプレイ（HMD）装置１８に組み込まれたコンピューティング装置１２の一例も示す。ＨＤＭ装置１８は、仮想現実環境または複合現実環境を作成して、それを第１の閲覧者２２に表示する。これらの例では、ＨＤＭ装置１８は、ＨＤＭ装置を介して表示するための仮想環境または複合現実環境を生成することができる表示プログラム２６を含むことができる。仮想環境は、ＨＤＭ装置１８を介して生成および表示される３次元（3D）のホログラフィオブジェクトや２次元（2D）の仮想画像などの仮想画像の形態である、１つまたは複数の視覚的要素を含むことができる。複合現実環境では、ＨＤＭ装置１８は、閲覧者が、閲覧者を取り囲む物理環境の中でそのようなホログラフィオブジェクトや仮想画像を見られるようにすることができる。
[0018] 下記で詳しく説明するように、一部の例では、ＨＤＭ装置１８は、閲覧者の片方の眼または両方の眼の前方に支持された、透明、半透明、または不透明のディスプレイを備えることができる。ＨＤＭ装置１８は、各種のセンサと、それに関係する、物理環境から物理環境データを受け取るシステムとを含むことができる。例えば、ＨＤＭ装置１８は、奥行き画像データを生成する１つまたは複数の奥行きカメラを含む奥行きセンサシステム３０を含むことができる。
[0019] 一部の例では、ＨＤＭ装置１８は、ＲＧＢカメラや他の光学センサなどの少なくとも１つの外向きセンサを利用する光学センサシステム３２を含むことができる。外向きセンサは、物理環境から２次元画像情報を取り込むことができる。ＨＤＭ装置１８は、１つもしくは複数の加速度計、ジャイロスコープ、頭部追跡システム、および／またはユーザの位置もしくは向きを判定するための他のセンサを備える位置センサシステム３４も含むことができる。
[0020] ＨＤＭ装置１８は、電気信号を別の形態のエネルギーに変換する１つまたは複数のアクチュエータを備えたトランスデューサシステム３８も含むことができる。一部の例では、トランスデューサシステム３８は、オーディオフィードバックを閲覧者に提供するための１つまたは複数のスピーカを含むことができる。他の例では、トランスデューサシステム３８は、振動など、触角を利用したフィードバックを生成して閲覧者に提供するための１つまたは複数の触覚トランスデューサを含むことができる。ＨＤＭ装置１８は、物理環境からオーディオ入力を受け取るためのマイクロフォンシステム４２および１つまたは複数のマイクロフォンも含むことができる。
[0021] また、図１に示す例は、ＨＤＭ装置１８に組み込まれたコンピューティング装置１２を示す。他の例では、コンピューティング装置１２はＨＤＭ装置１８とは別個の構成要素である場合もあることが認識されよう。様々なフォームファクタを持つ多くの種類および構成のＨＤＭ装置１８が使用されてよく、本開示の範囲内にある。例示的なＨＤＭ装置の詳細な説明は、図６を参照して下記で提供する。
[0022] コンピューティング装置１２は、タブレット、ノートブック、スマートフォン、もしくは他のモバイルコンピューティング装置、デスクトップコンピューティング装置、独立型モニタ、壁掛け型ディスプレイ、対話型ホワイトボード、または一体型ディスプレイを有する他の同様の装置など、他の適切な種類または形態の表示装置からなるか、またはそれらの表示装置に組み込むことができることも認識されよう。そのような装置には、下記で詳しく説明するように注視追跡システムも含まれ得る。
[0023] コンピューティング装置１０とコンピューティング装置１２は両方とも、大容量ストレージ４０に記憶されることが可能な注視誘引プログラム４６を含むことができる。注視誘引プログラム４６はメモリ４８にロードされ、プロセッサ５２によって実行されて、下記で詳しく説明する方法およびプロセスの１つまたは複数を行うことができる。
[0024] コンピューティング装置１０およびコンピューティング装置１２は、注視追跡システム５４から注視追跡データ５０を受け取ることができる。様々な例で、注視追跡システム５４は、表示装置１４、ＨＤＭ装置１８、または、限定しないが上記の一体型ディスプレイを有する例示的装置を含む、他の適切な種類もしくは形態の表示装置と共通の筐体に置かれる可能性がある。他の例では、注視追跡システム５４およびコンピューティング装置１０は、頭部装着型や他の装着型の装置など一体型ディスプレイを含まない共通の筐体に組み込むか、または、限定しないが上記の一体型ディスプレイを持たない例示的装置を含む、一体型ディスプレイを含まない他の適切な種類もしくは形態のコンピューティング装置に組み込むことができる。
[0025] 引き続き図１を参照すると、例示的な表示装置１４は、１つまたは複数の視覚的要素を第２の閲覧者６２に提示するための表示システム５８を含むことができる。下記で詳しく説明するように、注視誘引プログラム４６は、注視追跡システム５４からの注視追跡データ５０を利用して、表示装置１４、ＨＤＭ１８、または他の表示装置によって表示されるガイド要素を介して閲覧者の注視を引くことができる。
[0026] 次いで図２〜図５を参照して、次いで例示的な使用事例の説明を提供する。図２は、部屋２００の中にいる数人の閲覧者の概略図であり、それらの閲覧者は、注視追跡システムからの注視追跡データを使用して閲覧者の注視を引くコンピューティング装置および表示装置と対話している。一例では、閲覧者アレックス２０２は、壁掛け型ディスプレイ２１０に表示される映画２０６を見ている。この例では、壁掛け型ディスプレイ２１０は、注視追跡システム５４を備えるセットトップボックス２１４と、注視誘引プログラム４６を含むコンピューティング装置とに通信的に結合されている。
[0027] ここで図３を参照すると、一例では、映画２０６の制作者は、映画の一場面で表示されるＣｏｆｆｅｅ Ｈｏｕｓｅ３０２に閲覧者の注意を引き付けたいと考える。閲覧者の注意を引くために、注視誘引プログラム４６は、表示装置２１０を制御してガイド要素を表示するように構成されてよい。この例では、ガイド要素は、映画の当該場面に追加されるコンピュータ生成画像である可能性のある鳥３０６からなる。注視追跡システム５４からの注視追跡データを使用して、注視誘引プログラム４６は、壁掛け型ディスプレイ２１０上での閲覧者アレックス２０２の注視ロケーションを監視することができる。例えば、図３に示すように、注視追跡システム５４は、注視追跡データ５０を使用して、閲覧者アレックス２０２が現在注視ロケーション３０８を注視していると判定することができる。
[0028] 鳥３０６は、Ｃｏｆｆｅｅ Ｈｏｕｓｅ３０２に至る、算出された動的経路３１０に沿って移動するように表示することができる。さらに閲覧者アレックス２０２の注意を引くために、算出された動的経路３１０は、閲覧者アレックス２０２の注視ロケーション３０８に隣接する所定の領域３１４の中を横断することができる。また、閲覧者アレックス２０２の閲覧体験を中断させることや気を散らすことを最小に抑えるために、動的経路３１０は、鳥３０６の動きを自然で本物らしく見せるように算出することができる。有利には、そのような動的経路３１０を使用すると、閲覧者アレックス２０２が、自分の注意が操作されている、または意図的に逸らされていると感じることなく、映画２０６の視聴を続け、楽しめるようにすることができる。
[0029] 一部の例では、コンピュータで生成された鳥３０６は、映画２０６の中に実時間で描画されるコンピュータ生成画像の移動を支配するコンピュータ生成画像移動規則に従って、算出された動的経路３１０に沿って移動するように表示することができる。鳥３０６の形態のガイド要素のこの例は説明のために提供されるものであり、ガイド要素の多くの他の種類、形態、および例が利用されてよく、本開示の範囲内にあることも認識されよう。例えば、映画２０６を参照すると、利用することが可能な他のコンピュータで生成されるガイド要素には、限定されないが、浮遊する葉、人、車、または他の適切なガイド要素が含まれる。
[0030] 図３に示す例では、閲覧者アレックス２０２の注視ロケーション３０８に隣接する所定の領域３１４は、注視ロケーションと同心の半径Ｒを有する円である。半径Ｒは、任意の適切なやり方で決定することができ、例えば、壁掛け型ディスプレイ２１０からの閲覧者アレックス２０２の距離、壁掛け型ディスプレイの大きさ、壁掛け型ディスプレイに表示される１つもしくは複数の要素の大きさ、注視追跡システム５４の精度、または他の適切な基準、の１つまたは複数に基づくことができる。様々な例では、半径Ｒは、およそ、０．５ｍｍ、１．０ｍｍ、５．０ｍｍ、１０．０ｍｍ、５０．０ｍｍ、１００．０ｍｍの長さ、または任意の他の適切な距離を有することができる。閲覧者の注視ロケーションに隣接する所定の領域の任意の他の適切な形状および／または構成も使用することができ、本開示の範囲内にあることも認識されよう。
[0031] 引き続き図３を参照すると、鳥３０６が算出された動的経路３１０に沿って進行するのに伴い、注視誘引プログラム４６は、閲覧者アレックス２０２の注視が鳥の飛行を追っているかどうかを判定することができる。一例では、鳥３０６が注視ロケーション３０８を通過した後、注視誘引プログラム４６は、閲覧者アレックス２０２の更新後の注視ロケーション３０８’が鳥３０６の所定の逸脱閾値内にあるかどうかを判定することができる。
[0032] 一例では、図３に示すように、閲覧者アレックス２０２の更新後の注視ロケーション３０８’は、更新後の注視ロケーションが鳥３０６の少なくとも一部分に重なっている場合に、鳥３０６の所定の逸脱閾値内にあると判定することができる。別の例では、閲覧者アレックス２０２の更新後の注視ロケーション３０８’は、注視ロケーションが必ずしも鳥と重なっていないが、鳥から所定の距離内にある場合に、鳥３０６の所定の逸脱閾値内にあると判定することができる。
[0033] 例えば、図３に示すように、所定の逸脱閾値３１８は、更新後の注視ロケーション３０８’と同心の半径Ｔの円からなることができる。上記の半径Ｒと同様に、半径Ｔは、任意の適切なやり方で決定することができ、例えば、壁掛け型ディスプレイ２１０からの閲覧者アレックス２０２の距離、壁掛け型ディスプレイの大きさ、鳥３０６および／もしくは壁掛け型ディスプレイに表示される１つもしくは複数の他の要素の大きさ、注視追跡システム５４の精度、または任意の他の適切な基準、の１つまたは複数に基づくことができる。様々な例では、半径Ｔは、およそ、０．５ｍｍ、１．０ｍｍ、５．０ｍｍ、１０．０ｍｍ、５０．０ｍｍ、１００．０ｍｍの長さ、または任意の他の適切な長さを有することができる。所定の逸脱閾値の任意の他の適切な形状および／または構成も使用することができ、本開示の範囲内にあることも認識されよう。
[0034] 更新後の注視ロケーション３０８’が鳥３０６の所定の逸脱閾値内にある場合、注視誘引プログラム４６は、壁掛け型ディスプレイ２１０を制御して、Ｃｏｆｆｅｅ Ｈｏｕｓｅ３０２までの算出された動的経路３１０に沿って移動する鳥３０６の表示を続けることができる。有利には、このようにして、閲覧者アレックス２０２の注視をＣｏｆｆｅｅ Ｈｏｕｓｅ３０２に導き、それによりＣｏｆｆｅｅ Ｈｏｕｓｅに対するアレックスの意識を増大させることができる。また、下記で詳しく説明するように、一部の例では、注視誘引プログラム４６は、閲覧者アレックスの注視ロケーションがＣｏｆｆｅｅ Ｈｏｕｓｅ３０２に重なっていることを判定する場合もあり、それに応答してＣｏｆｆｅｅ Ｈｏｕｓｅに広告利用料を割り当てる場合もある。
[0035] 別の例では、注視誘引プログラム４６は、閲覧者アレックス２０２の注視ロケーションが少なくとも所定の逸脱閾値３１８の差をつけて鳥３０６から離れていると判定することができる。別の表現をすると、図３の例を参照すると、注視誘引プログラム４６は、閲覧者アレックス２０２の注視ロケーションが３１８に示す円の外側にあると判定することができる。例えば、注視誘引プログラム４６は、閲覧者アレックス２０２が自分の注視を注視ロケーション３０８に戻すと判定することができる。この例では、注視誘引プログラム４６は、壁掛け型ディスプレイ２１０を制御して、Ｃｏｆｆｅｅ Ｈｏｕｓｅ３０２までの算出された動的経路３１０に沿って移動する鳥３０６の表示を中止することができる。
[0036] 別の例では、注視誘引プログラム４６は、閲覧者アレックスの注視ロケーションの注視軌跡３１２を監視し、追跡することができる。この例では、閲覧者アレックス２０２の注視ロケーションは、注視軌跡３１２が、算出された動的経路３１０の経路逸脱閾値３１６内にある時に、鳥３０６の所定の逸脱閾値内にあると判定することができる。例えば、鳥３０６がアレックスの注視ロケーション３０８に隣接する所定の領域３１４を通過した後、閲覧者アレックス２０２は最初に鳥の飛行を注視して追い、それによって注視軌跡３１２は経路逸脱閾値３１６内にある。
[0037] 図３に示すように、この例では経路逸脱閾値３１６は、所与の瞬時における注視軌跡３１２と、算出された動的経路３１０との間の距離である。様々な例では、経路逸脱閾値３１６は、およそ、０．５ｍｍ、１．０ｍｍ、５．０ｍｍ、１０．０ｍｍ、５０．０ｍｍ、１００．０ｍｍの長さ、または任意の他の適切な長さを有することができる。注視軌跡３１２と算出された動的経路３１０との任意の他の適切な比較を使用して、閲覧者アレックスの注視が鳥３０６を追っているかどうかを判定することもでき、本開示の範囲内にあることも認識されよう。
[0038] 上記のように、注視誘引プログラム４６が、注視軌跡３１２が経路逸脱閾値３１６内にあると判定した場合、注視誘引プログラムは、壁掛け型ディスプレイ２１０を制御して、Ｃｏｆｆｅｅ Ｈｏｕｓｅ３０２までの算出された動的経路３１０に沿って移動する鳥３０６の表示を続けることができる。別の例では、注視誘引プログラム４６は、閲覧者アレックス２０２の注視軌跡３１２が、算出された動的経路３１０から少なくとも経路逸脱閾値３１６の差をつけて離れていると判定することができる。例えば、注視誘引プログラム４６は、注視軌跡３１２で示されるように、閲覧者アレックス２０２が自分の注視を注視ロケーション３０８’’に移したと判定することができる。この例では、注視誘引プログラム４６は、壁掛け型ディスプレイ２１０を制御して、Ｃｏｆｆｅｅ Ｈｏｕｓｅ３０２までの算出された動的経路３１０に沿って移動する鳥３０６の表示を中止することができる。
[0039] 一例では、注視誘引プログラム４６は、Ｃｏｆｆｅｅ Ｈｏｕｓｅ３０２に至らない代替の経路３２２をたどるように鳥の移動を方向転換することにより、算出された動的経路３１０に沿って移動する鳥３０６の表示を中止することができる。このようにして、注視誘引プログラム４６は、閲覧者がガイド要素を注視していない時にも対象オブジェクトに向かって進行するすべてのガイド要素を表示することを回避する。他の例では、注視誘引プログラム４６は、ガイド要素をそれ以上表示しないことにより、算出された動的経路に沿って移動するガイド要素の表示を中止することができる。例えば、注視誘引プログラム４６は、ガイド要素をディスプレイから消すことができる。
[0040] 別の例では、閲覧者アレックス２０２の注視ロケーションの変化に基づいて、算出された動的経路３１０をプログラム的に調整することができる。例えば、閲覧者アレックス２０２が自分の注視を更新後の注視ロケーション３０８’’に変えて見物人３２０を見ると、注視誘引プログラム４６は、更新後の注視ロケーション３０８’’に隣接する所定の領域の中を横断してからＣｏｆｆｅｅ Ｈｏｕｓｅ３０２へと続くように、算出された動的経路をプログラム的に調整することができる。
[0041] 別の例では、ここで図１および図２を参照すると、閲覧者メアリー２３０が自分のタブレットコンピュータ２３８でコンピュータゲーム２３４をプレーしている。タブレットコンピュータ２３８は、ディスプレイ２４２、注視追跡システム５４、および注視誘引プログラム４６を含むことができる。次いで図４を参照すると、一例ではコンピュータゲーム２３４は野球ゲーム４００からなり、野球ゲーム４００は、閲覧者メアリー２３０によって制御可能な打者４０４の形態のプレーヤキャラクタと、野球ゲームの非プレーヤキャラクタの移動規則に従って動く、投手４０８ならびに外野手４１２および４１４の形態の非プレーヤキャラクタとを含む。野球ゲーム４００は、野球ゲームのオブジェクト移動規則に従って動く少なくとも１つのオブジェクトも含むことができる。この例では、オブジェクトは野球ボール４２０からなることができる。
[0042] この例では、ガイド要素は、投手４０８、外野手４１２、および／または野球ボール４２０からなることができる。例えば、注視誘引プログラム４６は、タブレットコンピュータ２３８のディスプレイ２４２を制御して、非プレーヤキャラクタ移動規則に従って、算出された動的経路４３０に沿って移動する外野手４１２を表示することができる。算出された動的経路４３０は、外野壁に配置された、「カフェＡで食事を（Eat at Cafe A）」するように閲覧者メアリー２３０を促す広告４３４に至る。ディスプレイ２４２上での閲覧者メアリー２３０の注視ロケーション４５０は、上記のように判定し、監視することができる。算出された動的経路４３０に沿った外野手４１２の移動も上記のように制御することができる。
[0043] 一部の例では、カフェＡは、自社の広告４３４を野球ゲーム４００に表示させるために宣伝料を支払う場合がある。一例では、注視誘引プログラム４６が、閲覧者メアリー２３０の注視ロケーション４５０が広告４３４に重なっていると判定すると、広告利用料がカフェＡに割り当てられる。有利には、このようにして、広告主は、その広告主の広告の実際の閲覧者のインプレッションに直接結び付けられた、インプレッション単位の広告利用料を支払う。
[0044] 別の例では、自社の広告４３４のためにカフェＡが支払う宣伝料は、少なくとも部分的に、閲覧者が広告を注視している期間に基づくことができる。例えば、閲覧者メアリー２３０の注視ロケーション４５０が所定の期間未満の時間にわたり広告４３４に重なっている場合は、第１の広告利用料をカフェＡに割り当てることができる。閲覧者メアリー２３０の注視ロケーション４５０が少なくとも所定の期間にわたり広告４３４に重なっている場合は、第１の広告利用料よりも大きい第２の広告利用料をカフェＡに割り当てることができる。一部の例では、所定の期間は、０．５秒、１．０秒、２．０秒、５．０秒、または任意の他の適切な期間とすることができる。同様に、第１および第２の広告利用料には任意の適切な額を利用することができる。
[0045] 次いで図５を参照すると、一部の例では、対象オブジェクトは、ウェブページに表示される広告からなることができる。例えば、閲覧者メアリー２３０は、タッチ感知ディスプレイ２４２を含む自分のタブレットコンピュータ２３８でウェブページ５００を閲覧しているとする。高速で通過する彗星５０４の形態のガイド要素を、閲覧者メアリー２３０の注視ロケーション５１０に隣接する所定の領域５０８の中を横断する算出された動的経路５０６に沿って移動するように表示することができる。算出された動的経路は、カフェＡから「１枚ピザを買うともう１枚無料（2 For1 Pizza）」を知らせる、選択可能な広告５１２の形態の対象オブジェクトに至ることができる。
[0046] 一例では、閲覧者メアリー２３０は、ディスプレイ２４２の画面に触れることにより、選択可能な広告５１２に関連付けられた閲覧者入力を提供することができる。メアリーがタッチを選択した位置は、タッチ感知画面により、広告５１２の一部分と重なるタッチ位置点５１４に位置すると解釈されることができる。その結果、広告５１２を選択するその閲覧者入力により、カフェＡに割り当てることができる広告利用料を発生させることができる。
[0047] ただし、例によっては、閲覧者メアリー２３０は広告５１２を選択するつもりではなかった可能性もある。例えば、閲覧者メアリー２３０は、平均よりも指が長く、「ここをクリック（CLICK HERE）」の選択可能ボタン５２０を選択するつもりであった可能性がある。タッチ感知ディスプレイ２４２のタッチ検出システムは、メアリーが意図したタッチの位置が点５１４に位置すると誤って解釈した可能性がある。この可能性に対処するために、閲覧者メアリー２３０のタッチ入力が受け取られ、広告５１２に関連付けられている場合に、注視誘引プログラム４６は、閲覧者メアリー２３０の注視ロケーションが広告に重なっているかどうかを判定することができる。
[0048] 一例では、閲覧者入力が受け取られた時に閲覧者メアリー２３０の注視ロケーション５２４が広告５１２に重なっている場合には、カフェＡに広告利用料が割り当てられる。一方、閲覧者入力が受け取られた時に閲覧者メアリー２３０の注視ロケーション５３０が広告５１２に重なっていない場合は、広告利用料がキャンセルされる。有利には、このようにして、選択可能な広告やウェブページ上の他の要素の故意でない選択や意図しない選択を特定することができ、それに対応する誤った広告利用料および／または他の意図されない動作を回避することができる。
[0049] 別の例で、図２を参照すると、閲覧者ウォリー２５０が、眼鏡２５４の形態のＨＤＭ装置を装着している。閲覧者ウォリー２５０は、ＨＤＭ眼鏡２５４を介して複合現実体験を行っており、この複合現実体験は、眼鏡によって表示される、ホログラフィの魔女２６０と、浮遊するボール２６４の形態のガイド要素とを含んでいる。
[0050] 一例では、複合現実体験の開発者は、閲覧者ウォリーの注意を、部屋２０の中に表示されるホログラフィのＣｏｆｆｅｅ Ｈｏｕｓｅの広告２７０に引き付けたいとする。上記のように、ＨＤＭ眼鏡２５４の注視誘引プログラム４６は、ガイド要素を表示するように構成することが可能である。この例では、ガイド要素は浮遊するボール２６４からなる。ＨＤＭ眼鏡２５４の注視追跡システム５４からの注視追跡データを使用して、注視誘引プログラム４６は、閲覧者ウォリー２５０の注視ロケーションを監視することができる。
[0051] 浮遊するボール２６４は、Ｃｏｆｆｅｅ Ｈｏｕｓｅの広告２７０に至る算出された動的経路２７４に沿って移動するように表示することができる。上記のように、算出された動的経路２７４は、閲覧者ウォリー２５０の注視ロケーション２８２に隣接する所定の領域２７８の中を横断することができる。浮遊するボール２６４が算出された動的経路２７４に沿って進行するのに伴い、注視誘引プログラム４６は、閲覧者ウォリー２５０の注視ロケーションがボールの所定の逸脱閾値内にあるかどうかを判定することができる。一例では、浮遊するボール２６４が注視ロケーション２８２を通過した後、注視誘引プログラム４６は、閲覧者ウォリー２５０の更新後の注視ロケーション２８２’がボールにあり、所定の逸脱閾値内にあると判定することができる。それに応じて、注視誘引プログラム４６は、ＨＤＭ眼鏡２５４を制御して、Ｃｏｆｆｅｅ Ｈｏｕｓｅの広告２７０までの算出された動的経路２７４に沿って移動する浮遊するボール２６４の表示を続けることができる。
[0052] 他の例では、上記のように、注視誘引プログラム４６は、閲覧者ウォリー２５０の別の注視ロケーション２８２’’がＣｏｆｆｅｅ Ｈｏｕｓｅの広告２７０に重なっていると判定することができ、それに応答してＣｏｆｆｅｅ Ｈｏｕｓｅに広告利用料を割り当てることができる。
[0053] 別の例では、注視誘引プログラム４６は、閲覧者ウォリー２５０の注視ロケーションが、浮遊するボール２６４から少なくとも所定の逸脱閾値の差をつけて離れていることを判定することができる。この例では、注視誘引プログラム４６は、ＨＤＭ眼鏡２５４を制御して、Ｃｏｆｆｅｅ Ｈｏｕｓｅの広告２７０までの算出された動的経路２７４に沿って移動する浮遊するボール２６４の表示を中止することができる。例えば、ＨＤＭ眼鏡２５４は、広告２７０に重ならない代替の経路２８６に沿って移動するように、浮遊するボール２６４を方向転換することができる。他の例では、ＨＤＭ眼鏡２５４は、浮遊するボール２６４の表示を終了することができる。
[0054] 次いで図６を参照すると、透明ディスプレイを備えた装着型眼鏡の形態のＨＤＭ装置６００の一例が提供される。他の例では、ＨＤＭ装置６００は、透明、半透明、および／または不透明のディスプレイが閲覧者の片方の眼または両方の眼の前方に支持された他の適切な形態をとることが可能であることが認識されよう。図１および図２に示すＨＤＭ装置は、下記で詳しく説明するようにＨＤＭ装置６００の形態をとるか、または任意の他の適切なＨＤＭ装置の形態をとることが可能であることも認識されよう。
[0055] ＨＤＭ装置６００は、表示システム６０２と、ホログラフィオブジェクトなどの画像をＨＤＭ装置の装着者の眼に伝えることを可能にするシースルーまたは透明ディスプレイ６０４とを備える。透明ディスプレイ６０４は、透明ディスプレイを通して物理環境を見ている装着者にとっての現実世界の物理環境の見え方を視覚的に強化するように構成することができる。例えば、物理環境の見え方を、透明ディスプレイ６０４を介して提示される、拡張現実環境を作り出すグラフィック内容（例えば、それぞれが各自の色と輝度を持つ１つまたは複数の画素）で強化することができる。
[0056] 透明ディスプレイ６０４は、ＨＤＭ装置の装着者が、仮想オブジェクト表現を表示している１つまたは複数の部分的に透明な画素を通して、物理環境にある物理的な現実世界の物体を見られるように構成することもできる。図６に示すように、一例では、透明ディスプレイ６０４は、レンズ６０６の内部に置かれた画像生成要素を含むことができる（例えばシースルー有機発光ダイオード（OLED）ディスプレイなど）。別の例として、透明ディスプレイ６０４は、レンズ６０６の縁部に光変調器を含むことができる。この例では、レンズ６０６は、光変調器からの光を装着者の眼に伝えるための導光体として働くことができる。そのような導光体は、装着者が、自分が見ている物理環境内に置かれた３Ｄのホログラフィ画像を知覚できるようにするとともに、物理環境内にある物理的物体も見られるようにし、それにより拡張現実環境を作り出すことができる。
[0057] ＨＤＭ装置６００は、各種センサとそれに関係するシステムも含むことができる。例えば、ＨＤＭ装置６００は、装着者の眼から注視追跡データの形態で画像データを取得するように構成された１つまたは複数の画像センサを含む注視追跡システム６０８を含むことができる。装着者がその情報の取得と使用に同意しているという条件で、注視追跡システム６０８はその情報を使用して、装着者の眼の位置および／または移動を追跡することができる。
[0058] 一例では、注視追跡システム６０８は、装着者のそれぞれの眼の注視の方向を検出するように構成された注視検出サブシステムを含む。注視検出サブシステムは、装着者のそれぞれの眼の注視の方向を任意の適切なやり方で判定するように構成することができる。例えば、注視検出サブシステムは、装着者のそれぞれの眼の角膜から光の輝きを反射させるように構成された赤外光源などの１つまたは複数の光源を備えることができる。そして、装着者の眼の画像を撮影するように、１つまたは複数の画像センサを構成することができる。
[0059] 画像センサから収集された画像データから判定される輝きの画像および瞳孔の画像を使用して、それぞれの眼の光軸を判定することができる。次いで、その情報を使用して、注視追跡システム６０８が、装着者が注視している方向を判定することができる。それに加えて、またはそれに代えて、追跡システム６０８は、どの物理的物体または仮想物体を装着者が注視しているか、あるいは、そのような物理的物体または仮想物体上のどの位置を装着者が注視しているかを判定することができる。そして、そのような注視追跡データがＨＤＭ装置６００に提供されてよい。
[0060] 注視追跡システム６０８は、任意数の適切な数および構成の光源および画像センサを有してよいことも理解されよう。例えば、図６を参照すると、ＨＤＭ装置６００の注視追跡システム６０８は、少なくとも１つの内向きセンサ６１０を利用することができる。
[0061] ＨＤＭ装置６００は、物理環境から物理環境データを受け取るセンサシステムも含むことができる。例えば、ＨＤＭ装置６００は、ＨＤＭ装置６００の姿勢センサ６１４などの１つまたは複数の姿勢センサを利用する頭部追跡システム６１２も含むことにより、頭部姿勢データを取り込み、それにより装着者の頭部の位置の追跡、方向／場所および向きの感知、ならびに／または動き検出を可能にすることもできる。
[0062] 一例では、頭部追跡システム６１２は、３軸または３自由度の位置センサシステムとして構成された慣性測定ユニット（IMU）を備えることができる。この例示的な位置センサシステムは、例えば、３つの直交する軸（例えばx、y、およびz、またはロール、ピッチ、およびヨー）を中心とした３Ｄ空間内のＨＤＭ装置６００の向きの変化を指示または測定する３つのジャイロスコープを含むことができる。一部の例では、ＩＭＵのセンサ信号から導出される向きを使用して、透明ディスプレイ６０４を介して、身体に固定された位置で１つまたは複数の仮想オブジェクトを表示することができ、身体に固定された位置では、各仮想オブジェクトの位置は、シースルーディスプレイの装着者に対して固定されているように見え、各仮想オブジェクトの位置は、物理環境にある現実世界の物体に対して可動に見える。
[0063] 別の例では、頭部追跡システム６１２は、６軸または６自由度の位置センサシステムとして構成されたＩＭＵを備えることができる。この例示的な位置センサシステムは、例えば、３つの直交する軸に沿ったＨＤＭ装置６００の場所の変化と、その３つの直交する軸を中心とした装置の向きの変化とを指示または測定する３つの加速度計および３つのジャイロスコープを含むことができる。
[0064] 頭部追跡システム６１２は、ＧＰＳまたは他の全地球航法システムなどの他の適切な測位技術にも対応することができる。さらに、位置センサシステムの具体例を説明したが、任意の他の適切な位置センサシステムが使用されてよいことが認識されよう。例えば、装着者に取り付けられたセンサおよび／または装着者の外部にあるセンサの任意の組み合わせからのセンサ情報に基づいて、頭部の姿勢および／または移動のデータを判定することができ、それらのセンサには、限定しないが、任意数のジャイロスコープ、加速度計、慣性測定ユニット、ＧＰＳ装置、気圧計、磁力計、カメラ（例えば、可視光カメラ、赤外光カメラ、飛行時間奥行きカメラ、構造光奥行きカメラなど）、通信装置（例えばWIFIアンテナ／インターフェース）などが含まれる。
[0065] 一部の例では、ＨＤＭ装置６００は、ＨＤＭ装置６００の光学センサ６１６などの１つまたは複数の外向きセンサを利用して画像データを取り込む光学センサシステムも含むことができる。外向きセンサは、ジェスチャを利用した入力や、装着者またはセンサの視野内の人もしくは物理的物体によって行われる他の移動など、視野内の移動を検出することができる。外向きセンサは、物理環境とその環境内の物理的物体から、２Ｄ画像情報および奥行き情報を取り込むことができる。例えば、外向きセンサは、奥行きカメラ、可視光カメラ、赤外光カメラ、および／または位置追跡カメラを含むことができる。
[0066] 光学センサシステムは、１つまたは複数の奥行きカメラを介して奥行き追跡データを生成する奥行き追跡システムを含むことができる。一例では、各奥行きカメラは、立体視システムの左右のカメラを含むことができる。それら奥行きカメラの１つまたは複数から得られる時間分解された画像を、互いの画像に、および／または可視スペクトルカメラなどの別の光学センサからの画像に登録させ、組み合わせて、奥行き分解された映像を得ることができる。
[0067] 他の例では、構造化された赤外線照明を投影し、その照明が投影されたシーンから反射された照明を撮像するように、構造光奥行きカメラを構成することができる。撮像されたシーンの様々な領域にある隣接するフィーチャ間の間隔に基づいて、シーンの奥行きマップを構築することができる。さらに他の例では、奥行きカメラが、パルス状の赤外線照明をシーンに投影し、シーンから反射された照明を検出するように構成された飛行時間奥行きカメラの形態をとることができる。例えば、照明は赤外光源６１８によって提供することができる。本開示の範囲内で任意の他の適切な奥行きカメラを使用することが可能であることは認識されよう。
[0068] 外向きセンサは、ＨＤＭ装置の装着者が存在する物理環境の画像を撮影することができる。ＨＤＭ装置６００に関して、一例では、拡張現実表示プログラムが、そのような撮影画像を使用してＨＤＭ装置の装着者を取り囲む物理環境をモデル化した仮想環境を生成する３Ｄモデリングシステムを含むことができる。一部の例では、光学センサ６１６は、ＩＭＵと協働して、ＨＤＭ装置６００の場所および向きを６自由度で判定することができる。そのような場所および向きの情報を使用して、透明ディスプレイ６０４を介して、１つまたは複数の仮想オブジェクトを環境に固定された（world-locked）位置で表示することができ、環境に固定された位置では、各仮想オブジェクトの位置は、透明ディスプレイを通して見える現実世界の物体に対して固定されているように見え、各仮想オブジェクトの位置は、シースルーディスプレイの装着者に対して可動に見える。
[0069] ＨＤＭ装置６００は、オーディオデータを取り込むマイクロフォン６２０などの１つまたは複数のマイクロフォンを含むマイクロフォンシステムも含むことができる。他の例では、オーディオは、ＨＤＭ装置６００のスピーカ６２２などの１つまたは複数のスピーカを介して装着者に提示することができる。
[0070] ＨＤＭ装置６００は、コントローラ６２４などのコントローラも含むことができる。コントローラ６２４は、下記で図８との関連で詳しく論じるように、ＨＤＭ装置６００の各種センサおよびシステムと通信状態にある論理サブシステムと記憶サブシステムとを含むことができる。一例では、記憶サブシステムは、センサから信号入力を受け取り、ＨＤＭ装置６００の姿勢を判定し、透明ディスプレイ６０４を介して表示されるコンテンツの表示特性を調整するために、論理サブシステムによって実行できる命令を含むことができる。
[0071] 図７Ａおよび図７Ｂは、本開示の一実装による、表示装置の閲覧者の注視を引くための方法７００のフローチャートを示す。以下の方法７００の説明は、上記で説明した図１〜図６に示すソフトウェアおよびハードウェア構成要素を参照して提供する。方法７００は、他の適切なハードウェアおよびソフトウェア構成要素を使用する他の文脈で行うことも可能であることが認識されよう。
[0072] 図７Ａを参照すると、７０４で、方法７００は、対象オブジェクトを表示するように表示装置を制御することを含むことができる。７０８で、方法７００は、注視追跡システムからの注視追跡データを使用して、閲覧者の注視ロケーションを監視することを含むことができる。７１２で、方法７００は、閲覧者の注視ロケーションに隣接する所定の領域の中を横断して対象オブジェクトに至る、算出された動的経路に沿って移動するガイド要素を表示するように表示装置を制御することを含むことができる。
[0073] ７１６で、方法７００は、注視追跡データを使用して、閲覧者の注視ロケーションがガイド要素の所定の逸脱閾値内にあるかどうかを判定することを含むことができる。７２０で、方法７００は、閲覧者の注視ロケーションがガイド要素の所定の逸脱閾値内にある場合は、対象オブジェクトまでの算出された動的ガイド経路に沿って移動するガイド要素の表示を続けるように表示装置を制御することを含むことができる。７２４で、方法７００は、閲覧者の注視ロケーションがガイド要素から少なくとも所定の逸脱閾値の差をつけて離れている場合は、対象オブジェクトまでの算出された動的ガイド経路に沿って移動するガイド要素の表示を中止するように表示装置を制御することを含むことができる。
[0074] ７２８で、対象オブジェクトまでの算出された動的ガイド経路に沿って移動するガイド要素の表示を中止することは、算出された動的ガイド経路からガイド要素をそらすことを含むことができる。７３２で、対象オブジェクトまでの算出された動的ガイド経路に沿って移動するガイド要素の表示を中止することは、ガイド要素の表示を終了することを含むことができる。７３６で、所定の逸脱閾値はガイド要素からの距離からなる。７３８で、所定の逸脱閾値は、算出された動的経路からの経路逸脱閾値からなり、方法７００は、閲覧者の注視軌跡が、算出された動的経路から少なくとも経路逸脱閾値の差をつけて離れているかどうかを判定することを含むことができる。閲覧者の注視軌跡が、算出された動的ガイド経路から少なくとも経路逸脱閾値の差をつけて離れている場合は、上記のように、対象オブジェクトまでの算出された動的経路に沿って移動するガイド要素の表示を中止するように表示装置を制御することができる。
[0075] 次いで図７Ｂを参照すると、７４０で、閲覧者がコンピュータゲームをプレーしている間に方法７００が行われ、コンピュータゲームは、非プレーヤキャラクタ移動規則に従って動く少なくとも１つの非プレーヤキャラクタと、オブジェクト移動規則に従って動く少なくとも１つのオブジェクトとを有し、ガイド要素を表示するように表示装置を制御することは、非プレーヤキャラクタ移動規則またはオブジェクト移動規則に従って、算出された動的経路に沿ってガイド要素を移動させることをさらに含むことができる。７４４で、ユーザが映画を見ている間に方法が行われ、ガイド要素を表示するように表示装置を制御することは、映画において実時間で描画されるコンピュータ生成画像についてのコンピュータ生成画像移動規則に従って、算出された動的経路に沿ってガイド要素を移動させることをさらに含むことができる。
[0076] ７４８で、対象オブジェクトは、表示装置に表示される広告主の広告からなり、方法７００は、閲覧者の注視ロケーションが広告に重なっている場合に広告主に広告利用料を割り当てることをさらに含むことができる。７５２で、上記広告利用料が第１の広告利用料であり、方法７００は、閲覧者の注視ロケーションが少なくとも所定の期間にわたり広告に重なっている場合は、第１の広告利用料よりも大きい第２の広告利用料を割り当てることをさらに含むことができる。
[0077] ７５６で、対象オブジェクトは、ウェブページに表示される広告主の広告からなり、方法７００は、広告に関連付けられた閲覧者入力を受け取ることを含むことができ、その閲覧者入力が広告利用料を発生させる。７６０で、閲覧者入力が受け取られた時に閲覧者の注視ロケーションがウェブページ上の広告に重なっている場合、方法７００は、広告主に広告利用料を割り当てることを含むことができる。７６４で、閲覧者入力が受け取られた時に閲覧者の注視ロケーションがウェブページ上の広告に重なっていない場合、方法７００は、広告利用料をキャンセルすることを含むことができる。７６８で、表示装置は、注視追跡システムを含む装着型表示装置からなることができる。
[0078] 方法７００は例として提供され、制限的なものではないことは認識されよう。したがって、方法７００は、図７Ａおよび図７Ｂに示されるステップに加えて追加的なステップおよび／または代替のステップを含むことが可能であることを理解されたい。さらに、方法７００は、任意の適切な順序で行われてよいことを理解されたい。さらに、本開示の範囲から逸脱することなく方法７００から１つまたは複数のステップを省略できることを理解されたい。
[0079] 図８は、上記で説明した方法およびプロセスの１つまたは複数を行うことができるコンピューティングシステム８００の非制限的な例を概略的に示す。コンピューティング装置１０およびコンピューティング装置１２は、コンピューティングシステム８００の１つまたは複数の態様の形態をとるか、または含むことができる。コンピューティングシステム８００は簡略化した形態で示している。本開示の範囲から逸脱することなく、実質的にどのようなコンピュータアーキテクチャでも使用可能であることを理解されたい。種々の例では、コンピューティングシステム８００は、メインフレームコンピュータ、サーバコンピュータ、デスクトップコンピュータ、タブレットコンピュータ、家庭娯楽用コンピュータ、ネットワークコンピューティング装置、タブレット、ノートブック、スマートフォン、または他のモバイルコンピューティング装置、モバイル通信装置、ゲーム装置などの形態をとることができる。
[0080] 図８に示すように、コンピューティングシステム８００は、論理サブシステム８０４および記憶サブシステム８０８を含む。コンピューティングシステム８００は、任意選択により、センササブシステム８１２、表示サブシステム８１６、通信サブシステム８２０、入力サブシステム８２２、ならびに／または図８に図示されない他のサブシステムおよび構成要素も含んでもよい。コンピューティングシステム８００はコンピュータ可読媒体も含むことができ、コンピュータ可読媒体は、コンピュータ可読記憶媒体およびコンピュータ可読通信媒体を含む。コンピューティングシステム８００は、任意選択により、例えばキーボード、マウス、ゲームコントローラ、および／またはタッチ画面などの他のユーザ入力装置も含んでよい。さらに、一部の実施形態では、本明細書に記載される方法およびプロセスは、コンピュータアプリケーション、コンピュータサービス、コンピュータＡＰＩ、コンピュータライブラリ、および／または１つもしくは複数のコンピュータを含むコンピューティングシステム内の他のコンピュータプログラム製品、として実装することができる。
[0081] 論理サブシステム８０４は、１つまたは複数の命令を実行するように構成された１つまたは複数の物理的装置を含むことができる。例えば、論理サブシステム８０４は、１つまたは複数のアプリケーション、サービス、プログラム、ルーチン、ライブラリ、オブジェクト、コンポーネント、データ構造、または他の論理構築体の一部である１つまたは複数の命令を実行するように構成することができる。そのような命令を実装して、タスクを行う、データ型を実装する、１つまたは複数の装置の状態を変換する、またはその他の方法で所望の結果に到達することができる。
[0082] 論理サブシステム８０４は、ソフトウェア命令を実行するように構成された１つまたは複数のプロセッサを含むことができる。それに加えて、またはそれに代えて、論理サブシステムは、ハードウェア命令またはファームウェア命令を実行するように構成された１つまたは複数のハードウェアまたはファームウェア論理機械を含んでもよい。論理サブシステムのプロセッサは、シングルコアであってもマルチコアであってもよく、プロセッサで実行されるプログラムは、並列処理されるように構成しても、分散処理されるように構成してもよい。論理サブシステムは、任意選択により、遠隔に置かれた、および／または連携処理のために構成された２つ以上の装置にわたって分散された個々の構成要素を含むことができる。論理サブシステムの１つまたは複数の態様は、クラウドコンピューティング構成で構成された、遠隔からアクセス可能なネットワーク化コンピューティング装置によって仮想化し、実行することができる。
[0083] 記憶サブシステム８０８は、本明細書に開示される方法およびプロセスを実装するために論理サブシステム８０４によって実行可能なデータおよび／または命令を保持するように構成された１つまたは複数の物理的な恒久的な装置を含むことができる。そのような方法およびプロセスが実装されると、記憶サブシステム８０８の状態を（例えば異なるデータを保持するように）変換することができる。
[0084] 記憶サブシステム８０８は、取り外し可能媒体および／または内蔵装置を含むことができる。記憶サブシステム８０８は、とりわけ、光学メモリ装置（例えば、CD、DVD、HD-DVD、Blu-Rayディスクなど）、半導体メモリ装置（例えば、RAM、EPROM、EEPROMなど）および／または磁気メモリ装置（例えば、ハードディスクドライブ、フロッピーディスクドライブ、テープドライブ、MRAMなど）を含むことができる。記憶サブシステム８０８は、揮発性、不揮発性、動的、静的、読み書き両用、読出し専用、ランダムアクセス、逐次アクセス、場所でのアドレス指定可能、ファイルでのアドレス指定可能、および内容でのアドレス指定可能、の特質の１つまたは複数を持つ装置を含むことができる。
[0085] 一部の例では、論理サブシステム８０４および記憶サブシステム８０８の態様を１つまたは複数の共通の装置に組み込み、その共通の装置を通じて、本明細書に記載される機能を少なくとも一部実施することができる。そのようなハードウェア論理構成要素には、例えば、利用者プログラム可能ゲートアレイ（FPGA）、プログラム特定用途集積回路および特定用途集積回路（PASIC／ASIC）、特定プログラム標準製品および特定用途標準製品（PSSP／ASSPS）、システム・オン・チップ（SOC）システム、ならびに複雑プログラム可能論理装置（CPLD）が含まれる可能性がある。
[0086] 図８は、取り外し可能コンピュータ可読記憶媒体８２４の形態の記憶サブシステム８０８の一態様も示し、これを使用して、本明細書に記載される方法およびプロセスを実装するために実行可能なデータおよび／または命令を記憶することができる。取り外し可能コンピュータ可読記憶媒体８２４は、とりわけ、ＣＤ、ＤＶＤ、ＨＤ−ＤＶＤ、Ｂｌｕ−Ｒａｙディスク、ＥＥＰＲＯＭ、および／またはフロッピーディスクの形態をとることができる。
[0087] 記憶サブシステム８０８は、１つまたは複数の物理的な恒久的な装置を含むことを認識されたい。それに対し、実装によっては、本明細書に記載される命令の態様は、少なくとも有限の時間にわたっては物理的装置によって保持されることのない純粋な信号（例えば電磁気信号や光学信号など）によって過渡的に伝搬される場合もある。さらに、本開示に係るデータおよび／または他の形態の情報は、コンピュータ可読通信媒体を介して純粋な信号によって伝搬されることが可能である。
[0088] 含まれる場合、センササブシステム８１２は、上記のように種々の物理現象（例えば、可視光、赤外光、音、加速、向き、位置など）を感知するように構成された１つまたは複数のセンサを含むことができる。センササブシステム８１２は、例えば、センサデータを論理サブシステム８０４に提供するように構成されることが可能である。そのようなデータには、注視追跡情報、画像情報、周囲照明情報、奥行き情報、オーディオ情報、位置情報、動き情報、ユーザの場所情報、および／または、上記の方法およびプロセスを行うために使用できる任意の他の適切なセンサデータが含まれる可能性がある。
[0089] 含まれる場合、表示サブシステム８１６を使用して、記憶サブシステム８０８によって保持されているデータの視覚的表現を提示することができる。上記の方法およびプロセスが、記憶サブシステム８０８よって保持されているデータを変更し、それにより記憶サブシステムの状態を変換すると、表示サブシステム８１６の状態も同様に変換されて、基礎となるデータの変化を視覚的に表現することができる。表示サブシステム８１６は、実質的にどのような種類の技術でも利用できる１つまたは複数の表示装置を含むことができる。そのような表示装置は、共有される筐体内で論理サブシステム８０４および／または記憶サブシステム８０８と組み合わせるか、またはそのような表示装置は周辺表示装置とすることができる。
[0090] 含まれる場合、通信サブシステム８２０は、コンピューティングシステム８００を、１つもしくは複数のネットワークおよび／または１つもしくは複数の他のコンピューティング装置と通信的に結合するように構成されることが可能である。通信サブシステム８２０は、１つまたは複数の種々の通信プロトコルに対応する有線および／またはワイヤレスの通信装置を含むことができる。非制限的な例として、通信サブシステム８２０は、ワイヤレス電話ネットワーク、ワイヤレスローカルエリアネットワーク、有線ローカルエリアネットワーク、ワイヤレスワイドエリアネットワーク、有線ワイドエリアネットワークなどを介した通信のために構成することができる。一部の実施形態では、通信サブシステムは、コンピューティングシステム８００が、インターネットなどのネットワークを介して、他の装置にメッセージを送信、および／または他の装置からメッセージを受信することを可能にできる。
[0091] 含まれる場合、入力サブシステム８２２は、１つまたは複数のセンサ、または、ゲームコントローラ、ジェスチャ入力検出装置、音声認識器、慣性測定ユニット、キーボード、マウス、もしくはタッチ画面などのユーザ入力装置を備えるか、またはそれらとインターフェースをとることができる。一部の実施形態では、入力サブシステム８２２は、選択された自然ユーザ入力（NUI）構成要素群を備えるか、またはそれとインターフェースをとることができる。そのような構成要素群は、組み込むか、周辺に置くことができ、入力動作の変換および／または処理は、基板上で扱われる場合も基板外で扱われる場合もある。例示的なＮＵＩ構成要素群には、発話認識および／または音声認識のためのマイクロフォン、マシンビジョンおよび／またはジェスチャ認識のための赤外線カメラ、カラーカメラ、立体カメラ、および／または奥行きカメラ、動き検出および／または意図認識のための頭部追跡器、眼追跡器、加速度計、および／またはジャイロスコープ、ならびに脳の活動を測定するための電場感知構成要素群が含まれる可能性がある。
[0092] 用語「プログラム」は、１つまたは複数の特定の機能を行うために実装されるコンピューティング装置１０およびコンピューティング装置１２の態様を記述するために使用される場合がある。場合によっては、そのようなプログラムは、論理サブシステム８０４が、記憶サブシステム８０８によって保持されている命令を実行することを介して具体化されることがある。同じアプリケーション、サービス、コードブロック、オブジェクト、ライブラリ、ルーチン、ＡＰＩ、関数から異なるプログラムが具体化される場合があることを理解されたい。同様に、異なるアプリケーション、サービス、コードブロック、オブジェクト、ライブラリ、ルーチン、ＡＰＩ、関数などによって同じプログラムを具体化することもできる。用語「プログラム」は、実行ファイル、データファイル、ライブラリ、ドライバ、スクリプト、データベースレコードなどの個体または群を包含するものとする。
[0093] 本明細書に記載される構成および／または手法は、本来は例示的な性質であり、多数の変形例が可能であることから、これらの具体的な実施形態または例は、制限的な意味に解釈すべきでないことを理解されたい。本明細書に記載される具体的なルーチンまたは方法は、任意数の処理方式の１つまたは複数を表す可能性がある。そのため、例示される各種の行為は、例示される順序で行う、他の順序で行う、並行して行う、または場合によっては省略することができる。同様に、上記のプロセスの順番は変更することができる。
[0094] 本開示の主題は、本明細書に開示される様々なプロセス、システムおよび構成、および他の特徴、機能、行為、ならびに／または特性のすべての新規で非自明の組み合わせおよびサブコンビネーションと、それらのあらゆる均等物とを含む。

Claims (11)

  1. 表示装置の閲覧者の注視を引くための方法であって、表示装置の閲覧者の注視を引くためのコンピューティング装置のプロセッサが、
    対象オブジェクトを表示するように前記表示装置を制御するステップと、
    注視追跡システムからの注視追跡データを使用して前記閲覧者の注視ロケーションを監視するステップと、
    前記閲覧者の注視ロケーションに隣接する所定の領域の中を横断して前記対象オブジェクトに至る、算出された動的経路に沿って移動するガイド要素を表示するように前記表示装置を制御するステップと、
    前記注視追跡データを使用して、前記閲覧者の注視ロケーションが前記ガイド要素の所定の逸脱閾値内にあるかどうかを判定するステップと、
    前記閲覧者の注視ロケーションが前記ガイド要素の前記所定の逸脱閾値内にある場合は、前記対象オブジェクトまでの前記算出された動的ガイド経路に沿って移動する前記ガイド要素の表示を続けるように前記表示装置を制御するステップと、
    前記閲覧者の注視ロケーションが前記ガイド要素から少なくとも前記所定の逸脱閾値の差をつけて離れている場合は、前記対象オブジェクトまでの前記算出された動的ガイド経路に沿って移動する前記ガイド要素の表示を中止するように前記表示装置を制御するステップと
    を含む方法。
  2. 前記算出された動的ガイド経路に沿って移動する前記ガイド要素の表示を中止するように前記表示装置を制御するステップが、前記算出された動的経路から前記ガイド要素をそらすステップ、または、前記ガイド要素の表示を終了するステップのいずれかをさらに含む請求項１に記載の方法。
  3. 前記所定の逸脱閾値は前記ガイド要素からの距離を含む請求項１に記載の方法。
  4. 前記注視追跡データを使用して、前記閲覧者の注視ロケーションが前記ガイド要素の所定の逸脱閾値内にあるかどうかを判定するステップが、前記閲覧者の注視ロケーションの注視軌跡が前記算出された動的経路の経路逸脱閾値内にあるかどうかを判定するステップをさらに含む請求項１に記載の方法。
  5. 前記方法が、前記閲覧者がコンピュータゲームをプレーしている間に行われ、前記コンピュータゲームは、非プレーヤキャラクタ移動規則に従って動く少なくとも１つの非プレーヤキャラクタと、オブジェクト移動規則に従って動く少なくとも１つのオブジェクトとを有し、前記ガイド要素を表示するように前記表示装置を制御するステップが、前記非プレーヤキャラクタ移動規則または前記オブジェクト移動規則に従って、前記算出された動的経路に沿って前記ガイド要素を移動させるステップをさらに含む請求項１に記載の方法。
  6. 表示装置の閲覧者の注視を引くためのコンピューティング装置であって、
    前記コンピューティング装置のプロセッサによって実行される注視誘引プログラムを備え、前記注視誘引プログラムは、
    対象オブジェクトを表示するように前記表示装置を制御し、
    注視追跡システムからの注視追跡データを使用して前記閲覧者の注視ロケーションを監視し、
    前記閲覧者の注視ロケーションに隣接する所定の領域の中を横断して前記対象オブジェクトに至る、算出された動的経路に沿って移動するガイド要素を表示するように前記表示装置を制御し、
    前記注視追跡データを使用して、前記閲覧者の注視ロケーションが前記ガイド要素の所定の逸脱閾値内にあるかどうかを判定し、
    前記閲覧者の注視ロケーションが前記ガイド要素の前記所定の逸脱閾値内にある場合は、前記対象オブジェクトまでの前記算出された動的経路に沿って移動する前記ガイド要素の表示を続けるように前記表示装置を制御し、
    前記閲覧者の注視ロケーションが前記ガイド要素から少なくとも前記所定の逸脱閾値の差をつけて離れている場合は、前記対象オブジェクトまでの前記算出された動的経路に沿って移動する前記ガイド要素の表示を中止するように前記表示装置を制御する
    ように構成される、コンピューティング装置。
  7. 前記注視追跡データを使用して、前記閲覧者の注視ロケーションが前記ガイド要素の所定の逸脱閾値内にあるかどうかを判定することが、前記注視追跡データを使用して、前記閲覧者の注視ロケーションの注視軌跡が前記算出された動的経路の経路逸脱閾値内にあるかどうかを判定することをさらに含み、
    前記注視誘引プログラムは、
    前記閲覧者の注視ロケーションが前記算出された動的経路の前記経路逸脱閾値内にある場合は、前記対象オブジェクトまでの前記算出された動的経路に沿って移動する前記ガイド要素の表示を続けるように前記表示装置を制御し
    前記閲覧者の注視ロケーションが前記算出された動的経路から少なくとも前記経路逸脱閾値の差をつけて離れている場合は、前記対象オブジェクトまでの前記算出された動的経路に沿って移動する前記ガイド要素の表示を中止するように前記表示装置を制御する
    ようにさらに構成される、請求項６に記載のコンピューティング装置。
  8. 前記対象オブジェクトは前記表示装置に表示される広告主の広告を含み、前記注視誘引プログラムがさらに、前記閲覧者の注視ロケーションが前記広告に重なっている場合に、前記広告主に広告利用料を割り当てるように構成される請求項６又は７に記載のコンピューティング装置。
  9. 前記広告利用料が第１の広告利用料であり、前記注視誘引プログラムがさらに、前記閲覧者の注視ロケーションが少なくとも所定の期間にわたり前記広告に重なっている場合に、前記第１の広告利用料よりも大きい第２の広告利用料を割り当てるように構成される請求項８に記載のコンピューティング装置。
  10. 前記対象オブジェクトはウェブページに表示される広告主の広告を含み、前記注視誘引プログラムがさらに、
    前記ウェブページに表示された前記広告に関連付けられた閲覧者入力を受け取り、前記閲覧者入力が広告利用料を発生させ、
    前記閲覧者入力が受け取られた時に前記閲覧者の注視ロケーションが前記ウェブページ上の前記広告に重なっている場合は、前記広告主に前記広告利用料を割り当て、
    前記閲覧者入力が受け取られた時に前記閲覧者の注視ロケーションが前記ウェブページ上の前記広告に重なっていない場合は、前記広告利用料をキャンセルする
    ように構成される請求項６又は７に記載のコンピューティング装置。
  11. 前記コンピューティング装置が、前記注視追跡システムを含む装着型表示装置に組み込まれる請求項６又は７に記載のコンピューティング装置。
JP2016560400A 2014-04-29 2015-04-23 表示装置の閲覧者の注視誘引 Active JP6611733B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/265,103 US10424103B2 (en) 2014-04-29 2014-04-29 Display device viewer gaze attraction
US14/265,103 2014-04-29
PCT/US2015/027186 WO2015167907A1 (en) 2014-04-29 2015-04-23 Display device viewer gaze attraction

Publications (3)

Publication Number Publication Date
JP2017518554A JP2017518554A (ja) 2017-07-06
JP2017518554A5 JP2017518554A5 (ja) 2018-04-19
JP6611733B2 true JP6611733B2 (ja) 2019-11-27

Family

ID=53059472

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016560400A Active JP6611733B2 (ja) 2014-04-29 2015-04-23 表示装置の閲覧者の注視誘引

Country Status (19)

Country Link
US (1) US10424103B2 (ja)
EP (1) EP3137974B1 (ja)
JP (1) JP6611733B2 (ja)
KR (1) KR102365579B1 (ja)
CN (1) CN106462233B (ja)
AU (1) AU2015253555B2 (ja)
BR (1) BR112016024851A2 (ja)
CA (1) CA2945610C (ja)
CL (1) CL2016002725A1 (ja)
IL (1) IL248499B (ja)
MX (1) MX366216B (ja)
MY (1) MY182791A (ja)
NZ (1) NZ725804A (ja)
PH (1) PH12016502031B1 (ja)
RU (1) RU2677593C2 (ja)
SG (1) SG11201608290UA (ja)
TW (1) TW201541382A (ja)
WO (1) WO2015167907A1 (ja)
ZA (1) ZA201606678B (ja)

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10424103B2 (en) * 2014-04-29 2019-09-24 Microsoft Technology Licensing, Llc Display device viewer gaze attraction
US9715781B2 (en) * 2014-09-26 2017-07-25 Bally Gaming, Inc. System and method for automatic eye tracking calibration
EP3062142B1 (en) 2015-02-26 2018-10-03 Nokia Technologies OY Apparatus for a near-eye display
US10113877B1 (en) 2015-09-11 2018-10-30 Philip Raymond Schaefer System and method for providing directional information
TWI660304B (zh) * 2016-05-30 2019-05-21 李建樺 虛擬實境即時導覽方法及系統
US20180005437A1 (en) * 2016-06-30 2018-01-04 Glen J. Anderson Virtual manipulator rendering
US10139901B2 (en) * 2016-07-05 2018-11-27 Immersv, Inc. Virtual reality distraction monitor
US10979721B2 (en) 2016-11-17 2021-04-13 Dolby Laboratories Licensing Corporation Predicting and verifying regions of interest selections
CN107024982A (zh) * 2016-12-09 2017-08-08 阿里巴巴集团控股有限公司 一种虚拟现实设备的安全监控方法、装置及虚拟现实设备
US10650552B2 (en) 2016-12-29 2020-05-12 Magic Leap, Inc. Systems and methods for augmented reality
EP4300160A3 (en) 2016-12-30 2024-05-29 Magic Leap, Inc. Polychromatic light out-coupling apparatus, near-eye displays comprising the same, and method of out-coupling polychromatic light
CN110392539B (zh) * 2017-03-02 2021-06-15 昕诺飞控股有限公司 照明系统和方法
JP2018163461A (ja) * 2017-03-24 2018-10-18 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
US10216260B2 (en) * 2017-03-27 2019-02-26 Microsoft Technology Licensing, Llc Selective rendering of sparse peripheral displays based on element saliency
SE541650C2 (en) * 2017-05-30 2019-11-19 Crunchfish Ab Improved activation of a virtual object
US10573061B2 (en) 2017-07-07 2020-02-25 Nvidia Corporation Saccadic redirection for virtual reality locomotion
US10578870B2 (en) 2017-07-26 2020-03-03 Magic Leap, Inc. Exit pupil expander
US11351453B2 (en) * 2017-09-12 2022-06-07 Sony Interactive Entertainment LLC Attention-based AI determination of player choices
KR101923322B1 (ko) * 2017-11-15 2018-11-28 한국과학기술원 이동형 디바이스를 이용한 사용자 시선 유도 시스템 및 그 방법
JP7282090B2 (ja) 2017-12-10 2023-05-26 マジック リープ， インコーポレイテッド 光学導波管上の反射防止性コーティング
KR20200100720A (ko) 2017-12-20 2020-08-26 매직 립, 인코포레이티드 증강 현실 뷰잉 디바이스용 인서트
US10477186B2 (en) * 2018-01-17 2019-11-12 Nextvr Inc. Methods and apparatus for calibrating and/or adjusting the arrangement of cameras in a camera pair
US10755676B2 (en) * 2018-03-15 2020-08-25 Magic Leap, Inc. Image correction due to deformation of components of a viewing device
CN112262361A (zh) * 2018-04-20 2021-01-22 Pcms控股公司 用于对混合现实内容进行基于注视的控制的方法和系统
US11885871B2 (en) 2018-05-31 2024-01-30 Magic Leap, Inc. Radar head pose localization
WO2020010097A1 (en) 2018-07-02 2020-01-09 Magic Leap, Inc. Pixel intensity modulation using modifying gain values
US11856479B2 (en) 2018-07-03 2023-12-26 Magic Leap, Inc. Systems and methods for virtual and augmented reality along a route with markers
WO2020023543A1 (en) 2018-07-24 2020-01-30 Magic Leap, Inc. Viewing device with dust seal integration
US11112862B2 (en) 2018-08-02 2021-09-07 Magic Leap, Inc. Viewing system with interpupillary distance compensation based on head motion
US10795458B2 (en) 2018-08-03 2020-10-06 Magic Leap, Inc. Unfused pose-based drift correction of a fused pose of a totem in a user interaction system
JP7487176B2 (ja) 2018-08-22 2024-05-20 マジック リープ， インコーポレイテッド 患者視認システム
US10855978B2 (en) 2018-09-14 2020-12-01 The Toronto-Dominion Bank System and method for receiving user input in virtual/augmented reality
US20200092245A1 (en) * 2018-09-18 2020-03-19 International Business Machines Corporation Provoking and maintaining user attention for urgent messages by actively monitoring user activity and biometrics
CN109194869A (zh) * 2018-10-09 2019-01-11 Oppo广东移动通信有限公司 控制方法、控制装置、深度相机和电子装置
CN113454507B (zh) 2018-12-21 2024-05-07 奇跃公司 用于促进波导内的全内反射的气穴结构
WO2020153946A1 (en) * 2019-01-22 2020-07-30 Hewlett-Packard Development Company, L.P. Mixed reality presentation
EP3939030A4 (en) 2019-03-12 2022-11-30 Magic Leap, Inc. REGISTRATION OF LOCAL CONTENT BETWEEN FIRST AND SECOND VIEWERS OF AUGMENTED REALITY
CN110245601B (zh) * 2019-06-11 2022-03-01 Oppo广东移动通信有限公司 眼球追踪方法及相关产品
SE1950971A1 (en) * 2019-08-23 2021-02-24 Your Speech Factory Ab Electronic device and method for conducting a users gaze direction
JP7265202B2 (ja) * 2019-08-29 2023-04-26 富士通株式会社 広告閲覧情報出力方法及び広告閲覧情報出力プログラム、並びに情報処理装置
US12033081B2 (en) 2019-11-14 2024-07-09 Magic Leap, Inc. Systems and methods for virtual and augmented reality
EP4058979A4 (en) 2019-11-15 2023-01-11 Magic Leap, Inc. VIEWING SYSTEM FOR USE IN A SURGICAL ENVIRONMENT
KR102359602B1 (ko) * 2020-03-10 2022-02-08 한국과학기술원 디스플레이를 위한 시선 입력 방법 및 이를 수행하는 장치들
US11656681B2 (en) * 2020-08-31 2023-05-23 Hypear, Inc. System and method for determining user interactions with visual content presented in a mixed reality environment
CN116981978A (zh) * 2020-09-21 2023-10-31 苹果公司 用于动态确定呈现和过渡区域的方法和设备
US12096112B2 (en) 2021-07-29 2024-09-17 Meta Platforms Technologies, Llc User interface to select field of view of a camera in a smart glass
CN114604800B (zh) * 2022-03-31 2023-12-15 江苏西顿科技有限公司 一种防爆agv车

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002133312A (ja) 2000-10-25 2002-05-10 Fuji Xerox Co Ltd 広告料金管理装置、広告料金管理システム、広告料金管理方法及びコンピュータ読み取り可能な記録媒体
US7963652B2 (en) 2003-11-14 2011-06-21 Queen's University At Kingston Method and apparatus for calibration-free eye tracking
AT505338B1 (de) 2007-06-12 2009-03-15 Ernst Dipl Ing Dr Pfleger Verfahren zur wahrnehmungsmessung
US20080309616A1 (en) 2007-06-13 2008-12-18 Massengill R Kemp Alertness testing method and apparatus
WO2010015962A1 (en) 2008-08-07 2010-02-11 Koninklijke Philips Electronics N. V. Method of and system for determining a head-motion/gaze relationship for a user, and an interactive display system
US7850306B2 (en) 2008-08-28 2010-12-14 Nokia Corporation Visual cognition aware display and visual data transmission architecture
EP2221762A1 (fr) * 2009-02-20 2010-08-25 France Telecom Procédé et système de supervision de l'activité d'un utilisateur dans un monde virtuel
JP5165628B2 (ja) 2009-04-02 2013-03-21 株式会社Ａｃｃｅｓｓ コンテンツ表示端末、コンテンツ表示方法およびプログラムならびに配信サーバ
JP5602155B2 (ja) 2009-12-14 2014-10-08 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ ユーザインタフェース装置および入力方法
US8964298B2 (en) * 2010-02-28 2015-02-24 Microsoft Corporation Video display modification based on sensor input for a see-through near-to-eye display
JP2013521576A (ja) 2010-02-28 2013-06-10 オスターハウト グループ インコーポレイテッド 対話式ヘッド取付け型アイピース上での地域広告コンテンツ
US8493390B2 (en) 2010-12-08 2013-07-23 Sony Computer Entertainment America, Inc. Adaptive displays using gaze tracking
US8395656B1 (en) 2011-01-24 2013-03-12 Hewlett-Packard Development Company, L.P. Methods and apparatus to direct attention in a video content display
US8643680B2 (en) 2011-04-08 2014-02-04 Amazon Technologies, Inc. Gaze-based content display
US8510166B2 (en) * 2011-05-11 2013-08-13 Google Inc. Gaze tracking system
US9198619B2 (en) * 2011-07-05 2015-12-01 Universidade De Vigo Method and system for activity/rest identification
JP5724110B2 (ja) 2011-07-07 2015-05-27 株式会社日立製作所 経路作成システム、経路作成方法及びプログラム
US20130054377A1 (en) 2011-08-30 2013-02-28 Nils Oliver Krahnstoever Person tracking and interactive advertising
WO2013059940A1 (en) 2011-10-27 2013-05-02 Tandemlaunch Technologies Inc. System and method for calibrating eye gaze data
US8611015B2 (en) * 2011-11-22 2013-12-17 Google Inc. User interface
US8235529B1 (en) * 2011-11-30 2012-08-07 Google Inc. Unlocking a screen using eye tracking information
WO2013132886A1 (ja) 2012-03-07 2013-09-12 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP5924580B2 (ja) 2012-03-30 2016-05-25 大日本印刷株式会社 視点誘導装置および電子書籍端末
US10082863B2 (en) 2012-05-11 2018-09-25 Umoove Services Ltd. Gaze-based automatic scrolling
WO2013179424A1 (ja) 2012-05-30 2013-12-05 パイオニア株式会社 表示装置、ヘッドマウントディスプレイ、表示方法及び表示プログラム、並びに記録媒体
US20130340005A1 (en) 2012-06-14 2013-12-19 Mobitv, Inc. Eye-tracking program guides
JP6014398B2 (ja) * 2012-07-20 2016-10-25 キヤノン株式会社 画像読取装置
US9164580B2 (en) 2012-08-24 2015-10-20 Microsoft Technology Licensing, Llc Calibration of eye tracking system
KR101479471B1 (ko) 2012-09-24 2015-01-13 네이버 주식회사 사용자의 시선에 기초하여 광고를 제공하는 방법 및 시스템
JP5492962B2 (ja) 2012-09-28 2014-05-14 富士重工業株式会社 視線誘導システム
US10884577B2 (en) 2013-01-15 2021-01-05 Poow Innovation Ltd. Identification of dynamic icons based on eye movement
CN105247447B (zh) * 2013-02-14 2017-11-10 脸谱公司 眼睛跟踪校准系统及方法
RU2013118993A (ru) 2013-04-23 2013-09-10 Александр Николаевич Лукоянов Способ реализации адаптивного видео
JP5516800B2 (ja) 2013-06-13 2014-06-11 株式会社セガ 画像処理プログラムおよびコンピュータ読み取り可能な記録媒体
US10424103B2 (en) 2014-04-29 2019-09-24 Microsoft Technology Licensing, Llc Display device viewer gaze attraction
WO2016018488A2 (en) * 2014-05-09 2016-02-04 Eyefluence, Inc. Systems and methods for discerning eye signals and continuous biometric identification
EP3329316B1 (en) * 2016-03-11 2023-09-20 Facebook Technologies, LLC Corneal sphere tracking for generating an eye model

Also Published As

Publication number Publication date
KR20160148623A (ko) 2016-12-26
RU2016142480A (ru) 2018-04-28
MX2016014097A (es) 2017-02-09
US10424103B2 (en) 2019-09-24
TW201541382A (zh) 2015-11-01
ZA201606678B (en) 2018-05-30
CN106462233B (zh) 2019-07-19
US20150310657A1 (en) 2015-10-29
AU2015253555B2 (en) 2019-11-07
IL248499A0 (en) 2016-12-29
EP3137974A1 (en) 2017-03-08
CA2945610A1 (en) 2015-11-05
WO2015167907A1 (en) 2015-11-05
SG11201608290UA (en) 2016-11-29
CA2945610C (en) 2022-03-29
MX366216B (es) 2019-07-02
NZ725804A (en) 2019-08-30
JP2017518554A (ja) 2017-07-06
BR112016024851A2 (pt) 2017-08-15
AU2015253555A1 (en) 2016-10-20
RU2677593C2 (ru) 2019-01-17
IL248499B (en) 2019-11-28
RU2016142480A3 (ja) 2018-11-12
KR102365579B1 (ko) 2022-02-18
CL2016002725A1 (es) 2017-02-24
EP3137974B1 (en) 2018-05-23
PH12016502031A1 (en) 2017-02-06
PH12016502031B1 (en) 2017-02-06
CN106462233A (zh) 2017-02-22
MY182791A (en) 2021-02-05

Similar Documents

Publication Publication Date Title
JP6611733B2 (ja) 表示装置の閲覧者の注視誘引
US10222981B2 (en) Holographic keyboard display
US9977492B2 (en) Mixed reality presentation
CN109803734B (zh) 虚拟对象移动
EP2946264B1 (en) Virtual interaction with image projection
CN110569750B (zh) 一种用于视线检测校准的方法和计算设备
US20140071163A1 (en) Augmented reality information detail
KR102296121B1 (ko) 사용자 인터페이스 내비게이션
CN106489171B (zh) 立体图像显示器
US20140240351A1 (en) Mixed reality augmentation
KR20170090490A (ko) 시선 타겟 애플리케이션 런처
EP2887322A1 (en) Mixed reality holographic object development
TW201539256A (zh) 視覺改變的非視覺反饋
EP2887639A1 (en) Augmented reality information detail
KR20150071613A (ko) 증강 현실 정보 상세도

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180312

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180312

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190509

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191004

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191029

R150 Certificate of patent or registration of utility model

Ref document number: 6611733

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250