JP7258766B2 - 割り込みに対するゲーム内反応 - Google Patents

割り込みに対するゲーム内反応 Download PDF

Info

Publication number
JP7258766B2
JP7258766B2 JP2019548995A JP2019548995A JP7258766B2 JP 7258766 B2 JP7258766 B2 JP 7258766B2 JP 2019548995 A JP2019548995 A JP 2019548995A JP 2019548995 A JP2019548995 A JP 2019548995A JP 7258766 B2 JP7258766 B2 JP 7258766B2
Authority
JP
Japan
Prior art keywords
user
game
virtual reality
interrupt
reaction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019548995A
Other languages
English (en)
Other versions
JP2020513960A5 (ja
JP2020513960A (ja
Inventor
俊介 國枝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment LLC
Original Assignee
Sony Interactive Entertainment LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment LLC filed Critical Sony Interactive Entertainment LLC
Publication of JP2020513960A publication Critical patent/JP2020513960A/ja
Publication of JP2020513960A5 publication Critical patent/JP2020513960A5/ja
Application granted granted Critical
Publication of JP7258766B2 publication Critical patent/JP7258766B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50Controlling the output signals based on the game progress
    • A63F13/53Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A63F13/537Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen
    • A63F13/5375Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen for graphically or textually suggesting an action, e.g. by displaying an arrow indicating a turn in a driving game
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/217Input arrangements for video game devices characterised by their sensors, purposes or types using environment-related information, i.e. information generated otherwise than by the player, e.g. ambient temperature or humidity
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/31Communication aspects specific to video games, e.g. between several handheld game devices at close range
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/45Controlling the progress of the video game
    • A63F13/47Controlling the progress of the video game involving branching, e.g. choosing one of several possible scenarios at a given point in time
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/45Controlling the progress of the video game
    • A63F13/49Saving the game status; Pausing or ending the game
    • A63F13/493Resuming a game, e.g. after pausing, malfunction or power failure
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082Virtual reality
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Ecology (AREA)
  • Environmental & Geological Engineering (AREA)
  • Environmental Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は概して、仮想現実ゲームに関する。より具体的には、本発明は、現実世界で起こる割り込みに対する仮想現実におけるゲーム内反応に関する。
仮想現実は、ユーザにとって、三次元環境(現実または架空)内の没入型体験となり得る。三次元環境及びその環境内でのユーザの存在に対応する画像、音声、及び他の感覚を生成するように、ソフトウェア及びハードウェアが実施される。環境は、ヘッドマウントディスプレイ(HMD)または仮想現実ヘッドセットを使用して表示され得る。ユーザは、対応ハードウェアを使用して、環境内で「周りを見回す」、移動する、及びオブジェクトとインタラクトすることができる。
仮想現実の実施に対応付けられたソフトウェア及びハードウェアは、現実的で没入感のある体験を提供するために、三次元環境に対応付けられた画像、音声、及び他の感覚を生成することができ、これにより、現実世界における他の画像、音声及び感覚は不明瞭となる(または完全に遮断される)。仮想現実への没入効果により、現実世界で起こり得る事柄に対し、ユーザの認識が曖昧になるという潜在的問題が存在する。現実世界において注意を要する割り込みをユーザは何度も受けることがあるため、これは問題である。よって、現実世界で起こる割り込みに基づいて、仮想現実ゲーム内で反応を提供する必要がある。
本発明の実施形態は、ユーザが仮想現実ゲームをプレイしている間、割り込みに対するゲーム内反応を組み込むシステム及び方法を含む。実施形態は、ユーザが仮想現実ゲームをプレイしている間、1つ以上の外部割り込みを監視し、1つ以上の割り込みが発生したことを検出し、外部割り込みが発生したことをユーザに通知するために使用される対応ゲーム内反応を特定し、最後にその通知をユーザに提供する。
割り込みに対するゲーム内反応を実施する例示的なシステムである。
例示的なユーザデバイスである。
割り込みに対するゲーム内反応をカスタマイズするための例示的なグラフィカルユーザインターフェースである。
割り込みに対するゲーム内反応を実行する方法である。
本開示は、現実世界で起こり得る異なる種類の割り込みに基づいて、様々なゲーム内反応(例えば通知)を生成するための方法及びシステムを説明する。本明細書で使用される割り込みとは、現実世界で発生したイベントのことである。例えば、割り込みには、オーブン/電子レンジ、ドアベル、またはユーザの近くにいる別の人に由来する音声が含まれ得る。いくつかの事例では、割り込みは、ユーザの注意が向けられることを必要とするため、仮想世界の没入性からユーザを切り離す。ユーザが仮想現実世界内に完全に没入し得る仮想現実ゲームに関して、様々な実施形態が本明細書で説明されるが、本発明は、完全に没入することはない他の種類のゲームにも適用され得る。これらの事例では、割り込みは現実世界のイベントであり、このようなイベントにユーザが気付いた場合、ユーザの注意はゲームから引き離される。
現実世界における様々な異なる種類に割り込みが考慮され得る。ユーザが仮想世界内にいる間、ユーザに通知を行うために、現実世界における各種類の割り込みに対して、ゲーム内反応がカスタマイズされ得る。さらに、ゲーム内反応は、現実世界における割り込みに関して、ユーザがカスタマイズした重要度または重大度の割り当てに基づき得る。
本発明は、現実世界における様々な割り込みの発生を監視し検出することができる。割り込みの種類及び割り当てられた重要度に基づいて、対応ゲーム内反応がユーザに提供され、割り込みがユーザに通知される。現実世界の割り込みの重要度に応じて、ゲームに対応付けられたユーザデバイスに対しても、命令が生成され得る。これらの命令により、ユーザは、同じゲーム(すなわちマルチプレーヤゲーム)内でプレイしている他のプレーヤを邪魔することなく、ゲームから離れることが可能となり得る。
図1は、割り込みに対するゲーム内反応を実施する例示的なシステム100である。システム100は、ユーザデバイス110を含み、これは仮想世界へのユーザの参加を促進するために使用される。仮想世界は、ユーザデバイス110により生成され得る。いくつかの実施形態では、ユーザデバイス110は、インターネット/クラウドと通信して、仮想世界をホストするサーバと接続し得る。ユーザが仮想世界内に没入しやすくなるように、対応するヘッドマウントディスプレイ(HMD)120が使用され得る。システム100はまた、ユーザデバイス110と通信可能に接続された様々な他のネットワーク、デバイス、及びセンサ160~180を含み得る。ネットワーク、デバイス、及びセンサ160~180は、ユーザが通知される必要のあり得る割り込みを、ユーザデバイス110に提供し得る。システム100の要素のそれぞれに関するさらなる詳細は、下記に提供される。
前述のように、ユーザデバイス110は、仮想世界へのユーザの参加を促進するために使用され得る。いくつかの状況では、ユーザデバイス110はまた、ユーザが没入する仮想世界を生成し得る。ユーザデバイス110は、三次元仮想環境を作るために画像、音声、及び他の感覚(すなわち振動)を生成するハードウェア及び/またはソフトウェアを含む。
ユーザデバイス110はまた、その環境内でユーザの存在をシミュレートし得る。例えば、ユーザデバイス110は、ユーザが環境内で「周りを見回する」、移動する、及び/またはオブジェクトとインタラクトすることを促進するハードウェア及び/またはソフトウェア(例えばヘッドマウントディスプレイ120)を含む。ユーザデバイス110の要素に関するさらなる詳細は、図2に関連して下記に提供される。
ユーザが三次元仮想環境に没入するために、ヘッドマウントディスプレイ(HMD)120が使用され得る。仮想現実ヘッドセットとも称されるHMD120には、環境の画像を表示するために使用される目の前の画面を有するヘッドマウントゴーグルが含まれ得る。ユーザの現実世界の視界を不明瞭にするために、画面は不透明にされ得、これによりさらに没入型体験がユーザに提供される。HMD120はまた、環境に対応付けられた関連音響を提供するスピーカまたはヘッドフォンを含み得る。画面及びスピーカ/ヘッドフォンの両方を使用することで、HMD120は、ユーザの現実世界の認識を完全に遮り、これによりユーザが仮想世界に集中できるようにする。
ユーザが仮想環境に参加している時、画面は不透明であり得るが、画面が透明になるようにユーザが命令することができる実施形態が存在し得ることを留意されたい。ただし、必要に応じてユーザが現実世界を見ることができるように、画面が透明になるように命令することは可能であり得る。例えば、仮想現実ゲームがある動きを要求する場合、ユーザは自分が現在立っている場所を見ることを所望し得る。透明性により、ユーザは、周りの物体または人に接触しないように、必要に応じて位置を変更することが可能となる。
ユーザデバイス110に戻ると、ユーザデバイス110は、様々な現実世界の割り込みに対するゲーム内反応を実行するための様々なデータベース及びモジュールを含み得る。図1に示されるように、ユーザデバイス110は、割り込みデータベース130、反応データベース140、及び反応モジュール150を含み得る。割り込みデータベース130は、ユーザがゲーム内反応で通知されることを所望する各現実世界割り込みに関する情報を含む。反応データベース140は、ユーザが仮想ゲーム内にいる間、現実世界割り込みに関する情報をユーザに提供する様々な方法に及ぶ命令を含む。反応モジュール150は、現実世界割り込みについてユーザに通知する様々な方法を実行する命令を含む。ユーザデバイス110に含まれるデータベース及びモジュール130~150のそれぞれに関するさらなる詳細は、下記に提供される。
上記のように、割り込みデータベース130は、ユーザにより検出対象として特定された各関連現実世界割り込みに関する情報を含む。ユーザは、グラフィカルユーザインターフェース(GUI)(図示せず)を利用して、様々なネットワーク、他のコンピューティングデバイス、及び/またはセンサ160~180に対応付けられた割り込みを特定することができる。GUIは、ユーザデバイス110、HMD120に、またはアプリケーションを有するモバイルデバイスなど、ユーザデバイス110に通信可能に接続され得る他のデバイス(図示せず)に、対応付けられ得る。
ユーザは、GUIを使用して、仮想ゲームに参加している間に発生した場合に知らされたい様々な現実世界割り込みを、特定することができる。特定できる例示的な割り込みには、ネットワーク(すなわちスマートホームネットワーク)に接続された電化製品(例えば電子レンジ、オーブン)及び他のデバイス(例えばセキュリティシステム、ドアベル、ガレージ)に由来する割り込みが含まれ得る。様々なデバイス(例えばモバイルデバイス、ラップトップ、デスクトップ)からの電子メール、テキスト、ボイスメール、電話、及び映像も、ユーザがユーザデバイス110にて通知されることを望む割り込みとして特定され得る。さらに、ユーザデバイス110及び/またはHMD120は、近くにいる人を検出するために使用され得るセンサを含み得る。近くのユーザの検出には、ユーザが仮想世界内にいる間に、ユーザとインタラクト(すなわち会話)することを望み得る人が含まれ得る。あるいは、近くのユーザの検出は、ユーザが仮想ゲームをプレイしている間、誤って他の人にぶつからないようにするために使用され得る。
前述のように、システム100は、ユーザデバイス110に通信可能に接続されたホームネットワーク(すなわちスマートホーム)を含み得る。ホームネットワークは、所定の基準に基づいて割り込みを出力するようにプログラムすることができる様々な家電製品(例えばオーブン、電子レンジ)に接続され得る。例えば、オーブンが所定の温度に予熱された時、オーブンは、ユーザに聞こえる音またはホームネットワークへの通知(すなわち割り込み)を出力するようにプログラムされ得る。別のシナリオでは、食べ物が所定の時間焼かれた/調理された場合、オーブンは別の種類の音または通知(すなわち割り込み)を提供し得る。仮想世界に没入しているユーザは、オーブン及び時間に注意することを忘れてしまい得る。従って、オーブンに由来する割り込みは、食べ物が適切に調理されることを確保するために、ゲーム内反応が生成されるべき種類の割り込みとして、ユーザにより特定され得る。
ホームネットワークに対応付けられた他の電化製品及びデバイスも、ユーザデバイス110を使用してユーザにより特定され得る。当技術分野で知られているように、様々な他のスマートホーム関連の電化製品及びデバイス(例えば照明、サーモスタット、ドア/ロック、セキュリティカメラ、ガレージ、電子レンジ)は、ホームネットワークを介してユーザにある形態の割り込みを出力することを含む所定の方法で作動するように、カスタマイズすることができる。例えば、人がドアのところにいて、ドアベルを鳴らし得る。ドアベルからの信号により、ネットワークに送信されてドアのところに誰かがいることを通知するのに使用される割り込みが作成され得る。さらに、ドアの傍のセキュリティカメラは、人の写真または映像を撮り得る。ドアベルの割り込み及び人の写真/映像は、ゲーム内でユーザに提供され、ドアのところに誰かがいることがユーザに通知され得る。さらに、ドアのところにいる人の識別が、ゲーム内において同じ方法でユーザに提供され得る。
ホームネットワークをユーザデバイス110に接続することにより、これらの割り込みは、ユーザにより特定され、対応ゲーム内反応が生成されるように選択され得る。その後、スマートホーム関連の電化製品及びデバイスに対応付けられたこれらの特定済み割り込みのうちの1つ以上が検出された時、ユーザは仮想世界内で通知を受け得る。ユーザが仮想世界に没入している間、現実世界割り込みはユーザの知覚には不明瞭であり得るが、ゲーム内反応を使用して、仮想世界内でユーザに通知を行うことができる。
ユーザはまた、上記で特定された様々な割り込みに、異なるレベルの重要度を割り当て得る。割り当ては、ユーザデバイス110に対応付けられた同じGUIを使用して行うことができる。重要度のレベルは、例えば仮想世界内でゲーム内反応(例えば通知)がユーザに提供される頻度に、影響を与え得る。あるいは、重要度は、仮想世界内でゲーム内反応が提供される場合の強調度(例えばより大きなフォント)にも影響を与え得る。特定の割り込みが現実世界で発生した時、ユーザがそれを見逃がさないように、割り当てられる重要度レベルの使用を通して、より重要な割り込みは、対応する反応で対処され得る。
重要度レベルの割り当てには、特定の重要度レベルの対応割り込みが、ゲーム内反応を使用して仮想世界内でユーザに提示される方法に関して、デフォルト条件が存在し得る。上記のように、特定の割り込みに割り当てられた重要度が高いほど、割り込みが検出された時に、ユーザデバイス110が確実にユーザに割り込みを気付かせることは、より重要であり得る。これは、より強調した方法で反応を提示することを伴い得る。例えば、このような方法には、より大きなテキスト、より頻繁な通知、中央領域での通知、及び音響の使用が含まれる。
ユーザデバイス110が異なる割り込みの重要度レベルに対処する方法は、ユーザによりカスタマイズされ得る。ユーザは、ユーザデバイス110に対応付けられたGUIを使用して、ゲーム内反応が提示される方法を、重要度レベルに基づいてカスタマイズすることを所望し得る(すなわち全ての非常に重要な割り込みは同じように対処される)。さらに、ユーザは、ゲーム内反応が提示される方法を、各割り込みに対しケースバイケースでカスタマイズすることを所望し得る。
例えば、ユーザは、食べ物を焦がすことは避けたいため、オーブンを使用して食べ物を調理することは高い重要度であることを示し得る。一方、ユーザのモバイルデバイスに対応付けられた受信メールまたはテキストは、仕事関連ではない限り、重要度が低くあり得る。食べ物の調理が完了したことを示す割り込みがオーブンにより提供されると、オーブン内の食べ物が完了したことをユーザが確実に気付くように、ゲーム内反応がより頻繁に、より大きなテキストで提示され得る。対照的に、電子メールまたはテキストに対応付けられた割り込みは、より小さいテキストを使用して提供され得、このテキストは、所定の期間が経過すると消える。
ユーザは、各種類の割り込みの中でも、他の割り込みより重要度の高い異なる種類の割り込みを区別することが可能であり得る。例えば、ユーザは、電子メール及び/またはテキストの種類、並びに対応重要度レベルを、特徴付け得る。電子メールまたはテキストを対応重要度レベルに対応付けるために、電子メールまたはテキストの内容の評価が、ユーザデバイス110により実行され得る。例えば、電子メールまたはテキストが仕事関連ではない場合、重要度は低いと判定される。ゲーム内反応は、電子メールまたはテキストの存在に関して最初に小さいテキストでユーザに通知を行うために使用され、所定の時間が経過するとユーザのビューから削除され得る。ただし、電子メールまたはテキストが仕事関連である場合、ゲーム内反応により、より大きいテキストを使用して電子メールまたはテキストの存在が提供され、ユーザが電子メールまたはテキストを「読む」まで(すなわち電子メールまたはテキストがユーザにより読まれたまたは開かれたと特定されるまで)、ユーザのビューに反応を表示した状態が残され得る。
反応データベース140は、ユーザが仮想世界内にいる間に検出された現実世界割り込みについて、ユーザデバイス110がユーザに通知できる異なる方法に関する情報を含む。例えば、反応データベース140は、仮想ゲームの視野内でゲーム内反応が提供され得る場所を指示し得る。例えば、ゲーム内反応は、ユーザの視野の中央領域に、またはユーザの視野に対応したサイドパネル/周辺領域を介して提供され得る。
場所の選択は、割り込みの重要度に基づいて使用され得る。例えば、重要度の低い割り込みは、サイドパネル及び/またはユーザの周辺視野におけるゲーム内反応として提供され得る。ユーザがゲームから注意をそらすことなく、ユーザが必要に応じて通知を見ることができるように、このような場所が提供され得る。対照的に、より重要な割り込みは、ユーザの視野の中央領域にテキストベースの通知として表示され得る。これらの割り込みはより重要であり得、割り込みが発生するとすぐにユーザは気付く必要があり得る。
ゲーム内反応を提供する他の方法も可能であることに留意されたい。例えば、反応は、ユーザの視野の上部を横切るスクロールタイトルバーを介して提供され得る。あるいは、全ての通知は、ドロップダウンメニューに対応付けられ得る。ドロップダウンメニューは、ユーザが現在見ることが可能なゲーム内反応の数を示すインジケータに関連付けられ得る。ドロップダウンメニューはまた、未読のゲーム内反応と、まだ解決されていない割り当てに対応する既読のゲーム内反応と、解決された割り込みに対応する以前の既読のゲーム内反応とを、区別し得る。
データベース140に含まれる他の種類の反応には、ユーザデバイス110及び/またはHMD120の音声または表示を調整する命令を生成することを含み得る。例えば、割り込みがボイスメールメッセージである場合、対応ゲーム内反応は、ユーザがボイスメールメッセージを聞くことができるように、仮想世界の音声を下げることであり得る。あるいは、割り込みが、ユーザが仮想世界に没入している間にユーザと話をしたい近くにいる人である場合、対応ゲーム内反応は、ユーザがその人の話を聞けるように、仮想世界の音声を下げ得るだけでなく、ユーザがHMD120を取り外さずにその人を見ることができるように、HMD120のディスプレイの不透明度/透明度を変更し得る。
反応データベース140に記憶されている様々な反応(すなわち通知)は、検出される異なる現実世界割り込みに対応付けられている。前述のように、ユーザが仮想世界内にいる間に様々なネットワーク、デバイス、及び/またはセンサからのどの割り込みをユーザに(ユーザデバイス110に)転送すべきかを、ユーザはGUIを利用して特定し得る。
さらに、ユーザはまた、特定された各割り込みに、有効であり得る反応(すなわち通知)を決定することができる。例えば、ユーザは、オーブンからの全ての割り込みが、仮想世界内でテキストベースの通知として表示されることを所望し得る。テキストベースの通知を使用して、オーブンの予熱が完了した時、または食べ物の調理が完了したかを示すことができる。あるいは、ユーザは、同じ割り込みが、仮想世界内でただ単純な音(例えばベル)で表されることを所望し得る。音声を使用して、オーブンの予熱が完了したこと、または食べ物の調理が完了したかを伝えることができる。
ユーザが参加している仮想世界(または仮想現実ゲーム)に基づいて、異なる反応を使用することもできる。ユーザが参加できる仮想現実ゲームには、多数の異なる種類が存在し得る。ゲームの種類に基づいて、異なる種類の反応が使用され得る。さらに、2つのゲームで使用される同様の反応は、異なる方法で実施することができる。例えば、ユーザが運転シミュレーションをプレイしている場合、ダッシュボードまたはバックミラーに対応するいくつかの場所で、反応は実施され得る。これらの領域は依然としてユーザの視野内であるが、ゲームプレイを妨げることはない。ただし、ユーザがバスケットボールまたは一人称シューティング(FPS)シミュレーションをプレイしている場合、反応を表示する領域が運転シミュレーションとは異なるため、ゲーム内反応は異なる方法で実施される必要がある。例えば、スポーツまたはFPSシミュレーションでは、ゲームプレイを妨げないように、ビューの中央領域から離れた透明ボックスに、反応が提供され得る。ただしこのようなボックスは、依然としてユーザのビュー内にあり、シミュレーション内で起きていることに基づいて、調整され得る。
前述のように、ユーザは、ユーザデバイス110に対応付けられたGUIを使用して、仮想世界内でゲーム内反応(例えば通知)として割り込みが提示される方法を、カスタマイズすることができる。いくつかの状況では、ゲーム内反応には、各種の割り込みに対するデフォルト設定が存在し得る。例えば、ユーザの携帯電話に由来する割り込み(例えば電子メール、テキスト)は、デフォルトでテキストベースの通知として提供され得、一方ボイスメールは、仮想世界内でユーザに音声クリップとして提供され得る。
最後に、反応モジュール150は、反応データベース140に記憶されている関連反応を使用して、検出された任意の割り込みに関して、仮想環境内でユーザへの通知を実行する。反応モジュール150により、検出された割り込みに対するゲーム内反応のユーザのカスタマイズ及び割り当ては簡易化される。いくつかの実施形態では、このような反応のカスタマイズ及び割り当ては、ユーザデバイス110に対応付けられたグラフィカルユーザインターフェース(GUI)を通して実行される。例えば、GUIはユーザデバイス110を介して表示され得、これにより、ユーザは、検出されるべき割り込みと、各割り込みに対応付けられるべき反応とを特定する様々な入力を提供し得る。例示的なGUIが、図3に関して下記に提供される。
上記のように、GUIは、HMD120、またはユーザデバイス110に通信可能に接続されたモバイルデバイス上のアプリケーションに対応付けられ得る。HMD120またはモバイルデバイス(図示せず)は、ユーザデバイス110により受信された割り込みに基づいて、どのようにゲーム内反応が実行されるべきかに関して、ユーザカスタマイズを受信し得る。ユーザカスタマイズは次に、ユーザデバイス110に送信され、反応モジュール150に提供され使用され得る。
本開示は、仮想現実に対応付けられた、現実世界割り込みに対するゲーム内反応の提供に関するが、教示は、仮想現実に関連しない他の種類のゲームにも適用され得ることに留意されたい。実際に、他のゲームは、現実世界割り込みに対するゲーム内反応を利用して、ユーザがゲームをプレイしている間にやはり発生する任意の重要な現実世界のイベントを、同様にユーザに通知し得る。
様々な他のネットワーク、他のコンピューティングデバイス、及びセンサ160~180はそれぞれ、ユーザデバイス110に通信可能に接続され得る。これらのネットワーク、デバイス、及びセンサ160~180は、ユーザが気付く必要があり得る仮想世界の外部の様々な異なる割り込みを生成し得る。
例示的なネットワーク160は、ホームネットワーク(すなわちスマートホーム)を含み得る。ホームネットワークは、ドア/ロック、セキュリティシステム(すなわちカメラ、動きセンサ)、アラーム(すなわち煙、一酸化炭素)電子レンジ、オーブン、サーモスタット、及びガレージを含む、ユーザの自宅内に存在する様々なデバイスまたは電化製品に、通信可能に接続され得る。
前述のように、ネットワーク160に接続された各デバイスまたは電化製品は、ユーザが気付くべき現実世界のイベントに基づいて、割り込みを生成し得る。例えば、セキュリティシステムは、様々な動きセンサ及び/またはカメラを使用してドアにいる人々を検出することが可能であり得、ドア/ロックは、人が家に入ったことを検出し得、電子レンジ/オーブンには、食べ物を調理する所定の時間が与えられ得る。各割り込みは、一意的な現実世界の通知形態を有し得る。しかし、ユーザは仮想世界内にいるため、これらの現実世界割り込みは見逃され得る。従って、対応するデータが、デバイス及び/または電化製品のそれぞれからユーザデバイス110に(ネットワーク160を介して)提供され、現実世界割り込みの発生をユーザに通知するゲーム内反応に使用される。
ユーザデバイス110に通信可能に接続され得るネットワーク160とは別に、個々のコンピューティングデバイス170もユーザデバイス110に直接接続され、仮想世界内でユーザが気付くべき割り込みを提供し得る。例示的なコンピューティングデバイス170には、モバイルデバイス、ラップトップ、デスクトップ、またはタブレットが含まれ得る。ユーザデバイス110に接続された1つ以上のコンピューティングデバイス170が存在し得る。2つ以上のコンピューティングデバイス170が存在する状況では、コンピューティングデバイス170のそれぞれが独自のネットワークを形成し得る。ネットワークは次に、例えばWi-Fi(登録商標)、ブルートゥース(登録商標)、またはインターネットを介して、コンピューティングデバイス170のそれぞれからユーザデバイスに割り込みを転送し得る。
コンピューティングデバイス170のそれぞれは、ユーザが知らされたい多数の割り込みのソースであり得る。例えば、コンピューティングデバイス170は、様々な内容及び重要度の着信テキスト、電子メール、電話、及び映像を受信し得る。テキスト、電子メール、電話、及び/または映像のそれぞれがコンピューティングデバイス170により受信された時、ユーザは、それぞれが受信された時と、それぞれの内容とを通知されることを望み得る。
コンピューティングデバイス170はそれぞれ、テキスト、電子メール、電話、及び/または映像のそれぞれをコンピューティングデバイス170にて受信した時に関して、割り込みをユーザデバイス110に提供し得る。次に、反応モジュール150は、ゲーム内反応を生成して、テキスト、電子メール、電話、及び/または映像が特定のコンピューティングデバイス170に受信されたことを通知し得る。ユーザデバイス110上でユーザに提供されるゲーム内反応は、テキスト、電子メール、電話、及び/または映像の重要度に関してカスタマイズされた基準に対応し得る。ユーザはまた、他と対照的に1つのコンピューティングデバイスに由来するテキスト、電子メール、電話、及び/または映像の重要度に関して、カスタマイズされた基準を与え得る。
さらに、いくつかの実施形態では、コンピューティングデバイス170はまた、受信したテキスト、電子メール、電話、及び/または映像をユーザデバイス110に提供し得る。ユーザデバイス110は、受信したテキスト、電子メール、電話、及び/または映像を評価することが可能であり(反応モジュール150を介して)、さらにテキスト、電子メール、電話、及び/または映像の内容を特徴付け得る。その後、評価された内容を使用して、テキスト、電子メール、電話、及び/または映像の重要度が特徴付けられ得る。この評価は、特徴付けられた重要度に基づいて、対応ゲーム内反応(すなわちゲーム内反応が表示される方法及び場所)を生成するために使用される。
コンピューティングデバイス170はまた、スケジュール及び/またはカレンダーに対応付けられた様々なアプリケーションを含み得る。スケジュールされたイベントが発生した(または所定の時間後に発生する予定である)時は必ず、アプリケーションはイベントに対応するユーザに通知を提供し得る。例えば、ユーザが正午に予定がある場合、カレンダーアプリケーションは、午前11時、午前11時55分、及び予定に対応付けられた正午に、音声通知を提供し得る。
音声通知に対応して、コンピューティングデバイス170は、ユーザが今後の予定に気付くことができるように、ユーザデバイス110にこの割り込みを提供し得る。割り込みの重要度に基づいて、ゲーム内反応が仮想世界内でユーザに提供され得る。さらに、仮想世界内でユーザに提供されるゲーム内反応はまた、予定の時間が近づくにつれ高くなる重要度レベルに対応し得る。例えば、ユーザの視野周辺内に存在するゲーム内反応は、予定が今から1時間後になった時に、最初に提供され得る。ただし、予定の時間が近づくにつれ、予定がもうすぐ始まることにユーザが確実に気付くように、ゲーム内反応はより強調され得る。
図1に示されるように、ユーザが仮想世界内で気付くべき1つ以上の割り込みを生じ得る情報を、ユーザデバイス110に提供する様々なセンサ180が存在し得る。一実施形態では、例えばHMD120を介してユーザに対応付けられたセンサ180が存在し得る。これらのセンサ180は、ユーザの近傍全般を監視するために使用され得る。監視は、ユーザが他の人または物体に近いか否かをユーザに知らせるようにゲーム内反応を生成するのに使用される割り込みを生成し得る。ユーザの視野はHMD120により不明瞭であり得ることから、ユーザが周りの物体または人と接触することを防ぐために、またはユーザに周囲のことを知らせるために、センサ180が使用され得る。
さらに、センサ180はまた、近くにいる人々がゲーム内でユーザの注意を引きたいか否かを検出するためにも使用され得る。センサ180(すなわちマイクロフォン)は、ユーザが仮想世界内にいる間に、他の人々がユーザと会話したいことを示し得るユーザの名前または声を検出することが可能であり得る。誰かがユーザと話したいことを検出したことに応じて、ゲームの外にいる誰かがユーザと話したいことをユーザに知らせるように、対応ゲーム内反応(すなわち通知)がユーザに提供され得る。さらに、ユーザに話されている内容をユーザが聞くことができるように、HMD120から出る音声を変更し得る実施形態が存在し得る。さらに、実施形態は、ユーザに話したい人をユーザが見ることができるように、HMD120ディスプレイの透明度または不透明度の変更を組み込み得る。
仮想世界内でプレイしているユーザが現実世界割り込みに気付くことができるように、前述のように、図1に示されるシステム100の要素を使用して、現実世界割り込みの発生時が検出され、続いてゲーム内反応が生成される。しかしながら、ユーザの注意を要する現実世界割り込みがいくつか存在し得る。例えば、オーブンで食べ物の調理がちょうど終わった場合、または人がドアにいる場合、ユーザは、現実世界割り込みに対処するためにユーザデバイス110からある期間離れる必要があると考えられる。
ユーザがプレイしているゲームの種類に基づいて、反応データベースからの対応命令はまた、反応モジュール150を介して実施され得、これによりユーザは、ユーザデバイス110から離れて、現実世界割り込みに対処することが可能となる。例えば、ユーザがシングルプレーヤゲームに参加している場合、命令は、ユーザがユーザデバイス110から離れることができるように、ゲームの進行を一時停止し始めることを含み得る。より重要な割り込みに関しては、ユーザデバイス110は、ユーザがユーザデバイス110から離れられるように、自動的にゲームの進行状況を保存して、現在のプレイセッションを一時停止/終了するように命令され得る。
しかし、ユーザがマルチプレーヤゲームに参加している場合、ゲームの進行状況を保存すること及び/またはゲーム世界を一時停止することでは、同じマルチプレーヤゲームに参加している他のユーザのゲーム体験に悪影響を及ぼすことなくユーザが離れることは不可能である。プレーヤが全てチームに分かれているゲームでは、「AFK」(すなわちキーボードから離れている)ユーザがいる場合、その該当するチームには不利が生じ得る。従って、反応データベース140は、これらのマルチプレーヤゲームに関しては、ユーザが現実世界割り込みに対処するために離れている期間、ユーザを「引き継ぐ」ために使用される命令を含み得る。例えば、ユーザの代わりを務めるために、人工知能(AI)が開始され得る。AIは、デフォルトの戦術またはゲームプレイ動作を利用し得る。いくつかの実施形態では、ユーザは、AIの動作方法をカスタマイズすることができる。別の実施形態では、反応モジュール150は、ユーザのプレイ様式を分析し、ユーザがユーザデバイス110から離れている間、ユーザのプレイ様式に対応してユーザのプレーヤを制御するAIを提供し得る。
あるいは、ユーザが現実世界割り込みに対処するためにAFKであることが、他のユーザに深刻な影響を与えないように確保する他の方法も実施され得る。例えば、代替プレーヤが検索され提供され、マルチプレーヤゲーム内のユーザと置き換えられ得る。あるいは、ユーザがユーザデバイス110から離れているにもかかわらずチーム間の均衡がよく取れるように、ハンディキャップ(すなわちAFKユーザのいるチームに対するボーナス)が実施され得る。ユーザのゲーム内キャラクタも、マルチプレーヤゲームに参加している他のプレーヤのゲームプレイを妨げないように、一時的な場所に移動され得る、不死身にされ得る、または一時的にゲームから外され得る。
図2は、例示的なユーザデバイス200(すなわち図1に示されるクライアントデバイス)である。例示的なユーザデバイス200(例えばデスクトップ、ラップトップ、タブレット、モバイルデバイス、ゲーム機システム)は、カットシーンゲームプレイとのインタラクションに関する本発明の機能の実行を促進するために、ユーザにより利用され得るデバイスである。
ユーザデバイス200は、図2に示される様々な要素を含み得る。要素は例示であり、他の実施形態は、示される要素より多くの要素または少ない要素を組み込み得ることに留意されたい。図2を参照すると、ユーザデバイス200は、メインメモリ202、中央処理装置(CPU)204、少なくとも1つのベクトルユニット206、グラフィック処理装置208、入力/出力(I/O)プロセッサ210、I/Oプロセッサメモリ212、コントローラインターフェース214、メモリカード216、ユニバーサルシリアルバス(USB)インターフェース218、IEEE1394インターフェース220、及び追跡デバイス224を接続するための補助(AUX)インターフェース222を含むが、他のバス規格及びインターフェースが利用されてもよい。ユーザデバイス200はさらに、オペレーティングシステム読み出し専用メモリ(OS ROM)226、音声処理装置230、光ディスク制御ユニット232、及びハードディスクドライブ228を含み、これらはバス236を介してI/Oプロセッサ210に接続されている。ユーザデバイス200はさらに、少なくとも1つの追跡デバイス224を含む。
追跡装置224は、目追跡機能を含むカメラであり得る。カメラは、周辺デバイスとしてユーザデバイス200に統合され得る、または取り付けられ得る。典型的な目追跡デバイスでは、赤外線非コリメート光が目から反射され、カメラまたは光学センサにより感知される。次に情報は分析され、反射の変化から眼球回転が抽出される。カメラベースの追跡器は、片方または両方の目に焦点を合わせて、観察者がある種の刺激を見る時の目の動きを記録する。カメラベースの目追跡器は、瞳孔の中心及び光を使用して、角膜反射(CR)を生み出す。瞳孔の中心とCRとの間のベクトルを使用して、表面上の注視点または注視方向が計算され得る。通常、目追跡器を使用する前に、観察者の簡単な較正手順が必要である。
あるいは、より感度の高い追跡器は、角膜の前面からの反射、及び眼の水晶体の背面からの反射を、経時的に追跡する特徴として使用する。さらに高度の高い追跡器は、網膜血管を含む眼の内部の特徴を撮像し、眼球が回転する時にこれらの特徴を追跡する。
大抵の目追跡デバイスは、少なくとも30Hzのサンプリングレートを使用するが、50/60Hzが最も一般的である。いくつかの追跡デバイスは、1250Hzもの高レートで作動し、これは非常に速い眼球運動の詳細を取り込むために必要である。
本発明では、ユーザが行うジェスチャを取り込むために距離カメラが代わりに使用されてもよく、距離カメラは顔認識が可能である。距離カメラは通常、特定のジェスチャを取り込み解釈するために使用され、これによりエンターテインメントシステムのハンズフリー制御が可能となる。この技術は、赤外線プロジェクタ、カメラ、深度センサ、及びマイクロチップを使用して、物体及び人の動きを三次元で追跡し得る。このユーザデバイスは、画像ベースの三次元構築の変形形態も採用し得る。
追跡デバイス224は、周辺デバイスとしてユーザデバイス200に統合されたまたは取り付けられた、音声データを取り込むマイクロフォンを含み得る。マイクロフォンは、音源位置特定及び/または周囲雑音抑制を行い得る。
あるいは、追跡デバイス224は、ユーザデバイス200のコントローラであり得る。コントローラは、エンターテイメントシステムのコンソールの近くにある、コンソールに取り付けられた、またはコンソールに統合されたセンサ内のLEDで指されると、内蔵加速度計及び赤外線検出器の組み合わせを使用して、3D空間内のその位置を感知し得る。この設計により、ユーザは、物理的なジェスチャ並びにボタン押下により、ユーザデバイス200の機能を制御することが可能となる。コントローラは、短距離(例えば30フィート)でのデータ交換を可能にする無線技術を使用して、ユーザデバイス200に接続する。コントローラはさらに、「鳴動」機能(すなわちゲームにおける特定ポイントの間のコントローラの振動)及び/または内部スピーカを含み得る。
コントローラは、付加的または代替的に、遠隔のセンサを使用して生体測定値を取り込み、例えば皮膚湿度、心拍リズム、及び筋肉の動きを含むデータを記録するように設計され得る。
上記のように、ユーザデバイス200は、電子ゲーム機であり得る。あるいは、ユーザデバイス200は、汎用コンピュータ、セットトップボックス、またはハンドヘルドゲームデバイスとして実装されてもよい。さらに、同様のユーザデバイスは、より多くのまたは少ない作動構成要素を含み得る。
CPU204、ベクトルユニット206、グラフィック処理装置208、及びI/Oプロセッサ210は、システムバス236を介して通信する。さらに、CPU204は、メインメモリ202と専用バス238を介して通信し、一方ベクトルユニット206とグラフィック処理装置208は、専用バス240を介して通信し得る。CPU204は、OS ROM226及びメインメモリ202に記憶されたプログラムを実行する。メインメモリ202は、事前に記憶されたプログラム、及び光ディスク制御ユニット232を使用してCD-ROM、DVD-ROM、または他の光ディスク(図示せず)からI/Oプロセッサ210を介して転送されたプログラムを含み得る。I/Oプロセッサ210は主に、CPU204、ベクトルユニット206、グラフィック処理装置208、及びコントローラインターフェース214を含むユーザデバイス200の様々なデバイスの間のデータ交換を制御する。
グラフィック処理装置208は、CPU204及びベクトルユニット206から受信したグラフィック命令を実行し、ディスプレイデバイス(図示せず)状に表示する画像を生成する。例えば、ベクトルユニット206は、物体を三次元座標から二次元座標に変換し、二次元座標をグラフィック処理装置208に送信し得る。さらに、音声処理装置230は、スピーカ(図示せず)などの音響デバイスに出力される音声信号を生成する命令を実行する。
ユーザデバイス200のユーザは、コントローラインターフェース214を介してCPU204に命令を与える。例えば、ユーザは、CPU204にメモリカード216上の特定の情報を記憶するように命令し得る、またはユーザデバイス200にある特定の動作を実行するように命令し得る。
他のデバイスは、USBインターフェース218、IEEE1394インターフェース220、及びAUXインターフェース222を介してユーザデバイス200に接続され得る。具体的には、カメラまたはセンサを含む追跡デバイス224は、第一者ポータルを有するユーザデバイス200にAUXインターフェース222を介して接続され得、一方コントローラは、USBインターフェース218を介して接続され得る。
図3は、割り込みに対するゲーム内反応をカスタマイズするための例示的なグラフィカルユーザインターフェース(GUI)300である。上記のように、ユーザは、GUI300の使用を通して、様々な現実世界割り込みを特定し、これらの割り込みをゲーム内反応(すなわち通知)として提供されることが可能である。このようにして、ユーザは、仮想世界内に没入しているにもかかわらず、現実世界で起こっていることを認識し続ける。GUI300により、ユーザは、重要度に基づいて様々な割り込みを分類し、特定の割り込みがゲーム内反応として提供される方法を指示することも可能である。
いくつかの実施形態では、GUI300がユーザデバイスの画面上に表示される。次いでユーザは、ユーザデバイス(例えばマウス、キーボード、タッチスクリーン)を介してGUI300とインタラクトすることができる。図に示されるように、GUI300は、どの割り込みがゲーム内反応として提供されるかをカスタマイズするために、ユーザがインタラクトすることができる様々な異なる要素を含み得る。これらの要素には、ラベルボックス310、割り込みソース320、割り込みの種類330、割り込みの重要度ランキング340、及び対応反応の選択350が含まれる。ユーザは、必要に応じて新たなエントリ360を作ることもできる。さらに、ユーザは、必要に応じて各エントリを保存370または取り消し380することができる。GUI300内で特定される要素310~380のそれぞれに関するさらなる詳細は、下記に提供される。
要素310は、割り込みラベルに対応する。割り込みラベルは、監視対象の割り込み、及び提供される対応ゲーム内反応を識別するために、ユーザによりカスタマイズされ得る。同様の割り込みが監視対象であり得るインスタンスが存在し得る。例えば、ユーザは、複数の異なるコンピューティングデバイス(例えば携帯電話、ラップトップ)から、電子メール、テキスト、電話、または映像を受信し得る。このようにして、ユーザは、携帯電話に由来する割り込みと、ラップトップに由来する割り込みとを識別し区別することができる。
さらに、割り込みラベルを使用して、ユーザは、前の割り込み/作成されたゲーム内反応カスタマイズエントリを検索することができる。全てのカスタマイズ情報がユーザデバイス上に(割り込みデータベースを介して)記憶されているため、ユーザは、ユーザデバイスに対応付けられた検索エンジンを使用して前のエントリを検索することが可能であり得る。ユーザは、与えられたラベルに基づいて検索し得る。このようにして、ユーザは、以前に記憶されたカスタマイズエントリをラベルに基づいてより簡単に引き出して、これらのカスタマイズエントリを表示及び/または変更することができる。
要素320は、割り込みソースに対応する。ユーザは、割り込みが由来するソースを特定することができる。ユーザデバイスは、ユーザデバイスに現在通信可能に接続されているネットワーク、デバイス、及び/またはセンサのリストを含み得る。別の実施形態では、ユーザは、近くのネットワーク、デバイス、及び/またはセンサをポーリング/検索し、それらをユーザデバイスに追加し得る。一度選択されると、その選択されたソースに由来する情報をポーリングするように、ユーザデバイスは指示され得る。現実世界割り込みに関係する選択されていない他のソースに由来する情報は、無視され得る。あるいは、選択されていない割り込みソースには、ユーザに対してどのゲーム内反応が生成されるかに関して、デフォルトの低い重要度が与えられ得る。
要素330は、選択された割り込みソースに由来し得る割り込みの種類に対応する。割り込みの種類は、特定のソースからであることをユーザデバイスが認識し得る様々な所定の割り込みに対応し得る。例えば、オーブンが適切に予熱された時、またはオーブン内の食べ物の調理が完了した時を示す様々な事前に設定された種類の割り込みが、オーブンには含まれ得る。別の例では、モバイルデバイスには、電子メール、テキスト、ボイスメール、映像、アラーム、及びスケジュール/カレンダーイベントなどの異なるインスタンスの様々な割り込みが含まれ得る。
ユーザは、要素320から選択された選択ソースに由来する監視対象となる特定の割り込みを、要素330使用して選択することができる。割り込みの種類が選択されなかった場合、デフォルト条件は、要素320から選択されたソースに由来するいずれの/全ての割り込みを監視することを含むことが可能であり得る。
要素340により、ユーザは、選択された割り込みソースに由来する割り込みに対し、重要度のランクまたはレベルを割り当てることが可能である。重要度のランクまたはレベルは、1(全く重要ではない)~5(重要)~10(緊急)に設定することができる。別の実施形態では、重要度/ランクを特徴付ける方法に関して、異なる範囲及び値を実施することができることに留意されたい。
上記で示されたように、重要度レベルは、仮想世界内でユーザにゲーム内反応が表示される方法に対応し得る。重要度のデフォルトレベルは、全ての割り込みに対して定められ得るが、ユーザは、割り込みソース及び/または各割り込みソースに由来する割り込みに対して、様々な重要度レベルを設定することができる。
前述のように、ユーザは、様々なソースからの割り込みに対し、重要度レベルを与えることができる。例えば、ユーザのラップトップに由来する割り込みよりも、ユーザは、オーブンに由来する全ての割り込みに対し、高い重要度を割り当てることができる。さらに、ユーザは、同じソースに由来する各割り込みに対し、重要度レベルを与えることができる。例えば、ユーザは、ユーザの携帯電話に由来するテキストまたは電子メールに対応する割り込みよりも、ユーザの携帯電話に由来する電話の呼び出し割り込みに対し、高い重要度を割り当てることが可能であり得る。
さらなる実施形態では、ユーザは、割り込みの各種類において、割り込みの重要度レベルをカスタマイズすることさえできる。前述のように、ユーザは、ユーザの携帯電話に由来する全ての受信電子メールの重要度レベルを設定し得る。しかし、ユーザは、全ての仕事関連の電子メールには、さらに高い重要度レベルが与えられ得るように指示することもできる。ユーザデバイスは、電子メールが着信すると、例えば送信者のアドレス、ヘッダ、または電子メールのコンテンツを評価することにより、受信した電子メールの内容を評価することができる。評価に基づいて、ユーザデバイスは、受信した電子メールが仕事関連の電子メールに該当するか否かに関して、判定を行い得る。
要素350は、選択されたソースまたは割り込みの種類に由来する割り込みに関してユーザに通知するために、選択することができるゲーム内反応に対応する。ゲーム内反応は、反応データベースに記憶されている全ての利用可能な方法に対応するドロップダウンメニューを介して提供され得る。これらのゲーム内反応は、割り込みに関する情報が仮想世界内でユーザに提供されるべき方法に関する命令に対応し得る。前述のように、このような情報は、テキストボックスまたは映像を介して提供され得る。さらに、テキストボックスまたは映像の場所も制御され得る。
これらのゲーム内反応は、ユーザが現実世界割り込みを解消するためにある期間離れることを促進するように、ユーザデバイスに提供される命令にも対応し得る。前述のように、いくつかの例示的な命令は、ゲームの現在の進行の一時停止を開始すること、またはユーザがユーザデバイスから離れている間に、ユーザの役割を引き継ぐAI制御キャラクタを実施することを含み得る。
ユーザは、選択された特定の割り込みソースまたは割り込みの種類に対して、実施することができる1つ以上のゲーム内反応を選択し得る。いくつかの実施形態では、デフォルトのゲーム内反応が既に割り当てられ得る。使用されるデフォルトのゲーム内反応は、選択された割り込みソース、割り込みの種類、または割り込みのランク/重要度の組み合わせに基づき得る。
要素360は、ユーザが前述の割り込みとゲーム内反応との新規のカスタマイズの対応付けを作成することを可能にする「新規」機能に対応する。各新規エントリにより、ユーザは、検出され得る割り込みと、ユーザが仮想世界にいる間の割り込みの対処方法(すなわちゲーム内反応)とをカスタマイズすることができる。
いくつかの実施形態では、各「新規」エントリは、一度特定の割り込みの種類が選択されると、ユーザが同じ組み合わせの割り込みソースと割り込みの種類を再び選択することを防止し得る。これを使用して、割り込みソースに由来する同じ割り込み種類に対応付けられた重複エントリが防止され得る。むしろ、ユーザデバイス(割り込みデータベース)に記憶されている以前のエントリが取得され得る。
要素370は、ユーザが前述の割り込みとゲーム内反応とのカスタマイズの対応付けを保存することを可能にする「保存」機能に対応する。割り込みのユーザカスタマイズは、ユーザデバイス上で割り込みデータベースに記憶される。ユーザカスタマイズは、割り込み、ソース、割り込みの種類、及びランク/重要度に基づいて記憶され得る。
最後に、要素380は、ユーザが保存したくない現在のカスタマイズの対応付けをユーザが破棄することを可能にする「取り消し」機能に対応する。さらなる実施形態では、前述されていないGUI300により他のオプションも実施され得ることに留意されたい。例えば、ユーザは、特定の割り込みソースからの特定の割り込みが、仮想世界内でユーザへのゲーム内反応として提供され得る期間を、特定することが可能であり得る。あるいは、ユーザは、特定の割り込みをブロックできる(ユーザデバイスに送信されない)期間を特定することが可能であり得る。このようにして、ユーザは、ゲーム内でユーザにゲーム内反応が提供され得る時を制御し得る。例えば、ユーザは、第1の期間(すなわち午前10時~午前11時)の間、割り込まれることなくプレイすることを所望し得る。第1の期間の後、ユーザは、様々なソースからのゲーム内反応を受信し始めることができる。
図4は、割り込みに対するゲーム内反応を実行する方法400である。ユーザデバイスは、様々なソースに由来する割り込みをポーリングし得る。一度割り込みが検出されると、対応ゲーム内反応がユーザに対して生成される。生成されるゲーム内反応は、ユーザが以前に入力した記憶済み基準に基づき得る。
ステップ410では、ユーザは、ユーザデバイスにより実施される様々な割り込み及びゲーム内反応の条件を設定する。ユーザは、ユーザデバイスにより監視されるべき割り込みを選択することができる。ユーザはまた、ユーザが仮想世界内にいる間に、割り込みが処理されるべき方法をカスタマイズすることができる。前述のように、これらの割り込みは、割り当てられた重要度レベルに基づいて処理され得る。
ステップ420では、ユーザが仮想世界に参加している間に、ユーザデバイスは割り込みをポーリング/監視する。ユーザデバイスは、様々なネットワーク、コンピューティングデバイス、及びセンサに通信可能に接続され得る。
ステップ430では、ユーザデバイスは、少なくとも1つの現実世界割り込みを検出する。割り込みは、ユーザカスタマイズで特定された選択割り込みソースに関連し得る。上記のように、割り込みはまた、非選択割り込みソースからも検出され得る。選択されていないが、非選択ソースは、ユーザデバイスに割り込みを送信するように選ぶことができる。あるいは、ユーザデバイスは、非選択ソースに由来する割り込みを検出することができる。
一度割り込みが検出されると、ステップ440では、対応ゲーム内反応が生成される。割り込みは、ステップ410で実施されたユーザカスタマイズされた条件に基づき得る。上記のように、これらのユーザカスタマイズされた条件は、ユーザデバイス上で割り込みデータベースに記憶され得る。ユーザデバイスは(反応モジュールを介して)、検出された割り込みに対応付けられたユーザカスタマイズされた対応条件に関して、割り込みデータベースを検索し得る。利用可能なユーザカスタマイズされた条件がないシナリオでは、代わりにデフォルト条件が使用され得る。
本明細書の技術に関する前述の発明を実施するための形態は、例示及び説明の目的で提示されている。これは、包括的であること、または本技術を開示された詳細な形態に限定することを、意図していない。上記の教示に照らして、多くの変更及び変形が可能である。説明される実施形態は、本技術の原理及びその実際的応用を最も良く説明し、これにより他の当業者が、考えられる特定の用途に適した様々な実施形態及び様々な変更において、本技術を最大限に利用できるように、選ばれた。本技術の範囲は、特許請求の範囲により定義されることが意図される。

Claims (20)

  1. 仮想現実ゲーム内にゲーム内反応を組み込む方法であって、
    仮想現実デバイスと仮想現実ゲームをホストするゲームサーバの間で現行ゲームセッションを確立することであって、前記現行ゲームセッションを確立することは、前記仮想現実デバイスを通信ネットワークを介して前記ゲームサーバに通信可能に接続することにもとづく、前記現行ゲームセッションを確立することと、
    ユーザが前記仮想現実デバイスで前記仮想現実ゲームをプレイしている前記現行ゲームセッションの間に、前記仮想現実ゲームの外部の1つ以上のソースからの割り込みを監視することと、
    前記現行ゲームセッション内でユーザゲームプレイに対する少なくとも1つの割り込みを検出することと、
    メモリに記憶された命令をプロセッサにより実行することとを含み、前記命令を実行することは、
    前記検出された割り込みを前記ユーザに通知することと、
    前記仮想現実ゲームの前記現行ゲームセッション内で、前記検出された割り込みに対応する所定のゲーム内反応を開始することであって、前記所定のゲーム内反応は、前記検出された割り込みの前記通知に応じて前記ユーザが前記仮想現実ゲームの前記現行ゲームセッションから離れている特定された期間実行され、前記所定のゲーム内反応の実行は、前記特定された期間における前記現行ゲームセッションの継続において前記ユーザのゲーム内キャラクタの人工知能制御に関する以前に受信されたユーザのプレイ様式を分析し、ユーザのプレイ様式に対応してゲーム内キャラクタを制御するユーザカスタマイズにもとづいて前記ユーザの前記ゲーム内キャラクタの前記人工知能制御を開始することを含む、前記検出された割り込みに対応する所定のゲーム内反応を開始することと、
    前記ユーザに前記仮想現実ゲームの前記現行ゲームセッション内のゲームプレイを実行することを許可することであって、前記特定された期間の後、前記ユーザがゲームプレイを再開するときに、前記ゲーム内キャラクタの前記人工知能制御は終了する、前記ゲームプレイを実行することを許可することと
    を含む、方法。
  2. グラフィカルユーザインターフェースを介して前記少なくとも1つの割り込みの種類に関するユーザカスタマイズを受信することであって、前記受信されたユーザカスタマイズは、前記少なくとも1つの割り込みの前記種類が検出された時に前記ゲーム内反応が開始されることを指定する、前記少なくとも1つの割り込みの前記種類に関する前記ユーザカスタマイズを受信することと、
    前記少なくとも1つの割り込みの種類に関する前記ユーザカスタマイズをメモリに記憶することであって、前記ゲーム内反応の開始は、前記少なくとも1つの割り込みの種類に関する前記記憶したユーザカスタマイズに基づき、前記記憶したユーザカスタマイズは、異なる種類の割り込みを異なる対応するゲーム内反応に関連付ける、前記ユーザカスタマイズを前記メモリに記憶することと
    により、前記ゲーム内反応を定義することをさらに含む、請求項1に記載の方法。
  3. 前記割り込みを監視することは、スマートホームデバイスのネットワークにより送信される信号を受信することを含む、請求項1に記載の方法。
  4. 前記1つ以上のソースには、前記ユーザの近くにいる人が含まれ、
    前記少なくとも1つの割り込みを検出することには、前記人が発言していることを検出することが含まれる、請求項1に記載の方法。
  5. 前記割り込みを監視することには、1つ以上のセンサを介して、前記ユーザの所定の近接度内にいる、または前記ユーザと物理的に接触している1人以上の人の存在を監視することが含まれる、請求項4に記載の方法。
  6. 前記所定のゲーム内反応の実行はさらに、前記少なくとも1つの割り込みが検出された時に前記仮想現実ゲームの進捗状況を保存することを含む、請求項1に記載の方法。
  7. 前記ユーザカスタマイズはさらに、前記少なくとも1つの割り込みの前記種類の重要度レベルを指定し、
    前記指定された重要度レベルは、前記少なくとも1つの割り込みの前記種類に対する前記所定のゲーム内反応と対応付けられて記憶され、前記記憶したユーザカスタマイズは、異なる重要度レベルを異なる対応するゲーム内反応に関連付ける、請求項2に記載の方法。
  8. 前記仮想現実ゲーム内の前記ゲーム内キャラクタの前記人工知能制御は、前記ユーザが前記仮想現実ゲームから離れている前記特定された期間続く、請求項1に記載の方法。
  9. 前記特定された期間は、前記ユーザが前記仮想現実デバイスで前記仮想現実ゲームのプレイを一時停止していることに基づく、請求項1に記載の方法。
  10. 前記人工知能制御は、前記少なくとも1つの割り込みを検出した際、自動的に開始される、請求項1に記載の方法。
  11. 仮想現実ゲーム内にゲーム内反応を組み込むシステムであって、
    複数のセンサであって、
    ユーザが仮想現実デバイスで前記仮想現実ゲームをプレイしている現行ゲームセッションの間に、前記仮想現実ゲームの外部の1つ以上のソースからの割り込みを監視し、
    前記ユーザが前記仮想現実ゲームをプレイしている前記現行ゲームセッション内でユーザゲームプレイに対する少なくとも1つの割り込みを検出する前記複数のセンサと、
    通信ネットワークを介して前記仮想現実デバイスに通信可能に接続されたゲームサーバであって、前記仮想現実デバイスへの現在進行中の接続が前記現行ゲームセッションを確立する、前記ゲームサーバと、
    プロセッサにより実行可能な反応モジュールとを含み、
    前記反応モジュールは、
    前記検出された割り込みを前記ユーザに通知することと、
    前記仮想現実ゲームの前記現行ゲームセッション内で、前記検出された割り込みに対応する所定のゲーム内反応を開始することであって、前記所定のゲーム内反応は、前記検出された割り込みの前記通知に応じて前記ユーザが前記仮想現実ゲームの前記現行ゲームセッションから離れている特定された期間実行され、前記所定のゲーム内反応の実行は、前記特定された期間における前記現行ゲームセッションの継続において前記ユーザのゲーム内キャラクタの人工知能制御に関する以前に受信されたユーザのプレイ様式を分析し、ユーザのプレイ様式に対応してゲーム内キャラクタを制御するユーザカスタマイズにもとづいて前記ユーザの前記ゲーム内キャラクタの前記人工知能制御を開始することを含む、前記検出された割り込みに対応する所定のゲーム内反応を開始することと、
    前記ユーザに前記仮想現実ゲームの前記現行ゲームセッション内のゲームプレイを実行することを許可することであって、前記特定された期間の後、前記ユーザがゲームプレイを再開するときに、前記ゲーム内キャラクタの前記人工知能制御は終了する、前記ゲームプレイを実行することを許可することとを行う、
    システム。
  12. 仮想現実ゲーム内にゲーム内反応を組み込む方法を実行するように、プロセッサにより実行可能なプログラムが具現化された非一時的コンピュータ可読記憶媒体であって、前記方法は、
    仮想現実デバイスと仮想現実ゲームをホストするゲームサーバの間で現行ゲームセッションを確立することであって、前記現行ゲームセッションを確立することは、前記仮想現実デバイスを通信ネットワークを介して前記ゲームサーバに通信可能に接続することにもとづく、前記現行ゲームセッションを確立することと、
    ユーザが前記仮想現実デバイスで前記仮想現実ゲームをプレイしている前記現行ゲームセッションの間に、前記仮想現実ゲームの外部の1つ以上のソースからの割り込みを監視することと、
    前記現行ゲームセッション内でユーザゲームプレイに対する少なくとも1つの割り込みを検出することと、
    前記検出された割り込みを前記ユーザに通知することと、
    前記仮想現実ゲームの前記現行ゲームセッション内で、前記検出された割り込みに対応する所定のゲーム内反応を開始することであって、前記所定のゲーム内反応は、前記検出された割り込みの前記通知に応じて前記ユーザが前記仮想現実ゲームの前記現行ゲームセッションから離れている特定された期間実行され、前記所定のゲーム内反応の実行は、前記特定された期間における前記現行ゲームセッションの継続において前記ユーザのゲーム内キャラクタの人工知能制御に関する以前に受信されたユーザのプレイ様式を分析し、ユーザのプレイ様式に対応してゲーム内キャラクタを制御するユーザカスタマイズにもとづいて前記ユーザの前記ゲーム内キャラクタの前記人工知能制御を開始することを含む、前記検出された割り込みに対応する所定のゲーム内反応を開始することと、
    前記ユーザに前記仮想現実ゲームの前記現行ゲームセッション内のゲームプレイを実行することを許可することであって、前記特定された期間の後、前記ユーザがゲームプレイを再開するときに、前記ゲーム内キャラクタの前記人工知能制御は終了する、前記ゲームプレイを実行することを許可することと
    を含む、非一時的コンピュータ可読記憶媒体。
  13. 前記ユーザに通知することは、前記少なくとも1つの割り込みの前記種類の前記指定された重要度レベルに基づき、前記指定された重要度レベルの増大に基づいて、前記通知の強調度を高めることをさらに含む、請求項7に記載の方法。
  14. 前記少なくとも1つの割り込みには、カレンダ予定が含まれ、前記カレンダ予定が近づくにつれ、前記指定された重要度レベルを高めることをさらに含む、請求項13に記載の方法。
  15. 前記通知は視覚通知であり、前記通知の前記強調度を高めることは、前記通知を前記ユーザの視野内の異なる領域に配置することを含む、請求項13に記載の方法。
  16. 前記通知は視覚通知であり、前記通知の前記強調度を高めることは、前記ユーザの視野内で前記通知の存続期間を延長することを含む、請求項13に記載の方法。
  17. 前記ユーザカスタマイズは、割り込み通知をブロックする期間を指定することを含み、
    前記ユーザに通知することは、前記少なくとも1つの割り込みが前記指定された期間中に起こるか否かに基づく、請求項2に記載の方法。
  18. 前記少なくとも1つの割り込みの前記種類は、前記少なくとも1つの割り込みのソースに基づく、請求項2に記載の方法。
  19. 前記所定のゲーム内反応の実行は、前記仮想現実ゲームの前記現行ゲームセッション内で前記ユーザに置き換わる代替プレーヤを検索することを含む、請求項1に記載の方法。
  20. 前記検索は、前記特定された期間実行される、請求項19に記載の方法。
JP2019548995A 2017-03-08 2018-03-08 割り込みに対するゲーム内反応 Active JP7258766B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/453,125 US10946280B2 (en) 2017-03-08 2017-03-08 In-game reactions to interruptions
US15/453,125 2017-03-08
PCT/US2018/021577 WO2018165446A1 (en) 2017-03-08 2018-03-08 In-game reactions to interruptions

Publications (3)

Publication Number Publication Date
JP2020513960A JP2020513960A (ja) 2020-05-21
JP2020513960A5 JP2020513960A5 (ja) 2021-04-08
JP7258766B2 true JP7258766B2 (ja) 2023-04-17

Family

ID=63446783

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019548995A Active JP7258766B2 (ja) 2017-03-08 2018-03-08 割り込みに対するゲーム内反応

Country Status (5)

Country Link
US (1) US10946280B2 (ja)
EP (1) EP3593191B1 (ja)
JP (1) JP7258766B2 (ja)
CN (1) CN110603080A (ja)
WO (1) WO2018165446A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10512846B2 (en) 2017-03-07 2019-12-24 Sony Interactive Entertainment LLC Emulating player behavior after player departure
US10946280B2 (en) 2017-03-08 2021-03-16 Sony Interactive Entertainment LLC In-game reactions to interruptions
US11071912B2 (en) * 2019-03-11 2021-07-27 International Business Machines Corporation Virtual reality immersion
CN111249727B (zh) * 2020-01-20 2021-03-02 网易(杭州)网络有限公司 游戏特效生成方法及装置、存储介质、电子设备
KR102570343B1 (ko) * 2022-02-25 2023-08-25 (주)어나더리얼 가상환경에 연결된 사용자 단말에게 알람을 제공하기 위한 방법
GB2616285A (en) * 2022-03-03 2023-09-06 Sony Interactive Entertainment Inc Content modification system and method
US20240042314A1 (en) * 2022-08-02 2024-02-08 Sony Interactive Entertainment Inc. Away from keyboard (afk) helper for game players

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006509548A (ja) 2002-12-10 2006-03-23 ノキア コーポレイション 電子マルチプレイヤ用ゲームのプレイヤが不在の場合に前記ゲームを続行する方法および装置
US20140364197A1 (en) 2013-06-07 2014-12-11 Sony Computer Entertainment Inc. Transitioning gameplay on a head-mounted display
US20170053440A1 (en) 2015-08-17 2017-02-23 Samsung Electronics Co., Ltd. Apparatus and Method for Notifying a Virtual Reality User of Real World Objects

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8701027B2 (en) * 2000-03-16 2014-04-15 Microsoft Corporation Scope user interface for displaying the priorities and properties of multiple informational items
EP1280080A1 (en) 2001-07-26 2003-01-29 BRITISH TELECOMMUNICATIONS public limited company Method and apparatus for modelling user behaviour
JP3497489B2 (ja) 2001-08-28 2004-02-16 株式会社スクウェア・エニックス オンラインシステム、オンラインシステムのサーバ装置、プレイヤ情報提供方法、プレイヤ情報提供プログラム、及び記録媒体
US7296007B1 (en) 2004-07-06 2007-11-13 Ailive, Inc. Real time context learning by software agents
US8142268B2 (en) 2005-04-13 2012-03-27 Take Two Interactive Software, Inc. Systems and methods for simulating a particular user in an interactive computer system
US8277315B2 (en) 2006-03-01 2012-10-02 Hybrid Learning Systems, Inc. Game simulation based on current events
US20080045335A1 (en) * 2006-08-17 2008-02-21 Zachary Adam Garbow Replacing a Departing Player in a Game with a Waiting Player
US8348733B2 (en) 2009-12-21 2013-01-08 Electronics And Telecommunications Research Institute Apparatus and method for analyzing characteristic of game player in real time
US20140370992A1 (en) * 2013-06-18 2014-12-18 International Business Machines Corporation Player substitution to preserve team balance
US9405838B2 (en) 2013-12-27 2016-08-02 Quixey, Inc. Determining an active persona of a user device
US20170068311A1 (en) * 2015-04-04 2017-03-09 Avegant Corp. System, apparatus, and method for selectively varying the immersion of a media experience
US9421470B2 (en) 2014-02-03 2016-08-23 Google Inc. Player model
US9551873B2 (en) 2014-05-30 2017-01-24 Sony Interactive Entertainment America Llc Head mounted device (HMD) system having interface with mobile computing device for rendering virtual reality content
US10062045B2 (en) * 2014-06-12 2018-08-28 International Business Machines Corporation Project workspace prioritization
US10286308B2 (en) 2014-11-10 2019-05-14 Valve Corporation Controller visualization in virtual and augmented reality environments
US20170282082A1 (en) * 2015-05-29 2017-10-05 ATTAQ Online, Inc. Automated tournament platform for online video games
CN106411976B (zh) * 2015-07-30 2019-10-25 博雅网络游戏开发(深圳)有限公司 网络游戏托管方法和系统、服务器
EP3133468A1 (en) * 2015-08-17 2017-02-22 Samsung Electronics Co., Ltd. Virtual reality headset for notifying an object and method thereof
CN105749551B (zh) * 2016-02-26 2019-04-30 网易(杭州)网络有限公司 一种游戏托管方法、系统及终端
US10281980B2 (en) * 2016-09-26 2019-05-07 Ihab Ayoub System and method for eye-reactive display
US10512846B2 (en) 2017-03-07 2019-12-24 Sony Interactive Entertainment LLC Emulating player behavior after player departure
US10946280B2 (en) 2017-03-08 2021-03-16 Sony Interactive Entertainment LLC In-game reactions to interruptions

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006509548A (ja) 2002-12-10 2006-03-23 ノキア コーポレイション 電子マルチプレイヤ用ゲームのプレイヤが不在の場合に前記ゲームを続行する方法および装置
US20140364197A1 (en) 2013-06-07 2014-12-11 Sony Computer Entertainment Inc. Transitioning gameplay on a head-mounted display
US20170053440A1 (en) 2015-08-17 2017-02-23 Samsung Electronics Co., Ltd. Apparatus and Method for Notifying a Virtual Reality User of Real World Objects

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HTC Viveを装着したまま電話やSMSの通知を見れるスマホアプリ、iOS版が配信開始,Mogura VR[online],2016年04月01日,インターネット<URL:https://www.moguravr.com/htcvive-iosapp/>,[2021年12月 7日検索]

Also Published As

Publication number Publication date
CN110603080A (zh) 2019-12-20
US20180256979A1 (en) 2018-09-13
EP3593191A4 (en) 2021-01-20
EP3593191B1 (en) 2023-11-22
WO2018165446A1 (en) 2018-09-13
JP2020513960A (ja) 2020-05-21
EP3593191A1 (en) 2020-01-15
US10946280B2 (en) 2021-03-16

Similar Documents

Publication Publication Date Title
JP7258766B2 (ja) 割り込みに対するゲーム内反応
US11954242B2 (en) Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US20210011682A1 (en) Systems and methods for providing audio to a user based on gaze input
US11992773B2 (en) Augmented reality experiences based on qualities of interactions
US10055191B2 (en) Systems and methods for providing audio to a user based on gaze input
CN116328317A (zh) 应用处理系统、应用处理方法以及应用处理程序
US20230080905A1 (en) Dynamic notification surfacing in virtual or augmented reality scenes
US20230252737A1 (en) Devices, methods, and graphical user interfaces for interacting with virtual objects using hand gestures
US20240094819A1 (en) Devices, methods, and user interfaces for gesture-based interactions
JP6815373B2 (ja) ゲーム処理システム、ゲーム処理方法、及びゲーム処理プログラム
US11934627B1 (en) 3D user interface with sliding cylindrical volumes
US20230315509A1 (en) Automatic Determination of Application State in a Multi-User Environment
JP6850769B2 (ja) ゲーム処理システム、ゲーム処理方法、及びゲーム処理プログラム
US20230315385A1 (en) Methods for quick message response and dictation in a three-dimensional environment
WO2024064016A1 (en) Devices, methods, and user interfaces for gesture-based interactions
WO2022164644A1 (en) Displaying a contextualized widget
JP2021072878A (ja) ゲーム処理システム、ゲーム処理方法、及びゲーム処理プログラム
JP2019136487A (ja) アプリケーション処理システム、アプリケーション処理方法、及びアプリケーション処理プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210222

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210323

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211224

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220201

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220502

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220620

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221004

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230104

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230307

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230405

R150 Certificate of patent or registration of utility model

Ref document number: 7258766

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150