JP7278409B2 - リモートデバイスを使用したメディアマルチタスク - Google Patents

リモートデバイスを使用したメディアマルチタスク Download PDF

Info

Publication number
JP7278409B2
JP7278409B2 JP2021559234A JP2021559234A JP7278409B2 JP 7278409 B2 JP7278409 B2 JP 7278409B2 JP 2021559234 A JP2021559234 A JP 2021559234A JP 2021559234 A JP2021559234 A JP 2021559234A JP 7278409 B2 JP7278409 B2 JP 7278409B2
Authority
JP
Japan
Prior art keywords
video game
application
output
media
execution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021559234A
Other languages
English (en)
Other versions
JP2022525433A (ja
Inventor
ニセル フォード ウルバナス ジョナサン
アルフレッド クルズ バウティスタ ピーター
ハロルド バイル トーマス
エドワード シルバス スティーブ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment LLC
Original Assignee
Sony Interactive Entertainment LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment LLC filed Critical Sony Interactive Entertainment LLC
Publication of JP2022525433A publication Critical patent/JP2022525433A/ja
Application granted granted Critical
Publication of JP7278409B2 publication Critical patent/JP7278409B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/478Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4781Games
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25Output arrangements for video game devices
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50Controlling the output signals based on the game progress
    • A63F13/52Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/85Providing additional services to players
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42226Reprogrammable remote control devices
    • H04N21/42227Reprogrammable remote control devices the keys being reprogrammable, e.g. soft keys
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • H04N21/4438Window management, e.g. event handling following interaction with the user interface
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/23Input arrangements for video game devices for interfacing with the game device, e.g. specific interfaces between game controller and console
    • A63F13/235Input arrangements for video game devices for interfacing with the game device, e.g. specific interfaces between game controller and console using a wireless connection, e.g. infrared or piconet
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1025Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals details of the interface with the game device, e.g. USB version detection
    • A63F2300/1031Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals details of the interface with the game device, e.g. USB version detection using a wireless connection, e.g. Bluetooth, infrared connections
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/30Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device
    • A63F2300/308Details of the user interface

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Software Systems (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

関連出願の相互参照
本出願は、その全体があらゆる目的のために参照により本明細書に援用されている、2019年4月5日に出願された、米国特許出願第16/376,942号の利益を主張する。
最新のコンピュータシステムでは、ユーザは、コンピュータシステム上で実行している複数のアプリケーションとインタラクトすることができる。例えば、一般的なパーソナルコンピュータでは、ユーザは、同時に複数のウィンドウを開くことができる。1つのウィンドウは、ワードプロセッシングアプリケーションからドキュメントウィンドウを表示することができ、ユーザがドキュメントウィンドウにタイピングすることを可能にする。その間に、別のウィンドウは、ビデオアプリケーションからのビデオフィードを表示することができ、そのビデオフィードを、ユーザはドキュメントウィンドウに注目しながら同時に見ることができる。別の例では、ユーザは、ビデオゲームコントローラを介してビデオゲームシステムの表示画面とインタラクトすることによってビデオゲームをプレイすることができることにより、ビデオゲームコントローラは、ビデオゲームシステム上で実行しているビデオゲームアプリケーションにコマンドを発行する。ゲームをプレイしている間、ユーザは、ビデオゲームシステムのスピーカーで別の音楽アプリケーションから生成される音楽を再生することができる。ユーザは、定期的に音楽アプリケーションにフォーカスを切り替えて所望のトラックに進み、ビデオゲームのプレイにフォーカスを戻すことができる。
上記のように、既存のコンピュータシステムは、通常、ユーザがアプリケーションとインタラクトするために、アプリケーション(例えば、ビデオフィード、オーディオフィード)からの複数の出力を、コンピュータシステムのデバイス(例えば、ディスプレイモニタ、スピーカー)に同時に提示することを可能にするが、これら既存のコンピュータシステムは、ユーザがアプリケーションのフォーカスをGUI(グラフィカルユーザインタフェース)のバックグラウンドからフォアグラウンドに切り替える必要がある。ただし、これらの制約により、同じコンピュータシステム上で同時に実行している複数のアプリケーションをサポートする既存のコンピュータシステムに技術的な課題が生じる。したがって、コンピュータシステム上で同時に実行する複数のアプリケーションとのユーザインタラクションを改善する必要がある。
一般に、コンピュータシステムアプリケーションの実行を制御するための技術が説明されている。一例では、コンピュータシステムは、1つ以上のメディアアプリケーション(例えば、リモコン)を制御するように構成される第一入力デバイス、1つ以上のビデオゲームアプリケーション(例えば、ビデオゲームコントローラ)を制御するように構成される第二入力デバイス、ならびに第一入力デバイス及び第二入力デバイスと通信可能に結合されるビデオゲームシステムを含む。ビデオゲームシステムはプロセッサ、及び命令を格納するメモリを含み、これらの命令は、プロセッサによる実行時に、ビデオゲームシステムに動作を実行させる。1つの動作では、ビデオゲームシステムは、ディスプレイのフォアグラウンドに、第二入力デバイスからのビデオゲームアプリケーション及びコマンドの実行に基づいてビデオゲーム出力を提示する。別の動作では、ビデオゲームシステムは、ビデオゲーム出力がフォアグラウンドに提示されていながら、ビデオゲームアプリケーション以外のメディアアプリケーションの実行に基づいてメディア出力をディスプレイに提示する。別の動作では、ビデオゲームシステムは、第一入力デバイスで受信する複数のユーザ入力の第一セットがメディアアプリケーションの実行を制御するために使用されることを示すマッピングを維持する。第一入力デバイスがリモコンである例では、リモコンのボタンは、ディスプレイのメディア出力の早送りまたは巻き戻しを可能にするように構成される。別の動作では、ビデオゲームシステムは、ビデオゲーム出力をフォアグラウンドに提示しながら、第一セットの第一ユーザ入力に対応する信号をリモコンから受信する。別の動作では、ビデオゲームシステムは、マッピングに基づいて、信号がメディアアプリケーションの実行を制御することに対応することを判定する。別の動作では、ビデオゲームシステムは、フォアグラウンドでビデオゲーム出力の提示が続行していながら、信号に基づいてメディアアプリケーションの実行を制御する。
一例では、命令の実行は、ビデオゲームシステムに動作をさらに実行させる。1つの動作では、ビデオゲームシステムは、メディア出力をディスプレイのフォアグラウンドに提示し、メディア出力は、ビデオゲーム出力と組み合わせて提示され、メディアアプリケーションの実行を制御することは、メディア出力の態様を変更することを含む。別の例では、メディア出力の提示、及びビデオゲーム出力の提示は、メディアアプリケーションからのメディア出力、及びビデオゲームアプリケーションからのビデオゲーム出力を別個の入力として受信するレンダリングプロセスに基づいて合成出力を提示することを含む。さらに別の例では、メディア出力はディスプレイのバックグラウンドに提示される。この例では、メディアアプリケーションの実行を制御することは、メディア出力をバックグラウンドに維持していながら、メディア出力の態様を変更することを含む。
一例では、命令の実行は、ビデオゲームシステムに動作をさらに実行させる。1つの動作では、ビデオゲームシステムは、マッピングに基づいて、複数のユーザ入力の第二セットがメディアアプリケーションの実行を制御するために使用されていないと判定する。別の動作では、第二セットの第二ユーザ入力に対応する第二信号を受信することに応答して、ビデオゲームシステムは第二信号を無視する。
一例では、命令の実行は、ビデオゲームシステムに動作をさらに実行させる。1つの動作では、ビデオゲームシステムは、ディスプレイのフォアグラウンドに、ネイティブシステムアプリケーションの実行に基づいてホーム画面出力を提示する。別の動作では、ビデオゲームシステムは、ホーム画面出力がフォアグラウンドにありながら、第一セットの第二ユーザ入力に対応する第二信号をリモコンから受信する。さらに別の動作では、ビデオゲームシステムは、マッピングに基づいて、第二信号がメディアアプリケーションの実行を制御することに対応することを判定する。別の動作では、ビデオゲームシステムは、ホーム画面出力の提示がフォアグラウンドで続行していながら、第二信号に基づいてメディアアプリケーションの実行を制御する。
一例では、ビデオゲームシステムによって維持されるマッピングは、複数のユーザ入力の第二セットがネイティブシステムアプリケーションの実行を制御するために使用されることをさらに示す。一例では、命令の実行は、ビデオゲームシステムに動作をさらに実行させる。1つの動作では、ビデオゲームシステムは、第二セットの第三ユーザ入力に対応する第三信号をリモコンから受信する。別の動作では、ビデオゲームシステムは、マッピングに基づいて、第三信号がネイティブシステムアプリケーションの実行を制御することに対応することを判定する。さらに別の動作では、ビデオゲームシステムは、ディスプレイでメディア出力の提示が続行していながら、第三信号に基づいてネイティブシステムアプリケーションの実行を制御する。
一例では、ビデオゲームシステムによって維持されるマッピングは、メディアアプリケーションの実行を制御すること、ネイティブシステムアプリケーションの実行を制御すること、及びビデオゲームアプリケーションの実行を制御することを定義する。一例では、命令の実行は、ビデオゲームシステムに動作をさらに実行させる。1つの動作では、ビデオゲームシステムは、ホーム画面出力を提示する前に、第一入力デバイスから第三信号を受信し、第三信号は第四ユーザ入力に対応する。別の動作では、マッピングに基づいて、第三信号を受信することに応答して、ビデオゲームシステムはビデオゲームアプリケーションを終了する。別の例では、第一入力デバイスはリモコンである。ビデオゲームシステムによって維持されるマッピングは、リモコンのボタンの状態を示す。この状態は、有効または無効のうちの1つであり、実行されたアプリケーションに基づいて変化する。
一例では、命令の実行は、ビデオゲームシステムに動作をさらに実行させる。1つの動作では、ビデオゲームシステムは、ディスプレイのフォアグラウンドにメディア出力を提示する。別の動作では、ビデオゲームシステムは、メディア出力がフォアグラウンドにありながら、第二入力デバイスからコマンドを受信する。別の動作では、ビデオゲームシステムは、コマンドに基づいて、フォアグラウンドでメディア出力の提示が続行していながら、ビデオゲーム出力の態様を変更する。
ビデオゲームシステムもまた説明される。ビデオゲームシステムは、プロセッサ、及び命令を格納するメモリを含み、これらの命令は、プロセッサによる実行時に、本明細書の上記に開示されている動作をプロセッサに実行させる。
命令を格納する非一時的なコンピュータ可読記憶媒体もまた説明される。これらの命令は、ビデオゲームシステム上での実行時に、本明細書の上記に開示されている動作を実行するようにビデオゲームシステムを構成する。
一例では、非一時的なコンピュータ可読記憶媒体は、メディア出力及び第二メディア出力がディスプレイに提示されると、動作を実行するようにさらに構成される。1つの動作では、ビデオゲームシステムは、ビデオゲームアプリケーション以外のメディアアプリケーションの実行に基づいてメディア出力をディスプレイに提示する。別の動作では、ビデオゲームシステムは、ディスプレイのフォアグラウンドに、ビデオゲームアプリケーション以外の第二メディアアプリケーションの実行に基づいて第二メディア出力を提示する。別の動作では、ビデオゲームシステムは、第二メディアアプリケーションの実行を制御するためにユーザ入力の第二セットが使用されることを示す第二マッピングを維持する。別の動作では、ビデオゲームシステムは、第一入力デバイスから第二信号を受信し、この信号は、第二セットの第二ユーザ入力に対応する。次に、ビデオゲームシステムは、第二信号に基づいてコントロールセンターを起動する。別の動作では、コントロールセンターを起動することに基づいて、ビデオゲームシステムは、複数のユーザ入力のうちの1つ以上のユーザ入力の第三セットがメディアアプリケーションの実行を制御するために再構成されることを示す第三マッピングを維持する。この場合、第三セットは第二セットのサブセットを含む。さらに別の動作では、ビデオゲームシステムは、第一入力デバイスから第三信号を受信し、第三信号は第三セットの第三ユーザ入力に対応する。別の動作では、ビデオゲームシステムは、次いで、第三マッピングに基づいて、第三信号がメディアアプリケーションの実行を制御することに対応することを判定する。次に、ビデオゲームシステムは、フォアグラウンドで第二メディア出力の提示が続行していながら、第三信号に基づいてメディアアプリケーションの実行を制御する。
一例では、本明細書の上記に開示されているマッピングは、第一入力デバイスのトグルボタンが第二メディア出力とメディア出力との間でフォーカスをトグルするように設定されることをさらに示す。一例では、非一時的なコンピュータ可読記憶媒体は、さらなる動作を実行するように構成される。ある動作では、フォーカスをトグルする第四信号をトグルボタンから受信することに応答して、ビデオゲームシステムは第三マッピングを生成する。
一例では、本明細書の上記に開示されているマッピングは、メディアアプリケーションの実行を制御すること、及びビデオゲームアプリケーションの実行を制御することをさらに定義する。1つの動作では、第二メディア出力を提示する前に、ビデオゲームシステムは、リモコンから第四信号を受信し、この第四信号は、第一入力デバイスの終了ボタンの押下に対応する。別の動作では、第四信号を受信することに応答して、マッピングに基づいて、ビデオゲームシステムはビデオゲームアプリケーションを終了する。
本開示のいくつかの実施形態は、コンピュータシステム上で同時に実行する複数のアプリケーションとのユーザインタラクションを可能にする現在の技術を越えるいくつかの技術的利点を提供する。一般に、既存のコンピュータシステムでは、ユーザは、同時に実行している複数のアプリケーションに同時入力を提供すること(「同時ユーザインタラクション」)ができない。ユーザが別のアプリケーションに切り替える必要がある場合(例えば、アプリケーションを制御するため)、システムは、システムに別のアプリケーションにリフォーカスさせるという手動のユーザ入力を必要とする。このシステム要件は、特にユーザが所与のアプリケーション中の特定のアクティビティに没頭している場合(例えば、ビデオゲームをプレイしていながら、フォーカスを別の音楽アプリケーションに切り替えて、その次の曲のトラックに進む場合)、不便なユーザエクスペリエンスを提供することがよくある。この問題は、所与のコンピュータシステム上で同時に実行しているユーザアプリケーションの数が増えるにつれて、より深刻になる。別の技術的課題は、コンピュータシステム上の1つ以上のアプリケーションとインタラクトすることができる複数のタイプのユーザデバイス(例えば、リモコン、ヘッドセット、キーボードなど)がここでは存在することである。ユーザインタラクションを可能にするために、1つのアプリケーション(1つのタイプのデバイスによって制御されてもよい)から、もう1つのアプリケーション(もう1つのタイプのデバイスによって制御されてもよい)にフォーカスを切り替える手動のユーザ入力を必要とすることにより、コンピュータシステムは、これらのデバイスのそれぞれの効率及び有用性を実質的に制限する。
既存のコンピュータシステムとは対照的に、本開示の第一技術的利点は、アプリケーションを制御するコマンドを入力するときにユーザがフォーカスを1つのアプリケーションから別のアプリケーションに切り替えることを必要としないことによって、コンピュータシステム上で実行している複数のアプリケーションとユーザが同時にインタラクトすることを可能にするシステム及び方法を提供することである。さらに、本開示は、複数のユーザ入力デバイスを同時に使用して、コンピュータシステム上でアプリケーションを制御することを可能にするため、これらのデバイスのそれぞれの効率及び有用性を改善する。
本明細書に開示され、提案される実施形態の本質及び利点は、本明細書の以下の記載及び添付の図面を参照することによって理解され得る。
本開示の一実施形態による、ビデオゲームシステムを利用して、ユーザがビデオゲームシステム上で実行している複数のアプリケーションと同時にインタラクトすることを可能にするコンピュータシステムの一例を示す。 本開示の一実施形態による、ビデオゲームシステムに伝送される信号を発信するコンピュータシステムのリモコンを示す。 本開示の一実施形態による、バックグラウンドで実行しているメディアアプリケーションを制御するために使用されるコンピュータシステムのリモコンを示す。 本開示の実施形態による、フォアグラウンドで実行しているメディアアプリケーションを制御するために使用されるコンピュータシステムのリモコンを示す。 本開示の実施形態による、ネイティブシステムアプリケーションまたはメディアアプリケーションを制御するために使用されるコンピュータシステムのリモコンを示す。 本開示の実施形態による、第一メディアアプリケーションか第二メディアアプリケーションかいずれかを制御するために使用されるコンピュータシステムのリモコンを示す。 本開示の実施形態による、ビデオゲームシステム上で同時に実行されているアプリケーションと、リモコンのボタン状態及び機能との間の例示的なマッピングを提供する表を示す。 本開示の実施形態による、ビデオゲーム出力がフォアグラウンドに提示されていながら、メディアアプリケーションの実行を制御するための例示的なフローを示す。 本開示の実施形態による、ホーム画面出力がフォアグラウンドに提示されていながら、メディアアプリケーションの実行を制御するための例示的なフローを示す。 本開示の実施形態による、別のメディアアプリケーションがフォアグラウンドに提示されていながら、第二メディアアプリケーションの実行を制御するための例示的なフローを示す。 本開示の実施形態による、コンピュータシステムを実装するのに適したハードウェアシステムの一例を示す。
一般に、コンピュータシステム上で実行する複数のアプリケーションとの同時ユーザインタラクションを可能にするためのシステム及び方法が説明される。概して、コンピュータシステムは、ビデオゲームシステム(例えば、ビデオゲームコンソール、タブレット、ラップトップ、デスクトップコンピュータ、クラウドベースのゲームプラットフォーム、または少なくともビデオゲーム実行に適した任意の他のタイプのコンピューティングリソース)、リモコン(例えば、ハンドヘルドデバイス、モバイルデバイス上で実行するソフトウェアアプリケーション、ジェスチャ制御用の光学系、自然言語制御用のスピーチシステムなど)、及びビデオゲームコントローラ(例えば、ハンドコントローラ、ヘッドセット、ジョイスティック、モバイルデバイス上で実行するソフトウェアアプリケーション、ジェスチャ制御用の光学系、自然言語制御用のスピーチシステムなど)を含んでもよい。
ビデオゲームシステムは、ビデオゲームシステム上で同時に実行していることができる1つ以上のアプリケーション(例えば、ビデオゲームアプリケーション、音楽アプリケーション、ビデオアプリケーションまたは他のアプリケーション)を含んでもよい。第一アプリケーションは、ディスプレイのフォアグラウンドに表示されてもよい(例えば、出力を含むGUIウィンドウがアクティブ層に提示される)。ビデオゲームシステムは、リモコンから信号を受信する。ビデオゲームシステムは、信号を処理し、ビデオゲームシステム上で同時に実行している第二アプリケーションの出力のディスプレイの提示を制御するコマンドを出力する。このコマンドは、第一アプリケーションの出力がディスプレイのフォアグラウンドに提示され続けていながら実行される。
説明のために、本明細書では次に複数の使用例(ユースケース:use case)が説明される。第一使用例では、第一アプリケーションはビデオゲームアプリケーションであり、第二アプリケーションは非ビデオゲームアプリケーションである。ビデオゲームアプリケーションは、例えば、ディスプレイのフォアグラウンドに表示される出力を生成することができる。非ビデオゲームアプリケーションは、例えば、ディスプレイのバックグラウンド(例えば、出力を含むGUIウィンドウは部分的に、または完全に隠されている)に表示される出力を生成することができる。ビデオゲームアプリケーションに関して、ビデオゲーム出力(例えば、ゲーム内のユーザのアバター)は、ビデオゲームアプリケーションによって生成され、ディスプレイのフォアグラウンドに提示される。表示されているビデオゲーム出力に基づいて、ユーザは、ビデオゲームコントローラを定期的に使用してコマンドをビデオゲームアプリケーションに送信する(例えば、Wi-Fiベースの信号、赤外線(IR)信号、Bluetooth(登録商標)信号などを介して)ことによって、ビデオゲームアプリケーションとインタラクトすることができる。ビデオゲームアプリケーションは、ビデオゲームコントローラからコマンドを受信し(例えば、ビデオゲームシステムの信号プロセッサを介して)、受信した特定のコマンドに基づいて、ビデオゲーム出力の態様における変更(例えば、ユーザのアバターを画面上で動かすこと、ゲーム設定を調整することなど)を実行する。
第一使用例を続けると、ビデオゲーム出力がディスプレイのフォアグラウンドに残っていながら、システムは、ビデオゲームシステム上で同時に実行しており、出力を生成している非ビデオゲームアプリケーション(例えば、音楽アプリケーション、ビデオアプリケーション)とのユーザインタラクション(例えば、信号形式でのユーザ入力)を受信することができる。このユーザインタラクションは、出力が提示されるのがディスプレイのフォアグラウンド(例えば、ピクチャーインピクチャー(PIP))であるか、バックグラウンド(例えば、GUIウィンドウが表示されていないオーディオフィード)であるかいずれかに関係なく発生することがある。
より具体的には、システムは、リモコン上でのボタン押下に対応する非ビデオゲームアプリケーションとのユーザインタラクションを受信することができ、このリモコン上でのボタン押下によって、信号(例えば、Bluetooth信号)は、非ビデオゲームアプリケーションに送信される(例えば、ビデオゲームシステムの信号プロセッサアプリケーションを介して)。ビデオゲーム出力がディスプレイのフォアグラウンドに残っていながら、非ビデオゲーム出力が提示されているのがディスプレイのフォアグラウンドであるか、バックグラウンドであるかに関係なく、非ビデオゲームアプリケーションは、リモコンを介してユーザによって開始されるコマンドを受信することができる。次に、非ビデオゲームアプリケーションは、受信した特定のコマンドに基づいて、ビデオゲーム出力がディスプレイのフォアグラウンドに提示され続けていながら、非ビデオゲーム出力の態様における変更(例えば、オーディオトラックを介した早送りまたは巻き戻し、ビデオの一時停止)を実行する。
その結果、ユーザは、フォーカスをその他の非ビデオゲームアプリケーションに最初に切り替える(例えば、フォアグラウンドに移動する)必要なく、ビデオゲームとインタラクトし続けることができるにもかかわらず、リモコンを使用して非ビデオゲームアプリケーションを制御することができる。特定の非ビデオゲームアプリケーションに関連付けられていないリモコン上のボタン押下に対応するユーザインタラクションをシステムが受信すると、システムは、ユーザインタラクションを処理し、コマンドを発行する必要がないと判定することができるため、非ビデオゲームアプリケーションの実行を制御するコマンドを出力しない。
第二使用例では、リモコンのボタンの押下から受信する入力に基づいて、ビデオゲームシステムは、ビデオゲームアプリケーションを終了し、ネイティブシステムアプリケーションを実行することができる。ネイティブシステムアプリケーションは、ディスプレイのフォアグラウンドに提示されるホーム画面出力(例えば、ホーム画面UI)を生成することができる。
ネイティブシステムアプリケーションは、例えば、ホーム画面UIに提示される異なるメディアコンテンツ(例えば、ビデオ選択)またはメディアアプリ(例えば、ソーシャルメディアアプリ、ビデオアプリケーションなど)を閲覧することに対応する、ユーザインタラクションをリモコンへのユーザ入力を介して受信してもよい。その間に、上記と同様に、非ビデオゲームアプリケーション(例えば、ビデオまたは音楽アプリケーション)もまた同時に、ビデオゲームシステム上で実行しており、非ビデオゲーム出力をディスプレイに提示していてもよい。
この使用例では、ビデオゲームシステムは、ネイティブシステムアプリケーションか、非ビデオゲームアプリケーションかいずれかの制御に対応するユーザ入力をリモコンから(そしてアプリケーションフォーカスの変更を最初に必要とせずに)受信することができる。例えば、リモコンの1つ以上のボタンは、ネイティブシステムアプリケーションを制御する動作にマッピングされるボタンの第一セットを形成してもよい。その間に、リモコンの1つ以上のボタンは、非ビデオゲームアプリケーションを制御する動作にマッピングされるボタンの第二セット(第一セットとは異なる)を形成してもよい。
ホーム画面出力がフォアグラウンドに提示されたままでありながら、ビデオゲームシステムは、非ビデオゲーム出力が提示されるのがディスプレイのフォアグラウンドであるか、バックグラウンドであるかに関係なく、ネイティブシステムアプリケーションの実行を制御する(例えば、指向性パッドボタンを使用してホーム画面UI上の次のビデオコンテンツにナビゲートする)ための、第一セットのボタンの押下に対応するユーザインタラクションを受信してもよい。さらに、ビデオゲームシステムは、ホーム画面出力がディスプレイのフォアグラウンドに提示され続けている間でさえ、非ビデオゲームアプリケーションの実行を制御する(例えば、音楽トラックを早送りする)ための、第二セットのボタンの押下に対応するユーザインタラクションも受信することができる。
第三使用例では、リモコンのボタンの押下から受信する入力に基づいて、ビデオゲームシステムは、上記の第一使用例に説明されているビデオゲームアプリケーションを終了してもよく、ビデオゲームシステム上で第二非ビデオゲームアプリケーション(例えば、ビデオアプリケーション)を起動してもよいことにより、第二非ビデオゲームアプリケーションは、ディスプレイのフォアグラウンド(例えば、一次/メイン画面)に提示される第二非ビデオゲーム出力(例えば、ビデオフィード)を生成する。
上記の第一使用例に説明されている第一非ビデオゲームアプリケーションもまた、同時に、ビデオゲームシステム上で実行していてもよいし、ディスプレイのフォアグラウンド(例えば、PIP)か、バックグラウンド(例えば、ディスプレイUIから隠された)かいずれかの中に非ビデオゲーム出力を提示していてもよい。この例では、リモコンの1つ以上のボタンは、第二非ビデオゲームアプリケーションを制御する(例えば、第二非ビデオゲーム出力から生成されるGUI内に提示されるアイテムを選択する)動作にマッピングされるボタンの第一セットを形成してもよい。ビデオゲームシステムは、上記と同様の方法で第二非ビデオゲームアプリケーションを制御するための、第一セットのボタンの押下に対応するユーザインタラクションを受信してもよい。
さらに、第二非ビデオゲーム出力がフォアグラウンドに提示されたままでありながら、ビデオゲームシステムは、コントロールセンターを起動(またはアクティブ化)するリモコン上のボタンの押下に対応するユーザインタラクションを受信してもよい。コントロールセンターのアクティブ化に基づいて、第一セットのボタンのサブセット(例えば、第二セット)(例えば、第二非ビデオゲームアプリケーションの実行を制御するように以前は設定されている)は、第一非ビデオゲームアプリケーションの実行を制御するように再設定されてもよい。続いて、ビデオゲームシステムが第二セットのボタンの押下に対応するユーザインタラクションを受信する場合、ビデオゲームシステムは、第二非ビデオゲーム出力がフォアグラウンドに提示され続けている間でさえ、第一非ビデオゲームアプリケーションの実行を制御するために使用されるコマンドを出力する。
上記の例は、例示のために提供される。説明を明確にするために、本開示の実施形態は、ビデオゲームシステムに関連して説明されることができる。ただし、これらの実施形態は、そのように限定されるのではなく、あらゆる他のタイプのコンピュータシステムにも同様に適用される。一般に、コンピュータシステムはディスプレイにGUIを提示する。GUIは、コンピュータシステムの異なるアプリケーションを起動することができるホーム画面インタフェースを含んでもよい。
起動時に、インタラクトされている特定のアプリケーションがディスプレイのバックグラウンドにあることができる場合でも、GUIによって、ユーザはリモコンを介して複数のアプリケーションとインタラクトすることができてもよい。さらに、実行されているアプリケーションの特定の組み合わせとの同時ユーザインタラクションを本開示の実施形態が説明するが、本開示は、アプリケーションの他の組み合わせにも適用されることができ、その特定の組み合わせは、リモコンのボタンがアクティブである(例えば、特定のアプリケーションの実行を制御することができる)か、非アクティブであるかを判定してもよい、及び/またはリモコンを使用して特定のアプリケーション内で実行することができる機能を判定してもよい。これらの実施形態及び他の実施形態は、本明細書では次にさらに説明される。
図1は、本開示の一実施形態による、コンピュータシステムを利用して、ビデオゲームシステム上で実行している複数のアプリケーションとユーザが同時にインタラクトすることを可能にするゲーム環境の一例を示す。図1では、ゲーム環境100は、ディスプレイ130と、このディスプレイ130に通信可能に結合されるコンピュータシステム160とを含む。コンピュータシステム160は、リモコン170(例えば、ハンドヘルドリモコンデバイス)、ビデオゲームコントローラ120(例えば、ヘッドセット、ハンドヘルドコントローラ)、及びビデオゲームシステム110(例えば、ビデオゲームコンソール)を含む。ビデオゲームシステム110は、リモコン170及びビデオゲームコントローラ120と通信可能に結合される。
ビデオゲームシステム110は、複数のタイプのアプリケーション140~154(例えば、ビデオゲームアプリケーション140、音楽アプリケーション142、ビデオアプリケーション144など)をサポートするコンピューティング環境を含むことで、アプリケーション140~154のうちの2つ以上は、コンピューティング環境内で同時に実行することができる。実行時に、アプリケーション(例えば、アプリケーション140~152)のうちの1つ以上は、それぞれ、ディスプレイ130に提示される出力を各生成することができる。
以降、特定のアプリケーションに関して以下でさらに詳細に説明されるように、そして別段に定められない限り、「メディアアプリケーション」という用語は、ユーザインタラクションのためにディスプレイ130に提示されるメディア出力(例えば、ビデオフィード、オーディオ出力、メッセージングウィンドウ、テキスト入力ウィンドウ、メニューなど)を生成する特定のタイプのアプリケーション(例えば、アプリケーション142~148)を指すために使用され、そこではメディアアプリケーションは、ビデオゲームアプリケーション140、メニューアプリケーション150、ネイティブシステムアプリケーション152、信号処理アプリケーション154のいずれでもない。ビデオゲームシステム110は、ビデオゲーム専用のコンピュータシステム、または汎用コンピュータシステムであることができ、そのようなシステムは、スタンドアロンシステムまたは分散システムであることができる。
ビデオゲームシステム110は、例えば、リモコン170のボタン(またはビデオゲームコントローラ120のボタン)の押下に続いて発信される信号の形式でユーザインタラクションを受信し、ビデオゲームシステム110上で実行する1つ以上のアプリケーション140~152の実行を制御する。ビデオゲームアプリケーション140の場合、ビデオゲームアプリケーション140は、ビデオゲーム出力(例えば、ゲーム内のアクティビティの表現、ゲーム設定、他のゲームコントロールなど)を生成する。
ビデオゲームシステム110がビデオゲームコントローラ120からユーザインタラクションを受信すると、ビデオゲームシステム110は、ユーザインタラクションを処理し、システム110上で実行する適切なビデオゲームアプリケーション140にコマンドをルーティングすることができる。次に、ビデオゲームアプリケーション140は、コマンドを処理し、ディスプレイ130に提示されているビデオゲーム出力の態様における変更(例えば、ディスプレイ130上のユーザ122のアバターを、ある位置から別の位置に動かす)を引き起こすことができる。
メディアアプリケーション(例えば、メディアアプリケーション142~148)の場合、メディアアプリケーションの実行は、リモコン170上のボタンを押下することに対応する信号を受信すると、ビデオゲームシステム110によって制御されることができる。ビデオゲームシステム110は、信号を受信して処理し、この信号に対応する制御命令(例えば、コマンド)を適切なメディアアプリケーション(例えば、音楽アプリケーション142)にルーティングすることができる。次に、メディアアプリケーションは、制御命令を処理し、メディア出力の態様における変更を引き起こすことができる(例えば、音楽アプリケーション142によって再生されている、その次の曲のトラックにスキップする)。メディアアプリケーション142~148が本明細書に開示されている実施形態を実行するのに適したアプリケーションの代表的な(網羅的ではない)リストのみを提供することを理解されたい。いくつかの実施形態では、リモコン170またはビデオゲームコントローラ120からの信号の受信、信号の処理、及び/またはアプリケーションの実行を制御するコマンドのルーティングは、以下でさらに説明されるような、信号処理アプリケーション154によって実行されてもよい。
以下で議論される実施形態では、ビデオゲームコントローラ120を使用してビデオゲームアプリケーション140を制御し、リモコン170を使用してメディアアプリケーション142~148、メニューアプリケーション150、及びネイティブシステムアプリケーション152を制御するが、このタイプのシナリオの使用が本開示の範囲に制限をもたらすと解釈されるべきではないことを理解されたい。例えば、ビデオゲームコントローラ120は、他のメディアアプリケーション142~148を制御するように設定されることができる。さらに、ビデオゲームコントローラ120及びリモコン170は、単一のデバイスに統合されることができる。
図1では、ビデオゲームコントローラ120がハンドヘルドゲームコントローラとして示されているが、他のタイプのビデオゲームコントローラを適切なビデオゲームコントローラ120として使用してもよいことを理解されたい。一般に、ビデオゲームコントローラ120は、ビデオゲームアプリケーションを制御するように設定される入力デバイスの一例である。他のタイプの入力デバイスが可能であり、これは、ジョイスティック、ステアリングホイール、マウス及びキーボード、ゲームパッド、ヘッドセット、制御アプリケーションをホストするモバイルデバイス(例えば、スマートフォン、タブレットコンピュータなど)、ユーザのジェスチャを監視するために光センサ及びプロセッサを含む光学系、自然言語発話を処理するためにマイクロホン及びプロセッサを含むスピーチシステム、またはいずれかの他のユーザデバイスもしく入力/出力デバイスを含むが、これらに限定されるものではない。
ビデオゲームコントローラ120は、任意の適切な通信媒体及びプロトコル(例えば、IR、Bluetooth、ワイヤもしくはケーブル、光ファイバ、電話線、セルラーリンク、無線周波数(RF)リンク、WANもしくはLANネットワーク、インターネット、またはいずれかの他の適切な媒体)を使用して無線接続か有線接続かいずれかによってビデオゲームシステム110に結合されてもよい。
さらに、図1に示されるリモコン170が専用の電子デバイスであってもよいが、他のタイプのリモコンが適切なリモコンとして使用されてもよいことを理解されたい。一般に、リモコン170は、メディアアプリケーションを制御するように設定される入力デバイスの一例である。モバイルデバイス(例えば、スマートフォン、タブレットコンピュータなど)を含むがこれに限定されない他のタイプの入力デバイスは、可能であり、このモバイルデバイスが制御アプリケーションをホストすることにより、このアプリケーションがモバイルデバイスからビデオゲームシステム110に信号を送信させる仮想ボタンを有効にするように設定されてもよい。
他のタイプのユーザデバイスは、ユーザジェスチャを監視するために光センサ及びプロセッサを有する光学系、自然言語発話を処理するためにマイクロホン及びプロセッサを含むスピーチシステム、またはいずれかの他のユーザデバイスもしくは入力/出力デバイスを含む。一般的には、そして図2及びその後の図解で議論されているように、リモコン170は、無線媒体(例えば、IR、Bluetooth)を介して信号を伝送し、以下のこのタイプの実施形態の使用は、本開示の範囲に制限をもたらすと解釈されるべきではない。例えば、リモコン170は、延長イーサネットケーブルまたはいずれかの他の適切な媒体を介してビデオゲームシステム110に直接接続されることができる。
さらに、ボタン押下は、メディアアプリケーションを制御するためのユーザ入力の一例である。制御に使用されるユーザデバイスのタイプに応じて、他のタイプのユーザ入力が可能である。例えば、制御アプリケーションをホストするモバイルデバイスの場合、モバイルデバイスは、ソフトボタン(GUIに表示されるアクション可能なオブジェクトなど)を提示することができ、制御に適したユーザ入力は、クリック、フィンガータップ、またはソフトボタンを含むフィンガージェスチャを有する。別の図解では、ユーザジェスチャを追跡する光学系の場合、それらのようなジェスチャはユーザ入力を表す。さらに別の図解では、自然言語発話を処理するスピーチシステムの場合、それらのような発話はユーザ入力である。
いくつかの実施形態では、ディスプレイ130は、アプリケーションから表示装置に出力を表示することができる任意の適切なデバイスであってもよい。これは、ビデオ出力を表示することができる、さまざまなタイプのテレビ(TV)セットまたはビデオモニタ(例えば、プラズマ、液晶ディスプレイ(LCD)、有機発光ダイオード(OLED)、ブラウン管(CRT)など)を含むが、これらに限定されない。いくつかの実施形態では、ディスプレイ130は、ビデオゲームシステム110からのオーディオ信号(音楽アプリケーション142からのオーディオ出力に対応してもよい)を受信し、このオーディオ信号を対応する音声に変換するスピーカーを含む。
スピーカー(図1には示されていない)は、表示装置130に組み込まれてもよい、またはディスプレイ130に接続される(例えば、無線または有線)別個のデバイスであってもよい。いくつかの実施形態では、ディスプレイ130は、メディア出力を提示するために使用されることができる他のコンポーネント(図示せず)をさらに含んでもよい(例えば、TVに組み込まれる、または別個のデバイスに接続される)。これは、例えば、モザイク表示(例えば、複数のビデオモニタにわたるシームレス画像投影)を提示するように構成される他のビデオモニタまたはテレビを含んでもよい。別の例では、ディスプレイ130は、視覚的画像、オーディオ出力、または触覚フィードバックをユーザ122に提示するように構成されるヘッドセットデバイスからのコンポーネントを含んでもよい。
いくつかの実施形態では、上記のように、ビデオゲームシステム110は、スタンドアロンビデオゲームコンソールであることができる。以下の実施形態がビデオゲームコンソール110に実装されているビデオゲームシステム110を論じているが、本開示がそのような実施形態に限定されないことを理解されたい。一例として、他の実施形態では、ビデオゲームシステム110は、クラウドベースのビデオゲームシステムとして実装されることができるため、システム110のいくつかのコンポーネント(例えば、メディア出力またはビデオゲーム出力の処理に関与する)は、クラウドに実装される。一実施形態では、ビデオゲームシステム110は、他のコンポーネントの中でも、少なくとも1つのメモリ、1つ以上の処理ユニット(またはプロセッサ(複数可))、及び1つ以上の通信デバイスを含んでもよい。
プロセッサ(複数可)は、ハードウェアに適切に実装されることができる。通信デバイスは、任意の適切な通信経路を使用して、リモコン170またはビデオゲームコントローラ120と通信するように構成されてもよい。一実施形態では、通信デバイスは、リモコン170及び/またはビデオゲームコントローラ120からのIR及び/またはBluetooth信号を送信する、または受信するように構成されることができる。一例では、通信デバイスは、リモコン170から送信されるBluetooth信号を受信し、このBluetooth信号をデジタル出力に変換することができ、さらに、このデジタル出力を信号処理アプリケーション154(以下に議論される)が処理してもよい。また、通信デバイスは、任意の適切な媒体を介してインターネットに接続するように構成されることができる。ビデオゲームコンソールが上記の機能を達成するために1つ以上の通信デバイスを含むことができることを理解されたい。
メモリは、これらのプログラムの実行中に生成されるデータと同様に、プロセッサ(複数可)に搭載可能で、かつ実行可能なプログラム命令を格納し得る。ビデオゲームシステム110の構成及びタイプにより、メモリは、揮発性(ランダムアクセスメモリ(RAM)及び/または不揮発性(読み出し専用メモリ(ROM)、フラッシュメモリなど)であり得る。いくつかの実施態様では、メモリは、スタティックランダムアクセスメモリ(SRAM)、ダイナミックランダムアクセスメモリ(DRAM)、またはROMなどの複数の異なるタイプのメモリを含み得る。ビデオゲームシステム110はまた、限定されないが、磁気ストレージ、光ディスク、及び/またはテープストレージを含む、追加のストレージ(図示せず)、例えば、取り外し可能なストレージか取り外し不可能なストレージかいずれかを含み得る。ディスクドライブ及びそれらの関連するコンピュータ可読媒体は、コンピューティングデバイスについてのコンピュータ可読命令、データ構造、プログラムモジュール、及び他のデータの不揮発性のストレージを提供し得る。
さらに詳細にメモリのコンテンツを参照すると、メモリはオペレーティングシステムを含んでもよい。オペレーティングシステムは、ビデオゲームシステム110の一般管理及び動作(例えば、さまざまなアプリケーション140~154を実行して管理することを含む)についての実行可能プログラム命令を提供してもよく、一般的には、ビデオゲームシステム110のプロセッサによって実行されると、ビデオゲームシステム110がその意図される機能を実行することができるようにする命令を格納する、コンピュータ可読記憶媒体(例えば、ハードディスク、ランダムアクセスメモリ、読み出し専用メモリなど)を含む。オペレーティングシステムに好適な実装は、既知であるか、または市販入手可能であり、特に、本明細書の開示を踏まえて、当業者によって容易に実装される。
いくつかの実施形態では、メモリは、ビデオゲームアプリケーション140、メディアアプリケーション142~148、メニューアプリケーション150、ネイティブシステムアプリケーション152、及び信号処理アプリケーション154を含む、本明細書に開示される機能を実装するための1つ以上のアプリケーションを含む。一実施形態では、信号処理アプリケーション154は、ビデオゲームシステム110の通信デバイスからデジタル出力を受信し、このデジタル出力を適切なアプリケーションにルーティングすることができる。
より具体的には、一例の実施形態では、信号処理アプリケーション154は、デジタル出力(例えば、データパケット)をBluetoothオーディオ/ビデオ制御トランスポートプロトコル(AVCTP)に従ってフォーマットされているものとして認識するように構成されてもよい。そのようなものとして、信号処理アプリケーション154は、AVCTPパケットの1つ以上のヘッダに基づいて、データパケットをルーティングする必要があるアプリケーション(例えば、データパケットに埋め込まれる特定のコマンドが制御することが意図されるアプリケーション)を判定することができる。同様に、信号処理アプリケーション154は、IR信号からのデジタル出力を解釈する(例えば、Sony(登録商標)SIRC IRプロトコルを含むがこれに限定されない任意の適切なIRプロトコルに従って)ように構成されてもよい。いくつかの実施形態では、信号処理アプリケーション154は、上記の通信デバイス内のハードウェアまたはソフトウェア機能として実装されてもよい。
上記のように、メディアアプリケーションは、音楽アプリケーション142、ビデオアプリケーション144、ソーシャルメディアアプリケーション146、及びチャットアプリケーション148を含むことができるが、これらに限定されない。上記のビデオゲームアプリケーション140と同様に、メディアアプリケーション142~148は、それぞれ別個のメディア出力を生成することができる。特定のメディアアプリケーションは、ユーザインタラクションを受信してメディアアプリケーションの実行を制御する(例えば、リモコン170によって送信され、通信デバイスによって受信される信号を介して、それにより、コマンドが生成され、信号処理アプリケーション154によってメディアアプリケーションにルーティングされる)ことができることにより、メディアアプリケーションは、そのメディアアプリケーションによって生成され、ディスプレイ130に提示されるメディア出力の態様を変更することができる。
例えば、上記のように、音楽アプリケーション142は、オーディオ出力チャネルの形式でメディア出力を生成することができる。いくつかの実施形態では、音楽アプリケーション142は、ディスプレイ130にビデオ出力チャネル(例えば、GUI)を提示する形式でメディア出力を生成してもよい。音楽アプリケーション142は、ビデオ出力チャネルのGUI要素の選択(例えば、特定のサウンドトラックの選択、ディスプレイ130に提示されるオーディオ出力の速度の調整)に対応するユーザインタラクションを、リモコン170を介して受信することができる。
同様に、ビデオアプリケーション144は、ディスプレイ130に提示されるビデオ出力チャネル及びオーディオ出力チャネル(例えば、映画、ライブストリーミングビデオなど)の形式でメディア出力のタイプを生成することができる。上記と同様の方法では、ビデオゲームシステム110は、ビデオアプリケーション144とのユーザインタラクション(例えば、映画のシーンの早送りまたは巻き戻し)を受信することができる。ビデオゲームシステム110は、上記と同様のメカニズムを介して、ソーシャルメディアアプリケーション146及びチャットアプリケーション148などの他のアプリケーションとのユーザインタラクションを受信してもよい。いくつかの例では、これらのユーザインタラクションは、限定されないが、テキスト文字の入力、メニューからの選択、メディアコンテンツ中のナビゲート、メディアアプリケーション内の設定の調整などのメディアアプリケーションを制御することができる。
いくつかの実施形態では、メモリは、メニューアプリケーション150をも含む。メニューアプリケーション150は、ディスプレイ130に提示されるメニュー112 GUI(例えば、ダッシュボード、「コントロールセンター」とも称されることがある)を出力することができる。いくつかの実施形態では、メニューアプリケーション150は、リモコン170上のボタンを押下することに対応する信号を受信すると、ビデオゲームシステム110によってアクティブ化されることができる。
一例では、一度アクティブ化されると、メニュー112は、メディアアプリケーション142~148からのメディア出力(またはビデオゲームアプリケーション140からのビデオゲーム出力)の少なくとも一部の上に現れることができることで、メニュー112はディスプレイ130上のGUIのフォアグラウンドに提示される。メニュー112によって、一例では、図6を参照してさらに以下に議論されるように、ビデオゲームシステム110は、ユーザ入力を受信して、フォーカスをビデオゲームシステム110上で同時に実行している特定のメディアアプリケーション(例えば、PIP中に提示している)に切り替える(例えば、リモコン170を介して)ことができてもよい、またはビデオゲームシステム112内の異なるアプリケーションもしくは画面(例えば、ユーザエクスペリエンス)にナビゲートすることができてもよい。
いくつかの実施形態では、メモリは、ネイティブシステムアプリケーション152をも含む。ネイティブシステムアプリケーション152は、ディスプレイ130に提示されるホーム画面出力(例えば、ホーム画面ユーザインタフェース(UI))を出力することができる。いくつかの実施形態では、ネイティブシステムアプリケーション152は、リモコン122上の1つ以上のボタンを押下することに対応する信号を受信すると、ビデオゲームシステム110によってアクティブ化されることができる。一例では、ビデオゲームシステム110は、最初にメニュー112をアクティブ化し、メニュー112内のアイテムが選択されたと判定し、次に、この選択に基づいてホーム画面UIを提示することができる(これにより、リモコン170から特定の信号を受信すると、各ビデオゲームシステム110のアクションを実行する)。ホーム画面UIの提示に続いて、ビデオゲームシステム110は、異なるメディアアプリケーションを閲覧するユーザ入力、及び/または特定のメディアアプリケーションを選択して起動するユーザ入力に対応する信号を受信することができる。別の例では、ビデオゲームシステム110は、異なるメディアコンテンツ(例えば、最近再生された映画の選択)を閲覧し、特定の映画を選択するユーザ入力に対応する信号を受信することができると、ビデオアプリケーション144を起動し、ディスプレイ130に映画コンテンツを提示することができる。
上記のように、アプリケーション140~152のうちの2つ以上は、ビデオゲームシステム110上で同時に実行することができる。アプリケーションのそれぞれは、ディスプレイ130に提示される出力を各生成することができる。一例では、ビデオゲームアプリケーション140は、ディスプレイ130に提示されるビデオゲーム出力を生成することができる。ビデオゲーム出力自体は、異なるタイプのビデオゲーム出力チャネル(例えば、ビデオ出力チャネル、オーディオ出力チャネル、触覚フィードバック出力チャネルなど)を含むことができ、各タイプの出力チャネルは、ディスプレイ130のコンポーネント(例えば、接続されたデバイス)(例えば、上記のように、ビデオモニタコンポーネント、スピーカーコンポーネントなど)に提示されることができる。
同様に、メディアアプリケーション142~148のうちの1つのメディアアプリケーションは、メディア出力を生成することができ、そのアプリケーションのメディア出力は、メディア出力チャネルを含むことができることで、ディスプレイ130に提示されることができる。2つ以上のアプリケーションが実質的に同時に出力を生成し、これらの出力が共通チャネルタイプを共有する場合、出力チャネルは、レンダリングプロセスに入力として提供されることができる。このレンダリングプロセスは、異なるアプリケーションからの2つ以上の出力チャネルを入力として受信し、レンダリングアルゴリズムを利用して合成出力を生成することができ、この合成出力をディスプレイ130に提示する。
一例として、レンダリングプロセスでは、2つ以上のビデオ出力チャネルを入力として受信することができ(例えば、第一ビデオアプリケーション144及び第二ビデオアプリケーション144から)、次に、1つのビデオ出力チャネルをディスプレイ130のメイン(一次など)ウィンドウとして提示し、その他のビデオ出力をメインウィンドウ(二次ウィンドウ、PIPなど)内に提示するような、合成出力を生成することができる。他の適切なビデオレンダリング技術(例えば、ブレンディング、透明度)は、よく知られており、本明細書に記載の実施形態を実施するために使用されることができる。同様に、2つ以上の別個のオーディオ出力チャネルは、別個のアプリケーション(例えば、ビデオゲームアプリケーション140及び音楽アプリケーション142)によって生成されると、レンダリングプロセスに提供されることができ、レンダリングプロセスによって、合成オーディオは、生成されることができ、ディスプレイ130に提示される。
一例では、合成オーディオがディスプレイ130に提示されることができるため、ビデオゲームのオーディオ出力チャネルは、音楽アプリケーションのオーディオ出力チャネルよりも低いデシベルレベルでディスプレイ130のスピーカーコンポーネントに提示される。このようにして、2つの異なるアプリケーション出力(例えば、ビデオゲーム出力及びメディアアプリケーション出力)及びそれらのそれぞれのチャネル出力コンポーネントは、レンダリングプロセスを介して実質的に同時にディスプレイ130に提示されることができる。
いくつかの実施形態では、レンダリングプロセスは、2つの入力チャネルから合成出力を生成すると、1つの出力チャネルをディスプレイ130のフォアグラウンドに提示し、別の出力チャネルをディスプレイ130のバックグラウンドに提示することができる。本明細書で論じられるように、ディスプレイ130のフォアグラウンドに出力を提示することは、ユーザ122のフォーカスがディスプレイ130のアクティブ層上にあることを反映して、その層中に出力を提示させることを指すことができる。一例として、ディスプレイ130に提示されるビデオ合成出力は、1つのウィンドウ(第一メディアアプリケーションからの第一ビデオ出力を表す)を含むことができ、このウィンドウは、別のウィンドウ(第二メディアアプリケーションからの第二ビデオ出力を表す)をオーバーレイする。
この場合、オーバーレイするウィンドウはアクティブ層中に提示されるため、ディスプレイのフォアグラウンドにあり、その他のウィンドウはバックグラウンドにある。アプリケーションがバックグラウンドに提示される別の例は、アプリケーションが出力(例えば、ディスプレイ130のスピーカーコンポーネントに提示される)を生成するが、そのアプリケーションからのいかなるビデオ出力(例えば、音楽アプリケーション142)も視覚的にディスプレイ130に提示されない場合であることができる。出力をフォアグラウンドにあるものとして表す他の方法(例えば、ウィンドウ周囲の強調、ウィンドウ内のカーソルの動きなど)があることができることを理解されたい。また、2つの異なるアプリケーションが両方とも同時にフォアグラウンドにあることができることを理解されたい。例えば、PIP構成では、ディスプレイ130の全画面に表示される出力と、インセットウィンドウに表示される出力(例えば、PIP)との両方は、アクティブ層中に提示されることができるため、両方ともフォアグラウンドにあることができる。
以下の実施形態でさらに議論されるように、本開示の1つの技術的利点は、同時に実行しているアプリケーションとの同時ユーザインタラクションを可能にすることである。具体的には、例えば、アプリケーションがバックグラウンドに提示される出力を生成する(別のアプリケーションがフォアグラウンドに提示しながら)ことができるにもかかわらず、ビデオゲームシステム100は、フォアグラウンドアプリケーションがフォアグラウンドに提示し続けている間でも、バックグラウンドアプリケーションの実行を制御することに対応するユーザ入力を依然として受信することができる(したがって、バックグラウンドアプリケーションの出力が提示される)。別の例では、2つのアプリケーションは、両方ともフォアグラウンドに提示していることができる(例えば、1つはPIPに)。ビデオゲームシステム100がメイン画面ウィンドウに提示するアプリケーション(例えば、ビデオゲームアプリケーション140)の実行を制御することに対応するユーザ入力をも受信し続けることができる間でさえ、ビデオゲームシステム100は、PIPウィンドウに提示するアプリケーション(例えば、ビデオアプリケーション144)の実行を制御することに対応するユーザインタラクション(例えば、ユーザ入力に対応する信号)を受信することができる。
図2は、本開示の一実施形態による、コンピュータシステムのコンポーネントをさらに詳細に示すシステムダイアグラム200である。システムダイアグラム200では、コンピュータシステム160のリモコン204(図1のリモコン170に対応することができる)及びビデオゲームシステム202(図1のビデオゲームシステム110に対応することができる)が示される。一実施形態では、リモコン204は、複数のボタン206~228を含む。リモコン204のボタンを押下すると、リモコン204は、信号を発信し、この信号をビデオゲームシステム202に送信する。以下に説明されるように、ボタンを押下することによって発信される信号のタイプは、押下されるリモコン204の特定のボタンに依存することができる。例えば、1つのボタンを押下するとIR信号を発信することができ、もう1つのボタンを押下するとBluetooth信号を発信することができる。いくつかの実施形態では、ビデオゲームシステム202の通信デバイスが特定の信号を検出するために、ビデオゲームシステム202は、リモコン204の視野内にある。いくつかの実施形態では、特定のボタン(例えば、ボタン220、ボタン222)を押下することで、ビデオゲームシステムではない別のデバイス(例えば、ディスプレイ130)を制御することが意図される信号が発信されることができる。
上記に議論されているように、一実施形態では、リモコン204は、複数のボタン206~228を含むことができる。電源ボタン206を使用して、IR信号を発信することによって、ビデオゲームシステムをオン/オフにすることができる。ホームボタン208を使用して、Bluetooth信号を発信することによって、メニュー112 GUI(例えば、コントロールセンター)をアクティブ化することができる。いくつかの実施形態では、ユーザ112もまた、ホームボタン208を使用して、ネイティブシステムアプリケーション152をアクティブ化し、ホーム画面UIを提示することができる。
音声制御ボタン210を使用して、Bluetooth信号を発信することによって、ユーザ112の音声を介してさまざまなコマンドを実行することができる。いくつかの実施形態では、音声制御ボタン210を使用して、例えば、アプリケーションを起動し、またはシステムをナビゲートし(例えば、ホーム画面UIを介して)、またはシステムコンテンツを検索し、またはリモコン204の別のボタンを仮想的に押下し、特定のアプリケーションの実行を制御することができる。指向性パッド212を使用して、Bluetooth信号を発信することによって、ディスプレイ130に提示される特定のGUI内でナビゲートすることができる。一例では、指向性パッドを使用して、メニューUI112内でナビゲートすることができる。
決定(または「選択」)ボタン214を使用して、Bluetooth信号を発信することによって、ディスプレイに提示されるアイテムを選択することができる。一例では、決定ボタン214を使用して、メニューUI112上のオプションを選択してもよい、またはホーム画面UIからアプリケーションを起動してもよい。戻る(または「キャンセル」)ボタン216を使用して、Bluetooth信号を発信することによって、前の画面または選択にナビゲートすることができる。オプションボタン218を使用して、Bluetooth信号を発信することによって、ユーザが特定のアプリケーション(例えば、ネイティブシステムアプリケーション152)について設定することができる設定のメニューを提示することができる。
音量調節ボタン220を使用して、IR信号を発信することによって、ディスプレイ130の音量を調節することができる。ミュートボタン222を使用して、IR信号を発信することによって、ディスプレイ130の音量をミュートすることができる。メディアトランスポートコントロールボタン224を使用して、Bluetooth信号を発信することによって、ディスプレイ130に提示されるメディア出力の態様を調整する(例えば、音楽コンテンツまたはビデオコンテンツの早送りまたは巻き戻し、コンテンツの一時停止/再生)ことで、メディアアプリケーション(例えば、音楽アプリケーション142、ビデオアプリケーション144)を制御することができる。1つ以上のパートナーアプリケーション起動ボタン226を使用して、Bluetooth信号を発信することによって、特定の第三者のメディアアプリケーションを起動することができる。
一例では、「パートナー1」アプリケーションボタン226を使用して、「パートナー1」のビデオアプリケーション144を起動することができる。パートナーカスタム機能ボタン228を使用して、Bluetooth信号を発信することによって、第三者のアプリケーション(例えば、「パートナー1」のアプリケーション)の実行の特定の態様を制御することができる。一例では、パートナーカスタム機能ボタン228を使用して、第三者のアプリケーションによって、現在提示されている特定のメディアコンテンツを購入することができる。以下でさらに議論されるように、パートナーカスタム機能ボタン228の特定の機能が、現在実行している第三者のアプリケーションに応じて変わることができることを理解されたい。
より一般的には、後続の図3~7を参照して下記のように、リモコン204の特定のボタンが有効/無効であるかどうか、特定のボタンの押下が制御するのはどのアプリケーションか、そしてどの機能がボタンを押下することによって実行されるかは、ディスプレイ130に同時に出力を提示しているアプリケーション、及びこれらのアプリケーションがディスプレイ(例えば、メイン画面、PIP)に提示される方法に基づいて判定されることができる。リモコン204の各ボタンの特定の特性(例えば、機能、プロトコル(例えば、IR/Bluetooth))が上述されているが、ボタンのあらゆる適切な設定が本開示の実施形態を実行することができることをさらに理解されたい。さらに、上述のように、リモコン204は、スタンドアロンのハードウェアユニットである必要はないが、実際にはリモコンのボタン及び/または機能は、別のデバイス(携帯電話など)で実行するソフトウェアに実装されることができる。
図3は、本開示の一実施形態による、バックグラウンドで実行しているメディアアプリケーションを制御するために使用されるコンピュータシステムのリモコンを示すシステムダイアグラムである。システムダイアグラム300では、ディスプレイ302(図1のディスプレイ130に対応することができる)及びリモコン204が示される。一実施形態では、ビデオゲームシステム110は、ビデオゲームアプリケーション140を実行しており、このビデオゲームアプリケーション140は、ビデオゲーム出力304を生成し、ディスプレイ302の全(「メイン」または「一次」)画面のフォアグラウンドに提示する。ビデオゲームシステム110は、上記のように、ビデオゲームコントローラ120でのユーザ入力(例えば、ボタンの押下)に対応する信号を受信することができる。
その間に、ビデオゲームシステム110上で同時に実行している音楽アプリケーション142は、音楽出力306の形式でメディア出力を生成する。この実施形態では、ディスプレイ302から部分的に突出する音楽出力306によって示されるように、音楽出力306は、バックグラウンドのディスプレイ302に提示される。より具体的には、例えば、音楽出力306のオーディオ出力チャネルをディスプレイ302のスピーカーに表示するが、音楽出力306のビデオ出力チャネルに対応する任意のGUI(例えば、キューイングされる音楽トラックのリスト)をディスプレイ302に提示しない。上記に議論されているように、ビデオゲーム出力304のオーディオ出力チャネル、及び音楽出力306のオーディオ出力チャネルは、ディスプレイ302に提示される合成オーディオ出力を生成するレンダリングプロセスへの入力として提供されることができる。一例では、ビデオゲーム出力302に対応するオーディオ出力は、低減された音量で再生されるので、ユーザ122は、再生されている音楽をよりよく聞くことができる。
図3を参照して上記のアクティビティ中にリモコン204のボタンを押下するときのビヘイビアを参照すると、ビデオゲームシステム110は、同時に実行しているアプリケーションの特定の組み合わせ(及び各アプリケーションがディスプレイ130に出力を提示する方法)と、ボタンを押下するときに発生する結果として得られるビヘイビアとの間のマッピングをメモリに格納することができる。メモリ内のこのマッピングに基づいて、ビデオゲームシステム110は、マッピングに従って結果として得られるビヘイビアを実行する。説明を明確にするために、図3を参照して上記の実施形態でのリモコン204の特定のビヘイビアを説明する前に、図7及び表1(下記)を、図3~6の実施形態を説明する際の支援のために導入することが有用である。
図7は、本開示の実施形態による、ビデオゲームシステム110上で同時に実行しているアプリケーション(例えば、ビデオゲームアプリケーション140、メディアアプリケーション142~148、ネイティブシステムアプリケーション152)と、リモコン204のボタン状態及び機能との間の例示的なマッピングを提供する表700を示す。いくつかの実施形態では、ビデオゲームシステム110は、いくつかの列を含むデータ構造(例えば、テーブル、アレイなど)をメモリ(またはストレージ)内に維持する。一実施形態では、以下でさらに説明されるように、列702~706(一次アプリケーション702、二次アプリケーション704、ボタン706)は、一意のシナリオを定義するパラメータを表す。一意のシナリオに基づいて、ビデオゲームシステム110は、リモコン204の特定のボタン(列706中に指定される)の押下に対応する信号を受信すると、特定のビヘイビア(列710~714にボタン状態710、制御されるアプリケーション712、制御機能例714として指定される)を決定する。
一例では、ビデオゲームシステム110は、リモコン204から信号を受信する。次に、システムアプリケーション(例えば、信号処理アプリケーション154、レンダリングプロセスなど)は、どのアプリケーションが、ディスプレイ130に提示されている出力(例えば、ビデオゲーム出力、メディア出力)を同時に実行しており、生成しているかを判定することができる。さらに、システムアプリケーションは、特定のアプリケーション(例えば、「メイン画面アプリケーション」または「一次アプリケーション」)が出力を、列702に対応する全画面に提示しているか、二次画面アプリケーション(列704に対応する)として提示しているかを判定することができる。
一例では、二次画面アプリケーション(または「二次アプリケーション」)は、バックグラウンドに出力を提示しているアプリケーションであってもよい。別の例では、二次画面アプリケーションは、PIPディスプレイに出力を提示していてもよい。これらのパラメータに基づいて、システムアプリケーションは、信号の処理方法に関するいくつかの要素を判定することができる。最初に、所与の一次アプリケーションと二次アプリケーションとを対にする場合、システムアプリケーションは、マッピングに基づいて、リモコン204のどのボタンが有効であるか、またどのボタンが無効であるかを判定することができる。
いくつかの実施形態では、テーブルによって維持されるマッピングは、有効にされるボタンをセットにグループ化することを含む。一実施形態では、ビデオゲームシステム110は、ボタンが有効/無効であるかどうかの判定に続いて、受信した信号を処理し、ボタンが有効である場合、コマンドを出力して、それ以上のアクションなしで適切なアプリケーションにルーティングすることができる。ボタンが無効である場合、ビデオゲームシステム110は、コマンドを出力しないと判定することに従って、それ以上のアクションをとらないことができる。ただし、他の実施形態では、ボタンが有効である場合にはコマンドを適切なアプリケーションにルーティングする(またはボタンが無効である場合にはルーティングしない)以外に、ビデオゲームシステム110が1つ以上の信号を送信してリモコン204に返すことができると、さらに、リモコン170は、特定のボタンが有効であるか、無効であるかに応じて、1つ以上の動作を実行することができる。
一実施形態では、ビデオゲームシステム110は、リモコン204のボタンにボタンライトをオンまたはオフにさせる信号をリモコン204に送信することができる。例えば、有効なボタンライトがオンになることがあり、無効なボタンライトがオフになることがある。別の実施形態では、ライトの色は、ボタンが有効であるか、無効であるかに応じて変化することができる(例えば、有効の場合は青色、無効の場合は赤色)。別の実施形態では、モバイルデバイスに実装されるソフトウェアベースのリモコンアプリケーション204の場合、無効なボタンは、グレー表示されてもよい(例えば、選択不可能であってもよい)、またはGUIから除去されてもよい。物理的なボタンを備えた機械的なリモコン204を含む、さらに別の実施形態では、ビデオゲームシステム110から信号を受信すると、リモコン204は、無効にされているボタンをロックすることができるため、ボタンを押下することができない。いくつかの実施形態では、ボタンが無効であるか、有効であるかについてのインジケーションをリモコン204に提供させる、任意の適切なメカニズムを実装することができる。
第二に、実行しているアプリケーションの対に基づいて、システムアプリケーションは、2つのアプリケーション(一次アプリケーション、二次アプリケーション)のどちらが特定のボタンを押下することによって制御されるかを判定することができる。第三に、実行しているアプリケーションと実行している特定のアプリケーション(例えば、ビデオアプリケーション144のタイプである「パートナー1」226)との対に基づいて、システムアプリケーションは、アプリケーションが実行する特定の制御機能(ディスプレイ130に提示されている出力の態様を変更することができる)を決定することができる。一例では、ビデオアプリケーション1は、メディアトランスポートコントロールボタン224を介してビデオコンテンツを早送りする、または巻き戻しするときに、アプリケーションがビデオ出力を10秒単位で前後に調整する(行3、列714に示されるように)ように構成されてもよい。対照的に、ビデオアプリケーション2は、メディアトランスポートコントロールボタン224を介してビデオコンテンツを早送りする、または巻き戻しするときに、アプリケーションがビデオ出力を30秒単位で前後に調整する(行4、列714に示されるように)ように構成されてもよい。
以下の表1は、ビデオゲームシステム110上で同時に実行しているアプリケーションと、リモコン204のボタン状態及び機能との間のマッピングの一実施形態に対応し、図7に示されるよりも多くのシナリオの例を提供する。表1のマッピングが考えられるすべてのシナリオの網羅的なマッピングではなく、本開示の実施形態を可能にするのに適している多種多様なシナリオを説明する代表的なものにすぎないことを理解されたい。表1または図7のシナリオとは異なる順列及び組み合わせを含む、いずれかの適切なマッピングは、本開示の実施形態を可能にするのに十分であることができる。図3~6は、各図に示される実施形態をさらに説明するために互換的に図7及び/または表1を参照することができる。
Figure 0007278409000001
Figure 0007278409000002
Figure 0007278409000003
Figure 0007278409000004
図3に戻り、ビデオゲームシステム110は、表1~表4及び図7に記載されるマッピングと同様のマッピングをメモリ内に維持することができる。上記の図3に記載されているように、ビデオゲームアプリケーション140は、ビデオゲーム出力を実行しており、ディスプレイ302のメイン画面に提示している。さらに、音楽アプリケーション142は、メディア出力(例えば、オーディオ出力)の生成と、ディスプレイ302のバックグラウンドでの提示を同時に行っている。一例では、出力を提示するアプリケーションのこの特定の組み合わせを用いて、リモコン204のボタンの総数のサブセットを有効にすることができ、残りのボタンを無効にすることができる。図3(例えば、ボタンの上にある「X」はそのボタンが無効であることを示す)に示されるように、指向性パッドボタン212、決定ボタン214、戻る/キャンセルボタン216、及びオプションボタン218は、無効なボタンのセットに含まれる(参考までに、これはそれぞれ、表2、表3の行13、16、19、及び22に対応することができる)。いくつかの実施形態では、上記のように、ビデオゲームシステム110は、無効なボタンに対応する信号を受信すると、戻る信号をリモコン204に送信することができると、さらに、リモコン204は、現在無効になっているボタンを点灯させることができる。
ビデオゲームシステム110は、有効なボタンのセットの1つのボタンの押下に対応する信号を受信することができ、このボタンは、一例では、メディアトランスポートコントロールボタン224に対応することができる。図7のマッピングテーブル700(及び表1~表4)に戻って参照すると、このシナリオ及び所期の結果の機能出力は、どの特定の音楽アプリケーション142が実行しているかに応じて、行1及び/または行2で示される。行1か行2かいずれかによって示されるシナリオでは、音楽アプリケーション142(ビデオゲームアプリケーション140ではない)は、リモコン204によって制御されるアプリケーションである。行1で示される一例では、音楽アプリケーション142(「オーディオ1」)が実行している場合、メディアトランスポートコントロールボタン224を押下すると、オーディオトラックが5秒単位で早送りされるか、巻き戻しされるかいずれかになることができる。また、ボタン224を使用して、提示されているオーディオ出力を再生してもよい、または一時停止してもよい。行2で示される別の例では、音楽アプリケーション142(「オーディオ2」)が実行している場合、メディアトランスポートコントロールボタン224を押下すると、次/前のオーディオトラックに移動することができる。行1と同様に、ボタン224を使用して、提示されているオーディオ出力を再生してもよい、または一時停止してもよい。
メディアトランスポートコントロールボタン224以外に、同様に有効にされる他のいくつかのボタンがあってもよい。一例として、図3に示されるシナリオを参照して、表1~表4に示されるように、電源ボタン206(行8)、ホームボタン208(行9)、音声制御ボタン210(行10)、音量調節ボタン220(行25)、ミュートボタン222(行26)、パートナーアプリケーション起動ボタン226(行27)、及びパートナーカスタム機能ボタン228(行28/29)のすべては、有効なボタンのセットに残っていることができる。各ボタンは、例えば上記のように、任意の適切なビヘイビアを有することができる。さらに、図3~6に記載の実施形態のいずれかについて、どのボタンが有効であるか、無効であるか、また、有効なボタンがどのアプリケーションを制御するかかという任意の適切なマッピングを使用して、本開示の実施形態を実装することができることに留意されたい。
本開示の技術的利点はユーザ122がリモコン204を用いて音楽アプリケーション142とインタラクトしながら、ビデオゲームアプリケーション140と同時にインタラクトする(例えば、ビデオゲームコントローラ120を介してコマンドを発行する、及び/またはメイン画面に提示されるビデオゲーム出力を見る)ことができることであることを理解されたい。換言すれば、ビデオゲームシステム110は、音楽アプリケーション142の実行を制御することに対応するリモコン204のボタンを押下することからできる信号を受信して処理するために、ディスプレイ302のフォーカスを音楽アプリケーション142に最初に変更する必要はない。さらに、図3に示されるシナリオがディスプレイ302に提示されている音楽出力306のいかなるビデオ出力チャネルも示していないが、本開示がそのように限定的であると解釈されるべきではないことを理解されたい。一例では、上記のように、音楽アプリケーション142は、GUIを介してPIPディスプレイに二次アプリケーションとしてビデオ出力をさらに提示することができるにもかかわらず、音楽アプリケーション142の実行を制御することに対応するリモコン204のボタンを押下することからできる信号を受信して処理することができる。
図4は、本開示の実施形態による、フォアグラウンドで実行しているメディアアプリケーションを制御するために使用されるコンピュータシステムのリモコンを示すシステムダイアグラムである。システムダイアグラム400では、ディスプレイ402(図1のディスプレイ130に対応することができる)及びリモコン204が示される。上記の図3と同様に、一実施形態では、ビデオゲームシステム110は、ディスプレイ402の一次(または「メイン」)画面のフォアグラウンドに提示されるビデオゲーム出力404を生成するビデオゲームアプリケーション140を実行している。ビデオゲームシステム110は、上記のように、ビデオゲームコントローラ120でのユーザ入力(例えば、ボタンの押下)に対応する信号を受信することができる。図4では、ビデオゲームシステム110上で同時に実行しているビデオアプリケーション144は、ビデオ出力406の形式でメディア出力を生成する。この実施形態では、ビデオ出力406は、PIPディスプレイ内のフォアグラウンドに提示されているように描かれている。前述のように、ビデオゲーム出力404及びビデオ出力406の両方は、それぞれビデオ出力チャネル及びオーディオ出力チャネルを含んでもよい。これらのチャネルは、ディスプレイ402に提示される合成オーディオ及びビデオ出力を生成するレンダリングプロセスに提供されてもよい。
図4を参照して、そして図3と同様に上記のアクティビティ中にリモコン204のボタンを押下するときのビヘイビアを参照すると、ビデオゲームシステム110は、リモコン204から発信される信号が、同時に実行しているアプリケーションの1つを制御することにどのように対応するかを示すマッピングをメモリ内に維持することができる。このマッピングの少なくとも一部は、図7及び/または表1~表4によって表されることができる。図4では、ビデオゲームアプリケーション140がビデオゲーム出力404を一次アプリケーションとして提示しており、ビデオアプリケーション144がビデオ出力406を二次アプリケーションとして提示していることから、アプリケーションのこの特定の組み合わせが出力を提示しながら、リモコン204のボタンの総数のサブセットは有効であることができ、残りのボタンは無効であることができる。図3に示されるものと同様に、指向性パッドボタン212、決定ボタン214、戻る/キャンセルボタン216、及びオプションボタン218は、無効なボタンのセットに含まれる(参考までに、これはそれぞれ、表2~表3の行13、16、19、及び22にも対応することができる)。いくつかの実施形態では、無効なボタンが押下されると、ビヘイビアは、上記の図3を参照して説明されるものと同様であることができる。
ビデオゲームシステム110は、有効なボタンのセットのうちの1つのボタンの押下に対応する信号を受信することができ、このボタンは、一例では、メディアトランスポートコントロールボタン224に対応することができる。図7のマッピングテーブル700(及び表1~表4)に戻って参照すると、このシナリオ及び所期の結果の機能出力は、どの特定のビデオアプリケーション144が実行しているかに応じて、行3及び/または行4で示される。行3か行4かいずれかによって示されるシナリオでは、ビデオアプリケーション144(ビデオゲームアプリケーション140ではない)は、リモコン204によって制御されるアプリケーションである。行3に示される一例では、ビデオアプリケーション144(「ビデオ1」)が実行している場合、メディアトランスポートコントロールボタン224を押下すると、ビデオ出力406(例えば、シーク)が10秒単位で早送りされるか、巻き戻しされるかいずれかになることができる。また、ボタン224を使用して、提示されているビデオ出力406を再生してもよい、または一時停止してもよい。行4で示される別の例では、ビデオアプリケーション144(「ビデオ2」)が実行している場合、メディアトランスポートコントロールボタン224を押下すると、ビデオ出力406が30秒単位で早送りされてもよい、または巻き戻しされてもよい。行3と同様に、ボタン224を使用して、提示されているビデオ出力を再生してもよい、または一時停止してもよい。
上記の図3と同様に、メディアトランスポートコントロールボタン224以外に、同様に有効にされる他のいくつかのボタンがあってもよい。図3に記載されるものと同様の技術的利点もまた適用される。
図5は、本開示の実施形態による、ネイティブシステムアプリケーションまたはメディアアプリケーションを制御するために使用されるコンピュータシステムのリモコンを示すシステムダイアグラムである。システムダイアグラム500では、ディスプレイ502(図1のディスプレイ130に対応することができる)及びリモコン204が示される。一実施形態では、ネイティブシステムアプリケーション152は、ディスプレイ502の一次(または「メイン」)画面のフォアグラウンドにホーム画面出力504(例えば、ホーム画面UI)を提示する。その間に、ビデオゲームシステム110上で同時に実行しているビデオアプリケーション144は、ビデオ出力510の形式でメディア出力を生成する。この実施形態では、ビデオ出力510は、PIPディスプレイ内のフォアグラウンドに提示されているように描かれている。
図5を参照して、上記のアクティビティ中にリモコン204のボタンを押下するときのビヘイビアを参照すると、ビデオゲームシステム110は、リモコン204から発信される信号が、同時に実行しているアプリケーションの1つを制御することにどのように対応するかを示すマッピングをメモリ内に維持することができる。このマッピングの少なくとも一部は、図7及び/または表1~表4によって表されることができる。図5では、ネイティブシステムアプリケーション152がホーム画面出力504を一次アプリケーションとして提示しており、ビデオアプリケーション144がビデオ出力406を二次アプリケーションとして提示していることから、アプリケーションのこの特定の組み合わせが出力を提示しながら、一実施形態では、図3~4とは対照的に、リモコン204のボタンのすべては有効であることができる。ただし、表1~表4に示されるように、リモコン204の異なるボタンは、それぞれ異なるアプリケーションを制御するようにマッピングされることができる。より具体的には、ボタンの第一セット(例えば、メディアトランスポートコントロールボタン224(行5))は二次アプリケーション(ビデオアプリケーション144)を制御するようにマッピングされることができ、ボタンの第二セット(例えば、音声制御ボタン210(行11)、指向性パッドボタン212(行14)、決定/選択ボタン214(行17)、戻る/キャンセルボタン216(行20)、オプションボタン218(行23))は一次アプリケーション(ネイティブシステムアプリケーション152)を制御するようにマッピングされることができる。
一例として、ボタンの第一セットのマッピングに基づいて、ビデオゲームシステム110は、メディアトランスポートコントロールボタン224を押下することに対応するリモコン204からのユーザ入力を受信すると、PIPディスプレイに表示されているビデオ出力510(二次アプリケーションなど)を早送りでシークすることができる。ビデオアプリケーション144とネイティブシステムアプリケーション152との間でフォーカスを切り替えることなく、ボタンの第二セットのマッピングに基づいて、指向性パッドボタン212を押下することに対応するリモコン204からのユーザ入力を受信すると、ビデオゲームシステム110は、ホーム画面UIをナビゲートする態様を変更するコマンドを出力することができる。これらのホーム画面UIの態様の変更は、例えば、次のページに進むためのコマンドを受信すると、表示されるビデオコンテンツ506のリストを更新することを含んでもよい。
本明細書に記載の実施形態のそれぞれについて、ディスプレイ130に出力を提示する異なるアプリケーション間で移行すると、ビデオゲームシステム110は、最初に、現在提示しているアプリケーションを終了してもよい、または提示しているアプリケーションをバックグラウンドに移動させてもよいため、別のアプリケーションは、新しい一次または二次アプリケーションをディスプレイに提示するようになることができる。そのようなものとして、マッピングは、リモコン204のボタンのうちのどのボタンを使用して、特定のアプリケーションを終了することができるか、アプリケーション間で切り替えることができるかを定義することもできる。一例では、ホームボタン208を押下することによって、メニューアプリケーション150をアクティブにして、メニューUI112をディスプレイ130に提示することができる。マッピングは、ビデオゲームシステム110が特定のアプリケーションを終了するようにトリガするために、メニューUI内でどのボタンを押下することができるかをさらに示すことができる。図4のシナリオから図5のシナリオへの移行に関して、例えば、ビデオゲームシステムは、リモコン204でのユーザ入力に対応する信号を受信すると、最初にメニューアプリケーション150を起動し、次にビデオゲーム出力404を提示しているビデオゲームアプリケーション140を終了することができる。いくつかの実施形態では、システムは、ビデオゲームアプリケーション140を終了すると、ネイティブシステムアプリケーション152を自動的に起動して、図5のホーム画面UI504を提示することができる。
本開示の技術的利点はユーザ122が同じリモコン204を使用してPIPメディアアプリケーション(例えば、ビデオアプリケーション144)とインタラクトしながら、そしていかなるアプリケーションのフォーカスも切り替える(例えば、バックグラウンドからフォアグラウンド、または二次アプリケーションから一次アプリケーション)必要なしに、ホーム画面UI504と同時にインタラクトする(例えば、リモコン204を介してコンテンツを閲覧する)ことができることであることを理解されたい。本明細書で説明されるこの技術的利点及び他のものはいずれかの適切なマッピングが現在開示されている実施形態を可能にするために提供されながら、他のアプリケーション(例えば、ソーシャルメディアアプリケーション146、チャットアプリケーション148)を、ホーム画面UI504がバックグラウンドに提示していることができながら、リモコン204を使用して制御するためにも適用されることができることを理解されたい。
図6は、本開示の実施形態による、第一メディアアプリケーションか第二メディアアプリケーションかいずれかを制御するために使用されるコンピュータシステムのリモコンを示すシステムダイアグラムである。システムダイアグラム600では、ディスプレイ602(図1のディスプレイ130に対応することができる)及びリモコン204が示される。一実施形態では、第一メディアアプリケーション(例えば、第一ビデオアプリケーション144)は、第一メディア出力604(例えば、第一ビデオ出力604)を生成し、ディスプレイ602の一次(または「メイン」)画面のフォアグラウンドに提示する。その間に、同時に実行している第二メディアアプリケーション(例えば、第二ビデオアプリケーション144)は、第二メディア出力606(例えば、第二ビデオ出力606)を生成し、ディスプレイ602上のPIPディスプレイのフォアグラウンドに提示する。また、他の適切なメディアアプリケーション(例えば、ソーシャルメディアアプリケーション146、チャットアプリケーション148)を使用して、本開示の実施形態を実装することができることに留意されたい。
図6を参照して、上記のアクティビティ中にリモコン204のボタンを押下するときのビヘイビアを参照すると、ビデオゲームシステム110は、リモコン204から発信される信号が、同時に実行しているアプリケーションの1つを制御することにどのように対応するかを示すマッピングをメモリ内に維持することができる。このマッピングの少なくとも一部は、図7及び/または表1~表4によって表されることができる。
図6では、上記の例を続けると、第一ビデオアプリケーション144が第一ビデオ出力604を一次アプリケーションとして提示しており、第二ビデオアプリケーション144がビデオ出力606を二次アプリケーションとして提示していることから、リモコンのボタンのすべてが、有効であり(例えば、すべてのボタンがボタンの第一セットに含まれる)、そしてデフォルトでは、一次アプリケーションを制御するために使用されるようなマッピングを、アプリケーションのこの特定の組み合わせは生成することができる。例えば、表1、行6によれば、早送りでシークするメディアトランスポートコントロールボタン224の押下に対応する信号を受信すると、ビデオゲームシステム110は、第一ビデオ出力604を早送りでシークさせるようにメインアプリケーションを制御するコマンドを出力する。このマッピングパターンは、他のボタン、例えば、音声制御ボタン210(行12)、指向性パッドボタン212(行15)、決定ボタン214(行18)、戻るボタン216(行21)、及びオプションボタン218(行24)にも適用されることができ、これらは、デフォルトでは、メインアプリケーションを制御することができる。
ただし、表1、行7にさらに示されるように、リモコン204の1つ以上のボタンを押下することができると、ビデオゲームシステム110による受信及び処理時に、ボタンの第一セットのサブセット(例えば、第二セット)は、二次アプリケーション(例えば、PIP)として提示する第二ビデオアプリケーション144を制御するためにマッピングされるように再設定される。一例では、押下されているホームボタン208に対応する信号を受信して処理することにより、メニューアプリケーション150がアクティブ化され、メニューUI112(例えば、コントロールセンター)がディスプレイ602に提示される。コントロールセンター内では、マッピングは、コントロールセンターのUIコントロール(例えば、トグルボタン、チェックボックスなど)のアクティブ化が、ディスプレイ602のフォーカスを第一ビデオ出力604と第二ビデオ出力606との間でトグルするリモコン上のボタンを押下することに対応することを示すことができる。
上記のマッピングは、トグル制御によってどのアプリケーションが選択されたかに基づいて、リモコン204のボタンのうちの1つ以上が、第二ビデオアプリケーション144を制御することができるように再マッピングされてもよいことをさらに示すことができる。上記の例を続けると、トグルボタンを押下することに対応するユーザ入力を受信すると、ビデオゲームシステム110は、第一ビデオ出力604から第二ビデオ出力606にフォーカスするようにトグルすることができる。一実施形態では、メディアトランスポートコントロールボタン224は、二次アプリケーションを制御するために再マッピングされることができる。第一セットの1つより多いボタンが二次アプリケーションの機能をここでは制御するように再マッピングされる(例えば、第二セットとして)ことができることを理解されたい。
いくつかの実施形態では、ビデオゲームシステム110上のいくつかのアプリケーションは、第三者のパートナーによって提供されるアプリケーション(例えば、メディアアプリケーション)であってもよい。そのようなものとして、一部の第三者のアプリケーションには、独自のカスタムボタン226がリモコン204上に与えられてもよい。さらに、いくつかの実施形態では、ビデオゲームシステム110がパートナーカスタム機能ボタン228を押下することに対応する信号を受信すると、第三者のアプリケーションのカスタマイズされた機能を実行するように、第三者のパートナーは、パートナーカスタム機能ボタン228をカスタマイズすることができてもよい。一例では、第三者のビデオアプリケーション144は、押下されてマッピングがそのように示すと、アプリケーション144が現在提示されているビデオコンテンツを購入することができるように、ボタン228をカスタマイズすることができる(表4、行28)。別の例では、異なる第三者のアプリケーションは、提示しているビデオコンテンツをユーザ122のお気に入りリストに保存してもよい(表4、行29)。したがって、本開示の1つの技術的利点は、第三者のプロバイダーのアプリケーション(例えば、一次または二次アプリケーション、アプリケーションタイプなど)が実行しているコンテキストに応じて、ある特定のボタンのビヘイビアをこれらのプロバイダーがカスタマイズすることを可能にする際に、上記のマッピング方法が第三者のプロバイダーに適用されることができることである。
図8は、本開示の実施形態による、ビデオゲーム出力がフォアグラウンドに提示されていながら、メディアアプリケーションの実行を制御するための例示的なフロー800を示す。いくつかの実施形態では、フロー800は、図3及び4を参照して説明される動作に対応してもよい。これらの動作が特定の順序で示されているが、これらの動作の一部は再順序付けされてもよい、または省略されてもよい。また、フロー800(または本明細書に記載される任意の他のフロー、または変形形態、及び/またはそれらの組み合わせ)のうちのいくらかまたはすべては、実行可能命令で構成される1つ以上のコンピュータシステム下で実行され得、かつ、1つ以上のプロセッサ上で集合的に、ハードウェアによって、またはそれらの組み合わせで実行する、コード(例えば実行可能命令、1つ以上のコンピュータプログラム、または1つ以上のアプリケーション)として実装され得る。コードは、例えば、1つ以上のプロセッサによって実行可能な複数の命令を含むコンピュータプログラムの形式で、コンピュータ可読格納媒体に格納され得る。コンピュータ可読記憶媒体は、非一時的であり得る。
一例では、フローは、動作802を含み、この動作802は、ビデオゲームアプリケーション140、及びビデオゲームコントローラ120からのコマンドの実行に基づいてビデオゲーム出力をディスプレイ130のフォアグラウンドに提示することを含む。上記のように、ディスプレイ130は、例えば、表示装置(テレビなど)を含み得る。一例では、図4を参照して、ビデオゲームシステム110は、ビデオゲームコントローラ120のボタンを押下する、ユーザ122に対応するユーザインタラクション(例えば、ビデオゲームコントローラ120から発信される信号の形式で)を受信する。ビデオゲームシステム110は、ユーザインタラクションを処理し、ビデオゲームアプリケーション140を起動し、次に、このビデオゲームアプリケーション140は、ビデオゲーム出力404を一次アプリケーションとしてメイン画面に提示することができる。いくつかの実施形態では、任意の適切なビデオゲームアプリケーション140を実行して、フロー800を行ってもよい。
一例では、フローは、動作804を含み、この動作804は、ビデオゲーム出力がフォアグラウンドに提示されながら、ビデオゲームアプリケーション以外のメディアアプリケーションの実行に基づいてメディア出力をディスプレイに提示することを含む。メディア出力は、例えば、メディアアプリケーション142~148のうちの1つからの出力に対応してもよい。一例では、リモコン204のボタンを押下する、ユーザ122に対応するユーザインタラクション(例えば、信号の形式で)を受信した後、ビデオゲームシステム110は、メディアアプリケーション(例えば、ビデオアプリケーション144)を起動する。
図4を参照する一例では、ビデオゲームシステム110がビデオアプリケーション144を起動すると、メディア出力(ビデオ出力404など)は、ディスプレイ402のフォアグラウンド406(PIPなど)に提示されてもよい。図3を参照する別の例では、メディアアプリケーションは音楽アプリケーション142であり、音楽出力306はバックグラウンド306に提示されてもよい。上記のように、フォアグラウンドかバックグラウンドかいずれかにメディア出力を提示するために、いくつかの可能なレイアウト(例えば、PIP、サイドバイサイド、バックグラウンドに隠れているUIなど)が存在する可能性があることを理解されたい。一例では、メディア出力が提示されるのがフォアグラウンドであるか、バックグラウンドであるかにかかわらず、ビデオゲームアプリケーション140は、フォアグラウンドで実行し続けることができ、ユーザがビデオゲームアプリケーション140とインタラクトすることを可能にする。
一例では、このフローは、動作806を含み、この動作806は、リモコンの複数のボタンの第一セットがメディアアプリケーションの実行を制御するために使用されることを示すマッピングを維持することを含む。図7及び表1~表4を参照して上記に論じられているように、マッピングは、ビデオゲームシステム110のメモリ内に維持されてもよい。この第一セットは、リモコン204の1つ以上のボタン(例えば、メディアトランスポートコントロールボタン224)であってもよい。
いくつかの実施形態では、マッピングを使用して、リモコン204のボタンを押下すると、ボタンが有効であるか無効であるか、どのアプリケーション(例えば、一次/メイン画面アプリケーションまたは二次アプリケーション)が制御されるか、そしてメディアアプリケーションの実行がどのように制御されるか(例えば、特定のボタン(例えば、ビデオ出力をシークする、ビデオを購入するなど)を押下すると、特定のメディアアプリケーションのメディア出力のどの態様が変更されるか)を決定することができる。いくつかの実施形態では、マッピングを使用して、ボタンを図7及び表1~表4にリストされる以上のビヘイビアに関連付けることができる。一例では、マッピングは、押下される所与のボタンについて、リモコン204がさらなるアクションを実行する(例えば、ボタンが無効であることを知らせるためにボタンを点灯する)信号を送信してリモコン204に返すべきかどうかを決定することができる。さらに、新しいアプリケーションがビデオゲームシステム110からインストールされる、または除去されると、マッピングは適切に更新されることができる。
一例では、フローは動作808を含み、この動作808は、フォアグラウンドにビデオゲーム出力を提示しながら、第一セットのボタンの押下に対応する信号をリモコンから受信することを含む。いくつかの実施形態では、ビデオゲームシステム110は、ユーザ122による第一セットのボタン(例えば、動作806中に維持されるマッピングによって定義される)の押下に対応するユーザインタラクション(例えば、信号の形式で)を受信する。特定のボタンが押下されると、リモコン204は、押下されるボタンに応じて、特定のタイプの信号(例えば、IR、Bluetoothなど)を発信してもよい。ビデオゲームシステム110がビデオゲームアプリケーション140の実行を制御する信号(例えば、ビデオゲームコントローラ120から受信する)を同時に受信して処理していることがある場合でさえ、ビデオゲームシステム110がリモコン204によって送信されている信号を受信して処理することができることを理解されたい。
一例では、フローは動作810を含み、この動作810は、信号がメディアアプリケーションの実行を制御することに対応することを、マッピングに基づいて判定することを含む。いくつかの実施形態では、この判定は、どのアプリケーションが制御されるべきか(例えば、図7、列712)、そしてどのアプリケーション機能が実行されるべきか(例えば、図7、列714)を指定するマッピングの一部に基づいて実行されてもよい。いくつかの実施形態では、この判定は、上記のように、信号処理アプリケーション154によって実行されてもよく、次いで、デジタル出力(例えば、リモコン204からの入力に対応する)が適切なメディアアプリケーションにルーティングされてもよい。
一例では、フローは動作812を含み、この動作812は、フォアグラウンドにビデオゲーム出力の提示が続行しながら、信号に基づいてメディアアプリケーションの実行を制御することを含む。一例では、動作810中での適切なメディアアプリケーションへのリモコンのコマンドのルーティングに続いて、ビデオゲームシステム110は、メディア出力の態様における変更を引き起こす1つ以上のステップを実行することによって、メディアアプリケーションの実行を制御することができる。メディア出力における特定の変更の結果、特定のメディア出力(例えば、オーディオチャネル、ビデオチャネル)内に含まれるコンポーネントチャネルのいずれか1つ以上に変更をもたらす可能性があることを理解されたい。さらに、メディア出力の態様における変更は、合成出力の態様を変更することを含む場合がある(例えば、メディア出力及びビデオゲーム出力を別個の入力として受信する、上記のレンダリングプロセスを介して)。
図9は、本開示の実施形態による、ホーム画面出力がフォアグラウンドに提示されていながら、メディアアプリケーションの実行を制御するための例示的なフローを示す。いくつかの実施形態では、フロー900は、図5を参照して説明される動作に対応してもよい。
一例では、フローは動作902を含み、この動作902は、ディスプレイのフォアグラウンドに、ネイティブシステムアプリケーションの実行に基づいてホーム画面出力を提示することを含む。フロー800の動作802とプロシージャ上、類似しているが、ビデオゲーム出力404をディスプレイに提示する代わりに、ネイティブシステムアプリケーション152のホーム画面出力504をディスプレイ502のフォアグラウンド(例えば、メイン画面)に提示することができる。上記のように、いくつかの実施形態では、ビデオゲームシステム110は、ボタンを押下するユーザ122に対応するユーザインタラクション(例えば、信号の形式で)を受信すると、フォアグラウンドで実行しているアプリケーション(例えば、ビデオゲームアプリケーション140)を最初に終了することができ、その後、ネイティブシステムアプリケーション152を自動的に起動する、及び/またはアクティブにすることができる。
一例では、フローは動作904を含み、この動作904は、ホーム画面出力がフォアグラウンドに提示されていながら、メディアアプリケーションの実行に基づいてメディア出力をディスプレイに提示することを含む。いくつかの実施形態では、ビデオゲーム出力ではなくホーム画面出力がディスプレイ502に同時に提示されていることを除いて、動作904は、フロー800の動作804と実質的に同様であることができる。
一例では、フローは動作906を含み、この動作906は、リモコンの複数のボタンの第一セットがメディアアプリケーションの実行を制御するために使用されることを示す第一マッピング、及び複数のボタンの第二セットがネイティブシステムアプリケーションの実行を制御するために使用されることを示す第二マッピングを維持することを含む。いくつかの実施形態では、動作906は、表1~表4または図7に対応することができる、マッピングがメモリ内に維持されるという点で、フロー800の動作806と同様であることができる。ただし、メディアアプリケーションを制御することができるボタンの第一セットに加えて、ボタンの第二セット(第一セットとは異なる)を使用して、ネイティブシステムアプリケーションを制御することができる。第一及び第二マッピングが上述されているが、これは説明のみを目的としていることを理解されたい。本明細書に説明されるフローのいずれかに適用可能でもある、この例では、複数のマッピングは、同じグローバルマッピングテーブル(例えば、表1~表)内に含まれることができる。
一例では、フローは動作908を含み、この動作908は、ホーム画面出力がフォアグラウンドにありながら、第一セットからのボタンの押下に対応する第一信号をリモコンから受信することを含む。いくつかの実施形態では、リモコン204による信号の送信、及びビデオゲームシステム110による信号の受信は、フロー800の動作808と実質的に同様であることができる。動作908が第一セットからのボタンの押下に対応する信号を説明するが、別の実施形態では、信号が代わりに第二セットからのボタンの押下に対応する(例えば、ネイティブシステムアプリケーションの実行を制御することに対応する)ことができることを理解されたい。(第二セットからのボタンを押下する場合、以下の動作910、912は、メディアアプリケーションの代わりにネイティブシステムアプリケーション152を制御することに対応する。)ビデオゲームシステム110は、1つのアプリケーションからもう1つのアプリケーションにフォーカスを切り替えるボタンの押下に対応するユーザインタラクション(例えば、信号の形式で)を必要とせずに、この動作908を実行することができる。この方法では、ビデオゲームシステム110は、同じリモコン204からの両方のアプリケーションとのユーザ112のインタラクションを同時に可能にする。
一例では、フローは動作910を含み、この動作910は、第一信号がメディアアプリケーションの実行を制御することに対応することを、第一マッピングに基づいて判定することを含む。いくつかの実施形態では、ビデオゲームシステム110は、フロー800の動作810中のステップと実質的に同様のステップを動作910中に実行する。
一例では、フローは動作912を含み、この動作912は、フォアグラウンドにホーム画面出力の提示が続行しながら、第一信号に基づいてメディアアプリケーションの実行を制御することを含む。いくつかの実施形態では、ビデオゲームシステム110は、フロー800の動作812中のステップと実質的に同様のステップを動作912中に実行する。
図10は、本開示の実施形態による、別のメディアアプリケーションがフォアグラウンドに提示されていながら、第二メディアアプリケーションの実行を制御するための例示的なフローを示す。いくつかの実施形態では、フロー1000は、図6を参照して説明される動作に対応してもよい。
一例では、フローは動作1002を含み、この動作1002は、ビデオゲームアプリケーション以外のメディアアプリケーションの実行に基づいてメディア出力を、ディスプレイのフォアグラウンドに提示することを含む。いくつかの実施形態では、メディア出力604は、メディアアプリケーション142~148のうちの1つからの出力に対応してもよい。いくつかの実施形態では、メディア出力604は、ディスプレイ602のメイン画面604に提示されてもよい。動作902に説明されているものと同様に、いくつかの実施形態では、ビデオゲームシステム110は、ボタンを押下するユーザ122に対応するユーザインタラクション(例えば、信号の形式で)を受信すると、フォアグラウンドで実行しているアプリケーション(例えば、ビデオゲームアプリケーション140)を最初に終了することができる。次に、ボタンを押下するユーザ122に対応する後続のユーザインタラクション(例えば、別の信号の形式で)を受信すると、ビデオゲームシステム110は、メディアアプリケーションを起動することができる。
一例では、フローは、動作1004を含み、この動作1004は、メディア出力がフォアグラウンドに提示されながら、ビデオゲームアプリケーション以外の第二メディアアプリケーションの実行に基づいて第二メディア出力をディスプレイに提示することを含む。いくつかの実施形態では、第二メディアアプリケーションは、動作804中のメディアアプリケーションと同様に起動され、提示されてもよい(例えば、PIPディスプレイを介してフォアグラウンドに、またはメディアアプリケーションのGUIがディスプレイから隠されているバックグラウンドに提示される)。
一例では、フローは動作1006を含み、この動作1006は、リモコンの複数のボタンの第一セットがメディアアプリケーションの実行を越える制御を提供することを示す第一マッピングを維持することを含む。先に議論されているように、いくつかの実施形態では、第一マッピングは、第一セットがリモコン204のすべてのボタンを含み、すべてのボタンが有効であることを示すことができる。他の実施形態では、第一セットは、メディアアプリケーションの実行を制御するために有効にされるリモコン204のボタンのサブセットを含んでもよく、一例では、他のボタンは無効にされてもよい。
一例では、フローは動作1008を含み、この動作1008は、リモコンから信号を受信することを含み、この信号は複数のボタンのうちの1つのボタンの押下に対応する。いくつかの実施形態では、押下されるボタンは、ホームボタン208に対応してもよい。
一例では、フローは動作1010を含み、この動作1010は、信号に基づいて、コントロールセンターを起動することを含む。いくつかの実施形態では、ビデオゲームシステム110は、信号(例えば、ユーザによるリモコン204のボタンの押下に対応するユーザインタラクション)を受信すると、メニューアプリケーション150をアクティブにして、コントロールセンター112をディスプレイ130に提示することができる。一例では、コントロールセンター112は、GUIメニュー、または任意の他の適切なGUIとして提示してもよい。
一例では、フローは動作1012を含み、この動作1012は、コントロールセンターを起動することに基づいて、複数のボタンの第二セットが第二メディアアプリケーションの実行を制御するために再設定されることを示す第二マッピングを維持することを含み、そこでは第二セットは第一セットのサブセットを含む。いくつかの実施形態では、コントロールセンターが動作1010中にアクティブにされると、ビデオゲームシステム110は、メディアアプリケーション(メディア出力604として提示する)から第二メディアアプリケーション(第二メディア出力606として提示する)にアプリケーションフォーカスをトグルする、リモコン204のボタンのユーザによる押下に対応するユーザインタラクション(例えば、信号の形式で)を受信することができる。
いくつかの実施形態では、マッピングテーブル(例えば、表1、行7)は、ボタンの第二セットがどのように再設定されるべきかを示す1つ以上のエントリを有することができる。表1、行7の例では、ビデオゲームシステム110がアプリケーションフォーカスをトグルした後、メディアトランスポートコントロールボタン224は第二メディアアプリケーションを制御するようにマッピングされる。再設定されていない残りのボタンは、メディアアプリケーションを制御するように引き続きマッピングされてもよい。
一例では、フローは動作1014を含み、この動作1014は、リモコンから第二信号を受信することを含み、第二信号は第二セットのボタンの押下に対応する。いくつかの実施形態では、動作1014は、動作808と同様のステップを含むことができる(違いは押下されるボタンが再設定されたボタンの第二セット内にあるため、第二メディアアプリケーションの実行を制御するために異なる信号を送信することである)。
一例では、フローは動作1016を含み、この動作1016は、第二信号が第二メディアアプリケーションの実行を制御することに対応することを、第二マッピングに基づいて判定することを含む。いくつかの実施形態では、動作1016は、動作810と同様のステップを含むことができる。
一例では、フローは動作1018を含み、この動作1018は、フォアグラウンドにメディア出力の提示が続行しながら、第二信号に基づいて第二メディアアプリケーションの実行を制御することを含む。いくつかの実施形態では、動作1018は、動作812と同様のステップを含むことができる。
図11は、さまざまな実施形態による、コンピュータシステム1100を実装するのに適したハードウェアシステムの一例を示す。コンピュータシステム1100は、例えば、コンピュータシステム、ビデオゲームシステム、モバイルユーザデバイス、近接デバイス、ウェアラブルジェスチャデバイス、及び/または中央コンピュータのコンポーネントを表す。コンピュータシステム1100は、ソフトウェアアプリケーション及び任意選択でオペレーティングシステムを実行する中央処理装置(CPU)1105を含む。CPU1105は、1つ以上のホモジニアスまたはヘテロジニアスの処理コアで構成されてよい。メモリ1110は、CPU1105による使用のためにアプリケーション及びデータを格納する。ストレージ1115は、アプリケーション及びデータに不揮発性ストレージ、及び他のコンピュータ可読媒体を提供し、固定ディスクドライブ、リムーバブルディスクドライブ、フラッシュメモリデバイス、及びCD-ROM、DVD-ROM、Blu-ray(登録商標)、HD-DVD、または他の光ストレージデバイス、ならびに信号伝送及び記憶媒体を含んでもよい。
ユーザ入力デバイス1120は、1人以上のユーザからコンピュータシステム1100にユーザ入力を通信し、その例は、キーボード、マウス、ジョイスティック、タッチパッド、タッチスクリーン、スチルまたはビデオカメラ、及び/またはマイクロホンを含んでもよい。ネットワークインタフェース1125は、コンピュータシステム1100が電子通信ネットワーク経由で他のコンピュータシステムと通信することを可能にし、ローカルエリアネットワーク、及びインターネットなどのワイドエリアネットワークを介した有線または無線通信を含んでもよい。オーディオプロセッサ1155は、CPU1105、メモリ1110、及び/またはストレージ1115が提供する命令及び/またはデータから、アナログまたはデジタルのオーディオ出力を生成するように適合される。CPU1105、メモリ1110、データストレージ1115、ユーザ入力デバイス1120、ネットワークインタフェース1125、及びオーディオプロセッサ1155を含むコンピュータシステム1100のコンポーネントは、1つ以上のデータバス1160経由で接続される。
グラフィックスサブシステム1130は、データバス1160、及びコンピュータシステム1100のコンポーネントにさらに接続される。グラフィックスサブシステム1130は、グラフィックスプロセッシングユニット(GPU)1135、及びグラフィックスメモリ1140を含む。グラフィックスメモリ1140は、出力画像の画素ごとに画素データを格納するために使用される表示メモリ(例えばフレームバッファ)を含む。グラフィックスメモリ1140は、GPU1135と同じデバイスに統合されてもよい、GPU1135を有する別個のデバイスとして接続されてもよい、及び/またはメモリ1110内に実装されてもよい。
画素データは、CPU1105から直接にグラフィックスメモリ1140に提供されることができる。あるいは、CPU1105は、所望の出力画像を規定するデータ及び/または命令をGPU1135に提供し、これらから、GPU1135は1つ以上の出力画像の画素データを生成する。所望の出力画像を規定するデータ及び/または命令は、メモリ1110及び/またはグラフィックスメモリ1140内に格納され得る。ある実施形態では、GPU1135は、シーンのジオメトリ、照明、シェーディング、質感、動き、及び/またはカメラのパラメータを定義する命令及びデータから、出力画像の画素データを生成する3Dレンダリング機能を含む。GPU1135は、シェーダプログラムを実行することが可能な1つ以上のプログラム可能な実行部をさらに含むことができる。
グラフィックスサブシステム1130は、グラフィックスメモリ1140から画像の画素データを定期的に出力して、表示装置1150に表示させる。表示装置1150は、CRT、LCD、プラズマ、及びOLEDディスプレイを含む、コンピュータシステム1100からの信号に応答して視覚情報を表示することが可能な任意のデバイスであり得る。コンピュータシステム1100は、アナログまたはデジタル信号を表示装置1150に提供することができる。
さまざまな実施形態によれば、CPU1105は、1つ以上の処理コアを有する1つ以上の汎用マイクロプロセッサである。さらなる実施形態は、高度並列及び計算に強いアプリケーション、例えばメディア及び双方向娯楽アプリケーションなどに特に適合された、マイクロプロセッサアーキテクチャを有する1つ以上のCPU1105を使用して実装され得る。
システムのコンポーネントは、ネットワークを介して接続されてもよい。このネットワークは、異なる実施形態では、次の、インターネット、IPネットワーク、イントラネット、ワイドエリアネットワーク(「WAN」)、ローカルエリアネットワーク(「LAN」)、仮想プライベートネットワーク(「VPN」)、公衆交換電話網(「PSTN」)、または本明細書に記載のデバイス間のデータ通信をサポートする任意の他のタイプのネットワークのいずれかの組み合わせであってもよい。ネットワークは、光リンクを含む有線接続と無線接続の両方を含んでもよい。本開示に照らして、他の多くの例が可能であり、当業者には明らかである。本明細書の議論において、ネットワークは特に言及されてもされなくてもよい。
本開示の実施形態の例は、以下の態様を鑑みて説明されることができる。
態様1.1つ以上のメディアアプリケーションを制御するように構成される第一入力デバイスと、1つ以上のビデオゲームアプリケーションを制御するように構成される第二入力デバイスと、前記第一入力デバイス及び前記第二入力デバイスと通信可能に結合されるビデオゲームシステムと、を含む、コンピュータシステム。前記ビデオゲームシステムは、プロセッサ、及び命令を格納するメモリを含み、前記命令は、前記プロセッサによる実行時に、前記ビデオゲームシステムが、ディスプレイのフォアグラウンドに、前記第二入力デバイスからのビデオゲームアプリケーション及びコマンドの実行に基づいてビデオゲーム出力を提示することと、前記ビデオゲーム出力が前記フォアグラウンドに提示されていながら、前記ビデオゲームアプリケーション以外のメディアアプリケーションの実行に基づいてメディア出力を前記ディスプレイに提示することと、前記第一入力デバイスで受信した複数のユーザ入力の第一セットが前記メディアアプリケーションの前記実行を制御するために使用されることを示すマッピングを維持することと、前記フォアグラウンドに前記ビデオゲーム出力を提示していながら、前記第一セットの第一ユーザ入力に対応する信号を前記第一入力デバイスから受信することと、前記マッピングに基づいて、前記信号が前記メディアアプリケーションの前記実行を制御することに対応することを判定することと、前記フォアグラウンドで前記ビデオゲーム出力の前記提示が続行していながら、前記信号に基づいて前記メディアアプリケーションの前記実行を制御することと、を引き起こす。
態様2.前記第一入力デバイスはリモコンであり、前記第二入力デバイスはビデオゲームコントローラであり、前記第一ユーザ入力は前記リモコンのボタンの押下であり、前記命令の前記実行は、前記ビデオゲームシステムが前記ディスプレイの前記フォアグラウンドに前記メディア出力を提示することをさらに引き起こし、前記メディア出力は、前記ビデオゲーム出力と組み合わせて提示され、前記メディアアプリケーションの前記実行を制御することは、前記メディア出力の態様を変更することを含む、態様1に記載のコンピュータシステム。
態様3.前記第一入力デバイスはリモコンであり、前記第二入力デバイスはビデオゲームコントローラであり、前記第一ユーザ入力は前記リモコンのボタンの押下であり、前記命令の前記実行は、前記ビデオゲームシステムが前記ディスプレイの前記フォアグラウンドに前記メディア出力を提示することをさらに引き起こし、前記メディア出力は、前記ビデオゲーム出力と組み合わせて提示され、前記メディアアプリケーションの前記実行を制御することは、前記メディア出力の態様を変更することを含む、態様2に記載のコンピュータシステム。
態様4.前記メディア出力は、前記ディスプレイのバックグラウンドに提示され、前記メディアアプリケーションの前記実行を制御することは、前記バックグラウンドに前記メディア出力を維持していながら前記メディア出力の態様を変更することを含む、先行する態様1から3のいずれかに記載のコンピュータシステム。
態様5.前記命令の前記実行は、前記ビデオゲームシステムが、前記マッピングに基づいて、前記複数のユーザ入力の第二セットが前記メディアアプリケーションの前記実行を制御するために使用されていないことを判定することであって、前記第二セットは前記第一セットとは異なる、前記判定することと、前記第二セットの第二ユーザ入力に対応する第二信号を受信することに応答して、前記第二信号を無視することと、をさらに引き起こす、先行する態様1から4のいずれかに記載のコンピュータシステム。
態様6.前記命令の前記実行は、前記ビデオゲームシステムが、前記ディスプレイの前記フォアグラウンドに、ネイティブシステムアプリケーションの実行に基づいてホーム画面出力を提示することと、前記ホーム画面出力が前記フォアグラウンドにありながら、前記第一セットの第二ユーザ入力に対応する第二信号を前記第一入力デバイスから受信することと、前記マッピングに基づいて、前記第二信号が前記メディアアプリケーションの前記実行を制御することに対応することを判定することと、前記フォアグラウンドで前記ホーム画面出力の前記提示が続行していながら、前記第二信号に基づいて前記メディアアプリケーションの前記実行を制御することと、をさらに引き起こす、先行する態様1から5のいずれかに記載のコンピュータシステム。
態様7.前記マッピングは、前記複数のユーザ入力の第二セットが前記ネイティブシステムアプリケーションの前記実行を制御するために使用されることをさらに示し、前記命令の前記実行は、前記ビデオゲームシステムが、前記第一入力デバイスから、前記第二セットの第三ユーザ入力に対応する第三信号を受信することと、前記マッピングに基づいて、前記第三信号が前記ネイティブシステムアプリケーションの前記実行を制御することに対応することを判定することと、前記ディスプレイで前記メディア出力の前記提示が続行していながら、前記第三信号に基づいて前記ネイティブシステムアプリケーションの前記実行を制御することと、をさらに引き起こす、態様6に記載のコンピュータシステム。
態様8.前記マッピングは、前記メディアアプリケーションの前記実行の前記制御、前記ネイティブシステムアプリケーションの前記実行の前記制御、及び前記ビデオゲームアプリケーションの前記実行の前記制御を定義し、前記命令の前記実行は、前記ビデオゲームシステムが、前記ホーム画面出力を提示する前に、前記第一入力デバイスから前記第三信号を受信することであって、前記第三信号は第四ユーザ入力に対応する、前記受信することと、前記マッピングに基づいて、前記第三信号の前記受信に応答して、前記ビデオゲームアプリケーションを終了することと、をさらに引き起こす、態様7に記載のコンピュータシステム。
態様9.前記第一入力デバイスはリモコンであり、前記マッピングは前記リモコンのボタンの状態を示し、前記状態は、有効または無効のうちの1つであり、実行されたアプリケーションに基づいて変化する、先行する態様1から8のいずれかに記載のコンピュータシステム。
態様10.前記第一入力デバイスはリモコンであり、前記リモコンのボタンは、前記ディスプレイの前記メディア出力を早送りする、または巻き戻しすることを可能にするように構成される、先行する態様1から態様8のいずれかに記載のコンピュータシステム。
態様11.プロセッサ、及び命令を格納するメモリを含むビデオゲームシステムであって、前記命令は、前記プロセッサによる実行時に、前記ビデオゲームシステムが、ディスプレイのフォアグラウンドに、第一入力デバイスからのビデオゲームアプリケーション及びコマンドの実行に基づいてビデオゲーム出力を提示することと、前記ビデオゲーム出力が前記フォアグラウンドに提示されていながら、前記ビデオゲームアプリケーション以外のメディアアプリケーションの実行に基づいてメディア出力を前記ディスプレイに提示することと、前記ビデオゲーム出力が前記フォアグラウンドにありながら、第二入力デバイスから信号を受信することであって、前記第二入力デバイスは前記ビデオゲームシステムと通信可能に結合され、複数のユーザ入力に基づいて前記メディアアプリケーションを制御するように構成され、前記複数のユーザ入力はユーザ入力の第一セットを含み、前記信号は前記第一セットの第一ユーザ入力に対応する、前記受信することと、前記第一セットが前記メディアアプリケーションの前記実行を制御するために使用されることを示すマッピングを維持することと、前記信号が前記メディアアプリケーションの前記実行を制御することに対応することを前記マッピングに基づいて判定することと、前記フォアグラウンドで前記ビデオゲーム出力の前記提示が続行していながら、前記信号に基づいて前記メディアアプリケーションの前記実行を制御することと、を引き起こす、前記ビデオゲームシステム。
態様12.前記命令の前記実行は、前記ビデオゲームシステムが前記ディスプレイの前記フォアグラウンドに前記メディア出力を提示することであって、前記メディア出力は前記ビデオゲーム出力と組み合わせて提示され、前記メディアアプリケーションの前記実行を制御することは前記メディア出力の態様を変更することを含む、前記提示することと、をさらに引き起こす、態様11に記載のビデオゲームシステム。
態様13.前記メディア出力は、前記ディスプレイのバックグラウンドに提示され、前記メディアアプリケーションの前記実行を制御することは、前記バックグラウンドに前記メディア出力を維持していながら前記メディア出力の態様を変更することを含む、先行する態様11から12のいずれかに記載のビデオゲームシステム。
態様14.前記命令の前記実行は、前記ビデオゲームシステムが、前記マッピングに基づいて、ユーザ入力の第二セットが前記メディアアプリケーションの前記実行を制御するために使用されていないことを判定することと、前記第二セットの第二ユーザ入力に対応する信号を受信することに応答して、前記信号を無視することと、をさらに引き起こす、先行する態様11から13のいずれかに記載のビデオゲームシステム。
態様15.前記命令の前記実行は、前記ビデオゲームシステムが、前記ディスプレイの前記フォアグラウンドに前記メディア出力を提示することと、前記メディア出力が前記フォアグラウンドにありながら前記ビデオゲームコントローラからコマンドを受信することと、前記コマンドに基づいて、前記フォアグラウンドで前記メディア出力の前記提示が続行していながら、前記ビデオゲーム出力の態様を変更することと、をさらに引き起こす、先行する態様11から14のいずれかに記載のビデオゲームシステム。
態様16.前記マッピングは、第二ユーザ入力セットがネイティブシステムアプリケーションの実行を制御するために使用されることをさらに示し、前記命令の前記実行は、前記ビデオゲームシステムが、前記ディスプレイの前記フォアグラウンドに、前記ネイティブシステムアプリケーションの前記実行に基づいてホーム画面出力を提示することと、前記ホーム画面出力が前記フォアグラウンドに提示されていながら、前記メディア出力を前記ディスプレイに提示し続けることと、前記ホーム画面出力が前記フォアグラウンドにありながら、前記第二セットの第二ユーザ入力に対応する第二信号を前記第二入力デバイスから受信することと、前記マッピングに基づいて、前記第二信号が前記ネイティブシステムアプリケーションの前記実行を制御することに対応することを判定することと、前記ディスプレイで前記メディア出力の前記提示が続行していながら、前記第二信号に基づいて前記ネイティブシステムアプリケーションの前記実行を制御することと、をさらに引き起こす、先行する態様11から15のいずれかに記載のビデオゲームシステム。
態様17.命令を格納する非一時的なコンピュータ可読記憶媒体であって、前記命令は、ビデオゲームシステム上での実行時に、前記ビデオゲームシステムが、ディスプレイのフォアグラウンドに、ビデオゲームアプリケーションの実行に基づいてビデオゲーム出力を提示することと、前記ビデオゲーム出力が前記フォアグラウンドに提示されていながら、前記ビデオゲームアプリケーション以外のメディアアプリケーション、及び第一入力デバイスのコントローラからのコマンドの実行に基づいてメディア出力を前記ディスプレイに提示することと、前記ビデオゲーム出力が前記フォアグラウンドにありながら、第二入力デバイスから信号を受信することであって、前記第二入力デバイスは前記ビデオゲームシステムと通信可能に結合され、複数のユーザ入力に基づいて前記メディアアプリケーションを制御するように構成され、前記複数のユーザ入力はユーザ入力の第一セットを含み、前記信号は前記第一セットの第一ユーザ入力に対応する、前記受信することと、前記第一セットが前記メディアアプリケーションの前記実行を制御するために使用されることを示すマッピングを維持することと、前記マッピングに基づいて、前記信号が前記メディアアプリケーションの前記実行を制御することに対応することを判定することと、前記フォアグラウンドで前記ビデオゲーム出力の前記提示が続行していながら、前記信号に基づいて前記メディアアプリケーションの前記実行を制御することと、を含む動作を実行するように構成される、前記非一時的なコンピュータ可読記憶媒体。
態様18.前記動作は、前記ディスプレイに前記メディア出力を提示し続けることと、前記ディスプレイの前記フォアグラウンドに、前記ビデオゲームアプリケーション以外の第二メディアアプリケーションの実行に基づいて第二メディア出力を提示することと、前記複数のユーザ入力の第二セットが前記第二メディアアプリケーションの前記実行を制御するために使用されることを示す第二マッピングを維持することと、前記第二入力デバイスから第二信号を受信することであって、前記第二信号は前記複数のユーザ入力の第二ユーザ入力に対応する、前記受信することと、前記第二信号に基づいてコントロールセンターを起動することと、前記コントロールセンターを起動することに基づいて、前記複数のユーザ入力の1つ以上のユーザ入力の第三セットが前記メディアアプリケーションの前記実行を制御するために再設定されることを示す第三マッピングを維持することであって、前記第三セットは前記第二セットのサブセットを含む、前記維持することと、前記第二入力デバイスから第三信号を受信することであって、前記第三信号は前記第三セットの第三ユーザ入力に対応する、前記受信することと、前記第三マッピングに基づいて、前記第三信号が前記メディアアプリケーションの前記実行を制御することに対応することを判定することと、前記フォアグラウンドで前記第二メディア出力の前記提示が続行していながら、前記第三信号に基づいて前記メディアアプリケーションの前記実行を制御することと、をさらに含む、態様17に記載の非一時的なコンピュータ可読記憶媒体。
態様19.前記マッピングは、前記第二入力デバイスのトグルボタンが前記第二メディア出力と前記メディア出力との間でフォーカスをトグルするように設定されていることをさらに示し、前記コントロールセンターを起動する前記動作は、前記トグルボタンから第四信号を受信して前記フォーカスをトグルすることに応答して、前記第三マッピングを生成することをさらに含む、態様18に記載の非一時的なコンピュータ可読記憶媒体。
態様20.前記マッピングは、前記メディアアプリケーションの前記実行の前記制御すること、及び前記ビデオゲームアプリケーションの前記実行の前記制御することを定義し、前記動作は、前記第二メディア出力を提示する前に、前記第二入力デバイスからの第四信号を受信することであって、前記第四信号は前記第二入力デバイスの終了ボタンの押下に対応する、前記受信することと、前記第四信号を受信することに応答して、前記マッピングに基づいて、前記ビデオゲームアプリケーションを終了することと、をさらに含む、態様18に記載の非一時的なコンピュータ可読記憶媒体。
前述の本明細書では、本発明はその特定の実施形態を参照して説明されているが、当業者は、本発明がそれに限定されないことを認識するであろう。上記の本発明のさまざまな特徴及び態様は、個別に、または連携して使用されることができる。さらに、本発明は、本明細書のより広い趣旨及び範囲から逸脱することなく、本明細書に記載されているものを越える任意の数の環境及び用途で利用されることができる。それを受けて、本明細書及び図面は、限定的ではなく例示的と見なされるべきである。
上記で論じられている方法、システム、及びデバイスが例にすぎないことが意図されることに留意されたい。強調されなければならないことは、さまざまな実施形態が必要に応じてさまざまな手順または構成要素を省略する、置換する、または追加することができることである。例えば、代替の実施形態では、方法が記載されているものとは異なる順序で実行されることができること、そしてさまざまなステップが追加される、省略される、または組み合わされることができることを理解されたい。また、ある特定の実施形態に関して記載されている特徴は、他のさまざまな実施形態で組み合わされることができる。これらの実施形態の異なる態様及び要素は、同様の方法で組み合わされることができる。また、強調されなければならないことは、テクノロジーが進化しているため、これらの要素の多くは例であり、本発明の範囲を制限するように解釈されるべきではないことである。
これらの実施形態の完全な理解を提供するために、具体的な詳細が説明に与えられている。ただし、当業者には、実施形態がこれらの具体的な詳細なしに実施されることができることが理解されよう。例えば、実施形態を曖昧にすることを回避するために、周知の回路、プロセス、アルゴリズム、構造、及び技術は、不必要な詳細なしに示されている。
また、実施形態が流れ図またはブロック図として示されるプロセスとして説明されることができることに留意する。それぞれが動作を順次プロセスとして説明する場合があるが、動作の多くは並行して実行されることも、同時に実行されることもできる。また、動作の順序を並べ替えることができる。プロセスは、図面に含まれていない追加のステップを含む場合がある。
さらに、本明細書に開示されるように、「メモリ」または「メモリユニット」という用語は、データを格納するための1つ以上のデバイスを表すことができ、これらのデバイスは、情報を格納するために、読み出し専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、磁気RAM、コアメモリ、磁気ディスク記憶媒体、光記憶媒体、フラッシュメモリデバイス、または他のコンピュータ可読媒体を含むことができる。「コンピュータ可読媒体」という用語は、ポータブルまたは固定ストレージデバイス、光ストレージデバイス、無線チャネル、simカード、他のスマートカード、及び命令またはデータを格納する、含む、または搬送することができるさまざまな他の媒体を含むが、これらに限定されない。
さらに、実施形態は、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、またはそれらの任意の組み合わせによって実装されることができる。必要なタスクを実行するためのプログラムコードまたはコードセグメントは、ソフトウェア、ファームウェア、ミドルウェア、またはマイクロコードに実装されると、記憶媒体などのコンピュータ可読媒体に格納されることができる。プロセッサは必要なタスクを実行することができる。
別段に定められない限り、以下の特許請求の範囲に含む、本明細書に記載されている、すべての測定値、値、格付け、位置、大きさ、サイズ、及びその他の仕様は概算であり、正確ではない。それらは、それらが関連する機能、及びそれらが関連する当該技術において慣習的であるものと一致している合理的な範囲を有することが意図される。「おおよそ」は、±0.01%、±0.1%、±1%、±2%、±3%、±4%、±5%、±8%、±10%、±15%、±20%、±25%、またはその他の当該技術で知られているようなものの公差内にあるものを含む。「実質的に」は、66%、75%、80%、90%、95%、99%、99.9%、またはその用語が実質的に現れる文脈に応じて、その他の当該技術で知られている値を指す。
いくつかの実施形態を説明してきたが、当業者は、本発明の趣旨から逸脱することなく、さまざまな修正形態、代替構造、及び均等物を使用することができることを認識するであろう。例えば、上記の要素は、より大きなシステムのコンポーネントにすぎない場合があり、他の規則は、本発明の適用よりも優先される、またはその他の方法で本発明の適用を変更する場合がある。また、上記の要素を検討する前に、検討する間に、または検討した後に、いくつかのステップを実行することができる。したがって、上記の説明は、本発明の範囲を限定するものと解釈されるべきではない。

Claims (15)

  1. 1つ以上のメディアアプリケーションを制御するように構成される第一入力デバイスと、
    1つ以上のビデオゲームアプリケーションを制御するように構成される第二入力デバイスと、
    前記第一入力デバイス及び前記第二入力デバイスと通信可能に結合されるビデオゲームシステムと、を含むコンピュータシステムであって、
    前記ビデオゲームシステムは、
    プロセッサ、及び
    命令を格納するメモリを含み、
    前記命令により、前記プロセッサによる実行時に、前記ビデオゲームシステムが、
    ディスプレイのフォアグラウンドに、前記第二入力デバイスからのビデオゲームアプリケーション及びコマンドの実行に基づいてビデオゲーム出力を提示し、
    前記ビデオゲーム出力が前記フォアグラウンドに提示されながら、前記ビデオゲームアプリケーション以外のメディアアプリケーションの実行に基づいてメディア出力を前記ディスプレイに提示し、
    前記第一入力デバイスで受信する複数のユーザ入力の第一セットが前記メディアアプリケーションの前記実行を制御するために使用されることを示すマッピングを維持し、
    前記フォアグラウンドに前記ビデオゲーム出力を提示しながら、前記第一セットの第一ユーザ入力に対応する信号を前記第一入力デバイスから受信し、
    前記マッピングに基づいて、前記信号が前記メディアアプリケーションの前記実行を制御することに対応することを判定し、
    前記フォアグラウンドで前記ビデオゲーム出力の前記提示が続行していながら、前記信号に基づいて前記メディアアプリケーションの前記実行を制御する、コンピュータシステム。
  2. 前記第一入力デバイスはリモコンであり、
    前記第二入力デバイスはビデオゲームコントローラであり、
    前記第一ユーザ入力は前記リモコンのボタンの押下であり、
    前記命令の前記実行により、さらに、前記ビデオゲームシステムが、
    前記メディア出力を前記ディスプレイの前記フォアグラウンドに提示し、前記メディア出力は前記ビデオゲーム出力と組み合わせて提示され、前記メディアアプリケーションの前記実行を制御することは前記メディア出力の態様を変更することを含み、前記メディア出力の提示、及び前記ビデオゲーム出力の提示は、前記メディアアプリケーションからの前記メディア出力、及び前記ビデオゲームアプリケーションからの前記ビデオゲーム出力を別個の入力として受信するレンダリングプロセスに基づいて合成出力を提示する、請求項1に記載のコンピュータシステム。
  3. 前記命令の前記実行は、さらに、前記ビデオゲームシステムが、
    前記マッピングに基づいて、前記複数のユーザ入力の第二セットが前記メディアアプリケーションの前記実行を制御するために使用されていないことを判定し、前記第二セットは前記第一セットとは異なるものであり、
    前記第二セットの第二ユーザ入力に対応する第二信号を受信することに応答して、前記第二信号を無視させる、請求項1に記載のコンピュータシステム。
  4. 前記命令の前記実行により、さらに、前記ビデオゲームシステムが、
    前記ディスプレイの前記フォアグラウンドに、ネイティブシステムアプリケーションの実行に基づいてホーム画面出力を提示し、
    前記ホーム画面出力が前記フォアグラウンドにありながら、前記第一セットの第二ユーザ入力に対応する第二信号を前記第一入力デバイスから受信し、
    前記マッピングに基づいて、前記第二信号が前記メディアアプリケーションの前記実行を制御することに対応することを判定し、
    前記フォアグラウンドで前記ホーム画面出力の前記提示が続行していながら、前記第二信号に基づいて前記メディアアプリケーションの前記実行を制御させる、請求項1に記載のコンピュータシステム。
  5. 前記マッピングは、前記複数のユーザ入力の第二セットが前記ネイティブシステムアプリケーションの前記実行を制御するために使用されることをさらに示し、
    前記命令の前記実行により、さらに、前記ビデオゲームシステムに、
    前記第一入力デバイスから、前記第二セットの第三ユーザ入力に対応する第三信号を受信し、
    前記マッピングに基づいて、前記第三信号が前記ネイティブシステムアプリケーションの前記実行を制御することに対応することを判定し、
    前記ディスプレイで前記メディア出力の前記提示が続行していながら、前記第三信号に基づいて前記ネイティブシステムアプリケーションの前記実行を制御させる、請求項4に記載のコンピュータシステム。
  6. 前記マッピングは、前記メディアアプリケーションの前記実行の前記制御、前記ネイティブシステムアプリケーションの前記実行の前記制御、及び前記ビデオゲームアプリケーションの前記実行の前記制御を定義し、
    前記命令の前記実行により、さらに、前記ビデオゲームシステムが、
    前記ホーム画面出力を提示する前に、前記第一入力デバイスから第三信号を受信し、前記第三信号は第四ユーザ入力に対応するものであり、
    前記マッピングに基づいて、前記第三信号を受信することに応答して、前記ビデオゲームアプリケーションを終了させる、請求項5に記載のコンピュータシステム。
  7. プロセッサ、及び
    命令を格納するメモリ、
    を含むビデオゲームシステムであって、
    前記命令により、前記プロセッサによる実行時に、前記ビデオゲームシステムが、
    ディスプレイのフォアグラウンドに、第一入力デバイスからのビデオゲームアプリケーション及びコマンドの実行に基づいてビデオゲーム出力を提示し、
    前記ビデオゲーム出力が前記フォアグラウンドに提示されていながら、前記ビデオゲームアプリケーション以外のメディアアプリケーションの実行に基づいてメディア出力を前記ディスプレイに提示し、
    前記ビデオゲーム出力が前記フォアグラウンドにありながら、第二入力デバイスから信号を受信し、前記第二入力デバイスは前記ビデオゲームシステムと通信可能に結合され、複数のユーザ入力に基づいて前記メディアアプリケーションを制御するように構成され、前記複数のユーザ入力はユーザ入力の第一セットを含み、前記信号は前記第一セットの第一ユーザ入力に対応するものであり、
    前記第一セットが前記メディアアプリケーションの前記実行を制御するために使用されることを示すマッピングを維持し、
    前記マッピングに基づいて、前記信号が前記メディアアプリケーションの前記実行を制御することに対応することを判定し、
    前記フォアグラウンドで前記ビデオゲーム出力の前記提示が続行していながら、前記信号に基づいて前記メディアアプリケーションの前記実行を制御する、ビデオゲームシステム。
  8. 前記命令の前記実行により、さらに、前記ビデオゲームシステムが、
    前記メディア出力を前記ディスプレイの前記フォアグラウンドに提示し、前記メディア出力は前記ビデオゲーム出力と組み合わせて提示され、前記メディアアプリケーションの前記実行を制御することは前記メディア出力の態様を変更するものである、請求項7に記載のビデオゲームシステム。
  9. 前記メディア出力は、前記ディスプレイのバックグラウンドに提示され、
    前記メディアアプリケーションの前記実行の制御では、前記バックグラウンドに前記メディア出力を維持していながら、前記メディア出力の態様を変更する、請求項7に記載のビデオゲームシステム。
  10. 前記命令の前記実行では、前記ビデオゲームシステムが、
    前記マッピングに基づいて、ユーザ入力の第二セットが前記メディアアプリケーションの前記実行を制御するために使用されていないことを判定し、
    前記第二セットの第二ユーザ入力に対応する信号を受信することに応答して、前記信号を無視する、請求項7に記載のビデオゲームシステム。
  11. 前記命令の前記実行により、さらに、前記ビデオゲームシステムが、
    前記メディア出力を前記ディスプレイの前記フォアグラウンドに提示し、
    前記メディア出力が前記フォアグラウンドにありながら、前記第一入力デバイスからコマンドを受信し、
    前記コマンドに基づいて、前記フォアグラウンドで前記メディア出力の前記提示が続行していながら、前記ビデオゲーム出力の態様を変更する、請求項7に記載のビデオゲームシステム。
  12. 前記マッピングは、ユーザ入力の第二セットがネイティブシステムアプリケーションの実行を制御するために使用されることをさらに示し、
    前記命令の前記実行により、前記ビデオゲームシステムが、
    前記ディスプレイの前記フォアグラウンドに、前記ネイティブシステムアプリケーションの前記実行に基づいてホーム画面出力を提示し、
    前記ホーム画面出力が前記フォアグラウンドに提示されていながら、前記メディア出力を前記ディスプレイに提示し続け、
    前記ホーム画面出力が前記フォアグラウンドにありながら、前記第二セットの第二ユーザ入力に対応する第二信号を前記第二入力デバイスから受信し、
    前記マッピングに基づいて、前記第二信号が前記ネイティブシステムアプリケーションの前記実行を制御することに対応することを判定し、
    前記ディスプレイで前記メディア出力の前記提示が続行していながら、前記第二信号に基づいて前記ネイティブシステムアプリケーションの前記実行を制御する、請求項7に記載のビデオゲームシステム。
  13. 命令を格納する非一時的なコンピュータ可読記憶媒体であって、
    前記命令は、ビデオゲームシステム上での実行時に、前記ビデオゲームシステムが、
    ディスプレイのフォアグラウンドに、ビデオゲームアプリケーションの実行に基づいてビデオゲーム出力を提示し、
    前記ビデオゲーム出力が前記フォアグラウンドに提示されていながら、第一入力デバイスのコントローラからの、前記ビデオゲームアプリケーション以外のメディアアプリケーション及びコマンドの実行に基づいてメディア出力を前記ディスプレイに提示し、
    前記ビデオゲーム出力が前記フォアグラウンドにありながら、第二入力デバイスから信号を受信し、前記第二入力デバイスは前記ビデオゲームシステムと通信可能に結合され、複数のユーザ入力に基づいて前記メディアアプリケーションを制御するように構成され、前記複数のユーザ入力はユーザ入力の第一セットを含み、前記信号は前記第一セットの第一ユーザ入力に対応するものであり、
    前記第一セットが前記メディアアプリケーションの前記実行を制御するために使用されることを示すマッピングを維持し、
    前記マッピングに基づいて、前記信号が前記メディアアプリケーションの前記実行を制御することに対応することを判定し、
    前記フォアグラウンドで前記ビデオゲーム出力の前記提示が続行していながら、前記信号に基づいて前記メディアアプリケーションの前記実行を制御する、という動作を実行するように構成される、非一時的なコンピュータ可読記憶媒体。
  14. 前記動作では、さらに、
    前記メディア出力を前記ディスプレイに提示し続け、
    前記ディスプレイの前記フォアグラウンドに、前記ビデオゲームアプリケーション以外の第二メディアアプリケーションの実行に基づいて第二メディア出力を提示し、
    前記複数のユーザ入力の第二セットが前記第二メディアアプリケーションの前記実行を制御するために使用されることを示す第二マッピングを維持し、
    前記第二入力デバイスから第二信号を受信し、前記第二信号は前記複数のユーザ入力の第二ユーザ入力に対応するものであり
    前記第二信号に基づいて、コントロールセンターを起動し、
    前記コントロールセンターを起動することに基づいて、前記複数のユーザ入力の1つ以上のユーザ入力の第三セットが前記メディアアプリケーションの前記実行を制御するために再設定されることを示す第三マッピングを維持し、前記第三セットは前記第二セットのサブセットを含むものであり、
    第三信号を前記第二入力デバイスから受信し、前記第三信号は前記第三セットの第三ユーザ入力に対応するものであり、
    前記第三マッピングに基づいて、前記第三信号が前記メディアアプリケーションの前記実行を制御することに対応することを判定し、
    前記フォアグラウンドで前記第二メディア出力の前記提示が続行していながら、前記第三信号に基づいて前記メディアアプリケーションの前記実行を制御する、請求項13に記載の非一時的なコンピュータ可読記憶媒体。
  15. 前記マッピングは、前記第二入力デバイスのトグルボタンが前記第二メディア出力と前記メディア出力との間でフォーカスをトグルするように設定されていることをさらに示し、
    前記コントロールセンターを起動する前記動作では、さらに、
    前記トグルボタンから第四信号を受信して前記フォーカスをトグルすることに応答して、前記第三マッピングを生成する、請求項14に記載の非一時的なコンピュータ可読記憶媒体。
JP2021559234A 2019-04-05 2020-03-30 リモートデバイスを使用したメディアマルチタスク Active JP7278409B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/376,942 US10751612B1 (en) 2019-04-05 2019-04-05 Media multi-tasking using remote device
US16/376,942 2019-04-05
PCT/US2020/025715 WO2020205734A1 (en) 2019-04-05 2020-03-30 Media multi-tasking using remote device

Publications (2)

Publication Number Publication Date
JP2022525433A JP2022525433A (ja) 2022-05-13
JP7278409B2 true JP7278409B2 (ja) 2023-05-19

Family

ID=72140803

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021559234A Active JP7278409B2 (ja) 2019-04-05 2020-03-30 リモートデバイスを使用したメディアマルチタスク

Country Status (4)

Country Link
US (2) US10751612B1 (ja)
EP (1) EP3949427A4 (ja)
JP (1) JP7278409B2 (ja)
WO (1) WO2020205734A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210402292A1 (en) * 2020-06-25 2021-12-30 Sony Interactive Entertainment LLC Method of haptic responses and interacting
EP4226638A1 (en) * 2020-10-06 2023-08-16 ARRIS Enterprises LLC System and method for audio control of concurrently displayed video programs
US11910130B2 (en) * 2021-03-02 2024-02-20 Carnegie Mellon University Media control device and system
CN113101648B (zh) * 2021-04-14 2023-10-24 北京字跳网络技术有限公司 一种基于地图的交互方法、设备及存储介质
US20220370899A1 (en) * 2021-05-24 2022-11-24 Yen-Ho Lu New-generation TV and an operational method for its gaming system integrated with a smartphone
JP7164750B1 (ja) * 2022-07-07 2022-11-01 株式会社あかつき 情報処理システム、情報処理装置、プログラム及び情報処理方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004038578A (ja) 2002-07-03 2004-02-05 Sony Corp 情報処理装置、情報処理方法、プログラム、記録媒体
JP2005523512A (ja) 2002-04-22 2005-08-04 トムソン ライセンシング ソシエテ アノニム リモートキーマネジャ
JP2016512357A (ja) 2013-03-15 2016-04-25 クアルコム,インコーポレイテッド バックグラウンドタスク用の対話式入力
US20180020041A1 (en) 2014-06-30 2018-01-18 Microsoft Technology Licensing, Llc Remote process management

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2427733A (en) * 2005-06-29 2007-01-03 Symbian Software Ltd Remote control
US20090066638A1 (en) * 2007-09-11 2009-03-12 Apple Inc. Association of virtual controls with physical controls
US8832769B2 (en) * 2007-10-16 2014-09-09 Microsoft Corporation Remote control based output selection
EP3634001A1 (en) * 2011-05-26 2020-04-08 LG Electronics Inc. Display apparatus for processing multiple applications and method for controlling the same
US20140121010A1 (en) * 2012-10-29 2014-05-01 Nishith Shah Method and system for video gaming using game-specific input adaptation
US20150128042A1 (en) * 2013-11-04 2015-05-07 Microsoft Corporation Multitasking experiences with interactive picture-in-picture
US10862948B1 (en) * 2014-04-04 2020-12-08 8X8, Inc. Virtual data centers
JP2016100639A (ja) * 2014-11-18 2016-05-30 三星電子株式会社Samsung Electronics Co.,Ltd. Av機器
US9632664B2 (en) * 2015-03-08 2017-04-25 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10203866B2 (en) * 2017-05-16 2019-02-12 Apple Inc. Devices, methods, and graphical user interfaces for navigating between user interfaces and interacting with control objects
US11036387B2 (en) * 2017-05-16 2021-06-15 Apple Inc. Devices, methods, and graphical user interfaces for navigating between user interfaces and interacting with control objects
US10751611B2 (en) * 2017-10-31 2020-08-25 Microsoft Technology Licensing, Llc Using a game controller as a mouse or gamepad

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005523512A (ja) 2002-04-22 2005-08-04 トムソン ライセンシング ソシエテ アノニム リモートキーマネジャ
JP2004038578A (ja) 2002-07-03 2004-02-05 Sony Corp 情報処理装置、情報処理方法、プログラム、記録媒体
JP2016512357A (ja) 2013-03-15 2016-04-25 クアルコム,インコーポレイテッド バックグラウンドタスク用の対話式入力
US20180020041A1 (en) 2014-06-30 2018-01-18 Microsoft Technology Licensing, Llc Remote process management

Also Published As

Publication number Publication date
WO2020205734A1 (en) 2020-10-08
US20200346107A1 (en) 2020-11-05
US10751612B1 (en) 2020-08-25
US11273369B2 (en) 2022-03-15
EP3949427A4 (en) 2023-01-04
JP2022525433A (ja) 2022-05-13
EP3949427A1 (en) 2022-02-09

Similar Documents

Publication Publication Date Title
JP7278409B2 (ja) リモートデバイスを使用したメディアマルチタスク
US11221747B2 (en) Method and apparatus for operating function in touch device
US9582246B2 (en) Voice-command suggestions based on computer context
WO2017032054A1 (zh) 一种播放速度调节方法及终端
US9883136B2 (en) System and method of outputting multi-lingual audio and associated audio from a single container
WO2018157812A1 (zh) 一种实现视频分支选择播放的方法及装置
WO2019197714A1 (en) Controlling audio in multi-viewpoint omnidirectional content
US9733897B2 (en) Method and apparatus of searching content
US20210357087A1 (en) Context-Based User Interface Menu with Selectable Actions
TWI702843B (zh) 遠端觸控操作的電視系統
WO2021178176A1 (en) A method for caching and presenting an interactive menu for disparate applications
US20220339540A1 (en) Game Console Application with Action Card Strand
US10391394B2 (en) System and method for providing a software application controller
US10862946B1 (en) Media player supporting streaming protocol libraries for different media applications on a computer system
KR20200108733A (ko) 게임 제공 장치 및 게임 제공 방법
US20240149174A1 (en) Contextually-Aware Platform Service Switcher

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211117

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221017

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221101

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230131

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230425

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230509

R150 Certificate of patent or registration of utility model

Ref document number: 7278409

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150