JP7278409B2 - リモートデバイスを使用したメディアマルチタスク - Google Patents
リモートデバイスを使用したメディアマルチタスク Download PDFInfo
- Publication number
- JP7278409B2 JP7278409B2 JP2021559234A JP2021559234A JP7278409B2 JP 7278409 B2 JP7278409 B2 JP 7278409B2 JP 2021559234 A JP2021559234 A JP 2021559234A JP 2021559234 A JP2021559234 A JP 2021559234A JP 7278409 B2 JP7278409 B2 JP 7278409B2
- Authority
- JP
- Japan
- Prior art keywords
- video game
- application
- output
- media
- execution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
- H04N21/4781—Games
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/25—Output arrangements for video game devices
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
- A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/50—Controlling the output signals based on the game progress
- A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/85—Providing additional services to players
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
- H04N21/42226—Reprogrammable remote control devices
- H04N21/42227—Reprogrammable remote control devices the keys being reprogrammable, e.g. soft keys
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
- H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/443—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
- H04N21/4438—Window management, e.g. event handling following interaction with the user interface
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/23—Input arrangements for video game devices for interfacing with the game device, e.g. specific interfaces between game controller and console
- A63F13/235—Input arrangements for video game devices for interfacing with the game device, e.g. specific interfaces between game controller and console using a wireless connection, e.g. infrared or piconet
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
- A63F2300/1025—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals details of the interface with the game device, e.g. USB version detection
- A63F2300/1031—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals details of the interface with the game device, e.g. USB version detection using a wireless connection, e.g. Bluetooth, infrared connections
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/30—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device
- A63F2300/308—Details of the user interface
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Business, Economics & Management (AREA)
- Marketing (AREA)
- Software Systems (AREA)
- User Interface Of Digital Computer (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Controls And Circuits For Display Device (AREA)
Description
本出願は、その全体があらゆる目的のために参照により本明細書に援用されている、2019年4月5日に出願された、米国特許出願第16/376,942号の利益を主張する。
ビデオゲームシステムは、ビデオゲームシステム上で同時に実行していることができる1つ以上のアプリケーション(例えば、ビデオゲームアプリケーション、音楽アプリケーション、ビデオアプリケーションまたは他のアプリケーション)を含んでもよい。第一アプリケーションは、ディスプレイのフォアグラウンドに表示されてもよい(例えば、出力を含むGUIウィンドウがアクティブ層に提示される)。ビデオゲームシステムは、リモコンから信号を受信する。ビデオゲームシステムは、信号を処理し、ビデオゲームシステム上で同時に実行している第二アプリケーションの出力のディスプレイの提示を制御するコマンドを出力する。このコマンドは、第一アプリケーションの出力がディスプレイのフォアグラウンドに提示され続けていながら実行される。
より具体的には、システムは、リモコン上でのボタン押下に対応する非ビデオゲームアプリケーションとのユーザインタラクションを受信することができ、このリモコン上でのボタン押下によって、信号(例えば、Bluetooth信号)は、非ビデオゲームアプリケーションに送信される(例えば、ビデオゲームシステムの信号プロセッサアプリケーションを介して)。ビデオゲーム出力がディスプレイのフォアグラウンドに残っていながら、非ビデオゲーム出力が提示されているのがディスプレイのフォアグラウンドであるか、バックグラウンドであるかに関係なく、非ビデオゲームアプリケーションは、リモコンを介してユーザによって開始されるコマンドを受信することができる。次に、非ビデオゲームアプリケーションは、受信した特定のコマンドに基づいて、ビデオゲーム出力がディスプレイのフォアグラウンドに提示され続けていながら、非ビデオゲーム出力の態様における変更(例えば、オーディオトラックを介した早送りまたは巻き戻し、ビデオの一時停止)を実行する。
その結果、ユーザは、フォーカスをその他の非ビデオゲームアプリケーションに最初に切り替える(例えば、フォアグラウンドに移動する)必要なく、ビデオゲームとインタラクトし続けることができるにもかかわらず、リモコンを使用して非ビデオゲームアプリケーションを制御することができる。特定の非ビデオゲームアプリケーションに関連付けられていないリモコン上のボタン押下に対応するユーザインタラクションをシステムが受信すると、システムは、ユーザインタラクションを処理し、コマンドを発行する必要がないと判定することができるため、非ビデオゲームアプリケーションの実行を制御するコマンドを出力しない。
ネイティブシステムアプリケーションは、例えば、ホーム画面UIに提示される異なるメディアコンテンツ(例えば、ビデオ選択)またはメディアアプリ(例えば、ソーシャルメディアアプリ、ビデオアプリケーションなど)を閲覧することに対応する、ユーザインタラクションをリモコンへのユーザ入力を介して受信してもよい。その間に、上記と同様に、非ビデオゲームアプリケーション(例えば、ビデオまたは音楽アプリケーション)もまた同時に、ビデオゲームシステム上で実行しており、非ビデオゲーム出力をディスプレイに提示していてもよい。
この使用例では、ビデオゲームシステムは、ネイティブシステムアプリケーションか、非ビデオゲームアプリケーションかいずれかの制御に対応するユーザ入力をリモコンから(そしてアプリケーションフォーカスの変更を最初に必要とせずに)受信することができる。例えば、リモコンの1つ以上のボタンは、ネイティブシステムアプリケーションを制御する動作にマッピングされるボタンの第一セットを形成してもよい。その間に、リモコンの1つ以上のボタンは、非ビデオゲームアプリケーションを制御する動作にマッピングされるボタンの第二セット(第一セットとは異なる)を形成してもよい。
ホーム画面出力がフォアグラウンドに提示されたままでありながら、ビデオゲームシステムは、非ビデオゲーム出力が提示されるのがディスプレイのフォアグラウンドであるか、バックグラウンドであるかに関係なく、ネイティブシステムアプリケーションの実行を制御する(例えば、指向性パッドボタンを使用してホーム画面UI上の次のビデオコンテンツにナビゲートする)ための、第一セットのボタンの押下に対応するユーザインタラクションを受信してもよい。さらに、ビデオゲームシステムは、ホーム画面出力がディスプレイのフォアグラウンドに提示され続けている間でさえ、非ビデオゲームアプリケーションの実行を制御する(例えば、音楽トラックを早送りする)ための、第二セットのボタンの押下に対応するユーザインタラクションも受信することができる。
上記の第一使用例に説明されている第一非ビデオゲームアプリケーションもまた、同時に、ビデオゲームシステム上で実行していてもよいし、ディスプレイのフォアグラウンド(例えば、PIP)か、バックグラウンド(例えば、ディスプレイUIから隠された)かいずれかの中に非ビデオゲーム出力を提示していてもよい。この例では、リモコンの1つ以上のボタンは、第二非ビデオゲームアプリケーションを制御する(例えば、第二非ビデオゲーム出力から生成されるGUI内に提示されるアイテムを選択する)動作にマッピングされるボタンの第一セットを形成してもよい。ビデオゲームシステムは、上記と同様の方法で第二非ビデオゲームアプリケーションを制御するための、第一セットのボタンの押下に対応するユーザインタラクションを受信してもよい。
さらに、第二非ビデオゲーム出力がフォアグラウンドに提示されたままでありながら、ビデオゲームシステムは、コントロールセンターを起動(またはアクティブ化)するリモコン上のボタンの押下に対応するユーザインタラクションを受信してもよい。コントロールセンターのアクティブ化に基づいて、第一セットのボタンのサブセット(例えば、第二セット)(例えば、第二非ビデオゲームアプリケーションの実行を制御するように以前は設定されている)は、第一非ビデオゲームアプリケーションの実行を制御するように再設定されてもよい。続いて、ビデオゲームシステムが第二セットのボタンの押下に対応するユーザインタラクションを受信する場合、ビデオゲームシステムは、第二非ビデオゲーム出力がフォアグラウンドに提示され続けている間でさえ、第一非ビデオゲームアプリケーションの実行を制御するために使用されるコマンドを出力する。
起動時に、インタラクトされている特定のアプリケーションがディスプレイのバックグラウンドにあることができる場合でも、GUIによって、ユーザはリモコンを介して複数のアプリケーションとインタラクトすることができてもよい。さらに、実行されているアプリケーションの特定の組み合わせとの同時ユーザインタラクションを本開示の実施形態が説明するが、本開示は、アプリケーションの他の組み合わせにも適用されることができ、その特定の組み合わせは、リモコンのボタンがアクティブである(例えば、特定のアプリケーションの実行を制御することができる)か、非アクティブであるかを判定してもよい、及び/またはリモコンを使用して特定のアプリケーション内で実行することができる機能を判定してもよい。これらの実施形態及び他の実施形態は、本明細書では次にさらに説明される。
ビデオゲームシステム110は、複数のタイプのアプリケーション140~154(例えば、ビデオゲームアプリケーション140、音楽アプリケーション142、ビデオアプリケーション144など)をサポートするコンピューティング環境を含むことで、アプリケーション140~154のうちの2つ以上は、コンピューティング環境内で同時に実行することができる。実行時に、アプリケーション(例えば、アプリケーション140~152)のうちの1つ以上は、それぞれ、ディスプレイ130に提示される出力を各生成することができる。
以降、特定のアプリケーションに関して以下でさらに詳細に説明されるように、そして別段に定められない限り、「メディアアプリケーション」という用語は、ユーザインタラクションのためにディスプレイ130に提示されるメディア出力(例えば、ビデオフィード、オーディオ出力、メッセージングウィンドウ、テキスト入力ウィンドウ、メニューなど)を生成する特定のタイプのアプリケーション(例えば、アプリケーション142~148)を指すために使用され、そこではメディアアプリケーションは、ビデオゲームアプリケーション140、メニューアプリケーション150、ネイティブシステムアプリケーション152、信号処理アプリケーション154のいずれでもない。ビデオゲームシステム110は、ビデオゲーム専用のコンピュータシステム、または汎用コンピュータシステムであることができ、そのようなシステムは、スタンドアロンシステムまたは分散システムであることができる。
ビデオゲームシステム110がビデオゲームコントローラ120からユーザインタラクションを受信すると、ビデオゲームシステム110は、ユーザインタラクションを処理し、システム110上で実行する適切なビデオゲームアプリケーション140にコマンドをルーティングすることができる。次に、ビデオゲームアプリケーション140は、コマンドを処理し、ディスプレイ130に提示されているビデオゲーム出力の態様における変更(例えば、ディスプレイ130上のユーザ122のアバターを、ある位置から別の位置に動かす)を引き起こすことができる。
ビデオゲームコントローラ120は、任意の適切な通信媒体及びプロトコル(例えば、IR、Bluetooth、ワイヤもしくはケーブル、光ファイバ、電話線、セルラーリンク、無線周波数(RF)リンク、WANもしくはLANネットワーク、インターネット、またはいずれかの他の適切な媒体)を使用して無線接続か有線接続かいずれかによってビデオゲームシステム110に結合されてもよい。
他のタイプのユーザデバイスは、ユーザジェスチャを監視するために光センサ及びプロセッサを有する光学系、自然言語発話を処理するためにマイクロホン及びプロセッサを含むスピーチシステム、またはいずれかの他のユーザデバイスもしくは入力/出力デバイスを含む。一般的には、そして図2及びその後の図解で議論されているように、リモコン170は、無線媒体(例えば、IR、Bluetooth)を介して信号を伝送し、以下のこのタイプの実施形態の使用は、本開示の範囲に制限をもたらすと解釈されるべきではない。例えば、リモコン170は、延長イーサネットケーブルまたはいずれかの他の適切な媒体を介してビデオゲームシステム110に直接接続されることができる。
さらに、ボタン押下は、メディアアプリケーションを制御するためのユーザ入力の一例である。制御に使用されるユーザデバイスのタイプに応じて、他のタイプのユーザ入力が可能である。例えば、制御アプリケーションをホストするモバイルデバイスの場合、モバイルデバイスは、ソフトボタン(GUIに表示されるアクション可能なオブジェクトなど)を提示することができ、制御に適したユーザ入力は、クリック、フィンガータップ、またはソフトボタンを含むフィンガージェスチャを有する。別の図解では、ユーザジェスチャを追跡する光学系の場合、それらのようなジェスチャはユーザ入力を表す。さらに別の図解では、自然言語発話を処理するスピーチシステムの場合、それらのような発話はユーザ入力である。
スピーカー(図1には示されていない)は、表示装置130に組み込まれてもよい、またはディスプレイ130に接続される(例えば、無線または有線)別個のデバイスであってもよい。いくつかの実施形態では、ディスプレイ130は、メディア出力を提示するために使用されることができる他のコンポーネント(図示せず)をさらに含んでもよい(例えば、TVに組み込まれる、または別個のデバイスに接続される)。これは、例えば、モザイク表示(例えば、複数のビデオモニタにわたるシームレス画像投影)を提示するように構成される他のビデオモニタまたはテレビを含んでもよい。別の例では、ディスプレイ130は、視覚的画像、オーディオ出力、または触覚フィードバックをユーザ122に提示するように構成されるヘッドセットデバイスからのコンポーネントを含んでもよい。
プロセッサ(複数可)は、ハードウェアに適切に実装されることができる。通信デバイスは、任意の適切な通信経路を使用して、リモコン170またはビデオゲームコントローラ120と通信するように構成されてもよい。一実施形態では、通信デバイスは、リモコン170及び/またはビデオゲームコントローラ120からのIR及び/またはBluetooth信号を送信する、または受信するように構成されることができる。一例では、通信デバイスは、リモコン170から送信されるBluetooth信号を受信し、このBluetooth信号をデジタル出力に変換することができ、さらに、このデジタル出力を信号処理アプリケーション154(以下に議論される)が処理してもよい。また、通信デバイスは、任意の適切な媒体を介してインターネットに接続するように構成されることができる。ビデオゲームコンソールが上記の機能を達成するために1つ以上の通信デバイスを含むことができることを理解されたい。
より具体的には、一例の実施形態では、信号処理アプリケーション154は、デジタル出力(例えば、データパケット)をBluetoothオーディオ/ビデオ制御トランスポートプロトコル(AVCTP)に従ってフォーマットされているものとして認識するように構成されてもよい。そのようなものとして、信号処理アプリケーション154は、AVCTPパケットの1つ以上のヘッダに基づいて、データパケットをルーティングする必要があるアプリケーション(例えば、データパケットに埋め込まれる特定のコマンドが制御することが意図されるアプリケーション)を判定することができる。同様に、信号処理アプリケーション154は、IR信号からのデジタル出力を解釈する(例えば、Sony(登録商標)SIRC IRプロトコルを含むがこれに限定されない任意の適切なIRプロトコルに従って)ように構成されてもよい。いくつかの実施形態では、信号処理アプリケーション154は、上記の通信デバイス内のハードウェアまたはソフトウェア機能として実装されてもよい。
例えば、上記のように、音楽アプリケーション142は、オーディオ出力チャネルの形式でメディア出力を生成することができる。いくつかの実施形態では、音楽アプリケーション142は、ディスプレイ130にビデオ出力チャネル(例えば、GUI)を提示する形式でメディア出力を生成してもよい。音楽アプリケーション142は、ビデオ出力チャネルのGUI要素の選択(例えば、特定のサウンドトラックの選択、ディスプレイ130に提示されるオーディオ出力の速度の調整)に対応するユーザインタラクションを、リモコン170を介して受信することができる。
同様に、ビデオアプリケーション144は、ディスプレイ130に提示されるビデオ出力チャネル及びオーディオ出力チャネル(例えば、映画、ライブストリーミングビデオなど)の形式でメディア出力のタイプを生成することができる。上記と同様の方法では、ビデオゲームシステム110は、ビデオアプリケーション144とのユーザインタラクション(例えば、映画のシーンの早送りまたは巻き戻し)を受信することができる。ビデオゲームシステム110は、上記と同様のメカニズムを介して、ソーシャルメディアアプリケーション146及びチャットアプリケーション148などの他のアプリケーションとのユーザインタラクションを受信してもよい。いくつかの例では、これらのユーザインタラクションは、限定されないが、テキスト文字の入力、メニューからの選択、メディアコンテンツ中のナビゲート、メディアアプリケーション内の設定の調整などのメディアアプリケーションを制御することができる。
一例では、一度アクティブ化されると、メニュー112は、メディアアプリケーション142~148からのメディア出力(またはビデオゲームアプリケーション140からのビデオゲーム出力)の少なくとも一部の上に現れることができることで、メニュー112はディスプレイ130上のGUIのフォアグラウンドに提示される。メニュー112によって、一例では、図6を参照してさらに以下に議論されるように、ビデオゲームシステム110は、ユーザ入力を受信して、フォーカスをビデオゲームシステム110上で同時に実行している特定のメディアアプリケーション(例えば、PIP中に提示している)に切り替える(例えば、リモコン170を介して)ことができてもよい、またはビデオゲームシステム112内の異なるアプリケーションもしくは画面(例えば、ユーザエクスペリエンス)にナビゲートすることができてもよい。
同様に、メディアアプリケーション142~148のうちの1つのメディアアプリケーションは、メディア出力を生成することができ、そのアプリケーションのメディア出力は、メディア出力チャネルを含むことができることで、ディスプレイ130に提示されることができる。2つ以上のアプリケーションが実質的に同時に出力を生成し、これらの出力が共通チャネルタイプを共有する場合、出力チャネルは、レンダリングプロセスに入力として提供されることができる。このレンダリングプロセスは、異なるアプリケーションからの2つ以上の出力チャネルを入力として受信し、レンダリングアルゴリズムを利用して合成出力を生成することができ、この合成出力をディスプレイ130に提示する。
一例として、レンダリングプロセスでは、2つ以上のビデオ出力チャネルを入力として受信することができ(例えば、第一ビデオアプリケーション144及び第二ビデオアプリケーション144から)、次に、1つのビデオ出力チャネルをディスプレイ130のメイン(一次など)ウィンドウとして提示し、その他のビデオ出力をメインウィンドウ(二次ウィンドウ、PIPなど)内に提示するような、合成出力を生成することができる。他の適切なビデオレンダリング技術(例えば、ブレンディング、透明度)は、よく知られており、本明細書に記載の実施形態を実施するために使用されることができる。同様に、2つ以上の別個のオーディオ出力チャネルは、別個のアプリケーション(例えば、ビデオゲームアプリケーション140及び音楽アプリケーション142)によって生成されると、レンダリングプロセスに提供されることができ、レンダリングプロセスによって、合成オーディオは、生成されることができ、ディスプレイ130に提示される。
一例では、合成オーディオがディスプレイ130に提示されることができるため、ビデオゲームのオーディオ出力チャネルは、音楽アプリケーションのオーディオ出力チャネルよりも低いデシベルレベルでディスプレイ130のスピーカーコンポーネントに提示される。このようにして、2つの異なるアプリケーション出力(例えば、ビデオゲーム出力及びメディアアプリケーション出力)及びそれらのそれぞれのチャネル出力コンポーネントは、レンダリングプロセスを介して実質的に同時にディスプレイ130に提示されることができる。
この場合、オーバーレイするウィンドウはアクティブ層中に提示されるため、ディスプレイのフォアグラウンドにあり、その他のウィンドウはバックグラウンドにある。アプリケーションがバックグラウンドに提示される別の例は、アプリケーションが出力(例えば、ディスプレイ130のスピーカーコンポーネントに提示される)を生成するが、そのアプリケーションからのいかなるビデオ出力(例えば、音楽アプリケーション142)も視覚的にディスプレイ130に提示されない場合であることができる。出力をフォアグラウンドにあるものとして表す他の方法(例えば、ウィンドウ周囲の強調、ウィンドウ内のカーソルの動きなど)があることができることを理解されたい。また、2つの異なるアプリケーションが両方とも同時にフォアグラウンドにあることができることを理解されたい。例えば、PIP構成では、ディスプレイ130の全画面に表示される出力と、インセットウィンドウに表示される出力(例えば、PIP)との両方は、アクティブ層中に提示されることができるため、両方ともフォアグラウンドにあることができる。
音声制御ボタン210を使用して、Bluetooth信号を発信することによって、ユーザ112の音声を介してさまざまなコマンドを実行することができる。いくつかの実施形態では、音声制御ボタン210を使用して、例えば、アプリケーションを起動し、またはシステムをナビゲートし(例えば、ホーム画面UIを介して)、またはシステムコンテンツを検索し、またはリモコン204の別のボタンを仮想的に押下し、特定のアプリケーションの実行を制御することができる。指向性パッド212を使用して、Bluetooth信号を発信することによって、ディスプレイ130に提示される特定のGUI内でナビゲートすることができる。一例では、指向性パッドを使用して、メニューUI112内でナビゲートすることができる。
決定(または「選択」)ボタン214を使用して、Bluetooth信号を発信することによって、ディスプレイに提示されるアイテムを選択することができる。一例では、決定ボタン214を使用して、メニューUI112上のオプションを選択してもよい、またはホーム画面UIからアプリケーションを起動してもよい。戻る(または「キャンセル」)ボタン216を使用して、Bluetooth信号を発信することによって、前の画面または選択にナビゲートすることができる。オプションボタン218を使用して、Bluetooth信号を発信することによって、ユーザが特定のアプリケーション(例えば、ネイティブシステムアプリケーション152)について設定することができる設定のメニューを提示することができる。
音量調節ボタン220を使用して、IR信号を発信することによって、ディスプレイ130の音量を調節することができる。ミュートボタン222を使用して、IR信号を発信することによって、ディスプレイ130の音量をミュートすることができる。メディアトランスポートコントロールボタン224を使用して、Bluetooth信号を発信することによって、ディスプレイ130に提示されるメディア出力の態様を調整する(例えば、音楽コンテンツまたはビデオコンテンツの早送りまたは巻き戻し、コンテンツの一時停止/再生)ことで、メディアアプリケーション(例えば、音楽アプリケーション142、ビデオアプリケーション144)を制御することができる。1つ以上のパートナーアプリケーション起動ボタン226を使用して、Bluetooth信号を発信することによって、特定の第三者のメディアアプリケーションを起動することができる。
一例では、「パートナー1」アプリケーションボタン226を使用して、「パートナー1」のビデオアプリケーション144を起動することができる。パートナーカスタム機能ボタン228を使用して、Bluetooth信号を発信することによって、第三者のアプリケーション(例えば、「パートナー1」のアプリケーション)の実行の特定の態様を制御することができる。一例では、パートナーカスタム機能ボタン228を使用して、第三者のアプリケーションによって、現在提示されている特定のメディアコンテンツを購入することができる。以下でさらに議論されるように、パートナーカスタム機能ボタン228の特定の機能が、現在実行している第三者のアプリケーションに応じて変わることができることを理解されたい。
その間に、ビデオゲームシステム110上で同時に実行している音楽アプリケーション142は、音楽出力306の形式でメディア出力を生成する。この実施形態では、ディスプレイ302から部分的に突出する音楽出力306によって示されるように、音楽出力306は、バックグラウンドのディスプレイ302に提示される。より具体的には、例えば、音楽出力306のオーディオ出力チャネルをディスプレイ302のスピーカーに表示するが、音楽出力306のビデオ出力チャネルに対応する任意のGUI(例えば、キューイングされる音楽トラックのリスト)をディスプレイ302に提示しない。上記に議論されているように、ビデオゲーム出力304のオーディオ出力チャネル、及び音楽出力306のオーディオ出力チャネルは、ディスプレイ302に提示される合成オーディオ出力を生成するレンダリングプロセスへの入力として提供されることができる。一例では、ビデオゲーム出力302に対応するオーディオ出力は、低減された音量で再生されるので、ユーザ122は、再生されている音楽をよりよく聞くことができる。
一例では、二次画面アプリケーション(または「二次アプリケーション」)は、バックグラウンドに出力を提示しているアプリケーションであってもよい。別の例では、二次画面アプリケーションは、PIPディスプレイに出力を提示していてもよい。これらのパラメータに基づいて、システムアプリケーションは、信号の処理方法に関するいくつかの要素を判定することができる。最初に、所与の一次アプリケーションと二次アプリケーションとを対にする場合、システムアプリケーションは、マッピングに基づいて、リモコン204のどのボタンが有効であるか、またどのボタンが無効であるかを判定することができる。
いくつかの実施形態では、テーブルによって維持されるマッピングは、有効にされるボタンをセットにグループ化することを含む。一実施形態では、ビデオゲームシステム110は、ボタンが有効/無効であるかどうかの判定に続いて、受信した信号を処理し、ボタンが有効である場合、コマンドを出力して、それ以上のアクションなしで適切なアプリケーションにルーティングすることができる。ボタンが無効である場合、ビデオゲームシステム110は、コマンドを出力しないと判定することに従って、それ以上のアクションをとらないことができる。ただし、他の実施形態では、ボタンが有効である場合にはコマンドを適切なアプリケーションにルーティングする(またはボタンが無効である場合にはルーティングしない)以外に、ビデオゲームシステム110が1つ以上の信号を送信してリモコン204に返すことができると、さらに、リモコン170は、特定のボタンが有効であるか、無効であるかに応じて、1つ以上の動作を実行することができる。
一実施形態では、ビデオゲームシステム110は、リモコン204のボタンにボタンライトをオンまたはオフにさせる信号をリモコン204に送信することができる。例えば、有効なボタンライトがオンになることがあり、無効なボタンライトがオフになることがある。別の実施形態では、ライトの色は、ボタンが有効であるか、無効であるかに応じて変化することができる(例えば、有効の場合は青色、無効の場合は赤色)。別の実施形態では、モバイルデバイスに実装されるソフトウェアベースのリモコンアプリケーション204の場合、無効なボタンは、グレー表示されてもよい(例えば、選択不可能であってもよい)、またはGUIから除去されてもよい。物理的なボタンを備えた機械的なリモコン204を含む、さらに別の実施形態では、ビデオゲームシステム110から信号を受信すると、リモコン204は、無効にされているボタンをロックすることができるため、ボタンを押下することができない。いくつかの実施形態では、ボタンが無効であるか、有効であるかについてのインジケーションをリモコン204に提供させる、任意の適切なメカニズムを実装することができる。
図6では、上記の例を続けると、第一ビデオアプリケーション144が第一ビデオ出力604を一次アプリケーションとして提示しており、第二ビデオアプリケーション144がビデオ出力606を二次アプリケーションとして提示していることから、リモコンのボタンのすべてが、有効であり(例えば、すべてのボタンがボタンの第一セットに含まれる)、そしてデフォルトでは、一次アプリケーションを制御するために使用されるようなマッピングを、アプリケーションのこの特定の組み合わせは生成することができる。例えば、表1、行6によれば、早送りでシークするメディアトランスポートコントロールボタン224の押下に対応する信号を受信すると、ビデオゲームシステム110は、第一ビデオ出力604を早送りでシークさせるようにメインアプリケーションを制御するコマンドを出力する。このマッピングパターンは、他のボタン、例えば、音声制御ボタン210(行12)、指向性パッドボタン212(行15)、決定ボタン214(行18)、戻るボタン216(行21)、及びオプションボタン218(行24)にも適用されることができ、これらは、デフォルトでは、メインアプリケーションを制御することができる。
上記のマッピングは、トグル制御によってどのアプリケーションが選択されたかに基づいて、リモコン204のボタンのうちの1つ以上が、第二ビデオアプリケーション144を制御することができるように再マッピングされてもよいことをさらに示すことができる。上記の例を続けると、トグルボタンを押下することに対応するユーザ入力を受信すると、ビデオゲームシステム110は、第一ビデオ出力604から第二ビデオ出力606にフォーカスするようにトグルすることができる。一実施形態では、メディアトランスポートコントロールボタン224は、二次アプリケーションを制御するために再マッピングされることができる。第一セットの1つより多いボタンが二次アプリケーションの機能をここでは制御するように再マッピングされる(例えば、第二セットとして)ことができることを理解されたい。
図4を参照する一例では、ビデオゲームシステム110がビデオアプリケーション144を起動すると、メディア出力(ビデオ出力404など)は、ディスプレイ402のフォアグラウンド406(PIPなど)に提示されてもよい。図3を参照する別の例では、メディアアプリケーションは音楽アプリケーション142であり、音楽出力306はバックグラウンド306に提示されてもよい。上記のように、フォアグラウンドかバックグラウンドかいずれかにメディア出力を提示するために、いくつかの可能なレイアウト(例えば、PIP、サイドバイサイド、バックグラウンドに隠れているUIなど)が存在する可能性があることを理解されたい。一例では、メディア出力が提示されるのがフォアグラウンドであるか、バックグラウンドであるかにかかわらず、ビデオゲームアプリケーション140は、フォアグラウンドで実行し続けることができ、ユーザがビデオゲームアプリケーション140とインタラクトすることを可能にする。
いくつかの実施形態では、マッピングを使用して、リモコン204のボタンを押下すると、ボタンが有効であるか無効であるか、どのアプリケーション(例えば、一次/メイン画面アプリケーションまたは二次アプリケーション)が制御されるか、そしてメディアアプリケーションの実行がどのように制御されるか(例えば、特定のボタン(例えば、ビデオ出力をシークする、ビデオを購入するなど)を押下すると、特定のメディアアプリケーションのメディア出力のどの態様が変更されるか)を決定することができる。いくつかの実施形態では、マッピングを使用して、ボタンを図7及び表1~表4にリストされる以上のビヘイビアに関連付けることができる。一例では、マッピングは、押下される所与のボタンについて、リモコン204がさらなるアクションを実行する(例えば、ボタンが無効であることを知らせるためにボタンを点灯する)信号を送信してリモコン204に返すべきかどうかを決定することができる。さらに、新しいアプリケーションがビデオゲームシステム110からインストールされる、または除去されると、マッピングは適切に更新されることができる。
いくつかの実施形態では、マッピングテーブル(例えば、表1、行7)は、ボタンの第二セットがどのように再設定されるべきかを示す1つ以上のエントリを有することができる。表1、行7の例では、ビデオゲームシステム110がアプリケーションフォーカスをトグルした後、メディアトランスポートコントロールボタン224は第二メディアアプリケーションを制御するようにマッピングされる。再設定されていない残りのボタンは、メディアアプリケーションを制御するように引き続きマッピングされてもよい。
ユーザ入力デバイス1120は、1人以上のユーザからコンピュータシステム1100にユーザ入力を通信し、その例は、キーボード、マウス、ジョイスティック、タッチパッド、タッチスクリーン、スチルまたはビデオカメラ、及び/またはマイクロホンを含んでもよい。ネットワークインタフェース1125は、コンピュータシステム1100が電子通信ネットワーク経由で他のコンピュータシステムと通信することを可能にし、ローカルエリアネットワーク、及びインターネットなどのワイドエリアネットワークを介した有線または無線通信を含んでもよい。オーディオプロセッサ1155は、CPU1105、メモリ1110、及び/またはストレージ1115が提供する命令及び/またはデータから、アナログまたはデジタルのオーディオ出力を生成するように適合される。CPU1105、メモリ1110、データストレージ1115、ユーザ入力デバイス1120、ネットワークインタフェース1125、及びオーディオプロセッサ1155を含むコンピュータシステム1100のコンポーネントは、1つ以上のデータバス1160経由で接続される。
画素データは、CPU1105から直接にグラフィックスメモリ1140に提供されることができる。あるいは、CPU1105は、所望の出力画像を規定するデータ及び/または命令をGPU1135に提供し、これらから、GPU1135は1つ以上の出力画像の画素データを生成する。所望の出力画像を規定するデータ及び/または命令は、メモリ1110及び/またはグラフィックスメモリ1140内に格納され得る。ある実施形態では、GPU1135は、シーンのジオメトリ、照明、シェーディング、質感、動き、及び/またはカメラのパラメータを定義する命令及びデータから、出力画像の画素データを生成する3Dレンダリング機能を含む。GPU1135は、シェーダプログラムを実行することが可能な1つ以上のプログラム可能な実行部をさらに含むことができる。
Claims (15)
- 1つ以上のメディアアプリケーションを制御するように構成される第一入力デバイスと、
1つ以上のビデオゲームアプリケーションを制御するように構成される第二入力デバイスと、
前記第一入力デバイス及び前記第二入力デバイスと通信可能に結合されるビデオゲームシステムと、を含むコンピュータシステムであって、
前記ビデオゲームシステムは、
プロセッサ、及び
命令を格納するメモリを含み、
前記命令により、前記プロセッサによる実行時に、前記ビデオゲームシステムが、
ディスプレイのフォアグラウンドに、前記第二入力デバイスからのビデオゲームアプリケーション及びコマンドの実行に基づいてビデオゲーム出力を提示し、
前記ビデオゲーム出力が前記フォアグラウンドに提示されながら、前記ビデオゲームアプリケーション以外のメディアアプリケーションの実行に基づいてメディア出力を前記ディスプレイに提示し、
前記第一入力デバイスで受信する複数のユーザ入力の第一セットが前記メディアアプリケーションの前記実行を制御するために使用されることを示すマッピングを維持し、
前記フォアグラウンドに前記ビデオゲーム出力を提示しながら、前記第一セットの第一ユーザ入力に対応する信号を前記第一入力デバイスから受信し、
前記マッピングに基づいて、前記信号が前記メディアアプリケーションの前記実行を制御することに対応することを判定し、
前記フォアグラウンドで前記ビデオゲーム出力の前記提示が続行していながら、前記信号に基づいて前記メディアアプリケーションの前記実行を制御する、コンピュータシステム。 - 前記第一入力デバイスはリモコンであり、
前記第二入力デバイスはビデオゲームコントローラであり、
前記第一ユーザ入力は前記リモコンのボタンの押下であり、
前記命令の前記実行により、さらに、前記ビデオゲームシステムが、
前記メディア出力を前記ディスプレイの前記フォアグラウンドに提示し、前記メディア出力は前記ビデオゲーム出力と組み合わせて提示され、前記メディアアプリケーションの前記実行を制御することは前記メディア出力の態様を変更することを含み、前記メディア出力の提示、及び前記ビデオゲーム出力の提示は、前記メディアアプリケーションからの前記メディア出力、及び前記ビデオゲームアプリケーションからの前記ビデオゲーム出力を別個の入力として受信するレンダリングプロセスに基づいて合成出力を提示する、請求項1に記載のコンピュータシステム。 - 前記命令の前記実行は、さらに、前記ビデオゲームシステムが、
前記マッピングに基づいて、前記複数のユーザ入力の第二セットが前記メディアアプリケーションの前記実行を制御するために使用されていないことを判定し、前記第二セットは前記第一セットとは異なるものであり、
前記第二セットの第二ユーザ入力に対応する第二信号を受信することに応答して、前記第二信号を無視させる、請求項1に記載のコンピュータシステム。 - 前記命令の前記実行により、さらに、前記ビデオゲームシステムが、
前記ディスプレイの前記フォアグラウンドに、ネイティブシステムアプリケーションの実行に基づいてホーム画面出力を提示し、
前記ホーム画面出力が前記フォアグラウンドにありながら、前記第一セットの第二ユーザ入力に対応する第二信号を前記第一入力デバイスから受信し、
前記マッピングに基づいて、前記第二信号が前記メディアアプリケーションの前記実行を制御することに対応することを判定し、
前記フォアグラウンドで前記ホーム画面出力の前記提示が続行していながら、前記第二信号に基づいて前記メディアアプリケーションの前記実行を制御させる、請求項1に記載のコンピュータシステム。 - 前記マッピングは、前記複数のユーザ入力の第二セットが前記ネイティブシステムアプリケーションの前記実行を制御するために使用されることをさらに示し、
前記命令の前記実行により、さらに、前記ビデオゲームシステムに、
前記第一入力デバイスから、前記第二セットの第三ユーザ入力に対応する第三信号を受信し、
前記マッピングに基づいて、前記第三信号が前記ネイティブシステムアプリケーションの前記実行を制御することに対応することを判定し、
前記ディスプレイで前記メディア出力の前記提示が続行していながら、前記第三信号に基づいて前記ネイティブシステムアプリケーションの前記実行を制御させる、請求項4に記載のコンピュータシステム。 - 前記マッピングは、前記メディアアプリケーションの前記実行の前記制御、前記ネイティブシステムアプリケーションの前記実行の前記制御、及び前記ビデオゲームアプリケーションの前記実行の前記制御を定義し、
前記命令の前記実行により、さらに、前記ビデオゲームシステムが、
前記ホーム画面出力を提示する前に、前記第一入力デバイスから第三信号を受信し、前記第三信号は第四ユーザ入力に対応するものであり、
前記マッピングに基づいて、前記第三信号を受信することに応答して、前記ビデオゲームアプリケーションを終了させる、請求項5に記載のコンピュータシステム。 - プロセッサ、及び
命令を格納するメモリ、
を含むビデオゲームシステムであって、
前記命令により、前記プロセッサによる実行時に、前記ビデオゲームシステムが、
ディスプレイのフォアグラウンドに、第一入力デバイスからのビデオゲームアプリケーション及びコマンドの実行に基づいてビデオゲーム出力を提示し、
前記ビデオゲーム出力が前記フォアグラウンドに提示されていながら、前記ビデオゲームアプリケーション以外のメディアアプリケーションの実行に基づいてメディア出力を前記ディスプレイに提示し、
前記ビデオゲーム出力が前記フォアグラウンドにありながら、第二入力デバイスから信号を受信し、前記第二入力デバイスは前記ビデオゲームシステムと通信可能に結合され、複数のユーザ入力に基づいて前記メディアアプリケーションを制御するように構成され、前記複数のユーザ入力はユーザ入力の第一セットを含み、前記信号は前記第一セットの第一ユーザ入力に対応するものであり、
前記第一セットが前記メディアアプリケーションの前記実行を制御するために使用されることを示すマッピングを維持し、
前記マッピングに基づいて、前記信号が前記メディアアプリケーションの前記実行を制御することに対応することを判定し、
前記フォアグラウンドで前記ビデオゲーム出力の前記提示が続行していながら、前記信号に基づいて前記メディアアプリケーションの前記実行を制御する、ビデオゲームシステム。 - 前記命令の前記実行により、さらに、前記ビデオゲームシステムが、
前記メディア出力を前記ディスプレイの前記フォアグラウンドに提示し、前記メディア出力は前記ビデオゲーム出力と組み合わせて提示され、前記メディアアプリケーションの前記実行を制御することは前記メディア出力の態様を変更するものである、請求項7に記載のビデオゲームシステム。 - 前記メディア出力は、前記ディスプレイのバックグラウンドに提示され、
前記メディアアプリケーションの前記実行の制御では、前記バックグラウンドに前記メディア出力を維持していながら、前記メディア出力の態様を変更する、請求項7に記載のビデオゲームシステム。 - 前記命令の前記実行では、前記ビデオゲームシステムが、
前記マッピングに基づいて、ユーザ入力の第二セットが前記メディアアプリケーションの前記実行を制御するために使用されていないことを判定し、
前記第二セットの第二ユーザ入力に対応する信号を受信することに応答して、前記信号を無視する、請求項7に記載のビデオゲームシステム。 - 前記命令の前記実行により、さらに、前記ビデオゲームシステムが、
前記メディア出力を前記ディスプレイの前記フォアグラウンドに提示し、
前記メディア出力が前記フォアグラウンドにありながら、前記第一入力デバイスからコマンドを受信し、
前記コマンドに基づいて、前記フォアグラウンドで前記メディア出力の前記提示が続行していながら、前記ビデオゲーム出力の態様を変更する、請求項7に記載のビデオゲームシステム。 - 前記マッピングは、ユーザ入力の第二セットがネイティブシステムアプリケーションの実行を制御するために使用されることをさらに示し、
前記命令の前記実行により、前記ビデオゲームシステムが、
前記ディスプレイの前記フォアグラウンドに、前記ネイティブシステムアプリケーションの前記実行に基づいてホーム画面出力を提示し、
前記ホーム画面出力が前記フォアグラウンドに提示されていながら、前記メディア出力を前記ディスプレイに提示し続け、
前記ホーム画面出力が前記フォアグラウンドにありながら、前記第二セットの第二ユーザ入力に対応する第二信号を前記第二入力デバイスから受信し、
前記マッピングに基づいて、前記第二信号が前記ネイティブシステムアプリケーションの前記実行を制御することに対応することを判定し、
前記ディスプレイで前記メディア出力の前記提示が続行していながら、前記第二信号に基づいて前記ネイティブシステムアプリケーションの前記実行を制御する、請求項7に記載のビデオゲームシステム。 - 命令を格納する非一時的なコンピュータ可読記憶媒体であって、
前記命令は、ビデオゲームシステム上での実行時に、前記ビデオゲームシステムが、
ディスプレイのフォアグラウンドに、ビデオゲームアプリケーションの実行に基づいてビデオゲーム出力を提示し、
前記ビデオゲーム出力が前記フォアグラウンドに提示されていながら、第一入力デバイスのコントローラからの、前記ビデオゲームアプリケーション以外のメディアアプリケーション及びコマンドの実行に基づいてメディア出力を前記ディスプレイに提示し、
前記ビデオゲーム出力が前記フォアグラウンドにありながら、第二入力デバイスから信号を受信し、前記第二入力デバイスは前記ビデオゲームシステムと通信可能に結合され、複数のユーザ入力に基づいて前記メディアアプリケーションを制御するように構成され、前記複数のユーザ入力はユーザ入力の第一セットを含み、前記信号は前記第一セットの第一ユーザ入力に対応するものであり、
前記第一セットが前記メディアアプリケーションの前記実行を制御するために使用されることを示すマッピングを維持し、
前記マッピングに基づいて、前記信号が前記メディアアプリケーションの前記実行を制御することに対応することを判定し、
前記フォアグラウンドで前記ビデオゲーム出力の前記提示が続行していながら、前記信号に基づいて前記メディアアプリケーションの前記実行を制御する、という動作を実行するように構成される、非一時的なコンピュータ可読記憶媒体。 - 前記動作では、さらに、
前記メディア出力を前記ディスプレイに提示し続け、
前記ディスプレイの前記フォアグラウンドに、前記ビデオゲームアプリケーション以外の第二メディアアプリケーションの実行に基づいて第二メディア出力を提示し、
前記複数のユーザ入力の第二セットが前記第二メディアアプリケーションの前記実行を制御するために使用されることを示す第二マッピングを維持し、
前記第二入力デバイスから第二信号を受信し、前記第二信号は前記複数のユーザ入力の第二ユーザ入力に対応するものであり
前記第二信号に基づいて、コントロールセンターを起動し、
前記コントロールセンターを起動することに基づいて、前記複数のユーザ入力の1つ以上のユーザ入力の第三セットが前記メディアアプリケーションの前記実行を制御するために再設定されることを示す第三マッピングを維持し、前記第三セットは前記第二セットのサブセットを含むものであり、
第三信号を前記第二入力デバイスから受信し、前記第三信号は前記第三セットの第三ユーザ入力に対応するものであり、
前記第三マッピングに基づいて、前記第三信号が前記メディアアプリケーションの前記実行を制御することに対応することを判定し、
前記フォアグラウンドで前記第二メディア出力の前記提示が続行していながら、前記第三信号に基づいて前記メディアアプリケーションの前記実行を制御する、請求項13に記載の非一時的なコンピュータ可読記憶媒体。 - 前記マッピングは、前記第二入力デバイスのトグルボタンが前記第二メディア出力と前記メディア出力との間でフォーカスをトグルするように設定されていることをさらに示し、
前記コントロールセンターを起動する前記動作では、さらに、
前記トグルボタンから第四信号を受信して前記フォーカスをトグルすることに応答して、前記第三マッピングを生成する、請求項14に記載の非一時的なコンピュータ可読記憶媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/376,942 US10751612B1 (en) | 2019-04-05 | 2019-04-05 | Media multi-tasking using remote device |
US16/376,942 | 2019-04-05 | ||
PCT/US2020/025715 WO2020205734A1 (en) | 2019-04-05 | 2020-03-30 | Media multi-tasking using remote device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022525433A JP2022525433A (ja) | 2022-05-13 |
JP7278409B2 true JP7278409B2 (ja) | 2023-05-19 |
Family
ID=72140803
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021559234A Active JP7278409B2 (ja) | 2019-04-05 | 2020-03-30 | リモートデバイスを使用したメディアマルチタスク |
Country Status (4)
Country | Link |
---|---|
US (2) | US10751612B1 (ja) |
EP (1) | EP3949427A4 (ja) |
JP (1) | JP7278409B2 (ja) |
WO (1) | WO2020205734A1 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210402292A1 (en) * | 2020-06-25 | 2021-12-30 | Sony Interactive Entertainment LLC | Method of haptic responses and interacting |
CA3195016A1 (en) * | 2020-10-06 | 2022-04-14 | Arris Enterprises Llc | System and method for audio control of concurrently displayed video programs |
US11910130B2 (en) * | 2021-03-02 | 2024-02-20 | Carnegie Mellon University | Media control device and system |
CN113101648B (zh) * | 2021-04-14 | 2023-10-24 | 北京字跳网络技术有限公司 | 一种基于地图的交互方法、设备及存储介质 |
US20220370899A1 (en) * | 2021-05-24 | 2022-11-24 | Yen-Ho Lu | New-generation TV and an operational method for its gaming system integrated with a smartphone |
JP7164750B1 (ja) * | 2022-07-07 | 2022-11-01 | 株式会社あかつき | 情報処理システム、情報処理装置、プログラム及び情報処理方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004038578A (ja) | 2002-07-03 | 2004-02-05 | Sony Corp | 情報処理装置、情報処理方法、プログラム、記録媒体 |
JP2005523512A (ja) | 2002-04-22 | 2005-08-04 | トムソン ライセンシング ソシエテ アノニム | リモートキーマネジャ |
JP2016512357A (ja) | 2013-03-15 | 2016-04-25 | クアルコム,インコーポレイテッド | バックグラウンドタスク用の対話式入力 |
US20180020041A1 (en) | 2014-06-30 | 2018-01-18 | Microsoft Technology Licensing, Llc | Remote process management |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2427733A (en) * | 2005-06-29 | 2007-01-03 | Symbian Software Ltd | Remote control |
US20090066638A1 (en) * | 2007-09-11 | 2009-03-12 | Apple Inc. | Association of virtual controls with physical controls |
US8832769B2 (en) | 2007-10-16 | 2014-09-09 | Microsoft Corporation | Remote control based output selection |
EP3634001A1 (en) * | 2011-05-26 | 2020-04-08 | LG Electronics Inc. | Display apparatus for processing multiple applications and method for controlling the same |
US20140121021A1 (en) * | 2012-10-29 | 2014-05-01 | Nishith Shah | Method and system for video gaming using input adaptation for multiple input devices |
US20150128042A1 (en) * | 2013-11-04 | 2015-05-07 | Microsoft Corporation | Multitasking experiences with interactive picture-in-picture |
US10862948B1 (en) * | 2014-04-04 | 2020-12-08 | 8X8, Inc. | Virtual data centers |
JP2016100639A (ja) * | 2014-11-18 | 2016-05-30 | 三星電子株式会社Samsung Electronics Co.,Ltd. | Av機器 |
US9632664B2 (en) * | 2015-03-08 | 2017-04-25 | Apple Inc. | Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback |
US10203866B2 (en) * | 2017-05-16 | 2019-02-12 | Apple Inc. | Devices, methods, and graphical user interfaces for navigating between user interfaces and interacting with control objects |
US11036387B2 (en) * | 2017-05-16 | 2021-06-15 | Apple Inc. | Devices, methods, and graphical user interfaces for navigating between user interfaces and interacting with control objects |
US10751611B2 (en) * | 2017-10-31 | 2020-08-25 | Microsoft Technology Licensing, Llc | Using a game controller as a mouse or gamepad |
-
2019
- 2019-04-05 US US16/376,942 patent/US10751612B1/en active Active
-
2020
- 2020-03-30 EP EP20782763.5A patent/EP3949427A4/en active Pending
- 2020-03-30 JP JP2021559234A patent/JP7278409B2/ja active Active
- 2020-03-30 WO PCT/US2020/025715 patent/WO2020205734A1/en unknown
- 2020-07-16 US US16/931,294 patent/US11273369B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005523512A (ja) | 2002-04-22 | 2005-08-04 | トムソン ライセンシング ソシエテ アノニム | リモートキーマネジャ |
JP2004038578A (ja) | 2002-07-03 | 2004-02-05 | Sony Corp | 情報処理装置、情報処理方法、プログラム、記録媒体 |
JP2016512357A (ja) | 2013-03-15 | 2016-04-25 | クアルコム,インコーポレイテッド | バックグラウンドタスク用の対話式入力 |
US20180020041A1 (en) | 2014-06-30 | 2018-01-18 | Microsoft Technology Licensing, Llc | Remote process management |
Also Published As
Publication number | Publication date |
---|---|
US20200346107A1 (en) | 2020-11-05 |
US11273369B2 (en) | 2022-03-15 |
JP2022525433A (ja) | 2022-05-13 |
US10751612B1 (en) | 2020-08-25 |
WO2020205734A1 (en) | 2020-10-08 |
EP3949427A1 (en) | 2022-02-09 |
EP3949427A4 (en) | 2023-01-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7278409B2 (ja) | リモートデバイスを使用したメディアマルチタスク | |
US11221747B2 (en) | Method and apparatus for operating function in touch device | |
US9582246B2 (en) | Voice-command suggestions based on computer context | |
WO2017032054A1 (zh) | 一种播放速度调节方法及终端 | |
US9883136B2 (en) | System and method of outputting multi-lingual audio and associated audio from a single container | |
US20150234545A1 (en) | Multitasking and Full Screen Menu Contexts | |
WO2019197714A1 (en) | Controlling audio in multi-viewpoint omnidirectional content | |
US11924617B2 (en) | Method for projecting screen, display device, screen projection terminal, and storage medium | |
US9733897B2 (en) | Method and apparatus of searching content | |
US20210357087A1 (en) | Context-Based User Interface Menu with Selectable Actions | |
TWI702843B (zh) | 遠端觸控操作的電視系統 | |
US11185758B2 (en) | Game console application with action cards | |
US10862946B1 (en) | Media player supporting streaming protocol libraries for different media applications on a computer system | |
US10391394B2 (en) | System and method for providing a software application controller | |
KR20200108733A (ko) | 게임 제공 장치 및 게임 제공 방법 | |
KR101871751B1 (ko) | 디스플레이 디바이스 및 그 제어 방법 | |
US20240149174A1 (en) | Contextually-Aware Platform Service Switcher | |
KR102178924B1 (ko) | Vr을 이용한 시연 제공 방법 및 장치 | |
JP6630468B2 (ja) | コンテンツ再生制御装置及びコンテンツ再生システム並びにコンテンツ再生方法及びコンテンツ再生プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211117 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221017 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221101 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230131 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230425 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230509 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7278409 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |