WO2016147988A1 - 情報処理システム、情報処理装置および遠隔操作支援方法 - Google Patents

Abstract

　モバイル端末１２は、据置型ゲーム機１４に対する操作をユーザに入力させるための操作画面を表示させ、操作画面に入力された操作を示す情報を据置型ゲーム機１４へ通知する。据置型ゲーム機１４は、ディスプレイ１８に所定のコンテンツを表示させ、モバイル端末１２から通知された操作に応じて表示コンテンツを更新する。据置型ゲーム機１４は、モバイル端末１２の操作画面に対応するリモコン画像をコンテンツの画面とともに表示させ、操作画面においてユーザが操作を入力した位置を示す操作位置画像をリモコン画像上に表示させる。

Description

情報処理システム、情報処理装置および遠隔操作支援方法

　この発明は、データ処理技術に関し、特に情報処理システム、情報処理装置および遠隔操作支援方法に関する。

　本出願人は、電子コンテンツの視聴を支援する技術を提案している（例えば特許文献１参照）。また近年、スマートフォンが広く普及しており、スマートフォンをテレビのリモコンとして使用する技術も提案されている（例えば特許文献２参照）。

特開２０１３－０１２９５４号公報 特開２０１２－１５９９３０号公報

　スマートフォンやタブレット端末等のモバイル端末をリモコンとして使用する場合に、制御対象機器を操作するためのボタン等は、画像としてモバイル端末のディスプレイに表示されることがある。この場合、操作すべき画像の表示位置をユーザが把握することは容易でなく、ユーザは頻繁に手元を確認する必要があり、ユーザの利便性は必ずしも高くなかったと本発明者は考えた。

　本発明は、本発明者の上記認識にもとづきなされたものであり、主たる目的は、モバイル端末をリモコンとして使用する場合のユーザの利便性を向上させる技術を提供することである。

　上記課題を解決するために、本発明のある態様の情報処理システムは、第１の情報処理装置と第２の情報処理装置とを備える。第１の情報処理装置は、第２の情報処理装置に対する操作をユーザに入力させるための操作画面を表示させる操作画面表示部と、操作画面に入力された操作を示す情報を第２の情報処理装置へ通知する操作通知部と、を含む。第２の情報処理装置は、所定のコンテンツを表示させ、第１の情報処理装置から通知された操作に応じて表示コンテンツを更新するコンテンツ表示部と、第１の情報処理装置の操作画面に対応するリモコン画像をコンテンツの画面とともに表示させ、操作画面においてユーザが操作を入力した位置を示す操作位置画像をリモコン画像上に表示させるリモコン画像表示部と、を含む。

　本発明の別の態様は、情報処理装置である。この装置は、本装置に対する操作をユーザに入力させるための操作画面を表示する他の情報処理装置から通知された操作画面に入力された操作に関する情報を取得する操作情報取得部と、所定のコンテンツを表示させ、他の情報処理装置から通知された操作に応じて表示コンテンツを更新するコンテンツ表示部と、他の情報処理装置の操作画面に対応するリモコン画像をコンテンツの画面とともに表示させ、操作画面においてユーザが操作を入力した位置を示す操作位置画像をリモコン画像上に表示させるリモコン画像表示部と、を備える。

　本発明のさらに別の態様もまた、情報処理装置である。この装置は、所定のコンテンツを表示する他の情報処理装置に対する操作をユーザに入力させるための操作画面を表示させる操作画面表示部と、操作画面に入力された操作を示す情報を他の情報処理装置へ通知することにより、他の情報処理装置に、操作画面に対応するリモコン画像をコンテンツの画面とともに表示させ、操作画面においてユーザが操作を入力した位置を示す操作位置画像をリモコン画像上に表示させる操作通知部と、を備える。

　本発明のさらに別の態様は、遠隔操作支援方法である。この方法は、情報処理装置が、本装置に対する操作をユーザに入力させるための操作画面を表示する他の情報処理装置から通知された操作画面に入力された操作を示す情報を取得するステップと、所定のコンテンツを表示させ、他の情報処理装置から通知された操作に応じて表示コンテンツを更新するステップと、他の情報処理装置の操作画面に対応するリモコン画像をコンテンツの画面とともに表示させ、操作画面においてユーザが操作を入力した位置を示す操作位置画像をリモコン画像上に表示させるステップと、を実行する。

　なお、以上の構成要素の任意の組合せ、本発明の表現を、プログラム、プログラムを格納した記録媒体などの間で変換したものもまた、本発明の態様として有効である。

　本発明によれば、モバイル端末をリモコンとして使用する場合のユーザの利便性を向上させることができる。

実施の形態のエンタテインメントシステムの構成を示す図である。 図１のモバイル端末の構成を示すブロック図である。 リモコン画面を示す図である。 図１の据置型ゲーム機の構成を示すブロック図である。 リモコン画像の表示例を示す図である。 リモコン画像の表示例を示す図である。 第３変形例におけるリモコン画像の表示例を示す図である。

　まず概要を説明する。機器を操作するための物理的なボタンを備える通常のリモコンを使用する場合、ユーザは、手元の確認を最小限にしつつチャンネル選択等の所望の操作を入力しやすい。しかし、モバイル端末をリモコンとして使用する場合、典型的には物理的なボタンは設けられず、ボタン画像を含むリモコンの画面がモバイル端末のディスプレイに表示される。ディスプレイ上のボタン画像の表示位置を感覚的に把握することは難しく、ユーザは頻繁に手元を確認する必要があった。そのため、モバイル端末を用いたリモコン操作は、ユーザの利便性が必ずしも高くなく、また非効率になることがあった。

　実施の形態では、モバイル端末を用いたリモコン操作における、ユーザの利便性を改善する遠隔操作支援方法を提案する。具体的には、モバイル端末側のリモコン画面に対応する画像を制御対象側の機器に表示させ、ユーザがリモコン画面に入力した操作を示す情報をその画像上に表示させる。これにより、ユーザは、モバイル端末の画面を頻繁に確認しなくてもリモコン画面に対する操作内容を把握し易くなる。すなわち実施の形態の遠隔操作支援方法によると、モバイル端末をリモコンとして使用する場合のユーザの利便性と、リモコン操作の効率を向上させることができる。

　ここでタッチパネルに対するユーザの操作であるタップ操作、ドラッグ操作、フリック操作について説明する。タップ操作は、画面上の１点を押し、その後、画面から指を離す（「リリース」とも呼ぶ。）操作である。例えばタップ操作は、１）１本の指で操作対象（画像等）に設けられたタップ操作の有効領域を１回押す、２）押下中の指の位置が、操作対象上でタップ操作の有効領域内に留まる、３）指をリリースする、という一連の操作である。

　ドラッグ操作は、操作対象を指に追従して移動させる操作である。例えばドラッグ操作は、１）操作対象を指で押す、２）操作対象を押しながら、タップ操作として判定される所定の距離閾値以上（例えば上記のタップ操作の有効領域外へ）指を動かす、３）指をリリースする、という一連の操作である。フリック操作は、操作対象を指で押しながら動かし、ある速度以上で指をリリースする操作である。例えばフリック操作は、１）１本の指で操作対象を押す、２）操作対象を押しながら、タップ操作として判定される所定の距離閾値以上、指を移動させる、３）予め定められた単位時間あたり予め定められた距離以上の速度で指をリリースする、という一連の操作である。

　図１は、実施の形態のエンタテインメントシステム１０の構成を示す。エンタテインメントシステム１０は、ユーザ宅に構築された情報処理システムであり、モバイル端末１２、据置型ゲーム機１４、録画装置２０を備える。これらの各装置は、ホームネットワーク（言い換えれば家庭内ＬＡＮ）を介して接続され、具体的にはＷｉ－Ｆｉ（登録商標）ルータ等のルータ２２と無線または有線で接続される。なお、公知のＰ２Ｐ通信技術を使用して、モバイル端末１２、据置型ゲーム機１４、録画装置２０が直接通信する構成としてもよいことはもちろんである。

　据置型ゲーム機１４は、コントローラ１６およびディスプレイ１８と接続される。コントローラ１６は、据置型ゲーム機１４専用のコントローラであり、Ｂｌｕｅｔｏｏｔｈ（登録商標）により据置型ゲーム機１４と接続される。ディスプレイ１８は、家庭用のテレビ受像器であってもよく、ＨＤＭＩ（登録商標）を介して据置型ゲーム機１４と接続される。エンタテインメントシステム１０は、据置型ゲーム機１４に代えて、デスクトップＰＣやスマートテレビ等、他の据置型の情報処理装置を備える構成であってもよい。

　モバイル端末１２は、スマートフォンやタブレット端末、携帯型ゲーム機であってもよい。モバイル端末１２と据置型ゲーム機１４には、テレビ視聴アプリケーション（以下「テレビ視聴Ａｐｐ」とも呼ぶ。）がインストールされる。テレビ視聴Ａｐｐは、録画装置と連携して、例えば放送中の番組を表示し、また録画予約を実行する。

　録画装置２０は、不図示のアンテナと接続され、またチューナやハードディスクを内蔵した映像録画再生機である。録画装置２０は、モバイル端末１２および据置型ゲーム機１４と通信し、モバイル端末１２または据置型ゲーム機１４に対するユーザの録画予約操作で指定された番組の録画処理を実行する。

　図２は、図１のモバイル端末１２の構成を示すブロック図である。本明細書の各ブロックは、ハードウェア的には、コンピュータのＣＰＵやメモリをはじめとする素子や電子回路、機械装置で実現でき、ソフトウェア的にはコンピュータプログラム等によって実現されるが、ここでは、それらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックはハードウェア、ソフトウェアの組合せによっていろいろなかたちで実現できることは、当業者には理解されるところである。

　モバイル端末１２は、制御部３０、記憶部３２、通信部３４、ＬＣＤ３６を備える。制御部３０は、各種のデータ処理を実行し、モバイル端末１２の動作を制御する。記憶部３２は、制御部３０により参照または更新されるデータを記憶する記憶領域である。制御部３０は、モバイル端末１２のＣＰＵがコンピュータプログラムを実行することにより実現され、記憶部３２は、モバイル端末１２のストレージやメモリにより実現されてもよい。

　通信部３４は、様々な通信プロトコルにしたがって、通信網を介して外部装置と通信する。制御部３０は、通信部３４を介して据置型ゲーム機１４および録画装置２０とデータを送受する。ＬＣＤ３６は、モバイル端末１２の本体と一体化され、モバイル端末１２のユーザインタフェースとなる液晶ディスプレイ（モニタ）である。ＬＣＤ３６はタッチパネルの機能も備える。モバイル端末１２は、ＬＣＤ３６に代えて、有機ＥＬディスプレイ等、他の種類の表示装置を備えてもよいことはもちろんである。

　記憶部３２はコンテンツ保持部３８を含む。コンテンツ保持部３８は、テレビ視聴Ａｐｐが表示対象とする様々なコンテンツのデータを保持する。例えば、番組表や放送番組に関するデータ、録画予約対象番組や録画済番組に関するデータ、ランキングデータ、アンケートデータ等を保持する。これらのデータは、録画装置２０から提供され、コンテンツ保持部３８に格納されてよい。

　制御部３０は、操作検出部４０とテレビ視聴処理部４２を含む。操作検出部４０は、ユーザがＬＣＤ３６に対して入力した操作を検出する。例えば、操作検出部４０は、操作入力位置（ＬＣＤ３５の画面の座標等）と、操作種別（タップ操作やドラッグ操作等）を検出する。

　テレビ視聴処理部４２は、モバイル端末１２にインストールされたテレビ視聴Ａｐｐにより実現される。例えば、テレビ視聴Ａｐｐは、ＳＤメモリカード等の所定の記録媒体に格納されて流通され、またはアプリサイトのサーバ等からダウンロードされてモバイル端末１２にインストールされる。そして、モバイル端末１２のストレージに格納されたテレビ視聴Ａｐｐのプログラムをモバイル端末１２のＣＰＵやＧＰＵが実行することにより、モバイル端末１２はテレビ視聴処理部４２の機能を発揮する。

　テレビ視聴処理部４２は、情報画面表示部４４、リモコン画面表示部４６、操作通知部４８を含む。これらはテレビ視聴Ａｐｐのプログラムモジュールとして実装されてもよい。情報画面表示部４４は、テレビ視聴Ａｐｐの各種画面のデータを生成し、生成した画面データをＬＣＤ３６に表示させる。情報画面表示部４４は、コンテンツ保持部３８に格納されたコンテンツデータ（番組情報等）を含む画面データを生成する。

　リモコン画面表示部４６は、据置型ゲーム機１４のテレビ視聴Ａｐｐに対する遠隔操作をユーザに入力させるための操作画面であるリモコン画面を生成し、ＬＣＤ３６に表示させる。典型的には、ＬＣＤ３６の全面に亘ってリモコン画面を表示させる。

　図３はリモコン画面を示す。リモコン画面５０は、ボタン操作領域５２とドラッグ操作領域５４を含む。ボタン操作領域５２は、仮想的なボタン（言い換えればボタン画像）に対する選択操作、実施の形態ではタップ操作が入力される領域である。ボタン操作領域５２は、テレビ視聴Ａｐｐの各メニューに対応するボタン画像として、終了ボタン５６、番組表ボタン５８、お知らせボタン６０が配置される。また、据置型ゲーム機１４のコントローラ１６のボタンに対応するボタン画像として、Ｌボタン６２とＲボタン６４が配置される。

　ドラッグ操作領域５４は、タッチパネルに対する任意の態様の操作が入力される領域である。ドラッグ操作領域５４に対する操作は、据置型ゲーム機１４のコントローラ１６におけるボタン入力操作に対応する。なおドラッグ操作領域５４の一部はボタン操作領域５２となっており、具体的にはキャンセルボタン６６が配置される。

　リモコン画面表示部４６は、図３に示す各ボタン画像やドラッグ操作領域５４の画像であり、すなわちリモコン画面５０の複数の要素データを保持する。テレビ視聴Ａｐｐがインストールされるモバイル端末１２のディスプレイサイズは様々であるが、実施の形態のリモコン画面表示部４６は、特定のタブレット端末のディスプレイサイズに対応する要素データを保持する。リモコン画面表示部４６は、リモコン画面５０を表示するＬＣＤ３６の横幅に応じて、各要素データを拡大もしくは縮小してリモコン画面に配置する。したがって、リモコン画面表示部４６は、ＬＣＤ３６のサイズが大きいほど、リモコン画面５０を大きく表示させ、各要素データも大きく表示させる。リモコン画面表示部４６は、複数の要素データをリモコン画面５０画面内に下寄せで配置する。

　図２に戻り、操作検出部４０は、リモコン画面５０に対して入力されたユーザ操作を検出し、操作の種類と操作位置を検出する。検出対象となる操作の種類は、フリック操作、ドラッグ操作、タップ操作、ダブルタップ操作（短時間の連続したタップ操作）、ホールド操作（長押し操作）を含む。操作位置は、リモコン画面５０の所定位置（左下端等）を原点とする縦横２次元の座標として検出されてもよい。フリック操作とタップ操作については、フリック方向とタップ方向を含む操作位置をさらに検出してもよい。

　操作通知部４８は、リモコン画面５０の表示中に、ＬＣＤ３６に対する操作が操作検出部４０により検出された場合、その操作を示す操作情報を据置型ゲーム機１４へ送信する。操作情報は、リモコン画面５０に対して入力された操作種類と操作位置を含む。

　図４は、図１の据置型ゲーム機１４の構成を示すブロック図である。据置型ゲーム機１４は、制御部７０、記憶部７２、通信部７４を備える。制御部７０は、各種のデータ処理を実行し、据置型ゲーム機１４の動作を制御する。記憶部７２は、制御部７０により参照または更新されるデータを記憶する記憶領域である。制御部７０は、据置型ゲーム機１４のＣＰＵがコンピュータプログラムを実行することにより実現され、記憶部７２は、据置型ゲーム機１４のストレージやメモリにより実現されてもよい。

　通信部７４は、様々な通信プロトコルにしたがって、通信網を介して外部装置と通信する。制御部７０は、通信部７４を介してモバイル端末１２、コントローラ１６、録画装置２０とデータを送受する。制御部３０は、不図示のディスプレイドライバを介して、表示対象の画像データをディスプレイ１８へ送信し、表示させる。

　記憶部７２はコンテンツ保持部７６を含む。コンテンツ保持部７６は、モバイル端末１２のコンテンツ保持部３８と同様に、テレビ視聴Ａｐｐが表示対象とする様々なコンテンツのデータを保持する。例えば、番組表や放送番組に関するデータ、録画予約対象番組や録画済番組に関するデータ、ランキングデータ、アンケートデータ等を保持する。

　制御部７０は、操作検出部７８とテレビ視聴処理部８０を含む。操作検出部７８は、ユーザがコントローラ１６に対して入力した操作を検出する。例えば、操作検出部７８は、コントローラ１６においてユーザにより操作されたキー（上下左右の方向キー等）や、ボタン（○ボタン、×ボタン等）の種類を検出する。

　テレビ視聴処理部８０は、据置型ゲーム機１４にインストールされたテレビ視聴Ａｐｐにより実現される。例えば、テレビ視聴Ａｐｐは、ＤＶＤ等の所定の記録媒体に格納されて流通され、据置型ゲーム機１４にインストールされる。そして、据置型ゲーム機１４のストレージに格納されたテレビ視聴Ａｐｐのプログラムを据置型ゲーム機１４のＣＰＵやＧＰＵが実行することにより、据置型ゲーム機１４はテレビ視聴処理部８０の機能を発揮する。

　テレビ視聴処理部８０は、情報画面表示部８２、リモコン画像表示部８４、操作情報取得部８６、リモコン操作識別部８８を含む。これらはテレビ視聴Ａｐｐのプログラムモジュールとして実装されてもよい。情報画面表示部８２は、テレビ視聴Ａｐｐの各種画面のデータを生成し、生成した画面データをディスプレイ１８に表示させる。情報画面表示部８２は、コンテンツ保持部７６に格納されたコンテンツデータ（番組情報等）を含む画面データを生成する。テレビ視聴処理部８０はコンテンツ表示部とも言える。

　以下、テレビ視聴Ａｐｐの画面を「Ａｐｐ画面」と呼ぶ。Ａｐｐ画面は、テレビ視聴Ａｐｐのトップ画面、番組表画面や検索結果画面、放送中の番組や録画番組の視聴画面、ランキング情報やアンケート情報の画面等を含む。情報画面表示部８２は、コントローラ１６におけるキー操作やボタン操作が操作検出部７８で検出されると、その操作に応じてＡｐｐ画面の表示内容を更新する。例えば、テレビ視聴Ａｐｐのトップ画面から番組表画面へ切り替え、また番組表画面において番組選択用のカーソルを移動させる。

　リモコン画像表示部８４は、モバイル端末１２でリモコン画面５０が表示される場合に、リモコン画面５０に対応する画像であるリモコン画像をＡｐｐ画面とともにディスプレイ１８に表示させる。具体的には、リモコン画面５０の外観を模したリモコン画像をＡｐｐ画面上に半透明で表示させる。リモコン画像の透過度は、Ａｐｐ画面やリモコン画像の視認性等を勘案しつつ、開発者の知見や実験に基づいて決定されてよい。

　操作情報取得部８６は、リモコン画面５０に対するユーザの操作内容を示す情報であり、モバイル端末１２から送信された操作情報を通信部７４を介して取得する。既述したように操作情報は、リモコン画面５０に対して入力された操作種類と操作位置を含む。

　リモコン画像表示部８４は、リモコン画面５０においてユーザが操作を入力した位置を示す画像である操作位置画像をリモコン画像上に表示させる。リモコン画像表示部８４は、リモコン画面５０における操作入力位置が変化した場合、リモコン画像上での操作位置画像の表示位置を変化させる。言い換えれば、リモコン画像表示部８４は、リモコン画面５０における操作入力位置の移動に追従して、リモコン画像上での操作位置画像の表示位置を移動させる。

　具体的には、リモコン画像表示部８４は、リモコン画面５０の座標と、リモコン画像の座標との対応関係を保持する。リモコン画像表示部８４は、リモコン画面５０における操作位置の座標値に対応するリモコン画像の座標値を識別し、識別した座標値により特定されるリモコン画像上の位置に操作位置画像を表示させる。操作情報取得部８６が新たな操作情報を取得すると、リモコン画像表示部８４は新たな操作情報が示す操作位置にしたがって操作位置画像の新たな位置を識別する。そして、その新たな位置で操作位置画像を表示させるよう切り替える。

　リモコン画像表示部８４は、モバイル端末１２のリモコン画面５０に対するユーザの操作入力が終了してから所定時間が経過するまでは、リモコン画像上の操作位置画像の表示を維持する。具体的には、リモコン画像表示部８４は、操作情報取得部８６において操作情報を受信しない状態になってからその状態が所定時間以上継続するまでは、最後の操作情報に基づく操作位置画像の表示を維持する。そして、操作情報を受信しない状態が所定時間以上継続した場合に操作位置画像の表示を終了し、言い換えれば、それまで表示させた操作位置画像を非表示とする。この所定時間は、数百ミリ秒～数秒程度であってもよく、開発者の知見や実験により適切な値が決定されてよい。

　リモコン操作識別部８８は、操作情報が示す操作種類と、テレビ視聴Ａｐｐにおける操作種類との対応関係を保持し、また、操作情報が示す操作種類と、コントローラ１６における操作種類との対応関係を保持する。リモコン操作識別部８８は、操作情報が取得されると、その操作情報が示す操作種類に対応付けられたテレビ視聴Ａｐｐまたはコントローラ１６の操作が入力されたものと判定する。なおリモコン操作識別部８８は、操作種類がフリック操作およびドラッグ操作の場合、操作位置が示す座標の推移にしたがって、これらの操作の方向をさらに識別してもよい。

　リモコン操作識別部８８は、リモコン画面５０のドラッグ操作領域５４におけるフリック操作を、フリック方向に一致する方向キーに対する１回の押下操作と識別する。また、ドラッグ操作を、ドラッグ方向に一致する方向キーに対する長押し操作と識別する。また、タップ操作、ホールド操作、ダブルタップ操作をそれぞれ○ボタン、△ボタン、□ボタンの押下操作と識別する。

　またリモコン操作識別部８８は、リモコン画面５０の座標と、リモコン画面５０上のボタンとの対応関係を保持する。リモコン操作識別部８８は、操作情報の操作位置が示す座標が特定のボタンに対応する場合、その特定のボタンに対する操作であると判定する。

　例えば、リモコン操作識別部８８は、操作情報がリモコン画面５０の番組表ボタン５８に対するタップ操作を示す場合、テレビ視聴Ａｐｐの番組表画面の表示要求と識別する。また操作情報が、リモコン画面５０のお知らせボタン６０に対するタップ操作を示す場合、テレビ視聴Ａｐｐのお知らせ画面の表示要求と識別する。また操作情報が、リモコン画面５０のＬボタン６２、Ｒボタン６４、キャンセルボタン６６に対するタップ操作を示す場合、コントローラ１６のＬボタン、Ｒボタン、×ボタンの押下操作を識別する。

　リモコン操作識別部８８は、モバイル端末１２から通知された操作情報に基づき識別した操作内容を情報画面表示部４４へ通知する。情報画面表示部４４は、リモコン操作識別部８８により識別された操作内容にしたがってＡｐｐ画面の表示内容を更新する。すなわち情報画面表示部４４は、リモコン操作識別部８８により識別された操作内容を、コントローラ１６におけるキー操作またはボタン操作として取り扱う。

　以上の構成によるエンタテインメントシステム１０の動作を説明する。
　ここでは据置型ゲーム機１４においてテレビ視聴Ａｐｐが起動済であり、そのＡｐｐ画面がディスプレイ１８に表示されている。ユーザは、コントローラ１６が据置型ゲーム機１４と通信できない離れた場所から、もしくはコントローラ１６を保持しない状況で、モバイル端末１２を使用して据置型ゲーム機１４のテレビ視聴Ａｐｐを遠隔操作する。

　ユーザは、モバイル端末１２のテレビ視聴Ａｐｐを起動する。モバイル端末１２の情報画面表示部４４はテレビ視聴Ａｐｐのトップ画面をＬＣＤ３６に表示させ、ユーザはトップ画面内のリモコンアイコンを選択する。モバイル端末１２のリモコン画面表示部４６は、図３に示したリモコン画面５０をＬＣＤ３６に表示させる。モバイル端末１２の操作通知部４８は、リモコン操作を開始する旨のリモコン開始情報を据置型ゲーム機１４へ送信する。据置型ゲーム機１４のリモコン画像表示部８４は、リモコン開始情報を受信したことを契機としてリモコン画像をディスプレイ１８に表示させる。

　図５はリモコン画像の表示例を示す。同図は、据置型ゲーム機１４のディスプレイ１８にＡｐｐ画面としての番組表画面９０が表示中であるときに、リモコン画像９４を表示した状態を示している。リモコン画像９４は、リモコン画面５０の外観を模しており、リモコン画面５０のボタン操作領域５２に対応するボタン画像９６と、リモコン画面５０のドラッグ操作領域５４に対応するドラッグ領域画像９８を含む。通常のコントローラ１６による操作では、ユーザは、方向キーの操作でカーソル９２を移動させて所望の番組を選択した状態にし、○ボタンを押下して録画予約ウィンドウを表示させる。

　モバイル端末１２によるリモコン操作の場合、ユーザが、リモコン画面５０のドラッグ操作領域５４に対してフリック操作またはドラッグ操作を入力すると、操作通知部４８は、そのフリック操作またはドラッグ操作を示す操作情報を据置型ゲーム機１４へ送信する。据置型ゲーム機１４の情報画面表示部８２は、コントローラ１６での方向操作時と同様に、番組表画面９０のカーソル９２をフリック方向またはドラッグ方向へ移動させる。なお、フリック操作の場合は、カーソル９２を１単位（例えば１マス分）移動させ、ドラッグ操作の場合はカーソル９２を連続移動させる。

　所望の番組をカーソル９２で選択した後、ユーザが、リモコン画面５０のドラッグ操作領域５４に対してタップ操作を入力すると、操作通知部４８は、そのタップ操作を示す操作情報を据置型ゲーム機１４へ送信する。据置型ゲーム機１４のリモコン操作識別部８８は、操作情報が示すタップ操作をコントローラ１６の○ボタン押下操作として検出する。据置型ゲーム機１４の情報画面表示部８２は、コントローラ１６での○ボタン操作時と同様に、カーソル９２によるフォーカス番組の録画予約ウィンドウを表示させる。据置型ゲーム機１４の他のＡｐｐ画面に対する遠隔操作時も同様の動作になる。

　リモコン操作を終了する場合、ユーザは、リモコン画面５０の終了ボタン５６をタップする。モバイル端末１２のリモコン画面表示部４６は、ＬＣＤ３６におけるリモコン画面５０の表示を終了し、操作通知部４８は、リモコン画面操作を終了する旨のリモコン終了情報を据置型ゲーム機１４へ送信する。据置型ゲーム機１４のリモコン画像表示部８４は、リモコン終了情報を受信したことを契機としてリモコン画像の表示を終了する。

　次に、リモコン画像９４における操作位置画像１００の表示処理について説明する。据置型ゲーム機１４のリモコン画面表示部４６は、リモコン画面５０の操作入力位置に対応するリモコン画像９４の位置に操作位置画像１００を表示させる。図６はリモコン画像９４の表示例を示す。同図のリモコン画像９４は、実際には、据置型ゲーム機１４のディスプレイ１８に表示された特定のＡｐｐ画面に重畳して表示される。

　モバイル端末１２のリモコン画面５０のドラッグ操作領域５４に対してユーザが右方向へのドラッグ操作を入力したとする。この場合、据置型ゲーム機１４のリモコン画像表示部８４は、操作位置画像１００をＡからＢへ移動させ、これとともに情報画面表示部８２は、Ａｐｐ画面のカーソルを左から右へ連続移動させる。図６の位置Ａはリモコン画面５０におけるドラッグ操作開始位置に対応し、位置Ｂはドラッグ操作終了位置に対応する。

　モバイル端末１２のリモコン画面５０のドラッグ操作領域５４に対してユーザがタップ操作を入力したとする。この場合、据置型ゲーム機１４のリモコン画像表示部８４は、タップ操作の入力位置に対応する位置Ｃに操作位置画像１００を表示させる。これとともに情報画面表示部８２は、コントローラ１６の○ボタン操作時と同様のＡｐｐ画面更新処理を実行する。

　モバイル端末１２のリモコン画面５０のＲボタン６４に対してユーザがタッチした場合、据置型ゲーム機１４のリモコン画像表示部８４は、リモコン画面５０のタッチ位置に対応するリモコン画像９４の位置Ｄに操作位置画像１００を表示させる。またタッチ位置がＲボタン６４の位置に整合するため、リモコン画像表示部８４は、Ｒボタン６４に対応するボタン画像９６を、選択されたことを示唆する強調態様で表示させる。例えば、赤色等の目立つ色でハイライト表示し、ボタン画像９６の中にその名称（ここでは「Ｒ」）を表示させる。

　その後ユーザが、リモコン画面５０においてＲボタン６４から番組表ボタン５８の方向へドラッグ操作を入力したとする。据置型ゲーム機１４のリモコン画像表示部８４は、操作位置画像１００をＤからＥへ移動させる。さらにリモコン画像表示部８４は、Ｒボタン６４に対応するボタン画像９６（「Ｒ」）のハイライト表示を終了し、番組表ボタン５８に対応するボタン画像９６（「ＧＵＩＤＥ」）をハイライト表示させる。

　ユーザがリモコン画面５０の番組表ボタン５８に対してタップ操作を入力すると、リモコン画像表示部８４は、位置Ｅでの操作位置画像１００の表示を維持し、番組表ボタン５８に対応するボタン画像９６（「ＧＵＩＤＥ」）をハイライト表示させる。据置型ゲーム機１４の情報画面表示部８２は、それまでのＡｐｐ画面（例えばトップ画面や検索画面、ランキング画面等）から番組表画面へ遷移させる。

　ユーザがリモコン画面５０の番組表ボタン５８から指を離してから所定時間は、リモコン画像表示部８４は、位置Ｅでの操作位置画像１００の表示と、番組表ボタン５８に対応するボタン画像９６（「ＧＵＩＤＥ」）のハイライト表示を維持する。これにより、リモコン画面５０に対する直前の操作位置をユーザに把握させやすくなり、次の操作入力位置を適切に判断することを支援できる。

　実施の形態のエンタテインメントシステム１０によると、操作側のモバイル端末１２のリモコン画面５０を模したリモコン画像９４を、被操作側の据置型ゲーム機１４のＡｐｐ画面とともに表示させる。そして、リモコン画面５０での操作入力位置を示す操作位置画像１００をリモコン画像９４上に表示させる。また、リモコン画面５０における操作入力位置の変化に追従させて、リモコン画像９４上の操作位置画像１００の位置を変化させる。これにより、ユーザは、リモコン画面５０を確認しなくても、Ａｐｐ画面を見ながらリモコン画面５０に対する操作内容を把握しやすくなる。これにより、モバイル端末をリモコンとして使用する場合のユーザの利便性と、リモコン操作の効率を向上させる。

　以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

　第１変形例を説明する。上記実施の形態では、リモコン画面５０のボタン操作領域５２に配置されたボタンに対してタップ操作が入力された場合に、ボタンに対する選択操作（押下操作）が入力されたと判定した。変形例として、リモコン画面５０のボタン操作領域５２に配置されたボタンに対して長押し後、リリースされた（指を離した）場合もボタンに対する選択操作が入力されたと判定してもよい。

　第２変形例を説明する。モバイル端末１２のリモコン画面５０においてドラッグ操作領域５４の中から外、典型的にはドラッグ操作領域５４からボタン操作領域５２に亘るドラッグ操作が検出された場合、ボタン操作領域５２に配置されたボタンへの操作を無効にしてもよい。具体的な構成として、ドラッグ操作領域５４からボタン操作領域５２に亘るドラッグ操作検出後、モバイル端末１２の操作通知部４８は、ボタン操作領域５２に配置されたボタンに対する操作を据置型ゲーム機１４へ通知することを抑制してもよい。

　異なる構成として、ドラッグ操作領域５４からボタン操作領域５２に亘るドラッグ操作が検出された場合、据置型ゲーム機１４の情報画面表示部８２は、ボタン操作領域５２に配置されたボタンに対する操作に応じたＡｐｐ画面の更新を抑制してもよい。ドラッグ操作領域５４の中から外へのフリック操作が検出された場合も同様の処理を実行する。この態様によると、ユーザのドラッグ操作またはフリック操作によってユーザが意図しないボタン操作が検出され、ユーザが意図しないテレビ視聴Ａｐｐの処理が実行されることを防止できる。例えばユーザが意図しないＡｐｐ画面の更新を防止できる。

　第２変形例に関連する第３変形例を説明する。モバイル端末１２のリモコン画面５０においてドラッグ操作領域５４からボタン操作領域５２に亘るドラッグ操作が検出された場合、据置型ゲーム機１４のリモコン画像表示部８４は、リモコン画像９４のボタン画像９６を非表示にする。図７は、第３変形例におけるリモコン画像９４の表示例を示す。ここでは、リモコン画面５０におけるユーザのドラッグ操作に応じて、リモコン画像９４上の操作位置画像１００を位置Ｆから位置Ｇへ移動する。

　据置型ゲーム機１４のリモコン画像表示部８４は、リモコン画面５０における操作入力位置がドラッグ操作領域５４内からボタン操作領域５２内に変化したことを検出すると、リモコン画像９４に配置した複数のボタン画像９６を非表示とする。この態様によると、リモコン画面５０のボタン操作領域５２におけるボタン操作が無効であることをユーザに示し、ユーザのリモコン操作を支援できる。

　なお、リモコン画面５０のボタン操作領域５２におけるボタン操作を無効にした後、ユーザの指がリモコン画面５０から離れて所定時間（例えば数百ミリ秒から数秒程度）経過した場合、ボタン操作領域５２におけるボタン操作を再度有効にしてもよい。それとともに据置型ゲーム機１４のリモコン画像表示部８４は、一旦非表示にしたボタン画像９６をリモコン画像９４上に再度表示させてもよい。

　上記の第２変形例、第３変形に関連する第４変形例を説明する。据置型ゲーム機１４のリモコン操作識別部８８（もしくは後述するようにモバイル端末１２）は、モバイル端末１２のリモコン画面５０に対するドラッグ操作がドラッグ操作領域５４内で開始された場合に、有効なドラッグ操作と判定してもよい。据置型ゲーム機１４のリモコン画像表示部８４は、有効なドラッグ操作であるか否かに関わらず、操作位置画像１００をリモコン画像９４上で移動させてもよい。その一方、据置型ゲーム機１４の情報画面表示部８２は、有効なドラッグ操作である場合に、そのドラッグ操作に応じてカーソルを含む表示コンテンツを更新してもよい。

　据置型ゲーム機１４のリモコン操作識別部８８は、リモコン画面５０に対するドラッグ操作がドラッグ操作領域５４内で開始されれば、そのドラッグ操作がドラッグ操作領域５４外（例えばボタン操作領域５２）で継続する場合も、有効なドラッグ操作と判定してもよい。この場合、ボタン操作領域５２をドラッグ操作領域５４として扱うことになる。そのため、据置型ゲーム機１４のリモコン画像表示部８４は、ドラッグ操作のタッチ位置がドラッグ操作領域５４外になったことを契機として、リモコン画像９４における複数のボタン画像９６を非表示に切り替えてもよい。

　逆に、リモコン画面５０のボタン操作領域５２からドラッグ操作が開始された場合、据置型ゲーム機１４のリモコン画像表示部８４は、ドラッグ中にタッチされたボタン画像をハイライト表示する。ただし、リモコン操作識別部８８は有効なドラッグ操作と認定しないため、リモコン画像表示部８４は、そのドラッグ操作の継続中、リモコン画像９４のドラッグ領域画像９８を非表示に切り替えてもよい。後述するように、据置型ゲーム機１４からモバイル端末１２へ操作内容がフィードバックされる場合、モバイル端末１２のリモコン画面表示部４６も、据置型ゲーム機１４のリモコン画像９４と同様に、リモコン画面５０におけるドラッグ領域画像９８もしくはボタン画像を非表示に切り替えてもよい。

　第４変形例に関連する第５変形例を説明する。モバイル端末１２のリモコン画面５０に対する操作として、２本の指によるジェスチャ操作であるズームイン操作（拡大操作、ピンチアウト操作とも言える）と、ズームアウト操作（縮小操作、ピンチイン操作とも言える）と、回転操作が入力されてもよい。据置型ゲーム機１４のリモコン操作識別部８８（もしくは後述するようにモバイル端末１２）は、指間の距離の変化に基づいてズームイン操作またはズームアウト操作を検出してもよい。また、２本の指が操作対象にタッチした状態で２つのタッチ座標の関係が変わった場合や、弧を描くような所定の軌跡で２つのタッチ座標が変化する場合に、回転操作を検出してもよい。この場合、据置型ゲーム機１４のリモコン画像表示部８４は、２つのタッチ位置を示す２つの操作位置画像１００をリモコン画像９４上に表示させてもよい。

　本来、ズームイン操作、ズームアウト操作、回転操作等のジェスチャ操作は、リモコン画面５０のドラッグ操作領域５４で行われるべきものである。しかし、時間的に先の１つ目のタッチ座標がリモコン画面５０のドラッグ操作領域５４内であれば、時間的に後の２つ目のタッチ座標がドラッグ操作領域５４外（例えばボタン操作領域５２内）であっても、据置型ゲーム機１４のリモコン操作識別部８８（もしくは後述するようにモバイル端末１２）は、有効なジェスチャ操作として認定してもよい。

　第６変形例を説明する。実施の形態のエンタテインメントシステム１０では、リモコン画面５０における操作を、テレビ視聴Ａｐｐまたはコントローラ１６における操作として検出するリモコン操作識別部８８を据置型ゲーム機１４が備える構成とした。変形例として、リモコン操作識別部８８をモバイル端末１２が備える構成としてもよい。この場合、モバイル端末１２の操作通知部４８は、自端末のリモコン操作識別部８８が検出したテレビ視聴Ａｐｐまたはコントローラ１６の操作内容を示す操作情報を据置型ゲーム機１４へ送信してもよい。

　実施の形態および第６変形例における操作内容の識別について補足する。リモコン画面５０に対するユーザのタッチ操作を受け付ける主体、すなわちタッチ操作の入力位置を示すタッチ座標を取得する主体はモバイル端末１２である。そして据置型ゲーム機１４のディスプレイ１８に表示されるリモコン画像９４上に操作位置画像１００を表示させるために、モバイル端末１２はタッチ座標を据置型ゲーム機１４へ送信する。実施の形態および第６変形例で説明したように、タッチ座標に基づいてどのような操作が入力されたかの判定は、モバイル端末１２と据置型ゲーム機１４のいずれが実行してもよい。

　第１の構成例として、モバイル端末１２は、リモコン画面５０上の特定のボタンが押されたか（例えばタップされたか）を判定し、特定のボタンが押されたことを示す情報を据置型ゲーム機１４へ送信してもよい。ボタンを押すタップ操作として、ユーザの指がリモコン画面５０上のボタン画像の領域に有効に触れているかどうかのフィードバック、言い換えれば、このまま指を離せばボタン操作になるというフィードバックをディスプレイ１８のリモコン画像９４に表示させるために、特定のボタンが押されていることを示す情報をモバイル端末１２から据置型ゲーム機１４へ送信してもよい。

　第２の構成例として、リモコン画面５０上の特定のボタンが押されたか否かの判定は、モバイル端末１２は実行せず、据置型ゲーム機１４が実行してもよい。このとき、どのボタンが押されたかのフィードバックをモバイル端末１２のリモコン画面５０に表示させてもよい。そのために据置型ゲーム機１４は、自身の判定結果であり、特定のボタンが押されたことを示す情報をモバイル端末１２へ送信してもよい。モバイル端末１２は、その情報が示すリモコン画面５０上の特定のボタンの画像を、押されたことを示す態様（例えばそれまでとは異なる色彩）で表示させてもよい。

　第７変形例を説明する。モバイル端末１２のリモコン画面５０においてフリック操作が入力された場合、据置型ゲーム機１４のリモコン画像表示部８４は、ドラッグ操作入力時とは異なるフィードバックをリモコン画像９４に表示させてもよい。フリック操作はごく短い時間で終了する操作であり、操作途中の状況をユーザにフィードバックする必要性が低いからである。フリック操作は、例えば、ディスプレイ１８のチャンネルを切り替える＋－操作に適用されてもよい。

　据置型ゲーム機１４のリモコン画像表示部８４は、リモコン画面５０に対するフリック操作が検出された場合に、どの方向へのフリック操作が行われたかを示すフィードバックをリモコン画像９４上に表示させてもよい。例えば、フリック操作の開始位置を始点とし、フリック操作の方向を示す矢印画像を表示させてもよい。また、フリック操作によりチャンネルが変更されたことのフィードバック（変更前後のチャンネル番号や放送局等）をリモコン画像９４に表示させてもよい。また、モバイル端末１２のリモコン画面５０においてもフリック操作の上記フィードバックを表示させてもよい。

　リモコン画面５０に対してフリック操作が入力されたことを判定する主体は、既述したように、据置型ゲーム機１４でもよく、モバイル端末１２でもよい。双方でＵＩへのフィードバックを行う場合は、フリック操作の判定主体は、フリック操作が入力された旨の情報を他方へ通知すればよい。なお、フリック操作は相対的に短時間で終了するためモバイル端末１２が判定し、その一方、ドラッグ操作は相対的に長時間に亘るため据置型ゲーム機１４が判定する構成としてもよい。

　第８変形例を説明する。１台の据置型ゲーム機１４に対して、複数のモバイル端末１２がリモコン操作を実行してもよい。この場合、据置型ゲーム機１４のリモコン画像表示部８４は、複数のモバイル端末１２に表示されたリモコン画面５０のそれぞれに対応する複数のリモコン画像９４をディスプレイ１８に表示させてもよい。

　別の構成として、リモコン操作を実行するモバイル端末１２が複数存在しても、言い換えれば、モバイル端末１２の台数に関わらず、据置型ゲーム機１４のリモコン画像表示部８４は、１つのリモコン画像９４を表示させてもよい。この場合、据置型ゲーム機１４のリモコン画像表示部８４は、複数のモバイル端末１２に表示されたリモコン画面５０のそれぞれに対応する複数の操作位置画像１００を１つのリモコン画像９４上に表示させてもよい。そして、複数の操作位置画像１００を互いに形状、模様、色彩のうち少なくとも１つが異なる態様で表示させてもよい。

　上述した実施の形態および変形例の任意の組み合わせもまた本発明の実施の形態として有用である。組み合わせによって生じる新たな実施の形態は、組み合わされる実施の形態および変形例それぞれの効果をあわせもつ。また、請求項に記載の各構成要件が果たすべき機能は、実施の形態および変形例において示された各構成要素の単体もしくはそれらの連携によって実現されることも当業者には理解されるところである。

　１０　エンタテインメントシステム、　１２　モバイル端末、　１４　据置型ゲーム機、　４６　リモコン画面表示部、　４８　操作通知部、　８２　情報画面表示部、　８４　リモコン画像表示部、　８６　操作情報取得部、　８８　リモコン操作識別部。

　この発明は、情報処理装置に適用することができる。

Claims (10)

1. 　本装置に対する操作をユーザに入力させるための操作画面を表示する他の情報処理装置から通知された前記操作画面に入力された操作に関する情報を取得する操作情報取得部と、
   　所定のコンテンツを表示させ、前記他の情報処理装置から通知された操作に応じて表示コンテンツを更新するコンテンツ表示部と、
   　前記他の情報処理装置の前記操作画面に対応するリモコン画像を前記コンテンツの画面とともに表示させ、前記操作画面においてユーザが操作を入力した位置を示す操作位置画像を前記リモコン画像上に表示させるリモコン画像表示部と、
   　を備えることを特徴とする情報処理装置。
2. 　前記リモコン画像表示部は、前記他の情報処理装置の前記操作画面における操作入力位置が変化した場合、前記リモコン画像上の前記操作位置画像の位置を変化させることを特徴とする請求項１に記載の情報処理装置。
3. 　前記リモコン画像表示部は、前記他の情報処理装置の前記操作画面に対するユーザの操作入力が終了してから所定時間が経過するまでは、前記リモコン画像上の前記操作位置画像の表示を維持することを特徴とする請求項１または２に記載の情報処理装置。
4. 　前記他の情報処理装置は、ドラッグ操作領域とボタン操作領域を含む操作画面を表示させるものであり、
   　前記ドラッグ操作領域からボタン操作領域へのドラッグ操作が検出された場合、前記ボタン操作領域に配置されたボタンへの操作を無効にすることを特徴とする請求項１から３のいずれかに記載の情報処理装置。
5. 　前記リモコン画像表示部は、前記ドラッグ操作領域とボタン操作領域を示す画像を前記リモコン画像上に表示させ、前記ドラッグ操作領域からボタン操作領域へのドラッグ操作が検出された場合、前記ボタン操作領域を示す画像を非表示とすることを特徴とする請求項４に記載の情報処理装置。
6. 　所定のコンテンツを表示する他の情報処理装置に対する操作をユーザに入力させるための操作画面を表示させる操作画面表示部と、
   　前記操作画面に入力された操作を示す情報を前記他の情報処理装置へ通知することにより、前記他の情報処理装置に、前記操作画面に対応するリモコン画像を前記コンテンツの画面とともに表示させ、前記操作画面においてユーザが操作を入力した位置を示す操作位置画像を前記リモコン画像上に表示させる操作通知部と、
   　を備えることを特徴とする情報処理装置。
7. 　第１の情報処理装置と第２の情報処理装置とを備え、
   　前記第１の情報処理装置は、
   　前記第２の情報処理装置に対する操作をユーザに入力させるための操作画面を表示させる操作画面表示部と、
   　前記操作画面に入力された操作を示す情報を前記第２の情報処理装置へ通知する操作通知部と、を含み、
   　前記第２の情報処理装置は、
   　所定のコンテンツを表示させ、前記第１の情報処理装置から通知された操作に応じて表示コンテンツを更新するコンテンツ表示部と、
   　前記第１の情報処理装置の前記操作画面に対応するリモコン画像を前記コンテンツの画面とともに表示させ、前記操作画面においてユーザが操作を入力した位置を示す操作位置画像を前記リモコン画像上に表示させるリモコン画像表示部と、を含むことを特徴とする情報処理システム。
8. 　情報処理装置が、
   　本装置に対する操作をユーザに入力させるための操作画面を表示する他の情報処理装置から通知された前記操作画面に入力された操作を示す情報を取得するステップと、
   　所定のコンテンツを表示させ、前記他の情報処理装置から通知された操作に応じて表示コンテンツを更新するステップと、
   　前記他の情報処理装置の前記操作画面に対応するリモコン画像を前記コンテンツの画面とともに表示させ、前記操作画面においてユーザが操作を入力した位置を示す操作位置画像を前記リモコン画像上に表示させるステップと、
   　を実行することを特徴とする遠隔操作支援方法。
9. 　情報処理装置に、
   　本装置に対する操作をユーザに入力させるための操作画面を表示する他の情報処理装置から通知された前記操作画面に入力された操作を示す情報を取得する機能と、
   　所定のコンテンツを表示させ、前記他の情報処理装置から通知された操作に応じて表示コンテンツを更新する機能と、
   　前記他の情報処理装置の前記操作画面に対応するリモコン画像を前記コンテンツの画面とともに表示させ、前記操作画面においてユーザが操作を入力した位置を示す操作位置画像を前記リモコン画像上に表示させる機能と、
   　を実現させるためのコンピュータプログラム。
10. 　情報処理装置に、
    　所定のコンテンツを表示する他の情報処理装置に対する操作をユーザに入力させるための操作画面を表示させる機能と、
    　前記操作画面に入力された操作を示す情報を前記他の情報処理装置へ通知することにより、前記他の情報処理装置に、前記操作画面に対応するリモコン画像を前記コンテンツの画面とともに表示させ、前記操作画面においてユーザが操作を入力した位置を示す操作位置画像を前記リモコン画像上に表示させる機能と、
    　を実現させるためのコンピュータプログラム。

Images