WO2012147520A1

WO2012147520A1 - 表示制御装置、表示制御方法、およびプログラム

Info

Publication number: WO2012147520A1
Application number: PCT/JP2012/059960
Authority: WO
Inventors: 公一赤坂; 河村　大輔; 宏充岡
Original assignee: ソニー株式会社
Priority date: 2011-04-25
Filing date: 2012-04-12
Publication date: 2012-11-01
Also published as: US9524095B2; US20140040831A1; CN103493001A; EP2703972A1; JP2012231249A

Abstract

本技術は、入力可能なジェスチャ操作を分かりやすくすることができる表示制御装置、表示制御方法、およびプログラムに関する。表示制御部は、ジェスチャ操作のガイドを第１の状態で表示部に表示させる。そして、表示制御部は、ジェスチャ操作を検出する検出部により所定のジェスチャ操作が検出された場合、検出されたジェスチャ操作に対応するガイドを第２の状態に変更して表示部に表示させる。この開示の技術は、例えば、表示部を有する情報処理端末に適用できる。

Description

表示制御装置、表示制御方法、およびプログラム

　本技術は、表示制御装置、表示制御方法、およびプログラムに関し、特に、入力可能なジェスチャ操作を分かりやすくする表示制御装置、表示制御方法、およびプログラムに関する。

　テレビジョン受像機や録画再生装置などの装置を遠隔から制御するリモートコントローラでは、チャンネル番号や音量調整のボタンが設けられ、操作されたボタンに対応する制御信号を送信するものが一般的である。これに対して、リモートコントローラの上面を平面としてタッチパネルを配し、タッチパネル上でユーザにジェスチャ操作を行わせ、検出されたジェスチャ操作に対応する制御信号を送信するものがある（例えば、特許文献１参照）。

特開２０１０－１９３１０７号公報（００４０段落、図２乃至図５）

　しかしながら、特許文献１で提案されている方法では、どのようなジェスチャ操作を行うことが可能で、行ったジェスチャ操作が適切に認識されて実行されたかが分かりにくかった。

　本技術は、このような状況に鑑みてなされたものであり、入力可能なジェスチャ操作を分かりやすくするものである。

　本技術の一側面の表示制御装置は、ジェスチャ操作のガイドを第１の状態で表示部に表示させる表示制御部と、前記ジェスチャ操作を検出する検出部とを備え、前記表示制御部は、前記ジェスチャ操作が検出された場合、検出された前記ジェスチャ操作に対応する前記ガイドを第２の状態に変更して前記表示部に表示させる。

　本技術の一側面の表示制御方法は、ジェスチャ操作のガイドを第１の状態で表示部に表示させ、前記ジェスチャ操作を検出し、検出した前記ジェスチャ操作に対応する前記ガイドを第２の状態に変更して前記表示部に表示させるステップを含む。

　本技術の一側面のプログラムは、コンピュータに、ジェスチャ操作のガイドを第１の状態で表示部に表示させ、前記ジェスチャ操作を検出し、検出した前記ジェスチャ操作に対応する前記ガイドを第２の状態に変更して前記表示部に表示させるステップを含む処理を実行させるためのものである。

　本技術の一側面においては、ジェスチャ操作のガイドが第１の状態で表示部に表示され、ジェスチャ操作が検出され、検出されたジェスチャ操作に対応するガイドが第２の状態に変更されて表示部に表示される。

　なお、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。

　表示制御装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。

　本技術の一側面によれば、入力可能なジェスチャ操作を分かりやすくすることができる。

本技術の表示制御装置を適用したタブレット端末の一実施の形態の外観構成例を示す上面図である。ブレット端末のハードウェアの構成例を示すブロック図である。リモコンアプリの処理を説明するフローチャートである。機器一覧画面の画面例を示す図である。機器登録処理を説明するフローチャートである。機器登録画面の画面例を示す図である。機器登録画面の画面例を示す図である。機器登録画面の画面例を示す図である。機器登録画面の画面例を示す図である。テレビのジェスチャ画面の画面例を示す図である。テレビのフルリモコン画面の画面例を示す図である。アンプのジェスチャ画面の画面例を示す図である。 BDプレーヤのジェスチャ画面の画面例を示す図である。ジェスチャ操作によるコマンドの送信の動作について説明する図である。ジェスチャ操作によるコマンドの送信の動作について説明する図である。ジェスチャ操作対応処理を説明するフローチャートである。

［タブレット端末の外観構成例］
　図１は、本技術の表示制御装置を適用したタブレット端末の一実施の形態の外観構成例を示す上面図である。

　図１のタブレット端末１は、薄板状の情報処理端末であり、テーブル等に置いたときに上面となる略長方形の面に、タッチスクリーン１１が設けられている。

　タッチスクリーン１１には、各種の画像が表示される。また、ユーザは、指等を、タッチスクリーン１１に近接、又は、接触（タッチ）することによって、各種の（操作）入力を与えることができる。

　タブレット端末１には、ユーザが使用している機器を自由に登録して、IR信号による機器制御を行うことができるアプリケーション（以下、リモコンアプリという。）がインストールされている。ここで、制御対象として登録される機器は、例えば、テレビジョン受像機、DVD(Digital Versatile Disc)プレーヤ、BD(Blu-ray Disc（登録商標）)レコーダ等の録画再生装置、STB(Set Top Box)、アンプ等である。

　タッチスクリーン１１には、例えば、リモコンアプリのアイコン画像２１が少なくとも表示され、ユーザがリモコンアプリのアイコン画像２１をタップ等することで、リモコンアプリを起動することができる。

　略長方形状のタブレット端末１の長辺となる一辺の側面には、IR信号が入出力されるIR（Infrared Radiation）通信部１２が設けられている。図１は、タブレット端末１を上から見た上面図であるため、IR通信部１２が設けられている部分は破線で示されている。ユーザは、IR通信部１２が制御対象の機器に向くようにタブレット端末１を設置する。従って、図１の例では、制御対象の機器は、図中、上側の方向にあり、ユーザは、図中、下側に位置している。

　以上のように構成されるタブレット端末１において、リモコンアプリが実行されることにより、タッチスクリーン１１上でユーザが行ったジェスチャ操作を検出し、ジェスチャ操作に対応するIR信号を、登録されている所定の機器に送信し、機器制御を行うことができる。

［タブレット端末１のハードウェア構成例］
　図２は、タブレット端末１のハードウェア構成例を示すブロック図である。

　タブレット端末１は、CPU（Central Processing Unit）４１，ROM（Read Only Memory）４２，RAM（Random Access Memory）４３は、フラッシュメモリ４４、および入出力インタフェース４５を有し、それらはバス４６により相互に接続され、必要に応じてデータを授受することができる。

　また、入出力インタフェース４５には、タッチスクリーン１１、IR通信部１２、出力部４７、入力部４８、通信部４９、及び、ドライブ５０が接続されている。

　タッチスクリーン１１は、表示部６１Aと位置検出部６１Bとを有し、図１で説明したように、各種の表示と、指等を近接、又は、接触（タッチ）することによる操作入力とが可能になっている。

　表示部６１Aは、画像を表示する、液晶パネル等のデバイス（表示装置）で構成され、入出力インタフェース４５を介して供給されるデータに応じて、画像を表示する。

　位置検出部６１Bは、例えば、静電式等のタッチパネルや、光を照射する光源と、その光の、物体からの反射光を受光するセンサとのセット等の、外部からの入力（近接・接触）を受け付ける（検知する）機能を有するデバイスで構成される。

　位置検出部６１Bは、外部からの物体、すなわち、例えば、ユーザの指や、ユーザが扱うタッチペン等が近接し、又は、接触（タッチ）すると、その近接、又は、接触がされている位置を表す位置信号を（入出力インタフェース４５に）出力する。位置検出部６１Bは、タッチスクリーン１１上でユーザによって行われたジェスチャ操作を検出する検出部として機能する。

　タッチスクリーン１１は、以上のような表示部６１Aと位置検出部６１Bとが一体的になっており、表示部６１Aにおいて画像を表示し、位置検出部６１Bにおいて、表示部６１Aに表示された画像に対する外部からの操作入力（タッチや近接）を受け付けることができる。

　位置検出部６１Bが出力する位置信号は、入出力インタフェース４５を介して、CPU４１に供給され、CPU４１では、位置検出部６１Bからの位置信号に基づき、どのような操作入力があったかが認識され、その操作入力に応じて、各種の処理が行われる。

　なお、位置検出部６１Bが検出できるユーザの操作には、例えば、所定時間指でタッチして画面から離す操作であるタップ操作、短い所定時間に２回指でタッチする操作であるダブルタップ操作、指で所定の方向に払う操作であるフリック操作、指を接触したまま所定の方向へ移動するドラッグ操作などがある。

　IR通信部１２は、CPU４１の制御に従い、機器の制御コマンドに対応するIR信号を送信する。また、IR通信部１２は、外部から入力されてくるIR信号を受信し、受信したIR信号の制御コマンドを入出力インタフェース４５を介してCPU４１に供給する。

　CPU４１は、ROM４２に記憶されたプログラムや、フラッシュメモリ４４等から読み出されて、RAM４３に記憶（展開）されたプログラムを実行することにより、各種の処理を行う。CPU４１により実行されるプログラムの一つがリモコンアプリである。

　ROM４２は、例えば、EEPROM(Electrically Erasable Programmable ROM)等であり、タブレット端末１の電源がオフにされたときも保持する必要があるデータやプログラムを記憶する。

　RAM４３は、CPU４１の動作上必要なプログラムやデータを記憶する。

　フラッシュメモリ４４には、CPU４１が実行するリモコンアプリ等のプログラムや、その他のデータ（プログラムを含む）が記録される。

　出力部４７は、例えば、スピーカや、イヤフォン端子等であり、音声を出力する。

　入力部４８や、例えば、マイクやマイク端子と、音声認識装置等であり、外部からの音声（データ）の入力を受け付ける。

　通信部４９は、例えば、LAN(Local Area Network)等の通信インタフェースであり、外部の装置との、無線や有線での通信を制御する。

　ドライブ５０には、DVD(Digital Versatile Disc)等の光ディスクや、USBメモリ等の半導体メモリであるリムーバブル記録媒体５１の着脱が可能になっている。

　ドライブ５０は、そこに装着されたリムーバブル記録媒体５１を駆動することにより、リムーバブル記録媒体５１にデータを記録し、また、リムーバブル記録媒体５１からデータを読み出す。

［リモコンアプリの処理フロー］
　次に、図３のフローチャートを参照して、リモコンアプリを起動することで実行されるリモコンアプリの処理について説明する。

　初めに、ステップＳ１において、リモコンアプリは、少なくとも１つの機器が制御対象として登録されているかを判定する。リモコンアプリがまだ一度も起動されていない場合には、制御対象の機器は１つも登録されていない。

　ステップＳ１で、１つの機器も登録されていないと判定された場合、処理はステップＳ２に進み、リモコンアプリは、制御対象の機器を登録する機器登録処理を実行する。この処理の詳細は、図５等を参照して後述する。

　一方、ステップＳ１で、少なくとも１つの機器が制御対象として登録されていると判定された場合、処理はステップＳ３に進み、リモコンアプリは、登録されている制御対象の機器の一覧を表示する機器一覧画面を表示部６１Aに表示する。

　図４は、表示部６１Aに表示される機器一覧画面の画面例を示している。

　機器一覧画面では、アプリケーションの名称である「リモコンアプリ」のタイトルとともに、登録されている制御対象の機器ごとに、電源ボタン８１、機器画像アイコン８２、及び、機器名称８３が表示される。

　図４の例では、制御対象の機器として、アンプ、テレビジョン受像機（以下、単にテレビという。）、BDプレーヤ、及び、STBが登録されている。なお、図４では、一番左のアンプについての電源ボタン８１、機器画像アイコン８２、及び、機器名称８３に対してのみ符号を付し、その他の機器についての符号は省略している。

　ユーザが、例えば、テレビの操作を行いたい場合、テレビの機器画像アイコン８２をタッチする。また、テレビの電源をオンまたはオフしたい場合には、ユーザは、テレビの電源ボタン８１をタッチする。即ち、電源ボタン８１は、登録されている機器の電源をオンまたはオフするときに操作（タッチ）される。機器画像アイコン８２は、登録されている機器の制御を行いたいときに操作される。

　機器一覧画面では、一画面で所定数（図４の例では、４台）の機器について、電源ボタン８１ないし機器名称８３を表示することができる。そして、登録されている機器の台数が、一画面で表示可能な台数を超えている場合には、ページ切替アイコン８４が表示され、ページ切替アイコン８４をタッチするか、または、画面上を右または左方向へドラッグ操作することで、非表示の機器の電源ボタン８１ないし機器名称８３を表示することができる。

　また、機器一覧画面では、新たに機器を登録する際に操作される機器追加ボタン８５と、メニューボタン８６も表示される。ユーザが機器追加ボタン８５を操作（選択）することにより、ステップＳ２の機器登録処理が実行されるので、後から、機器を追加することが可能である。メニューボタン８６では、登録されている機器の配列の並べ替え、リモコンアプリの終了などの操作を行うことができる。

　図３のステップＳ３の処理により、図４に示した機器一覧画面が表示部６１Aに表示された後、ステップＳ４において、リモコンアプリは、機器一覧画面で行われたユーザの操作に対応する処理であるユーザ操作対応処理を実行する。

　ユーザ操作対応処理では、登録されている機器の制御、制御対象機器の登録または削除、登録されている機器の配列の並べ替え、登録情報の変更などを行うことができる。

　登録されている機器の削除は、図４の機器一覧画面において、削除対象の機器画像アイコン８２を長押しすると、［削除］、［機器の編集］などの項目が表示され、ユーザは、［削除］の項目を選択することで、登録されている機器を削除することができる。また、［機器の編集］の項目を選択することで、登録されている機器の登録内容を編集（変更）することができる。なお、登録されている機器の削除や変更を行うための操作方法は、これに限定されず、例えば、メニューボタン８６等から実行できるようにしてもよい。

　ステップＳ４におけるユーザ操作対応処理が実行され、最終的に、メニューボタン８６が選択されて、表示された項目のなかから［リモコンアプリの終了］が選択されることにより、図３の処理は終了する。

［機器登録処理のフロー］
　図５は、図３のステップＳ２として実行される機器登録処理のフローチャートである。なお、上述したように、機器一覧画面において、機器追加ボタン８５がユーザによって操作（選択）されたときも、この処理が実行される。

　初めに、ステップＳ１１において、リモコンアプリは、フラッシュメモリ４４に記憶しているデータベース（DB）にある機器の登録であるかを判定する。

　フラッシュメモリ４４には、登録が予想される複数の機器について、その機器のメーカ純正のリモートコントローラが備える操作ボタンと、その操作ボタンが操作されたときに送出されるIR信号（リモコンコード）を対応付けたデータベースが記憶されている。従って、データベースにある機器であれば、ユーザは簡単に機器の登録を行うことができる。

　データベースにある機器の登録であるか否かは、リモコンアプリが、図６に示す第１の機器登録画面を表示部６１Aに表示して受け付けたユーザの操作に基づいて判定される。

　図６の第１の機器登録画面では、機器の種類、メーカ等を指定して、データベースにある機器の登録を行う「かんたん機器登録」か、または、データベースにない機器を登録する「リモコンを使って学習させる」のいずれかの登録方法がラジオボタンにより選択（タッチ）される。

　図６の第１の機器登録画面において「かんたん機器登録」がユーザにより選択された場合に、リモコンアプリは、ステップＳ１１で、データベースにある機器の登録であると判定する。一方、第１の機器登録画面において「リモコンを使って学習させる」がユーザにより選択された場合、リモコンアプリは、ステップＳ１１で、データベースにない機器の登録であると判定する。

　ステップＳ１１で、データベースにない機器の登録であると判定された場合、処理はステップＳ１２に進み、データベースなしの機器登録処理を実行する。

　データベースなしの機器登録処理では、まず、タブレット端末１のIR通信部１２と対向する位置に、登録対象のメーカ純正のリモートコントローラが配置される。そして、ユーザは、登録したい操作ボタンをリモコンアプリの画面上で指定した後、対向した配置したメーカ純正のリモートコントローラの登録したい操作ボタンを押下する。メーカ純正のリモートコントローラから送信されてくるIR信号をIR通信部１２が受信し、リモコンアプリは、IR通信部１２が受信したIR信号を、指定された操作ボタンのIR信号として記憶（学習）する。以上の処理が、登録したい操作ボタンについて繰り返し実行される。

　一方、ステップＳ１１で、データベースにある機器の登録であると判定された場合、処理はステップＳ１３に進み、リモコンアプリは、機器の種類とメーカをユーザに選択させる。

　図７は、ステップＳ１３の処理において、リモコンアプリによって表示部６１Aに表示される第２の機器登録画面の画面例を示している。

　第２の機器登録画面には、登録させる機器の種類を提示するプルダウンメニュー９１と、メーカを提示するプルダウンメニュー９２が設けられる。プルダウンメニュー９１または９２に表示される複数の項目のなかから、所望の機器の種類とメーカが指定される。指定可能な機器の種類としては、テレビ（TV）、アンプ、DVDプレーヤ、BDプレーヤ、BDレコーダ、などがある。

　図５のステップＳ１３の後、ステップＳ１４において、リモコンアプリは、リモコンタイプが複数あるかを判定する。メーカおよび種類の機器の指定に対して、複数のリモコンタイプが存在する場合がある。複数のリモコンタイプが存在する場合には、リモコンタイプによって、送信するIR信号が異なるので、どのリモコンタイプであるかを特定させる必要がある。

　ステップＳ１４で、リモコンタイプが複数あると判定された場合、処理はステップＳ１５に進み、リモコンアプリは、動作テスト画面を表示し、可能性のあるリモコンタイプの動作テストを順に行う。動作テスト画面では、所定の操作ボタンをユーザに操作させ、操作した動作が制御対象の機器で行われたか否かの結果をユーザに入力させることで、純正のリモートコントローラに対応するリモコンタイプが確認される。

　ステップＳ１４で、リモコンタイプが１つであると判定された場合、ステップＳ１５の処理はスキップされ、処理はステップＳ１６に進む。ステップＳ１２またはＳ１５の処理後も、ステップＳ１６の処理が実行される。

　ステップＳ１６において、リモコンアプリは、ジェスチャ操作のタイプをユーザに選択させる。

　図８は、ステップＳ１６において、リモコンアプリによって表示部６１Aに表示される第３の機器登録画面の画面例を示している。第３の機器登録画面は、ジェスチャ操作のタイプをユーザに選択させる画面である。

　第３の機器登録画面には、ジェスチャ操作のタイプを選択するためのプルダウンメニュー１０１が設けられる。また、プルダウンメニュー１０１の下には、プルダウンメニュー１０１で選択されたジェスチャ操作のタイプに対応して表示される、ジェスチャ操作のガイドの説明画像１０２が表示される。

　プルダウンメニュー１０１で選択可能なジェスチャ操作のタイプは、機器の種類に応じて複数用意される。本実施の形態では、タイプ１、タイプ２、タイプ３の３種類が用意されているものとする。タイプ１は、ジェスチャ操作により、音量だけの制御が可能なタイプであり、タイプ１に対応する代表的な制御対象機器は、アンプである。タイプ２は、ジェスチャ操作により、音量とチャンネルの制御が可能なタイプであり、タイプ２に対応する代表的な制御対象機器は、テレビである。タイプ３は、ジェスチャ操作により、音量と走行系（再生、早送り、早戻しなど）の制御が可能なタイプであり、タイプ３に対応する代表的な制御対象機器は、BDプレーヤやBDレコーダなどの録画再生装置である。

　図８の画面例では、プルダウンメニュー１０１でタイプ２のジェスチャ操作が選択されており、ジェスチャ操作のガイドの説明画像１０２も、タイプ２のガイドが表示されている。

　ステップＳ１６の処理により、ジェスチャ操作のタイプがユーザにより選択されると、ステップＳ１７において、リモコンアプリは、登録内容を確認するため、図９に示す第４の機器登録画面を表示部６１Aに表示する。そして、図９の第４の機器登録画面の登録ボタン１１１が操作されたとき、リモコンアプリは、設定された内容で機器を登録して、処理を終了する。

　図９の第４の機器登録画面では、上述のステップＳ１１ないしＳ１６の処理で設定された内容が表示される。

　「名前」の欄には、指定された機器の種類に応じたデフォルトの名前が設定されている。この欄に設定された名前が、機器一覧画面の機器名称８３として表示される。リモコン動作テストボタン１１２は、登録内容で動作テストを行うとき操作されるボタンである。

　アイコン表示部１１３には、指定された機器の種類に応じたデフォルトのアイコンが設定されている。ここで設定されているアイコンが、機器一覧画面の機器画像アイコン８２として表示される。デフォルトのアイコンを変更する場合には、アイコン変更ボタン１１４がタッチされる。アイコン変更ボタン１１４がタッチされると、予め用意された複数のアイコンが提示され、ユーザは所定のアイコンを選択することで、好みのアイコンに変更することができる。

　以上のようにして、リモコンアプリに制御対象の機器が登録される。登録された各機器についての設定内容は、フラッシュメモリ４４に記憶される。

［リモコンアプリにおける機器制御の操作方法］
　次に、リモコンアプリにおいて、登録された機器に対してIR信号を送信し、所定の制御を行う場合の操作方法について説明する。

　図４の機器一覧画面において、例えば、テレビの機器画像アイコン８２がユーザによりタッチされることにより、テレビが制御対象機器として選択される。制御対象機器が決定されると、リモコンアプリは、制御対象機器のジェスチャ画面かまたはフルリモコン画面のいずれか一方を表示部６１Aに表示する。

　図１０は、制御対象機器がテレビである場合のジェスチャ画面であり、図１１は、制御対象機器がテレビである場合のフルリモコン画面の例を示している。

　制御対象機器それぞれに対して、ジェスチャ画面とフルリモコン画面の両方が選択的に表示可能である。ジェスチャ画面は、機器の種類によって頻繁に利用することが多い操作（機器の制御）を、簡単なジェスチャ操作で行うことができる画面であり、フルリモコン画面は、機器の全ての操作ボタンを表示して操作可能とした画面である。

　ジェスチャ画面とフルリモコン画面のどちらを優先的に最初に表示するかは予め決定することができ、本実施の形態では、機器画像アイコン８２がユーザによりタッチされた場合、ジェスチャ画面が表示されるものとする。

　図１０のジェスチャ画面と図１１のフルリモコン画面には、テレビの電源ボタン８１ないし機器名称８３、機器切り替えボタン１２１A及び１２１B、機器一覧ボタン１２２、ジェスチャ画面切り替えボタン１２３、並びに、フルリモコン画面切り替えボタン１２４が共通に設けられている。

　右方向の機器切り替えボタン１２１Aが選択されると、図４の機器一覧画面において、テレビの右隣に配置されているBDプレーヤに、制御対象が切り替えられ、後述する図１３のBDプレーヤのジェスチャ画面が表示される。一方、左方向の機器切り替えボタン１２１Bが選択されると、図４の機器一覧画面において、テレビの左隣に配置されているアンプに、制御対象が切り替えられ、後述する図１２のアンプのジェスチャ画面が表示される。

　機器一覧ボタン１２２は、図４の機器一覧画面に戻るときに操作される。ジェスチャ画面切り替えボタン１２３は、ジェスチャ画面に表示を切り替えるときに操作され、フルリモコン画面切り替えボタン１２４は、フルリモコン画面に表示を切り替えるときに操作される。図１０のジェスチャ画面では、フルリモコン画面切り替えボタン１２４に影が付されており、図１１のフルリモコン画面では、ジェスチャ画面切り替えボタン１２３に影が付されている。

　図１０のジェスチャ画面と図１１のフルリモコン画面では、ジェスチャ画面には、ジェスチャ操作のガイド１３１が表示され、フルリモコン画面には、操作キー画面１４１が表示される点が異なる。

　図１０に示されるジェスチャ操作のガイド１３１は、図８の第３の機器登録画面のプルダウンメニュー１０１で設定された、タイプ２のガイド１３１である。

　タイプ２のガイド１３１は、上方向のスライド操作に、音量を上げるコマンド［Vol+］が、下方向のスライド操作に、音量を下げるコマンド［Vol-］が、右方向のスライド操作に、チャンネルをプラス方向に変更するコマンド［Ch+］が、左方向のスライド操作に、チャンネルをマイナス方向に変更するコマンド［Ch-］が、割り当てられていることを模式的に示している。

ここで、スライド操作には、フリック操作と、ドラッグ操作の両方を含み、リモコンアプリは、フリック操作とドラッグ操作それぞれに応じて異なるコマンド（IR信号）の出力を行う。リモコンアプリは、ユーザの指の接触時間が一定時間（例えば、０．７秒）未満である場合のスライド操作を検出した場合、フリック操作が行われたと判定する。一方、ユーザの指の接触時間が一定時間（例えば、０．７秒）以上である場合のスライド操作を検出した場合、リモコンアプリは、ドラッグ操作が行われたと判定する。

　フリック操作が行われたと判定された場合には、リモコンアプリは、割り当てられているコマンド［Vol+］、［Vol-］、［Ch+］、または［Ch-］を１回送信する。一方、ドラッグ操作が行われたと判定された場合には、リモコンアプリは、割り当てられているコマンド［Vol+］、［Vol-］、［Ch+］、または［Ch-］を、ユーザの指がタッチスクリーン１１から離れたと検出されるまで連続送信する。

　また、リモコンアプリは、１回送信を行う場合と、連続送信を行う場合とで、異なる操作音（メロディ）を出力部４７から出力させ、コマンドが送信されたことをユーザに通知する。１回送信を行う場合には、コマンドを送信するタイミングで操作音が出力され、連続送信を行う場合には、連続送信を開始するタイミングで操作音が出力される。

　図１１のフルリモコン画面の操作キー画面１４１には、リモートコントローラが一般的に備える操作ボタンと同様の操作キーが設けられている。リモコンアプリは、登録された機器によって、IR信号の割り当てがない操作キーは、非表示とするか、グレー表示とするなどして、割り当てがないことを判別可能とする。操作キーの種類が多く、一画面で表示できない場合には、ページ切り替えボタン１４２で非表示の操作キーを表示させることができる。

　図１０のジェスチャ画面において、左方向の機器切り替えボタン１２１Bがユーザにより選択されると、図４の機器一覧画面においてテレビの左隣に配置されているアンプに制御対象が切り替えられ、図１２に示される、アンプのジェスチャ画面が表示される。

　図１２に示されるアンプのジェスチャ画面のガイド１３１は、タイプ１のガイドである。

　タイプ１のガイド１３１は、上方向のスライド操作に、音量を上げるコマンド［Vol+］が、下方向のスライド操作に、音量を下げるコマンド［Vol-］が、割り当てられていることを模式的に示している。右方向と左方向のスライド操作に割り当てられているコマンドはない。フリック操作とドラッグ操作によるコマンド出力（１回送信か、または、連続送信か）の違い、および、１回送信と連続送信による操作音の違いは、上述したタイプ２と同様であるので、説明は省略する。

　一方、図１０のジェスチャ画面において、右方向の機器切り替えボタン１２１Aがユーザにより選択されると、図４の機器一覧画面においてテレビの右隣に配置されているBDプレーヤに制御対象が切り替えられ、図１３に示される、BDプレーヤのジェスチャ画面が表示される。

　図１３に示されるBDプレーヤのジェスチャ画面のガイド１３１は、タイプ３のガイドである。

　タイプ３のガイド１３１は、上方向のスライド操作に、音量を上げるコマンド［Vol+］が、下方向のスライド操作に、音量を下げるコマンド［Vol-］が、割り当てられていることを模式的に示している。コマンド［Vol+］と［Vol-］については、上述したタイプ２と同様であるので説明は省略する。

　タイプ３のガイド１３１は、右方向のフリック操作に、次のタイトル／チャプター／トラックの先頭に進むコマンド［Next］が、右方向のドラッグ操作に、早送りのコマンド［FF］が、割り当てられていることも模式的に示している。

　さらに、タイプ３のガイド１３１は、左方向のフリック操作に、前のタイトル／チャプター／トラックの先頭に進むコマンド［Prev］が、左方向のドラッグ操作に、早戻しのコマンド［FR］が、割り当てられていることを模式的に示している。

　右方向または左方向のフリック操作は、コマンド［Next］または［Prev］の１回送信、右方向または左方向のドラッグ操作は、コマンド［FF］または［FR］の連続送信となる。１回送信と連続送信による操作音の違いは、上述したタイプ２と同様である。

　また、タイプ３では、タップ操作に、再生のコマンド［Play］が、ダブルタップ操作に、ポーズのコマンド［Pause］が割り当てられている。

［ジェスチャ操作の例］
　次に、タイプ２のガイド１３１の場合を例に、所定のジェスチャ操作が行われた場合の動作について説明する。

　図１４は、ユーザが、タッチスクリーン１１において、ジェスチャ操作の一つである、右方向のフリック操作を行った場合の表示例を示している。

　リモコンアプリは、ユーザが行ったジェスチャ操作（フリック操作）を検出し、検出した指の位置の軌跡１５１を表示部６１Aに表示する。なお、ユーザは、ジェスチャ操作をガイド１３１の真上で行う必要はなく、リモコンアプリは、タッチスクリーン１１上のどの位置でジェスチャ操作が行われた場合であっても検出可能である。例えば、右方向のフリック操作が、［Vol+］の文字より下の領域で行われた場合であっても、検出することができる。

　そして、リモコンアプリは、検出したジェスチャ操作に対応して機器に送信されるコマンドがユーザに分かるように、ジェスチャ操作のガイド１３１のうち、送信するコマンドの部分（Ch+）を点滅表示させる。

　さらに、リモコンアプリは、検出したジェスチャ操作に対応するコマンド（のIR信号）をIR通信部１２から送信させ、コマンドが送信されていることを示す通信中ランプ１５２を所定時間表示させる。通信中ランプ１５２の表示（点灯）は、あくまで、コマンドが送信されたことをユーザが分かるようにするためであるので、実際のコマンドの送信期間と、通信中ランプ１５２の表示期間とが対応している必要はない。

　なお、リモコンアプリが、ドラッグ操作を検出した場合には、検出した指の位置の軌跡１５１を表示した後、例えば、継続してタッチされている指の位置を中心とする波紋を表示させるなどして、指を検出中であることを示す表示を行う。

　次に、図１５を参照して、コマンドが割り当てられていないジェスチャ操作が行われた場合の表示例について説明する。

　図１５は、チャンネルをプラス方向に変更するコマンドがリモコンアプリに割り当てられていない場合に、ユーザが、右方向にフリックする操作を行った場合の表示例を示している。

　コマンドが割り当てられていないジェスチャ操作をユーザが行った場合、リモコンアプリは、ユーザが行ったジェスチャ操作（フリック操作）を検出し、検出したジェスチャ操作にコマンドが割り当てられていないことを示すメッセージ１６１をトースト表示する。トースト表示は、予め定めた一定時間表示させた後、消去する表示方法である。

　また、リモコンアプリは、割り当てられていないコマンドであっても、どのコマンドを認識したかをユーザがわかるようにするため、ジェスチャ操作のガイド１３１のうち、認識したコマンドの部分（Ch+）を点滅表示させる。なお、コマンドは送信されないため、図１３の通信中ランプ１５２は点灯されない。

［ジェスチャ操作対応処理のフロー］
　図１６は、リモコンアプリが、図３のユーザ操作対応処理の一部として実行するジェスチャ操作対応処理のフローチャートである。

　初めに、ステップＳ３１において、リモコンアプリは、ジェスチャ操作を検出したかを判定し、ジェスチャ操作を検出したと判定するまで、ステップＳ３１の処理を繰り返す。

　ステップＳ３１で、ジェスチャ操作を検出したと判定された場合、処理はステップＳ３２に進み、リモコンアプリは、検出したジェスチャ操作（指の位置）の軌跡１５１を表示部６１Aに表示させる。

　そして、ステップＳ３３において、リモコンアプリは、検出したジェスチャ操作にコマンドが割り当てられているかを判定する。

　ステップＳ３３で、検出したジェスチャ操作にコマンドが割り当てられていると判定された場合、処理はステップＳ３４に進み、リモコンアプリは、ジェスチャ操作のガイド１３１のうち、送信するコマンドに対応する部分（図１３の例では、Ch+）を点滅表示させる。

　そして、ステップＳ３５において、リモコンアプリは、検出したジェスチャ操作に割り当てられているコマンド（IR信号）を、IR通信部１２から制御対象の機器に送信する。

　さらに、ステップＳ３６において、リモコンアプリは、コマンドが送信されていることを示す通信中ランプ１５２を所定時間表示させる。

　ステップＳ３４ないしＳ３６は、実際には同時に実行される。ステップＳ３６のあと、処理はステップＳ３１に戻る。

　一方、ステップＳ３３で、検出したジェスチャ操作にコマンドが割り当てられていないと判定された場合、処理はステップＳ３７に進み、上述したステップＳ３４と同じ処理のみ実行される。即ち、リモコンアプリは、ジェスチャ操作のガイド１３１のうち、送信するコマンドに対応する部分（図１３の例では、Ch+）を点滅表示させる。そして、処理はステップＳ３１に戻る。

　以上のように、リモコンアプリは、ジェスチャ操作のガイド１３１を第１の状態で表示部６１Aに表示させ、所定のジェスチャ操作が検出されると、検出されたジェスチャ操作に対応するガイド１３１の、送信するコマンドに対応する部分を第２の状態に変更して表示させる。上述した例では、第１の状態が点灯状態であり、第２の状態が点滅状態に相当するが、第１の状態および第２の状態はこれに限定されない。例えば、第１の状態を、明度の低い（つまり、暗い）ジェスチャ操作のガイド１３１とし、第２の状態を、明度の高い（つまり、明るい）ジェスチャ操作のガイド１３１としてもよい。ジェスチャ操作のガイド１３１の第２の状態を、第１の状態に対して、反転表示とするようなものでもよい。

　本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる場合はもちろん、必ずしも時系列的に処理されなくとも、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで実行されてもよい。

　本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

　例えば、上述した実施の形態では、機器一覧画面等を表示する表示部６１Aと、ジェスチャ操作を検出する位置検出部６１Bとが重畳されて一体のタッチスクリーン１１とされていたが、表示部６１Aと位置検出部６１Bは、別々の構成としてもよい。例えば、位置検出部６１Bとしてのタッチパッドと表示部６１Aとを、同一平面上の別の領域に設けたり、別々の筺体としてもよい。

　なお、本技術は以下のような構成も取ることができる。
（１）
　ジェスチャ操作のガイドを第１の状態で表示部に表示させる表示制御部と、
　前記ジェスチャ操作を検出する検出部と
　を備え、
　前記表示制御部は、前記ジェスチャ操作が検出された場合、検出された前記ジェスチャ操作に対応する前記ガイドを第２の状態に変更して前記表示部に表示させる
　表示制御装置。
（２）
　前記ジェスチャ操作は、所定の機器を制御するコマンドに対応するものであり、
　検出された前記ジェスチャ操作に対応する前記コマンドを前記機器に送信する通信部をさらに備える
　前記（１）に記載の表示制御装置。
（３）
　前記機器の種類に応じて複数の前記ジェスチャ操作のガイドがあり、
　前記機器の種類と前記ジェスチャ操作のガイドとを選択する選択部をさらに備え、
　前記表示制御部は、前記選択部により選択された前記ジェスチャ操作のガイドを第１の状態で表示部に表示させる
　前記（２）に記載の表示制御装置。
（４）
　前記表示部をさらに備える
　前記（１）乃至（３）のいずれかに記載の表示制御装置。
（５）
　ジェスチャ操作のガイドを第１の状態で表示部に表示させ、
　前記ジェスチャ操作を検出し、
　検出した前記ジェスチャ操作に対応する前記ガイドを第２の状態に変更して前記表示部に表示させる
　ステップを含む表示制御方法。
（６）
　コンピュータに、
　ジェスチャ操作のガイドを第１の状態で表示部に表示させ、
　前記ジェスチャ操作を検出し、
　検出した前記ジェスチャ操作に対応する前記ガイドを第２の状態に変更して前記表示部に表示させる
　ステップを含む処理を実行させるためのプログラム。

　１　タブレット端末，　１１　タッチスクリーン，　１２　IR通信部，　４１　CPU，　６１A　表示部，　６１B　位置検出部

Claims

　ジェスチャ操作のガイドを第１の状態で表示部に表示させる表示制御部と、
　前記ジェスチャ操作を検出する検出部と
　を備え、
　前記表示制御部は、前記ジェスチャ操作が検出された場合、検出された前記ジェスチャ操作に対応する前記ガイドを第２の状態に変更して前記表示部に表示させる
　表示制御装置。
　前記ジェスチャ操作は、所定の機器を制御するコマンドに対応するものであり、
　検出された前記ジェスチャ操作に対応する前記コマンドを前記機器に送信する通信部をさらに備える
　請求項１に記載の表示制御装置。
　前記機器の種類に応じて複数の前記ジェスチャ操作のガイドがあり、
　前記機器の種類と前記ジェスチャ操作のガイドとを選択する選択部をさらに備え、
　前記表示制御部は、前記選択部により選択された前記ジェスチャ操作のガイドを第１の状態で表示部に表示させる
　請求項２に記載の表示制御装置。
　前記表示部をさらに備える
　請求項１に記載の表示制御装置。
　ジェスチャ操作のガイドを第１の状態で表示部に表示させ、
　前記ジェスチャ操作を検出し、
　検出した前記ジェスチャ操作に対応する前記ガイドを第２の状態に変更して前記表示部に表示させる
　ステップを含む表示制御方法。
　コンピュータに、
　ジェスチャ操作のガイドを第１の状態で表示部に表示させ、
　前記ジェスチャ操作を検出し、
　検出した前記ジェスチャ操作に対応する前記ガイドを第２の状態に変更して前記表示部に表示させる
　ステップを含む処理を実行させるためのプログラム。