JP5531612B2 - 情報処理装置、情報処理方法、プログラム、制御対象機器および情報処理システム - Google Patents

情報処理装置、情報処理方法、プログラム、制御対象機器および情報処理システム Download PDF

Info

Publication number
JP5531612B2
JP5531612B2 JP2009295582A JP2009295582A JP5531612B2 JP 5531612 B2 JP5531612 B2 JP 5531612B2 JP 2009295582 A JP2009295582 A JP 2009295582A JP 2009295582 A JP2009295582 A JP 2009295582A JP 5531612 B2 JP5531612 B2 JP 5531612B2
Authority
JP
Japan
Prior art keywords
unit
command
target device
control target
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009295582A
Other languages
English (en)
Other versions
JP2011135525A (ja
Inventor
慎 伊藤
良徳 大橋
英樹 山田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2009295582A priority Critical patent/JP5531612B2/ja
Application filed by Sony Corp filed Critical Sony Corp
Priority to RU2012125244/08A priority patent/RU2554565C2/ru
Priority to EP10839156.6A priority patent/EP2501151B8/en
Priority to CN201610069525.XA priority patent/CN105739900B/zh
Priority to US13/516,938 priority patent/US20120249466A1/en
Priority to BR112012014948A priority patent/BR112012014948A2/pt
Priority to PCT/JP2010/071579 priority patent/WO2011077921A1/ja
Priority to CN2010800589529A priority patent/CN102668594A/zh
Publication of JP2011135525A publication Critical patent/JP2011135525A/ja
Application granted granted Critical
Publication of JP5531612B2 publication Critical patent/JP5531612B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H04N21/41265—The peripheral being portable, e.g. PDAs or mobile phones having a remote control device for bidirectional communication between the remote control device and client device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42208—Display device provided on the remote control
    • H04N21/42209—Display device provided on the remote control for displaying non-command information, e.g. electronic program guide [EPG], e-mail, messages or a second television channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/4222—Remote control device emulator integrated into a non-television apparatus, e.g. a PDA, media center or smart toy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42224—Touch pad or touch panel provided on the remote control
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/50—Receiving or transmitting feedback, e.g. replies, status updates, acknowledgements, from the controlled devices
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/90—Additional features
    • G08C2201/93—Remote control using other portable devices, e.g. mobile phone, PDA, laptop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Selective Calling Equipment (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Telephonic Communication Services (AREA)

Description

本発明は、情報処理装置、情報処理方法、プログラム、制御対象機器および情報処理システムに関する。
近年、テレビなどの表示装置や、ビデオレコーダなどの記録装置などといった制御対象機器が、主に家庭内に普及してきている。ユーザは、これらの制御対象機器に所望の処理を実行させるために、例えば、無線信号によるコマンドを制御対象機器に送信して制御対象機器にコマンドを実行させることによって制御対象機器を制御する情報処理装置を使用することができる。このような情報処理装置は、リモートコントローラ（単に「リモコン」とも言う。）や、リモートコマンダーとも呼ばれ、その種類には、ＲＦ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ）リモコン、赤外線リモコンなどといったものがある。
ところで、ユーザが情報処理装置に入力した操作情報を直感的に理解するために様々な試みがなされている。例えば、情報処理装置を操作するユーザの指先に振動を与えて操作の感覚をフィードバックするタッチパネルが存在する（例えば、特許文献１参照）。このように、操作するユーザの指先に振動を与えるフィードバック方式は、触覚フィードバックと呼ばれる。このような技術によれば、ユーザは、情報処理装置に入力した操作情報を触覚によって理解することができる。
特開２００９−１６９６１２号公報
しかしながら、上記したような、ユーザに操作情報を直感的に理解させる技術によれば、ユーザは自身が情報処理装置にどのような操作情報を入力したかを直感的に理解することができるのみである。すなわち、ユーザは、自身が入力した操作情報に基づいて情報処理装置によりコマンドが生成され、そのコマンドに従って制御対象機器が処理を実行して得られる結果を、操作結果として情報処理装置を見て確認することができないという問題があった。そのために、ユーザは、手元の情報処理装置を見ながら操作情報の入力を行うと、手元から目を離し、制御対象機器に接続されているディスプレイなどの出力装置によって出力される画面などを見て操作結果を確認しなければならなかった。
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、操作情報に基づいて生成されたコマンドに従って制御対象機器によって実行された処理の結果である操作結果の確認を、手元の情報処理装置を見ながら行うことが可能な、新規かつ改良された技術を提供することにある。
上記課題を解決するために、本発明のある観点によれば、操作情報の入力を受け付ける入力部と、制御対象機器と無線信号によって通信を行う通信部と、表示部と、入力部を介して操作情報を取得する操作情報取得部と、操作情報取得部によって取得された操作情報に基づいて通知用コマンドを生成し、生成した通知用コマンドを、通信部を介して制御対象機器に通知するコマンド通知部と、通知用コマンドに従って制御対象機器によって処理が実行されて得られた結果を操作結果として制御対象機器から通信部を介して取得する操作結果取得部と、操作結果取得部によって取得された操作結果を表示部に表示させる表示制御部と、を備える、情報処理装置が提供される。
コマンド通知部は、操作情報取得部によって取得された操作情報が移動操作を示す情報である場合には、通知用コマンドとして移動操作によって特定される方向を示す移動方向情報を含む移動コマンドを制御対象機器に通知することとしてもよい。
操作結果取得部は、移動コマンドに含まれる移動方向情報に基づいて制御対象機器によって所定オブジェクトを移動させる処理が実行されて得られた結果を操作結果として制御対象機器から通信部を介して取得することとしてもよい。
操作結果取得部は、制御対象機器によって所定オブジェクトを移動させる処理が実行された後に所定オブジェクトをさらに移動させることが可能な方向を示す有効方向情報を操作結果として制御対象機器から通信部を介して取得することとしてもよい。
入力部は、タッチパネルによって構成され、操作情報取得部は、移動操作としてユーザによるドラッグ操作またはフリック操作を示す情報を取得することとしてもよい。
コマンド通知部は、移動操作によって特定される方向を１または複数の所定方向のいずれかに近似し、近似した所定方向を示す情報を移動方向情報として移動コマンドに含めて制御対象機器に通知することとしてもよい。
コマンド通知部は、操作情報取得部によって取得された操作情報が移動開始操作を示す情報である場合には、通知用コマンドとして移動開始操作によって特定される方向を示す移動開始方向情報を含む移動開始コマンドを制御対象機器に通知し、操作情報取得部によって取得された操作情報が移動継続操作を示す情報である場合には、通知用コマンドとして移動継続コマンドを制御対象機器に通知し、操作情報取得部によって取得された操作情報が移動終了操作を示す情報である場合には、通知用コマンドとして移動終了コマンドを制御対象機器に通知することとしてもよい。
操作結果取得部は、移動開始コマンドに含まれる移動開始方向情報が示す方向に制御対象機器によって所定オブジェクトを移動させる処理が開始され、移動継続コマンドに基づいて移動開始方向情報が示す方向に制御対象機器によって所定オブジェクトを継続して移動させる処理が実行され、移動終了コマンドに基づいて制御対象機器によって所定オブジェクトを移動させる処理が終了されて得られた結果を操作結果として制御対象機器から通信部を介して取得することとしてもよい。
操作結果取得部は、制御対象機器によって所定オブジェクトを継続して移動させる処理が実行された後に所定オブジェクトをさらに移動させることが可能な方向を示す有効方向情報を操作結果として制御対象機器から通信部を介して取得することとしてもよい。
入力部は、タッチパネルによって構成され、操作情報取得部は、移動操作としてユーザによるスワイプ操作を示す情報を取得することとしてもよい。
コマンド通知部は、操作情報取得部によって取得された操作情報が決定操作を示す情報である場合には、通知用コマンドとして決定コマンドを制御対象機器に通知することとしてもよい。
入力部は、タッチパネルによって構成され、操作情報取得部は、決定操作としてユーザによるタップ操作を示す情報を取得することとしてもよい。
操作結果取得部は、決定コマンドに基づいて制御対象機器によって所定処理が実行され、所定処理が正常に行われたか否かを示す情報を操作結果として制御対象機器から通信部を介して取得することとしてもよい。
表示制御部は、操作情報取得部によって取得された操作情報を表示部にさらに表示させることとしてもよい。
以上説明したように本発明によれば、操作情報に基づいて生成されたコマンドに従って制御対象機器によって実行された処理の結果である操作結果の確認を、手元の情報処理装置を見ながら行うことが可能である。
本発明の実施形態に係る情報処理システムの構成を示す図である。 同実施形態に係るリモートコマンダーに入力される操作情報とその操作情報の入力によって発生するコマンドの例を示す図である。 同実施形態に係るリモートコマンダーに入力される操作情報とその操作情報をリモートコマンダーが表示した場合における表示例を示す図である。 同実施形態に係るリモートコマンダーの機能構成を示す図である。 同実施形態に係る制御対象機器の機能構成を示す図である。 操作結果としてフォーカスを移動させることが可能な方向（有効方向）を使用する場合において制御対象機器によって表示されるフォーカスの例を示す図である。 操作結果としてフォーカスを移動させることが可能な方向（有効方向）を使用する場合においてリモートコマンダーによって表示される操作結果の例を示す図である。 フリック操作によってフォーカスを移動させる場合（特に、タッチパネルに対する接触を検知するたびにリモートコマンダーが制御対象機器に有効コマンドを問い合わせる場合）に情報処理システムによって実行される処理の流れを示すシーケンス図である。 スワイプ操作によってフォーカスを連続移動させる場合に情報処理システムによって実行される処理の流れを示すシーケンス図である。 フリック操作によってフォーカスを移動させる場合（特に、リモートコマンダーが制御対象機器に定期的に有効コマンドを問い合わせる場合）に情報処理システムによって実行される処理の流れを示すシーケンス図である。 フリック操作によってフォーカスを移動させる場合（特に、有効コマンドが変更されるたびに変更後の有効コマンドを制御対象機器がリモートコマンダーに通知する場合）に情報処理システムによって実行される処理の流れを示すシーケンス図である。 フリック操作によってフォーカスを移動させる場合（特に、フリック操作に対する応答に有効コマンドが含まれる場合）に情報処理システムによって実行される処理の流れを示すシーケンス図である。 本発明の実施形態に係るリモートコマンダーによって実行される処理の流れを示すフローチャートである。
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
１．第１実施形態
１−１． 情報処理システムの構成
１−２． 操作情報の入力によって発生するコマンドの例
１−３． 操作情報をリモートコマンダーが表示した場合における表示例
１−４． リモートコマンダーの機能構成
１−５． 制御対象機器の機能構成
１−６． 制御対象機器によって表示されるフォーカスの例
１−７． リモートコマンダーによって表示される操作結果の例
１−８． フリック操作時に情報処理システムによって実行される処理（その１）
１−９． スワイプ操作時に情報処理システムによって実行される処理
１−１０．フリック操作時に情報処理システムによって実行される処理（その２）
１−１１．フリック操作時に情報処理システムによって実行される処理（その３）
１−１２．フリック操作時に情報処理システムによって実行される処理（その４）
１−１３．リモートコマンダーによって実行される処理の流れ
２．変形例
３．まとめ
＜１．第１実施形態＞
［１−１．情報処理システムの構成］
図１は、本発明の実施形態に係る情報処理システムの構成を示す図である。図１を参照して、同実施形態に係る情報処理システムの構成について説明する。
図１に示すように、本発明の実施形態に係る情報処理システム１０は、情報処理装置の一例としてのリモートコマンダー１００と、制御対象機器２００とを有するものである。ユーザがリモートコマンダー１００に対して操作情報を入力すると、リモートコマンダー１００は、入力を受け付けた操作情報に基づいてコマンドを生成し、制御対象機器２００に送信する。制御対象機器２００は、リモートコマンダー１００からコマンドを受信し、受信したコマンドに応じた処理を実行し、実行して得られた結果を操作結果としてリモートコマンダー１００に返信する。リモートコマンダー１００は、制御対象機器２００から受信した操作結果を表示する。リモートコマンダー１００と制御対象機器２００とは、例えば、無線信号によって通信を行うことが可能である。
リモートコマンダー１００のハードウェア構成は特に限定されるものではなく、リモートコマンダー１００は、例えば、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、携帯電話、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）等の携帯情報端末、ゲーム機または種々の情報家電であってもよい。本実施形態では、リモートコマンダー１００が、タッチパネル式の入力装置と表示領域の比較的狭い表示装置とを有する携帯情報端末である場合について説明する。
制御対象機器２００のハードウェア構成についても特に限定されるものではなく、リモートコマンダー１００によって送信されたコマンドに従って処理を実行する機能を有するものであればよい。本実施形態では、制御対象機器２００が、テレビなどの表示装置である場合について説明するが、制御対象機器２００は、例えば、記録装置Ｒなどであってもよい。
本実施形態では、ユーザが、リモートコマンダー１００に入力した操作情報に基づいて生成されたコマンドに従って制御対象機器２００によって実行された処理の結果である操作結果の確認を、手元のリモートコマンダー１００を見ながら行うための手法について詳細に説明する。
［１−２．操作情報の入力によって発生するコマンドの例］
図２は、本発明の実施形態に係るリモートコマンダーに入力される操作情報とその操作情報の入力によって発生するコマンドの例を示す図である。図２を参照して、同実施形態に係るリモートコマンダーに入力される操作情報とその操作情報の入力によって発生するコマンドの例について説明する。
上記した操作情報は、例えば、図２に示すように、ユーザの指などの操作体３００によってリモートコマンダー１００に入力されることが想定されるが、操作体３００の種類は、ユーザの指に限定されるものではなく、例えば、電子ペンなどであってもよい。また、図２に示すように、リモートコマンダー１００は、画面１３１を表示する表示部を有しており、上記したタッチパネルは、画面１３１を表示する表示部と重ねられて設けられているものとする。しかし、タッチパネルが設けられる位置は特に限定されるものではない。
図２に示すように、操作情報の種類には、様々なものがある。例えば、ユーザが操作体３００をタッチパネルに接触させる操作であるタップ操作がある。また、ユーザが操作体３００をタッチパネルに接触させながら所望の速度で操作体３００を移動させ、所望の位置でタッチパネルから操作体３００を離すフリック操作もある。さらに、ユーザが操作体３００をタッチパネルに接触させながら所望の速度で操作体３００を移動させ、移動させた先で操作体３００を所望の時間タッチパネルに接触させ続けるスワイプ操作などもある。また、図２には示されていないが、操作体３００をタッチパネルに接触させながら移動させるドラッグ操作などといった操作もある。
本実施形態では、タップ操作は、決定を意味するものとし、タップ操作がなされると、リモートコマンダー１００は、決定する旨を示すコマンドである決定コマンドを無線信号によって制御対象機器２００に送信するものとする。また、フリック操作は、移動を意味するものとし、フリック操作がなされると、リモートコマンダー１００は、操作体３００がタッチパネルに接触しながら移動した方向に移動させる旨を示すコマンドである移動コマンドを無線信号によって制御対象機器２００に送信するものとする。また、フリック操作がなされた場合には、リモートコマンダー１００は、フリック操作においてタッチパネルから操作体３００が離れる直前の操作体３００の速度を移動コマンドに含めて送信してもよい。
例えば、リモートコマンダー１００は、上記したドラッグ操作がなされた場合にも、フリック操作がなされた場合と同様のコマンドを制御対象機器２００に送信することとすることができる。ドラッグ操作がなされた場合には、リモートコマンダー１００は、フリック操作において操作体３００がタッチパネルに接触しながら移動した速度を移動コマンドに含めて送信してもよい。
スワイプ操作は、連続移動を意味するものとし、スワイプ操作が開始されると、リモートコマンダー１００は、操作体３００がタッチパネルに接触しながら移動した方向に連続移動を開始させる旨を示すコマンドである移動開始コマンドを無線信号によって制御対象機器２００に送信するものとする。スワイプ操作が継続されている間は、リモートコマンダー１００は、連続移動を継続させる旨を示すコマンドである移動継続コマンドを無線信号によって制御対象機器２００に送信するものとする。スワイプ操作が終了されると、リモートコマンダー１００は、連続移動を終了させる旨を示すコマンドである移動終了コマンドを無線信号によって制御対象機器２００に送信するものとする。スワイプ操作がなされた場合には、リモートコマンダー１００は、スワイプ操作において操作体３００がタッチパネルに接触しながら移動した速度を移動開始コマンドに含めて送信してもよい。
［１−３．操作情報をリモートコマンダーが表示した場合における表示例］
図３は、本発明の実施形態に係るリモートコマンダーに入力される操作情報とその操作情報をリモートコマンダーが表示した場合における表示例を示す図である。図３を参照して、同実施形態に係るリモートコマンダーに入力される操作情報とその操作情報をリモートコマンダーが表示した場合における表示例について説明する。
図３に示すように、リモートコマンダー１００は、ユーザから入力された操作情報を画面１３１に含めて表示することが可能である。例えば、ユーザがタッチパネルに対してタップ操作を行うと、リモートコマンダー１００は、タップされた位置をタップ位置として検出して、タップ位置を中心とした所定マークを含んだ画面１３１ａを表示することができる。図３には、タップ位置を中心とした円１３２が所定マークとして表示されているが、円以外のマークであってもよい。また、図３には、表示される円１３２の個数が３つである場合について示されているが、表示される所定マークの個数は、３つに限定されるものではない。
また、図３に示すように、例えば、ユーザがタッチパネルに対してフリック操作またはスワイプ操作を行うと、リモートコマンダー１００は、タッチパネルに接触しながら操作体３００が移動した方向を移動方向として検出して、移動方向を示す所定マークを含んだ画面１３１ｂを表示することができる。図３には、画面１３１の中央付近から移動方向に対して矢印１３３が所定マークとして表示されているが、矢印以外のマークであってもよい。また、図３には、表示される矢印１３３の個数が３つである場合について示されているが、表示される所定マークの個数は、３つに限定されるものではない。矢印１３３は、画面１３１の中央付近以外の位置を基点として表示されることとしてもよい。矢印１３３の個数や大きさを、操作体３００の移動速度に応じて変更することとしてもよい。
このように、リモートコマンダー１００は、ユーザが入力した操作情報を表示することが可能である。これにより、ユーザは、所望の操作を操作情報として正確にリモートコマンダー１００に入力することができたか否かを確認することができる。特に、タッチパネルの未熟練者にとっては、タッチパネル上での操作に慣れるまでに時間を要することが多く、フリック操作や、スワイプ操作、ドラッグ操作などを行う場合には、特にユーザによる誤操作が発生しやすい。したがって、ユーザがリモートコマンダー１００の備えるタッチパネル上で操作を行う場合には、ユーザにより入力された操作情報をリモートコマンダー１００に表示することで、ユーザにタッチパネル上での操作を学習させることができる。
［１−４．リモートコマンダーの機能構成］
図４は、本発明の実施形態に係るリモートコマンダーの機能構成を示す図である。図４を参照して、同実施形態に係るリモートコマンダーの機能構成について説明する。
図４に示すように、リモートコマンダー１００は、入力部１１０と、通信部１２０と、表示部１３０と、制御部１４０と、記憶部１５０とを備えるものである。
入力部１１０は、ユーザからの操作情報の入力を受け付ける機能を有するものである。入力部１１０は、例えば、入力装置によって構成されるものであり、入力部１１０としては、例えば、タッチパネルや、キーボード、マウス、ボタンなどを使用することができる。しかし、本実施形態では、特に、入力部１１０としてタッチパネルを使用する場合について説明する。
通信部１２０は、制御対象機器２００と無線信号によって通信を行う機能を有するものである。通信部１２０は、例えば、通信装置によって構成されるものである。無線信号によって制御対象機器２００と通信を行うために使用される通信方式としては、赤外線による通信方式、電波による通信方式、インターネットを介して行われる通信方式などを使用することができる。つまり、無線信号によって制御対象機器２００と通信を行うために使用される通信方式は、特に限定されるものではない。
表示部１３０は、制御部１４０から出力された情報を表示する機能を有するものである。表示部１３０は、例えば、表示装置によって構成されるものであり、表示部１３０としては、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＰＤＰ（Ｐｌａｓｍａ ＤｉｓｐｌａｙＰａｎｅｌ）、ＥＬＤ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）などを使用することができる。
制御部１４０は、リモートコマンダー１００の動作を制御する機能を有するものである。制御部１４０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）およびＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）によって構成されるものであり、制御部１４０は、記憶部１５０によって記憶されたプログラムがＣＰＵによってＲＡＭに展開され、ＲＡＭに展開されたプログラムがＣＰＵによって実行されることによってその機能が実現されるものである。制御部１４０は、操作結果取得部１４１と、操作情報取得部１４２と、コマンド通知部１４３と、表示制御部１４４とを備えるものである。
操作情報取得部１４２は、入力部１１０を介して操作情報を取得する機能を有するものである。操作情報取得部１４２によって取得された操作情報は、表示制御部１４４に出力される。操作情報取得部１４２は、入力部１１０がタッチパネルによって構成されている場合には、移動操作としてユーザによるドラッグ操作またはフリック操作を示す情報を取得する。操作情報取得部１４２は、移動操作としてユーザによるスワイプ操作を示す情報を取得することもできる。操作情報取得部１４２は、決定操作としてユーザによるタップ操作を示す情報を取得することとしてもよい。
コマンド通知部１４３は、操作情報取得部１４２によって取得された操作情報に基づいて制御対象機器２００への通知用コマンドを生成し、生成した通知用コマンドを、通信部１２０を介して制御対象機器２００に通知する機能を有するものである。コマンド通知部１４３は、例えば、操作情報取得部１４２によって取得された操作情報が移動操作を示す情報である場合には、通知用コマンドとして移動操作によって特定される方向を示す移動方向情報を含む移動コマンドを制御対象機器２００に通知する。
コマンド通知部１４３は、移動操作によって特定される方向を１または複数の所定方向のいずれかに近似し、近似した所定方向を示す情報を移動方向情報として移動コマンドに含めて制御対象機器２００に通知することとしてもよい。所定方向は、特に限定されるものではないが、例えば、上下の２方向、左右の２方向、上下左右の４方向などである。
コマンド通知部１４３は、操作情報取得部１４２によって取得された操作情報が移動開始操作を示す情報である場合には、通知用コマンドとして移動開始操作によって特定される方向を示す移動開始方向情報を含む移動開始コマンドを制御対象機器２００に通知することとしてもよい。移動開始操作は、例えば、スワイプ操作の開始時に検出されるものである。
コマンド通知部１４３は、操作情報取得部１４２によって取得された操作情報が移動継続操作を示す情報である場合には、通知用コマンドとして移動継続コマンドを制御対象機器２００に通知することとしてもよい。移動継続操作は、例えば、スワイプ操作の継続時に検出されるものである。
コマンド通知部１４３は、操作情報取得部１４２によって取得された操作情報が移動終了操作を示す情報である場合には、通知用コマンドとして移動終了コマンドを制御対象機器２００に通知することとしてもよい。移動終了操作は、例えば、スワイプ操作の終了時に検出されるものである。
コマンド通知部１４３は、操作情報取得部１４２によって取得された操作情報が決定操作を示す情報である場合には、通知用コマンドとして決定コマンドを制御対象機器２００に通知することとしてもよい。
操作結果取得部１４１は、通知用コマンドに従って制御対象機器２００によって処理が実行されて得られた結果を操作結果として制御対象機器２００から通信部１２０を介して取得する機能を有するものである。
制御対象機器２００によって実行される処理としては、様々なものが想定されるため、制御対象機器２００によって実行される処理は、特に限定されるものではない。例えば、制御対象機器２００が表示装置である場合には、制御対象機器２００によって実行される処理は、フォーカスをオブジェクト間で移動させる処理、リモートコマンダー１００から送信された決定コマンドによって決定されたコンテンツを再生して表示する処理などであってもよい。また、例えば、制御対象機器２００が記録装置である場合には、制御対象機器２００によって実行される処理は、リモートコマンダー１００から送信された決定コマンドによって決定されたコンテンツを記録する処理、録画予約する処理などであってもよい。例えば、制御対象機器２００が音声出力装置である場合には、制御対象機器２００によって実行される処理は、出力する音声の大きさを変更する処理であってもよい。
操作結果取得部１４１は、コマンド通知部１４３によって制御対象機器２００に移動コマンドが通知された場合には、移動コマンドに含まれる移動方向情報に基づいて制御対象機器２００によって所定オブジェクトを移動させる処理が実行されて得られた結果を操作結果として制御対象機器２００から通信部１２０を介して取得する。所定オブジェクトは、特に限定されるものではないが、所定オブジェクトとしては、例えば、コンテンツを選択するためのフォーカスＦ（図６参照）などを使用することが想定される。このフォーカスＦは、制御対象機器２００に表示されるものである。
操作結果取得部１４１は、例えば、制御対象機器２００によって所定オブジェクトを移動させる処理が実行された後に所定オブジェクトをさらに移動させることが可能な方向を示す有効方向情報を操作結果として制御対象機器２００から通信部１２０を介して取得することができる。例えば、フォーカスＦを移動させる処理が実行されると、例えば、フォーカスＦを次に移動させることが可能な方向を示す有効方向情報を操作結果として制御対象機器２００から取得することができる。
操作結果取得部１４１は、移動開始コマンドに含まれる移動開始方向情報が示す方向に制御対象機器２００によって所定オブジェクトを移動させる処理が開始され、移動継続コマンドに基づいて移動開始方向情報が示す方向に制御対象機器２００によって所定オブジェクトを継続して移動させる処理が実行され、移動終了コマンドに基づいて制御対象機器２００によって所定オブジェクトを移動させる処理が終了されて得られた結果を操作結果として制御対象機器２００から通信部１２０を介して取得することもできる。
操作結果取得部１４１は、制御対象機器２００によって所定オブジェクトを継続して移動させる処理が実行された後に所定オブジェクトをさらに移動させることが可能な方向を示す有効方向情報を操作結果として制御対象機器２００から通信部１２０を介して取得することもできる。
操作結果取得部１４１は、決定コマンドに基づいて制御対象機器２００によって所定処理が実行され、所定処理が正常に行われたか否かを示す情報を操作結果として制御対象機器２００から通信部１２０を介して取得することとしてもよい。所定処理としては、例えば、上記したように、コンテンツを再生して表示する処理や、コンテンツを記録する処理などが想定される。所定処理が正常に行われたか否かを示す情報としては、例えば、コンテンツの再生が正常に行われたか否かを示す情報や、コンテンツの記録が正常に行われたか否かを示す情報、コンテンツの録画予約が正常に行われたか否かを示す情報などが想定される。
表示制御部１４４は、操作結果取得部１４１によって取得された操作結果を表示部１３０に表示させる機能を有するものである。操作結果の表示例については、図７を参照して後述する。表示制御部１４４は、操作情報取得部１４２によって取得された操作情報を表示部１３０にさらに表示させることとしてもよい。操作情報の表示例については、図３を参照して説明した通りである。
記憶部１５０は、制御部１４０によって使用されるデータやプログラムを記憶する機能を有するものである。記憶部１５０は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）や半導体メモリによって構成されるものである。
以上に説明したような構成によれば、ユーザは、リモートコマンダー１００に入力した操作情報に基づいて生成されたコマンドに従って制御対象機器２００によって実行された処理の結果である操作結果の確認を、手元のリモートコマンダー１００を見ながら行うことが可能となる。
［１−５．制御対象機器の機能構成］
図５は、本発明の実施形態に係る制御対象機器の機能構成を示す図である。図５を参照して、同実施形態に係る制御対象機器の機能構成について説明する。
図５に示すように、制御対象機器２００は、通信部２２０と、表示部２３０と、制御部２４０と、記憶部２５０とを備えるものである。
通信部２２０は、リモートコマンダー１００と無線信号によって通信を行う機能を有するものである。通信部２２０は、例えば、通信装置によって構成されるものである。無線信号によってリモートコマンダー１００と通信を行うために使用される通信方式は、上記したように、特に限定されるものではない。
表示部２３０は、制御部２４０から出力された情報を表示する機能を有するものである。表示部２３０は、例えば、表示装置によって構成されるものであり、表示部２３０としては、例えば、ＣＲＴ、ＬＣＤ、ＰＤＰ、ＥＬＤなどを使用することができる。
制御部２４０は、リモートコマンダー１００の動作を制御する機能を有するものである。制御部２４０は、例えば、ＣＰＵおよびＲＡＭによって構成されるものであり、制御部２４０は、記憶部２５０によって記憶されたプログラムがＣＰＵによってＲＡＭに展開され、ＲＡＭに展開されたプログラムがＣＰＵによって実行されることによってその機能が実現されるものである。制御部２４０は、コマンド取得部２４１と、処理実行部２４２と、操作結果通知部２４３とを備えるものである。
コマンド取得部２４１は、リモートコマンダー１００から通信部１２０を介して通知用コマンドを取得する機能を有するものである。通知用コマンドは、上記した例では、決定コマンドや、移動コマンド、移動開始コマンド、移動継続コマンド、移動終了コマンドなどといったコマンドに相当する。
処理実行部２４２は、コマンド取得部２４１によって取得された通知用コマンドに従って処理を実行する機能を有するものである。上記したように、制御対象機器２００によって実行される処理としては、様々なものが想定されるため、制御対象機器２００によって実行される処理は、特に限定されるものではない。
操作結果通知部２４３は、処理実行部２４２によって処理が実行されて得られた結果を操作結果として通信部２２０を介してリモートコマンダー１００に通知する機能を有するものである。
記憶部２５０は、制御部２４０によって使用されるデータやプログラムを記憶する機能を有するものである。記憶部２５０は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）や半導体メモリによって構成されるものである。
［１−６．制御対象機器によって表示されるフォーカスの例］
図６は、操作結果としてフォーカスを移動させることが可能な方向（有効方向）を使用する場合において制御対象機器によって表示されるフォーカスの例を示す図である。図６を参照して、操作結果としてフォーカスを移動させることが可能な方向（有効方向）を使用する場合において制御対象機器によって表示されるフォーカスの例について説明する。
図６に示すように、例えば、制御対象機器２００は、ユーザにコンテンツＣ１〜コンテンツＣ１２の中から所望のコンテンツを選択させるための画面を表示する機能を有するものとすることができる。上記したように、制御対象機器２００のコマンド取得部２４１は、通信部２２０を介してコマンドを取得すると、処理実行部２４２は、コマンド取得部２４１によって取得されたコマンドに従った処理を行い、操作結果通知部２４３は、処理の結果を操作結果としてリモートコマンダー１００に通知する。
例えば、コマンド取得部２４１は、リモートコマンダー１００から通信部２２０を介して移動コマンドを取得すると、処理実行部２４２は、移動コマンドに従ってフォーカスＦを移動させる処理を行う。次いで、操作結果通知部２４３は、操作結果として、フォーカスＦを次に移動させることが可能な方向（有効方向）を、通信部２２０を介してリモートコマンダー１００に通知する。
図６には、制御対象機器２００ａに、フォーカスＦがコンテンツＣ６に当てられた状態の画面が表示されており、この状態では、ユーザは、リモートコマンダー１００に対して上下左右全方向への移動操作を行うことができる。ユーザが、リモートコマンダー１００に対して上方向へのフリック操作を行ったとすると、制御対象機器２００のコマンド取得部２４１は、通信部２２０を介して上に移動させる旨を示す移動コマンドを取得する。
処理実行部２４２は、その移動コマンドに従ってフォーカスＦを上に移動させ、フォーカスＦをコンテンツＣ２に合わせる。制御対象機器２００ｂに、フォーカスＦがコンテンツＣ２に当てられた状態の画面が表示されている。この状態では、下、左、右方向への移動操作を行うことができる。そこで、操作結果通知部２４３は、処理実行部２４２によってフォーカスＦの移動処理が行われた結果得られる操作結果として、下、左、右方向を示す情報を、通信部２２０を介して通知する。
リモートコマンダー１００の操作結果取得部１４１が、通信部１２０を介して操作結果を取得すると、表示制御部１４４は、表示部１３０に操作結果として、有効方向を示す情報（下、左、右方向を示す情報）を表示させる。これにより、ユーザは、次にフォーカスＦを移動させることが可能な方向を、手元のリモートコマンダー１００を見ることによって把握することができる。操作結果の表示例については、図７を参照して後述する。
なお、ここでは、フリック操作によってフォーカスＦを移動させる例について述べたが、スワイプ操作、ドラッグ操作によってフォーカスＦを移動させることもできる。例えば、スワイプ操作によってフォーカスＦを移動させる場合には、フォーカスＦを連続移動させることができる。また、フォーカスＦを移動させる速度は、フリック操作や、スワイプ操作、ドラッグ操作によって操作体３００からタッチパネルに入力された速度に応じて決定することも可能である。
例えば、コマンド取得部２４１は、フォーカスＦがコンテンツＣ２に当てられている状態で、リモートコマンダー１００から通信部２２０を介して決定コマンドを取得したとする。その場合には、処理実行部２４２は、決定コマンドに従ってフォーカスＦの当てられているコンテンツＣ２に対して所定の処理を実行することができる。例えば、フォーカスＦの当てられているコンテンツＣ２を再生して表示部１３０に表示させることができる。再生対象となるコンテンツＣ１〜Ｃ１２は、例えば、記憶部１５０によって記憶されていることとすることができるが、コンテンツ提供サーバから取得することとすることもできる。
なお、フォーカスＦが当てられているコンテンツを識別するための情報は、例えば、処理実行部２４２によって管理されていることとすることができ、フォーカスＦの位置が移動されるたびに、フォーカスＦが当てられているコンテンツを識別するための情報が処理実行部２４２によって更新されることとすることができる。
［１−７．リモートコマンダーによって表示される操作結果の例］
図７は、操作結果としてフォーカスを移動させることが可能な方向（有効方向）を使用する場合においてリモートコマンダーによって表示される操作結果の例を示す図である。図７を参照して、操作結果としてフォーカスを移動させることが可能な方向（有効方向）を使用する場合においてリモートコマンダーによって表示される操作結果の例について説明する。
図６において説明したように、例えば、フォーカスＦがコンテンツＣ６に当てられている場合には、上下左右全方向への移動コマンドが有効な状態であるため、リモートコマンダー１００の操作結果取得部１４１は、制御対象機器２００から上下左右全方向を示す情報を取得する。その場合には、表示制御部１４４は、例えば、上矢印１３５ｕ、下矢印１３５ｄ、左矢印１３５ｌ、右矢印１３５ｒを操作結果として含む画面１３１ｃを、表示部１３０に表示させる。矢印の形状は、特に限定されるものではない。
また、図６において説明したように、例えば、フォーカスＦがコンテンツＣ２に当てられている場合には、下、左、右方向への移動コマンドが有効な状態であるため、リモートコマンダー１００の操作結果取得部１４１は、制御対象機器２００から、下、左、右方向を示す情報を取得する。その場合には、表示制御部１４４は、例えば、下矢印１３５ｄ、左矢印１３５ｌ、右矢印１３５ｒを操作結果として含む画面１３１ｄを、表示部１３０に表示させる。
［１−８．フリック操作時に情報処理システムによって実行される処理（その１）］
図８は、フリック操作によってフォーカスを移動させる場合（特に、タッチパネルに対する接触を検知するたびにリモートコマンダーが制御対象機器に有効コマンドを問い合わせる場合）に情報処理システムによって実行される処理の流れを示すシーケンス図である。図８を参照して、フリック操作によってフォーカスを移動させる場合（特に、タッチパネルに対する接触を検知するたびにリモートコマンダーが制御対象機器に有効コマンドを問い合わせる場合）に情報処理システムによって実行される処理について説明する。
図８に示すように、ユーザＵは、リモートコマンダー１００のタッチパネルに触れる（ステップＳ１０１）。リモートコマンダー１００は、ユーザＵがタッチパネルに触れたことを検出すると、制御対象機器２００に有効コマンド送信要求を送信する（ステップＳ１０２）。有効コマンド送信要求は、操作結果の送信を要求するためのものである。また、操作結果は、上記した例では、有効方向を示す情報に相当する。
制御対象機器２００は、有効コマンド送信要求を受信すると、有効コマンドを含む有効コマンド送信応答をリモートコマンダー１００に送信する（ステップＳ１０３）。有効コマンドは、上記した例では、有効方向に相当する。リモートコマンダー１００は、ユーザＵがタッチパネルに触れてから０．５秒後に有効コマンドが示す方向に矢印を表示する（ステップＳ１０４）。ここでは、リモートコマンダー１００は、ユーザＵがタッチパネルに触れてから０．５秒後に有効コマンドが示す方向に矢印を表示することとするが、矢印を表示するタイミングは、ユーザＵが大きなストレスを感じない程度に適宜変更することが可能である。
次いで、ユーザＵは、フリック操作によってリモートコマンダー１００に操作情報を入力する（ステップＳ１０５）。リモートコマンダー１００は、フリック操作によってユーザから入力された操作情報が示す方向への移動コマンドを制御対象機器２００に送信する（ステップＳ１０６）。制御対象機器２００は、移動コマンドに従ってフォーカスＦを上下左右のいずれかの方向に移動させる（ステップＳ１０７）。制御対象機器２００は、フォーカスＦを移動させた結果として、次にフォーカスＦを移動させることが可能な方向を示す情報を応答としてリモートコマンダー１００に送信する（ステップＳ１０８）。
［１−９．スワイプ操作時に情報処理システムによって実行される処理］
図９は、スワイプ操作によってフォーカスを連続移動させる場合に情報処理システムによって実行される処理の流れを示すシーケンス図である。図９を参照して、スワイプ操作によってフォーカスを連続移動させる場合に情報処理システムによって実行される処理について説明する。
図９に示したステップＳ１０１〜ステップＳ１０４については、図８に示したステップＳ１０１〜ステップＳ１０４と同様に実行される。
ステップＳ１０４が実行された後、ユーザＵは、スワイプ開始操作をリモートコマンダー１００に入力する（ステップＳ２０１）。リモートコマンダー１００は、スワイプ開始操作によってユーザから入力された操作情報が示す方向への移動開始コマンドを制御対象機器２００に送信する（ステップＳ２０２）。制御対象機器２００は、移動開始コマンドに従ってフォーカスＦを上下左右のいずれかの方向に連続移動させる（ステップＳ２０３）。制御対象機器２００は、フォーカスＦを連続移動させた結果として、次にフォーカスＦを移動させることが可能な方向を示す情報を応答としてリモートコマンダー１００に送信する（ステップＳ２０４）。
次いで、ユーザＵは、スワイプ継続操作をリモートコマンダー１００に入力する。リモートコマンダー１００は、移動継続コマンドを制御対象機器２００に送信する（ステップＳ２０５）。制御対象機器２００は、移動継続コマンドに従ってフォーカスＦを先ほど移動を開始した方向に連続移動させる。制御対象機器２００は、フォーカスＦを連続移動させた結果として、次にフォーカスＦを移動させることが可能な方向を示す情報を応答としてリモートコマンダー１００に送信する（ステップＳ２０６）。ユーザＵによるスワイプ継続操作は、１または複数回行われることが想定される。
次いで、ユーザＵは、スワイプ終了操作をリモートコマンダー１００に入力する（ステップＳ２０７）。リモートコマンダー１００は、移動終了コマンドを制御対象機器２００に送信する（ステップＳ２０８）。制御対象機器２００は、移動終了コマンドに従ってフォーカスＦを上下左右いずれかの方向に連続移動させる処理を終了させる。制御対象機器２００は、フォーカスＦの連続移動を終了させた結果として、次にフォーカスＦを移動させることが可能な方向を示す情報を応答としてリモートコマンダー１００に送信する（ステップＳ２１０）。
［１−１０．フリック操作時に情報処理システムによって実行される処理（その２）］
図１０は、フリック操作によってフォーカスを移動させる場合（特に、リモートコマンダーが制御対象機器に定期的に有効コマンドを問い合わせる場合）に情報処理システムによって実行される処理の流れを示すシーケンス図である。図１０を参照して、フリック操作によってフォーカスを移動させる場合（特に、リモートコマンダーが制御対象機器に定期的に有効コマンドを問い合わせる場合）に情報処理システムによって実行される処理について説明する。
図１０に示すように、リモートコマンダー１００は、制御対象機器２００に有効コマンド送信要求を送信する（ステップＳ１０２）。制御対象機器２００は、有効コマンド送信要求を受信すると、有効コマンドを含む有効コマンド送信応答をリモートコマンダー１００に送信する（ステップＳ１０３）。図１０に示した例では、ステップＳ１０２〜ステップＳ１０３が定期的に繰り返し実行される（ステップＳ３０１）。また、図１０に示した例では、ステップＳ３０１の繰り返し処理が行われている間に、ステップＳ１０１が行われるとステップＳ１０４が行われる。ステップＳ１０５〜ステップＳ１０８については、図８に示したステップＳ１０５〜ステップＳ１０８と同様に実行される。
［１−１１．フリック操作時に情報処理システムによって実行される処理（その３）］
図１１は、フリック操作によってフォーカスを移動させる場合（特に、有効コマンドが変更されるたびに変更後の有効コマンドを）に情報処理システムによって実行される処理の流れを示すシーケンス図である。図１１を参照して、フリック操作によってフォーカスを移動させる場合（特に、有効コマンドが変更されるたびに変更後の有効コマンドを制御対象機器がリモートコマンダーに通知する場合）に情報処理システムによって実行される処理について説明する。
図１１に示すように、制御対象機器２００は、有効コマンドが変更されるたびに、有効コマンド変更通知をリモートコマンダー１００に送信する処理（ステップＳ４０１）を繰り返し実行するようにすることもできる（ステップＳ４０２）。ステップＳ１０１、Ｓ１０４〜ステップＳ１０８については、図８に示したステップＳ１０１、Ｓ１０４〜Ｓ１０８と同様に実行される。
［１−１２．フリック操作時に情報処理システムによって実行される処理（その４）］
図１２は、フリック操作によってフォーカスを移動させる場合（特に、フリック操作に対する応答に有効コマンドが含まれる場合）に情報処理システムによって実行される処理の流れを示すシーケンス図である。図１２を参照して、フリック操作によってフォーカスを移動させる場合（特に、フリック操作に対する応答に有効コマンドが含まれる場合）に情報処理システムによって実行される処理について説明する。
図１２に示すように、制御対象機器２００は、リモートコマンダー１００から移動コマンドを受信すると、フォーカスＦを移動させた後に有効コマンドを取得し（ステップＳ５０１）、移動コマンドに対する応答の中に、取得した有効コマンドを含めることとしてもよい（ステップＳ５０２）。リモートコマンダー１００は、移動コマンドの応答を受信すると、移動コマンドの応答の中に含まれる有効コマンドが示す方向に矢印を表示する（ステップＳ５０３）。ステップＳ１０１〜ステップＳ１０７については、図８に示したステップＳ１０１〜Ｓ１０７と同様に実行される。
［１−１３．リモートコマンダーによって実行される処理の流れ］
図１３は、本発明の実施形態に係るリモートコマンダーによって実行される処理の流れを示すフローチャートである。図１３を参照して、同実施形態に係るリモートコマンダーによって実行される処理について説明する。
図１３に示すように、リモートコマンダー１００は、制御対象機器２００から有効コマンドを取得する（ステップＳ６０１）。リモートコマンダー１００は、ユーザＵの指がタッチパネルに触れてから０．５秒経過したか否かを判断する（ステップＳ６０２）。リモートコマンダー１００は、ユーザＵの指がタッチパネルに触れてから０．５秒経過していないと判断した場合には（ステップＳ６０２で「Ｎｏ」）、ステップＳ６０４に進む。リモートコマンダー１００は、ユーザＵの指がタッチパネルに触れてから０．５秒経過したと判断した場合には（ステップＳ６０２で「Ｙｅｓ」）、有効コマンドが示す方向に矢印を表示して（ステップＳ６０３）、ステップＳ６０４に進む。
リモートコマンダー１００は、ユーザＵによってなされた操作がタップ操作であるか否かを判断する（ステップＳ６０４）。リモートコマンダー１００は、ユーザＵによってなされた操作がタップ操作であると判断した場合には（ステップＳ６０４で「Ｙｅｓ」）、タップ位置を中心に円を表示し（ステップＳ６０５）、制御対象機器２００に決定コマンドを送信する（ステップＳ６０６）。リモートコマンダー１００は、ユーザＵによってなされた操作がタップ操作ではないと判断した場合には（ステップＳ６０４で「Ｎｏ」）、ユーザＵによってなされた操作がフリック操作か否かを判断する（ステップＳ６０７）。
リモートコマンダー１００は、ユーザＵによってなされた操作がフリック操作であると判断した場合には（ステップＳ６０７で「Ｙｅｓ」）、フリック方向への矢印を表示し（ステップＳ６０８）、制御対象機器２００に移動コマンドを送信する（ステップＳ６０９）。リモートコマンダー１００は、ユーザＵによってなされた操作がフリック操作ではないと判断した場合には（ステップＳ６０７で「Ｎｏ」）、ユーザＵによってなされた操作がスワイプ操作か否かを判断する（ステップＳ６１０）。
リモートコマンダー１００は、ユーザＵによってなされた操作がスワイプ操作ではないと判断した場合には（ステップＳ６１０で「Ｎｏ」）、ステップＳ６０２に戻る。リモートコマンダー１００は、ユーザＵによってなされた操作がスワイプ操作であると判断した場合には（ステップＳ６１０で［Ｙｅｓ］）、制御対象機器２００に移動開始コマンドを送信し（ステップＳ６１１）、スワイプ方向への矢印を表示する（ステップＳ６１２）。次いで、リモートコマンダー１００は、制御対象機器２００に移動継続コマンドを送信し（ステップＳ６１３）、ユーザＵがタッチパネルから指を離したか否かを判断する（ステップＳ６１４）。
リモートコマンダー１００は、ユーザＵがタッチパネルから指を離していないと判断した場合には（ステップＳ６１４で「Ｎｏ」）、ステップＳ６１２に戻る。リモートコマンダー１００は、ユーザＵがタッチパネルから指を離したと判断した場合には（ステップＳ６１４で「Ｙｅｓ」）、制御対象機器２００に移動終了コマンドを送信する（ステップＳ６１５）。図１３では、ユーザＵが指をタッチパネルから離したときに終了することとされているが、終了後もステップＳ６０１に戻って処理を継続することとすることもできる。
＜２．変形例＞
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
例えば、本発明の実施形態に係る情報処理システムは、必ずしもシーケンス図やフローチャートに示された順序で処理を実行しなくてもよく、処理の順序は適宜変更され得るものである。また、本発明の実施形態に係る情報処理システムは、シーケンス図やフローチャートに示された処理を一回だけ実行することとしてもよいし、複数回繰り返して実行することとしてもよい。
＜３．まとめ＞
本実施形態によれば、ユーザは、リモートコマンダー１００に入力した操作情報に基づいて生成されたコマンドに従って制御対象機器２００によって実行された処理の結果である操作結果の確認を、手元のリモートコマンダー１００を見ながら行うことが可能となる。操作結果としては、様々なものが想定されるが、本実施形態において説明したように、リモートコマンダー１００に対してユーザが入力することが可能な方向などを挙げることができる。
また、リモートコマンダー１００は、ユーザが入力した操作情報を表示することが可能である。これにより、ユーザは、所望の操作を操作情報として正確にリモートコマンダー１００に入力することができたか否かを確認することができる。さらに、実施形態において説明したように、ユーザがリモートコマンダー１００の備えるタッチパネル上で操作を行う場合には、ユーザにより入力された操作情報をリモートコマンダー１００に表示することで、ユーザにタッチパネル上での操作を学習させることができる。
１０ 情報処理システム
１００ リモートコマンダー（情報処理装置）
１１０ 入力部
１２０ 通信部
１３０ 表示部
１４０ 制御部
１４１ 操作結果取得部
１４２ 操作情報取得部
１４３ コマンド通知部
１４４ 表示制御部
１５０ 記憶部
２００ 制御対象機器
２２０ 通信部
２３０ 表示部
２４０ 制御部
２４１ コマンド取得部
２４２ 処理実行部
２４３ 操作結果通知部
２５０ 記憶部

Claims (15)

  1. 操作情報の入力を受け付ける入力部と、
    制御対象機器と無線信号によって通信を行う通信部と、
    表示部と、
    前記入力部を介して前記操作情報を取得する操作情報取得部と、
    前記操作情報取得部によって取得された前記操作情報に基づいて通知用コマンドを生成し、生成した前記通知用コマンドを、前記通信部を介して前記制御対象機器に通知するコマンド通知部と、
    前記通知用コマンドに従って前記制御対象機器によって処理が実行されて得られた結果を操作結果として前記制御対象機器から前記通信部を介して取得する操作結果取得部と、
    前記操作結果取得部によって取得された前記操作結果を前記表示部に表示させる表示制御部と、
    を備え、
    前記コマンド通知部は、
    前記操作情報取得部によって取得された前記操作情報が移動操作を示す情報である場合には、前記通知用コマンドとして前記移動操作によって特定される方向を示す移動方向情報を含む移動コマンドを前記制御対象機器に通知し、
    前記操作結果取得部は、
    前記移動コマンドに含まれる前記移動方向情報に基づいて前記制御対象機器によって所定オブジェクトを移動させる処理が実行されて得られた結果を前記操作結果として前記制御対象機器から前記通信部を介して取得し、
    前記操作結果取得部は、
    前記制御対象機器によって前記所定オブジェクトを移動させる処理が実行された後に前記所定オブジェクトをさらに移動させることが可能な方向を示す有効方向情報を前記操作結果として前記制御対象機器から前記通信部を介して取得する、
    情報処理装置。
  2. 前記入力部は、
    タッチパネルによって構成され、
    前記操作情報取得部は、
    前記移動操作としてユーザによるドラッグ操作またはフリック操作を示す情報を取得する、
    請求項１に記載の情報処理装置。
  3. 前記コマンド通知部は、
    前記移動操作によって特定される方向を１または複数の所定方向のいずれかに近似し、近似した前記所定方向を示す情報を前記移動方向情報として前記移動コマンドに含めて前記制御対象機器に通知する、
    請求項２に記載の情報処理装置。
  4. 前記コマンド通知部は、
    前記操作情報取得部によって取得された前記操作情報が移動開始操作を示す情報である場合には、前記通知用コマンドとして前記移動開始操作によって特定される方向を示す移動開始方向情報を含む移動開始コマンドを前記制御対象機器に通知し、前記操作情報取得部によって取得された前記操作情報が移動継続操作を示す情報である場合には、前記通知用コマンドとして移動継続コマンドを前記制御対象機器に通知し、前記操作情報取得部によって取得された前記操作情報が移動終了操作を示す情報である場合には、前記通知用コマンドとして移動終了コマンドを前記制御対象機器に通知する、
    請求項１に記載の情報処理装置。
  5. 前記操作結果取得部は、
    前記移動開始コマンドに含まれる前記移動開始方向情報が示す方向に前記制御対象機器によって所定オブジェクトを移動させる処理が開始され、前記移動継続コマンドに基づいて前記移動開始方向情報が示す方向に前記制御対象機器によって前記所定オブジェクトを継続して移動させる処理が実行され、前記移動終了コマンドに基づいて前記制御対象機器によって前記所定オブジェクトを移動させる処理が終了されて得られた結果を前記操作結果として前記制御対象機器から前記通信部を介して取得する、
    請求項４に記載の情報処理装置。
  6. 前記操作結果取得部は、
    前記制御対象機器によって前記所定オブジェクトを継続して移動させる処理が実行された後に前記所定オブジェクトをさらに移動させることが可能な方向を示す有効方向情報を前記操作結果として前記制御対象機器から前記通信部を介して取得する、
    請求項５に記載の情報処理装置。
  7. 前記入力部は、
    タッチパネルによって構成され、
    前記操作情報取得部は、
    前記移動操作としてユーザによるスワイプ操作を示す情報を取得する、
    請求項４に記載の情報処理装置。
  8. 前記コマンド通知部は、
    前記操作情報取得部によって取得された前記操作情報が決定操作を示す情報である場合には、前記通知用コマンドとして決定コマンドを前記制御対象機器に通知する、
    請求項１に記載の情報処理装置。
  9. 前記入力部は、
    タッチパネルによって構成され、
    前記操作情報取得部は、
    前記決定操作としてユーザによるタップ操作を示す情報を取得する、
    請求項８に記載の情報処理装置。
  10. 前記操作結果取得部は、
    前記決定コマンドに基づいて前記制御対象機器によって所定処理が実行され、前記所定処理が正常に行われたか否かを示す情報を前記操作結果として前記制御対象機器から前記通信部を介して取得する、
    請求項８に記載の情報処理装置。
  11. 前記表示制御部は、
    前記操作情報取得部によって取得された前記操作情報を前記表示部にさらに表示させる、
    請求項１に記載の情報処理装置。
  12. 操作情報の入力を受け付ける入力部と、制御対象機器と無線信号によって通信を行う通信部と、表示部と、操作情報取得部と、コマンド通知部と、操作結果取得部と、表示制御部と、を備える、情報処理装置が、前記操作情報取得部により、前記入力部を介して前記操作情報を取得するステップと、
    前記コマンド通知部により、前記操作情報取得部によって取得された前記操作情報に基づいて通知用コマンドを生成し、生成した前記通知用コマンドを、前記通信部を介して前記制御対象機器に通知するステップと、
    前記操作結果取得部により、前記通知用コマンドに従って前記制御対象機器によって処理が実行されて得られた結果を操作結果として前記制御対象機器から前記通信部を介して取得するステップと、
    前記表示制御部により、前記操作結果取得部によって取得された前記操作結果を前記表示部に表示させるステップと、
    を備え、
    前記コマンド通知部は、
    前記操作情報取得部によって取得された前記操作情報が移動操作を示す情報である場合には、前記通知用コマンドとして前記移動操作によって特定される方向を示す移動方向情報を含む移動コマンドを前記制御対象機器に通知し、
    前記操作結果取得部は、
    前記移動コマンドに含まれる前記移動方向情報に基づいて前記制御対象機器によって所定オブジェクトを移動させる処理が実行されて得られた結果を前記操作結果として前記制御対象機器から前記通信部を介して取得し、
    前記操作結果取得部は、
    前記制御対象機器によって前記所定オブジェクトを移動させる処理が実行された後に前記所定オブジェクトをさらに移動させることが可能な方向を示す有効方向情報を前記操作結果として前記制御対象機器から前記通信部を介して取得する、
    情報処理方法。
  13. コンピュータを、
    操作情報の入力を受け付ける入力部と、
    制御対象機器と無線信号によって通信を行う通信部と、
    表示部と、
    前記入力部を介して前記操作情報を取得する操作情報取得部と、
    前記操作情報取得部によって取得された前記操作情報に基づいて通知用コマンドを生成し、生成した前記通知用コマンドを、前記通信部を介して前記制御対象機器に通知するコマンド通知部と、
    前記通知用コマンドに従って前記制御対象機器によって処理が実行されて得られた結果を操作結果として前記制御対象機器から前記通信部を介して取得する操作結果取得部と、
    前記操作結果取得部によって取得された前記操作結果を前記表示部に表示させる表示制御部と、
    を備え、
    前記コマンド通知部は、
    前記操作情報取得部によって取得された前記操作情報が移動操作を示す情報である場合には、前記通知用コマンドとして前記移動操作によって特定される方向を示す移動方向情報を含む移動コマンドを前記制御対象機器に通知し、
    前記操作結果取得部は、
    前記移動コマンドに含まれる前記移動方向情報に基づいて前記制御対象機器によって所定オブジェクトを移動させる処理が実行されて得られた結果を前記操作結果として前記制御対象機器から前記通信部を介して取得し、
    前記操作結果取得部は、
    前記制御対象機器によって前記所定オブジェクトを移動させる処理が実行された後に前記所定オブジェクトをさらに移動させることが可能な方向を示す有効方向情報を前記操作結果として前記制御対象機器から前記通信部を介して取得する、
    情報処理装置として機能させるためのプログラム。
  14. 情報処理装置と無線信号によって通信を行う通信部と、
    前記情報処理装置から前記通信部を介して通知用コマンドを取得するコマンド取得部と、
    前記コマンド取得部によって取得された前記通知用コマンドに従って処理を実行する処理実行部と、
    前記処理実行部によって前記処理が実行されて得られた結果を操作結果として前記通信部を介して前記情報処理装置に通知する操作結果通知部と、
    を備え、
    前記操作結果通知部は、所定オブジェクトを移動させる処理が実行された後に前記所定オブジェクトをさらに移動させることが可能な方向を示す有効方向情報を前記操作結果として前記通信部を介して前記情報処理装置に通知する、
    制御対象機器。
  15. 情報処理装置と、制御対象機器と、を有する情報処理システムであって、
    前記情報処理装置は、
    操作情報の入力を受け付ける入力部と、
    前記制御対象機器と無線信号によって通信を行う通信部と、
    表示部と、
    前記入力部を介して前記操作情報を取得する操作情報取得部と、
    前記操作情報取得部によって取得された前記操作情報に基づいて通知用コマンドを生成し、生成した前記通知用コマンドを、前記通信部を介して前記制御対象機器に通知するコマンド通知部と、
    前記通知用コマンドに対する応答として操作結果を、前記制御対象機器から前記通信部を介して取得する操作結果取得部と、
    前記操作結果取得部によって取得された前記操作結果を前記表示部に表示させる表示制御部と、
    を備え、
    前記コマンド通知部は、
    前記操作情報取得部によって取得された前記操作情報が移動操作を示す情報である場合には、前記通知用コマンドとして前記移動操作によって特定される方向を示す移動方向情報を含む移動コマンドを前記制御対象機器に通知し、
    前記操作結果取得部は、
    前記移動コマンドに含まれる前記移動方向情報に基づいて前記制御対象機器によって所定オブジェクトを移動させる処理が実行されて得られた結果を前記操作結果として前記制御対象機器から前記通信部を介して取得し、
    前記操作結果取得部は、
    前記制御対象機器によって前記所定オブジェクトを移動させる処理が実行された後に前記所定オブジェクトをさらに移動させることが可能な方向を示す有効方向情報を前記操作結果として前記制御対象機器から前記通信部を介して取得し、
    前記制御対象機器は、
    前記情報処理装置と前記無線信号によって通信を行う通信部と、
    前記情報処理装置から前記通信部を介して前記通知用コマンドを取得するコマンド取得部と、
    前記コマンド取得部によって取得された前記通知用コマンドに従って処理を実行する処理実行部と、
    前記処理実行部によって前記処理が実行されて得られた結果を前記操作結果として前記通信部を介して前記情報処理装置に通知する操作結果通知部と、
    を備える、情報処理システム。
JP2009295582A 2009-12-25 2009-12-25 情報処理装置、情報処理方法、プログラム、制御対象機器および情報処理システム Expired - Fee Related JP5531612B2 (ja)

Priority Applications (8)

Application Number Priority Date Filing Date Title
JP2009295582A JP5531612B2 (ja) 2009-12-25 2009-12-25 情報処理装置、情報処理方法、プログラム、制御対象機器および情報処理システム
EP10839156.6A EP2501151B8 (en) 2009-12-25 2010-12-02 Information processing device, information processing method, program, apparatus to be controlled, and information processing system
CN201610069525.XA CN105739900B (zh) 2009-12-25 2010-12-02 信息处理设备和方法、控制目标装置以及信息处理系统
US13/516,938 US20120249466A1 (en) 2009-12-25 2010-12-02 Information processing apparatus, information processing method, program, control target device, and information processing system
RU2012125244/08A RU2554565C2 (ru) 2009-12-25 2010-12-02 Устройство обработки информации, способ обработки информации, программа, оконечное устройство управления и система обработки информации
BR112012014948A BR112012014948A2 (pt) 2009-12-25 2010-12-02 aparelho, método e sistema de processamento de informação , programa , e, dispositivo alvo de controle
PCT/JP2010/071579 WO2011077921A1 (ja) 2009-12-25 2010-12-02 情報処理装置、情報処理方法、プログラム、制御対象機器および情報処理システム
CN2010800589529A CN102668594A (zh) 2009-12-25 2010-12-02 信息处理设备、信息处理方法、程序、控制目标装置以及信息处理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009295582A JP5531612B2 (ja) 2009-12-25 2009-12-25 情報処理装置、情報処理方法、プログラム、制御対象機器および情報処理システム

Publications (2)

Publication Number Publication Date
JP2011135525A JP2011135525A (ja) 2011-07-07
JP5531612B2 true JP5531612B2 (ja) 2014-06-25

Family

ID=44195458

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009295582A Expired - Fee Related JP5531612B2 (ja) 2009-12-25 2009-12-25 情報処理装置、情報処理方法、プログラム、制御対象機器および情報処理システム

Country Status (7)

Country Link
US (1) US20120249466A1 (ja)
EP (1) EP2501151B8 (ja)
JP (1) JP5531612B2 (ja)
CN (2) CN102668594A (ja)
BR (1) BR112012014948A2 (ja)
RU (1) RU2554565C2 (ja)
WO (1) WO2011077921A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017121475A (ja) * 2015-12-22 2017-07-13 シェンジェン ロイオル テクノロジーズ カンパニー リミテッドＳｈｅｎｚｈｅｎ Ｒｏｙｏｌｅ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．， Ｌｔｄ． 電子バッグおよび電子バッグ制御方法
US10684709B2 (en) 2015-12-22 2020-06-16 Shenzhen Royole Technologies Co., Ltd. Electronic bags
US11099663B2 (en) 2015-12-22 2021-08-24 Shenzhen Royole Technologies Co., Ltd. Electronic bag

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR112013019302A2 (pt) 2011-02-01 2018-05-02 Timeplay Entertainment Corporation sistema de interação de localização múltipla e método para proporcionar experiência interativa a dois ou mais participantes localizados em um ou mais nós interativos
DE112011105626B4 (de) 2011-09-15 2017-11-02 Mitsubishi Electric Corp. Leiterprogramm-Erschaffungsvorrichtung
JP5241941B2 (ja) * 2011-09-28 2013-07-17 日立コンシューマエレクトロニクス株式会社 携帯端末、システム、情報処理方法およびプログラム
CN104272660A (zh) * 2011-10-11 2015-01-07 时间游戏公司 用于交互式体验的系统和方法和用于其的控制器
JP5423772B2 (ja) 2011-11-21 2014-02-19 コニカミノルタ株式会社 表示システム、表示システムの制御プログラム、および表示装置
JP5226142B1 (ja) * 2012-02-29 2013-07-03 株式会社東芝 表示制御装置、表示制御方法、電子機器、および電子機器の制御方法
JP5367191B2 (ja) * 2012-04-17 2013-12-11 シャープ株式会社 メニュー表示装置、メニュー表示方法、メニュー表示プログラム、メニュー表示装置を備えたテレビジョン受像機、及び、記録媒体
JP5778231B2 (ja) * 2012-04-17 2015-09-16 シャープ株式会社 メニュー表示装置、メニュー表示方法、メニュー表示プログラム、メニュー表示装置を備えたテレビジョン受像機、及び、記録媒体
US9268424B2 (en) 2012-07-18 2016-02-23 Sony Corporation Mobile client device, operation method, recording medium, and operation system
JP5906984B2 (ja) * 2012-07-30 2016-04-20 カシオ計算機株式会社 表示端末装置及びプログラム
JP2014044576A (ja) * 2012-08-27 2014-03-13 Funai Electric Co Ltd 画像音声装置、端末装置、及び情報処理システム
JP2014126600A (ja) * 2012-12-25 2014-07-07 Panasonic Corp 音声認識装置、音声認識方法、およびテレビ
JP2014221096A (ja) * 2013-05-13 2014-11-27 株式会社大一商会 遊技機
JP5513662B1 (ja) * 2013-05-14 2014-06-04 グリー株式会社 ゲーム制御方法、サーバ装置、ゲーム制御プログラム及び記憶媒体
KR20140144504A (ko) * 2013-06-11 2014-12-19 삼성전자주식회사 가전 기기와 모바일 기기, 가전 기기의 제어 시스템
WO2015040861A1 (ja) * 2013-09-20 2015-03-26 Ｎｅｃソリューションイノベータ株式会社 電子機器、電子機器の制御方法及び記憶媒体
JP6488691B2 (ja) * 2014-03-03 2019-03-27 株式会社バッファロー 無線中継装置、制御システムおよびコンピュータープログラム
JP2014225243A (ja) * 2014-03-27 2014-12-04 グリー株式会社 表示制御方法、コンピュータ、表示制御プログラム及び記憶媒体
CN105812925A (zh) * 2014-12-29 2016-07-27 深圳Tcl数字技术有限公司 遥控器按键弹起的检测方法、遥控器和电视机
WO2016137797A1 (en) 2015-02-23 2016-09-01 SomniQ, Inc. Empathetic user interface, systems, and methods for interfacing with empathetic computing device
JP5842076B2 (ja) * 2015-03-25 2016-01-13 グリー株式会社 表示制御方法、コンピュータ、表示制御プログラム及び記憶媒体
US10331312B2 (en) * 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
JP2016029495A (ja) * 2015-10-08 2016-03-03 パナソニックＩｐマネジメント株式会社 映像表示装置および映像表示方法
USD806711S1 (en) 2015-12-11 2018-01-02 SomniQ, Inc. Portable electronic device
WO2017100641A1 (en) * 2015-12-11 2017-06-15 SomniQ, Inc. Apparatus, system, and methods for interfacing with a user and/or external apparatus by stationary state detection
JP6298979B2 (ja) * 2016-06-24 2018-03-28 株式会社大一商会 遊技機
JP7050006B2 (ja) * 2017-06-28 2022-04-07 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 移動体制御装置、移動体制御方法、及び学習方法
CN108650456A (zh) * 2018-04-27 2018-10-12 Oppo广东移动通信有限公司 对焦方法、装置、存储介质及电子设备

Family Cites Families (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62299197A (ja) * 1986-06-18 1987-12-26 Matsushita Electric Ind Co Ltd 伝送制御装置
JPH07131542A (ja) * 1993-10-29 1995-05-19 Sanyo Electric Co Ltd テレコントロールシステムの操作表示方法
US5825352A (en) * 1996-01-04 1998-10-20 Logitech, Inc. Multiple fingers contact sensing method for emulating mouse buttons and mouse operations on a touch sensor pad
RU2127019C1 (ru) * 1997-08-01 1999-02-27 Рыжов Владимир Александрович Пульт дистанционного управления устройствами бытовой техники и компьютерными системами
US6606082B1 (en) * 1998-11-12 2003-08-12 Microsoft Corporation Navigation graphical interface for small screen devices
US6407779B1 (en) * 1999-03-29 2002-06-18 Zilog, Inc. Method and apparatus for an intuitive universal remote control system
US7730401B2 (en) * 2001-05-16 2010-06-01 Synaptics Incorporated Touch screen with user interface enhancement
US7299418B2 (en) * 2001-09-10 2007-11-20 International Business Machines Corporation Navigation method for visual presentations
US6914551B2 (en) * 2002-04-12 2005-07-05 Apple Computer, Inc. Apparatus and method to facilitate universal remote control
US20030231168A1 (en) * 2002-06-18 2003-12-18 Jory Bell Component for use as a portable computing device and pointing device in a modular computing system
JP2004062503A (ja) * 2002-07-29 2004-02-26 Sony Corp 電子機器、オーディオ機器および機器操作処理方法
JP4115198B2 (ja) * 2002-08-02 2008-07-09 株式会社日立製作所 タッチパネルを備えた表示装置
US20050193351A1 (en) * 2002-08-16 2005-09-01 Myorigo, L.L.C. Varying-content menus for touch screens
EP1552424A1 (en) * 2002-08-16 2005-07-13 Myorigo OY Varying-content menus for touch screens
JP2005049994A (ja) * 2003-07-30 2005-02-24 Canon Inc カーソルの制御方法
JP4564249B2 (ja) * 2003-09-29 2010-10-20 東芝コンシューマエレクトロニクス・ホールディングス株式会社 家電遠隔制御システム、サービス提供サーバ、ホームサーバ、家電機器、サービス提供サーバの家電遠隔制御支援方法及びサービス提供サーバの家電サービス提供支援方法
US7176888B2 (en) * 2004-03-23 2007-02-13 Fujitsu Limited Selective engagement of motion detection
JP4066055B2 (ja) * 2004-05-13 2008-03-26 株式会社日立製作所 触覚刺激通信装置
US7653883B2 (en) * 2004-07-30 2010-01-26 Apple Inc. Proximity detector in handheld device
TW200608716A (en) * 2004-08-26 2006-03-01 Mitac Technology Corp TV remote controller for undirected wireless communication and TV system
US7432916B2 (en) * 2004-12-09 2008-10-07 Universal Electronics, Inc. Controlling device with dual-mode, touch-sensitive display
WO2007086633A2 (en) * 2006-01-27 2007-08-02 Lg Electronics, Inc. Remote controlling system, device and methods for electric device
JP4782578B2 (ja) * 2006-02-14 2011-09-28 トヨタホーム株式会社 住宅用機器制御システム
US8054294B2 (en) * 2006-03-31 2011-11-08 Sony Corporation Touch screen remote control system for use in controlling one or more devices
US8587526B2 (en) * 2006-04-12 2013-11-19 N-Trig Ltd. Gesture recognition feedback for a dual mode digitizer
US8736557B2 (en) * 2006-09-11 2014-05-27 Apple Inc. Electronic device with image based browsers
US9311528B2 (en) * 2007-01-03 2016-04-12 Apple Inc. Gesture learning
JP2008191791A (ja) * 2007-02-01 2008-08-21 Sharp Corp 座標入力装置、座標入力方法、制御プログラム、およびコンピュータ読み取り可能な記録媒体
JP2008258853A (ja) * 2007-04-03 2008-10-23 Matsushita Electric Ind Co Ltd 機器操作支援装置及び機器操作支援方法
US7979805B2 (en) * 2007-05-21 2011-07-12 Microsoft Corporation Button discoverability
KR20080104858A (ko) * 2007-05-29 2008-12-03 삼성전자주식회사 터치 스크린 기반의 제스쳐 정보 제공 방법 및 장치, 그장치를 포함하는 정보 단말 기기
EP2034399B1 (en) * 2007-09-04 2019-06-05 LG Electronics Inc. Scrolling method of mobile terminal
US9513704B2 (en) * 2008-03-12 2016-12-06 Immersion Corporation Haptically enabled user interface
US9503562B2 (en) * 2008-03-19 2016-11-22 Universal Electronics Inc. System and method for appliance control via a personal communication or entertainment device
US8949743B2 (en) * 2008-04-22 2015-02-03 Apple Inc. Language input interface on a device
US20100138780A1 (en) * 2008-05-20 2010-06-03 Adam Marano Methods and systems for using external display devices with a mobile computing device
JP5099707B2 (ja) * 2008-10-27 2012-12-19 シャープ株式会社 携帯情報端末およびその制御方法
JP5415749B2 (ja) * 2008-11-26 2014-02-12 京セラ株式会社 携帯電子機器
CN101465986A (zh) * 2008-12-12 2009-06-24 康佳集团股份有限公司 带双向遥控功能的电视系统及其遥控器
US9342231B2 (en) * 2008-12-29 2016-05-17 Apple Inc. Remote control of a presentation
US7870496B1 (en) * 2009-01-29 2011-01-11 Jahanzeb Ahmed Sherwani System using touchscreen user interface of a mobile device to remotely control a host computer
US8212788B2 (en) * 2009-05-07 2012-07-03 Microsoft Corporation Touch input to modulate changeable parameter
US8407623B2 (en) * 2009-06-25 2013-03-26 Apple Inc. Playback control using a touch interface
US20110055753A1 (en) * 2009-08-31 2011-03-03 Horodezky Samuel J User interface methods providing searching functionality
US8799775B2 (en) * 2009-09-25 2014-08-05 Apple Inc. Device, method, and graphical user interface for displaying emphasis animations for an electronic document in a presentation mode
US8208964B2 (en) * 2009-10-30 2012-06-26 Cellco Partnership Flexible home page layout for mobile devices
JP5458842B2 (ja) * 2009-12-02 2014-04-02 ソニー株式会社 遠隔操作装置、遠隔操作システム、遠隔操作方法およびプログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017121475A (ja) * 2015-12-22 2017-07-13 シェンジェン ロイオル テクノロジーズ カンパニー リミテッドＳｈｅｎｚｈｅｎ Ｒｏｙｏｌｅ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．， Ｌｔｄ． 電子バッグおよび電子バッグ制御方法
US10114413B2 (en) 2015-12-22 2018-10-30 Shenzhen Royole Technologies Co., Ltd. Electronic bag and method for controlling the same
US10684709B2 (en) 2015-12-22 2020-06-16 Shenzhen Royole Technologies Co., Ltd. Electronic bags
US11099663B2 (en) 2015-12-22 2021-08-24 Shenzhen Royole Technologies Co., Ltd. Electronic bag

Also Published As

Publication number Publication date
RU2554565C2 (ru) 2015-06-27
EP2501151B8 (en) 2017-10-04
EP2501151B1 (en) 2017-08-16
CN102668594A (zh) 2012-09-12
RU2012125244A (ru) 2013-12-27
EP2501151A4 (en) 2014-03-26
WO2011077921A1 (ja) 2011-06-30
EP2501151A1 (en) 2012-09-19
JP2011135525A (ja) 2011-07-07
US20120249466A1 (en) 2012-10-04
CN105739900B (zh) 2019-08-06
BR112012014948A2 (pt) 2016-04-05
CN105739900A (zh) 2016-07-06

Similar Documents

Publication Publication Date Title
JP5531612B2 (ja) 情報処理装置、情報処理方法、プログラム、制御対象機器および情報処理システム
CN103415835B (zh) 一种触屏装置用户界面的处理方法及触屏装置
EP2564286B1 (en) Method and apparatus for providing interoperability between devices
JP5749435B2 (ja) 情報処理装置、情報処理方法、プログラム、制御対象機器および情報処理システム
CN101581990B (zh) 电子设备和应用于电子设备的可穿戴式指点装置、方法
US20120013542A1 (en) Portable electronic device and method of determining a location of a touch
US20090167715A1 (en) User interface of portable device and operating method thereof
KR102270007B1 (ko) 단말 장치 및 단말 장치의 원격 제어 방법
CN102016758A (zh) 触觉使能用户接口
JP2010277191A (ja) 情報処理装置
CN108388354A (zh) 一种输入法候选区域的显示方法和移动终端
CN109643174B (zh) 信息处理设备、存储介质和信息处理系统
CN113721808A (zh) 一种控制方法及装置
EP3211510B1 (en) Portable electronic device and method of providing haptic feedback
CN107728898B (zh) 一种信息处理方法及移动终端
US9529498B2 (en) Input processing apparatus and method using a user interface
JP6405024B1 (ja) 電子機器、制御方法及び制御プログラム
KR20110010522A (ko) 드래그 동작을 활용한 사용자 인터페이스 방법 및 단말기
CN104765523A (zh) 显示设备及其控制方法
EP2407866A1 (en) Portable electronic device and method of determining a location of a touch
JP2018170048A (ja) 情報処理装置、入力方法及びプログラム
EP2717116A1 (en) Electronic device, control method thereof, and program
KR20220109162A (ko) 시각장애인을 위한 가상 키패드를 제공하는 휴대용 단말기
CN102572338A (zh) 基于空间遥控器的文字输入方法、装置及数字电视
WO2010131122A2 (en) User interface to provide enhanced control of an application program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20121213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140114

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140303

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140325

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140407

R151 Written notification of patent or utility model registration

Ref document number: 5531612

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees