JP4737296B2

JP4737296B2 - 入力装置および方法、情報処理装置および方法、情報処理システム、並びにプログラム

Info

Publication number: JP4737296B2
Application number: JP2009008745A
Authority: JP
Inventors: 英生新倉; 一幸山本; 直紀吹野
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2009-01-19
Filing date: 2009-01-19
Publication date: 2011-07-27
Anticipated expiration: 2029-01-19
Also published as: US20160231831A1; JP2010165285A; US20100182235A1; US9342242B2; CN101782811A; CN101782811B

Description

本発明は入力装置および方法、情報処理装置および方法、情報処理システム、並びにプログラムに関し、特に、良好な操作性を実現する入力装置および方法、情報処理装置および方法、情報処理システム、並びにプログラムに関する。

パーソナルコンピュータにおいては、ポインタを移動させるのにマウスが利用されている。マウスを机上で操作することにより、その操作方向にポインタを移動させることができる。

マウスが所定の方向に操作されると、内蔵されているボールがその操作された方向に回転する。そこで、その回転速度と方向が検出され、検出値に対応する速度と方向にポインタの移動が制御される。

ところで机上で操作されるマウスに対して、３次元の自由空間で任意の方向に操作される、いわゆる空中マウスも提案されている（例えば特許文献１）。空中マウスでは、加速度センサーや角速度センサーを用いてその操作速度と方向が検出される。

空中マウスを使用すれば、操作方向は任意であるので、ポインタを斜め方向など任意の方向に移動させることが容易となる。

特開２００７−２４１７３４号公報

しかしながら空中マウスは、ポインタを任意の方向に移動させることが容易である反面、手振れに起因して、ポインタを確実に一定の方向に移動させることが困難である。

本発明は、このような状況に鑑みてなされたものであり、良好な操作性を実現するものである。

本発明の一側面は、情報処理装置を遠隔操作するために、ユーザーにより把持され、３次元の自由空間で操作される操作部と、操作部に設けられ、方向を指示するために、ユーザーにより操作される方向ボタンと、操作部が自由空間で操作された状態で、方向ボタンが操作された場合、方向ボタン操作後自由空間での操作量のうち、方向ボタンの方向の成分に対応する分だけ対象画像を直線的に移動することができるように、自由空間での操作に対応する情報と、操作された方向ボタンの情報とを、情報処理装置に送信する送信部とを備える入力装置である。

本発明の他の側面は、情報処理装置を遠隔操作するために、ユーザーにより把持され、３次元の自由空間で操作されるとともに、方向を指示するために、ユーザーにより操作される方向ボタンを有する操作部からの信号を受信する受信部と、操作部が自由空間で操作された状態で、方向ボタンが操作された場合、方向ボタン操作後の自由空間での操作量のうち、方向ボタンの方向の成分に対応する分だけ対象画像を直線的に移動するように制御する制御部とを備える情報処理装置である。

本発明のさらに他の側面は、入力装置と、入力装置からの遠隔制御信号により制御される情報処理装置とからなる情報処理システムにおいて、入力装置は、情報処理装置を遠隔操作するために、ユーザーにより把持され、３次元の自由空間で操作されるとともに、方向を指示するために、ユーザーにより操作される方向ボタンを有する操作部と、操作部の自由空間における操作に対応する情報と、操作された方向ボタンに対応する情報とを送信する送信部とを備え、情報処理装置は、操作部が自由空間で操作された状態で、方向ボタンが操作された場合、自由空間での操作量のうち、方向ボタン操作後の方向ボタンの方向の成分に対応する分だけ対象画像を直線的に移動するように制御する制御部を備える情報処理システムである。

また本発明の一側面は、情報処理装置を遠隔操作するために、ユーザーにより把持され、３次元の自由空間で操作される操作部と、操作部に設けられ、方向を指示するために、ユーザーにより操作される方向ボタンと、操作部の自由空間での操作に対応する情報、および操作された方向ボタンに対応する情報の少なくとも一方を情報処理装置に送信する送信部とを備え、情報処理装置の対象画像が自由空間での操作に対応する情報に基づき非直線的に移動している状態で、方向ボタンが操作された場合、送信部は、非直線的に移動している対象画像が方向ボタンの方向の他の画像上に直線的に移動することができるように、操作された方向ボタンに対応する情報を情報処理装置に送信する入力装置である。

本発明の他の側面は、情報処理装置を遠隔操作するための入力装置から、ユーザーにより把持され、３次元の自由空間で操作される操作部の自由空間での操作に対応する情報、および方向を指示するために、ユーザーにより操作される方向ボタンに対応する情報の少なくとも一方を受信する受信部と、受信部により受信された自由空間での操作に対応する情報、または方向ボタンに対応する情報に基づいて、対象画像の移動を制御する制御部とを備え、対象画像が制御部の自由空間での操作に対応する情報に基づく制御により非直線的に移動している状態で、受信部により方向ボタンに対応する情報が受信された場合、制御部は、方向ボタンに対応する情報に基づいて、非直線的に移動している対象画像を方向ボタンの方向の他の画像上に直線的に移動するように制御する情報処理装置である。

また本発明の一側面は、入力装置と、入力装置からの遠隔制御信号により制御される情報処理装置とからなる情報処理システムにおいて、入力装置は、情報処理装置を遠隔操作するために、ユーザーにより把持され、３次元の自由空間で操作されるとともに、方向を指示するために、ユーザーにより操作される方向ボタンを有する操作部と、操作部の自由空間での操作に対応する情報、および操作された方向ボタンに対応する情報の少なくとも一方を送信する送信部とを備え、情報処理装置は、自由空間での操作に対応する情報、および方向ボタンに対応する情報の少なくとも一方を受信する受信部と、受信部により受信された自由空間での操作に対応する情報、または方向ボタンに対応する情報に基づいて、対象画像の移動を制御する制御部とを備え、対象画像が制御部の自由空間での操作に対応する情報に基づく制御により非直線的に移動している状態で、受信部により方向ボタンに対応する情報が受信された場合、制御部は、方向ボタンに対応する情報に基づいて、非直線的に移動している対象画像を方向ボタンの方向の他の画像上に直線的に移動するように制御する情報処理システムである。

本発明の一側面においては、入力装置が、情報処理装置を遠隔操作するために、ユーザーにより把持され、３次元の自由空間で操作される操作部と、操作部に設けられ、方向を指示するために、ユーザーにより操作される方向ボタンとを備え、入力装置の送信部は、操作部が自由空間で操作された状態で、方向ボタンが操作された場合、方向ボタン操作後自由空間での操作量のうち、方向ボタンの方向の成分に対応する分だけ対象画像を直線的に移動することができるように、自由空間での操作に対応する情報と、操作された方向ボタンの情報とを、情報処理装置に送信する。

本発明の他の側面においては、受信部が、情報処理装置を遠隔操作するために、ユーザーにより把持され、３次元の自由空間で操作されるとともに、方向を指示するために、ユーザーにより操作される方向ボタンを有する操作部からの信号を受信し、制御部が、操作部が自由空間で操作された状態で、方向ボタンが操作された場合、方向ボタン操作後の自由空間での操作量のうち、方向ボタンの方向の成分に対応する分だけ対象画像を直線的に移動するように制御する。

本発明のさらに他の側面においては、入力装置は、情報処理装置を遠隔操作するために、ユーザーにより把持され、３次元の自由空間で操作されるとともに、方向を指示するために、ユーザーにより操作される方向ボタンを有する操作部と、操作部の自由空間における操作に対応する情報と、操作された方向ボタンに対応する情報とを送信する送信部とを備え、情報処理装置は、操作部が自由空間で操作された状態で、方向ボタンが操作された場合、自由空間での操作量のうち、方向ボタン操作後の方向ボタンの方向の成分に対応する分だけ対象画像を直線的に移動するように制御する制御部を備える。

また本発明の一側面においては、入力装置が、情報処理装置を遠隔操作するために、ユーザーにより把持され、３次元の自由空間で操作される操作部と、操作部に設けられ、方向を指示するために、ユーザーにより操作される方向ボタンと、操作部の自由空間での操作に対応する情報、および操作された方向ボタンに対応する情報の少なくとも一方を情報処理装置に送信する送信部とを備える。また、入力装置の送信部は、情報処理装置の対象画像が自由空間での操作に対応する情報に基づき非直線的に移動している状態で、方向ボタンが操作された場合、非直線的に移動している対象画像を方向ボタンの方向の他の画像上に直線的に移動することができるように、操作された方向ボタンに対応する情報を情報処理装置に送信する。

本発明の他の側面においては、受信部が、情報処理装置を遠隔操作するための入力装置から、ユーザーにより把持され、３次元の自由空間で操作される操作部の自由空間での操作に対応する情報、および方向を指示するために、ユーザーにより操作される方向ボタンに対応する情報の少なくとも一方を受信し、制御部が、受信部により受信された自由空間での操作に対応する情報、または方向ボタンに対応する情報に基づいて、対象画像の移動を制御する。そして、対象画像が制御部の自由空間での操作に対応する情報に基づく制御により非直線的に移動している状態で、受信部により方向ボタンに対応する情報が受信された場合、制御部は、方向ボタンに対応する情報に基づいて、非直線的に移動している対象画像を方向ボタンの方向の他の画像上に直線的に移動するように制御する。

また本発明の一側面においては、入力装置は、情報処理装置を遠隔操作するために、ユーザーにより把持され、３次元の自由空間で操作されるとともに、方向を指示するために、ユーザーにより操作される方向ボタンを有する操作部と、操作部の自由空間での操作に対応する情報、および操作された方向ボタンに対応する情報の少なくとも一方を送信する送信部とを備え、情報処理装置は、自由空間での操作に対応する情報、および方向ボタンに対応する情報の少なくとも一方を受信する受信部と、受信部により受信された自由空間での操作に対応する情報、または方向ボタンに対応する情報に基づいて、対象画像の移動を制御する制御部とを備え、対象画像が制御部の自由空間での操作に対応する情報に基づく制御により非直線的に移動している状態で、受信部により方向ボタンに対応する情報が受信された場合、制御部は、方向ボタンに対応する情報に基づいて、非直線的に移動している対象画像を方向ボタンの方向の他の画像上に直線的に移動するように制御する。

以上のように、本発明の一側面によれば、良好な操作性を実現することが可能となる。

本発明の情報処理システムの一実施の形態の構成を示すブロック図である。入力装置の外観の構成を示す斜視図である。入力装置の使用方法を説明する斜視図である。センサーの軸を説明する図である。入力装置の演算部の機能的構成を示すブロック図である。画像表示装置の演算部の機能的構成を示すブロック図である。対象画像を示す図である。コマンド送信処理を説明するフローチャートである。ロール角を説明する図である。ロール角による補正を行わない場合のポインタの移動を説明する図である。ロール角による補正を行う場合のポインタの移動を説明する図である。表示制御処理を説明するフローチャートである。モード１が設定されている場合におけるポインタの移動を示す図である。モード１が設定されている場合におけるポインタの移動を示す図である。モード２が設定されている場合におけるポインタの移動を示す図である。モード２が設定されている場合におけるポインタの移動を示す図である。モード２が設定されている場合におけるポインタの移動を示す図である。他の表示制御処理を説明するフローチャートである。ポインタが消去された状態を示す図である。ステート１の場合のポインタの初期表示位置を示す図である。ステート２の場合のポインタの初期表示位置を示す図である。

以下、発明を実施するための最良の形態（以下、実施の形態と称する）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（システムの構成）
２．第１の実施の形態（入力装置の構成）
３．第１の実施の形態（演算部の機能的構成）
４．第１の実施の形態（対象画像）
５．第１の実施の形態（入力装置のコマンド送信処理）
６．第１の実施の形態（画像表示装置の表示制御処理１）
７．第１の実施の形態（画像表示装置の表示制御処理２）
８．変形例

＜１．第１の実施の形態＞
［システムの構成］

図１は、本発明の情報処理システムの一実施の形態の構成を示すブロック図である。

この情報処理システム１は、情報処理装置としての画像表示装置１２と、それを遠隔制御するポインティングデバイスあるいはリモートコントローラとしての入力装置１１とにより構成されている。

入力装置１１は、加速度センサー３１、角速度センサー３２、方向ボタン３３、決定ボタン３４、ドラッグボタン３５、演算部３６、通信部３７、およびアンテナ３８を有している。

入力装置１１はいわゆる空中リモートコントローラを構成する。加速度センサー３１と角速度センサー３２は、入力装置１１が３次元空間で任意の方向に操作された場合、入力装置１１の加速度と角速度を検出する。

方向ボタン３３は、アップボタン３３Ｕ、ダウンボタン３３Ｄ、レフトボタン３３Ｌ、およびライトボタン３３Ｒにより構成される。これらのボタンは、それぞれ対象画像としてのポインタを上、下、左、または右方向に移動させる場合にユーザーにより操作される。方向ボタン３３の中央には、決定ボタン３４が配置されている。決定ボタン３４は選択を確定するとき操作される。

ドラッグボタン３５は、可動オブジェクトをドラッグするとき操作される。すなわち、可動オブジェクトを所定の方向にドラッグする場合、ポインタを可動オブジェクト上に配置した状態で、ドラッグボタン３５を押圧しながら、入力装置１１が自由空間でドラッグする方向に操作される。

例えばマイクロプロセッサなどよりなる演算部３６は、加速度センサー３１、角速度センサー３２、方向ボタン３３、決定ボタン３４、およびドラッグボタン３５の操作結果を検出する。検出結果に対応するコマンド等の信号は、通信部３７により増幅、変調され、アンテナ３８を介して、電波で画像表示装置１２に送信される。

例えばテレビジョン受像機からなる画像表示装置１２は、アンテナ５１、通信部５２、演算部５３、および表示部５４を有している。

アンテナ５１は、入力装置１１からの電波を受信する。通信部５２は、アンテナ５１を介して受信した信号を増幅、復調する。例えばマイクロプロセッサなどよりなる演算部５３は、通信部５２からの信号に基づき、所定の動作を実行する。表示部５４は画像を表示する。なお、図示は省略されているが、画像表示装置１２は、テレビジョン放送を受信し、画像を表示部５４に表示する機能も有している。

［入力装置の構成］

図２は、入力装置の外観の構成を示す斜視図である。入力装置１１は、情報処理装置を制御する操作信号を生成するためにユーザーにより操作される操作部としての本体４１を有している。本体４１の上面には、方向ボタン３３と決定ボタン３４が設けられている。また本体４１の左側面には、ドラッグボタン３５が設けられている。

本体４１の内部の先頭には、加速度センサー３１と角速度センサー３２が装着されたセンサー回路基板７１が取り付けられている。本体４１の内部の中央下部には、演算通信回路基板７２が組み込まれており、そこには、演算部３６や通信部３７が配置されている。各部に必要な電力を供給する電池７３は本体４１の内部後方に収容されている。

図３は、入力装置の使用方法を説明する斜視図である。同図に示されるように、ユーザーは入力装置１１を把持し、先頭を画像表示装置１２に向けて、３次元空間で任意の方向に操作したり、方向ボタン３３を操作したりする。これにより、対象画像としてのポインタ９１を操作方向に移動させることができる。

図４は、センサーの軸を説明する図である。入力装置１１の先頭には、ＭＥＭＳ（ＭｉｃｒｏＥｌｅｃｔｒｏＭｅｃｈａｎｉｃａｌＳｙｓｔｅｍｓ）の技術により製造された、角速度センサー３２と加速度センサー３１が取り付けられている。ＸＹＺは３次元自由空間における相互に垂直な絶対軸である。Ｙ軸は鉛直方向の軸であり、Ｘ軸とＺ軸は水平面内の軸である。Ｚ軸はユーザーに向かう軸である。Ｘ’Ｙ’Ｚ’は相互に垂直な角速度センサー３２の軸であり、Ｘ”Ｙ”Ｚ”は相互に垂直な加速度センサー３１の軸である。角速度センサー３２のＸ’Ｙ’Ｚ’軸は、加速度センサー３１のＸ”Ｙ”Ｚ”軸とそれぞれ平行とされている。

本体４１の先頭（図４における左上方向の端部）を、その先に位置する画像表示装置１２の表示部５４に向けた状態で、本体４１の全体がユーザーにより、３次元空間の任意の方向に操作された場合、２軸式振動型角速度センサーで構成される角速度センサー３２は、それぞれＸ’軸とＹ’軸と平行なピッチ回転軸とヨー回転軸を中心として回転するピッチ角θとヨー角ψの角速度を検出する。あるいは振動型の角速度センサーの代わりに、地磁気式の角度センサーを用いることもできる。加速度センサー３１は、Ｘ”軸およびＹ”軸の方向の加速度を検出する。加速度センサー３１は、重力加速度をベクトル量として検知することができる。加速度センサー３１としては、Ｘ”軸、Ｙ”軸、およびＺ”軸の３軸を感度軸とする３軸型加速度センサーを用いることもできる。

入力装置１１はユーザーが手で把持し、入力装置１１の全体を３次元の自由空間において任意の方向に移動操作する。すなわち、入力装置１１は、いわゆる空中リモートコントローラであり、机上においたまま使用されるのではなく、空中で任意の方向に移動操作される。入力装置１１はその操作された方向を検出し、その操作された方向の操作信号を出力する。また入力装置１１は、ボタン３３乃至３５が操作された場合、対応する操作信号を出力する。

［演算部の機能的構成］

図５は入力装置１１の演算部３６の機能的構成を示すブロック図である。演算部３６は、取得部１０１、算出部１０２、および送信部１０３を有している。

取得部１０１は、角速度、加速度、ボタン情報などを取得する。算出部１０２は、ロール角、補正角速度、ポインタ移動量などを算出する。送信部１０３は、画像表示装置１２にポインタ移動量やコマンドなどを送信する。

図６は、画像表示装置１２の演算部５３の機能的構成を示すブロック図である。演算部５３は、受信部１２１、表示制御部１２２、判定部１２３、実行部１２４、および設定部１２５を有している。

受信部１２１は、入力装置１１から送信されてきた信号を受信する。制御部としての表示制御部１２２は、表示を制御する。判定部１２３は各種の判定を行う。実行部１２４は、コマンドを実行する。設定部１２５は、ポインタの位置を設定する。

［対象画像］

図７は、対象画像を示す図である。この実施の形態においては、ポインタ９１および可動オブジェクト２０２が、入力装置１１の操作に対応して移動表示される対象画像とされる。ポインタ９１は可動オブジェクト２０２や、選択オブジェクト２０１上に配置され、可動オブジェクト２０２の移動や、選択オブジェクト２０１の選択などが行われる。

［入力装置のコマンド送信処理］

図８は、コマンド送信処理を説明するフローチャートである。この図８を参照して、入力装置１１のコマンド送信処理について説明する。

図８のステップＳ１１において取得部１０１は、角速度を取得する。すなわち、図９Ａに示されるように、角速度センサー３２は、ユーザーが入力装置１１を３次元の自由空間で把持、移動操作した場合などに発生する運動のＹ’軸周りの角速度ωψ（ｔ）とＸ’軸周りの角速度ωθ（ｔ）を出力する。取得部１０１は、検出された角速度（ωψ（ｔ），ωθ（ｔ））を取得する。具体的には、角速度（ωψ（ｔ），ωθ（ｔ））が演算部３６に内蔵されるＡ／Ｄ変換器によりＡ／Ｄ変換され、取り込まれる。

ステップＳ１２において取得部１０１は、加速度を取得する。すなわち、図９Ｂに示されるように、加速度センサー３１は、ユーザーが入力装置１１を３次元の自由空間で把持、操作した場合などに発生する運動のＸ”軸方向とＹ”軸方向の加速度（Ａｘ（ｔ），Ａｙ（ｔ））を出力する。取得部１０１は、検出された加速度（Ａｘ（ｔ），Ａｙ（ｔ））を取得する。具体的には、加速度（Ａｘ（ｔ），Ａｙ（ｔ））が演算部３６に内蔵されるＡ／Ｄ変換器によりＡ／Ｄ変換され、取り込まれる。

ステップＳ１３において算出部１０２は、ロール角を算出する。ロール角φは、次式（１）に基づいて、加速度（Ａｘ，Ａｙ）から算出される。Ａｘ，Ａｙは、それぞれ加速度センサー３１のＸ”軸で検出される成分と、Ｙ”軸で検出される成分である。

φ＝ａｒｃｔａｎ（Ａｘ／Ａｙ）（１）

図９Ｂに示されるように、入力装置１１が、符号１１Ａで示される水平な状態から、符号１１Bで示されるように、軸Z”を中心に、ロール角φだけ回転されていると、加速度（Ａｘ，Ａｙ）の各成分は次式（２）を満足する。従って、式（１）が導かれる。

ｔａｎφ＝Ａｘ／Ａｙ（２）

ステップＳ１４において算出部１０２は、補正角速度を算出する。補正角速度（ωψ’，ωθ’）は次式から算出される。

図９Ａに示されているように、補正角速度（ωψ’，ωθ’）は、ユーザーにより実際に把持されている場合の符号１１Ｂで示される入力装置を、ロール角φだけ時計回転方向に回転して、符号１１Ａで示される水平な状態にした場合のＹ軸周りとＸ軸周りの角速度である。角速度（ωψ，ωθ）は、入力装置１１を、符号１１Ｂで示される、水平な状態からロール角φだけ反時計回転方向に回転した状態の、Ｙ’軸周りとＸ’軸周りの実際に検出される角速度である。

ステップＳ１５において算出部１０２は、ポインタ移動量を算出する。ポインタ移動量は、例えば補正角速度（ωψ’，ωθ’）に検出時間を乗算することで算出される。

このように、補正角速度（ωψ’，ωθ’）に応じたポインタ移動量を算出することで、それに基づき画像表示装置１２側で表示されるポインタの移動量が、ユーザーの実際の操作に対応し、ユーザーが違和感を覚えることが抑制される。

すなわち、図９Ａに示されるように、入力装置１１が符号１１Ａで示される水平な状態から、符号１１Bで示されるように、ロール角φだけ傾いた状態で、矢印Ａの方向（Ｘ軸と平行な水平方向）に操作されたとする。この場合、矢印Ａの方向は、加速度センサー３１の軸Ｘ’に対してロール角φだけ時計回転方向に傾いた方向である。

図１０は、ロール角による補正を行わない場合のポインタの移動を説明する図である。角速度を補正しないと、図１０に示されるように、ポインタ９１Ａは矢印Bの方向（水平方向からロール角φだけ右下方向）に移動され、ポインタ９１Ｂとして表示される。ユーザーは水平方向に操作したにも拘わらず、ポインタ９１が右下方向に移動してしまうので、違和感を覚える。

図１１は、ロール角による補正を行う場合のポインタの移動を説明する図である。角速度をロール角φだけ補正すると、図１１に示されるように、ポインタ９１Ａは矢印Ｃで示される方向（水平方向）に移動され、ポインタ９１Ｃとして表示される。この矢印Ｃの方向は、矢印Ａと平行な方向であり、ポインタ９１はユーザーが操作した方向に移動するので、ユーザーは違和感を覚えることがない。

図８に戻って、ステップＳ１６において取得部１０１はまた、各ボタンの操作に対応するボタン情報を取得する。なおこの処理は、ステップＳ１１の前で実行するようにしてもよい。

次にステップＳ１７において送信部１０３は、ポインタ移動量と各種ボタンによるコマンドを送信する。各種ボタンの操作によるコマンドは、ステップＳ１６で取得された、操作されたボタンに対応するボタン情報に基づき生成されたコマンドである。

すなわち、本体４１が自由空間で操作された状態で、方向ボタンが操作された場合、自由空間での操作量のうち、操作された方向ボタンの方向の成分に対応する分だけ対象画像を直線的に移動することができるように、自由空間での操作に対応する情報と、操作された方向ボタンの情報としてのポインタ移動量とコマンドが、演算部３６の送信部１０３より出力され、通信部３７により増幅され、アンテナ３８を介して電波で画像表示装置１２に送信される。このポインタ移動量とコマンドは、画像表示装置１２側で受信される（後述する図１２のステップＳ５１）。

なお、方向ボタンが操作された場合とは、ユーザーが実際に方向ボタンを継続的に操作し続ける場合であってもよいし、一度操作された方向ボタンが操作状態にロックされた場合であってもよい。

その後、処理はステップＳ１１に戻り、それ以降の処理が繰り返される。

［画像表示装置の表示制御処理１］

以上のように、入力装置１１から信号が送信されると、画像表示装置１２はその信号に対応する処理を実行する。この画像表示装置１２が実行する処理の例として、ポインタ９１の表示位置を、方向ボタン３３の操作により制御する場合の処理を説明する。

図１２は、表示制御処理を説明するフローチャートである。この処理は、入力装置１１から信号を受信した画像表示装置１２が、その信号に対応して実行する

ステップＳ５１において受信部１２１は、ポインタ移動量とコマンドを受信する。このポインタ移動量とコマンドは、図８のステップＳ１７において、入力装置１１から送信されたものである。

ステップＳ５２において判定部１２３は、決定ボタンが操作されたかを判定する。決定ボタン３４が操作された場合、ステップＳ５３において実行部１２４は、受信したコマンドに対応する処理を実行する。その後、処理は終了する。

ステップＳ５２において決定ボタン３４が操作されていないと判定された場合、ステップＳ５４において判定部１２３は、方向ボタンが操作されたかを判定する。方向ボタン３３が操作されていない場合、ステップＳ５５において表示制御部１２２は、ポインタの表示を制御する。すなわち表示制御部１２２は入力装置１１から受信したポインタ移動量に基づいて、ポインタ９１の位置を演算する。例えばポインタ位置（Ｘ（ｔ），Ｙ（ｔ））は、ポインタ移動量（ΔＸ，ΔＹ）から、次式に基づいて演算される。

（Ｘ（ｔ），Ｙ（ｔ））＝（Ｘ（ｔ）＋ΔＸ，Ｙ（ｔ）＋ΔＹ）（４）

そして、表示制御部１２２は、演算された位置にポインタ９１を表示する。これにより、ユーザーの３次元空間における入力装置１１の操作に対応する位置にポインタ９１が表示される。その後、処理はステップＳ５１に戻る。

ステップＳ５４で方向ボタン３３が操作されたと判定された場合、ステップＳ５６において判定部１２３は、モードはいずれの状態であるかを判定する。モードはユーザーの指示に基づいて、モード１またはモード２に予め設定されている。あるいは、ユーザーがその都度選択するようにすることもできる。

モード１が設定されている場合、ステップＳ５７において表示制御部１２２は、方向ボタンの指示方向にポインタを移動する。すなわち、入力装置１１が、自由空間で操作された状態で、方向ボタン３３が操作された場合、表示制御部１２２は、自由空間で操作された方向のうち、操作された方向ボタン３３が対応する方向の成分のみを有効とする。つまり、表示制御部１２２は、本体４１が自由空間で操作された状態で、方向ボタン３３が操作された場合、方向ボタン３３の操作後の自由空間での操作量のうち、方向ボタン３３の方向の成分に対応する分だけ対象画像を直線的に移動するように制御する機能を有する。換言すれば、方向ボタン３３により指示された方向以外の方向への移動は制限され、方向ボタン３３により指示された方向にのみ移動可能なように、ポインタ９１の移動が規制される。

図１３と図１４は、モード１が設定されている場合におけるポインタの移動を示す図である。

図１３に示されるように、ポインタ９１Ａが表示されている場合において、ライトボタン３３Ｒが押圧された状態で、入力装置１１が自由空間で右方向に操作されたとする。入力装置１１には、実際には手振れにより水平方向以外の運動成分も発生する。しかし、この場合、運動のうち、ライトボタン３３Ｒの対応する方向、すなわち水平方向成分のみが有効とされる。その結果、ポインタ９１Ａは、入力装置１１の水平方向の操作量に対応する分だけ水平方向（ｘ軸方向）に直線的に移動され、ポインタ９１Ｂとして表示される。すなわち、この場合、ｙ軸方向への移動は制限され、ｘ軸方向への移動のみが可能となるように移動が規制される。この操作時間を調整することで、ポインタ９１は任意の位置まで直線的に移動される。

図１４は、直線を描く場合の表示例を表している。手振れが発生するため、ユーザーが、入力装置１１を自由空間で正確に直線的に操作することは困難である。そのため、ユーザーが入力装置１１を自由空間で単に右方向に操作しただけの場合、ポインタ９１Ａにより描かれる線、すなわちポインタ９１Ａの移動軌跡は、破線で示されるように波を打った状態になり、正確な直線にはならない。

そこで本実施の形態においては、ユーザーはポインタ９１Ａで水平方向に直線を描く場合、ライトボタン３３Ｒを押圧した状態で、入力装置１１を自由空間で右方向に操作する。このとき手振れは発生するが、運動のうち、ライトボタン３３Ｒの対応する方向、すなわち水平方向の成分のみが有効とされる。その結果、ポインタ９１Ａは、入力装置１１の水平方向の操作量に対応する分だけ水平方向（ｘ軸方向）に直線的に移動され、ポインタ９１Ｂとして表示される。この場合も、ｙ軸方向の移動は制限され、ｘ軸方向への移動のみが可能となるように移動が規制される。従って、ユーザーは、手振れによる影響を受けずに、水平な直線を簡単に描くことができる。

なお、例えばアップボタン３３Ｕとライトボタン３３Ｒが同時に操作された場合、ポインタ９１は右４５度の上方向に、直線的に移動される。

なお、以上においては、入力装置１１の自由空間における操作量に対応する分だけポインタ９１を移動させるようにしたが、方向ボタン３３の操作時間に対応する分だけ、ポインタ９１を移動させるようにすることもできる。

ステップＳ５６においてモード２が設定されていると判定された場合、ステップＳ５８において表示制御部１２２は、方向ボタンの指示方向の、最も近い選択オブジェクト上にポインタを移動する。モード２が設定されている場合、本体４１の３次元空間における操作は無視される。具体的には、加速度センサー３１と角速度センサー３２により検出された加速度と角速度は無視される。

図１５乃至図１７は、モード２が設定されている場合におけるポインタの移動を示す図である。

図１５に示される例においては、入力装置１１が右上方向に操作された結果、ステップＳ５５の処理で、ポインタ９１Ａが手振れによる揺れを伴いながらポインタ９１Ｂの位置まで、斜め右上方向に非直線的に移動している。このとき、ポインタ９１Ｂは、オブジェクト上に位置しない。そしてその位置でさらに、ライトボタン３３Ｒが操作された場合、ポインタ９１Ｂは、ライトボタン３３Ｒに対応する方向である水平方向（すなわち、x軸方向）の、ポインタ９１Ｂと離間した、ポインタ９１Ｂに最も近い選択オブジェクト２０１まで移動する。すなわち、ポインタ９１Ｂは、いまの場合番号１の選択オブジェクト２０１の上まで移動し、ポインタ９１Ｃとして表示される。その後、決定ボタン３４を操作することで、この番号１の選択オブジェクト２０１が選択される。この場合にも、ｙ軸方向の移動は制限され、ｘ軸方向への移動のみが可能となるように移動が規制される。

このように、ポインタ９１がオブジェクト上に位置しない場合でも、方向ボタン３３の操作に基づき、ポインタ９１を迅速かつ確実に、所望の位置に、直線的に移動させることが可能となる。

図１６においては、ポインタ９１Ａが入力装置１１の自由空間の操作により、番号１の選択オブジェクト２０１の上のポインタ９１Ｂの位置まで、手振れによる揺れを伴いながら非直線的に移動している。そしてポインタ９１Ｂが番号１の選択オブジェクト２０１上にある状態で、ダウンボタン３３Ｄが操作されている。その結果、ポインタ９１Ｂが、番号１の選択オブジェクト２０１から、ダウンボタン３３Ｄの方向である下方向であって、ポインタ９１Ｂと離間した、ポインタ９１Ｂに最も近い次のオブジェクトである、番号２の選択オブジェクト２０１上に移動している。この場合、ｘ軸方向の移動は制限され、ｙ軸方向への移動のみが可能となるように移動が規制される。以下、ダウンボタン３３Ｄが操作される毎に、ポインタ９１Ｂは、番号３の選択オブジェクト２０１、番号４の選択オブジェクト２０１と、順次下方のオブジェクト上に移動する。

このように、ポインタ９１がオブジェクト上に位置する場合でも、方向ボタン３３の操作に基づき、ポインタ９１を迅速かつ確実に、所望の位置に、直線的に移動させることが可能となる。

図１７においては、３個の可動オブジェクト２０２が表示されている。ポインタ９１Ａは番号１の可動オブジェクト２０２より上方に位置している。このとき、ポインタ９１Ａは、オブジェクト上に位置しない。この状態でダウンボタン３３Ｄが操作されると、ポインタ９１Ａは、ダウンボタン３３Ｄの方向である下方向であって、ポインタ９１Ａと離間し、ポインタ９１Ａに最も近いオブジェクトである、番号１の可動オブジェクト２０２上に移動し、ポインタ９１Ｂとして表示される。この場合、ｘ軸方向の移動は制限され、ｙ軸方向への移動のみが可能となるように移動が規制される。ただし、この実施の形態では、ポインタ９１はオブジェクト上に位置する場合、その中心に表示されるように制御されている。この状態でドラッグボタン３５を押圧し、入力装置１１を所定の方向に操作することで、可動オブジェクト２０２を所望の位置までドラッグすることができる。

図１２において、ステップＳ５７とステップＳ５８の処理が実行された後、処理はステップＳ５１に戻り、それ以降の処理が繰り返される。

［画像表示装置の表示制御処理２］

図１８は、他の表示制御処理を説明するフローチャートである。この処理も、入力装置１１から信号を受信した画像表示装置１２が、その信号に対応して実行する。

図１８のステップＳ１０１乃至ステップＳ１０３、ステップＳ１０５乃至ステップＳ１０９の処理は、図１２のステップＳ５１乃至ステップＳ５８の処理と同様の処理である。図１９の実施の形態においては、図１２のステップＳ５２とステップＳ５４に対応するステップＳ１０２とステップＳ１０５の間に、ステップＳ１０４の判定処理が挿入されている。

ステップＳ１０４では、ポインタが一定時間静止しているかが判定部１２３により判定される。ポインタ９１が予め設定されている一定の時間静止していない場合、すなわち移動している場合、処理はステップＳ１０５に進み、図１２における場合と同様の処理が実行される。その説明は繰り返しになるので省略する。

ステップＳ１０４においてポインタ９１が一定時間静止していると判定された場合、ステップＳ１１０において表示制御部１２２は、ポインタを消去する。

図１９は、ポインタが消去された状態を示す図である。この図１９に示されるように、いままで表示されていたポインタ９１が消去される。例えばユーザーが入力装置１１をテーブル上に載置したまま、一定時間が経過すると、このようにポインタ９１が消去される。これにより、非使用状態にポインタ９１が無駄に表示され、本来の画像が見難くなるようなことが防止される。

ステップＳ１１１において判定部１２３は、入力装置１１が動いたかを判定する。例えば検出された角速度や加速度の絶対値が、予め設定されている基準値より大きい場合、入力装置１１は動いたと判定される。

入力装置１１が動いていない場合、ステップＳ１１２において判定部１２３は、入力装置１１のボタンが操作されたかを判定する。ボタンが操作されていない場合、処理はステップＳ１１１に戻り、それ以降の処理が繰り返される。すなわち、入力装置１１がユーザーにより実質的に使用されるまで、ステップＳ１１１とステップＳ１１２の処理が繰り返される。

なお、ステップＳ１１１とステップＳ１１２の処理が繰り返される時間が、予め設定された所定の時間に達したとき、処理を終了させるようにしてもよい。これにより電池７３の消耗を抑制することができる。

ステップＳ１１１で入力装置１１が動いたと判定された場合、およびステップＳ１１２においてボタンが操作されたと判定された場合、入力装置１１がユーザーにより実質的に使用されたと判断される。そこで、ステップＳ１１３において判定部１２３は、ステートはいずれの状態であるかを判定する。ステートはユーザーによりステート１またはステート２のいずれかに、予め設定されている。

ステート１が設定されている場合、ステップＳ１１４において設定部１２５は、ポインタの位置を画面の中央に設定する。そしてステップＳ１１６において表示制御部１２２は、設定された位置に、ポインタを表示する。

以上のように、ポインタ９１が図１９に示されるように表示されていない状態において、入力装置１１が動くか、ボタンが操作された場合、ポインタ９１が初期表示位置に表示される。

図２０は、ステート１の場合のポインタの初期表示位置を示す図である。同図に示されるように、ステート１が設定されている場合、ポインタ９１は表示部５４のほぼ中央に表示される。図２０の例においては、ポインタ９１は、その先端が、表示部５４の中央の点２２１に位置するように表示されている。

これに対してステップＳ１１３において、ステート２が設定されていると判定された場合、ステップＳ１１５において設定部１２５は、ポインタの位置を特定オブジェクトの位置に設定する。そしてステップＳ１１６において表示制御部１２２は、設定された位置に、ポインタを表示する。

図２１は、ステート２の場合のポインタの初期表示位置を示す図である。同図に示されるように、ステート２が設定されている場合、ポインタ９１が特定オブジェクトとしての選択オブジェクト２０１上に表示される。

このようにポインタ９１の初期表示位置が、常にユーザーの指定する特定の位置に固定されるので、ユーザーはポインタ９１の位置を速やかに発見することができ、その後のユーザーの操作が容易となる。

［変形例］

以上においては、入力装置１１により遠隔操作される画像表示装置１２は、テレビジョン受像機としたが、パーソナルコンピュータ、その他の情報処理装置とすることができる。

さらに、制御対象の情報処理装置が、例えば携帯電話機、ＰＤＡ（ＰｅｒｓｏｎａｌＤｉｇｉｔａｌＡｓｓｉｓｔａｎｔｓ）などの携帯情報処理装置とすることができる。

上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

なお、本明細書において、プログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。

なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

１情報処理システム，１１入力装置，１２画像表示装置，３１加速度センサー，３２角速度センサー，３３方向ボタン，３４決定ボタン，３５ドラッグボタン，３６演算部，３７通信部，３８アンテナ，４１本体，５１アンテナ，５２通信部，５３演算部，５４表示部，９１ポインタ，１０１取得部，１０２算出部，１０３送信部，１２１受信部，１２２表示制御部，１２３判定部，１２４実行部，１２５設定部，２０１選択オブジェクト，２０２可動オブジェクト

Claims

情報処理装置を遠隔操作するために、ユーザーにより把持され、３次元の自由空間で操作される操作部と、
前記操作部に設けられ、方向を指示するために、前記ユーザーにより操作される方向ボタンと、
前記操作部が前記自由空間で操作された状態で、前記方向ボタンが操作された場合、前記方向ボタン操作後の前記自由空間での操作量のうち、前記方向ボタンの方向の成分に対応する分だけ対象画像を直線的に移動することができるように、前記自由空間での操作に対応する情報と、操作された前記方向ボタンの情報とを、前記情報処理装置に送信する送信部と
を備える入力装置。
前記対象画像は、ポインタである
請求項１に記載の入力装置。
情報処理装置を遠隔操作するために、ユーザーにより把持され、３次元の自由空間で操作される操作部と、
前記操作部に設けられ、方向を指示するために、前記ユーザーにより操作される方向ボタンと
を備え、
前記操作部が前記自由空間で操作された状態で、前記方向ボタンが操作された場合、前記方向ボタン操作後の前記自由空間での操作量のうち、前記方向ボタンの方向の成分に対応する分だけ対象画像を直線的に移動することができるように、前記自由空間での操作に対応する情報と、操作された前記方向ボタンの情報とを、前記情報処理装置に送信する
入力装置の入力方法。
情報処理装置を遠隔操作するために、ユーザーにより把持され、３次元の自由空間で操作されるとともに、方向を指示するために、前記ユーザーにより操作される方向ボタンを有する操作部からの信号を受信する受信部と、
前記操作部が前記自由空間で操作された状態で、前記方向ボタンが操作された場合、前記方向ボタン操作後の前記自由空間での操作量のうち、前記方向ボタンの方向の成分に対応する分だけ対象画像を直線的に移動するように制御する制御部と
を備える情報処理装置。
前記対象画像は、ポインタである
請求項４に記載の情報処理装置。
前記制御部は、前記ポインタの初期表示位置を、予め設定された位置とする
請求項５に記載の情報処理装置。
前記ポインタの前記初期表示位置は、ユーザーにより設定される
請求項６に記載の情報処理装置。
受信部と、
制御部と
を備え、
前記受信部は、情報処理装置を遠隔操作するために、ユーザーにより把持され、３次元の自由空間で操作されるとともに、方向を指示するために、前記ユーザーにより操作される方向ボタンを有する操作部からの信号を受信し、
前記制御部は、前記操作部が前記自由空間で操作された状態で、前記方向ボタンが操作された場合、前記方向ボタン操作後の前記自由空間での操作量のうち、前記方向ボタンの方向の成分に対応する分だけ対象画像を直線的に移動するように制御する
情報処理方法。
コンピュータに、
情報処理装置を遠隔操作するために、ユーザーにより把持され、３次元の自由空間で操作されるとともに、方向を指示するために、前記ユーザーにより操作される方向ボタンを有する操作部からの信号を受信する受信手段と、
前記操作部が前記自由空間で操作された状態で、前記方向ボタンが操作された場合、前記自由空間での操作量のうち、前記方向ボタン操作後の前記方向ボタンの方向の成分に対応する分だけ対象画像を直線的に移動するように制御する制御手段と
しての機能を実行させるプログラム。
入力装置と、前記入力装置からの遠隔制御信号により制御される情報処理装置とからなる情報処理システムにおいて、
前記入力装置は、
前記情報処理装置を遠隔操作するために、ユーザーにより把持され、３次元の自由空間で操作されるとともに、方向を指示するために、前記ユーザーにより操作される方向ボタンを有する操作部と、
前記操作部の前記自由空間における操作に対応する情報と、操作された前記方向ボタンに対応する情報とを送信する送信部と
を備え、
前記情報処理装置は、
前記操作部が前記自由空間で操作された状態で、前記方向ボタンが操作された場合、前記自由空間での操作量のうち、前記方向ボタン操作後の前記方向ボタンの方向の成分に対応する分だけ対象画像を直線的に移動するように制御する制御部を備える
情報処理システム。
情報処理装置を遠隔操作するために、ユーザーにより把持され、３次元の自由空間で操作される操作部と、
前記操作部に設けられ、方向を指示するために、前記ユーザーにより操作される方向ボタンと、
前記操作部の前記自由空間での操作に対応する情報、および操作された前記方向ボタンに対応する情報の少なくとも一方を前記情報処理装置に送信する送信部と
を備え、
前記情報処理装置の対象画像が前記自由空間での操作に対応する情報に基づき非直線的に移動している状態で、前記方向ボタンが操作された場合、前記送信部は、非直線的に移動している前記対象画像が前記方向ボタンの方向の他の画像上に直線的に移動することができるように、操作された前記方向ボタンに対応する情報を前記情報処理装置に送信する
入力装置。
前記対象画像は、ポインタである
請求項１１に記載の入力装置。
情報処理装置を遠隔操作するために、ユーザーにより把持され、３次元の自由空間で操作される操作部と、
前記操作部に設けられ、方向を指示するために、前記ユーザーにより操作される方向ボタンと、
前記操作部の前記自由空間での操作に対応する情報、および操作された前記方向ボタンに対応する情報の少なくとも一方を前記情報処理装置に送信する送信部と
を備える入力装置の入力方法であって、
前記情報処理装置の対象画像が前記自由空間での操作に対応する情報に基づき非直線的に移動している状態で、前記方向ボタンが操作された場合、前記送信部は、非直線的に移動している前記対象画像が前記方向ボタンの方向の他の画像上に直線的に移動することができるように、操作された前記方向ボタンに対応する情報を前記情報処理装置に送信する
入力方法。
情報処理装置を遠隔操作するための入力装置から、ユーザーにより把持され、３次元の自由空間で操作される操作部の前記自由空間での操作に対応する情報、および方向を指示するために、前記ユーザーにより操作される方向ボタンに対応する情報の少なくとも一方を受信する受信部と、
前記受信部により受信された前記自由空間での操作に対応する情報、または前記方向ボタンに対応する情報に基づいて、対象画像の移動を制御する制御部と
を備え、
前記対象画像が前記制御部の前記自由空間での操作に対応する情報に基づく制御により非直線的に移動している状態で、前記受信部により前記方向ボタンに対応する情報が受信された場合、前記制御部は、前記方向ボタンに対応する情報に基づいて、非直線的に移動している前記対象画像を前記方向ボタンの方向の他の画像上に直線的に移動するように制御する
情報処理装置。
前記対象画像は、ポインタである
請求項１４に記載の情報処理装置。
前記制御部は、前記ポインタの初期表示位置を、予め設定された位置とする
請求項１５に記載の情報処理装置。
前記ポインタの前記初期表示位置は、ユーザーにより設定される
請求項１６に記載の情報処理装置。
情報処理装置を遠隔操作するための入力装置から、ユーザーにより把持され、３次元の自由空間で操作される操作部の前記自由空間での操作に対応する情報、および方向を指示するために、前記ユーザーにより操作される方向ボタンに対応する情報の少なくとも一方を受信する受信部と、
前記受信部により受信された前記自由空間での操作に対応する情報、または前記方向ボタンに対応する情報に基づいて、対象画像の移動を制御する制御部と
を備える情報処理装置の情報処理方法であって、
前記対象画像が前記制御部の前記自由空間での操作に対応する情報に基づく制御により非直線的に移動している状態で、前記受信部により前記方向ボタンに対応する情報が受信された場合、前記制御部は、前記方向ボタンに対応する情報に基づいて、非直線的に移動している前記対象画像を前記方向ボタンの方向の他の画像上に直線的に移動するように制御する
情報処理方法。
コンピュータに、
情報処理装置を遠隔操作するための入力装置から、ユーザーにより把持され、３次元の自由空間で操作される操作部の前記自由空間での操作に対応する情報、および方向を指示するために、前記ユーザーにより操作される方向ボタンに対応する情報の少なくとも一方を受信する受信手段と、
前記受信手段により受信された前記自由空間での操作に対応する情報、または前記方向ボタンの情報に基づいて、対象画像の移動を制御する制御手段と
しての機能を実行させるプログラムにおいて、
前記対象画像が前記制御手段の前記自由空間での操作に対応する情報に基づく制御により非直線的に移動している状態で、前記受信手段により前記方向ボタンに対応する情報が受信された場合、前記制御手段は、前記方向ボタンに対応する情報に基づいて、非直線的に移動している前記対象画像を前記方向ボタンの方向の他の画像上に直線的に移動するように制御する
プログラム。
入力装置と、前記入力装置からの遠隔制御信号により制御される情報処理装置とからなる情報処理システムにおいて、
前記入力装置は、
前記情報処理装置を遠隔操作するために、ユーザーにより把持され、３次元の自由空間で操作されるとともに、方向を指示するために、前記ユーザーにより操作される方向ボタンを有する操作部と、
前記操作部の前記自由空間での操作に対応する情報、および操作された前記方向ボタンに対応する情報の少なくとも一方を送信する送信部と
を備え、
前記情報処理装置は、
前記自由空間での操作に対応する情報、および前記方向ボタンに対応する情報の少なくとも一方を受信する受信部と、
前記受信部により受信された前記自由空間での操作に対応する情報、または前記方向ボタンに対応する情報に基づいて、前記対象画像の移動を制御する制御部と
を備え、
前記対象画像が前記制御部の前記自由空間での操作に対応する情報に基づく制御により非直線的に移動している状態で、前記受信部により前記方向ボタンに対応する情報が受信された場合、前記制御部は、前記方向ボタンに対応する情報に基づいて、非直線的に移動している前記対象画像を前記方向ボタンの方向の他の画像上に直線的に移動するように制御する
情報処理システム。