JP5581817B2 - 制御システム、制御装置、ハンドヘルド装置、制御方法及びプログラム。 - Google Patents

制御システム、制御装置、ハンドヘルド装置、制御方法及びプログラム。 Download PDF

Info

Publication number
JP5581817B2
JP5581817B2 JP2010127513A JP2010127513A JP5581817B2 JP 5581817 B2 JP5581817 B2 JP 5581817B2 JP 2010127513 A JP2010127513 A JP 2010127513A JP 2010127513 A JP2010127513 A JP 2010127513A JP 5581817 B2 JP5581817 B2 JP 5581817B2
Authority
JP
Japan
Prior art keywords
icon
pointer
selection area
size
screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010127513A
Other languages
English (en)
Other versions
JP2011253398A (ja
Inventor
拓也 藤田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2010127513A priority Critical patent/JP5581817B2/ja
Priority to US13/089,785 priority patent/US8884991B2/en
Priority to CN2011101475235A priority patent/CN102270052A/zh
Publication of JP2011253398A publication Critical patent/JP2011253398A/ja
Application granted granted Critical
Publication of JP5581817B2 publication Critical patent/JP5581817B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0325—Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/4222—Remote control device emulator integrated into a non-television apparatus, e.g. a PDA, media center or smart toy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42222—Additional components integrated in the remote control device, e.g. timer, speaker, sensors for detecting position, direction or movement of the remote control, microphone or battery charging device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • H04N21/4438—Window management, e.g. event handling following interaction with the user interface

Description

本発明は、空間操作型の入力装置と、この入力装置の移動に応じて画面上に表示されるポインタの移動を制御する制御装置とを含む制御システム等に技術に関する。
ＰＣ（Personal Computer）で普及しているＧＵＩ（Graphical User Interface）のコントローラとして、主にマウスやタッチパッド等の入力装置が用いられている。ＧＵＩは、従来のＰＣのＨＩ（Human Interface）にとどまらず、例えばテレビを画像媒体としてリビングルーム等で使用されるＡＶ機器等のインターフェースとして使用され始めている。このようなＧＵＩのコントローラとして、ユーザが空間で操作することができる空間操作型の入力装置が多種提案されている（例えば、特許文献１参照）。
特開２００１−０５６７４３号公報
この種の空間操作型の入力装置を使用する場合、ユーザは、入力装置を手に持ち、入力装置を空間操作することで、画面上に表示されたポインタを移動させる。そして、画面上に表示されたアイコン上にポインタを位置させ、入力装置に設けられた操作ボタン等を押圧することで、アイコンを選択する。
このような空間操作型の入力装置の場合、平面操作型のマウスや、タッチパッド等の入力装置と異なり、ユーザの手ぶれが問題となる場合がある。すなわち、ユーザが入力装置を空間操作して目的のアイコン上までポインタを移動させる場合、ユーザの手ぶれがポインタの移動に反映されてしまう。これにより、ユーザは、目的とするアイコン上にポインタを位置させることが困難となり、アイコンを容易に選択することができないという問題が生じる。
以上のような事情に鑑み、本発明の目的は、手ぶれが生じてしまっても、ユーザが容易に目的とするアイコンを選択することができる制御システム等の技術を提供することにある。
上記目的を達成するため、本発明の一形態に係る制御システムは、入力装置と、制御装置とを具備する。
前記入力装置は、センサ部を有する。
前記制御装置は、座標生成部と、選択領域変更部と、表示制御部とを有する。
前記座標生成部は、前記センサ部により検出された検出信号に基づいて、画面上でのポインタの位置座標を生成する。
前記選択領域変更部は、前記検出信号に基づいて算出された手ぶれ量の大きさに応じて、前記画面上のアイコンが前記ポインタに選択される領域であるアイコン選択領域の大きさを変更する。
前記表示制御部は、前記ポインタの位置座標に応じた位置に前記ポインタが表示されるように前記画面上の表示を制御する。
この制御システムでは、手ぶれ量の大きさに応じて、アイコン選択領域の大きさが変更される。これにより、ユーザは、手ぶれが生じてしまっても、容易に目的とするアイコンを選択することができる。
「センサ部」は、ポインタの位置座標を生成するための検出信号を出力する座標用センサとしての機能と、手ぶれ量の大きさを算出するための検出信号を出力する手ぶれ検出用センサとしての機能とを兼用するセンサにより構成されていてもよい。
このような両機能を兼用するセンサとしては、例えば、入力装置と、画面を有する表示装置との相対位置を検出するイメージセンサや、入力装置の動きを検出するモーションセンサ等が挙げられる。
あるいは、座標用センサと、手ぶれ検出用センサとがそれぞれ別々のセンサにより構成されていてもよい。この場合、「センサ部」は、これらのセンサを含む。
座標用センサとしては、イメージセンサや、モーションセンサ等が挙げられる。
手ぶれ検出用センサとしても、イメージセンサや、モーションセンサ等を用いることができる。
上記制御システムにおいて、前記選択領域変更部は、所定のタイミングで、前記アイコン選択領域の大きさを変更してもよい。
上記制御システムにおいて、前記選択領域変更部は、前記ポインタが前記アイコンに近づくタイミング、または、前記ポインタが前記アイコンから遠ざかるタイミングで、前記アイコン選択領域の大きさを変更してもよい。
これにより、適切なタイミングでアイコン選択領域の大きさを変更することができる。
上記制御システムにおいて、前記制御装置は、距離算出部と、距離判定部とをさらに有していてもよい。
前記距離算出部は、前記アイコン及び前記ポインタの位置座標に基づいて、前記アイコン及び前記ポインタの距離を算出する。
前記距離判定部は、前記アイコン及び前記ポインタの距離が、比較距離未満であるか否かを判定する。
この場合、前記選択領域変更部は、前記アイコン及び前記ポインタの距離が、前記比較距離以上から前記比較距離未満へと移行するタイミングで、または、前記距離が前記比較距離未満から前記比較距離以上へと移行するタイミングで、前記アイコン選択領域の大きさを変更してもよい。
上記制御システムにおいて、前記選択領域変更部は、前記画面のリフレッシュレートのタイミングに合わせて、前記画面が一回、または複数回描画される毎に、前記アイコン選択領域の大きさを変更してもよい。
このような場合にも、適切なタイミングでアイコン選択領域の大きさを変更することができる。
上記制御システムにおいて、前記入力装置は、操作部を有していてもよい。
この場合、前記選択領域変更部は、前記操作部を介してユーザから前記アイコン選択領域の大きさの変更の指示が与えられたタイミングで、前記アイコン選択領域の大きさを変更してもよい。
このような場合にも、適切なタイミングでアイコン選択領域の大きさを変更することができる。
上記制御システムにおいて、前記選択領域変更部は、前記画面上の表示構成が変化するタイミングで、前記アイコン選択領域の大きさを変更してもよい。
このような場合にも、適切なタイミングでアイコン選択領域の大きさを変更することができる。
「画面上の表示構成が変化する」とは、画面上の表示の全部または一部が切り替えられて、切り替え前の画面上の表示と、切り替え後の画面上の表示とが変化する場合を指す。
上記制御システムにおいて、前記表示制御部は、前記アイコン選択領域の大きさの変更に応じて、前記アイコン選択領域に対応する大きさのアイコンを前記画面上に表示させてもよい。
これにより、ユーザは、アイコン選択領域の大きさが変更されたことを視認することができる。
上記制御システムにおいて、前記表示制御部は、前記アイコン選択領域の大きさの変更によらず、一定の大きさのアイコンを前記画面上に表示させてもよい。
この場合、前記制御装置は、前記ポインタの位置座標が前記アイコン選択領域内であるか否かを判定するポインタ位置判定部をさらに有していてもよい。
この場合、前記表示制御部は、前記ポインタの位置座標が前記アイコン選択領域内である場合に、前記アイコンを強調表示させてもよい。
この制御システムでは、手ぶれ量に応じてアイコン選択領域の大きさが変更されても、ユーザはアイコン選択領域の大きさを視認することができない。しかしながら、この制御システムでは、ポインタが選択領域内である場合には、アイコンが強調表示される。従って、この制御システムにおいても、ユーザは、目的とするアイコンを容易に選択することができる。
上記制御システムにおいて、前記制御装置は、前記アイコン選択領域の大きさが変更された場合に、前記手ぶれ量の大きさに応じて、前記アイコンの位置座標を変更する位置座標変更部をさらに有していてもよい。
これにより、アイコンと他のアイコンとの間の距離が狭い場合にも、手ぶれが大きい場合には、アイコンと他のアイコンとの距離を広げて、アイコン選択領域を大きくすることができる。これにより、ユーザによるアイコンの選択がさらに容易になる。
本発明の一形態に係る制御装置は、入力装置が有するセンサ部により検出された検出信号に基づいて、画面上の表示を制御する制御装置であって、座標生成部と、選択領域変更部と、表示制御部とを具備する。
前記座標生成部は、前記検出信号に基づいて、前記画面上でのポインタの位置座標を生成する。
前記選択領域変更部は、前記検出信号に基づいて算出された手ぶれ量の大きさに応じて、前記画面上のアイコンが前記ポインタに選択される領域であるアイコン選択領域の大きさを変更する。
前記表示制御部は、前記ポインタの位置座標に応じた位置に前記ポインタが表示されるように前記画面上の表示を制御する。
本発明の一形態に係るハンドヘルド装置は、表示部と、センサ部と、座標生成部と、選択領域変更部と、表示制御部とを具備する。
前記表示部は、画面を有する。
前記座標生成部は、前記センサ部により検出された検出信号に基づいて、画面上でのポインタの位置座標を生成する。
前記選択領域変更部は、前記検出信号に基づいて算出された手ぶれ量の大きさに応じて、前記画面上のアイコンが前記ポインタに選択される領域であるアイコン選択領域の大きさを変更する。
前記表示制御部は、前記ポインタの位置座標に応じた位置に前記ポインタが表示されるように前記画面上の表示を制御する。
「センサ部」は、ポインタの位置座標を生成するための検出信号を出力する座標用センサとしての機能と、手ぶれ量の大きさを算出するための検出信号を出力する手ぶれ検出用センサとしての機能とを兼用するセンサにより構成されていてもよい。
このような両機能を兼用するセンサとしては、例えば、ハンドヘルド装置の動きを検出するモーションセンサが挙げられる。
あるいは、座標用センサと、手ぶれ検出用センサとがそれぞれ別々のセンサにより構成されていてもよい。この場合、「センサ部」は、これらのセンサを含む。
座標用センサとしては、ハンドヘルド装置の動きを検出するモーションセンサが挙げられる。また、座標用センサとしては、抵抗膜方式、静電容量方式、電磁誘導方式、超音波表面弾性波方式、赤外線操作方式等のタッチパネルに用いられる各種のタッチセンサが挙げられる。
手ぶれ検出用センサとしては、イメージセンサ、モーションセンサ等が挙げられる。
本発明の一形態に係る制御方法は、座標生成部が、センサ部により検出された検出信号に基づいて、画面上でのポインタの位置座標を生成することを含む。
選択領域変更部により、前記検出信号に基づいて算出された手ぶれ量の大きさに応じて、前記画面上のアイコンが前記ポインタに選択される領域であるアイコン選択領域の大きさが変更される。
表示制御部により、前記ポインタの位置座標に応じた位置に前記ポインタが表示されるように前記画面上の表示が制御される。
以上説明したように、本発明によれば、手ぶれが生じてしまっても、ユーザが容易に目的とするアイコンを選択することができる制御システム等の技術を提供することができる。
本発明の一実施形態に係る制御システムを示す図である。 表示装置を示す拡大図である。 入力装置を示す斜視図である。 入力装置の電気的な構成を示すブロック図である。 制御装置の処理を示すフローチャートである。 手ぶれ量の大きさと、アイコン選択領域の大きさとの関係の一例を示す図である。 手ぶれ量の大きさと、アイコン選択領域の大きさとの関係を説明するための図であり、図５に示す処置が実行された場合の画面上の表示状態を示す図である。 本発明の他の形態に係る制御装置の処理を示すフローチャートである。 手ぶれ量の大きさと、アイコン選択領域の大きさとの関係を説明するための図であり、図８に示す処理が実行された場合の画面上の表示状態を示す図である。 ポインタの位置に応じて、アイコンが強調表示されることを示す図である。 本発明のさらに別の実施形態に係る制御装置の処理を示すフローチャートである。 図１１に示す処理が実行された場合における、ポインタの動き及びこのポインタの動きに応じたアイコン選択領域の大きさの変更の一例を示す図である。 アイコン選択領域の大きさの変更に応じて、アイコンの位置座標が変更される場合の一例を示す図である。 アイコン選択領域の大きさの変更に応じて、アイコンの位置座標が変更される場合の一例を示す図である。
以下、図面を参照しながら、本発明の実施形態を説明する。
＜第１実施形態＞
［制御システムの全体構成及び各部の構成］
図１は、本発明の第１実施形態に係る制御システムを示す図である。
図１に示すように、制御システム１００は、入力装置１０、制御装置５０及び表示装置６０を含む。
図２は、表示装置６０を示す拡大図である。
表示装置６０は、例えば、液晶ディスプレイ、ＥＬ（Electro-Luminescence）ディスプレイなどにより構成される。表示装置６０は、テレビジョン放送等を受信できるディスプレイと一体となった装置でもよいし、このようなディスプレイと制御装置５０とが一体となった装置でもよい。
表示装置６０の上部には、赤外線を出力する２つのＬＥＤ（Light Emitting Diode）モジュール６１、６２が配置される。なお、ＬＥＤモジュールの数は、３つ以上であってもよい。ＬＥＤモジュールの数は、特に限定されない。
表示装置６０の画面９上には、ポインタ１やアイコン２等のＧＵＩが表示されている。ポインタ１は、例えば、矢羽の形状とされる。しかし、ポインタ１の形状は、これに限られない。例えば、ポインタ１は、単純な円形や、多角形、レンズの形状、手の形状、キャラクタアイコンなどであってもよい。
なお、ポインタ１は、一時的に画面９上に表示されない場合もある。
アイコン２とは、コンピュータ上のプログラムの機能、実行コマンド、またはファイルの内容等が画面９上で画像化されたものである。
アイコン２は、ポインタ１により選択される領域であるアイコン選択領域３（破線参照）を有している。ポインタ１がこのアイコン選択領域３内にある場合に、そのアイコン２を選択可能な状態となる。アイコン選択領域についての詳細は、後述する。
図３は、入力装置１０を示す斜視図である。
図３に示すように、入力装置１０は、筐体１１と、筐体１１の上部に配置された操作部１２と、筐体１１の先端部に配置された赤外線撮像部１３とを備える。
筐体１１は、一方向に長い形状を有しており、ユーザの握った手に収まる程度の大きさとされる。
操作部１２は、押圧式のボタン１５〜１７と、回転式のホイールボタン１８と、十字キー１９とを備える。
ボタン１５には、平面操作型のマウスの左ボタン（決定ボタン）に相当する機能が割り当てられており、ボタン１６には、マウスの右ボタンとしての機能が割り当てられている。また、ボタン１７には、ボタン１５、１６に割り当てられていないその他の様々な機能が割り当てられている。
ホイールボタン１８には、画面上に表示される画像をスクロールさせる機能が割り当てられる。
十字キー１９には、画面上に表示される静止画のコマ送り、画面９上に表示される動画の早送り、巻き戻し、放送番組等のチャンネルのアップ、ダウンなどの機能が割り当てられる。
なお、操作部１２が有する各部１５〜１９の配置や、割り当てられる機能については、適宜変更可能である。
図４は、入力装置１０の電気的な構成を示すブロック図である。
図４に示すように、入力装置１０は、上記操作部１２及び上記赤外線撮像部１３の他に、画像処理回路２４、ＣＰＵ２５（Central Processing Unit）、メモリ２９、送信機２６、アンテナ２７、水晶発振器２８を有する。画像処理回路２４、ＣＰＵ２５、メモリ２９、送信機２６及び水晶発振器２８は、図示しない回路基板上に搭載されており、アンテナ２７は、回路基板上にプリントされている。
赤外線撮像部１３は、ＣＣＤ（Charge Coupled Device）センサや、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等のイメージセンサ２３を有する。また、赤外線撮像部１３は、イメージセンサ２３の前方側に配置されたレンズ２２と、レンズ２２の前方側に配置された赤外線フィルタ２１とを有する。
イメージセンサ２３は、赤外線フィルタ２１及びレンズ２２を介して、ＬＥＤモジュール６１、６２から出力される赤外線を撮像し、撮像した赤外画像データを画像処理回路２４へ出力する。
なお、本実施形態では、イメージセンサ２３は、ポインタ１の位置座標を生成するための検出信号を出力する座標用センサとしての機能と、手ぶれ量の大きさを算出のための検出信号を出力する手ぶれ検出用センサとしての機能との両機能を兼用する。
画像処理回路２４は、赤外線撮像部１３から出力された赤外画像データを処理して、高輝度部分を検知し、ＣＰＵ２５へ出力する。
ＣＰＵ２５は、画像処理回路２４により出力された信号及び操作部１２による操作信号等を入力し、これらの入力信号に応じた所定の制御信号を生成するため、各種の演算処理等を実行する。
送信機２６は、ＣＰＵ２５で生成された制御信号をＲＦ無線信号として、アンテナを介して制御装置５０に送信する。
メモリ２９は、入力装置１０の処理に必要な揮発性メモリ及び不揮発性メモリである。揮発性メモリは、ＣＰＵ２５の作業領域として用いられる。不揮発性メモリには、入力装置１０の処理に必要な各種のプログラムが記憶される。
水晶発振器２８は、基準クロックを生成し、生成されたクロックをＣＰＵ２５に供給する。
なお、入力装置１０の内部には、図示しない乾電池、充電式電池等が搭載されており、入力装置１０には、乾電池等から電源が供給される。
再び図１を参照して、制御装置５０は、ＣＰＵ５１、ＲＡＭ（Random Access Memory）５２、ＲＯＭ（Read Only Memory）５３、受信機５４、アンテナ５５、表示制御部５６及びビデオＲＡＭ５７を有する。
受信機５４は、入力装置１０から送信された制御信号を、アンテナ５５を介して受信する。ＣＰＵ５１は、受信された制御信号を解析し、各種の演算処理を実行する。
ＲＡＭ５２は、ＣＰＵ５１の作業領域等として用いられ、実行中の各種プログラム、処理中の各種データを一時的に格納する。
ＲＯＭ５３は、制御装置５０の処理に必要な各種のプログラムが記憶された不揮発性のメモリである。
表示制御部５６は、ＣＰＵ５１の制御に応じて、表示装置６０の画面９上に表示される画像データを生成する。ビデオＲＡＭ５７は、表示制御部５６の作業領域となり、生成された画像データを一時的に格納する。
制御装置５０は、入力装置１０に専用の機器であってもよいが、ＰＣ等であってもよい。制御装置５０は、表示装置６０と一体となったコンピュータであってもよいし、オーディオ／ビジュアル機器、ゲーム機器等であってもよい。
なお、図１の説明では、ＣＰＵ５１と表示制御部５６とが別体の場合について説明したが、ＣＰＵ５１が表示制御部５６としての機能を有していてもよい。また、図１の説明では、ＲＡＭ５２とビデオＲＡＭ５７とが別体の場合について説明したが、ＲＡＭ５２がビデオＲＡＭ５７としての機能を有していてもよい。
［動作説明］
（入力装置の空間内での移動に対するポインタの動き）
まず、入力装置１０の動かし方及びこれによるポインタ１の動きの典型的な例を説明する。
ユーザは、入力装置１０を握り、入力装置１０の先端側を表示装置６０に向ける。このとき、入力装置１０の先端側に設けられた赤外線撮像部１３が、表示装置６０の画面９に対向し、また、画面９の上方に配置された２つのＬＥＤモジュール６１、６２に対向する。
この２つのＬＥＤモジュール６１、６２は、所定の周期で点滅しており、ＬＥＤモジュール６１、６２からは、所定の周期で赤外線が出力される。イメージセンサ２３は、赤外線フィルタ２１及びレンズ２２を介して、ＬＥＤモジュール６１、６２から出力される赤外線を撮像し、撮像した赤外画像データを画像処理回路２４へ出力する。
画像処理回路２４は、赤外線撮像部１３から出力された赤外画像データを処理することによって、高輝度点の位置情報を取得し、ＣＰＵ２５へ出力する。ＣＰＵ２５は、画像処理回路２４によって得られた高輝度点の位置情報を、送信機２６及びアンテナ２７を介して、制御装置５０へ送信する。
制御装置５０のＣＰＵ５１は、アンテナ５５及び受信機５４を介して、高輝度点の情報を受信する。ＣＰＵ５１は、高輝度点の位置情報に基づき、ポインタ１の位置座標を生成する。表示制御部５６は、生成された位置座標にポインタ１が表示されるように、画面９上の表示を制御する。
ユーザが入力装置１０を把持して空間内で移動させると、高輝度点の位置情報が入力装置１０の移動に応じて変化する。この関係が利用されてポインタが画面上で移動される。この制御システム１００では、入力装置１０の先端部が指し示す方向の位置に正確にポインタ１が表示されることになる。
（手ぶれ量に応じたアイコン選択領域３の大きさの変更）
次に、手ぶれ量に応じたアイコン選択領域３の変更について説明する。
図５は、第１実施形態に係る制御装置５０の処理を示すフローチャートである。
図６は、手ぶれ量の大きさと、アイコン選択領域３の大きさとの関係の一例を示す図である。
図７は、手ぶれ量の大きさと、アイコン選択領域３の大きさとの関係を説明するための図であり、図５に示す処置が実行された場合の画面９上の表示状態を示す図である。
図７では、画面９上に実際に表示されるアイコン２の大きさが実線で表され、アイコン選択領域３の大きさが破線で示されている。また、図７では、手ぶれ量の大きさ（Ｓｈ１、Ｓｈ２）に応じて、画面９上でポインタ１がぶれた様子が模式的に示されている。
なお、アイコン選択領域３とは、上記したように、ポインタ１によって、そのアイコン２が選択可能となる領域である。
まず、制御装置５０のＣＰＵ５１は、入力装置１０（筐体１１）の手ぶれ量の大きさを算出する（ステップ１０１）。この場合、例えば、ＣＰＵ５１は、高輝度点の位置情報から得られたポインタ１の位置座標に基づいて、過去（例えば、０．５秒〜１秒程度）のポインタ１の軌跡の情報を得て、この軌跡の情報から入力装置１０の手ぶれ量の大きさを算出する。
次に、制御装置５０のＣＰＵ５１は、手ぶれ量の大きさに応じて、アイコン選択領域３の大きさを変更する（ステップ１０２）。
この場合、図６に示すように、ＣＰＵ５１は、手ぶれ量の大きさと閾値Ｔｈ１、Ｔｈ２とを比較し、手ぶれ量の大きさが閾値Ｔｈ１未満である場合、アイコン選択領域３の大きさをＳ０とする。ＣＰＵ５１は、手ぶれ量の大きさが閾値Ｔｈ１以上、閾値Ｔｈ２未満である場合、アイコン選択領域３の大きさをＳ１とし、手ぶれ量の大きさが閾値Ｔｈ２以上である場合には、アイコン選択領域３の大きさをＳ２とする。
アイコン選択領域３の大きさが変更されると、次に、表示制御部５６は、アイコン選択領域３の大きさに対応する大きさのアイコン２が表示されるように、画面９上の表示を制御する（ステップ１０３）。
アイコン選択領域３に対応する大きさのアイコン２が表示されると、ＣＰＵ５１は、再びステップ１０１に戻り、入力装置１０の手ぶれ量の大きさを算出する。
なお、ステップ１０１〜ステップ１０３の処理は、画面９のリフレッシュレート（例えば、５０回／秒、１００回／秒）のタイミングに合わせて、画面９が一回、あるいは複数回（２〜１０回程度）描画される毎に実行される。
このような処理により、本実施形態では、手ぶれ量の大きさが大きくなるに従って、アイコン選択領域３の大きさが段階的に大きくなり、これに応じて画面９上に表示されるアイコン２も段階的に大きくなる（図７参照）。これにより、本実施形態では、アイコン選択領域３及びアイコン２を手ぶれの大きさに応じた適切な大きさとすることができる。
ユーザが目的とするアイコン２を選択する場合、入力装置１０を空間操作し、そのアイコン２（アイコン選択領域３）上にポインタ１を位置させ、入力装置１０に設けられたボタン１５を押圧する。このとき、上記したように、アイコン選択領域３及びアイコン２は、手ぶれ量の大きさに応じて、手ぶれ量の大きさに応じた適切な大きさとされているので、ユーザは、手ぶれが生じてしまっても、容易に目的とするアイコン２を選択することができる。
また、本実施形態では、アイコン選択領域３の大きさが変更された場合に、画面９上に表示されるアイコン２の大きさがアイコン選択領域３の大きさに対応する大きさに変更されるので、ユーザは、アイコン選択領域３の大きさが変更されたことを容易に視認することができる。
また、本実施形態では、アイコン選択領域３及びアイコン２の大きさの変更判定タイミング（変更タイミング）が、画面９が一回、または複数回描画されるタイミングとされているので、変更判定タイミングの周期が短い。これにより、ユーザの手ぶれの大きさをアイコン選択領域３の大きさに適切に反映させることができる。
上述の説明では、手ぶれ量の大きさが大きくなるに従って、アイコン選択領域３が段階的に大きくなる場合について説明した。しかし、手ぶれ量の大きさと、アイコン選択領域３の大きさとの関係は、これに限られない。
例えば、アイコン選択領域３の大きさは、手ぶれ量の大きさが所定の閾値を超えた場合に、手ぶれ量の大きさが大きくなるに従って、比例関数的、あるいは、指数関数的に大きくなってもよい。
ただ、第１実施形態の場合、アイコン選択領域３の大きさが変更された場合に画面９上に表示されるアイコン２の大きさも変更される形態とされており、また、アイコン選択領域３の変更判定タイミングの周期も短い。従って、アイコン選択領域３が比例関数的、あるいは、指数関数的に大きくなった場合、画面９上に表示されるアイコン２の大きさが短い周期で変化してしまう。
この場合、短い周期でアイコン２の大きさが大きくなったり小さくなったりしてしまい、視覚性が悪くなってしまう場合がある。従って、アイコン選択領域３の大きさが変更された場合に画面９上に表示されるアイコン２の大きさも変更される形態の場合、図６、図７等で説明したように、アイコン選択領域３は、手ぶれ量の大きさが大きくなるに従って、段階的に大きくすることが特に有効である。この場合、画面９上に表示されるアイコン２の大きさが短い周期で大きくなったり小さくなったりしてしまうようなことも生じにくいので、視覚性が悪くなってしまうことを防止することができる。
＜第２実施形態＞
次に、本発明の第２実施形態について説明する。
第２実施形態では、アイコン選択領域３の大きさが変更されても、画面９上に表示されるアイコン２の大きさが一定の大きさに保たれる点で上述の第１実施形態と異なっている。従って、その点を中心に説明する。
なお、第２実施形態以降の説明では、上述の第１実施形態と同様の構成及び機能を有する各部については、説明を省略または簡略化する。
図８は、第２実施形態に係る制御装置５０の処理を示すフローチャートである。
図９は、手ぶれ量の大きさと、アイコン選択領域３の大きさとの関係を説明するための図であり、図８に示す処理が実行された場合の画面９上の表示状態を示す図である。
図９では、画面９上に実際に表示されるアイコン２の大きさが実線で表され、アイコン選択領域３の大きさが破線で示されている。また、図９では、手ぶれ量の大きさ（Ｓｈ１、Ｓｈ２）に応じて、画面９上でポインタ１がぶれた様子が模式的に示されている。
図１０は、ポインタ１の位置に応じて、アイコン２が強調表示されることを示す図である。
まず、制御装置５０のＣＰＵ５１は、入力装置１０の手ぶれ量の大きさを算出する（ステップ２０１）。入力装置１０の手ぶれ量は、上記したように、例えば、ポインタ１の過去の軌跡から算出される。
次に、ＣＰＵ５１は、手ぶれ量の大きさに応じて、アイコン選択領域３の大きさを変更する（ステップ２０２）。
この場合、ＣＰＵ５１は、図５に示すように、手ぶれ量の大きさが大きくなるに従って、アイコン選択領域３の大きさが段階的に大きくなるように、アイコン選択領域３の大きさを変更する。なお、第２実施形態では、上述の第１実施形態と異なり、図９に示すように、アイコン選択領域３の大きさが変更されても、画面９上に表示されるアイコン２の大きさは、一定の大きさに保たれる。
次に、ＣＰＵ５１は、ポインタ１の位置座標がアイコン選択領域３内であるか否かを判定する（ステップ２０３）。
ポインタ１の位置座標がアイコン選択領域３内でない場合（ステップ２０３のＮＯ）（図１０（Ａ）参照）、ＣＰＵ５１は、ステップ２０１へ戻り、再び手ぶれ量の大きさを算出する。
一方、ポインタ１の位置座標がアイコン選択領域３内である場合（ステップ２０３のＹＥＳ）、表示制御部５６は、アイコン２が強調表示されるように、画面９上の表示を制御する（ステップ２０４）（図１０（Ｂ）参照）。
なお、図１０（Ｂ）では、ポインタ１の位置座標がアイコン選択領域３内であり、アイコン２が強調表示される場合に、ポインタ１が画面９上に表示される場合が示されているが、この場合、ポインタ１は、必ずしも表示されなくてもよい。
ここで、強調表示とは、例えば、アイコン２の点灯、アイコン２の点滅、アイコン２の色の変更、アイコン２の周囲を囲むフレームの表示、アイコン２の伸縮などである。
アイコン２が強調表示されると、ＣＰＵ５１は、ステップ２０１へ戻り、再び手ぶれ量の大きさを判定する。なお、ステップ２０１〜ステップ２０４の処理は、画面９のリフレッシュレート（例えば、５０回／秒、１００回／秒）のタイミングに合わせて、画面９が一回、あるいは複数回（２〜１０回程度）描画される毎に実行される。
この第２実施形態では、手ぶれ量の大きさに応じてアイコン選択領域３の大きさが変更されても、ユーザはアイコン選択領域３の大きさを視認することができない。しかしながら、ポインタ１が選択領域内である場合には、アイコン２が強調表示される。従って、第２実施形態においても、ユーザは、目的とするアイコン２を容易に選択することができる。
第２実施形態の説明では、手ぶれ量の大きさが大きくなるに従って、アイコン選択領域３が段階的に大きくなる場合について説明したが、アイコン選択領域３の大きさは、比例関数的、あるいは、指数関数的に変化してもよい。
第２実施形態の場合、上記第１実施形態と異なり、アイコン選択領域３の大きさが変更されても、画面９上に表示されるアイコン２の大きさは、一定の大きさに保たれる。従って、アイコン選択領域３の大きさが比例関数的、あるいは指数関数的に変化したとしても、アイコン２が短い周期で大きくなったり小さくなったりして、視覚性が悪くなってしまうこともない。従って、第２実施形態では、アイコン選択領域３の大きさが手ぶれ量の大きさに応じて、段階的に変化される場合であっても、比例関数的、あるいは指数関数的に変化される場合であっても、同様の効果を得ることができる。
＜第３実施形態＞
次に、本発明の第３実施形態について説明する。
第３実施形態では、上述の各実施形態と、アイコン選択領域３の大きさの変更判定タイミング（変更タイミング）が異なっている。従って、その点を中心に説明する。
図１１は、第３実施形態に係る制御装置５０の処理を示すフローチャートである。
図１２は、図１１に示す処理が実行された場合における、ポインタ１の動き及びこのポインタ１の動きに応じたアイコン選択領域３（アイコン２）の大きさの変更の一例を示す図である。
制御装置５０のＣＰＵ５１は、アイコン２の位置座標及びポインタ１の位置座標に基づいて、アイコン２とポインタ１との距離ｄ１を算出する（ステップ３０１）。
次に、ＣＰＵ５１は、アイコン２及びポインタ１の距離ｄ１が比較距離ｄ２未満であるか否かを判定する（ステップ３０２）。この比較距離ｄ２は、典型的には、一定の大きさとされている。比較距離ｄ２は、アイコン選択領域３が変化した場合における最大の大きさ等を考慮して適宜設定される。
アイコン２及びポインタ１の距離ｄ１が比較距離ｄ２未満であった場合（ステップ３０２のＹＥＳ）、ＣＰＵ５１は、前回ステップ３０２において判定された判定結果を記憶部から読み出す。そして、前回のステップ３０２における判定結果において、アイコン２及びポインタ１の距離ｄ１が比較距離ｄ２未満であったかを判定する（ステップ３０３）。
前回、アイコン２及びポインタ１の距離ｄ１が比較距離ｄ２未満であった場合（ステップ３０３のＹＥＳ）、ＣＰＵ５１は、ステップ３０１へ戻り、再びアイコン２及びポインタ１の距離ｄ１を算出する。
一方、前回、アイコン２及びポインタ１の距離ｄ１が比較距離ｄ２以上であった場合（ステップ３０３のＮＯ）（図１２（Ｂ）参照）、ＣＰＵ５１は、ポインタ１の過去の軌跡に基づいて、手ぶれ量の大きさを算出する（ステップ３０４）。
ＣＰＵ５１は、手ぶれ量の大きさを算出すると、次に、手ぶれ量の大きさに応じて、アイコン選択領域３の大きさを変更する（ステップ３０５）。この場合、図５に示すように、アイコン選択領域３の大きさは、手ぶれ量の大きさが大きくなるに従って、段階的に大きくなるように変更される。
次に、表示制御部５６は、アイコン選択領域３に対応する大きさのアイコン２が画面９上に表示されるように、画面９の表示を制御する（ステップ３０６）。
なお、図１２（Ｂ）では、手ぶれ量の大きさがＳｈ２の大きさのときに、アイコン２及びポインタ１の距離ｄ１が、比較距離ｄ２以上から比較距離ｄ２未満へ移行し、アイコン選択領域３大きさが、Ｓ０からＳ２へ変更された様子が示されている。
ステップ３０２において、アイコン２及びポインタ１の距離ｄ１が比較距離ｄ２以上であった場合（ステップ３０２のＮＯ）、ＣＰＵ５１は、前回ステップ３０２において判定された判定結果を記憶部から読み出す。そして、前回のステップ３０２における判定結果において、アイコン２及びポインタ１の距離ｄ１が比較距離ｄ２未満であったかを判定する（ステップ３０７）。
前回、アイコン２及びポインタ１の距離ｄ１が比較距離ｄ２以上であった場合（ステップ３０７のＮＯ）（図１２（Ａ）参照）、ＣＰＵ５１は、ステップ３０１へ戻り、再びアイコン２及びポインタ１の距離ｄ１を算出する。
前回、アイコン２及びポインタ１の距離ｄ１が比較距離ｄ２未満であった場合（ステップ３０８のＹＥＳ）（図１２（Ｃ）参照）、ＣＰＵ５１は、現在のアイコン選択領域３の大きさがＳ１、またはＳ２であるかを判定する（ステップ３０８）。
アイコン選択領域３の大きさがＳ１またはＳ２でなかった場合（ステップ３０８のＮＯ）、つまり、アイコン選択領域３の大きさがＳ０であった場合、ＣＰＵ５１は、再びステップ３０１へ戻る。
一方、アイコン選択領域３の大きさがＳ１またはＳ２であった場合（ステップ３０８のＹＥＳ）、アイコン選択領域３の大きさをＳ１またはＳ２からＳ０へと変更する（ステップ３０９）。アイコン選択領域３の大きさがＳ１またはＳ２からＳ０へ変更されると、表示制御部５６は、アイコン選択領域３（Ｓ０）に対応する大きさのアイコン２を画面９上に表示する（ステップ３１０）。
アイコン選択領域３（Ｓ０）に対応する大きさのアイコン２が画面９上に表示されると、ＣＰＵ５１は、再びステップ３０１へ戻る。
なお、図１２（Ｃ）では、手ぶれ量の大きさがＳｈ２の大きさのときに、アイコン２及びポインタ１の距離ｄ１が、比較距離ｄ２未満から比較距離ｄ２以上へ移行し、アイコン選択領域３の大きさが、Ｓ２からＳ０へ変更された様子が示されている。
第３実施形態では、画面９上でポインタ１がアイコン２に近づき、アイコン２とポインタ１との距離ｄ１が、比較距離ｄ２以上から比較距離ｄ２未満となるタイミングで、手ぶれ量の大きさが算出され、上記タイミングで、アイコン選択領域３の大きさが変更される。このようなタイミングで、手ぶれ量の大きさが算出されてアイコン選択領域３の大きさが変更されることで、アイコン選択領域３の大きさを手ぶれの大きさに応じた適切な大きさとすることができる。
第３実施形態の説明では、手ぶれ量の大きさが大きくなるに従って、アイコン選択領域３が段階的に大きくなる場合について説明したが、アイコン選択領域３は、手ぶれ量の大きさが大きくなるに従って、比例関数的あるいは指数関数的に大きくなってもよい。
また、第３実施形態の説明では、画面９上に表示されるアイコン２の大きさがアイコン選択領域３の大きさに対応する大きさであるとして説明したが、アイコン２の大きさは、例えば、Ｓ０で一定であってもよい。この場合、第２実施形態で説明したように、ポインタ１の位置座標がアイコン選択領域３内である場合に、画面９上に表示されるアイコン２が強調表示される処理が実行されればよい。
第３実施形態の説明では、比較距離ｄ２が一定であるとして説明したが、比較距離ｄ２は、手ぶれ量の大きさに応じて、変化されてもよい。この場合、比較距離ｄ２は、手ぶれ量の大きさが大きくなるに従って、大きくなるように変化する。つまり、アイコン選択領域３の大きさは、手ぶれ量の大きさに応じて変わるので、比較距離ｄ２も手ぶれ量の大きさに応じて可変としてもよい。
＜各種変形例＞
上述の第１及び第２実施形態では、アイコン選択領域３の変更タイミング（アイコン選択領域３の変更判定タイミング）が、リフレッシュレートに合わせて、画面９が一回、または複数回描画されるタイミングであるとして説明した。また、第３実施形態では、アイコン２とポインタ１との距離ｄ１が、比較距離ｄ２以上から比較距離ｄ２未満となるタイミング、あるいは、比較距離ｄ２未満から比較距離ｄ２以上となるタイミングであるとして説明した。しかし、アイコン選択領域３の変更タイミングは、上記した形態に限られない。
例えば、アイコン選択領域３の変更タイミングは、ユーザにより入力装置１０の操作部１２が操作され、ユーザにより、操作部１２を介して前記アイコン選択領域３の変更の指示が与えられるタイミングであってもよい。
この場合、例えば、入力装置１０のボタン１７にアイコン選択領域３の変更のための機能が割り当てられる。ユーザがこのボタン１７を押圧すると、入力装置１０からボタン１７が操作されたことを示す情報が送信され、この情報が制御装置５０に送信される。制御装置５０のＣＰＵ５１は、上記情報を受信した場合に、入力装置１０の手ぶれ量を算出し、この算出された手ぶれ量に応じた大きさにアイコン選択領域３の大きさを変更すればよい。
あるいは、アイコン選択領域３の変更タイミングは、画面９上の表示構成が変化するタイミングであってもよい。ここで、画面９上の表示構成が変化するとは、画面９上の表示の全部または一部が切り替えられて、切り替え前の画面９上の表示と、切り替え後の画面９上の表示とが変化する場合を指す。
画面９上の表示構成が変化する場合とは、例えば、ユーザが画面９上に表示されたアイコン２（例えば、ファイルのアイコン２）を選択することで、１つ深い階層へ移動したり、１つ浅い階層へ移動したりすることにより、画面９上の表示構成が変化する場合である。
この場合、制御装置５０のＣＰＵ５１は、画面９の表示構成が変化したか否かを判定し、画面９の表示構成が変化した場合に、入力装置１０の手ぶれ量を算出し、この算出された手ぶれ量に応じた大きさにアイコン選択領域３の大きさを変更すればよい。この場合、表示構成変化後の画面９上に表示されるアイコン２のアイコン選択領域３の大きさが手ぶれの大きさに応じて変更される。
これらのタイミングで、アイコン選択領域３の大きさが変更された場合にも、ユーザは、目的とするアイコン２を容易に選択することができる。
上述の説明では、手ぶれ量の大きさに応じて、アイコン選択領域３の大きさが変更される場合についてした。しかし、これに限られず、手ぶれ量の大きさに応じて、画面９上に表示される文字の大きさが変更されてもよい。
アイコン選択領域３の大きさが変更された場合、手ぶれ量の大きさに応じて、アイコン２の位置座標が変更されてもよい。
図１３及び図１４は、それぞれ、アイコン選択領域３の大きさの変更に応じて、アイコン２の位置座標が変更される場合の一例を示す図である。
図１３に示す例では、アイコン選択領域３の大きさ及びアイコン２の位置座標の変更と共に、画面のサイズが変更された場合の一例が示されている。
この場合、制御装置５０のＣＰＵ５１は、入力装置１０の手ぶれ量の大きさを算出し、手ぶれ量の大きさが所定の閾値以上となった場合に、アイコン選択領域３の大きさ、アイコン２の位置座標、画面のサイズを変更する（図１３（Ｂ）参照）。なお、アイコン選択領域３の大きさ、アイコン２の位置座標及び画面のサイズの変更タイミングは、上述したタイミングのいずれのタイミングであってもよい。
図１３に示す例では、画面のサイズが実際の画面９の大きさよりも大きいので、ユーザは、ホイールボタン１８を回転させることで、画面９をスクロールさせる。
図１４に示す例では、アイコン選択領域３の大きさ及びアイコン２の位置座標の変更と共に、画面９が分割された場合が示されている。
この場合、制御装置５０のＣＰＵ５１は、入力装置１０の手ぶれ量の大きさを算出し、手ぶれ量の大きさが所定の閾値以上となった場合に、アイコン選択領域３の大きさ、アイコン２の位置座標を変更し、かつ、画面９を複数に分割する（図１４（Ｂ）参照）。なお、アイコン選択領域３の大きさ、アイコン２の位置座標及び画面９数の変更タイミングは、上述したタイミングのいずれのタイミングであってもよい。
この場合、ユーザは、入力装置１０に設けられた操作部１２を操作することで、複数に分割された画面９を切り替えればよい。
上述の説明では、入力装置１０に用いられるセンサ部の一例として、イメージセンサ２３を例に挙げて説明した。しかし、これに限られず、入力装置１０には、センサ部として、入力装置１０（筐体１１）の移動を検出するモーションセンサが設けられていてもよい。モーションセンサとしては、角速度センサ、加速度センサ、または速度センサが用いられる。角速度センサとしては、振動型のジャイロセンサ、回転コマジャイロセンサ、レーザリングジャイロセンサ、ガスレートジャイロセンサ、あるいは、地磁気型ジャイロセンサ等が挙げられる。加速度センサとしては、ピエゾ抵抗型、圧電型、静電容量型等の加速度センサが挙げられる。また、速度センサとしては、例えば、ピトー管等が挙げられる。モーションセンサは、上記挙げたセンサのうち、２つ以上の組み合わせであってもよい。
ここで、例えば、モーションセンサとして、振動型のジャイロセンサが用いられる場合、手ぶれ量の大きさは、所定の周波数領域（１〜２０Ｈｚ）の周波数の信号を通過させるバンドパスフィルタを用いることで検出することができる。
以上の説明では、センサ部を構成するセンサが、ポインタ１の位置座標を生成するための検出信号を出力する座標用センサとしての機能と、手ぶれ量の大きさを算出のための検出信号を出力する手ぶれ検出用センサとしての機能との両機能を兼用する場合について説明した。
しかし、これに限られず、座標用センサと、手ぶれ検出用センサとがそれぞれ別々のセンサにより構成されていてもよい。この場合、センサ部は、これらのセンサを含む。
座標用センサとしては、入力装置１と、表示装置６０との相対位置を検出するイメージセンサや、入力装置１の動きを検出するモーションセンサ等が挙げられる。
手ぶれ検出用センサとしても、イメージセンサや、モーションセンサ等を用いることができる。
制御システムは、入力装置１０の手ぶれが非常に大きい場合には、ポインタ１の移動入力を入力装置１０の空間操作から、例えば、入力装置１０に設けられた十字キー１９の入力に切り替えてもよい。
本発明は、画面９を有する表示部と、センサ部とを備えるハンドヘルド装置に適用することができる。ハンドヘルド装置としては、例えば、ＰＤＡ（Personal Digital Assistance）、携帯電話機、携帯音楽プレイヤー、デジタルカメラ等が挙げられる。
ハンドヘルド装置のセンサ部は、座標用センサとしての機能と、手ぶれ検出用センサとしての機能との両機能を兼用するセンサにより構成されていてもよい。このような両機能を兼用するセンサとしては、例えば、モーションセンサが挙げられる。
このモーションセンサが用いられる場合、ユーザがハンドヘルド装置を空間操作することで、モーションセンサによりハンドヘルド装置の空間内での移動が検出され、画面９上に表示されたポインタ１が空間操作に応じて移動する。また、モーションセンサにより検出された検出信号に基づいて算出された手ぶれ量の大きさに応じて、アイコン選択領域３の大きさが変更される。
このような場合にも、手ぶれの大きさに応じて、アイコン選択領域３の大きさが変更されるので、ユーザは、手ぶれが生じてしまっても、目的とするアイコン２を容易に選択することができる。
座標用センサと、手ぶれ検出用センサとがそれぞれ別々のセンサにより構成されていてもよい。この場合、センサ部は、これらのセンサを含む。
座標用センサとしては、ハンドヘルド装置の動きを検出するモーションセンサや、抵抗膜方式、静電容量方式、電磁誘導方式、超音波表面弾性波方式、赤外線操作方式等のタッチパネルに用いられる各種のタッチセンサが挙げられる。
手ぶれ検出用センサとしては、イメージセンサ、モーションセンサ等が挙げられる。
一例として、座標用センサとして、タッチセンサが用いられ、手ぶれ検出用センサとしてモーションセンサが用いられた場合について説明する。この場合、例えば、ユーザがハンドヘルド装置の表示部の画面９に、指やタッチペンなどで触れることで、タッチセンサにより触れた位置が検出され、ポインタ１が画面９上で移動される。また、モーションセンサにより検出された検出信号に応じて算出された手ぶれ量の大きさに応じて、アイコン選択領域３の大きさが変更される。
このような場合にも、手ぶれの大きさに応じて、アイコン選択領域３の大きさが変更されるので、ユーザは、手ぶれが生じてしまっても、目的とするアイコン２を容易に選択することができる。
１…ポインタ
２…アイコン
３…アイコン選択領域
９…画面
１０…入力装置
１１…筐体
１２…操作部
２３…イメージセンサ
２４…画像処理回路
２５…ＣＰＵ
５０…制御装置
５１…ＣＰＵ
５６…表示制御部
６０…表示装置
１００…制御システム

Claims (15)

  1. センサ部を有する入力装置と、
    前記センサ部により検出された検出信号に基づいて、画面上でのポインタの位置座標を生成する座標生成部と、前記検出信号に基づいて算出された手ぶれ量の大きさに応じて、前記画面上のアイコンが前記ポインタに選択される領域であるアイコン選択領域の大きさを変更する選択領域変更部と、前記ポインタの位置座標に応じた位置に前記ポインタが表示されるように前記画面上の表示を制御する表示制御部とを有する制御装置と
    を具備する制御システム。
  2. 請求項１に記載の制御システムであって、
    前記選択領域変更部は、所定のタイミングで、前記アイコン選択領域の大きさを変更する
    制御システム。
  3. 請求項２に記載の制御システムであって、
    前記選択領域変更部は、前記ポインタが前記アイコンに近づくタイミング、または、前記ポインタが前記アイコンから遠ざかるタイミングで、前記アイコン選択領域の大きさを変更する
    制御システム。
  4. 請求項３に記載の制御システムであって、
    前記制御装置は、
    前記アイコン及び前記ポインタの位置座標に基づいて、前記アイコン及び前記ポインタの距離を算出する距離算出部と、
    前記アイコン及び前記ポインタの距離が、比較距離未満であるか否かを判定する距離判定部とをさらに有し、
    前記選択領域変更部は、前記アイコン及び前記ポインタの距離が、前記比較距離以上から前記比較距離未満へと移行するタイミングで、または、前記距離が前記比較距離未満から前記比較距離以上へと移行するタイミングで、前記アイコン選択領域の大きさを変更する
    制御システム。
  5. 請求項２に記載の制御システムであって、
    前記選択領域変更部は、前記画面のリフレッシュレートのタイミングに合わせて、前記画面が一回、または複数回描画される毎に、前記アイコン選択領域の大きさを変更する
    制御システム。
  6. 請求項２に記載の制御システムであって、
    前記入力装置は、操作部を有し、
    前記選択領域変更部は、前記操作部を介してユーザから前記アイコン選択領域の大きさの変更の指示が与えられたタイミングで、前記アイコン選択領域の大きさを変更する
    制御システム。
  7. 請求項２に記載の制御システムであって、
    前記選択領域変更部は、前記画面上の表示構成が変化するタイミングで、前記アイコン選択領域の大きさを変更する
    制御システム。
  8. 請求項１に記載の制御システムであって、
    前記表示制御部は、前記アイコン選択領域の大きさの変更に応じて、前記アイコン選択領域に対応する大きさのアイコンを前記画面上に表示させる
    制御システム。
  9. 請求項１に記載の制御システムであって、
    前記表示制御部は、前記アイコン選択領域の大きさの変更によらず、一定の大きさのアイコンを前記画面上に表示させる
    制御装置。
  10. 請求項９に記載の制御システムであって、
    前記制御装置は、前記ポインタの位置座標が前記アイコン選択領域内であるか否かを判定するポインタ位置判定部をさらに有し、
    前記表示制御部は、前記ポインタの位置座標が前記アイコン選択領域内である場合に、前記アイコンを強調表示させる
    制御システム。
  11. 請求項１に記載の制御システムであって、
    前記制御装置は、前記アイコン選択領域の大きさが変更された場合に、前記手ぶれ量の大きさに応じて、前記アイコンの位置座標を変更する位置座標変更部をさらに有する
    制御システム。
  12. 入力装置が有するセンサ部により検出された検出信号に基づいて、画面上の表示を制御する制御装置であって、
    前記検出信号に基づいて、前記画面上でのポインタの位置座標を生成する座標生成部と、
    前記検出信号に基づいて算出された手ぶれ量の大きさに応じて、前記画面上のアイコンが前記ポインタに選択される領域であるアイコン選択領域の大きさを変更する選択領域変更部と、
    前記ポインタの位置座標に応じた位置に前記ポインタが表示されるように前記画面上の表示を制御する表示制御部と
    を具備する制御装置。
  13. 画面を有する表示部と、
    センサ部と、
    前記センサ部により検出された検出信号に基づいて、画面上でのポインタの位置座標を生成する座標生成部と、
    前記検出信号に基づいて算出された手ぶれ量の大きさに応じて、前記画面上のアイコンが前記ポインタに選択される領域であるアイコン選択領域の大きさを変更する選択領域変更部と、
    前記ポインタの位置座標に応じた位置に前記ポインタが表示されるように前記画面上の表示を制御する表示制御部と
    を具備するハンドヘルド装置。
  14. 座標生成部が、センサ部により検出された検出信号に基づいて、画面上でのポインタの位置座標を生成し、
    選択領域変更部が、前記検出信号に基づいて算出された手ぶれ量の大きさに応じて、前記画面上のアイコンが前記ポインタに選択される領域であるアイコン選択領域の大きさを変更し、
    表示制御部が、前記ポインタの位置座標に応じた位置に前記ポインタが表示されるように前記画面上の表示を制御する
    制御方法。
  15. 座標生成部に、センサ部により検出された検出信号に基づいて、画面上でのポインタの位置座標を生成させるステップと、
    選択領域変更部に、前記検出信号に基づいて算出された手ぶれ量の大きさに応じて、前記画面上のアイコンが前記ポインタに選択される領域であるアイコン選択領域の大きさを変更させるステップと、
    表示制御部に、前記ポインタの位置座標に応じた位置に前記ポインタが表示されるように前記画面上の表示を制御させるステップと
    を実行させるプログラム。
JP2010127513A 2010-06-03 2010-06-03 制御システム、制御装置、ハンドヘルド装置、制御方法及びプログラム。 Expired - Fee Related JP5581817B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2010127513A JP5581817B2 (ja) 2010-06-03 2010-06-03 制御システム、制御装置、ハンドヘルド装置、制御方法及びプログラム。
US13/089,785 US8884991B2 (en) 2010-06-03 2011-04-19 Control system, control apparatus, handheld apparatus, control method, and program
CN2011101475235A CN102270052A (zh) 2010-06-03 2011-05-27 控制系统、控制设备、手持设备、控制方法及程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010127513A JP5581817B2 (ja) 2010-06-03 2010-06-03 制御システム、制御装置、ハンドヘルド装置、制御方法及びプログラム。

Publications (2)

Publication Number Publication Date
JP2011253398A JP2011253398A (ja) 2011-12-15
JP5581817B2 true JP5581817B2 (ja) 2014-09-03

Family

ID=45052372

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010127513A Expired - Fee Related JP5581817B2 (ja) 2010-06-03 2010-06-03 制御システム、制御装置、ハンドヘルド装置、制御方法及びプログラム。

Country Status (3)

Country Link
US (1) US8884991B2 (ja)
JP (1) JP5581817B2 (ja)
CN (1) CN102270052A (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130130453A (ko) * 2012-05-22 2013-12-02 엘지전자 주식회사 영상표시장치 및 그 동작 방법
CN103197860A (zh) * 2012-06-06 2013-07-10 顾红波 一种可回溯的抗抖动操控系统和方法
JP6019979B2 (ja) * 2012-09-18 2016-11-02 株式会社リコー 情報処理装置、画像処理プログラム及び投影システム
CN103838360B (zh) * 2012-11-26 2018-07-06 联想(北京)有限公司 一种操作指令的识别方法和设备
EP2770413A3 (en) * 2013-02-22 2017-01-04 Samsung Electronics Co., Ltd. An apparatus for providing a cursor in electronic devices and a method thereof
CN103500049A (zh) * 2013-09-13 2014-01-08 小米科技有限责任公司 桌面显示方法、装置及终端
CN103488310A (zh) * 2013-09-16 2014-01-01 广东威创视讯科技股份有限公司 鼠标指针位置提示方法及系统
CN103997668B (zh) * 2014-02-25 2017-12-22 华为技术有限公司 移动设备选中显示方法及终端设备
JP5963806B2 (ja) * 2014-05-30 2016-08-03 京セラドキュメントソリューションズ株式会社 文字入力システム、情報処理装置、文字入力方法
JP6516352B2 (ja) * 2014-12-16 2019-05-22 学校法人帝京大学 モバイルデバイス用の文字入力方法及び文字入力領域の自動調整方法
JP2016146104A (ja) * 2015-02-09 2016-08-12 富士ゼロックス株式会社 入力システム、入力装置およびプログラム
CN107024981B (zh) * 2016-10-26 2020-03-20 阿里巴巴集团控股有限公司 基于虚拟现实的交互方法及装置
CN109933251A (zh) * 2017-12-19 2019-06-25 北京京东尚科信息技术有限公司 一种改变目标元素状态的方法和装置

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0629845A (ja) * 1991-06-28 1994-02-04 Univ Columbia New York 量子化雑音低減方法及び装置
US5757358A (en) * 1992-03-31 1998-05-26 The United States Of America As Represented By The Secretary Of The Navy Method and apparatus for enhancing computer-user selection of computer-displayed objects through dynamic selection area and constant visual feedback
US5453758A (en) 1992-07-31 1995-09-26 Sony Corporation Input apparatus
JP3857504B2 (ja) 1993-05-21 2006-12-13 ソニー株式会社 入力装置、制御システム
JPH0816353A (ja) * 1994-06-28 1996-01-19 Sharp Corp オブジェクト表示拡大方法
JP3784031B2 (ja) * 1996-03-18 2006-06-07 富士通株式会社 表示画面上での選択操作に反応する領域を拡大する反応領域拡大装置および方法
JPH10149252A (ja) * 1996-11-20 1998-06-02 Fuji Xerox Co Ltd ペン入力装置及び該装置における位置座標補正方法
JPH11110182A (ja) * 1997-09-29 1999-04-23 Nec Corp アイコンの自動カスタマイズシステム
JP2000172427A (ja) * 1998-12-10 2000-06-23 Nec Corp 誤入力検出機能付き入力装置及び入力装置の誤入力検出方法
JP2000339094A (ja) * 1999-05-27 2000-12-08 Plus Property Corp 座標入力装置
CA2347534A1 (en) * 2000-05-15 2001-11-15 Tetratel Systems Limited Method and apparatus for displaying flicker free stereoscopic images on a display device
JP2003005878A (ja) * 2001-06-19 2003-01-08 Hitachi Software Eng Co Ltd オブジェクトの選択制御方法
JP3867680B2 (ja) * 2003-04-01 2007-01-10 ソニー株式会社 撮像装置および手振れ補正方法
JP2005215749A (ja) * 2004-01-27 2005-08-11 Nec Corp 操作要素の選択方式とその選択方法
US20070157232A1 (en) * 2005-12-30 2007-07-05 Dunton Randy R User interface with software lensing
CN101009769A (zh) * 2007-02-09 2007-08-01 于中 电视图像防抖动处理方法
KR101466872B1 (ko) * 2007-06-08 2014-12-01 소니 가부시끼가이샤 정보 처리 장치, 입력 장치, 정보 처리 시스템 및 컴퓨터 판독가능한 기록 매체
CN101578570B (zh) * 2007-07-04 2011-09-21 索尼株式会社 输入设备、控制设备、控制系统、控制方法、以及手持设备
TWI391845B (zh) * 2007-09-14 2013-04-01 Sony Corp An input device, a control device, a control system, a control method, and a handheld device
JP4958756B2 (ja) * 2007-12-13 2012-06-20 キヤノン株式会社 撮像装置及びその制御方法及びプログラム
JP5163291B2 (ja) * 2008-06-02 2013-03-13 ソニー株式会社 入力装置、制御装置、制御システム及び制御方法
JP2010170388A (ja) * 2009-01-23 2010-08-05 Sony Corp 入力装置および方法、情報処理装置および方法、情報処理システム、並びにプログラム

Also Published As

Publication number Publication date
CN102270052A (zh) 2011-12-07
US20110298831A1 (en) 2011-12-08
US8884991B2 (en) 2014-11-11
JP2011253398A (ja) 2011-12-15

Similar Documents

Publication Publication Date Title
JP5581817B2 (ja) 制御システム、制御装置、ハンドヘルド装置、制御方法及びプログラム。
US10761610B2 (en) Vehicle systems and methods for interaction detection
JP4702475B2 (ja) 入力装置、ハンドヘルド装置及び制御方法
JP5802667B2 (ja) ジェスチャ入力装置およびジェスチャ入力方法
JP5531616B2 (ja) 制御装置、入力装置、制御システム、制御方法及びハンドヘルド装置
JP5700783B2 (ja) 情報処理プログラム、情報処理装置、情報処理システム、及び情報処理方法
KR101453628B1 (ko) 사용자 인터페이스
EP2889717B1 (en) Systems and methods for a haptically-enabled projected user interface
US20170068416A1 (en) Systems And Methods for Gesture Input
JP2010282408A (ja) 制御装置、入力装置、制御システム、ハンドヘルド装置及び制御方法
JP5808712B2 (ja) 映像表示装置
KR20130142824A (ko) 원격 제어 장치 및 그 제어 방법
JP2011081506A (ja) 映像表示装置、および、その表示制御方法
US20200379598A1 (en) Apparatus capable of sensing touch and sensing touch pressure, and control method therefor
JP5675309B2 (ja) 情報処理プログラム、情報処理装置、情報処理システム、及び情報処理方法
JP5671318B2 (ja) 情報処理プログラム、情報処理装置、情報処理システム、及び情報処理方法
JP2014026355A (ja) 映像表示装置および映像表示方法
US20120062477A1 (en) Virtual touch control apparatus and method thereof
JP2012146017A (ja) 電子黒板システム、電子黒板システムの制御方法、プログラムおよびその記録媒体
JP5412812B2 (ja) 入力装置、制御装置、制御システム、及びハンドヘルド装置
JP6603024B2 (ja) 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法
JP2009205609A (ja) ポインティング装置
JPWO2009048113A1 (ja) 入力装置、制御装置、制御システム、制御方法及びハンドヘルド装置
JP2016015078A (ja) 表示制御装置、表示制御方法、及び、プログラム
CN114168034A (zh) 应用于头戴式显示设备的菜单操作方法及头戴式显示设备

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130408

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131126

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131127

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140617

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140630

LAPS Cancellation because of no payment of annual fees