JPWO2011145276A1 - 操作装置、操作方法、プログラム、記録媒体、及び集積回路 - Google Patents

操作装置、操作方法、プログラム、記録媒体、及び集積回路 Download PDF

Info

Publication number
JPWO2011145276A1
JPWO2011145276A1 JP2011536228A JP2011536228A JPWO2011145276A1 JP WO2011145276 A1 JPWO2011145276 A1 JP WO2011145276A1 JP 2011536228 A JP2011536228 A JP 2011536228A JP 2011536228 A JP2011536228 A JP 2011536228A JP WO2011145276 A1 JPWO2011145276 A1 JP WO2011145276A1
Authority
JP
Japan
Prior art keywords
input
unit
area
state
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2011536228A
Other languages
English (en)
Inventor
久美 原田
久美 原田
良宏 小島
良宏 小島
山内　真樹
真樹 山内
知成 高橋
知成 高橋
池田　洋一
洋一 池田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Publication of JPWO2011145276A1 publication Critical patent/JPWO2011145276A1/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42224—Touch pad or touch panel provided on the remote control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

操作装置（２００）は、第１及び第２の入力部（２０１、２０２）に入力されたユーザの操作内容を示す操作情報を、入力装置（２０３）から取得する操作情報取得部（２０４）と、操作情報取得部（２０４）で取得された操作情報を用いて、第１及び第２の入力部（２０１、２０２）に対するユーザの操作量を算出する操作量算出部（２０５）と、操作量算出部（２０５）で算出された操作量が大きい程、対応する第１及び第２の操作領域（３０１、３０２）の面積が大きくなるように、第１及び第２の操作領域（３０１、３０２）の大きさを変更する操作領域変更部（２１５）とを備える。

Description

本発明は、表示画面上のグラフィカルユーザインタフェース（以下「ＧＵＩ」と表記する）を、複数の入力デバイスで操作する操作装置に関するものである。
表示画面の大型化及び高性能化に伴い、ＴＶは、単に放送番組又は映画を視聴するために利用されるだけでなく、インターネット接続による多様な情報閲覧、家庭内でネットワークに接続された機器との連携、あるいは写真閲覧又はゲームといった各種アプリケーションなどにも利用されつつある。
このような状況において、今後も更に開発されると予想される多種多様な機能及びアプリケーションを操作するためには、複数のボタンで構成される従来の代表的な入力デバイスに加えて、より自由度が高く、かつ直感的に入力操作が可能な操作装置の開発が必須となる。
ポインティングデバイスは、表示画面に表示されたポインタ又はカーソルを制御し、任意の位置や方向を指定することができる入力デバイスである。例えば、タッチパッド、トラックボール、ジョイスティック、及びマウスなどの種類がある。ボタンのみで構成される入力デバイスに比べて、ＧＵＩの構成及びアプリケーションの内容に関わらず、任意の位置の指示、メニュー及びオブジェクトの選択操作が直感的で容易に行えるため、近年の携帯電話、ＡＶ機器、及びゲーム機器等に数多く搭載されつつある。
中でも、タッチパッドは、指やペンでそれ自体を直接タッチすることで操作できる直感性が特徴である。タッチパッドのセンシング技術の向上に伴い、１本の指で操作するだけでなく、２本の指を同時に使ったジェスチャで操作するといった高度な入力が行えるものも開発されている。つまり、片手だけでなく、両手での操作も可能である。また、複数のタッチパッドを一つの操作装置に搭載して、自由度の高い操作を実現する方法もある。このような操作を行う場合は、単一のタッチパッドを１本の指で操作する場合に比べて、多種類の操作又は自由度の高い操作が、短時間で素早く行えるため、今後も入力デバイスとして情報機器及び家電機器への適用が拡大されると考えられる。
特許文献１には、タッチパッドを搭載した家電機器向けのリモコンが開示されている。特許文献１に開示されているリモコンは、筐体にタッチパッドを備え、タッチパッドで表示画面上の操作対象を操作する。具体的には、タッチパッドに表示画面上の操作領域が対応付けられており、タッチパッド上の操作を当該操作領域に反映させることができる。
また、タッチパッドは、同時に２以上の接触を検知できるため、両手での同時操作が可能である。さらに、表示画面における操作対象の配置や、筐体の持ち方の向き、又はアプリケーションに応じて、タッチパッドの入力領域を表示画面上のどの操作領域に対応させるかを適応的に変更することができる。
一例として、表示画面に表示されたキーボードをタッチパッドで操作する場合について、タッチパッドの左半分の入力領域を表示画面上のキーボードの左半分の領域に割り当て、タッチパッドの右半分の入力領域を表示画面上のキーボードの右半分の領域に割り当てる。他の例として、表示画面上のキーボードにさらに選択候補単語（ワードリスト）が表示された場合、タッチパッドの左半分の入力領域をワードリストに、タッチパッドの右半分の入力領域を表示画面上のキーボードの全領域に操作を割り当てる、ということが可能である。
国際公開第２００９／００６２２１号
しかしながら、上記のリモコンでは、タッチパッドと操作領域との対応関係が固定されてしまうので、上記のような割り当てを行うと、常に左右の手を使って操作しなくてはならない。そのため、利き手と異なる側の手で複雑な操作をしなければならなかったり、片方の手が塞がっている場合に操作が制限されたりと、不便を感じる場合がある。
本発明は、上記の事情に鑑みてなされたものであり、入力部の操作状況に基づいて、入力部と操作領域との対応関係を動的に変更可能な操作装置を提供することを目的とする。
本発明の一形態に係る操作装置は、入力装置に設けられた複数の入力部それぞれに入力されたユーザの操作を、表示装置に設けられた表示画面上の所定の面積を占める領域であって、前記各入力部に対応付けられた複数の操作領域それぞれに反映させる。具体的には、前記各入力部に入力されたユーザの操作内容を示す操作情報を、前記入力装置から取得する操作情報取得部と、前記操作情報取得部で取得された前記操作情報を用いて、前記各入力部に対するユーザの操作量を算出する操作量算出部と、前記操作量算出部で算出された前記操作量が大きい程、対応する前記操作領域の面積が大きくなるように、前記各操作領域の大きさを変更する操作領域変更部とを備える。
上記構成によれば、操作量に応じて対応する操作領域の大きさを動的に変更するので、ユーザに対して快適な操作環境を提供することができる。例えば、同時に複数の入力部を用いて操作を行っている場合は、これらの入力部に対して操作領域を均等に割り当て、特定の入力部のみを用いて操作を行っている場合は、その入力部に大きな操作領域を割り当てること等が可能である。
また、前記操作領域変更部は、前記操作量が予め定められた閾値を下回る場合に、当該入力部に対応する前記操作領域の面積を０にしてもよい。これにより、例えば、ユーザが入力装置を左手で把持し、右手だけで入力部を操作しているような状況において、左手が他の入力部に僅かに触れてしまった場合でも、これを入力操作と判断しないので、ユーザの意図しない操作が実行されるのを防止することができる。
さらに、前記操作領域変更部は、前記各操作領域の面積の比を対応する前記操作量の比に近づけるように、前記各操作領域の大きさを変更してもよい。これにより、ユーザに対してより快適な操作環境を提供することができる。
また、前記操作量算出部は、前記操作情報に基づいて、互いに性質の異なる複数の操作特徴を算出し、予め定められた重み計数と前記複数の操作特徴との重み付き線形和を前記操作量として算出してもよい。これにより、ユーザの意図や状況をより的確に推定することができる。
また、前記入力部は、所定の面積を占める入力領域を備え、ユーザが前記入力領域に接触したときの前記入力領域上の位置座標及び接触強度の少なくとも１つを、前記操作情報として出力するタッチセンサであってもよい。そして、前記操作量算出部は、前記位置座標に基づいて移動距離、移動速度、移動加速度、及び操作方向の少なくとも１つを、又は前記接触強度に基づいて平均強度を、前記操作特徴として算出してもよい。上記の操作特徴は一例であり、これらに限定されるものではない。
一例として、前記タッチセンサは、静電容量方式であってもよい。そして、前記接触強度は、ユーザの指が前記タッチセンサに接触または近接したときの静電容量値であってもよい。他の例として、前記タッチセンサは、感圧方式であってもよい。そして、前記接触強度は、ユーザの指が前記タッチセンサを押す圧力値であってもよい。
さらに、該操作装置は、前記操作量算出部によって算出される前記操作量を記憶する操作量記憶部と、前記操作量記憶部に記憶されている前記操作量に基づいて、対応する前記入力部の操作状態を判定する操作状態判定部と、前記操作状態判定部による判定結果を記憶する操作状態記憶部とを備えてもよい。そして、前記操作状態判定部は、前記操作量が前記閾値を下回る場合に、対応する前記入力部が操作されていないことを示す操作ＯＦＦ状態と判定し、前記操作量が前記閾値以上の場合に、対応する前記入力部が操作されていることを示す操作ＯＮ状態と判定してもよい。
さらに、該操作装置は、前記入力装置に入力されたユーザの操作を対応する前記操作領域に反映させるか否かを示す操作領域状態パラメータの更新の要否を、前記操作状態判定部の判定結果に基づいて判定するパラメータ更新条件判定部と、前記パラメータ更新条件判定部によって前記操作領域状態パラメータの更新が必要と判定された場合に、前記操作状態判定部の判定結果に基づいて前記操作領域状態パラメータを更新する操作領域状態パラメータ更新部とを備えてもよい。前記パラメータ更新条件判定部は、前記操作状態判定部による最新の判定結果と過去の判定結果とが異なる場合に、前記操作領域状態パラメータの更新が必要と判定してもよい。そして、前記操作領域状態パラメータ更新部は、前記最新の判定結果が操作ＯＮ状態である場合、前記操作領域状態パラメータを、前記入力装置への入力を対応する前記操作領域に反映させることを示す有効状態とし、前記最新の判定結果が操作ＯＦＦ状態である場合に、前記操作領域状態パラメータを、前記入力装置への入力を対応する前記操作領域に反映させないことを示す無効状態としてもよい。
さらに、該操作装置は、前記操作領域状態パラメータ更新部によって更新された前記操作領域状態パラメータの値に応じて、少なくとも前記操作領域の面積を示す情報を含む前記操作領域属性パラメータを更新する操作領域属性パラメータ更新部を備えてもよい。前記操作領域属性パラメータ更新部は、前記複数の操作領域のうち、前記操作領域状態パラメータが有効状態である操作領域の面積が、前記操作領域状態パラメータが無効状態である操作領域の面積より大きくなるように、前記操作領域属性パラメータを更新してもよい。そして、前記操作領域変更部は、前記操作領域属性パラメータ更新部によって更新された前記操作領域属性パラメータの値に応じて、前記各操作領域の大きさを変更してもよい。さらに、前記操作領域属性パラメータは、前記操作領域の形状、前記表示画面上の位置、及び面積、形状、位置の変更方法を示す情報を含んでもよい。
さらに、該操作装置は、前記操作領域属性パラメータ更新部によって更新された前記操作領域属性パラメータの内容を、ユーザに通知する操作領域変更提示部を備えてもよい。これにより、操作領域の大きさが変更されたことに気づかないまま操作を継続するのを防止できるので、ユーザの意図する操作が正確に操作領域に反映されないといった不快感を、ユーザに抱かせるのを防止することができる。
さらに、該操作装置は、前記操作領域属性パラメータに示される前記操作領域の面積と、当該操作領域に対応付けられた前記入力部の面積との比に基づいて、ユーザが接触した前記入力部上の位置に対応する前記操作領域上の位置に、ポインタを表示させるポインタ位置決定部を備えてもよい。
一例として、該操作装置は、さらに、前記入力装置を備えてもよい。そして、前記入力装置は、筐体と、前記筐体の同一平面上に並べて配置される前記複数の入力部とを備えてもよい。他の例として、該操作装置は、さらに、前記表示装置を備えてもよい。
本発明の一形態に係る操作方法は、入力装置に設けられた複数の入力部それぞれに入力されたユーザの操作を、表示装置に設けられた表示画面上の所定の面積を占める領域であって、前記各入力部に対応付けられた複数の操作領域それぞれに反映させる方法である。具体的には、前記各入力部に入力されたユーザの操作内容を示す操作情報を、前記入力装置から取得する操作情報取得ステップと、前記操作情報取得ステップで取得された前記操作情報を用いて、前記各入力部に対するユーザの操作量を算出する操作量算出ステップと、前記操作量算出ステップで算出された前記操作量が大きい程、対応する前記操作領域の面積が大きくなるように、前記各操作領域の大きさを変更する操作領域変更ステップとを含む。
本発明によれば、複数の入力部それぞれから出力される操作情報に基づいて、入力部と操作領域との対応関係を動的に変更することができる。すなわち、操作量の大きい入力部にはユーザが意図して入力操作を行っていると判断し、操作量の小さい入力部にはユーザが意図しない（若しくは誤った）操作が行われていると判断し、操作量の多い入力部に対して、より大きな操作領域を対応付けることができる。
よって、複数の入力部と操作領域との対応関係が固定化されている従来の発明においては、利き手と異なる側の手で複雑な操作をしなければならない場合もあったが、本発明では、例えば、利き手と異なる手の操作を止めて、操作量を小さくすることにより、表示画面のほぼ全ての操作領域を利き手で操作することができるようになる。
同様に、従来例では、片方の手が塞がっている場合には、塞がっている手に対応する操作領域を操作することができなかったが、本発明では、塞がっている手の操作量がほとんどなくなるので、自動的に、もう一方の手で全ての操作領域を操作することができるようになる。
このように、本発明では、ユーザの左右の手の使用状況を考慮して入力部と操作領域との対応関係を自動的に変更することにより、ユーザに対して快適な操作環境を提供することができる。
本発明の一形態に係るプログラムは、入力装置に設けられた複数の入力部それぞれに入力されたユーザの操作を、表示装置に設けられた表示画面上の所定の面積を占める領域であって、前記各入力部に対応付けられた複数の操作領域それぞれに反映させる処理をコンピュータに実行させる。具体的には、前記各入力部に入力されたユーザの操作内容を示す操作情報を、前記入力装置から取得する操作情報取得ステップと、前記操作情報取得ステップで取得された前記操作情報を用いて、前記各入力部に対するユーザの操作量を算出する操作量算出ステップと、前記操作量算出ステップで算出された前記操作量が大きい程、対応する前記操作領域の面積が大きくなるように、前記各操作領域の大きさを変更する操作領域変更ステップとを、コンピュータに実行させる。
本発明の一形態に係るコンピュータ用非一時的コンピュータ読み取り可能記録媒体には、上記記載のプログラムが記録されている。
本発明の一形態に係る集積回路は、入力装置に設けられた複数の入力部それぞれに入力されたユーザの操作を、表示装置に設けられた表示画面上の所定の面積を占める領域であって、前記各入力部に対応付けられた複数の操作領域それぞれに反映させる。具体的には、前記各入力部に入力されたユーザの操作内容を示す操作情報を、前記入力装置から取得する操作情報取得部と、前記操作情報取得部で取得された前記操作情報を用いて、前記各入力部に対するユーザの操作量を算出する操作量算出部と、前記操作量算出部で算出された前記操作量が大きい程、対応する前記操作領域の面積が大きくなるように、前記各操作領域の大きさを変更する操作領域変更部とを備える。
図１は、本発明の一実施形態に係る入力装置、操作装置、及び表示装置の概略構成を示すブロック図である。 図２は、本発明の一実施形態に係る入力装置、操作装置、及び表示装置の詳細な構成を示すブロック図である。 図３は、本発明の一実施形態に係る入力装置及び表示装置の外観の一例を示すブロック図である。 図４Ａは、第１及び第２の入力部の入力領域の位置座標を示す図である。 図４Ｂは、第１及び第２の操作領域の位置座標を示す図である。 図５は、本発明の一実施形態に係る操作装置の処理の手順を示すフローチャートである。 図６Ａは、第１の入力部で生成され、操作情報取得部で取得された操作情報の一例を示す図である。 図６Ｂは、第２の入力部で生成され、操作情報取得部で取得された操作情報の一例を示す図である。 図７は、本発明の一実施形態に係る操作量を算出する処理を説明するフローチャートである。 図８Ａは、操作量記憶部に記憶されている第１の入力部の操作量の例を示す図である。 図８Ｂは、操作量記憶部に記憶されている第２の入力部の操作量の例を示す図である。 図９は、本発明の一実施形態に係る操作状態を判定する処理を説明するフローチャートである。 図１０Ａは、操作状態記憶部に記憶されている第１の入力部の操作状態の例を示す図である。 図１０Ｂは、操作状態記憶部に記憶されている第２の入力部の操作状態の例を示す図である。 図１１は、本発明の一実施形態に係る操作領域パラメータの更新判定の処理を説明するフローチャートである。 図１２Ａは、第１の入力部の操作領域パラメータ更新判定結果の例を示す図である。 図１２Ｂは、第２の入力部の操作領域パラメータ更新判定結果の例を示す図である。 図１３は、本発明の一実施形態に係る操作領域状態パラメータを更新する処理を説明するフローチャートである。 図１４Ａは、第１の入力部の操作領域状態パラメータの例を示す図である。 図１４Ｂは、第２の入力部の操作領域状態パラメータの例を示す図である。 図１５は、本発明の一実施形態に係る操作領域属性パラメータを決定する処理を説明するフローチャートである。 図１６Ａは、第１の入力部が「有効状態」、第２の入力部が「有効状態」の場合の操作領域と入力領域との関係を示す図である。 図１６Ｂは、第１の入力部が「有効状態」、第２の入力部が「無効状態」の場合の操作領域と入力領域との関係を示す図である。 図１６Ｃは、第１の入力部が「無効状態」、第２の入力部が「有効状態」の場合の操作領域と入力領域との関係を示す図である。 図１６Ｄは、第１の入力部が「無効状態」、第２の入力部が「無効状態」の場合の操作領域と入力領域との関係を示す図である。 図１７は、本発明の一実施形態に係る操作領域の変更を提示する方法の一例を示す図である。 図１８は、本発明の一実施形態に係るポインタ位置を決定する処理を説明するフローチャートである。 図１９Ａは、第１の入力部の入力領域と接触位置とを示す図である。 図１９Ｂは、第２の入力部の入力領域と接触位置とを示す図である。 図２０Ａは、第１の入力部が「有効状態」、第２の入力部が「有効状態」の場合の接触位置とポインタ位置との関係の例を示す図である。 図２０Ｂは、第１の入力部が「有効状態」、第２の入力部が「無効状態」の場合の接触位置とポインタ位置との関係の例を示す図である。 図２１Ａは、操作領域上に表示されるオブジェクトａ〜ｆの例を示す図である。 図２１Ｂは、オブジェクトａ〜ｆの操作領域上における座標を示す図である。 図２１Ｃは、オブジェクトｆが強調表示された状態を示す図である。
以下本発明の実施の形態について、図面を参照しながら説明する。
（実施の形態）
図１は、一実施形態に係る操作装置２００、入力装置２０３、及び表示装置２１９の機能ブロック図である。本発明の一実施形態に係る操作装置２００は、入力装置２０３に設けられた第１及び第２の入力部２０１、２０２に入力されたユーザの操作を、表示装置２１９に設けられた表示画面２１８上の操作領域に反映させる装置である。
入力装置２０３は、複数の入力部、つまり、図１に示されるように、第１及び第２の入力部２０１、２０２を備える。この入力装置２０３は、第１及び第２の入力部２０１、２０２それぞれに入力されたユーザの操作を、操作情報として操作装置２００に出力する。
操作装置２００は、図１に示されるように、少なくとも、操作情報取得部２０４と、操作量算出部２０５と、操作領域変更部２１５とを備える。この操作装置２００は、入力装置２０３から操作情報を取得し、当該操作情報に基づいてポインタ位置座標を算出し、当該ポインタ位置座標を表示装置２１９に出力する装置である。
操作情報取得部２０４は、第１及び第２の入力部２０１、２０２それぞれに入力されたユーザの操作内容を示す操作情報を、入力装置２０３から取得する。操作量算出部２０５は、操作情報取得部２０４で取得された操作情報を用いて、第１及び第２の入力部２０１、２０２それぞれに対するユーザの操作量を算出する。操作領域変更部２１５は、操作量算出部２０５で算出された操作量が大きい程、対応する操作領域の面積が大きくなるように、各操作領域の大きさを変更する。
表示装置２１９は、表示画面２１８を備える。表示装置２１９は、操作装置２００からポインタ位置座標を取得し、当該ポインタ位置座標で示される表示画面２１８上の位置にポインタを表示させる。表示画面２１８は、第１及び第２の入力部２０１、２０２それぞれに対応付けられた第１及び第２の操作領域３０１、３０２に区分されている。
第１の操作領域３０１は、表示画面２１８上の所定の面積を占める領域であって、第１の入力部２０１に対応付けられている。そして、第１の入力部２０１に入力されたユーザの操作が操作装置２００の制御に従って、第１の操作領域３０１に反映される。同様に、第２の操作領域３０２は、表示画面２１８上の所定の面積を占める領域であって、第２の入力部２０２に対応付けられている。そして、第２の入力部２０２に入力されたユーザの操作が操作装置２００の制御に従って、第２の操作領域３０２に反映される。
以下、図２、図３、図４Ａ、及び図４Ｂを参照して、一実施形態に係る操作装置２００の詳細を説明する。図２は、本発明の一実施形態に係る入力装置２０３と、操作装置２００と、表示装置２１９との詳細な構成を示すブロック図である。図３は、本発明の一実施形態に係る入力装置２０３と、表示装置２１９との外観の一例を示す図である。図４Ａは、第１及び第２の入力部２０１、２０２の入力領域の位置座標を示す図である。図４Ｂは、第１及び第２の操作領域３０１、３０２の位置座標を示す図である。なお、図１と共通する構成要素には、同一の参照番号を付している。
入力装置２０３は、筐体２２０と、第１及び第２の入力部２０１、２０２とを備える。図３に示されるように、第１及び第２の入力部２０１、２０は、筐体２２０の同一面上に並べて配置される。そして、ユーザは、筐体２２０を両手で把持し、第１の入力部２０１を左手で、第２の入力部２０２を右手で操作することによって、表示装置２１９の表示画面２１８上の操作対象を操作する。
第１の入力部２０１は、ユーザの指や手の操作による入力を受け付けると、ユーザの操作内容を示す操作情報を所定の時間間隔毎に出力する。操作情報は、ユーザが第１の入力部２０１の入力領域に接触している位置情報と、時刻と、接触強度とのうち、いずれか一つ以上の情報である。第２の入力部２０２についても同様である。
なお、第１及び第２の入力部２０１、２０２の典型例は、所定の面積を占める入力領域を備えるタッチパッドである。このタッチパッドは、静電容量式、または感圧式のいずれかである。そして、ユーザは、例えばペンなどの指や手以外のデバイスを用いて、タッチパッドに接触してもよい。なお、タッチパッドは、一度に複数の入力を検知する多点認識が可能なタッチセンサでもよい。この場合は、筐体２２０に１以上のタッチセンサを備えればよい。
また、筐体２２０には、入力した操作を決定する機能をもつボタン又はスイッチの機構を備えていてもよい。または、タッチパッド自体が押下可能な機構を備え、任意の接触位置で押下可能なタッチパッドであってもよい。
さらに、入力部の一例としてタッチパッドを用いているが、これに限らず、他のポインティングデバイスであってもよい。例えば、マウス、トラックボール、及びペン型入力デバイスなどがある。但し、以下では、第１及び第２の入力部２０１、２０２が共にタッチパッドであるとして説明する。
操作装置２００は、操作情報取得部２０４と、操作量算出部２０５と、操作量記憶部２０６と、操作状態判定部２０７と、操作状態記憶部２０８と、操作領域パラメータ決定部２０９と、操作領域変更提示部２１４と、操作領域変更部２１５と、ポインタ位置決定部２１６とを備える。この操作装置２００は、入力装置２０３から操作情報を取得し、当該操作情報に基づいてポインタ位置座標を算出し、当該ポインタ位置座標を表示装置２１９に出力する装置である。
操作情報取得部２０４は、第１の入力部２０１と第２の入力部２０２とから出力された操作情報を取得する。操作情報を取得する具体的な方法は特に限定されないが、例えば、操作情報取得部２０４と入力装置２０３とを有線又は無線で接続し、操作情報を送受信させればよい。
操作量算出部２０５は、操作情報取得部２０４で取得された操作情報を用いて、ユーザが第１の入力部２０１及び第２の入力部２０２それぞれに入力した操作量を求める。操作量は、入力領域上でのユーザの手や指の移動距離、移動速度、移動加速度、及び平均強度等の操作特徴に基づいて算出される。
操作量記憶部２０６は、操作量算出部２０５で求められた第１及び第２の入力部２０１、２０２それぞれの操作量を記憶する。なお、記憶媒体の具体例は特に限定されないが、例えば、ＤＲＡＭ（Ｄｙｎａｍｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＳＤＲＡＭ（Ｓｔａｔｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、フラッシュメモリ、又はＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）等のデータを記憶可能なあらゆる記憶媒体を採用することができる。
操作状態判定部２０７は、操作量記憶部２０６に記憶されている所定の時間間隔毎の操作量を用いて、第１の入力部２０１及び第２の入力部２０２それぞれのユーザの操作状態を判定する。操作状態は、ユーザが第１及び第２の入力部２０１、２０２それぞれを操作していることを示す「操作ＯＮ状態」、または操作していないことを示す「操作ＯＦＦ状態」のいずれかの状態である。
操作状態記憶部２０８は、操作状態判定部２０７で求められた第１及び第２の入力部２０１、２０２それぞれの操作状態を、所定の時間間隔毎に記憶する。記憶媒体の具体例は、操作量記憶部２０６と共通する。
操作領域パラメータ決定部２０９は、パラメータ更新条件判定部２１０と、操作領域パラメータ更新部２１１とを備える。さらに、操作領域パラメータ更新部２１１は、操作領域状態パラメータ更新部２１２と、操作領域属性パラメータ更新部２１３とを備える。この操作領域パラメータ決定部２０９は、第１の入力部２０１及び第２の入力部２０２それぞれの入力領域に対応する表示画面２１８上の操作領域に関するパラメータを、操作状態判定部２０７で判定されたユーザの操作状態に基づいて決定する。
操作領域パラメータは、第１及び第２の入力部２０１、２０２それぞれに対応する操作領域の状態を表す操作領域状態パラメータと、操作領域の属性を表す操作領域属性パラメータとで構成される。操作領域状態パラメータは、入力領域への入力を対応する操作領域に反映させることを示す「有効状態」、または、入力領域への入力を対応する操作領域に反映させないことを示す「無効状態」のいずれかである。また、操作領域属性パラメータは、操作領域の面積、形状、及び配置（操作領域上の位置）の情報の少なくともいずれか一つ以上含む。更に、操作領域属性パラメータは、操作量領域の面積、形状、配置の変更速度、及び変更方法を含んでもよい。
パラメータ更新条件判定部２１０は、操作状態記憶部２０８に記憶されている所定時間毎のユーザの操作状態の履歴に基づいて、操作領域パラメータを「更新する」、あるいは「更新しない」のいずれかを判定する。具体的には、現在（最新）の操作状態と過去の操作状態とを比較し、異なる場合には操作領域パラメータを「更新する」と判定し、同じ場合には「更新しない」と判定する。
操作領域状態パラメータ更新部２１２は、パラメータ更新条件判定部２１０で操作領域パラメータを「更新する」と判定された場合、最新の操作状態に基づいて操作領域状態パラメータを更新する。操作状態記憶部２０８に記憶されている最新の操作状態が「操作ＯＮ状態」である場合、対応する操作領域状態パラメータを「有効状態」と設定し、最新の操作状態が「操作ＯＦＦ状態」である場合、対応する操作領域状態パラメータを「無効状態」と設定する。
操作領域属性パラメータ更新部２１３は、操作領域状態パラメータ更新部２１２で更新された第１及び第２の入力部２０１、２０２それぞれに対応する操作領域状態パラメータに基づいて、操作領域属性パラメータを更新する。第１及び第２の入力部２０２、２０３のうちの少なくとも一方の操作領域状態パラメータが「無効状態」になった場合、他方の操作領域属性パラメータを更新する。例えば、操作領域属性パラメータ更新部２１３は、第１及び第２の操作領域３０１、３０２のうち、操作領域状態パラメータが有効状態である操作領域の面積が、操作領域状態パラメータが無効状態である操作領域の面積より大きくなるように、操作領域属性パラメータを更新する。
操作領域変更提示部２１４は、パラメータ更新条件判定部２１０で操作領域パラメータを「更新する」と決定された場合に、入力領域と操作領域との対応関係が変更されることをユーザに対して提示（通知）する。
操作領域変更部２１５は、パラメータ更新条件判定部２１０で操作領域パラメータを「更新する」と決定された場合に、更新された操作領域パラメータに基づいて、第１の入力部２０１と第１の操作領域３０１との対応関係、及び第２の入力部２０２と第２の操作領域３０２との対応関係を、それぞれ変更する。
ポインタ位置決定部２１６は、第１及び第２の入力部２０１、２０２それぞれの操作情報に含まれる位置情報と、操作領域変更部２１５で変更された操作領域パラメータとに基づいて、第１及び第２の入力部２０１、２０２それぞれの位置情報に対応する表示画面２１８上のポインタ位置、またはポインタ位置が指し示すオブジェクトを決定する。より具体的には、ポインタ位置決定部２１６は、図４Ａ及び図４Ｂに示されるように、第１及び第２の操作領域３０１、３０２の面積と、第１及び第２の入力部２０１、２０２の面積との比に基づいて、ユーザが接触した入力領域上の位置に対応する操作領域上の位置にポインタが表示されるように、ポインタの位置を決定する。
表示装置２１９は、表示制御部２１７と、表示画面２１８とを備える。
表示制御部２１７は、操作領域変更提示部２１４と、操作領域変更部２１５と、ポインタ位置決定部２１６とから出力された結果に基づいて、表示画面２１８にＧＵＩ画面を表示するための制御情報を、表示画面２１８に出力する。
表示画面２１８は、表示制御部２１７から出力されたＧＵＩ画面の制御情報に基づいて、ＧＵＩ画面を表示する。すなわち、第１の入力部２０１及び第２の入力部２０２の入力領域上でユーザが指や手を動かす操作に対応して、例えば、操作するポインタの表示、又はポインタが指し示すオブジェクトを他のオブジェクトと識別するための強調表示、メニュー又はアイコン等のオブジェクトの操作、文字を書く、絵を描くなど、の操作過程又は操作結果を表示する。
表示画面２１８には、第１の入力部２０１及び第２の入力部２０２それぞれに対応する第１及び第２の操作領域３０１、３０２が設定される。なお、第１及び第２の入力部２０１、２０２上の座標系と第１及び第２の操作領域３０１、３０２の座標系とは絶対座標系とし、各座標を１対１に対応付ける。
なお、表示画面２１８の具体例は特に限定されないが、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ、液晶ディスプレイ、プラズマディスプレイ、及び有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等を採用することができる。
図４Ａ及び図４Ｂは、第１及び第２の入力部２０１、２０２の入力領域の位置座標と、第１及び第２の操作領域３０１、３０２の位置座標との対応関係を示す図である。なお、この例では、第１の入力部２０１と第２の入力部２０２とは、ともに同じ性能と大きさとをもつタッチパッドであり、形状は長方形とする。
図４Ａは、第１の入力部２０１および第２の入力部２０２の入力領域を示す図である。図４Ａに示される入力領域は、左上端座標を（０、０）、右下端座標を（３００、５００）とする。
また、図４Ｂは、表示画面２１８上の第１及び第２の操作領域３０１、３０２を示す図である。操作領域全体（以下「全操作領域」と表記する）は、左上端座標を（０、０）、右下端座標を（１６００、９００）とする。そして、全操作領域のうち、第１の入力部２０１には左上端座標（０、０）、右下端座標（８００、９００）で表される第１の操作領域３０１を対応付け、第２の入力部２０２には左上端座標（８００、０）、右下端座標（１６００、９００）で表される第２の操作領域３０２を対応付ける。
なお、第１及び第２の操作領域３０１、３０２も同じ形状で、且つ同じ大きさとする。さらに、第１及び第２の操作領域３０１、３０２は、ユーザが筐体２２０を両手で把持したときに、ユーザから見て第１及び第２の入力部２０１、２０２の配置と同じになるように、隣接して配置される。
そして、第１の入力部２０１の左上端座標（０、０）と、第１の操作領域３０１の左上端座標（０、０）とを対応付け、第１の入力部２０１の右下端座標（３００、５００）と、第１の操作領域３０１の右下端座標（８００、９００）とを対応付ける。その他の座標の対応関係は、第１の入力部２０１の面積と第１の操作領域３０１の面積とを比例配分して求めることができる。第２の入力部２０２と第２の操作領域３０２との対応関係も同様である。
上記構成の入力装置２０３は、第１及び第２の入力部２０１、２０２それぞれの入力領域にユーザが接触したことを示す操作情報を操作装置２００に通知する。操作情報を取得した操作装置２００は、当該操作情報に基づいて、第１の入力部２０１に割り当てる第１の操作領域３０１、および第２の入力部２０２に割り当てる第２の操作領域３０２を決定し、表示装置２１９に通知する。表示装置２１９は、通知された第１の操作領域３０１と、第２の操作領域３０２とを表示画面２１８に設定し、ユーザの接触位置に対応するポインタ位置を表示する。具体的な処理内容は、後述する。
なお、図１には、操作装置２００と、入力装置２０３と、表示装置２１９とが別体である例を示している。この場合の具体例としては、例えば、タッチパッドやマウス等に相当する入力装置２０３と、コンピュータ本体に相当する操作装置２００と、ディスプレイに相当する表示装置２１９とを備えるデスクトップ型のＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）等が挙げられる。
しかしながら、上記の例に限ることなく、操作装置２００と入力装置２０３とを一体としてもよいし、操作装置２００と表示装置２１９とを一体としてもよいし、操作装置２００と入力装置２０３と表示装置２１９とを一体としてもよい。
一例として、入力装置２０３の筐体２２０内に操作装置２００を組み込むことによって、入力装置２０３と操作装置２００とを一体化し、この装置で算出された制御情報（ポインタ位置座標）を表示装置２１９に送信してもよい。他の例として、表示装置２１９内に操作装置２００を組み込むことによって、表示装置２１９と操作装置２００とを一体化し、この装置で入力装置２０３から操作情報を取得して、表示制御を行ってもよい。
なお、筐体２２０と表示装置２１９とは有線接続されていてもよいし、筐体２２０にリモコン信号送信部を備え、筐体２２０と物理的に接続されていない表示装置２１９にリモコン信号を送信する形態であってもよい。上記の２例の具体例としては、例えば、リモコン（入力装置２０３側）と、テレビ（表示装置２１９側）との組み合わせが挙げられる。
さらに他の例として、筐体２２０内に操作装置２００を組み込み、筐体２２０の表面に表示画面２１８を配置することによって、入力装置２０３と操作装置２００と表示装置２１９とを一体化してもよい。この例の具体例としては、例えば、表示画面上に透過性の高いタッチパッドを重ね、タッチパッドと表示画面とが一体となった構成、タッチパッドに表示画面を並べて配置する構成、あるいはラップトップ型のＰＣ等が挙げられる。
＜動作＞
次に、図５を参照して、一実施形態に係る操作装置２００の動作について説明する。図５は、操作装置２００の動作を示すフローチャートである。操作装置２００は、入力装置２０３から操作情報を取得する度に、当該取得した最新の操作情報を用いて、図５に示される処理（Ｓ４０１〜Ｓ４１２）を、実行する。
まず、操作装置２００の操作情報取得部２０４は、第１及び第２の入力部２０１、２０２に入力されたユーザの操作内容を示す操作情報を、入力装置２０３から取得する（Ｓ４０１）。操作情報には、ユーザが接触している入力領域上の位置情報（接触位置の座標）と、時刻と、接触強度とのうち、いずれか一つ以上の情報が含まれる。なお、接触強度は、タッチパッドが静電容量式タッチパッドの場合、静電容量値に基づいて求められる。一方、圧力式タッチパッドの場合、圧力値に基づいて求められる。
図６Ａは、第１の入力部２０１で生成され、操作情報取得部２０４で取得された操作情報の一例を示す図である。図６Ｂは、第２の入力部２０２で生成され、操作情報取得部２０４で取得された操作情報の一例を示す図である。図６Ａ及び図６Ｂの例では、操作情報取得部２０４は、接触位置の座標及び接触強度を含む操作情報を、入力装置２０３から所定の時間間隔毎に取得している。
例えば、時刻ｔ0における第１の入力部２０１の操作情報を参照すると、接触強度は０であり、接触位置の情報はない。つまり、時刻ｔ0において、ユーザは、第１の入力部２０１に触れていないことを示している。次に、時刻ｔ1における第１の入力部の操作情報を参照すると、接触位置の座標は（８８、１５７）であり、接触強度は１１である。また、時刻ｔ2、ｔ3、ｔ4についても同様に、接触位置と接触強度とを取得している。さらに、第２の入力部２０２についても同様に、時刻ｔ0〜ｔ4の各時刻に生成された操作情報を取得している。
次に、操作量算出部２０５は、操作情報取得部２０４で取得された操作情報を用いて、ユーザが第１の入力部２０１及び第２の入力部２０２それぞれに入力した操作量を求める（Ｓ４０２）。なお、操作量算出部２０５は、操作情報に基づいて、互いに性質の異なる複数の操作特徴を算出し、予め定められた重み計数と複数の操作特徴との重み付け線形和を、操作量として算出する。また、操作特徴の例としては、移動距離、移動速度、操作方向、及び平均強度等が挙げられる。一実施形態係る操作量は、第１及び第２の入力部２０１、２０２上でのユーザの指の移動距離と、平均強度との二つの操作特徴に基づいて算出する。
この処理の詳細を、図７、図８Ａ、及び図８Ｂを用いて説明する。
まず、操作量算出部２０５は、第１の入力部２０１及び第２の入力部２０２それぞれの操作情報に基づいて、操作特徴を算出する（Ｓ７００）。具体的には、操作量算出部２０５は、図６Ａに示した第１の入力部２０１の操作情報と、図６Ｂに示した第２の入力部２０２の操作情報とを、操作情報取得部２０４から取得し、下記のような方法で操作特徴を算出する。
例えば、時刻ｔ4とその直前の時刻ｔ3との時間をΔＴ4として、ΔＴ4における移動距離と平均強度とを算出する方法を説明する。第１の入力部２０１について、時刻ｔ4における位置座標は（９５、１４５）、接触強度は２３であり、時刻ｔ3における位置座標は（９２、１５０）、接触強度は２０である。つまり、移動距離は約６、平均強度は２１．５と求められる。第２の入力部２０２についても同様に、移動距離は１６．８、平均強度は７３．５と求められる。
次に、操作量算出部２０５は、ΔＴ4における操作量を、二つの操作特徴である移動距離と平均強度とに基づいて算出する（Ｓ７０１）。操作量は、各操作特徴の値と、各操作特徴に対応する重み係数とを要素とした重み付き線形和で求める。すなわち、移動距離の重み係数をａ１、平均強度の重み係数をａ２として、ΔＴにおける操作量Ｃ（ΔＴ）をａ１×（移動距離）＋ａ２×（平均強度）で求める。ａ１とａ２とを共に正の値とすれば、移動距離及び平均強度の値が大きいほど操作量の値は大きくなる。例えば、ａ１を１０、ａ２を１とすると、時刻ΔＴにおける操作量Ｃ（ΔＴ）は１０×（移動距離）＋（平均強度）で求められる。
従って、第１の入力部２０１のΔＴ4における操作量は、ＣＡ（ΔＴ4）＝（１０×６＋１×２１．５）＝８１．５、第２の入力部２０２のΔＴ4における操作量は、ＣＢ（ΔＴ4）＝（１０×６．５＋１×７３．５）＝１３７．５、と算出される。このようにして算出された時刻ｔ0〜ｔ4までの操作量を、図８Ａ及び図８Ｂに示す。なお、時刻ｔ0において操作情報は取得されていないため、時刻ｔ0とｔ1との間、すなわちΔＴ1における操作量は算出されない。
なお、上記の例では、操作量を算出するために操作特徴として移動距離と平均強度とを用いたが、この例に限らず、それ以外の移動速度、移動加速度、移動方向、ジェスチャ操作数、イベント実行数（決定操作数など）などの操作に関する特徴を表す値を用いてもよい。その場合、ΔＴn（時刻ｔn−1からｔn）における操作量Ｃ（ΔＴn）は、下記式１に示されるように、ｍ個の操作特徴Ｃ１（ΔＴn）〜Ｃｍ（ΔＴn）と、ｍ個の重み係数ａ１〜ａｍとを要素とした重み付き線形和で求めることができる。
なお、ΔＴnにおける操作量を時刻ｔn−1〜ｔnの間で得られる操作特徴に基づいて求めたが、さらにそれ以前の所定時間さかのぼった時間内に算出された操作量を用いて求めてもよい。すなわち、式１における操作特徴Ｃｍ（ΔＴn）を、下記の式２のようにＣｍ´（ΔＴn）に置き換えて求める。
すなわち、操作量を、時刻ｔnから所定時間さかのぼった時刻ｔ(n−k+1)までのｋ個の操作特徴と、ｋ個の正の重み係数ｂｋを各要素とした重み付き線形和で求める。なお、さかのぼる所定時間はユーザの操作特徴、及び操作対象のアプリケーションに応じて設定してよい。
次に、操作量算出部２０５は、第１及び第２の入力部２０１、２０１それぞれについて算出した操作量を、操作量記憶部２０６に記憶させる（Ｓ４０３）。つまり、操作量記憶部２０６は、図８Ａに示される第１の入力部２０１の操作量と、図８Ｂに示される第２の入力部２０２の操作量とを記憶する。
次に、操作状態判定部２０７は、操作量記憶部２０６に記憶されている所定の時間間隔毎の操作量を用いて、第１の入力部２０１及び第２の入力部２０２におけるユーザの操作状態を判定する（Ｓ４０４）。操作状態は、ユーザが第１及び第２の入力部２０１、２０２を操作していることを示す「操作ＯＮ状態」、または操作していないことを示す「操作ＯＦＦ状態」のいずれかの状態である。
この処理の手順を、図９、図１０Ａ、及び図１０Ｂを用いて説明する。操作量は、ユーザが第１及び第２の入力部２０１、２０２に対して何らかの操作を行っている場合は値が大きくなり、一方、第１及び第２の入力部２０１、２０２を操作していない、あるいは第１及び第２の入力部２０１、２０２に指を置いているが操作していない場合は値が小さくなるように、重み係数を設定している。
そのため、操作状態判定部２０７は、第１及び第２の入力部２０１、２０２の操作状態を、操作量が所定の閾値以上の場合（Ｓ９００、Ｓ９０３でＹＥＳ）に、「操作ＯＮ状態」と判定（Ｓ９０１、Ｓ９０４）する。一方、操作量が所定の閾値より小さい場合（Ｓ９００、Ｓ９０３でＮＯ）に、「操作ＯＦＦ状態」と判定する（Ｓ９０２、Ｓ９０５）。
例えば、判定条件の閾値を１００と定めたとする。ΔＴ4における第１の入力部２０１の操作量はＣＡ（ΔＴ4）＝８１．５であり、閾値より小さい（Ｓ９００でＮＯ）ため、ΔＴ4における第１の入力部２０１の操作状態は、「操作ＯＦＦ状態」と判定される（Ｓ９０２）。一方、第２の入力部２０２の操作量はＣＢ（ΔＴ4）＝１３７．５であり、閾値以上（Ｓ９０３でＹＥＳ）のため、ΔＴ4における第２の入力部２０２の操作状態は、「操作ＯＮ状態」と判定される（Ｓ９０４）。ΔＴ1〜ΔＴ3における操作状態も同様の方法で判定することができる。
次に、操作状態判定部２０７は、第１及び第２の入力部２０１、２０２それぞれに対するユーザの操作状態の判定結果を、操作状態記憶部２０８に記憶させる（Ｓ４０５）。つまり、操作状態記憶部２０８には、第１の入力部２０１の操作状態と、第２の入力部２０２の操作状態１００１とが記憶される。但し、ΔＴ1では操作量は算出されていないが、初期状態として「操作ＯＦＦ状態」を設定する。
操作領域パラメータ決定部２０９は、パラメータ更新条件判定部２１０と、操作領域状態パラメータ更新部２１２と、操作領域属性パラメータ更新部２１３とを備え、表示画面２１８において、第１の入力部２０１と第２の入力部２０２とが入力可能な範囲である第１及び第２の操作領域３０１、３０２に関するパラメータを、ユーザの操作状態に基づいて決定する。
まず、操作領域パラメータは、第１及び第２の入力部２０１、２０２それぞれに対応する第１及び第２の操作領域３０１、３０２の状態を表す操作領域状態パラメータと、第１及び第２の操作領域３０１、３０２の属性を表す操作領域属性パラメータとで構成される。操作領域状態パラメータは、入力領域に入力された操作を操作領域に反映させることが可能であることを示す「有効状態」、及び反映させることが不可能である「無効状態」のいずれかである。また、操作領域属性パラメータは、操作領域の面積、形状、または配置のいずれか一つ以上を含む。更に、操作領域属性パラメータは、操作領域の面積、形状、配置の変更速度、及び変更方法をも含むことができる。
操作領域パラメータ決定部２０９の処理手順の概要を説明する。
パラメータ更新条件判定部２１０は、操作状態判定部２０７で判定された第１及び第２の入力部２０１、２０２の操作状態に基づいて、操作領域パラメータを更新するか否かを判定する（Ｓ４０６）。そして、操作領域パラメータを「更新する」と判定された場合（Ｓ４０６のＹＥＳ）、操作領域状態パラメータ更新部２１２は、操作領域状態パラメータを更新する（Ｓ４０７）。一方、操作領域パラメータを「更新しない」と判定された場合（Ｓ４０６のＮＯ）、操作情報を取得するステップに戻る（Ｓ４０１）。
次に、操作領域属性パラメータ更新部２１３は、操作領域属性パラメータを更新するか否かを判定する（Ｓ４０８）。そして、操作領域属性パラメータを「更新する」と判定した場合（Ｓ４０８のＹＥＳ）、操作領域属性パラメータを算出する（Ｓ４０９）。一方、「更新しない」と判定した場合（Ｓ４０８のＮＯ）、操作情報を取得するステップに戻る（Ｓ４０１）。
次に、パラメータ更新条件判定部２１０、操作領域状態パラメータ更新部２１２、および操作領域属性パラメータ更新部２１３それぞれの処理の詳細を、説明する。
まず、パラメータ更新条件判定部２１０の処理（図５のＳ４０６）の具体的な手順の一例を、図１１、図１２Ａ、及び図１２Ｂを用いて説明する。
まず、パラメータ更新条件判定部２１０は、操作状態記憶部２０８に記憶されている第１の入力部２０１に対するユーザの操作状態の履歴に基づいて、第１の入力部２０１の操作領域パラメータを「更新する」、あるいは「更新しない」のいずれかを判定する（Ｓ１１０１）。具体的には、現在の操作状態と過去の操作状態とを比較し、異なる場合には（Ｓ１１０１でＹＥＳ）、操作領域パラメータを「更新する」と判定する（Ｓ１１０２）。一方、同じ場合（Ｓ１１０１でＮＯ）には「更新しない」と判定する（Ｓ１１０３）。
第２の入力部２０２についても同様に、現在の操作状態と過去の操作状態とを比較し、異なる場合（Ｓ１１０４でＹＥＳ）には操作領域パラメータを「更新する」と判定し（Ｓ１１０５）、同じ場合（Ｓ１１０４でＮＯ）には「更新しない」と判定する（Ｓ１１０６）。
すなわち、操作状態記憶部２０８に記憶された操作状態に基づいて、第１の入力部２０１の現在の操作状態ＣＡ（ΔＴn）が過去の操作状態ＣＡ（ΔＴ(n−1)）と異なる場合、第１の入力部２０１の操作領域パラメータを「更新する」と判定する。一方、ＣＡ（ΔＴn）がＣＡ（ΔＴ(n−1)）と同じ場合、第１の入力部２０１の操作領域パラメータを「更新しない」と判定する。第２の入力部２０２についても同様に、現在の操作状態ＣＢ（ΔＴn）が過去の操作状態Ｂ（ΔＴ(n−1)）と異なる場合、第２の入力部２０２の操作領域パラメータを「更新する」と判定する。一方、ＣＢ（ΔＴn）がＣＢ（ΔＴ(n−1)）と同じ場合、第２の入力部２０２の操作領域パラメータを「更新しない」と判定する。
この処理を具体例を用いて説明する。操作状態記憶部２０８に図１０Ａ及び図１０Ｂに示した操作状態が記憶されていたとする。第１の入力部２０１について、ΔＴ2での操作状態は「操作ＯＦＦ状態」であり、その直前のΔＴ1での操作状態と同じであるため、時刻ｔ2では第１の入力部２０１の操作領域パラメータを「更新しない」と判定する。同様に、ΔＴ3およびΔＴ4でも「操作ＯＦＦ状態」であるため、時刻ｔ3、ｔ4においても操作領域パラメータを「更新しない」と判定する。
次に、第２の入力部２０２について、ΔＴ1とΔＴ2との操作状態はともに「操作ＯＦＦ状態」であるため、時刻ｔ2における操作領域パラメータを「更新しない」と判定する。一方、ΔＴ3の操作状態は「操作ＯＮ状態」であり、ΔＴ2とΔＴ3との操作状態は異なるため、時刻ｔ3では操作領域パラメータを「更新する」と判定する。ΔＴ4の操作状態は「操作ＯＮ状態」でΔＴ3と同じあるため、時刻ｔ4では操作領域パラメータを「更新しない」と判定する。
以上の手順により図１２Ａに示す第１の入力部２０１の操作領域パラメータ更新判定結果と、図１２Ｂに示す第２の入力部２０２の操作領域パラメータ更新判定結果とを得る。なお、現在の操作状態と直前の操作状態とのみを比較したが、直前の操作状態に限らず、過去の複数の操作状態に基づいてパラメータ更新条件を設定してもよい。
次に、操作領域状態パラメータ更新部２１２の処理（図５のＳ４０７）の具体的な手順の一例を、図１３、図１４Ａ、及び図１４Ｂを用いて説明する。
操作領域状態パラメータ更新部２１２は、まず第１の入力部２０１について、パラメータ更新条件判定部２１０で「更新する」と判定され（Ｓ１３００でＹＥＳ）、且つユーザの操作状態が「操作ＯＮ状態」の場合（Ｓ１３０１でＹＥＳ）、操作領域状態パラメータを「有効状態」に更新する（Ｓ１３０２）。一方、パラメータ更新条件判定部２１０で「更新する」と判定され（Ｓ１３００でＹＥＳ）、且つユーザの操作状態が「操作ＯＦＦ状態」の場合（Ｓ１３０１でＮＯ）、操作領域状態パラメータを「無効状態」に更新する（Ｓ１３０３）。
次に、操作領域状態パラメータ更新部２１２は、第１の入力部２０１のパラメータの更新処理（Ｓ１３００〜Ｓ１３０３）の後に、第２の入力部２０２についても同様の処理を実行する。つまり、パラメータ更新条件判定部２１０で「更新する」と判定され（Ｓ１３０４のＹＥＳ）、且つユーザの操作状態が「操作ＯＮ状態」の場合（Ｓ１３０５のＹＥＳ）、操作領域状態パラメータを「有効状態」に更新する（Ｓ１３０６）。一方、パラメータ更新条件判定部２１０で「更新する」と判定され（Ｓ１３０４のＹＥＳ）、且つユーザの操作状態が「操作ＯＦＦ状態」の場合（Ｓ１３０５のＮＯ）、操作領域状態パラメータを「無効状態」に更新する（Ｓ１３０７）。
この処理を具体例を用いて説明する。図１２Ａ及び図１２Ｂには、時刻ｔ0からｔ1、ｔ2、ｔ3、ｔ4と時間が経過し、各時刻に取得された操作情報に基づいて得られた操作状態、および操作領域パラメータ更新判定の結果を示している。初期状態として時刻ｔ0における操作領域状態パラメータを「無効状態」に設定する。
次に、第１の入力部２０１について、操作状態はΔＴ1〜ΔＴ4において全て「操作ＯＦＦ状態」と判定され、操作領域パラメータはすべての時刻において「更新しない」と判定された。その結果、操作領域状態パラメータを更新せず、初期状態の「無効状態」を継続する。
一方、第２の入力部２０２について、操作状態はΔＴ1とΔＴ2とにおいて「操作ＯＦＦ状態」と判定され、ΔＴ3とΔＴ4とにおいて「操作ＯＮ状態」と判定された。操作領域状態パラメータは、ΔＴ1、ΔＴ2、及びΔＴ4において「更新しない」と判定され、ΔＴ3において「更新する」と判定された。その結果、操作領域状態パラメータを、ΔＴ1とΔＴ2とでは初期状態の「無効状態」を継続し、ΔＴ3では「有効状態」に更新する。さらに、ΔＴ4では、ΔＴ3での操作領域状態パラメータを更新せず、「有効状態」を継続する。
以上の手順により、図１４Ａに示す第１の入力部２０１の操作領域状態パラメータと、図１４Ｂに示す第２の入力部２０２の操作領域状態パラメータとを得る。
次に、操作領域属性パラメータ更新部２１３の処理（図５のＳ４０９）の具体的な手順の一例を、図１５及び図１６Ａ〜図１６Ｄを用いて説明する。
操作領域属性パラメータ更新部２１３は、操作領域状態パラメータ更新部２１２で更新された第１及び第２の入力部２０１、２０２それぞれの最新の操作領域状態パラメータの組み合わせに基づいて、第１及び第２の入力部２０１、２０２の操作領域属性パラメータを更新する。なお、初期状態として、第１の入力部２０１が第１の操作領域３０１に、第２の入力部２０２が第２の操作領域３０２に対応付けられている。
まず、第１の入力部２０１の操作領域状態パラメータが「有効状態」で（Ｓ１５００でＹＥＳ）、且つ第２の入力部２０２の操作領域状態パラメータが「有効状態」の場合（Ｓ１５０１でＹＥＳ）、操作領域属性パラメータ更新部２１３は、第１及び第２の入力部２０１、２０２の両方が操作されていると判定し、第１の操作領域３０１と第２の操作領域３０２との面積比を１：１に更新する（Ｓ１５０２）。また、第１及び第２の操作領域３０１、３０２の形状を合同な長方形とする（Ｓ１５０３）。さらに、第１の操作領域３０１と第２の操作領域３０２とを、ユーザが筐体２２０を両手で把持したときの第１の入力部２０１及び第２の入力部２０２の配置関係と同じになるように配置する（Ｓ１５０４）。図１６Ａに更新結果を示す。
また、第１の入力部２０１の操作領域状態パラメータが「有効状態」で（Ｓ１５００でＹＥＳ）、且つ第２の入力部２０２の操作領域状態パラメータが「無効状態」の場合（Ｓ１５０１でＮＯ）、操作領域属性パラメータ更新部２１３は、第１の入力部２０１のみが操作されていると判定し、第１の操作領域３０１と第２の操作領域３０２との面積比を１：０に更新する（Ｓ１５０５）。また、第１の操作領域３０１の形状を表示画面２１８の形状と同じとし、第１の操作領域３０１を表示画面２１８全体（全操作領域）とする（Ｓ１５０６）。図１６Ｂに更新結果を示す。
また、第１の入力部２０１の操作領域状態パラメータが「無効状態」で（Ｓ１５００でＮＯ）、且つ第２の入力部２０２の操作領域状態パラメータが「有効状態」の場合（Ｓ１５０７でＹＥＳ）、操作領域属性パラメータ更新部２１３は、第２の入力部２０２のみが操作されていると判定し、第１の操作領域３０１と第２の操作領域３０２との面積比を０：１に更新する（Ｓ１５０８）。また、第２の操作領域３０２の形状を表示画面２１８の形状と同じとし、第２の操作領域３０２を表示画面２１８全体（全操作領域）とする（Ｓ１５０９）。図１６Ｃに更新結果を示す。
さらに、第１の入力部２０１の操作領域状態パラメータが「無効状態」で（Ｓ１５００でＮＯ）、且つ第２の入力部２０２の操作領域状態パラメータが「無効状態」の場合（Ｓ１５０７のＮＯ）、操作領域属性パラメータ更新部２１３は、第１及び第２の入力部２０１、２０１の両方とも操作されていないと判定し、第１の操作領域３０１と第２の操作領域３０２との面積比を０：０に更新する（Ｓ１５１０）。すなわち操作領域を第１及び第２の入力部２０１、２０２のいずれにも割り当てない。図１６Ｄに更新結果を示す。
なお、操作領域属性パラメータのうち、更新される面積や形状、配置の状態に変更する変更速度、あるいはその変更方法について、変更前の操作状態および変更後の操作状態に基づいて予め設定した速度や方法を用いる。
例えば、第１及び第２の入力部２０１、２０２のうちの一方の操作領域状態パラメータが「有効状態」を維持し、他方の操作領域状態パラメータが「有効状態」から「無効状態」に更新される場合、すなわち図１６Ａから図１６Ｂまたは図１６Ｃに示す状態に更新される場合、速度Ｖ１で操作領域を変更する。
また、第１及び第２の入力部２０１、２０２の両方の操作状態パラメータが「有効状態」から「無効状態」に更新される場合、すなわち図１６Ａから図１６Ｄに更新される時、速度Ｖ２で操作領域を変更する。
また、第１及び第２の入力部２０１、２０２のうちの一方の操作状態パラメータが「有効状態」を維持し、他方の操作領域状態パラメータが「無効状態」から「有効状態」に変更される場合、すなわち図１６Ｂまたは図１６Ｃから図１６Ａに更新される場合、速度Ｖ３で操作領域を変更する。
また、第１及び第２の入力部２０１、２０２のうちの一方の操作領域状態パラメータが「有効状態」から「無効状態」に更新され、他方の操作領域状態パラメータが「無効状態」から「有効状態」に更新される場合、すなわち図１６Ｂまたは図１６Ｃから図１６Ａに更新される時、速度Ｖ４で操作領域を変更する。
また、第１及び第２の入力部２０１、２０２のうちの一方の操作領域状態パラメータが「有効状態」から「無効状態」に更新され、他方の操作領域状態パラメータが「無効状態」を維持する場合、すなわち図１６Ｂまたは図１６Ｃから図１６Ｄに更新される場合、速度Ｖ５で操作領域を変更する。
また、第１及び第２の入力部２０１、２０２の両方の操作領域状態パラメータが「無効状態」から「有効状態」に更新される時、すなわち図１６Ｄから図１６Ａに更新される場合、速度Ｖ６で操作領域を変更する。
また、第１及び第２の入力部２０１、２０２の一方の操作領域状態パラメータが「有効状態」を維持し、他方の操作領域状態パラメータが「無効状態」から「有効状態」に更新される場合、すなわち図１６Ｂまたは図１６Ｃから図１６Ａに更新される場合、速度Ｖ７で操作領域を変更する。
なお、変更速度Ｖ１〜Ｖ７は、全ての値が異なっていてもよく、あるいはいずれかが同じであってもよい。変更速度が非常に速ければ、ユーザにとっては一瞬で操作領域の面積が変わったように提示される。変更速度が遅ければ、徐々に操作領域の面積が拡大、または縮小されるように提示される。
さらに変更方法について、面積が徐々に拡大または縮小されるように変更する。
なお、操作状態に基づいて移動速度と変更速度を変更したが、この方法に限らず、さらに操作量に基づいて変更速度や変更方法を決定してもよい。
なお、操作領域状態パラメータの一方が有効状態、他方が無効状態の場合、すなわち図１６Ｂまたは図１６Ｃの場合、第１及び第２の入力部２０１、２０２のうちの「有効状態」の側に全操作領域を割り当て、「無効状態」の側の操作領域の面積を０にしたが、これに限らず、図１６Ａに示すように、「有効状態」の側の操作領域は変更せず、「無効状態」の側の入力操作を無効化し、操作領域に操作を反映させないようにしてもよい。
なお、操作状態の比較には直前の過去の状態のみを用いたが、さらにさかのぼって所定時間内における過去の操作状態の変化に基づいて現在の操作状態を決定してよい。
なお、第１の入力部２０１と第２の入力部２０２との操作領域状態パラメータがともに「有効状態」の場合（Ｓ１５００でＹＥＳ、かつＳ１５０１でＹＥＳ）、第１の操作領域３０１と第２の操作領域３０２との面積比を１：１に変更したが（Ｓ１５０２）、これに限らず、操作量の比に基づいて面積比を変更してもよい。すなわち、第１の入力部２０１の操作量がＣＡ、第２の入力部２０２の操作量がＣＢの時、第１の操作領域３０１と第２の操作領域３０２との面積比をＣＡ：ＣＢに変更してもよい。但し、第１及び第２の操作領域３０１、３０２が操作量の比に完全に一致することは必ずしも必要ではなく、操作領域の面積の比が操作量の比に近づくように、制御すればよい。
以上で、操作領域パラメータ決定部２０９の処理の説明を終える。
次に、操作領域変更提示部２１４は、パラメータ更新条件判定部２１０で操作領域パラメータの更新が決定された場合に、操作領域が変更されることを、ユーザに提示する（Ｓ４１０）。提示の方法は特に限定されないが、例えば、操作領域変更提示部２１４は、表示装置２１９を通じて視覚情報、または聴覚情報によってユーザに提示する。視覚情報によって提示する一例を、図１７の（ａ）〜（ｄ）を用いて説明する。なお、図１７の（ａ）〜（ｄ）は、操作領域変更パラメータ更新前に第１及び第２の入力部２０１、２０２の両方が「有効状態」であり、更新後に第１の入力部２０１が「無効状態」になる場合の例を示す。
図１７（ａ）は、表示画面２１８上にポップアップを表示し、入力領域と操作領域との対応関係を変更することを示すメッセージを提示する。例えば、「第１の入力部２０１を無効にします」という文言を提示する。操作領域パラメータの更新直前、または更新直後にポップアップを消去する。なお、他の文言を用いてもよい。
図１７（ｂ）は、筐体２２０と第１及び第２の入力部２０１、２０２とを模式的に表現したガイドを表示し、第１及び第２の操作領域３０１、３０２に、第１及び第２の入力部２０１、２０２のうちのどちらが対応付けられているかを提示する。
図１７（ｃ）は、第１及び第２の操作領域３０１、３０２の境界を表示する。例えば、第２の操作領域３０２が拡大し、第１の操作領域３０１が縮小する過程を、境界線が徐々に左に移動するようなアニメーションで表現してもよい。
図１７（ｄ）は、第１の操作領域３０１と第２の操作領域３０２との背景を異なる色で着色する。図１７（ｃ）と同様に、更新過程をアニメーションで表現してもよい。
なお、視覚情報を用いて操作領域パラメータの変更を提示する方法の一例について述べたが、聴覚情報を用いてもよい。例えば、更新前に、「第１の入力部２０１を無効にします」と音声情報を出力するという方法がある。文言はこれに限らない。また、操作領域の変更を提示する方法はこれらの例に限らず、他の表現方法を用いてもよい。さらに、複数の提示方法を組み合わせてもよい。
次に、操作領域変更部２１５は、操作領域パラメータに基づいて、第１の入力部２０１及び第２の入力部２０２と、第１の操作領域３０１及び第２の操作領域３０２との対応関係を変更する（Ｓ４１１）。具体的には、各操作領域の左上端座標と右下端座標とを変更することで、操作領域を変更する。
操作領域変更部２１５の処理の手順について、図１６Ａ〜図１６Ｄを用いて説明する。
操作領域パラメータが更新され、例えば、操作領域が図１６Ａから図１６Ｂの状態に更新されたとする。このときの全操作領域の座標は、図１６Ｂに示している。つまり、全操作領域は長方形であり、操作領域の左上端の座標は（０、０）、操作領域の右下端の座標は（１６００、９００）である。操作領域パラメータ更新前において、第１の操作領域３０１の左上端座標を（０、０）、右下端座標を（８００、９００）とし、第２の操作領域３０２の左上端座標を（８００、０）、右下端座標を（１６００、９００）とする。
ここで、操作領域が図１６Ａから図１６Ｂの状態に変更されると、それに基づいて、第１の操作領域３０１の左上端座標を（０、０）、右下端座標を（１６００、９００）に変更し、第２の操作領域３０２の各座標を設定せず、「なし」という状態にする。この結果、第２の操作領域３０２をなくして、全操作領域を第１の操作領域３０１に変更する（つまり、第１の操作領域３０１を全操作領域に一致させる）。その他のある状態からある状態への変更についても同様に、各操作領域の左上端座標および右下端座標を変更することで、操作領域を変更する。
次に、ポインタ位置決定部２１６は、第１及び第２の入力部２０１、２０２それぞれから出力された位置情報と、操作領域変更部２１５で求められた操作領域とに基づいて、表示画面２１８上に表示されるＧＵＩ画面におけるポインタ位置、またはポインタ位置が指し示すオブジェクトを決定する（Ｓ４１２）。
ポインタ位置決定の処理（図５のＳ４１２）の具体的な手順の一例を、図１８を用いて説明する。
まず、ポインタ位置決定部２１６は、第１の入力部２０１及び第２の入力部２０２それぞれの入力領域に対応する表示画面２１８上の操作領域の座標を取得する（Ｓ１８００）。次に、ポインタ位置決定部２１６は、第１の入力部２０１及び第２の入力部２０２それぞれにおけるユーザの接触位置座標を取得する（Ｓ１８０１）。そして、ポインタ位置決定部２１６は、第１の入力部２０１及び第２の入力部２０２それぞれの接触位置に対応するポインタ位置を、入力領域と操作領域との対応関係、及び接触位置座標に基づいて算出する（Ｓ１８０２）。
ポインタ位置の決定方法の具体例を、図１９Ａ、図１９Ｂ、図２０Ａ、及び図２０Ｂを用いて説明する。
図１９Ａは、第１の入力部２０１の入力領域と、接触位置とを示す図である。図１９Ｂは、第２の入力部２０２の入力領域と、接触位置とを示す図である。各入力領域は同じ大きさ、同じ形状であり、それぞれ入力領域の左上端座標を（０、０）、右下端座標を（３００、５００）とする。ユーザは、第１の入力部２０１に接触し、その接触位置座標が（２３４、４３２）であったとする。また、第２の入力部２０２にも接触し、その接触位置座標が（２００、２５０）であったとする。
操作領域パラメータ更新前における操作領域を図１６Ａとすると、第１の操作領域３０１の左上端座標は（０、０）、右下端座標は（８００、９００）であり、第２の操作領域３０２の左上端座標は（８００、０）、右下端座標は（１６００、９００）である。
ポインタ位置は、第１及び第２の入力部２０１、２０２上のユーザの接触位置と対応する表示画面２１８上の点である。すなわち、ポインタ位置は、第１及び第２の入力部２０１、２０２における接触領域座標系を、表示画面２１８における操作領域座標系に変換することで求められる。
具体的には、第１の操作領域３０１について、ユーザの接触位置に対応する位置をポインタＡで表し、その座標を（ｘｐＡ、ｙｐＡ）とすると、ｘｐＡ＝２３４÷３００×８００＝６２４、ｙｐＡ＝４３２÷５００×８００≒７７８、で求められる。同様に、第２の操作領域３０２について、ユーザの接触位置に対応する位置をポインタＢで表し、その座標を（ｘｐＢ、ｙｐＢ）とすると、ｘｐＢ＝（２００÷３００×８００）＋８００≒１３３３、ｙｐＢ＝２５０÷５００×８００≒４５０で求められる。すなわち、図１９Ａに示される第１の入力部２０１上の接触位置は、図２０Ａに示されるポインタＡの位置に決定される。同様に、図１９Ｂに示される第２の入力部２０２上の接触位置は、図２０Ａに示されるポインタＢの位置に決定される。
次に、操作領域パラメータが更新され、図１６Ａから図１６Ｂの状態に更新されたとする。その結果、第２の操作領域３０２は存在しなくなり、ポインタＢはなくなる。一方、第１の操作領域３０１が全操作領域となるので、ポインタＡの位置座標を変更する必要が生じる。上述の更新前におけるポインタ位置の算出方法と同様に、第１の入力部２０１に対応する第１の操作領域３０１の左上端座標は（０、０）、右下端座標は（１６００、９００）であるから、ポインタＡの座標を（ｘｐＡ’、ｙｐＡ’）とすると、ｘｐＡ’＝２３４÷３００×１６００＝１２４８、ｙｐＡ’＝ｙｐＡ＝７７８で求められる。
以上の処理によってポインタ位置を決定し、図２０Ｂに示されるように、ポインタＡの位置を（６２４、７７８）から（１２４８、７７８）に更新し、ポインタＢの位置を（１３３３、４５５）から「なし」に更新する。
次に、表示制御部２１７は、操作領域変更提示部２１４とポインタ位置決定部２１６とから出力された情報に基づいて、表示画面２１８に表示するＧＵＩを制御する。つまり、表示制御部２１７は、操作領域変更提示部２１４で提示される情報と、ポインタ位置決定部２１６で求められたポインタ位置とに基づいてＧＵＩを制御する。より具体的には、ポインタ位置にポインタ自体を表す図又は絵などの情報を表示する、あるいはポインタ位置にオブジェクトがある場合はポインタが指し示すオブジェクトを強調表示する。
前者の場合、ポインタ位置決定部２１６で求められたポインタ位置にポインタを表す図又は絵などの情報を表示する。例えば、図２０Ａには、ポインタＡを黒丸で、ポインタＢを白丸で表示している例を示す。なお、このポインタに限らず、他の図や絵などの表現を用いてよい。あるいは、ポインタ位置をポインタの図又は絵で表現しなくてもよい。例えば、文字を書くアプリケーションが実行されている場合、ポインタ位置の軌跡を点列で表示することで、ユーザに現在のポインタ位置を示すことができる。
後者の場合、すなわち、ポインタ位置にオブジェクトがある場合は、ポインタが指し示すオブジェクトを強調表示する。その具体的な方法を、図２１Ａ〜図２１Ｃを用いて説明する。
表示制御部２１７は、ポインタ位置が操作領域におけるオブジェクト内に存在するかを調べ、存在する場合、そのオブジェクトを強調表示する。例えば、図２１Ａに示すように操作領域上にオブジェクトａからオブジェクトｆまで６個の長方形のオブジェクトが存在し、各オブジェクトは図２１Ｂに示す座標に配置されているとする。また、ポインタＡの位置が（１２４８、７１２）と求められたとする。ポインタＡはオブジェクトｆの領域内に含まれるため、オブジェクトｆを強調表示する。例えば、図２１Ｃに示すように、オブジェクトｆの領域の外周線を他より太くする、色を変える、など、他のオブジェクトと異なる状態であることをユーザに提示する。
一方、ポインタ位置がオブジェクト内に存在しない場合、すなわち、オブジェクトが存在しない領域にポインタが位置する場合、表示制御部２１７は、例えば、図２０Ｂに示すようにポインタを図又は絵で表示してもよい。あるいは、操作領域上でユーザが行える操作がオブジェクト選択のみの場合、表示制御部２１７は、ポインタ位置がオブジェクト以外の領域に存在したとしても、いずれかのオブジェクトが必ず選択されるようにしてもよい。例えば、ポインタＡの位置が（１２４８、７７８）と求められた場合、ポインタはいずれのオブジェクト内にも含まれないが、ポインタ位置に最も近いオブジェクトｆ内に存在するものとし、オブジェクトｆを強調表示してもよい。
なお、ポインタ位置から最も近いオブジェクトを強調表示するようにしたが、これに限らず、ポインタの移動速度や移動方向、接触強度などその他の操作情報又は操作状態を考慮して強調表示を行うオブジェクトを決定してもよい。
なお、強調表示する方法の具体例として、オブジェクトの境界領域を他のオブジェクトより太くする、あるいはオブジェクトの背景色を変更する、オブジェクトを明滅させる、などの方法が挙げられるが、他のオブジェクトと区別できればこれらの方法に限らない。さらに、複数の方法を組み合わせてもよい。
なお、ポインタ位置の表示とオブジェクトの強調表示とを同時に行ってもよい。
表示画面２１８は、表示制御部２１７の制御に従って、ＧＵＩ画面を表示する。すなわち、第１の入力部２０１と第２の入力部２０２とを用いてユーザの指や手の動作によって操作されるポインタを表示する、あるいはポインタが指し示すオブジェクトを他のオブジェクトと識別できるよう強調表示する、といった操作の過程や操作結果を表示する。
かかる構成によれば、第１及び第２の入力部２０１、２０２に対する操作量からユーザが操作しているか否かを表す操作状態を判定し、その結果に基づいて第１及び第２の入力部２０１、２０２それぞれに割り当てる操作領域を決定する。このため、接触していても操作していないと判定された入力部には操作領域を割り当てない、あるいは操作していると判定された入力部のみを操作可能な状態にすることができる。
例えば、安定して操作するために筐体２２０を両手で把持し、第１及び第２の入力部２０１、２０２の一方（第２の入力部２０２）のみを右手で操作する場合、左手が意図せず他方（第１の入力部２０１）に接触している状態であっても、第１の入力部２０１への操作量の値は小さくなり、操作していない状態と判定される。その結果、把持による第１の入力部２０１への接触を無効化、あるいは第１の入力部２０１に操作領域を割り当てず、かつ全操作領域を右手の第２の入力部２０２に割り当てることができる。
すなわち、筐体２２０の持ち位置や各入力部への意図しない接触を気にすることなく、自由に筐体２２０を把持することができる。このため、ユーザは筐体２２０を安定して把持し、精度の高い操作を行うことができる。その結果、操作装置２００の操作性が向上する。また、操作していない指を入力領域上に置いても操作していると判定されないため、操作に使わない指を入力領域上に置くことができ、ユーザの疲労を軽減することができる。
また、操作状態の履歴に基づいて操作領域を決定する場合、例えば、現在ユーザが「操作していない」と判定された場合でも、しばらく静止し続けているのか、あるいは直前まで操作していたのかを判断することができる。このように、瞬間ではなく一定時間におけるユーザの手指の動きに基づいて判断することにより、例えば、利き手の操作領域を広げるために利き手と異なる側の手の操作を止めているのか、あるいは、入力領域上で手を動かしている途中で一時的に手の動きが止まったのか、をより正確に認識することができる。それにより、後者の場合、操作量が意図せず一時的に小さくなったとしても操作領域は小さくならないため、操作性が向上する。
（その他変形例）
なお、本発明を上記実施の形態に基づいて説明してきたが、本発明は、上記の実施の形態に限定されないのはもちろんである。以下のような場合も本発明に含まれる。
上記の各装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。ＲＡＭまたはハードディスクユニットには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
上記の各装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成要素を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。ＲＡＭには、コンピュータプログラムが記憶さている。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、システムＬＳＩは、その機能を達成する。
上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なＩＣカードまたは単体のモジュールから構成されているとしてもよい。ＩＣカードまたはモジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。ＩＣカードまたはモジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、ＩＣカードまたはモジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。
本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、コンピュータプログラムからなるデジタル信号であるとしてもよい。
また、本発明は、コンピュータプログラムまたはデジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ）、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されているデジタル信号であるとしてもよい。
また、本発明は、コンピュータプログラムまたはデジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、メモリは、上記コンピュータプログラムを記憶しており、マイクロプロセッサは、コンピュータプログラムにしたがって動作するとしてもよい。
また、プログラムまたはデジタル信号を記録媒体に記録して移送することにより、またはプログラムまたはデジタル信号をネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
上記実施の形態及び上記変形例をそれぞれ組み合わせてもよい。
以上、図面を参照してこの発明の実施形態を説明したが、この発明は、図示した実施形態のものに限定されない。図示した実施形態に対して、この発明と同一の範囲内において、あるいは均等の範囲内において、種々の修正や変形を加えることが可能である。
本発明にかかる操作装置は、筐体に複数の操作入力部を備え、家電機器のリモコンや情報機器の入力装置として有用である。
２００ 操作装置
２０１ 第１の入力部
２０２ 第２の入力部
２０３ 入力装置
２０４ 操作情報取得部
２０５ 操作量算出部
２０６ 操作量記憶部
２０７ 操作状態判定部
２０８ 操作状態記憶部
２０９ 操作領域パラメータ決定部
２１０ パラメータ更新条件判定部
２１１ 操作領域パラメータ更新部
２１２ 操作領域状態パラメータ更新部
２１３ 操作領域属性パラメータ更新部
２１４ 操作領域変更提示部
２１５ 操作領域変更部
２１６ ポインタ位置決定部
２１７ 表示制御部
２１８ 表示画面
２１９ 表示装置
２２０ 筐体
３０１ 第１の操作領域
３０２ 第２の操作領域

Claims (19)

  1. 入力装置に設けられた複数の入力部それぞれに入力されたユーザの操作を、表示装置に設けられた表示画面上の所定の面積を占める領域であって、前記各入力部に対応付けられた複数の操作領域それぞれに反映させる操作装置であって、
    前記各入力部に入力されたユーザの操作内容を示す操作情報を、前記入力装置から取得する操作情報取得部と、
    前記操作情報取得部で取得された前記操作情報を用いて、前記各入力部に対するユーザの操作量を算出する操作量算出部と、
    前記操作量算出部で算出された前記操作量が大きい程、対応する前記操作領域の面積が大きくなるように、前記各操作領域の大きさを変更する操作領域変更部とを備える
    操作装置。
  2. 前記操作領域変更部は、前記操作量が予め定められた閾値を下回る場合に、当該入力部に対応する前記操作領域の面積を０にする
    請求項１に記載の操作装置。
  3. 前記操作領域変更部は、前記各操作領域の面積の比を対応する前記操作量の比に近づけるように、前記各操作領域の大きさを変更する
    請求項１又は２に記載の操作装置。
  4. 前記操作量算出部は、前記操作情報に基づいて、互いに性質の異なる複数の操作特徴を算出し、予め定められた重み計数と前記複数の操作特徴との重み付き線形和を前記操作量として算出する
    請求項１〜３のいずれか１項に記載の操作装置。
  5. 前記入力部は、所定の面積を占める入力領域を備え、ユーザが前記入力領域に接触したときの前記入力領域上の位置座標及び接触強度の少なくとも１つを、前記操作情報として出力するタッチセンサであり、
    前記操作量算出部は、前記位置座標に基づいて移動距離、移動速度、移動加速度、及び操作方向の少なくとも１つを、又は前記接触強度に基づいて平均強度を、前記操作特徴として算出する
    請求項４に記載の操作装置。
  6. 前記タッチセンサは、静電容量方式であり、
    前記接触強度は、ユーザの指が前記タッチセンサに接触または近接したときの静電容量値である
    請求項５に記載の操作装置。
  7. 前記タッチセンサは、感圧方式であり、
    前記接触強度は、ユーザの指が前記タッチセンサを押す圧力値である
    請求項５に記載の操作装置。
  8. 該操作装置は、さらに、
    前記操作量算出部によって算出される前記操作量を記憶する操作量記憶部と、
    前記操作量記憶部に記憶されている前記操作量に基づいて、対応する前記入力部の操作状態を判定する操作状態判定部と、
    前記操作状態判定部による判定結果を記憶する操作状態記憶部とを備え、
    前記操作状態判定部は、
    前記操作量が前記閾値を下回る場合に、対応する前記入力部が操作されていないことを示す操作ＯＦＦ状態と判定し、前記操作量が前記閾値以上の場合に、対応する前記入力部が操作されていることを示す操作ＯＮ状態と判定する
    請求項１〜７のいずれか１項に記載の操作装置。
  9. 該操作装置は、さらに、
    前記入力装置に入力されたユーザの操作を対応する前記操作領域に反映させるか否かを示す操作領域状態パラメータの更新の要否を、前記操作状態判定部の判定結果に基づいて判定するパラメータ更新条件判定部と、
    前記パラメータ更新条件判定部によって前記操作領域状態パラメータの更新が必要と判定された場合に、前記操作状態判定部の判定結果に基づいて前記操作領域状態パラメータを更新する操作領域状態パラメータ更新部とを備え、
    前記パラメータ更新条件判定部は、前記操作状態判定部による最新の判定結果と過去の判定結果とが異なる場合に、前記操作領域状態パラメータの更新が必要と判定し、
    前記操作領域状態パラメータ更新部は、
    前記最新の判定結果が操作ＯＮ状態である場合、前記操作領域状態パラメータを、前記入力装置への入力を対応する前記操作領域に反映させることを示す有効状態とし、
    前記最新の判定結果が操作ＯＦＦ状態である場合に、前記操作領域状態パラメータを、前記入力装置への入力を対応する前記操作領域に反映させないことを示す無効状態とする
    請求項８に記載の操作装置。
  10. 該操作装置は、さらに、
    前記操作領域状態パラメータ更新部によって更新された前記操作領域状態パラメータの値に応じて、少なくとも前記操作領域の面積を示す情報を含む前記操作領域属性パラメータを更新する操作領域属性パラメータ更新部を備え、
    前記操作領域属性パラメータ更新部は、前記複数の操作領域のうち、前記操作領域状態パラメータが有効状態である操作領域の面積が、前記操作領域状態パラメータが無効状態である操作領域の面積より大きくなるように、前記操作領域属性パラメータを更新し、
    前記操作領域変更部は、前記操作領域属性パラメータ更新部によって更新された前記操作領域属性パラメータの値に応じて、前記各操作領域の大きさを変更する
    請求項９に記載の操作装置。
  11. 前記操作領域属性パラメータは、さらに、前記操作領域の形状、前記表示画面上の位置、及び面積、形状、位置の変更方法を示す情報を含む
    請求項１０に記載の操作装置。
  12. 該操作装置は、さらに、前記操作領域属性パラメータ更新部によって更新された前記操作領域属性パラメータの内容を、ユーザに通知する操作領域変更提示部を備える
    請求項１０又は１１に記載の操作装置。
  13. 該操作装置は、さらに、前記操作領域属性パラメータに示される前記操作領域の面積と、当該操作領域に対応付けられた前記入力部の面積との比に基づいて、ユーザが接触した前記入力部上の位置に対応する前記操作領域上の位置に、ポインタを表示させるポインタ位置決定部を備える
    請求項１０〜１２のいずれか１項に記載の操作装置。
  14. 該操作装置は、さらに、前記入力装置を備え、
    前記入力装置は、
    筐体と、
    前記筐体の同一平面上に並べて配置される前記複数の入力部とを備える
    請求項１〜１３のいずれか１項に記載の操作装置。
  15. 該操作装置は、さらに、前記表示装置を備える
    請求項１〜１３のいずれか１項に記載の操作装置。
  16. 入力装置に設けられた複数の入力部それぞれに入力されたユーザの操作を、表示装置に設けられた表示画面上の所定の面積を占める領域であって、前記各入力部に対応付けられた複数の操作領域それぞれに反映させる操作方法であって、
    前記各入力部に入力されたユーザの操作内容を示す操作情報を、前記入力装置から取得する操作情報取得ステップと、
    前記操作情報取得ステップで取得された前記操作情報を用いて、前記各入力部に対するユーザの操作量を算出する操作量算出ステップと、
    前記操作量算出ステップで算出された前記操作量が大きい程、対応する前記操作領域の面積が大きくなるように、前記各操作領域の大きさを変更する操作領域変更ステップとを含む
    操作方法。
  17. 入力装置に設けられた複数の入力部それぞれに入力されたユーザの操作を、表示装置に設けられた表示画面上の所定の面積を占める領域であって、前記各入力部に対応付けられた複数の操作領域それぞれに反映させる処理を、コンピュータに実行させるプログラムであって、
    前記各入力部に入力されたユーザの操作内容を示す操作情報を、前記入力装置から取得する操作情報取得ステップと、
    前記操作情報取得ステップで取得された前記操作情報を用いて、前記各入力部に対するユーザの操作量を算出する操作量算出ステップと、
    前記操作量算出ステップで算出された前記操作量が大きい程、対応する前記操作領域の面積が大きくなるように、前記各操作領域の大きさを変更する操作領域変更ステップとを、コンピュータに実行させる
    プログラム。
  18. 請求項１７に記載のプログラムが記録された
    コンピュータ用非一時的コンピュータ読み取り可能記録媒体。
  19. 入力装置に設けられた複数の入力部それぞれに入力されたユーザの操作を、表示装置に設けられた表示画面上の所定の面積を占める領域であって、前記各入力部に対応付けられた複数の操作領域それぞれに反映させる集積回路であって、
    前記各入力部に入力されたユーザの操作内容を示す操作情報を、前記入力装置から取得する操作情報取得部と、
    前記操作情報取得部で取得された前記操作情報を用いて、前記各入力部に対するユーザの操作量を算出する操作量算出部と、
    前記操作量算出部で算出された前記操作量が大きい程、対応する前記操作領域の面積が大きくなるように、前記各操作領域の大きさを変更する操作領域変更部とを備える
    集積回路。
JP2011536228A 2010-05-20 2011-04-25 操作装置、操作方法、プログラム、記録媒体、及び集積回路 Pending JPWO2011145276A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010116758 2010-05-20
JP2010116758 2010-05-20
PCT/JP2011/002409 WO2011145276A1 (ja) 2010-05-20 2011-04-25 操作装置、操作方法、プログラム、記録媒体、及び集積回路

Publications (1)

Publication Number Publication Date
JPWO2011145276A1 true JPWO2011145276A1 (ja) 2013-07-22

Family

ID=44991399

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011536228A Pending JPWO2011145276A1 (ja) 2010-05-20 2011-04-25 操作装置、操作方法、プログラム、記録媒体、及び集積回路

Country Status (4)

Country Link
US (1) US8854323B2 (ja)
JP (1) JPWO2011145276A1 (ja)
CN (1) CN102473074A (ja)
WO (1) WO2011145276A1 (ja)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011006448A1 (de) 2010-03-31 2011-10-06 Tk Holdings, Inc. Lenkradsensoren
US8587422B2 (en) 2010-03-31 2013-11-19 Tk Holdings, Inc. Occupant sensing system
DE102011006649B4 (de) 2010-04-02 2018-05-03 Tk Holdings Inc. Lenkrad mit Handsensoren
EP2570903A1 (en) * 2011-09-15 2013-03-20 Uniqoteq Oy Method, computer program and apparatus for enabling selection of an object on a graphical user interface
US10423328B2 (en) * 2011-12-28 2019-09-24 Hiroyuki Ikeda Portable terminal for controlling two cursors within a virtual keyboard according to setting of movement by a single key at a time or a plurality of keys at a time
WO2013154720A1 (en) 2012-04-13 2013-10-17 Tk Holdings Inc. Pressure sensor including a pressure sensitive material for use with control systems and methods of using the same
JP5966557B2 (ja) 2012-04-19 2016-08-10 ソニー株式会社 情報処理装置、情報処理方法、プログラム、及び、情報処理システム
JP2013235359A (ja) * 2012-05-08 2013-11-21 Tokai Rika Co Ltd 情報処理装置及び入力装置
JP2013257776A (ja) * 2012-06-13 2013-12-26 Tokai Rika Co Ltd タッチ式入力装置
JP6071107B2 (ja) 2012-06-14 2017-02-01 裕行 池田 携帯端末
US9487388B2 (en) 2012-06-21 2016-11-08 Nextinput, Inc. Ruggedized MEMS force die
EP2870445A1 (en) 2012-07-05 2015-05-13 Ian Campbell Microelectromechanical load sensor and methods of manufacturing the same
DE112013004512T5 (de) 2012-09-17 2015-06-03 Tk Holdings Inc. Einzelschicht-Kraftsensor
US9930082B2 (en) 2012-11-20 2018-03-27 Nvidia Corporation Method and system for network driven automatic adaptive rendering impedance
US10547713B2 (en) 2012-11-20 2020-01-28 Nvidia Corporation Method and system of transmitting state based input over a network
JP5920187B2 (ja) * 2012-11-22 2016-05-18 ブラザー工業株式会社 操作領域作成装置
CN104216651B (zh) * 2013-06-04 2018-04-06 腾讯科技（深圳）有限公司 显示社交信息的方法和装置
US9819604B2 (en) 2013-07-31 2017-11-14 Nvidia Corporation Real time network adaptive low latency transport stream muxing of audio/video streams for miracast
US9902611B2 (en) 2014-01-13 2018-02-27 Nextinput, Inc. Miniaturized and ruggedized wafer level MEMs force sensors
JP6206250B2 (ja) * 2014-02-26 2017-10-04 富士ゼロックス株式会社 表示制御装置、画像形成装置およびプログラム
US20150309601A1 (en) * 2014-04-28 2015-10-29 Shimane Prefectural Government Touch input system and input control method
GB201408258D0 (en) * 2014-05-09 2014-06-25 British Sky Broadcasting Ltd Television display and remote control
CN117486166A (zh) 2015-06-10 2024-02-02 触控解决方案股份有限公司 具有容差沟槽的加固的晶圆级mems力传感器
CN105117056B (zh) * 2015-08-17 2019-02-01 青岛海信移动通信技术股份有限公司 一种操作触摸屏的方法和设备
JP6776601B2 (ja) * 2016-04-26 2020-10-28 株式会社ジェイテクト 作業指示システム
CN106411323B (zh) * 2016-09-14 2020-03-17 芯海科技（深圳）股份有限公司 一种压力式按键的防误触发的方法
WO2018148503A1 (en) 2017-02-09 2018-08-16 Nextinput, Inc. Integrated digital force sensors and related methods of manufacture
US11243125B2 (en) 2017-02-09 2022-02-08 Nextinput, Inc. Integrated piezoresistive and piezoelectric fusion force sensor
WO2019018641A1 (en) 2017-07-19 2019-01-24 Nextinput, Inc. STACK OF STRAIN TRANSFER IN A MEMS FORCE SENSOR
WO2019023309A1 (en) 2017-07-25 2019-01-31 Nextinput, Inc. FORCE SENSOR AND INTEGRATED FINGERPRINTS
US11243126B2 (en) 2017-07-27 2022-02-08 Nextinput, Inc. Wafer bonded piezoresistive and piezoelectric force sensor and related methods of manufacture
WO2019079420A1 (en) 2017-10-17 2019-04-25 Nextinput, Inc. SHIFT TEMPERATURE COEFFICIENT COMPENSATION FOR FORCE SENSOR AND STRAIN GAUGE
WO2019090057A1 (en) 2017-11-02 2019-05-09 Nextinput, Inc. Sealed force sensor with etch stop layer
WO2019099821A1 (en) 2017-11-16 2019-05-23 Nextinput, Inc. Force attenuator for force sensor
WO2019150473A1 (ja) * 2018-01-31 2019-08-08 三菱電機株式会社 タッチパネル装置
JP6951292B2 (ja) * 2018-05-18 2021-10-20 株式会社東海理化電機製作所 演算装置およびプログラム
US10845979B2 (en) * 2019-01-10 2020-11-24 Tcl Research America, Inc. Method and system for digital content display and interaction
US10962427B2 (en) 2019-01-10 2021-03-30 Nextinput, Inc. Slotted MEMS force sensor

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11143623A (ja) * 1997-11-04 1999-05-28 Wacom Co Ltd 複数の位置指示器を検出可能な位置検出方法及び装置
JP2007334737A (ja) * 2006-06-16 2007-12-27 Canon Inc 情報処理装置及び情報処理方法
WO2008152679A1 (ja) * 2007-06-13 2008-12-18 Yappa Corporation 携帯端末装置および入力装置
WO2009006221A1 (en) * 2007-06-28 2009-01-08 Panasonic Corporation Virtual keypad systems and methods
JP2010108071A (ja) * 2008-10-28 2010-05-13 Fujifilm Corp 画像表示装置、画像表示方法およびプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7800592B2 (en) * 2005-03-04 2010-09-21 Apple Inc. Hand held electronic device with multiple touch sensing devices
US11275405B2 (en) * 2005-03-04 2022-03-15 Apple Inc. Multi-functional hand-held device
US7728824B2 (en) * 2006-02-22 2010-06-01 Sharp Kabushiki Kaisha Display device, input device, printing device, and electric device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11143623A (ja) * 1997-11-04 1999-05-28 Wacom Co Ltd 複数の位置指示器を検出可能な位置検出方法及び装置
JP2007334737A (ja) * 2006-06-16 2007-12-27 Canon Inc 情報処理装置及び情報処理方法
WO2008152679A1 (ja) * 2007-06-13 2008-12-18 Yappa Corporation 携帯端末装置および入力装置
WO2009006221A1 (en) * 2007-06-28 2009-01-08 Panasonic Corporation Virtual keypad systems and methods
JP2010108071A (ja) * 2008-10-28 2010-05-13 Fujifilm Corp 画像表示装置、画像表示方法およびプログラム

Also Published As

Publication number Publication date
US8854323B2 (en) 2014-10-07
WO2011145276A1 (ja) 2011-11-24
US20120092299A1 (en) 2012-04-19
CN102473074A (zh) 2012-05-23

Similar Documents

Publication Publication Date Title
WO2011145276A1 (ja) 操作装置、操作方法、プログラム、記録媒体、及び集積回路
AU2021201748C1 (en) User interface for manipulating user interface objects
US9823758B2 (en) Automatic performance of touch screen related functionality in response to detected stylus position
US10282081B2 (en) Input and output method in touch screen terminal and apparatus therefor
TWI633461B (zh) 用於操縱使用者介面物件之電腦實施方法、非暫時性電腦可讀儲存媒體及電子器件
US8860730B2 (en) Information processing apparatus, animation method, and program
US11068149B2 (en) Indirect user interaction with desktop using touch-sensitive control surface
US20110227947A1 (en) Multi-Touch User Interface Interaction
JP5966557B2 (ja) 情報処理装置、情報処理方法、プログラム、及び、情報処理システム
US10241662B2 (en) Information processing apparatus
JP2013131087A (ja) 表示装置
JP5713180B2 (ja) 検知領域がディスプレイの表示領域よりも小さくても同等時のように動作するタッチパネル装置
KR20150092672A (ko) 복수 개의 윈도우를 디스플레이하는 방법 및 장치
US20150277673A1 (en) Child container control of parent container of a user interface
JP2015060303A (ja) 情報処理装置
US20130159934A1 (en) Changing idle screens
US20130021367A1 (en) Methods of controlling window display on an electronic device using combinations of event generators
JP5414134B1 (ja) タッチ式入力システムおよび入力制御方法
US20180188940A1 (en) Control input method and device for executing the same
JP2010211323A (ja) 入力システム、携帯端末、入出力装置、入力システム制御プログラム、コンピュータ読み取り可能な記録媒体、および、入力システムの制御方法
JP2012146017A (ja) 電子黒板システム、電子黒板システムの制御方法、プログラムおよびその記録媒体
JP2016035705A (ja) 表示装置、表示制御方法、及び表示制御プログラム
JP6331022B2 (ja) 表示装置、表示制御方法、及び表示制御プログラム
US20170228128A1 (en) Device comprising touchscreen and camera
KR20150098366A (ko) 가상 터치패드 조작방법 및 이를 수행하는 단말기

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140124

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20140606

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141028

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141216

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20150127