JP5966557B2 - 情報処理装置、情報処理方法、プログラム、及び、情報処理システム - Google Patents

情報処理装置、情報処理方法、プログラム、及び、情報処理システム Download PDF

Info

Publication number
JP5966557B2
JP5966557B2 JP2012095497A JP2012095497A JP5966557B2 JP 5966557 B2 JP5966557 B2 JP 5966557B2 JP 2012095497 A JP2012095497 A JP 2012095497A JP 2012095497 A JP2012095497 A JP 2012095497A JP 5966557 B2 JP5966557 B2 JP 5966557B2
Authority
JP
Japan
Prior art keywords
mapping
operation surface
area
graphics
display screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012095497A
Other languages
English (en)
Other versions
JP2013222426A (ja
Inventor
山野　郁男
郁男 山野
山本　一幸
一幸 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2012095497A priority Critical patent/JP5966557B2/ja
Application filed by Sony Corp filed Critical Sony Corp
Priority to CN201380019572.8A priority patent/CN104220978B/zh
Priority to EP13723974.5A priority patent/EP2839367A2/en
Priority to PCT/JP2013/002502 priority patent/WO2013157232A2/en
Priority to US14/385,381 priority patent/US9772744B2/en
Priority to CN201810527415.2A priority patent/CN108829333B/zh
Publication of JP2013222426A publication Critical patent/JP2013222426A/ja
Application granted granted Critical
Publication of JP5966557B2 publication Critical patent/JP5966557B2/ja
Priority to US15/690,802 priority patent/US10162480B2/en
Priority to US16/205,542 priority patent/US10942620B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Description

本技術は、情報処理装置、情報処理方法、プログラム、及び、情報処理システムに関し、特に、例えば、操作性を向上させることができるようにする情報処理装置、情報処理方法、プログラム、及び、情報処理システムに関する。
例えば、TV（テレビジョン受像機）等の電子機器の遠隔操作は、チャンネルボタンやボリュームボタンが設けられたリモートコマンダのボタンの押下によって、リモートコマンダからTVにコマンドを送信することにより行われる。
ところで、近年、TVの表示画面上でのブラウザの操作等の多様な操作に対応するために、タッチパッドやタッチパネル等の操作面上のタッチを検出するタッチセンサを搭載したリモートコマンダが提案されている。
さらに、スマートフォンのように、タッチセンサを搭載した機器を用いて、タッチ操作による電子機器の遠隔操作を実現するためのアプリケーションが増加しつつある。
操作面に対するユーザの操作を検出するタッチセンサを用いて、TVその他の電子機器を操作する操作系は、第１及び第２の操作系の２つに、大きく分類することができる。
第１の操作系は、いわゆるノートPC(Personal Computer)等に設けられたタッチパッドのように、表示画面上に表示されたポインタ（カーソル）を、マウス操作と同様の、いわば「相対位置」操作によって動かし、表示画面上に配置されたGUI(Graphical User Interface)等を操作する操作系である。
第１の操作系では、タッチが開始された操作面上の位置を基準とする、操作面上のタッチがされている相対的な位置に応じて、ポインタが移動されるので、操作面上の同一の位置にタッチをしていても、ポインタが同一の位置に表示されるとは限らない。
第２の操作系は、タッチパッド等のユーザが操作する操作面上の各点（各位置）（座標）と、TV等の表示画面上の各点（各位置）（座標）とを１対１に対応させて、タッチパッド（の操作面）上の「絶対位置」に応じて移動するポインタを操作する操作系である（例えば、特許文献１を参照）。
第２の操作系では、操作面上の各点と、表示画面上の各点とが１対１に対応しているので、操作面上の同一の位置にタッチをすれば、ポインタは同一の位置に表示される。
なお、最近流行っているマルチタッチを実現するには、複数の指で、操作面がタッチされたときの各タッチ点の位置関係を維持するために、第２の操作系が必要になる。
第１の操作系では、ユーザが、タッチパッドの操作面にタッチしているかどうかにかかわらず、ポインタが、表示画面に表示されるが、第２の操作系では、例えば、ユーザが操作面にタッチしている場合に、そのタッチしている点（タッチ点）に対応する表示画面上の位置に、ポインタが表示される。
したがって、第２の操作系では、ユーザが操作面に対するタッチを解除した場合（指を離した場合）、表示画面に表示されていたポインタは、消去される。
以上のような第２の操作系では、例えば、左手の指（左指）による操作面の操作と、右手の指（右指）による操作面の操作とのそれぞれに応じて、表示画面に、ポインタを表示させることができ、両手を使って操作を行うことができる。
したがって、第２の操作系によれば、OSK(On Screen Keyboard)の操作において、キーの選択や、予測候補の選択等を、高速化に行うことができる。
特開2009-253773号公報
タッチセンサを用いた操作系については、まだ、歴史が浅く、その操作性に改良の余地がある。
本技術は、このような状況に鑑みてなされたものであり、操作性を向上させることができるようにするものである。
本技術の第１の側面の情報処理装置、又は、プログラムは、ユーザによって操作される操作面上の位置と、画像が表示される表示画面上の位置とを対応付けるマッピングを、前記表示画面に表示されるグラフィクスに応じたマッピングを行うマッピング部と、前記マッピングの結果に基づいて、前記ユーザによって操作された前記操作面上の位置に対応する、前記表示画面上の位置である対応点を検出する検出部とを備え、前記マッピング部は、前記操作面の第一の領域の一部分と、前記グラフィクス領域の第一の領域とを対応付けるようにマッピングを行い、前記操作面の第二の領域の一部分と、前記グラフィクス領域の第二の領域とを対応付けるようにマッピングを行い、前記操作面の第一の領域と、前記第二の領域との間に、前記グラフィクス領域と対応付けが行われていない領域を持つようにマッピングを行う情報処理装置、又は、情報処理装置として、コンピュータを機能させるためのプログラムである。
本技術の第１の側面の情報処理方法は、ユーザによって操作される操作面上の位置と、画像が表示される表示画面上の位置とを対応付けるマッピングを、前記表示画面に表示されるグラフィクスに応じたマッピングを行い、前記マッピングの結果に基づいて、前記ユーザによって操作された前記操作面上の位置に対応する、前記表示画面上の位置である対応点を検出するステップを含み、前記マッピングを行うステップの処理は、前記操作面の第一の領域の一部分と、前記グラフィクス領域の第一の領域とを対応付けるようにマッピングを行い、前記操作面の第二の領域の一部分と、前記グラフィクス領域の第二の領域とを対応付けるようにマッピングを行い、前記操作面の第一の領域と、前記第二の領域との間に、前記グラフィクス領域と対応付けが行われていない領域を持つようにマッピングを行う情報処理方法である。
本技術の第２の側面の情報処理システムは、ユーザによって操作される操作面を有する端末と、前記操作面の操作に応じて、処理を行う情報処理装置とを備え、前記情報処理装置は、前記操作面上の位置と、画像が表示される表示画面上の位置とを対応付けるマッピングを、前記表示画面に表示されるグラフィクスに応じたマッピングを行うマッピング部と、前記マッピングの結果に基づいて、前記ユーザによって操作された前記操作面上の位置に対応する、前記表示画面上の位置である対応点を検出する検出部とを有し、前記マッピング部は、前記操作面の第一の領域の一部分と、前記グラフィクス領域の第一の領域とを対応付けるようにマッピングを行い、前記操作面の第二の領域の一部分と、前記グラフィクス領域の第二の領域とを対応付けるようにマッピングを行い、前記操作面の第一の領域と、前記第二の領域との間に、前記グラフィクス領域と対応付けが行われていない領域を持つようにマッピングを行う情報処理システムである。
以上のような第１及び第２の側面においては、ユーザによって操作される操作面上の位置と、画像が表示される表示画面上の位置とを対応付けるマッピングが、前記表示画面に表示されるグラフィクスに応じたマッピングが行われ、前記マッピングの結果に基づいて、前記ユーザによって操作された前記操作面上の位置に対応する、前記表示画面上の位置である対応点が検出され、前記操作面の第一の領域の一部分と、前記グラフィクス領域の第一の領域とが対応付けられるようにマッピングが行われ、前記操作面の第二の領域の一部分と、前記グラフィクス領域の第二の領域とが対応付けられるようにマッピングが行われ、前記操作面の第一の領域と、前記第二の領域との間に、前記グラフィクス領域と対応付けが行われていない領域を持つようにマッピングが行われる。
なお、情報処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
また、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
本技術によれば、操作性を向上させることができる。
本技術を適用した情報処理システムの一実施の形態の構成例を示す斜視図である。 端末１０の構成例を示す斜視図である。 情報処理システムの処理の概要を説明する図である。 端末１０及びTV２０の構成例を示すブロック図である。 端末１０の処理を説明するフローチャートである。 TV２０の処理を説明するフローチャートである。 操作面１１と、表示画面２１とを対応付けるマッピングの例を説明する図である。 第１のマッピングを説明する図である。 第２のマッピングを説明する図である。 第２のマッピングによる操作面１１上の位置（Xin,Yin)と、表示画面２１上の対応点(Xout,Yout)との対応関係を示す図である。 第３のマッピングを説明する図である。 第３のマッピングによる操作面１１上の位置（Xin,Yin)と、表示画面２１上の対応点(Xout,Yout)との対応関係を示す図である。 第３のマッピング（制限マッピング）の適用判定の処理を説明するフローチャートである。 タッチ点認識の処理を説明するフローチャートである。 第４のマッピングを説明する図である。 第４のマッピングによる操作面１１上の位置（Xin,Yin)と、表示画面２１上の対応点(Xout,Yout)との対応関係を示す図である。 第４のマッピング（オフセットマッピング）の適用判定の処理を説明するフローチャートである。 端末１０のタッチスクリーンとしての操作面１１の表示例を示す図である。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
［本技術を適用した情報処理システムの一実施の形態］
図１は、本技術を適用した情報処理システムの一実施の形態の構成例を示す斜視図である。
図１において、情報処理システムは、端末１０とTV２０とを有する。
端末１０は、例えば、スマートフォン等のタブレット端末や、電子機器を遠隔操作するリモートコマンダであり、図１では、TV２０を遠隔操作するリモートコマンダとして機能する。
端末１０は、ユーザによって操作される長方形状等の操作面１１を有し、その操作面１１に対するユーザの操作を表す操作情報を、TV２０に送信する。
TV２０は、画像を表示する、長方形状の表示画面２１を有し、テレビジョン放送番組や、図示せぬレコーダで録画された番組、図示せぬ内蔵記録媒体に記録された番組等のコンテンツの画像を表示する。
また、TV２０は、GUI、すなわち、例えば、ブラウザ等のグラフィクスを、表示画面２１に表示する。
さらに、TV２０は、端末１０から送信されてくる操作情報を受信し、その操作情報に従い、チャンネルの選択（選局）や、音量の増減、メニューの表示、ブラウザ等のGUIに対応する処理等の処理を行う。
以上のように構成される情報処理システムでは、端末１０において、ユーザがタッチしている操作面１１上の位置（タッチ点）の座標等の、タッチ点を表す情報を含む操作情報が、TV２０に送信される。
TV２０では、端末１０からの操作情報に基づき、タッチ点に対応する表示画面２１上の位置である対応点が検出され、その対応点に応じた処理が行われる。
図２は、図１の端末１０の構成例を示す斜視図である。
端末１０は、平板形状をしており、その一面に、ユーザによって操作される長方形状の操作面１１が設けられている。
ここで、端末１０の操作面１１が設けられている面を、端末１０の正面（表面）ともいう。
また、長方形状の操作面１１の長手方向を、左右に向けたときの、操作面１１としての長方形の２つの長辺の一方側を、端末１０の上側ともいう。
端末１０は、例えば、静電（静電容量）式等のタッチパネル又はタッチパッドや、光を照射する光源と、その光の、物体からの反射光を受光するセンサとのセット等を内蔵し、操作面１１に対する外部からの入力（近接・接触）を受け付ける（検知する）機能を有する。
端末１０は、操作面１１に対して、外部からの物体、すなわち、例えば、ユーザの指や、ユーザが扱うタッチペン等が近接し、又は、接触（タッチ）すると、その近接、又は、接触している位置を表す位置情報を含む操作情報を送信する。
ここで、以下では、操作面１１に対する近接については、適宜、説明を省略する。
ユーザの指等が接触している位置（タッチ点）を表す位置情報としては、例えば、その操作面１１上のタッチ点の座標や、操作面１１の各点に対する接触の度合いを表す情報（例えば、操作面１１が静電式のタッチパネル等で構成される場合の操作面１１の静電容量の分布等）等の、指が接触している操作面１１上のタッチ点を特定可能な情報を採用することができる。
また、端末１０では、タッチ点の位置情報の座標系として、例えば、端末１０の上側（図２において白抜きの矢印で示す）に向かう方向をy軸とするとともに、操作面１１の長手方向をx軸とし、かつ、操作面１１（を含む２次元平面）上の所定の点を原点とする、固定の２次元座標系を採用することができる。
さらに、端末１０では、例えば、操作面１１上のユーザの指の影（ユーザの指を、操作面１１に垂直に射影した場合にできる影）や、重力センサ等に基づいて、ユーザが、端末１０を持っているときの、その端末１０の姿勢を検出し、その端末１０の姿勢に応じた可変の２次元座標系を、タッチ点の位置情報の座標系として採用することができる。
すなわち、端末１０では、ユーザが、端末１０を持っているときの操作面１１の上下方向をy軸とするとともに、左右方向をx軸とし、かつ、操作面１１上の所定の点を原点とする、端末１０の姿勢によって変化する可変の２次元座標系を、タッチ点の位置情報の座標系として採用することができる。
なお、上述したように、TV２０では、端末１０からの操作情報に基づき、タッチ点に対応する表示画面２１上の対応点が検出されるが、対応点の検出に、位置情報の他、操作面１１のサイズ（例えば、x座標及びy座標それぞれの最小値と最大値）が必要な場合には、端末１０からTV２０に送信される操作情報には、位置情報の他、対応点の検出に必要な、操作面１１のサイズ等の情報も、必要に応じて含まれる。
ここで、以下では、説明を簡単にするため、特に断らない限り、ユーザは、端末１０の上側の反対側（下側）を、ユーザに近い位置に向け、ユーザが操作面１１を見ることができるように、端末１０（操作面１１）の長手方向の端部を、左右の手で持った状態（以下、標準状態ともいう）で、左右の指で、操作面１１を操作することとする。
ユーザが、端末１０に対して行う操作としては、大きく分けて、TV２０の表示画面２１に表示されたGUIにおけるボタン等を選択するための操作（ポインティング）と、その選択を決定（確定）する決定操作とがある。
図２に示すように、端末１０の正面や、裏面（正面の反対側の面）、側面には、物理的なボタン１３が、必要に応じて設けられており、端末１０では、例えば、端末１０の側面に設けられたボタン１３の操作を、決定操作に割り当てることができる。
すなわち、例えば、ユーザが、標準状態で、端末１０を持っている場合には、端末１０の上側の側面の左側に設けられたスイッチ１３は、左手の人差し指等で、容易に操作することができ、端末１０の上側の側面の右側に設けられたスイッチ１３は、右手の人差し指等で、容易に操作することができる。
そこで、端末１０の上側の側面の左側に設けられたスイッチ１３の操作を、左指による操作面１１に対する操作によって行っている選択を決定する決定操作に割り当てることができる。同様に、端末１０の上側の側面の右側に設けられたスイッチ１３の操作を、右指による操作面１１に対する操作によって行っている選択を決定する決定操作に割り当てることができる。
また、端末１０では、例えば、操作面１１に接触した状態の指を、操作面１１から離すリリース操作を、決定操作に割り当てることができる。
すなわち、操作面１１に接触している左指を離す操作を、その直前に行っていた、左指による操作面１１に対する操作（接触）による選択を決定する決定操作に割り当てることができる。同様に、操作面１１に接触している右指を離す操作を、その直前に行っていた、右指による操作面１１に対する操作による選択を決定する決定操作に割り当てることができる。
さらに、端末１０では、例えば、操作面１１に接触した状態の指によって、操作面１１を押下する押下操作を、決定操作に割り当てることができる。
端末１０において、操作面１１の押下操作については、例えば、図２に示すように、操作面１１の左右（長手方向）の端部それぞれに、操作面１１を押下する圧力を検出する圧力（荷重）センサを設けておき、それぞれの圧力センサにより検出される圧力に基づいて、ユーザの左指、又は、右指のいずれで、押下操作がされたかを検出することができる。
具体的には、操作面１１の左右の圧力センサそれぞれが出力する圧力と、ユーザの左指、及び、右指それぞれの操作面１１上のタッチ点（の座標）とを用いて、ユーザの左指、及び、右指のタッチ点それぞれの押下力を算出し、押下力が所定の閾値を超えているタッチ点に対して、決定操作としての押下操作がされたと判定することができる。あるいは、例えば、操作面１１の左右の圧力センサそれぞれが出力する圧力の比に基づいて、ユーザの左指、又は、右指のタッチ点に対して、決定操作としての押下操作がされたかどうかを判定することができる。
なお、圧力センサを設ける位置は、操作面１１の左右の端部に限定されるものではない。また、圧力センサは、１つだけ設けてもよいし、３個以上設けてもよい。
その他、端末１０において、操作面１１の押下操作については、例えば、操作面１１を押下可能なように（内部側に押し込むことが可能なように）構成するとともに、操作面１１の左右の端部それぞれに、操作面１１の押下を検出するクリックスイッチを設けておき、それぞれのクリックスイッチのオン、オフ状態に基づいて、ユーザの左指、又は、右指のいずれで、押下操作がされたかを検出することができる。
また、端末１０において、操作面１１の押下操作については、例えば、操作面１１を押下可能なように構成するとともに、操作面１１を静電式のタッチパッド等で構成し、かつ、操作面１１の押下を検出する１つのクリックスイッチを設けておき、クリックスイッチがオン状態になったときの操作面の１１の静電容量の変化に基づいて、ユーザの左指、又は、右指のいずれで、押下操作がされたかを検出することができる。
さらに、端末１０において、操作面１１の押下操作については、例えば、操作面１１を静電式のタッチパッド等で構成し、操作面の１１の静電容量の変化に基づいて、操作面１１の押下と、その押下が、ユーザの左指、又は、右指のいずれの操作により行われたかを検出することができる。
また、操作面１１を、ユーザの指等の近接によって操作可能な場合には、操作面への接触（タッチ）を、決定操作に割り当てることができる。
図３は、図１の情報処理システムの処理の概要を説明する図である。
図３においては、TV２０において、表示画面２１に、ある番組の画像（番組画像）が表示され、さらに、GUIを構成するアイコン３１が、番組画像に重畳する形で表示されている。
ここで、アイコン３１は、音量を調整する音量ボタンや、チャンネルを選択する選曲ボタン等の各種のボタン（仮想的なボタン）として機能する。
端末１０は、例えば、定期的、又は、端末１０の操作状態に変化があった場合等の不定期に、操作情報を、TV２０に送信する。
TV２０は、端末１０からの操作情報に基づき、端末１０の操作状態を認識（検出）し、端末１０の操作面１１に、ユーザの左指がタッチしているときには、その左指がタッチしている操作面１１のタッチ点（以下、左タッチ点ともいう）に対応する表示画面２１上の対応点（以下、左対応点ともいう）に、左指がタッチしていることを表すシンボル画像としてのポインタ３０Ｌを表示する。
同様に、TV２０は、端末１０の操作面１１に、ユーザの右指がタッチしているときには、その右指がタッチしている操作面１１のタッチ点（以下、右タッチ点ともいう）に対応する表示画面２１上の対応点（以下、右対応点ともいう）に、右指がタッチしていることを表すシンボル画像としてのポインタ３０Ｒを表示する。
ポインタ３０Ｌ及び３０Ｒは、色や、模様、形状等の表示形式を変えることにより、それぞれを、ユーザが容易に区別することができるように表示することができる。
また、図３では、左指（のタッチ）を表すポインタ３０Ｌとして、円形のグラフィクスが採用されているが、ポインタ３０Ｌとしては、その他、例えば、矢印の形状のグラフィクスや、操作面１１に接触している左指の形状のグラフィクス、操作面１１に対する左指の接触（近接）の程度を、濃淡や色で表現した左指の形状のグラフィクス等を採用することができる。右指（のタッチ）を表すポインタ３０Ｒについても、同様である。
ユーザが、操作面１１に、ユーザの指（左指、右指）を接触させると、ユーザの指がタッチしている操作面１１のタッチ点に対応する表示画面２１上の対応点に、ポインタ３０Ｌや３０Ｒが表示される。
ユーザが、操作面１１にタッチしている指を、タッチしたまま移動することで、ポインタ３０Ｌ又は３０Ｒは、ユーザの指の移動に応じて移動する。図３では、操作面１１のタッチ点と、表示画面２１上の対応点とは、一対一に対応しており、ユーザは、表示画面２１に直接触れているかのような間隔で、操作を行うことができる。
ユーザが、操作面１１にタッチしている指を移動することで、ポインタ３０Ｌ又は３０Ｒを、例えば、所望のアイコン３１上に移動し、ポインタ３０Ｌ又は３０Ｒがアイコン３１上に位置している（ポインティングしている）状態で、決定操作を行うと、端末１０は、ユーザの決定操作を表す操作情報を、TV２０に送信する。
TV２０は、決定操作を表す操作情報を受信すると、決定操作が行われたときにポインタ３０Ｌ又は３０Ｒが位置していたアイコン３１に対応する処理、すなわち、例えば、音量の調整や、チャンネルの選択を行う。
［端末１０及びTV２０の構成例］
図４は、図１の端末１０及びTV２０の構成例を示すブロック図である。
図４において、端末１０は、操作面１１、センサ１２、ボタン群１３、制御部４１、メモリ４２、及び、通信部４３を有する。
操作面１１は、例えば、ユーザによって操作される長方形状等の面である。センサ１２は、操作面１１に対する操作を検出し、その検出結果を表す検出情報を、制御部４１に供給する。
なお、センサ１２には、タッチパッドやタッチパネル等のタッチセンサの他、図２で説明した圧力センサ等の必要なセンサが、必要に応じて含まれる。
また、操作面１１は、タッチセンサの一部分である。
さらに、タッチセンサとして、操作面１１が透明なタッチパネルを採用する場合、その操作面１１と、液晶パネル等の表示部とを一体的に構成することができる。この場合、操作面１１は、画像を表示し、その画像に対する入力を受け付けることができるタッチスクリーンとして機能する。タッチスクリーンを構成する表示部には、制御部４１の制御に従って、GUI等の必要な画像が表示される。
ボタン１３は、図２で説明した、端末１０の側面等に設けられた物理的なボタンであり、ユーザによって操作される。
制御部４１は、端末１０を構成する各ブロックの制御、その他の必要な処理を行う。
すなわち、制御部４１は、センサ１２からの検出情報や、ボタン１３の操作に基づき、ユーザによる、操作面１１を含む端末１０に対する操作を表す操作情報を生成し、通信部４３に供給する。また、制御部４１は、通信部４３で受信された情報に従い、必要な処理を行う。
メモリ４２は、制御部４１の動作上必要なデータ（情報）を記憶する。
通信部４３は、例えば、無線LAN(Local Area Network)や、IEEE 802.15（いわゆるbluetooth（登録商標））、赤外線等の無線による通信（無線通信）を行う。
すなわち、通信部４３は、制御部４１からの操作情報を、TV５１に送信する。
また、通信部４３は、TV２０等から無線で送信されてくる情報を受信し、制御部４１に供給する。
TV２０は、通信部５１、情報処理部５２、表示部５３、及び、TV機能部５４を有する。
通信部５１は、通信部４３と同様に、無線通信を行う。
すなわち、通信部５１は、情報処理部５２等から供給される情報を送信する。また、通信部５１は、端末１０（の通信部４３）から送信されている操作情報を受信し、情報処理部５２に供給する。
情報処理部５２は、通信部５１から供給される操作情報を用いて、端末１０を用いたTV２０の遠隔操作のための各種の情報（信号）処理を行う。
すなわち、情報処理部５２は、表示制御部６１、マッピング部６２、及び、対応点検出６３を有する。
表示制御部６１は、表示部５３に、画像を表示させる表示制御を行う。
すなわち、表示制御部６１は、例えば、ブラウザやOSK等のGUIを生成すること等により取得し、表示部５３に表示させる。また、表示制御部６１は、例えば、対応点検出部６３で検出される、表示部５３の表示画面２１上の対応点に、端末１０の操作面１１にタッチがされていることを表すシンボル画像としてのポインタ３０Ｌや３０Ｒを、表示部５３に表示させる。
マッピング部６２は、端末１０の操作面１１上の位置と、表示部５３の表示画面２１上の位置とを対応付けるマッピングを、表示部５３に表示されるGUIに基づいて行う。
対応点検出部６３は、マッピング部６２によるマッピングの結果に基づいて、通信部５１からの操作情報から認識される、ユーザがタッチしている操作面１１上のタッチ点に対応する、表示部５３の表示画面２１上の対応点を検出する。
表示部５３は、例えば、液晶パネルや、有機EL(Electro Luminescence)パネル等の、表示画面２１を有するディスプレイパネルであり、表示制御部６１の制御に従って、GUIや、ポインタ３０Ｌ及び３０Ｒ等を、表示画面２１に表示する。
また、表示部５３は、TV機能部５４から供給される画像を表示する。
TV機能部５４は、TV２０を、TVとして機能させるためのブロックであり、例えば、テレビジョン放送番組の受信や、テレビジョン放送番組等のコンテンツの録画、録画したコンテンツの再生等を行う。
TV機能部５４において受信されたテレビジョン放送番組や、再生されたコンテンツの画像は、TV機能部５４から表示部５３に供給され、表示画面２１に表示される。
図５は、図４の端末１０の処理を説明するフローチャートである。
制御部４１は、ステップＳ１１において、センサ１２の出力や、ボタン１３の操作に応じて、操作情報を生成することにより取得し、通信部４３に供給して、処理は、ステップＳ１２に進む。
ステップＳ１２では、通信部４３が、制御部４３からの操作情報を送信する。その後、処理は、ステップＳ１２からステップＳ１１に戻り、以下、同様の処理が繰り返される。
図６は、図４のTV２０の処理を説明するフローチャートである。
ステップＳ２１において、表示制御部６１は、ユーザの操作その他のイベントに従って、GUIを生成し、表示部５３に供給して、表示画面２１に表示させ、処理は、ステップＳ２２に進む。
ステップＳ２２では、マッピング部６２は、表示画面２１に表示されたGUIに基づいて、端末１０の操作面１１上の位置と、表示部５３の表示画面２１上の位置とを対応付けるマッピグを行い、処理は、ステップＳ２３に進む。
ステップＳ２３では、通信部５１が、端末１０から操作情報が送信されてくるのを待って、その操作情報を受信し、情報処理部５２に供給して、処理は、ステップＳ２４に進む。
ステップＳ２４では、情報処理部５２の対応点検出部６３が、マッピング部６２において直前に行われマッピングの結果に基づいて、通信部５１からの操作情報から認識される、ユーザがタッチしている操作面１１上のタッチ点に対応する、表示部５３の表示画面２１上の対応点を検出して、処理は、ステップＳ２５に進む。
ステップＳ２５では、表示制御部６１が、対応点検出部６３で検出された、表示部５３の表示画面２１上の対応点に、ポインタ３０Ｌや３０Ｒを表示させ、処理は、ステップＳ２３に戻る。
［表示画面２１の表示例］
図７は、操作面１１（上の位置）と、表示画面２１（上の位置）とを対応付けるマッピングの例を説明する図である。
図７では、操作面１１の全体と、表示画面２１の全体とを均一に対応付けるように、マッピングが行われており、かかるマッピングを、以下、適宜、通常マッピングともいう。
いま、表示画面２１の横方向（水平方向）の長さH2が、操作面１１の横方向（長手方向）の長さH1のkx（＝H2/H1）倍であり、表示画面２１の縦方向（垂直方向）の長さV2が、操作面１１の縦方向の長さV1のky（＝V2/V1）倍であることとすると、通常マッピングでは、タッチ点(Xin,Yin)（x座標がXinで、y座標がYinの点（位置））には、点(kx×Xin,ky×Yin)が、対応点(Xout,Yout)として対応付けられる。
なお、ここでは、説明を簡単にするため、例えば、操作面１１上のタッチ点(Xin,Yin)を規定する２次元座標系の原点が、操作面１１の左下の点（頂点）であるとするとともに、表示画面２１上の対応点(Xout,Yout)を規定する２次元座標系の原点が、表示画面２１の左下の点であるとすることとする。
図７では、web上を検索する文字列を入力するための入力欄、入力欄に入力された文字（列）から、入力されることが予測される文字列等の候補が表示される予測候補欄、及び、OSKをGUI部品とするGUI（以下、検索GUIともいう）が表示されている。
また、図７では、検索GUIが、テレビジョン放送番組の画像（番組画像）に重畳する形で表示されている。
ここで、図７において、予測候補欄には、左側と右側の２列に分かれて、予測候補が表示されている。左側の予測候補は、入力欄に入力された文字（列）から、入力されることが予測される文字列の候補である。右側の予測候補は、入力欄に入力された文字（列）から、検索しようとしていることが予測される、TV２０に録画されているコンテンツの候補のタイトルである。
ところで、図７では、番組画像がなるべく見えるように、検索GUIは、半透明になっている。さらに、図７では、検索GUIの縦の長さは、表示画面２１の縦の長さにほぼ一致しているが、検索GUIの横幅は、番組画像がなるべく見えるように（ユーザが番組画像を、なるべく確認しやすいように）、表示画面２１の横幅に対して、ある程度のマージン分だけ短くなっている。
そして、検索GUIは、表示画面２１の中央部分に表示されており、これにより、検索GUIが重畳された番組画像は、左右の部分が明確に見える状態で表示されている。
以下、以上のような、通常マッピングよりも、端末１０の操作性を向上させることができるマッピングとして、第１ないし第４のマッピングを説明する。
［第１のマッピング］
図８は、操作面１１と表示画面２１とを対応付ける第１のマッピングを説明する図である。
通常マッピングでは、表示画面２１に表示されるGUIに関係なく、図７で説明したように、例えば、操作面１１の全体と、表示画面２１の全体とが均一に対応付けられる。
したがって、通常マッピングでは、ユーザは、表示画面２１のGUIが表示されている領域（以下、GUI領域ともいう）の他、GUI領域以外の領域（以下、非GUI領域ともいう）をも操作（ポインティング）することができる。
ここで、表示画面２１上の領域を操作する、とは、その領域内に、対応点が位置するように、操作面１１を操作することを意味する。
以上のように、通常マッピングでは、ユーザは、非GUI領域を操作することができるが、非GUI領域には、GUIが表示されていないため、操作する必要がない。
そこで、第１のマッピングでは、マッピング部６２は、表示画面２１に表示されるGUIに基づき、操作面１１上の位置と、表示画面２１上の位置のうちの、GUIが表示されているGUI領域（グラフィクス領域）上の位置とを対応付ける。
図８では、操作面１１の全体と、GUI領域の全体とを、均一に対応付けるように、マッピングが行われている。
ここで、操作面１１の全体（又は一部）と、GUI領域の全体とを、均一に対応付けるマッピングを、均一マッピングともいう。
均一マッピングでは、GUI領域の横方向の長さH2が、操作面１１の横方向の長さH1のkx（＝H2/H1）倍であり、GUI領域の縦方向の長さV2が、操作面１１の縦方向の長さV1のky（＝V2/V1）倍であることとすると、操作面１１上の位置(Xin,Yin)と、GUI領域上の位置(kx×Xin,ky×Yin)とが対応付けられる。
なお、ここでは、説明を簡単にするため、例えば、GUI領域は、長方形状の領域であり、かつ、操作面１１上の位置（点）(Xin,Yin)を規定する２次元座標系の原点が、操作面１１の左下の点（頂点）であるとするとともに、GUI領域上の位置(Xout,Yout)を規定する２次元座標系の原点が、GUI領域の左下の点であるとすることとする。
GUI領域は、最大でも、表示画面２１に等しく、基本的には、表示画面２１よりも小さい。
図８では、図７で説明した検索GUIが表示されているが、検索GUIは、図７で説明したように、表示画面２１よりも小さい。
いま、表示画面２１のあるサイズの領域を、単位領域ということとすると、操作面１１の全体とGUI領域の全体とを対応付ける均一マッピング（第１のマッピング）によれば、操作面１１の全体と表示画面２１の全体とを対応付ける通常マッピングよりも、単位領域に、操作面１１上のより広い範囲が対応付けられる。
すなわち、例えば、図８に示したように、表示領域２１に、OSKが表示される場合に、OSKの各キー（の表示領域）には、通常マッピングよりも、均一マッピングの方が、操作面１１のより広い範囲が対応付けられる。
その結果、ユーザは、通常マッピングの場合よりも、OSKの各キーが大きくなったかのような感覚で、比較的、ラフな精度で、操作面１１を操作することができ、端末１０の操作性（OSKの操作性でもある）を向上させることができる。
ここで、均一マッピングは、表示画面２１に表示されるGUIに応じて、通常マッピングの場合よりも、対応点とすることができる表示画面２１上の領域を、表示画面２１全体から、GUI領域に縮小している、ということができる。
なお、表示画面２１に表示しきれない大きなGUIを表示する場合、均一マッピングでは、結果としては、通常マッピングと同様に、操作面１１の全体と表示画面２１の全体とを対応付けることができる他、大きなGUIを表示することができるように、表示画面２１を大きくした仮想的な表示画面を想定し、その仮想的な表示画面に、大きなGUIの全体が表示されたときのGUI領域と、操作面１１とを対応付けることができる。
均一マッピングにおいて、表示画面２１を大きくした仮想的な表示画面に、大きなGUIの全体が表示されたときのGUI領域と、操作面１１とを対応付ける場合、均一マッピングは、表示画面２１に表示されるGUIに応じて、通常マッピングの場合よりも、対応点とすることができる表示画面２１上の領域を、仮想的な表示画面に表示された大きなGUI領域に拡大している、ということができる。
なお、表示画面２１に複数のGUIが表示されている場合には、マッピング部６２は、アクティブになっている（フォーカスされている）GUIに基づいてマッピングを行う。したがって、アクティブになっているGUIが切り換えられると、マッピング部６２は、切り換え後のGUIに基づいて、マッピングをやり直す。
［第２のマッピング］
図９は、操作面１１と表示画面２１とを対応付ける第２のマッピングを説明する図である。
第２のマッピングは、表示画面２１に表示されたGUIを構成するGUI部品に基づき、操作面１１上の位置と、GUI領域上の位置とを対応付け、これにより、サイズが小さい（又は大きい）GUI部品が表示されている領域に対して、均一マッピングの場合よりも操作面１１の広い（又は狭い）範囲を対応付ける。
ここで、図９において、表示画面２１には、図７で説明したように、入力欄、予測候補欄、及び、OSKをGUI部品とする検索GUIが表示されている。
なお、GUI部品である予測候補欄は、さらに、各予測候補をGUI部品として構成されている。また、GUI部品であるOSKは、さらに、各キーをGUI部品として構成されている。
検索GUIにおいて、例えば、予測候補欄とOSKに注目すると、予測候補欄に表示される予測候補は、OSKの各キーと比較して、横幅が大きいので、相対的に、予測候補の操作の難易度は低く（操作がしやすく）、OSKのキーの操作の難易度は高い（操作がしにくい）。
そこで、第２のマッピングでは、表示画面２１に表示されたGUIを構成するGUI部品に基づき、サイズが小さいGUI部品が表示されている領域に対して、均一マッピングの場合よりも操作面１１の広い範囲を対応付ける。
すなわち、図９において、第２のマッピングでは、GUI部品に、そのGUI部品の横幅に反比例するような縦幅の操作面１１の範囲が対応付けられる。
このため、図９では、横幅の広い予測候補には、均一マッピングの場合よりも狭い縦幅の操作面１１の範囲が対応付けられており、横幅の狭いOSKのキーには、均一マッピングの場合よりも広い縦幅の操作面１１の範囲が対応付けられている。
図１０は、第２のマッピングによる操作面１１上の位置（Xin,Yin)と、表示画面２１上の対応点(Xout,Yout)との対応関係を示す図である。
なお、GUI領域の横方向の長さH2が、操作面１１の横方向の長さH1のkx（＝H2/H1）倍であり、GUI領域の縦方向の長さV2が、操作面１１の縦方向の長さV1のky（＝V2/V1）倍であることとし、さらに、kx＝ky＝kであることとする。
また、説明を簡単にするため、GUI領域は、長方形状の領域であり、かつ、操作面１１上の位置(Xin,Yin)を規定する２次元座標系の原点が、操作面１１の左下の点（頂点）であるとするとともに、GUI領域上の位置(Xout,Yout)を規定する２次元座標系の原点が、GUI領域の左下の点であるとすることとする。
均一マッピングでは、図１０に、一点鎖線で示すように、操作面１１上の位置(Xin,Yin)と、GUI領域上の位置(k×Xin,k×Yin)とが対応付けられる。
なお、図１０では、x座標の対応関係の図示は、省略してあり、y座標の対応関係のみを図示してある。
第２のマッピングでは、図１０に、実線で示すように、操作面１１上の位置Yin（y座標がYinの操作面１１上の位置）が、GUI領域上の位置Yout＝f(Yin)に対応付けられる。
ここで、関数f(Yin)は、第２のマッピングを表す。
図１０の関数f(Yin)によれば、OSK（が表示されている領域）には、均一マッピングの場合よりも、縦幅（y方向の幅）が広い操作面１１の範囲が、予測候補欄には、均一マッピングの場合よりも、縦幅（y方向の幅）が狭い操作面１１の範囲が、入力欄には、均一マッピングの場合と同様の縦幅の操作面の１１の範囲が、それぞれ対応付けられる。
なお、図９の第２のマッピングでは、横方向については、均一マッピングと同様のマッピングが行われる。
以上のように、第２のマッピングによれば、キーの横幅の狭いOSKに、均一マッピングの場合よりも、縦幅が広い操作面１１の範囲が対応付けられるので、操作面１１を操作するユーザは、あたかもOSKの各キーの縦幅が広くなったような感覚で、OSKを操作することができ、OSKのキーの操作の難易度を下げ、OSKの操作性を向上させることができる。
すなわち、第２のマッピングによれば、例えば、OSKのキーや、webページへのリンクボタン等のような、サイズが小さく、均一マッピングでは、緻密な指の動きが必要となる操作の難易度が高いGUI部品へのポインティングを、容易に行うことが可能となる。
なお、図９及び図１０の第２のマッピングによれば、予測候補欄に、均一マッピングの場合よりも、縦幅が狭い操作面１１の範囲が対応付けられるため、縦方向（y方向）については、予測候補欄の予測候補の操作の難易度は上がることになる。
但し、予測候補は、横幅が広く、横方向については、均一マッピングの場合と同様の操作性が担保されるため、総合的には、予測候補欄に、均一マッピングの場合よりも、縦幅が狭い操作面１１の範囲が対応付けられることによる予測候補欄の操作性への影響は、ほとんどない。
ここで、第２のマッピングは、操作面１１上の位置に対する、通常マッピングの場合の対応点を、表示画面２１に表示されるGUI部品（のサイズ）に応じて補正している、ということができる。
なお、図９及び図１０では、第２のマッピングとして、GUI部品に、そのGUI部品の横幅に反比例するような縦幅の操作面１１の範囲（GUI部品の横幅が小（又は大）であるほど、縦幅が大（又は小）の範囲）を対応付けることとしたが、その他、第２のマッピングでは、GUI部品に、そのGUI部品の縦幅に反比例するような横幅の操作面１１の範囲を対応付けることができる。
また、図９及び図１０では、第２のマッピングにおいて、第１のマッピングと同様に、操作面１１上の位置と、表示画面２１上の位置のうちの、GUI領域上の位置とを対応付けることとしたが、第２のマッピングでは、その他、例えば、通常マッピングと同様に、操作面１１の全体と、表示画面２１の全体とを対応付けることができる。
［第３のマッピング］
図１１は、操作面１１と表示画面２１とを対応付ける第３のマッピングを説明する図である。
第１及び第２のマッピングでは、操作面１１上のタッチ点が、ユーザの左指がタッチしている左タッチ点であるか、又は、ユーザの右指がタッチしている右タッチ点であるかにかかわらず、同一のマッピングが適用されるが、第３のマッピングでは、左タッチ点と右タッチ点とについて（ユーザの左手による操作面１１の操作と、右手による操作面１１の操作とについて）、異なるマッピングが行われる。
すなわち、第３のマッピングでは、左タッチ点については、操作面１１の一部分と、GUI領域の一部分とが対応付けられ、右タッチ点については、操作面１１の他の一部分と、GUI領域の残りの部分とが対応付けられる。
図１１では、左タッチ点については、操作面１１の左側の一部分としての操作面１１の略左半分の範囲（以下、左操作範囲ともいう）と、GUI領域の左半分とが、均一に対応付けられており、右タッチ点については、操作面１１の右側の一部分としての操作面１１の略右半分の範囲（以下、右操作範囲ともいう）と、GUI領域の右半分とが、均一に対応付けられている。
また、図１１では、操作面１１の左操作範囲と右操作範囲との間には、すき間が空いている。
さらに、図１１では、操作面１１の左操作範囲に対応付けられたGUI領域の左半分の領域（以下、左GUI領域ともいう）の右側の境界は、OSKの直線上に並んだ"T"，"G"、及び、"V"キーの右側の境界に一致している。
また、図１１では、操作面１１の右操作範囲に対応付けられたGUI領域の右半分の領域（以下、右GUI領域ともいう）の左側の境界は、OSKの直線上に並んだ"Y"，"H"、及び、"B"キーの左側の境界に一致している。
図１２は、第３のマッピングによる操作面１１上の位置（Xin,Yin)と、表示画面２１上の対応点(Xout,Yout)との対応関係を示す図である。
なお、GUI領域の横方向の長さH2が、操作面１１の横方向の長さH1のkx（＝H2/H1）倍であり、GUI領域の縦方向の長さV2が、操作面１１の縦方向の長さV1のky（＝V2/V1）倍であることとし、さらに、kx＝ky＝kであることとする。
また、説明を簡単にするため、GUI領域は、長方形状の領域であるとし、操作面１１上の左下の点（位置）を点(Xin_min,Yin_min)とするとともに、右上の点を点(Xin_max,Yin_max)とする。さらに、GUI領域上の左下の点を点(Xout_min,Yout_min)とするとともに、右上の点を点(Xout_max,Yout_max)とする。
例えば、いま、(Xin_min,Yin_min)＝(Xout_min,Yout_min)＝(0,0)とすると、均一マッピングでは、図１０に、一点鎖線で示すように、操作面１１上の位置(Xin,Yin)と、GUI領域上の位置(k×Xin,k×Yin)とが対応付けられる。
なお、図１２では、y座標の対応関係の図示は、省略してあり、x座標の対応関係のみを図示してある。
第３のマッピングでは、操作面１１上の左タッチ点Xin_L（x座標がXin_Lの操作面１１上の左タッチ点）については、図１２に、実線で示すように、左タッチ点Xin_Lが、GUI領域上の位置Xout_L＝fL(Xin_L)に対応付けられる。
さらに、第３のマッピングでは、操作面１１上の右タッチ点Xin_Rについては、図１２に、点線で示すように、右タッチ点Xin_Rが、GUI領域上の位置Xout_R＝fR(Xin_R)に対応付けられる。
ここで、関数fL(Xin_L)及びfR(Xin_R)が、第３のマッピングを表す。
図１２の関数fL(Xin_L)によれば、左タッチ点Xin_Lについては、左操作範囲の左端の点Xin_min＝0から右端の点in1までの範囲では、左タッチ点Xin_Lを、左から右に移動すると、その左タッチ点Xin_Lに対応する表示画面２１上の左対応点Xout_Lも、左GUI領域を、左から右に移動する。
そして、左タッチ点Xin_Lが、左操作範囲の右端の点in1に到達すると、その左タッチ点Xin_Lに対応する左対応点Xout_Lも、左GUI領域の右端の点out1に到達する。
その後は、左タッチ点Xin_Lが、左操作範囲の右端の点in1よりも右側に移動しても、その左タッチ点Xin_Lに対応する左対応点Xout_Lは、左GUI領域の右端の点out1に位置したまま移動しない。
一方、関数fR(Xin_R)によれば、右タッチ点Xin_Rについては、操作面１１の左端から、右操作範囲の左端の点in2までの範囲では、右タッチ点Xin_Rを移動しても、その右タッチ点Xin_Rに対応する右対応点Xout_Rは、右GUI領域の左端の点out2に位置したまま移動しない。
右タッチ点Xin_Rが、操作面１１の左側から、右操作範囲の左端の点in2に到達し、その後、右操作範囲の左端の点in2から右端の点Xin_maxまでの範囲を、左から右に移動すると、その右タッチ点Xin_Rに対応する表示画面２１上の右対応点Xout_Rも、右GUI領域を、左から右に移動する。
そして、右タッチ点Xin_Rが、右操作範囲の右端の点Xin_maxに到達すると、その右タッチ点Xin_Rに対応する右対応点Xout_Rも、右GUI領域の右端の点Xout_maxに到達する。
なお、図１１及び図１２の第３のマッピングでは、縦方向（y方向）については、左タッチ点及び右タッチ点のいずれについても、均一マッピングと同様のマッピングが行われる。
第３のマッピングでは、ユーザが、左タッチ点Xin_Lを、操作面１１上の左から右（中央方向）に移動していったときに、その左タッチ点Xin_Lに対応する左対応点Xout_Lは、左GUI領域の右端の点out1に到達すると、その点out1から動かなくなる。
さらに、第３のマッピングでは、ユーザが、右タッチ点Xin_Rを、操作面１１上の右から左（中央方向）に移動していったときに、その右タッチ点Xin_Lに対応する右対応点Xout_Rは、右GUI領域の左端の点out2に到達すると、その点out2から動かなくなる。
したがって、第３のマッピングによれば、左タッチ点によって、左GUI領域の右端にあるOSKの"T"，"G"、又は、"V"キーを操作しようとして、誤って、右GUI領域の左端にあるOSKの"Y"，"H"、又は、"B"キーを操作してしまうことや、逆に、右タッチ点によって、右GUI領域の左端にあるOSKの"Y"，"H"、又は、"B"キーを操作しようとして、誤って、左GUI領域の右端にあるOSKの"T"，"G"、又は、"V"キーを操作してしまうことを防止することができる。
その結果、ユーザは、左手の大まかな操作で、OSKの"T"，"G"、又は、"V"キー、その他の、左GUI領域の端部にある部分をポインティングすることや、右手の大まかな操作で、OSKの"Y"，"H"、又は、"B"キー、その他の、右GUI領域の端部にある部分をポインティングすることができ、操作性を向上させることができる。
ここで、第３のマッピングは、GUI領域のうちの、左手でポインティングすることができる領域と、右手でポインティングすることができる領域とを、別個に制限している、ということができ、以下、制限マッピングともいう。
なお、図１１及び図１２では、制限マッピング（第３のマッピング）として、GUI領域のうちの、左手でポインティングすることができる領域と、右手でポインティングすることができる領域とを、横方向について制限するマッピングを行ったが、その他、左手と右手とのそれぞれでポインティングすることができる領域の制限は、縦方向等について行うことができる。
また、制限マッピングでの、左操作範囲と左GUI領域との対応付け、及び、右操作範囲と右GUI領域との対応付けには、第２のマッピングを適用することができる。
ところで、制限マッピングを常時適用すると、操作に不都合が生じることがある。
すなわち、例えば、図１１及び図１２の制限マッピングを常時適用すると、左手又は右手のうちの一方の手でのみ、操作面１１を操作している場合に、その一方の手では、操作することができないOSKのキーが生じる。
そこで、TV２０（図４）の情報処理部５２では、制限マッピングを適用するかどうかの適用判定を行い、その適用判定の結果に従い、マッピング部６２での制限マッピングの適用の可否を決定することができる。
図１３は、制限マッピングの適用判定の処理を説明するフローチャートである。
ステップＳ３１において、情報処理部５２は、通信部５１から供給される操作情報に基づいて、操作面１１上のタッチ点の数を認識し、処理は、ステップＳ３２に進む。
ステップＳ３２では、情報処理部５２は、タッチ点の数が、２つであるかどうかを判定する。
ステップＳ３２において、タッチ点の数が２つであると判定された場合、すなわち、ユーザが、操作面１１を、左手（の指）と右手（の指）との両方でタッチしており、左タッチ点と右タッチ点とが存在する場合、処理は、ステップＳ３３に進み、情報処理部５２は、マッピング部６２において、制限マッピングを行うことを決定して、処理は、ステップＳ３１に戻る。
また、ステップＳ３３において、タッチ点の数が２つでないと判定された場合、すなわち、例えば、ユーザが、操作面１１を、左手又は右手のうちの一方でのみタッチしている場合や、ユーザが、操作面１１にタッチしていない場合、処理は、ステップＳ３４に進み、情報処理部５２は、マッピング部６２において、制限マッピングを行わない（解除する）ことを決定して、処理は、ステップＳ３１に戻る。
以上のような適用判定の処理によれば、タッチ点の数に応じて、マッピング部６２のマッピングが変更される。すなわち、ユーザが、操作面１１を、左手と右手との両方でタッチしている場合にのみ、制限マッピングが行われ、それ以外の、例えば、ユーザが、操作面１１を、左手又は右手のうちの一方でのみタッチしている場合には、制限マッピングは、行われない。
したがって、例えば、ユーザが、左手又は右手のうちの一方の手でのみ、操作面１１を操作している場合に、制限マッピングによって、操作することができないOSKのキーが生じることを防止することができる。
ところで、制限マッピングにおいて、GUI領域のうちの、左手でポインティングすることができる領域と、右手でポインティングすることができる領域とを、別個に制限する場合は勿論、ポインタ３０Ｌ及び３０Ｒを表示するには、タッチ点（若しくは、対応点）が、ユーザが左手でタッチしている左タッチ点（若しくは、左対応点）であるのか、ユーザが右手でタッチしている右タッチ点（若しくは、右対応点）であるのかを認識する必要がある。
そこで、TV２０（図４）の情報処理部５２では、通信部５１から供給される操作情報から認識されるタッチ点が、左タッチ点、及び、右タッチ点のうちのいずれであるのかを認識するタッチ点認識の処理を行う。
図１４は、タッチ点認識の処理を説明するフローチャートである。
ステップＳ４１において、情報処理部５２は、通信部５１から供給される操作情報に基づいて、操作面１１上のタッチ点が増加したかどうかを判定する。
ステップＳ４１において、タッチ点の数が増加していないと判定された場合、処理は、ステップＳ４７に進む。
また、ステップＳ４１において、タッチ点の数が増加したと判定された場合、すなわち、新しいタッチ点が生じた場合、処理は、ステップＳ４２に進み、情報処理部５２は、新しいタッチ点が、１点目のタッチ点であるかどうかを判定する。
ステップＳ４２において、新しいタッチ点が１点目のタッチ点であると判定された場合、処理は、ステップＳ４３に進み、情報処理部５２は、新しいタッチ点としての１点目のタッチ点のx座標X1が、操作面１１の横方向の中点のx座標（以下、中点座標ともいう）Xmax／2未満であるかどうかを判定する。
ステップＳ４３において、１点目のタッチ点のx座標X1が、中点座標Xmax／2未満であると判定された場合、すなわち、１点目のタッチ点が、操作面１１の左半分側の点である場合、処理は、ステップＳ４４に進み、情報処理部５２は、１点目のタッチ点が、左タッチ点であると認識する。
そして、情報処理部５２は、１点目のタッチ点が、左タッチ点であるとの認識に従い、左タッチ点の座標（を表す変数）(Xleft,Yleft)に、（操作情報から認識される）１点目のタッチ点の座標(X1,Y1)をセットするとともに、右タッチ点の座標(Xright,Yright)に、右タッチ点が存在しない（不定である）旨の値(none,none)をセットし、処理は、ステップＳ４４からステップＳ４１に戻る。
また、ステップＳ４３において、１点目のタッチ点のx座標X1が、中点座標Xmax／2未満でないと判定された場合、すなわち、１点目のタッチ点が、操作面１１の右半分側の点である場合、処理は、ステップＳ４５に進み、情報処理部５２は、１点目のタッチ点が、右タッチ点であると認識する。
そして、情報処理部５２は、１点目のタッチ点が、右タッチ点であるとの認識に従い、左タッチ点の座標(Xleft,Yleft)に、左タッチ点が存在しない旨の値(none,none)をセットするとともに、右タッチ点の座標(Xright,Yright)に、１点目のタッチ点の座標(X1,Y1)をセットし、処理は、ステップＳ４５からステップＳ４１に戻る。
一方、ステップＳ４２において、新しいタッチ点が１点目のタッチ点でないと判定された場合、処理は、ステップＳ４６に進み、情報処理部５２は、新しいタッチ点が、２点目のタッチ点であるかどうかを判定する。
ステップＳ４６において、新しいタッチ点が２点目のタッチ点でないと判定された場合、処理は、ステップＳ４７に進み、情報処理部５２は、現在の左タッチ点、及び、右タッチ点の認識を、そのまま維持し、その認識に従って、左タッチ点の座標(Xleft,Yleft)、及び、右タッチ点の座標(Xright,Yright)をセットして、処理は、ステップＳ４１に戻る。
また、ステップＳ４６において、新しいタッチ点が２点目のタッチ点であると判定された場合、処理は、ステップＳ４８に進み、情報処理部５２は、２点目のタッチ点のx座標X2が、１点目のタッチ点のx座標X1よりも大であるかどうかを判定する。
ステップＳ４８において、２点目のタッチ点のx座標X2が、１点目のタッチ点のx座標X1よりも大であると判定された場合、すなわち、操作面１１において、２点目のタッチ点が、１点目のタッチ点よりも右側に存在する場合、処理は、ステップＳ４９に進み、情報処理部５２は、１点目のタッチ点が、左タッチ点であり、２点目のタッチ点が、右タッチ点であると認識する。
そして、情報処理部５２は、１点目のタッチ点が、左タッチ点であり、２点目のタッチ点が、右タッチ点であるとの認識に従い、左タッチ点の座標(Xleft,Yleft)に、１点目のタッチ点の座標(X1,Y1)をセットするとともに、右タッチ点の座標(Xright,Yright)に、（操作情報から認識される）２点目のタッチ点の座標(X2,Y2)をセットし、処理は、ステップＳ４９からステップＳ４１に戻る。
また、ステップＳ４８において、２点目のタッチ点のx座標X2が、１点目のタッチ点のx座標X1よりも大でないと判定された場合、すなわち、操作面１１において、２点目のタッチ点が、１点目のタッチ点よりも左側に存在する場合、処理は、ステップＳ５０に進み、情報処理部５２は、１点目のタッチ点が、右タッチ点であり、２点目のタッチ点が、左タッチ点であると認識する。
そして、情報処理部５２は、１点目のタッチ点が、右タッチ点であり、２点目のタッチ点が、左タッチ点であるとの認識に従い、左タッチ点の座標(Xleft,Yleft)に、２点目のタッチ点の座標(X2,Y2)をセットするとともに、右タッチ点の座標(Xright,Yright)に、１点目のタッチ点の座標(X1,Y1)をセットし、処理は、ステップＳ５０からステップＳ４１に戻る。
操作面１１上の位置と表示画面２１上の位置とが１対１に対応している操作系（第２の操作系）については、ユーザは、左右の指を、順番に、操作面１１上に接触させ、その後は、左右の指を、操作面１１上に接触させたまま、必要に応じて移動することで、GUI領域の必要な箇所をポインティングし、決定操作を行うことを、必要なだけ繰り返す。
したがって、図１４のフローチャートに従ったタッチ点認識の処理により、タッチ点が、左タッチ点、及び、右タッチ点のうちのいずれであるのかを認識することができる。
なお、タッチ点認識は、その他、例えば、操作面１１上の指の影（形状）に基づいて行うことができる。
また、タッチ点認識は、操作面１１上に、指が入ってくるときの、その指の進入方向に基づいて行うことができる。
指の進入方向は、その指と操作面１１との接触面積（形状）の変化に基づいて検出することができる。
また、センサ１２が、操作面１１に対する指のz方向の位置を検出することができる場合には、近接してきた指の位置(x,y,z)をトラッキングすることで、その指の進入方向を検出することができる。
［第４のマッピング］
図１５は、操作面１１と表示画面２１とを対応付ける第４のマッピングを説明する図である。
第４のマッピングでは、第３のマッピングと同様に、左タッチ点と右タッチ点とについて、異なるマッピングが行われる。
但し、第３のマッピングでは、左タッチ点については、操作面１１の一部分と、GUI領域の一部分とが対応付けられ、右タッチ点については、操作面１１の他の一部分と、GUI領域の残りの部分とが対応付けられるが、第４のマッピングでは、左タッチ点について、GUI領域に対応付けられる操作面１１の範囲と、右タッチ点について、GUI領域に対応付けられる操作面１１の範囲とがずれるように、マッピングが行われる。
したがって、第４のマッピングを適用する場合には、第３のマッピングを適用する場合と同様に、タッチ点が、左タッチ点、及び、右タッチ点のうちのいずれであるのかを認識するタッチ点認識を行う必要がある。
図１５では、操作面１１の左端から、右端よりもやや中央寄りの位置までの、操作面１１よりも横幅が狭い範囲が、左手で操作可能な範囲（以下、左操作可能範囲ともいう）になっており、操作面１１の右端から、左端よりもやや中央寄りの位置までの、操作面１１よりも横幅が狭い範囲が、右手で操作可能な範囲（以下、右操作可能範囲ともいう）になっている。
そして、図１５では、左タッチ点については、左操作可能範囲とGUI領域とが、均一に対応付けられており、右タッチ点については、右操作可能範囲とGUI領域とが、均一に対応付けられている。
したがって、図１５では、左タッチ点について、GUI領域に対応付けられる左操作可能範囲が、右操作可能範囲よりも左側にずれ、かつ、右タッチ点について、GUI領域に対応付けられる右操作可能範囲が、左操作可能範囲よりも右側にずれるように、操作面１１とGUI領域とが対応付けられている。
図１６は、第４のマッピングによる操作面１１上の位置（Xin,Yin)と、表示画面２１上の対応点(Xout,Yout)との対応関係を示す図である。
なお、GUI領域の横方向の長さH2が、操作面１１の横方向の長さH1のkx（＝H2/H1）倍であり、GUI領域の縦方向の長さV2が、操作面１１の縦方向の長さV1のky（＝V2/V1）倍であることとし、さらに、kx＝ky＝kであることとする。
また、説明を簡単にするため、GUI領域は、長方形状の領域であるとし、操作面１１上の左下の点を点(Xin_min,Yin_min)とするとともに、右上の点を点(Xin_max,Yin_max)とする。さらに、GUI領域上の左下の点を点(Xout_min,Yout_min)とするとともに、右上の点を点(Xout_max,Yout_max)とする。
例えば、いま、(Xin_min,Yin_min)＝(Xout_min,Yout_min)＝(0,0)とすると、均一マッピングでは、図１６に、一点鎖線で示すように、操作面１１上の位置(Xin,Yin)と、GUI領域上の位置(k×Xin,k×Yin)とが対応付けられる。
なお、図１６では、y座標の対応関係の図示は、省略してあり、x座標の対応関係のみを図示してある。
第４のマッピングでは、操作面１１上の左タッチ点Xin_L（x座標がXin_Lの操作面１１上の左タッチ点）については、図１６に、実線で示すように、左タッチ点Xin_Lが、GUI領域上の位置Xout_L＝fL(Xin_L)に対応付けられる。
さらに、第４のマッピングでは、操作面１１上の右タッチ点Xin_Rについては、図１６に、点線で示すように、右タッチ点Xin_Rが、GUI領域上の位置Xout_R＝fR(Xin_R)に対応付けられる。
ここで、関数fL(Xin_L)及びfR(Xin_R)が、第４のマッピングを表す。
図１６の関数fL(Xin_L)によれば、左タッチ点Xin_Lについては、操作面１１の右端の点Xin_minから左端の点Xin_maxまでの範囲のうちの左操作可能範囲、すなわち、左操作可能範囲の左端の点Xin_minから右端の点inL（＜Xin_max）までの範囲しか、左タッチ点Xin_Lは移動しない。
そして、第４のマッピングでは、操作面１１よりも横幅の狭い左操作可能範囲とGUI領域とが、図１６に示すように、均一に対応付けられているので（左操作可能範囲内の左タッチ点と、その左タッチ点に対応するGUI領域上の左対応点との座標が比例関係にあるので）、左タッチ点Xin_Lに対応するGUI領域上の左対応点Xout_Lは、左タッチ点Xin_Lが右側の位置であるほど、通常マッチングの場合よりも右にオフセットする（ずれる）（図１６において、上向きの矢印で示すオフセット）。
同様に、第４のマッピングでは、操作面１１よりも横幅の狭い右操作可能範囲とGUI領域とが、図１６に示すように、均一に対応付けられているので、右タッチ点Xin_Rに対応するGUI領域上の右対応点Xout_Rは、右タッチ点Xin_Rが左側の位置であるほど、通常マッチングの場合よりも左にオフセットする（図１６において、下向きの矢印で示すオフセット）。
なお、図１５及び図１６の第４のマッピングでは、縦方向（y方向）については、左タッチ点及び右タッチ点のいずれについても、均一マッピングと同様のマッピングが行われる。
ここで、例えば、OSKにおいて、隣り合うキーである、例えば、"G"キーと"H"キーについて、"G"キーを、左指で、"H"キーを、右指で、連続して操作しようとすると、通常マッピングでは、操作面１１上で、左指と右指とが互いに干渉（接触）し、左指で"G"キーをポインティングするとともに、右指で"H"キーをポインティングすることが困難になることがある。
また、センサ１２が静電式のタッチセンサである場合には、左指と右指とが接触すると、静電式のタッチ点の検出原理から、左指と右指との２つのタッチ点が、接触面積が大きな１つのタッチ点として検出されることがある。この場合、ユーザの意図に反して、２つのポインタ３０Ｌ及び３０Ｒではなく、ポインタ３０Ｌ又は３０Ｒの１つしか表示されず、"G"キーと"H"キーとを、迅速に、連続して操作することが困難となる。
第４のマッピングでは、上述したように、左タッチ点Xin_Lに対応するGUI領域上の左対応点Xout_Lは、通常マッチングの場合よりも右にオフセットし、右タッチ点Xin_Rに対応するGUI領域上の右対応点Xout_Rは、通常マッチングの場合よりも左にオフセットする。
したがって、通常マッピングでは、左タッチ点Xin_Lが、操作面１１の中央近くの左寄りに位置するように、左指を移動しないと、"G"キーをポインティングすることはできないが、第４のマッピングによれば、左タッチ点Xin_Lが、操作面１１の中央から幾分か離れた左寄りに位置するように、左指を移動することで、右にオフセットする左対応点Xout_Lにより、"G"キーをポインティングすることができる。
同様に、通常マッピングでは、右タッチ点Xin_Rが、操作面１１の中央近くの右寄りに位置するように、右指を移動しないと、"H"キーをポインティングすることはできないが、第４のマッピングによれば、右タッチ点Xin_Rが、操作面１１の中央から幾分か離れた右寄りに位置するように、右指を移動することで、左にオフセットする右対応点Xout_Rにより、"H"キーをポインティングすることができる。
その結果、OSKにおいて、隣り合うキーである"G"キーと"H"キーについて、"G"キーを、左指で、"H"キーを、右指で、連続して操作しよう場合に、操作面１１上で、左指と右指とが幾分か離れた状態で、左指による"G"キーのポインティングと、右指による"H"キーのポインティングとを行うことができる。
したがって、OSKにおいて、隣り合うキーを、左指と右指とで、連続して操作しようとする場合に、左指と右指とが干渉することや、左指と右指との２つのタッチ点が、接触面積が大きな１つのタッチ点として検出されることを防止し、操作性を向上させることができる。
なお、図１５及び図１６の第４のマッピングでは、左操作可能範囲とGUI領域の全体とが対応付けられ、かつ、右操作可能範囲とGUI領域の全体とが対応付けられているので、左指、又は、右指のいずれかだけでも、OSKのすべてのキーを含むGUI領域の任意の点をポインティングすることができる。
ここで、第４のマッピングは、タッチ点が、左タッチ点及び右タッチ点のいずれであるかと、タッチ点の座標（図１５及び図１６では、x座標）に基づいて、そのタッチ点の対応点をオフセットする補正を行っているということができ、以下、オフセットマッピングともいう。
図１５及び図１６のオフセットマッピングでは、左タッチ点については、その左タッチ点のx座標Xin_Lが大であるほど、タッチ点(Xin,Yin)と対応点(k×Xin,k×Yin)とを対応付ける均一マッピング（図１６の一点鎖線）の場合よりも、左対応点のx座標Xout_Lの正方向のオフセット量（図１６の上向きの矢印）が大になっている。
したがって、左タッチ点が右側に位置するほど、左対応点は、均一マッピングの場合よりも、より右側にオフセットする。
また、図１５及び１６のオフセットマッピングでは、右タッチ点については、その右タッチ点のx座標Xin_Rが小であるほど、均一マッピング（図１６の一点鎖線）の場合よりも、右対応点のx座標Xout_Rの負方向のオフセット量（図１６の下向きの矢印）が大になっている。
したがって、右タッチ点が左側に位置するほど、右対応点は、均一マッピングの場合よりも、より左側にオフセットする。
以上のように、左対応点が、右側にオフセットするとともに、右対応点が、左側にオフセットするので、OSKの左右に隣り合う２つのキーのうちの、左側のキーを、左指で操作し、かつ、右側のキーを、右指で操作する場合に、操作面１１上で、左指と右指とが幾分か離れた状態で、左指及び左指による隣り合う２つのキーのポインティングを行うことができる。
なお、図１５及び図１６では、オフセットマッピング（第４のマッピング）として、対応点を、横方向にオフセットするマッピングを行ったが、その他、オフセットマッピングでは、左対応点及び右対応点のうちの、上側に位置する方の対応点を、下側にオフセットし、下側に位置する方の対応点を、上側にオフセットすることができる。
この場合、例えば、OSKの上下に隣り合う２つのキーを、左指と右指とで操作する場合に、左指と右指とが干渉することを防止することができる。
また、オフセットマッピングでの、左操作可能範囲とGUI領域との対応付け、及び、右操作可能範囲とGUI領域との対応付けには、第２のマッピングを適用することができる。
なお、左指と右指との干渉等は、左指と右指とで、操作面１１を操作する場合に生じるので、オフセットマッピングは、タッチ点が１点（以下）の場合には、適用せず、タッチ点が２点の場合にのみ適用することができる。
但し、タッチ点が１点の場合には、オフセットマッピングを適用せず、タッチ点が２点の場合にのみ、オフセットマッピングを適用することとすると、タッチ点が、１点から２点に変更されたときと、２点から１点に変更されたときとに、表示画面２１に表示されたポインタ３０Ｌや３０Ｒがジャンプするように移動し、その結果、ユーザに違和感を感じさせることがある。
したがって、オフセットマッピングは、タッチ点の数にかかわらず、適用することができる。
ところで、図４で説明したように、操作面１１が、液晶パネル等の表示部と一体的に構成され、画像を表示し、その画像に対する入力を受け付けることができるタッチスクリーンとして機能する場合には、端末１０では、例えば、TV２０の表示画面２１に表示されるGUIや、そのGUIを構成するGUI部品である、例えば、OSK等を、タッチスクリーンとしての操作面１１に表示することができる。
例えば、TV２０の表示画面２１に表示されたOSKが、端末１０の操作面１１にも表示される場合、ユーザは、離れた位置にあるTV２０の表示画面２１に表示されたOSKを見ながら、操作面１１を操作するときと、手元にある端末１０の操作面１１に表示されたOSKを見ながら、操作面１１を操作するときとがある。
ユーザが、手元にある端末１０の操作面１１に表示されたOSKを見ながら、操作面１１を操作する場合、オフセットマッピングを適用すると、ユーザがタッチしている、操作面１１上のOSKのキーと、ポインタ３０Ｌ又は３０Ｒによってポインティングされる、表示画面２１上のOSKのキーとが一致しないことがあり、この場合、ユーザに違和感を感じさせることになる。
そこで、TV２０（図４）の情報処理部５２では、オフセットマッピングを適用するかどうかの適用判定を行い、その適用判定の結果に従い、マッピング部６２でのオフセットマッピングの適用の可否を決定することができる。
図１７は、オフセットマッピングの適用判定の処理を説明するフローチャートである。
ステップＳ６１において、情報処理部５２は、通信部５１から供給される操作情報に基づいて、ユーザによる操作面１１の操作が、タップであるかどうかを判定する。
ステップＳ６１において、ユーザによる操作面１１の操作が、タップであると判定された場合、処理は、ステップＳ６２に進み、情報処理部５２は、マッピング部６２において、オフセットマッピングを行わない（解除する）ことを決定して、処理は、ステップＳ６１に戻る。
また、ステップＳ６１において、ユーザによる操作面１１の操作が、タップでないと判定された場合、処理は、ステップＳ６３に進み、情報処理部５２は、通信部５１から供給される操作情報に基づいて、ユーザによる操作面１１の操作が、ドラッグであるかどうかを判定する。
ステップＳ６３において、ユーザによる操作面１１の操作が、ドラッグでないと判定された場合、処理は、ステップＳ６１に戻る。
また、ステップＳ６３において、ユーザによる操作面１１の操作が、ドラッグであると判定された場合、処理は、ステップＳ６４に進み、情報処理部５２は、マッピング部６２において、オフセットマッピングを行うことを決定して、処理は、ステップＳ６１に戻る。
すなわち、ユーザが、操作面１１にドラッグ操作を行っている場合、ユーザは、TV２０の表示画面２１に表示されたOSK等を見ながら、操作面１１を操作していると推測されるので、マッピング部６２は、オフセットマッピングを行う。
一方、ユーザが、操作面１１にタップ操作を行っている場合、ユーザは、操作面１１に表示されたOSK等を見ながら、操作面１１を操作していると推測されるので、マッピング部６２は、オフセットマッピングを行わない。
この場合、ユーザがタッチしている、操作面１１上のOSKのキーと、ポインタ３０Ｌ又は３０Ｒによってポインティングされる、表示画面２１上のOSKのキーとが一致せずに、ユーザに違和感を感じさせることを防止することができる。
ところで、操作面１１が、タッチスクリーンとして機能する場合には、端末１０は、スマートフォン等のように、スタンドアロンで動作することができる。
この場合、端末１０には、図４のマッピング部６２、及び、対応点検出部６３と同様のブロックを設け、マッピング、及び、タッチ点に対する対応点の検出を行うことができる。
図１８は、そのような端末１０のタッチスクリーンとしての操作面１１の表示例を示す図である。
図１８では、操作面１１に、OSKが表示され、さらに、そのOSKの上部に、入力欄が表示されている。
図１８において、入力欄には、OSKを操作することにより入力された文字が表示される。
図１８では、端末１０において、x方向（横方向）、及び、y方向（縦方向）のいずれの方向についても、タッチ点に対する対応点をオフセットする補正を行うオフセットマッピングが行われている。
但し、x方向については、図１５で説明したように、タッチ点のx座標に応じて、そのタッチ点に対する対応点のx座標のオフセット量が異なるオフセットマッピング（以下、可変オフセットマッピングともいう）が行われているが、y方向については、タッチ点のy座標に関係なく、そのタッチ点に対する対応点のy座標のオフセット量が一定のオフセットマッピング（以下、固定オフセットマッピングともいう）が行われている。
図１８では、端末１０において、以上のようなオフセットマッピングの結果に基づいて、左タッチ点に対する左対応点、及び、右タッチ点に対する右対応点が検出され、操作面１１の左対応点に、左指がタッチしていることを表すシンボル画像としてのポインタ１５Ｌが表示されるとともに、操作面１１の右対応点に、右指がタッチしていることを表すシンボル画像としてのポインタ１５Ｒが表示される。
図１８では、上述のように、x方向については、可変オフセットマッピングが行われ、y方向については、固定オフセットマッピングが行われているため、左タッチ点が、図１８Ａに示すように、操作面１１に表示されているOSKの左端に位置している場合には、その左タッチ点に対する左対応点は、左タッチ点から、y方向（上方向）に一定のオフセット量だけオフセットした位置になる。
ポインタ１５Ｌは、以上のように、左タッチ点から、y方向に一定のオフセット量だけオフセットした位置の左対応点に表示されるので、ポインタ１５Ｌが、左タッチ点にタッチしている左指に隠れて見えなくなることを防止することができる。
右タッチ点についても、同様に、右タッチ点が、操作面１１に表示されているOSKの右端に位置している場合には、ポインタ１５Ｒは、右タッチ点から、y方向に一定のオフセット量だけオフセットした位置の右対応点に表示されるので、ポインタ１５Ｒが、右タッチ点にタッチしている右指に隠れて見えなくなることを防止することができる。
また、左タッチ点が、図１８Ｂに示すように、操作面１１に表示されているOSKの中央左寄りに位置している場合には、その左タッチ点に対する左対応点は、左タッチ点から、y方向に一定のオフセット量だけオフセットし、かつ、x方向（右方向）（中央寄り）に、左タッチ点のx座標に応じて増加するオフセット量だけオフセットした位置になる。
ポインタ１５Ｌは、以上のように、左タッチ点から、y方向に一定のオフセット量だけオフセットし、かつ、x方向に、左タッチ点のx座標に応じて増加するオフセット量だけオフセットした、中央寄りの位置（左タッチ点の左上の位置）の左対応点に表示される。
また、左タッチ点が、図１８Ｂに示すように、操作面１１に表示されているOSKの中央右寄りに位置している場合には、その右タッチ点に対する右対応点は、右タッチ点から、y方向に一定のオフセット量だけオフセットし、かつ、x方向（左方向）（中央寄り）に、右タッチ点のx座標に応じて増加するオフセット量だけオフセットした位置になる。
ポインタ１５Ｒは、以上のように、右タッチ点から、y方向に一定のオフセット量だけオフセットし、かつ、x方向に、右タッチ点のx座標に応じて増加するオフセット量だけオフセットした、中央寄りの位置（右タッチ点の右上の位置）の右対応点に表示される。
したがって、ポインタ１５Ｌ及び１５Ｒが、指で隠れて見えなくなることを防止するとともに、OSKの隣り合う２つのキーを、左指と右指とで操作する場合に、左指と右指とが接触することを防止することができる。
以上のように、例えば、スタンドアロンの端末１０において、x方向については、可変オフセットマッピングを行い、y方向については、固定オフセットマッピングを行うことにより、操作面１１に表示されたポインタ１５Ｌ及び１５Ｒが、指で隠れて見えなくなることを防止することができる。したがって、ユーザは、ポインタ１５Ｌ及び１５Ｒを見て、ポインティングしているOSKのキーを容易に確認するので、OSKのキーが小さくても、それほどの負担なく、操作を行うことができる。
さらに、x方向のオフセットマッピングによれば、OSKのキーをポインティングするときに、指をx方向に動かす距離を短くすることができる。
なお、ポインタ１５Ｌ及び１５Ｒは、ポインタ３０Ｌ及び３０Ｒと同様に、表示形式を変えることにより、それぞれを、ユーザが容易に区別することができるように表示することができる。
また、図１８において、入力欄には、ポインティングされ、図２で説明した決定操作がされたOSKのキーの文字を表示することができる他、ポインティングされているが、まだ、決定操作がされていないOSKのキーの文字を、いわゆるプレビュー表示することができる。
さらに、入力欄において、プレビュー表示では、左指でポインティングされているキーの文字と、右指でポインティングされているキーの文字とを、ユーザが容易に区別することができるように、ポインタ１５Ｌ及び１５Ｒそれぞれと同様の表示形式で表示することができる。この場合、ユーザは、入力欄を見ながら、いわゆるブラインドタッチで、OSKを操作することができる。
なお、図１８では、左指（ポインタ１５Ｌ）でポインティングされているキーの文字と、右指（ポインタ１５Ｒ）でポインティングされているキーの文字との２文字のプレビュー表示を行うこととしたが、プレビュー表示において、２文字の表示を行うと、判読性が低下し、見にくい場合がある。そこで、プレビュー表示では、ポインタ１５Ｌでポインティングされているキーの文字と、ポインタ１５Ｒでポインティングされているキーの文字とのうちの一方の文字を、選択的に表示することができる。すなわち、プレビュー表示では、例えば、ポインタ１５Ｌ及び１５Ｒのうちの、前回の決定操作が行われてからの移動距離が大きい方のポインタでポインティングされているキーの文字の１文字だけを表示することができる。
［本技術を適用したコンピュータの説明］
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
そこで、図１８は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１０５やROM１０３に予め記録しておくことができる。
あるいはまた、プログラムは、リムーバブル記録媒体１１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体１１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体１１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
なお、プログラムは、上述したようなリムーバブル記録媒体１１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク１０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
コンピュータは、CPU(Central Processing Unit)１０２を内蔵しており、CPU１０２には、バス１０１を介して、入出力インタフェース１１０が接続されている。
CPU１０２は、入出力インタフェース１１０を介して、ユーザによって、入力部１０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)１０３に格納されているプログラムを実行する。あるいは、CPU１０２は、ハードディスク１０５に格納されたプログラムを、RAM(Random Access Memory)１０４にロードして実行する。
これにより、CPU１０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU１０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１１０を介して、出力部１０６から出力、あるいは、通信部１０８から送信、さらには、ハードディスク１０５に記録等させる。
なお、入力部１０７は、キーボードや、マウス、マイク等で構成される。また、出力部１０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
また、本実施の形態では、端末１０において、操作情報に、操作面１１上のタッチ点を表す情報を含めて、TV２０に送信することとしたが、端末１０では、操作面１１上のタッチ点に対する対応点を表す情報を、操作情報に含めて、TV２０に送信することができる。
端末１０において、操作面１１上のタッチ点に対する対応点を表す情報を、操作情報に含めて、TV２０に送信する場合、端末１０で、マッピング、及び、タッチ点に対する対応点の検出を行う必要があるので、マッピング部６２、及び、対応点検出部６３（図４）は、TV２０ではなく、端末１０に設けられる。
さらに、本実施の形態では、表示制御部６１において、タッチ点に対応する対応点に、タッチがされていることを表すシンボル画像としてのポインタ３０Ｌや３０Ｒを、表示画面２１に表示されているGUIとは別に表示することとしたが、表示制御部６１では、対応点にシンボル画像を表示することに代えて、例えば、対応点上に表示されているGUI部品の輝度や色等の表示形式を変更することによって、タッチがされていることを表すことができる。
なお、本技術は、以下のような構成をとることができる。
［１］
ユーザによって操作される操作面上の位置と、画像が表示される表示画面上の位置とを対応付けるマッピングを、前記表示画面に表示されるグラフィクスに基づいて行うマッピング部と、
前記マッピングの結果に基づいて、前記ユーザによって操作された前記操作面上の位置に対応する、前記表示画面上の位置である対応点を検出する検出部と
を備える情報処理装置。
［２］
前記対応点に、操作がされていることを表すシンボル画像を表示させる、又は、前記対応点上のグラフィクスを構成するグラフィクス部品の表示形式を変更させる表示制御部をさらに備える
［１］に記載の情報処理装置。
［３］
前記マッピング部は、前記表示画面に表示されるグラフィクスに基づき、前記操作面上の位置と、前記表示画面上の位置のうちの、グラフィクスが表示されているグラフィクス領域上の位置とを対応付けるように、マッピングを行う
［１］又は［２］に記載の情報処理装置。
［４］
前記マッピング部は、前記操作面と、前記グラフィクス領域とを、均一に対応付けるように、マッピングを行う
［３］に記載の情報処理装置。
［５］
前記マッピング部は、前記表示画面に表示されるグラフィクスを構成するグラフィクス部品に基づき、前記操作面上の位置と、前記表示画面上の位置とを対応付けるように、マッピングを行う
［１］ないし［３］のいずれかに記載の情報処理装置。
［６］
前記マッピング部は、サイズが小さいグラフィクス部品が表示されている領域に対して、前記操作面と前記グラフィクス領域とを均一に対応付ける均一マッピングの場合よりも前記操作面の広い範囲を対応付けるように、マッピングを行う
［５］に記載の情報処理装置。
［７］
前記マッピング部は、前記ユーザの左手による前記操作面の操作と、右手による前記操作面の操作とについて、異なるマッピングを行う
［３］ないし［６］のいずれかに記載の情報処理装置。
［８］
前記マッピング部は、前記ユーザの左手による前記操作面の操作について、前記グラフィクス領域に対応付けられる前記操作面の範囲と、前記ユーザの右手による前記操作面の操作について、前記グラフィクス領域に対応付けられる前記操作面の範囲とをずれた状態とするマッピングであるオフセットマッピングを行う
［７］に記載の情報処理装置。
［９］
前記マッピング部は、前記オフセットマッピングにおいて、前記ユーザの左手による前記操作面の操作について、前記グラフィクス領域に対応付けられる前記操作面の範囲が左側にずれ、かつ、前記ユーザの右手による前記操作面の操作について、前記グラフィクス領域に対応付けられる前記操作面の範囲が右側にずれた状態とする
［８］に記載の情報処理装置。
［１０］
前記マッピング部は、前記操作面にドラッグ操作が行われている間、前記オフセットマッピングを適用し、前記操作面にタップ操作が行われた場合、前記オフセットマッピングを適用しない
［８］に記載の情報処理装置。
［１１］
前記マッピング部は、
前記ユーザの左手による前記操作面の操作については、前記操作面の一部分と、前記グラフィクス領域の一部分とを対応付け、
前記ユーザの右手による前記操作面の操作については、前記操作面の他の一部分と、前記グラフィクス領域の残りの部分とを対応付ける
ように、マッピングを行う
［７］に記載の情報処理装置。
［１２］
前記マッピング部は、
前記ユーザの左手による前記操作面の操作については、前記操作面の左側の一部分と、前記グラフィクス領域の左半分とを対応付け、
前記ユーザの右手による前記操作面の操作については、前記操作面の右側の一部分と、前記グラフィクス領域の右半分とを対応付ける
ように、マッピングを行う
［１１］に記載の情報処理装置。
［１３］
前記マッピング部は、前記ユーザが操作している前記操作面上の位置の数に応じて、マッピングを変更する
［１］ないし［１２］のいずれかに記載の情報処理装置。
［１４］
ユーザによって操作される操作面上の位置と、画像が表示される表示画面上の位置とを対応付けるマッピングを、前記表示画面に表示されるグラフィクスに基づいて行い、
前記マッピングの結果に基づいて、前記ユーザによって操作された前記操作面上の位置に対応する、前記表示画面上の位置である対応点を検出する
ステップを含む情報処理方法。
［１５］
ユーザによって操作される操作面上の位置と、画像が表示される表示画面上の位置とを対応付けるマッピングを、前記表示画面に表示されるグラフィクスに基づいて行うマッピング部と、
前記マッピングの結果に基づいて、前記ユーザによって操作された前記操作面上の位置に対応する、前記表示画面上の位置である対応点を検出する検出部と
して、コンピュータを機能させるためのプログラム。
［１６］
ユーザによって操作される操作面を有する端末と、
前記操作面の操作に応じて、処理を行う情報処理装置と
を備え、
前記情報処理装置は、
前記操作面上の位置と、画像が表示される表示画面上の位置とを対応付けるマッピングを、前記表示画面に表示されるグラフィクスに基づいて行うマッピング部と、
前記マッピングの結果に基づいて、前記ユーザによって操作された前記操作面上の位置に対応する、前記表示画面上の位置である対応点を検出する検出部と
有する
情報処理システム。
１０ 端末， １１ 操作面， １２ センサ， １３ ボタン， ２０ TV， ２１ 表示画面， ３０Ｌ，３０Ｒ ポインタ， ３１ アイコン， ４１ 制御部， ４２ メモリ， ４３，５１ 通信部， ５２ 情報処理部， ５３ 表示部， ５４ TV機能部， ６１ 表示制御部， ６２ マッピング部， ６３ 対応点検出部， １０１ バス， １０２ CPU， １０３ ROM， １０４ RAM， １０５ ハードディスク， １０６ 出力部， １０７ 入力部， １０８ 通信部， １０９ ドライブ， １１０ 入出力インタフェース， １１１ リムーバブル記録媒体

Claims (16)

  1. ユーザによって操作される操作面上の位置と、画像が表示される表示画面上の位置とを対応付けるマッピングを、前記表示画面に表示されるグラフィクスに応じたマッピングを行うマッピング部と、
    前記マッピングの結果に基づいて、前記ユーザによって操作された前記操作面上の位置に対応する、前記表示画面上の位置である対応点を検出する検出部とを備え、
    前記マッピング部は、
    前記操作面の第一の領域の一部分と、前記グラフィクス領域の第一の領域とを対応付けるようにマッピングを行い、
    前記操作面の第二の領域の一部分と、前記グラフィクス領域の第二の領域とを対応付けるようにマッピングを行い、
    前記操作面の第一の領域と、前記第二の領域との間に、前記グラフィクス領域と対応付けが行われていない領域を持つようにマッピングを行う
    情報処理装置。
  2. 前記対応点に、操作がされていることを表すシンボル画像を表示させる、又は、前記対応点上のグラフィクスを構成するグラフィクス部品の表示形式を変更させる表示制御部をさらに備える
    請求項１に記載の情報処理装置。
  3. 前記マッピング部は、前記表示画面に表示されるグラフィクスに基づき、前記操作面上の位置と、前記表示画面上の位置のうちの、グラフィクスが表示されているグラフィクス領域上の位置とを対応付けるように、マッピングを行う
    請求項２に記載の情報処理装置。
  4. 前記マッピング部は、前記操作面と、前記グラフィクス領域とを、均一に対応付けるように、マッピングを行う
    請求項３に記載の情報処理装置。
  5. 前記マッピング部は、前記表示画面に表示されるグラフィクスを構成するグラフィクス部品に基づき、前記操作面上の位置と、前記表示画面上の位置とを対応付けるように、マッピングを行う
    請求項２に記載の情報処理装置。
  6. 前記マッピング部は、サイズが小さいグラフィクス部品が表示されているグラフィクス領域に対して、前記操作面と前記グラフィクス領域とを均一に対応付ける均一マッピングの場合よりも前記操作面の広い範囲を対応付けるように、マッピングを行う
    請求項５に記載の情報処理装置。
  7. 前記マッピング部は、前記ユーザの左手による前記操作面の操作と、右手による前記操作面の操作とについて、異なるマッピングを行う
    請求項３に記載の情報処理装置。
  8. 前記マッピング部は、前記ユーザの左手による前記操作面の操作について、前記グラフィクス領域に対応付けられる前記操作面の範囲と、前記ユーザの右手による前記操作面の操作について、前記グラフィクス領域に対応付けられる前記操作面の範囲とをずれた状態とするマッピングであるオフセットマッピングを行う
    請求項７に記載の情報処理装置。
  9. 前記マッピング部は、前記オフセットマッピングにおいて、前記ユーザの左手による前記操作面の操作について、前記グラフィクス領域に対応付けられる前記操作面の範囲が左側にずれ、かつ、前記ユーザの右手による前記操作面の操作について、前記グラフィクス領域に対応付けられる前記操作面の範囲が右側にずれた状態とする
    請求項８に記載の情報処理装置。
  10. 前記マッピング部は、前記操作面にドラッグ操作が行われている間、前記オフセットマッピングを適用し、前記操作面にタップ操作が行われた場合、前記オフセットマッピングを適用しない
    請求項８に記載の情報処理装置。
  11. 前記マッピング部は、
    前記ユーザの左手による前記操作面の操作については、前記操作面の一部分と、前記グラフィクス領域の一部分とを対応付け、
    前記ユーザの右手による前記操作面の操作については、前記操作面の他の一部分と、前記グラフィクス領域の残りの部分とを対応付ける
    ように、マッピングを行う
    請求項７に記載の情報処理装置。
  12. 前記マッピング部は、
    前記ユーザの左手による前記操作面の操作については、前記操作面の左側の一部分と、前記グラフィクス領域の左半分とを対応付け、
    前記ユーザの右手による前記操作面の操作については、前記操作面の右側の一部分と、前記グラフィクス領域の右半分とを対応付ける
    ように、マッピングを行う
    請求項１１に記載の情報処理装置。
  13. 前記マッピング部は、前記ユーザが操作している前記操作面上の位置の数に応じて、マッピングを変更する
    請求項２に記載の情報処理装置。
  14. ユーザによって操作される操作面上の位置と、画像が表示される表示画面上の位置とを対応付けるマッピングを、前記表示画面に表示されるグラフィクスに応じたマッピングを行い、
    前記マッピングの結果に基づいて、前記ユーザによって操作された前記操作面上の位置に対応する、前記表示画面上の位置である対応点を検出するステップを含み、
    前記マッピングを行うステップの処理は、
    前記操作面の第一の領域の一部分と、前記グラフィクス領域の第一の領域とを対応付けるようにマッピングを行い、
    前記操作面の第二の領域の一部分と、前記グラフィクス領域の第二の領域とを対応付けるようにマッピングを行い、
    前記操作面の第一の領域と、前記第二の領域との間に、前記グラフィクス領域と対応付けが行われていない領域を持つようにマッピングを行う
    情報処理方法。
  15. ユーザによって操作される操作面上の位置と、画像が表示される表示画面上の位置とを対応付けるマッピングを、前記表示画面に表示されるグラフィクスに応じたマッピングを行うマッピング部と、
    前記マッピングの結果に基づいて、前記ユーザによって操作された前記操作面上の位置に対応する、前記表示画面上の位置である対応点を検出する検出部として、コンピュータを機能させるためのプログラムであって、
    前記マッピング部は、
    前記操作面の第一の領域の一部分と、前記グラフィクス領域の第一の領域とを対応付けるようにマッピングを行い、
    前記操作面の第二の領域の一部分と、前記グラフィクス領域の第二の領域とを対応付けるようにマッピングを行い、
    前記操作面の第一の領域と、前記第二の領域との間に、前記グラフィクス領域と対応付けが行われていない領域を持つようにマッピングを行う
    プログラム。
  16. ユーザによって操作される操作面を有する端末と、
    前記操作面の操作に応じて、処理を行う情報処理装置と
    を備え、
    前記情報処理装置は、
    前記操作面上の位置と、画像が表示される表示画面上の位置とを対応付けるマッピングを、前記表示画面に表示されるグラフィクスに応じたマッピングを行うマッピング部と、
    前記マッピングの結果に基づいて、前記ユーザによって操作された前記操作面上の位置に対応する、前記表示画面上の位置である対応点を検出する検出部とを有し、
    前記マッピング部は、
    前記操作面の第一の領域の一部分と、前記グラフィクス領域の第一の領域とを対応付けるようにマッピングを行い、
    前記操作面の第二の領域の一部分と、前記グラフィクス領域の第二の領域とを対応付けるようにマッピングを行い、
    前記操作面の第一の領域と、前記第二の領域との間に、前記グラフィクス領域と対応付けが行われていない領域を持つようにマッピングを行う
    情報処理システム。
JP2012095497A 2012-04-19 2012-04-19 情報処理装置、情報処理方法、プログラム、及び、情報処理システム Active JP5966557B2 (ja)

Priority Applications (8)

Application Number Priority Date Filing Date Title
JP2012095497A JP5966557B2 (ja) 2012-04-19 2012-04-19 情報処理装置、情報処理方法、プログラム、及び、情報処理システム
EP13723974.5A EP2839367A2 (en) 2012-04-19 2013-04-12 Information processing apparatus, information processing method, program, and information processing system
PCT/JP2013/002502 WO2013157232A2 (en) 2012-04-19 2013-04-12 Information processing apparatus, information processing method, program, and information processing system
US14/385,381 US9772744B2 (en) 2012-04-19 2013-04-12 Information processing apparatus, information processing method, program, and information processing system
CN201380019572.8A CN104220978B (zh) 2012-04-19 2013-04-12 信息处理装置、信息处理方法、程序及信息处理系统
CN201810527415.2A CN108829333B (zh) 2012-04-19 2013-04-12 信息处理装置
US15/690,802 US10162480B2 (en) 2012-04-19 2017-08-30 Information processing apparatus, information processing method, program, and information processing system
US16/205,542 US10942620B2 (en) 2012-04-19 2018-11-30 Information processing apparatus, information processing method, program, and information processing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012095497A JP5966557B2 (ja) 2012-04-19 2012-04-19 情報処理装置、情報処理方法、プログラム、及び、情報処理システム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2016088296A Division JP6156709B2 (ja) 2016-04-26 2016-04-26 情報処理装置、情報処理方法、プログラム、及び、情報処理システム

Publications (2)

Publication Number Publication Date
JP2013222426A JP2013222426A (ja) 2013-10-28
JP5966557B2 true JP5966557B2 (ja) 2016-08-10

Family

ID=48468693

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012095497A Active JP5966557B2 (ja) 2012-04-19 2012-04-19 情報処理装置、情報処理方法、プログラム、及び、情報処理システム

Country Status (5)

Country Link
US (3) US9772744B2 (ja)
EP (1) EP2839367A2 (ja)
JP (1) JP5966557B2 (ja)
CN (2) CN108829333B (ja)
WO (1) WO2013157232A2 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9274642B2 (en) * 2011-10-20 2016-03-01 Microsoft Technology Licensing, Llc Acceleration-based interaction for multi-pointer indirect input devices
KR102089447B1 (ko) * 2013-06-04 2020-03-16 삼성전자 주식회사 전자 기기 및 그의 애플리케이션 제어 방법
JP2015007949A (ja) 2013-06-26 2015-01-15 ソニー株式会社 表示装置、表示制御方法及びコンピュータプログラム
JP6150712B2 (ja) * 2013-10-30 2017-06-21 シャープ株式会社 情報処理装置およびプログラム
CN104169860B (zh) * 2013-11-08 2019-04-05 华为技术有限公司 智能终端及用于显示其输入操作界面的方法
KR20150054190A (ko) * 2013-11-11 2015-05-20 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
JP6204324B2 (ja) * 2014-04-08 2017-09-27 松本　美司 ウェアラブル情報端末、及び、充電システム
DE202015006142U1 (de) 2014-09-02 2015-12-09 Apple Inc. Elektronische Touch-Kommunikation
JP2016091290A (ja) * 2014-11-05 2016-05-23 アイシン・エィ・ダブリュ株式会社 指示受付システム、方法およびプログラム
US9740352B2 (en) 2015-09-30 2017-08-22 Elo Touch Solutions, Inc. Supporting multiple users on a large scale projected capacitive touchscreen
KR102519578B1 (ko) * 2016-07-05 2023-04-07 삼성전자주식회사 전자 장치의 화면 표시 방법 및 그 장치
KR102410103B1 (ko) * 2017-11-17 2022-06-21 엘지디스플레이 주식회사 터치센서 내장형 표시장치
JP7094175B2 (ja) * 2018-08-09 2022-07-01 パナソニックホールディングス株式会社 入力装置
US11086516B2 (en) * 2018-10-31 2021-08-10 Christie Scott Wall Mobile, versatile, transparent, double-sided data input or control device

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61259331A (ja) * 1985-05-13 1986-11-17 Nec Corp 座標入力方法とその装置
JPH06282368A (ja) * 1993-02-01 1994-10-07 Wacom Co Ltd 情報処理装置の位置情報入力システム
JPH11161426A (ja) * 1997-12-01 1999-06-18 Fujitsu Takamisawa Component Ltd タッチパネル装置
US7506270B1 (en) * 2000-08-14 2009-03-17 Microsoft Corporation Methods and arrangements for selective placement of movable objects within a graphical user interface
US7552402B2 (en) * 2006-06-22 2009-06-23 Microsoft Corporation Interface orientation using shadows
KR100954594B1 (ko) * 2007-02-23 2010-04-26 (주)티피다시아이 디지털 기기에 사용되는 포인팅장치를 이용한 가상키보드입력시스템
US8065624B2 (en) * 2007-06-28 2011-11-22 Panasonic Corporation Virtual keypad systems and methods
US20090002218A1 (en) * 2007-06-28 2009-01-01 Matsushita Electric Industrial Co., Ltd. Direction and holding-style invariant, symmetric design, touch and button based remote user interaction device
JP2009253773A (ja) 2008-04-08 2009-10-29 Sharp Corp ディスプレイシステム、リモコン装置、ディスプレイ装置、リモコン装置の制御方法、およびディスプレイ装置の制御方法
WO2009148210A1 (en) * 2008-06-02 2009-12-10 Lg Electronics Inc. Virtual optical input unit and control method thereof
EP3232315B1 (en) * 2008-11-25 2021-08-25 Samsung Electronics Co., Ltd. Device and method for providing a user interface
KR20100059698A (ko) * 2008-11-25 2010-06-04 삼성전자주식회사 유저인터페이스 제공 장치, 제공방법, 및 이를 기록한 컴퓨터 판독 가능한 기록매체
US20100302190A1 (en) * 2009-06-02 2010-12-02 Elan Microelectronics Corporation Multi-functional touchpad remote controller
JP5750875B2 (ja) * 2010-12-01 2015-07-22 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP5580323B2 (ja) * 2010-02-03 2014-08-27 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 表示制御装置、表示制御方法およびタッチパッド入力システム
US8970518B2 (en) * 2010-03-10 2015-03-03 Panasonic Intellectual Property Corporation Of America Click position control apparatus, click position control method, and touch sensor system
US8854323B2 (en) * 2010-05-20 2014-10-07 Panasonic Intellectual Property Corporation Of America Operating apparatus, operating method, program, recording medium, and integrated circuit
JP5598104B2 (ja) * 2010-06-10 2014-10-01 ソニー株式会社 情報処理装置、情報処理方法及びコンピュータプログラム
KR20110138914A (ko) * 2010-06-22 2011-12-28 삼성전자주식회사 사용자 입력장치, 이를 포함하는 디스플레이장치 및 그 제어방법
WO2012005005A1 (ja) * 2010-07-07 2012-01-12 パナソニック株式会社 端末装置およびｇｕｉ画面生成方法
WO2012032515A1 (en) * 2010-09-07 2012-03-15 Zrro Technologies (2009) Ltd. Device and method for controlling the behavior of virtual objects on a display
US8754860B2 (en) * 2010-11-05 2014-06-17 Apple Inc. Device, method, and graphical user interface for manipulating soft keyboards
US9201510B2 (en) * 2012-04-16 2015-12-01 Blackberry Limited Method and device having touchscreen keyboard with visual cues

Also Published As

Publication number Publication date
US10942620B2 (en) 2021-03-09
JP2013222426A (ja) 2013-10-28
US20190107938A1 (en) 2019-04-11
CN104220978A (zh) 2014-12-17
WO2013157232A2 (en) 2013-10-24
CN108829333B (zh) 2021-12-17
US10162480B2 (en) 2018-12-25
EP2839367A2 (en) 2015-02-25
US20170364240A1 (en) 2017-12-21
US9772744B2 (en) 2017-09-26
CN104220978B (zh) 2018-06-19
US20150040070A1 (en) 2015-02-05
WO2013157232A3 (en) 2014-01-09
CN108829333A (zh) 2018-11-16

Similar Documents

Publication Publication Date Title
JP5966557B2 (ja) 情報処理装置、情報処理方法、プログラム、及び、情報処理システム
US10254878B2 (en) Operating a touch screen control system according to a plurality of rule sets
US8610678B2 (en) Information processing apparatus and method for moving a displayed object between multiple displays
EP3404520B1 (en) Method of displaying information by using touch input in mobile terminal
US10198163B2 (en) Electronic device and controlling method and program therefor
TW201642114A (zh) 電子裝置及其操作方法
US20150186037A1 (en) Information processing device, information processing device control method, control program, and computer-readable recording medium
WO2010047339A1 (ja) 検知領域がディスプレイの表示領域よりも小さくても同等時のように動作するタッチパネル装置
US20090283341A1 (en) Input device and control method thereof
US20160124606A1 (en) Display apparatus, system, and controlling method thereof
US11726580B2 (en) Non-standard keyboard input system
US8887101B2 (en) Method for moving a cursor and display apparatus using the same
JP6156709B2 (ja) 情報処理装置、情報処理方法、プログラム、及び、情報処理システム
US20140210732A1 (en) Control Method of Touch Control Device
EP2977878B1 (en) Method and apparatus for displaying screen in device having touch screen
WO2015059992A1 (ja) 情報処理装置、情報処理方法、及びプログラム
AU2015271962B2 (en) Interpreting touch contacts on a touch surface
JP2012014516A (ja) カーソル移動方法及びそれを用いたディスプレイ装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150203

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151203

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160106

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20160126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160426

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20160510

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160607

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160620

R151 Written notification of patent or utility model registration

Ref document number: 5966557

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250