JPWO2011093033A1 - 表示制御装置、表示制御方法、プログラムおよび集積回路 - Google Patents

表示制御装置、表示制御方法、プログラムおよび集積回路 Download PDF

Info

Publication number
JPWO2011093033A1
JPWO2011093033A1 JP2011533901A JP2011533901A JPWO2011093033A1 JP WO2011093033 A1 JPWO2011093033 A1 JP WO2011093033A1 JP 2011533901 A JP2011533901 A JP 2011533901A JP 2011533901 A JP2011533901 A JP 2011533901A JP WO2011093033 A1 JPWO2011093033 A1 JP WO2011093033A1
Authority
JP
Japan
Prior art keywords
information
touch
determination unit
touch information
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011533901A
Other languages
English (en)
Other versions
JP5667984B2 (ja
Inventor
東　吾紀男
吾紀男 東
山内　真樹
真樹 山内
小林　進
進 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2011533901A priority Critical patent/JP5667984B2/ja
Publication of JPWO2011093033A1 publication Critical patent/JPWO2011093033A1/ja
Application granted granted Critical
Publication of JP5667984B2 publication Critical patent/JP5667984B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4112—Peripherals receiving signals from specially adapted client devices having fewer capabilities than the client, e.g. thin client having less processing power or no tuning capabilities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H04N21/41265—The peripheral being portable, e.g. PDAs or mobile phones having a remote control device for bidirectional communication between the remote control device and client device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)

Abstract

様々な方向で操作される操作装置へのユーザの自然な操作に従って、画面に画像等を適切に表示させるための表示制御装置を提供する。表示制御装置は、タッチパッドを有する操作装置からの信号を受け、画面に表示するための画面データを生成する表示制御装置であって、ユーザが指で前記タッチパッドを操作するときに前記指が接触した前記タッチパッド上の位置情報を含むタッチ情報を検出するタッチ情報検出部（２０１）と、前記タッチ情報検出部（２０１）により検出された前記タッチ情報によって示される特徴であって、前記指による前記タッチパッド上での操作に起因する特徴を用いて、前記ユーザが意図する方向を決定する方向決定部（２０３）と、前記方向決定部（２０３）により決定された前記方向に依存させて、前記画面データを生成する画面データ生成部（２０５）とを備える。

Description

本発明は、ユーザが指を用いて操作するタッチパッドを有する操作装置から信号を受け、画面に表示させるための画面データを生成する表示制御装置に関する。
近年、デジタルＴＶ（デジタルテレビ）およびＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ）レコーダなどのＣＥ（Ｃｏｎｓｕｍｅｒ Ｅｌｅｃｔｒｏｎｉｃｓ）機器は、ネットワーク対応などにより、様々な機能を有する。これにより、従来のリモートコントロール装置（リモコン）などの操作装置を有するこれらの画面表示装置において、十分に快適な操作性が得られないようなアプリケーションが増加してきている。
例えば、画面表示装置で利用されるアプリケーションとして、インターネット上のコンテンツを閲覧するためのウェブブラウザがある。また、デジタルＴＶまたはＢＤレコーダでＳＤ（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ）カードなどに記録された画像データを閲覧するための写真ビューワもこのようなアプリケーションのひとつである。また、ウェブブラウザなどで検索などをおこなう場合に検索文字列を入力するためのキーボードアプリケーションなども存在する。
このようなアプリケーションも含め、今後、新たに登場するネットワーク対応アプリケーションなどにも柔軟に対応可能な、操作性の高い新規の画面表示装置に対するニーズが高まってきている。
例えば、新しい画面表示装置の形態の一つとして、従来のような固定的なハードウェアキーを備えたリモコンに代わり、タッチパッドを有する操作装置を装備した画面表示装置がある。このような画面表示装置では、デジタルＴＶ等の画面に表示されるＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）上でフリーポインティングが可能となっている。そして、ユーザがタッチパッド上を指でなぞる操作に対応して、ＧＵＩ上に表示されるカーソル（ＧＵＩ上での操作位置を示すポインタ）が動くようになっている。
したがって、ユーザは手元を見ずにＧＵＩを操作することができるので、煩雑な操作、および、画面表示装置が有するハードウェアキーの配置を覚えることなく、様々なアプリケーションを直感的に操作することが可能となる。
このような新しい画面表示装置の中には、画面表示装置を構成する操作装置が上下左右対称の形状をしたものもある。ユーザは、操作装置を持つ方向（ユーザが、操作装置のどの面を前方向と認識して持っているか）および、操作装置の持ち手（右手、左手のどちらで操作装置を持つか）を気にすることなく、画面表示装置を自由に操作できる。このような新しい画面表示装置では、ユーザがどのような向きで操作装置を持った場合でも、ユーザの操作に対応してＧＵＩ上のカーソルを適切に制御して表示することが必須である。
ところで、従来の画面表示装置を構成する操作装置の向きを認識する技術として、幾つかの技術が知られている。なお、操作装置が画面表示装置と物理的に一体となっている場合、操作装置の向きは、画面表示装置本体の向きと同じになる。
例えば、特許文献１では、画面表示装置として、ユーザが片手で操作できる携帯端末が開示されている。
この携帯端末は、本体のどこが保持（把持とも呼ばれる）されているか、本体の上下方向（天地方向）がどちらか等の本体の状態を認識する状態検出手段を備えている。状態検出手段は、携帯端末本体に取り付けられた接触センサー（圧力センサー、把持センサーまたはタッチセンサーなどとも呼ばれる）および重力センサー（加速度センサーなどとも呼ばれる）を用いて、本体の状態を認識する。そして、この携帯端末は、状態検出手段での状態検出結果を用いて画面の表示方向などを決定する。
すなわち、この携帯端末は、接触センサーおよび重力センサーでの検出結果に基づき本体の向きを認識する。
また、特許文献２では、画面表示装置として、ユーザのボタン操作もしくはユーザの本体の保持状態によって、表示部での表示方向を切り替えることができる携帯端末装置が開示されている。ユーザによる本体の保持状態は、携帯端末装置の周辺に取り付けられた圧力センサーにより検出される。すなわち、この携帯端末装置は、ユーザの明示的な指示、あるいは、圧力センサーでの保持状態の検出結果に基づき本体の向きを認識する。
また、特許文献３では、画面表示装置として、装置本体の外周部に複数個のタッチセンサーを配置し、ユーザの本体の持ち方に応じて、表示方向を最適化できる電子ペーパーデバイスが挙げられている。
特許文献３では、特許文献１および特許文献２に開示されている技術と同様、タッチセンサーを用いて本体の向きを認識する技術が開示されている。一方、タッチセンサーのみを用いて本体の向きを認識する方法での問題点として、ユーザの本体の持ち方によっては表示の天地方向が逆さになる場合がある、という点が特許文献３で指摘されている。これに関して特許文献３では、重力センサーを併用してユーザの持ち方の推定精度を向上させることにより、正しい表示が可能となるという記載がなされている。
特開平１０−３０１６９５号公報 特開平１１−１４３６０４号公報 特開２００８−５２０６２号公報
しかしながら、特許文献１、特許文献２、および、特許文献３で開示されている技術では、操作装置の向きが正しく認識されない場合がある。これらの技術は、画面表示装置が備える加速度センサーを用いて本体の向きを認識したり、圧力センサーを用いてユーザによるリモコンの把持方向を認識したりする等、センサーでの検出結果を用いて、リモコンなどの操作装置の向きを認識する技術である。しかし、ユーザの持ち方などによっては、ユーザが意図する向きと一致しない場合が発生する。その結果、ユーザの操作性が低下したり、ユーザの混乱を招いたりする虞がある。
具体的には、ユーザがリモコンを用いて操作する場合、通常は画面をやや見上げる方向でリモコンを保持して操作するのが一般的である。このような場合、リモコンの画面側の面はリモコンのユーザ側の面（手前）よりも上方に位置することになる。そして、リモコン本体に内蔵される加速度センサーはユーザ側の面（手前）が下方向であると検出する。そして、リモコン本体の向きは、一般的な保持方法に基づいて、下方向がユーザ側の面（手前）であるとして認識される。
したがって、画面表示装置によって認識されたリモコンの向きとユーザが意図する実際のリモコンの向きとは一致する。すなわち、この場合、リモコン本体の向きは正しく認識される。
しかし、反対に、ユーザが画面をやや見下ろす方向でリモコンを保持して操作する場合、リモコンの画面側の面がユーザ側の面（手前）よりも下方に位置することになる。そのため、加速度センサーは画面側の面が下方向であると検出する。そして、リモコン本体の向きは、一般的な保持方法に基づいて、下方向がユーザ側の面（手前）であるとして認識される。
したがって、リモコンのユーザ側の面（手前）が、画面側の面として認識されてしまう。すなわち、ユーザの意図する実際のリモコンの向きとは反対の向きにリモコン本体の向きが誤って認識されてしまう。ユーザが寝ながらリモコンを操作している場合も、同様に、加速度センサー等では、ユーザが意図する方向が正しく認識されない場合がある。
リモコン本体の向きが誤って認識された場合、ＧＵＩ上のカーソルの動きは、タッチパッド上のユーザの指の動きに対して天地方向が逆転するなど、ユーザの意図に反する動きとなってしまう。このような誤認識は、ユーザの混乱を招いたり、あるいは、リモコン本体を持ち替えさせたりすることとなる。そのため、ユーザのリモコン操作の快適さが損なわれてしまう。
また、特許文献２に開示された画面表示装置は、ユーザにボタンを操作させることで、リモコン本体の天地方向の逆転を指示させている。すなわち、画面表示装置は、ユーザにリモコン本体の向きを明示的に指定させている。このような方法では、ユーザの手間が増加する。そのため、この場合も快適なリモコン操作が実現できるとは言えない。
そこで、本発明は、様々な方向で操作される操作装置へのユーザの自然な操作に従って、画面に画像等を適切に表示させるための表示制御装置を提供することを目的とする。
上記課題を解決するために、本発明に係る表示制御装置は、タッチパッドを有する操作装置からの信号を受け、画面に表示するための画面データを生成する表示制御装置であって、ユーザが指で前記タッチパッドを操作するときに前記指が接触した前記タッチパッド上の位置情報を含むタッチ情報を検出するタッチ情報検出部と、前記タッチ情報検出部により検出された前記タッチ情報によって示される特徴であって、前記指による前記タッチパッド上での操作に起因する特徴を用いて、前記ユーザが意図する方向を決定する方向決定部と、前記方向決定部により決定された前記方向に依存させて、前記画面データを生成する画面データ生成部とを備える。
これにより、表示制御装置は、指の操作に起因する特徴、例えば、親指の付き方などの人の手の構造に基づく操作の特徴から、操作時にユーザが意図している方向を判別する。したがって、表示制御装置は、ユーザの自然な操作によって、ユーザが意図する方向を認識することができる。そして、表示制御装置は、認識された方向に基づいて、画面に画像等を適切に表示させることができる。
また、前記方向決定部は、前記特徴を用いて、前記ユーザが前記タッチパッドを見たときの前記タッチパッド上の上下左右の方向である前記方向を決定してもよい。
これにより、表示制御装置は、ユーザから見たタッチパッド上の上下左右の方向に基づいて、画面に画像等を適切に表示させることができる。
また、前記方向決定部は、前記特徴を用いて、前記操作装置の方向である前記方向を決定してもよい。
これにより、表示制御装置は、操作装置の方向に基づいて、画面に画像等を適切に表示させることができる。
また、前記表示制御装置は、さらに、前記タッチ情報検出部により検出された前記タッチ情報を蓄積することにより、複数のタッチ情報を蓄積するタッチ情報蓄積部を備え、前記方向決定部は、前記タッチ情報蓄積部により蓄積された前記複数のタッチ情報によって示される前記特徴を用いて、前記方向を決定してもよい。
これにより、表示制御装置は、複数のタッチ情報に基づく、より詳細な特徴を用いて、ユーザが意図する方向を決定することができる。したがって、表示制御装置は、画面に画像等をより適切に表示させることができる。
また、前記方向決定部は、前記複数のタッチ情報によって示される位置情報の遷移によって形成される軌跡の形状である前記特徴を用いて、前記方向を決定してもよい。
これにより、表示制御装置は、指の自然な操作に従って形成される軌跡に基づいて、ユーザが意図する方向を決定することができる。
また、前記方向決定部は、前記軌跡が凸状である場合に、凸側が上側であるとして、または、前記軌跡が凹状である場合に、凹側が下側であるとして、前記方向を決定してもよい。
これにより、表示制御装置は、軌跡の形状から、ユーザが意図する方向を直接的に決定することができる。
また、前記方向決定部は、前記複数のタッチ情報によって示される複数の位置情報の分布である前記特徴を用いて、前記方向を決定してもよい。
これにより、表示制御装置は、指の自然な操作に従って接触される位置の分布に基づいて、ユーザが意図する方向を決定することができる。
また、前記表示制御装置は、さらに、前記タッチ情報検出部により検出された前記タッチ情報に含まれる前記位置情報から、前記画面上でのポインティング位置を示すカーソルの表示位置を決定するカーソル位置決定部を備え、前記カーソル位置決定部は、前記方向決定部により決定された前記方向に依存させて、前記表示位置を決定し、前記画面データ生成部は、前記カーソル位置決定部により決定された前記表示位置に前記カーソルを表示するための前記画面データを生成してもよい。
これにより、表示制御装置は、ユーザが意図する方向に基づいて、適切な位置にカーソルを表示することができる。
また、前記カーソル位置決定部は、前記方向決定部により決定された前記方向と、前記操作装置において予め定められている方向とが異なる場合に、前記位置情報と前記予め定められている方向とによって決定される前記表示位置を補正することにより、前記表示位置を決定してもよい。
これにより、ユーザが予め定められた方向と異なる方向でタッチパッドを操作している場合も、適切な位置にカーソルが表示される。
また、前記表示制御装置は、さらに、前記ユーザに警告を通知するための警告データを生成する警告データ生成部を備え、前記警告データ生成部は、前記方向決定部により決定された前記方向と、前記操作装置において予め定められている方向とが異なる場合に、前記警告データを生成してもよい。
これにより、ユーザが誤った方向でタッチパッドを操作しようとしている場合、ユーザは誤りを認識することができる。
また、前記表示制御装置は、さらに、前記操作装置の外周部に配置されたセンサーであって、前記ユーザの接触を検出するセンサーから、前記ユーザが前記操作装置を保持している部分の情報である保持部分情報を検出するセンサー情報検出部を備え、前記方向決定部は、前記センサー情報検出部により検出された前記保持部分情報と、前記特徴とに依存させて、前記方向を決定してもよい。
これにより、ユーザが操作装置を保持している部分の情報、および、ユーザによる自然な操作から得られる情報によって、より適切に方向が認識される。
また、前記表示制御装置は、さらに、前記操作装置にかかる重力方向を検出するセンサーから、前記操作装置にかかる重力方向の情報である重力方向情報を検出するセンサー情報検出部を備え、前記方向決定部は、前記センサー情報検出部により検出された前記重力方向情報と、前記特徴とに依存させて、前記方向を決定してもよい。
これにより、操作装置にかかる重力方向の情報、および、ユーザによる自然な操作から得られる情報によって、より適切に方向が認識される。
また、前記表示制御装置は、さらに、前記ユーザに警告を通知するための警告データを生成する警告データ生成部と、前記操作装置の外周部に配置されたセンサーであって、前記ユーザの接触を検出するセンサーから、前記ユーザが前記操作装置を保持している部分の情報である保持部分情報を検出するセンサー情報検出部とを備え、前記警告データ生成部は、前記センサー情報検出部により検出された前記保持部分情報から前記ユーザが意図する方向として推定される方向と、前記方向決定部により決定された前記方向とが異なる場合に、前記警告データを生成してもよい。
これにより、表示制御装置は、ユーザが操作装置を保持している部分の情報を用いて、ユーザの自然な操作に従って決定された方向の妥当性を検証することができる。したがって、より確かな方向が得られる。
また、前記表示制御装置は、さらに、前記ユーザに警告を通知するための警告データを生成する警告データ生成部と、前記操作装置にかかる重力方向を検出するセンサーから、前記操作装置にかかる重力方向の情報である重力方向情報を検出するセンサー情報検出部とを備え、前記警告データ生成部は、前記センサー情報検出部により検出された前記重力方向情報から前記ユーザが意図する方向として推定される方向と、前記方向決定部により決定された前記方向とが異なる場合に、前記警告データを生成してもよい。
これにより、表示制御装置は、操作装置にかかる重力方向の情報を用いて、ユーザの自然な操作に従って決定された方向の妥当性を検証することができる。したがって、より確かな方向が得られる。
また、前記表示制御装置は、さらに、前記ユーザに警告を通知するための警告データを生成する警告データ生成部と、前記操作装置の外周部に配置された第１のセンサーであって、前記ユーザの接触を検出する第１のセンサーから、前記ユーザが前記操作装置を保持している部分の情報である保持部分情報を検出し、前記操作装置にかかる重力方向を検出する第２のセンサーから、前記操作装置にかかる重力方向の情報である重力方向情報を検出するセンサー情報検出部とを備え、前記カーソル位置決定部は、前記センサー情報検出部により検出された前記保持部分情報および前記重力方向情報から前記ユーザが意図する方向として推定される方向と、前記方向決定部により決定された前記方向とが一致する場合に、前記方向決定部により決定された前記方向に依存させて、前記表示位置を決定し、前記警告データ生成部は、前記センサー情報検出部により検出された前記保持部分情報および前記重力方向情報から前記ユーザが意図する方向として推定される方向と、前記方向決定部により決定された前記方向とが一致しない場合に、前記警告データを生成してもよい。
これにより、方向が適切に認識された場合、適切な位置にカーソルが表示され、方向が適切に認識されなかった場合、ユーザはその旨を認識できる。
また、前記タッチ情報検出部は、２つのタッチパッドを有する前記操作装置からの信号を取得し、前記ユーザが複数の指で前記２つのタッチパッドを操作するときに前記複数の指のいずれかが接触した各タッチパッド上の位置情報をそれぞれ含む２つのタッチ情報を検出し、前記方向決定部は、前記タッチ情報検出部により検出された前記２つのタッチ情報のそれぞれによって示される前記特徴でそれぞれが構成される２つの特徴が互いに一致する場合に、前記２つの特徴のいずれかを用いて、前記方向を決定してもよい。
これにより、表示制御装置は、複数のタッチパッドの情報を用いて、ユーザが意図する方向をより適切に決定することができる。
また、本発明に係る表示制御方法は、タッチパッドを有する操作装置からの信号を受け、画面に表示するための画面データを生成する表示制御方法であって、ユーザが指で前記タッチパッドを操作するときに前記指が接触した前記タッチパッド上の位置情報を含むタッチ情報を検出するタッチ情報検出ステップと、前記タッチ情報検出ステップにより検出された前記タッチ情報によって示される特徴であって、前記指による前記タッチパッド上での操作に起因する特徴を用いて、前記ユーザが意図する方向を決定する方向決定ステップと、前記方向決定ステップにより決定された前記方向に依存させて、前記画面データを生成する画面データ生成ステップとを含む表示制御方法であってもよい。
これにより、前記表示制御装置が表示制御方法として実現される。
また、本発明によるプログラムは、前記表示制御方法に含まれるステップをコンピュータに実行させるためのプログラムであってもよい。
これにより、前記表示制御方法がプログラムとして実現される。
また、本発明に係る集積回路は、タッチパッドを有する操作装置からの信号を受け、画面に表示するための画面データを生成する集積回路であって、ユーザが指で前記タッチパッドを操作するときに前記指が接触した前記タッチパッド上の位置情報を含むタッチ情報を検出するタッチ情報検出部と、前記タッチ情報検出部により検出された前記タッチ情報によって示される特徴であって、前記指による前記タッチパッド上での操作に起因する特徴を用いて、前記ユーザが意図する方向を決定する方向決定部と、前記方向決定部により決定された前記方向に依存させて、前記画面データを生成する画面データ生成部とを備える集積回路であってもよい。
これにより、前記表示制御装置が集積回路として実現される。
本発明により、様々な方向で操作される操作装置へのユーザの自然な操作に従って、画面に画像等が適切に表示される。したがって、ユーザの快適な操作性が確保される。また、ユーザによるタッチパッドへの入力という操作装置本来の機能を活用しているので、追加コストの抑制が可能である。すなわち、ユーザ操作性の向上と追加コストの抑制との両立が可能である。
図１は、実施の形態１における画面表示装置の概略図である。 図２は、実施の形態１における画面表示装置の構成図である。 図３は、実施の形態１におけるタッチ情報の構成例を示す図である。 図４は、実施の形態１におけるタッチ情報テーブルの構成例を示す図である。 図５は、実施の形態１における画面表示装置の全体処理フローを示す図である。 図６は、実施の形態１の方向決定部における方向決定処理フローを示す図である。 図７Ａは、実施の形態１の方向決定部における軌跡形状決定処理の第１の例を示す説明図である。 図７Ｂは、実施の形態１の方向決定部における軌跡形状決定処理の第２の例を示す説明図である。 図７Ｃは、実施の形態１の方向決定部における軌跡形状決定処理の第３の例を示す説明図である。 図７Ｄは、実施の形態１の方向決定部における軌跡形状決定処理の第４の例を示す説明図である。 図８は、実施の形態２における画面表示装置の概略図である。 図９は、実施の形態２における画面表示装置の構成図である。 図１０は、実施の形態２におけるタッチ情報の構成例を示す図である。 図１１は、実施の形態２におけるタッチ情報テーブルの構成例を示す図である。 図１２は、実施の形態２における画面表示装置の全体処理フローを示す図である。 図１３は、実施の形態２の方向決定部における方向決定処理フローを示す図である。 図１４は、実施の形態２の方向決定部における軌跡形状決定処理フローを示す図である。 図１５Ａは、実施の形態２の方向決定部における軌跡形状決定処理の第１の例を示す説明図である。 図１５Ｂは、実施の形態２の方向決定部における軌跡形状決定処理の第２の例を示す説明図である。 図１６は、実施の形態３における画面表示装置の概略図である。 図１７は、実施の形態３における画面表示装置の構成図である。 図１８は、実施の形態３における画面表示装置の全体処理フローを示す図である。 図１９は、実施の形態３の方向決定部における横持ち時方向決定処理フローを示す図である。 図２０は、実施の形態３の方向決定部における縦持ち時方向決定処理フローを示す図である。 図２１は、実施の形態３の方向決定部における軌跡形状決定処理フローを示す図である。 図２２は、実施の形態４における画面表示装置の構成図である。 図２３は、実施の形態４における画面表示装置の全体処理フローを示す図である。 図２４は、実施の形態５における画面表示装置の構成図である。 図２５は、実施の形態５における画面表示装置の全体処理フローを示す図である。 図２６は、実施の形態５の方向決定部における横持ち時方向決定処理フローを示す図である。 図２７は、実施の形態５の方向決定部における縦持ち時方向決定処理フローを示す図である。 図２８は、実施の形態５の方向決定部における位置情報分布判定処理フローを示す図である。 図２９Ａは、実施の形態５の方向決定部における位置情報分布判定処理の第１の例を示す説明図である。 図２９Ｂは、実施の形態５の方向決定部における位置情報分布判定処理の第２の例を示す説明図である。 図３０は、実施の形態１の変形例における画面表示装置の構成図である。 図３１は、実施の形態１の変形例における画面表示装置の利用状態を示す図である。
以下、本発明の実施の形態について、図面を参照しながら説明する。
（実施の形態１）
実施の形態１における画面表示装置は、タッチパッド上でのユーザの入力を示す位置情報（座標）の軌跡の形状を利用して、タッチパッドを含む操作装置の向き（方向ともいう）を認識する。そして、画面表示装置は、操作装置の向きに基づいて画面上でのカーソル（ＧＵＩ上での操作位置を示すポインタ）の表示位置を補正する。
図１は、実施の形態１における画面表示装置の概略図である。図１に示された画面表示装置１は、ユーザからの入力を受け付け、画面１０４にカーソル１０５等を表示する。
リモコン１０１は、ユーザが画面１０４上のＧＵＩを操作する操作装置の一例である。リモコン１０１は、ユーザの指１０３による入力を受け付けるタッチパッド１０２を備えている。
タッチパッド１０２による入力の受付処理は静電容量の変化を検出する方法などにより実現されるが、公知技術であるため、ここでは説明を省略する。また、リモコン１０１は、画面１０４に対してＢｌｕｅｔｏｏｔｈおよびＺｉｇＢｅｅ／ＩＥＥＥ８０２．１５．４などの無線によって信号を伝送するが、信号の伝送技術は、同様に公知技術であるため、ここでは説明を省略する。
ユーザが指１０３をタッチパッド１０２に接触させた場合、タッチパッド１０２上での接触位置がｘ座標、ｙ座標で表される位置情報として検出される。タッチパッド１０２上での座標系は、画面１０４上での座標系と一対一で対応づけられている。そのため、画面表示装置１は、検出した位置情報に基づき、カーソル１０５の画面１０４上での座標の値を計算できる。なお、指１０３の接触には、手袋などを介した間接的な接触も含まれる。
また、図１には、ユーザの目１０６からタッチパッド１０２を見たときのタッチパッド１０２上の上下左右の方向が示されている。ユーザがタッチパッド１０２を操作するときに意図する方向は、図１に示された上下左右の方向であると想定される。すなわち、ユーザが意図する方向は、ユーザからタッチパッド１０２を見たときのタッチパッド１０２上の上下左右の方向であると想定される。画面表示装置１は、このような方向を認識し、認識された方向に基づいて、適切な位置にカーソル１０５を表示する。
ユーザが意図する方向は、ユーザが操作装置に対して意図する方向、すなわち、操作装置の方向ともいえる。図１に示された方向は、リモコン１０１等の操作装置の方向でもある。
なお、操作装置は、予め定められた上下左右の方向を有する場合がある。操作装置において予め定められた方向は、典型的には、操作装置に付けられているロゴの表示方向に対応する。操作装置の方向は、予め定められた方向からの回転角によって、定量的に表現されてもよい。
図２は、図１に示された実施の形態１における画面表示装置１の構成図である。図２において、図１と同一の構成要素については同一の符号を用い、説明を省略する。
図２に示された画面表示装置１は、タッチパッド１０２と、タッチ情報検出部２０１と、タッチ情報蓄積部２０２と、方向決定部２０３と、カーソル位置決定部２０４と、画面データ生成部２０５と、表示部２０６とを備える。
図２に示された操作装置１１は、リモコン１０１などによって実現され、タッチパッド１０２を備える。また、表示制御装置１０は、タッチ情報検出部２０１と、タッチ情報蓄積部２０２と、方向決定部２０３と、カーソル位置決定部２０４と、画面データ生成部２０５とを備える。
表示制御装置１０は、操作装置１１から信号を受け、画面１０４に画像等を表示させるための画面データを生成する。なお、表示制御装置１０は、操作装置１１または表示部２０６に組み込まれていてもよい。
タッチ情報検出部２０１は、ユーザのタッチパッド１０２上での接触操作あるいは押下操作などに対応して、少なくともタッチパッド１０２上での接触位置を示すｘ座標およびｙ座標である位置情報を含むタッチ情報を検出する手段である。ここでは、タッチ情報検出部２０１は、表示制御装置１０に含まれるが、操作装置１１に含まれてもよい。タッチ情報検出部２０１は、所定の時間間隔でタッチ情報を検出して、検出したタッチ情報をタッチ情報蓄積部２０２に渡す。このタッチ情報の構成例については、後で図３を用いて詳細に説明する。
タッチ情報蓄積部２０２は、記憶部等で構成され、タッチ情報検出部２０１から渡されるタッチ情報を蓄積する手段である。タッチ情報蓄積部２０２は、方向決定部２０３がタッチ情報を用いて操作装置１１の向きを決定できるように、所定時間あるいは所定量などのタッチ情報を時系列などの順で蓄積する。このタッチ情報を蓄積するためのタッチ情報テーブルの構成例については、後で図４を用いて詳細に説明する。
方向決定部２０３は、タッチ情報蓄積部２０２で蓄積されたタッチ情報に基づいて、操作装置１１の向きを決定する手段である。具体的には、方向決定部２０３は、所定のアルゴリズムに基づいてタッチ情報を解析することで、操作装置１１のどの面が画面１０４側を向いているかを決定する。このアルゴリズムについては、後で図６を用いて詳しく説明する。
なお、以下、これに限られるものではないが、基本的には、方向決定部２０３は、ユーザが自然にタッチパッドを触る操作によって得られたタッチ情報を用いて、操作装置１１の向きを決定することができる。このようなタッチ情報は、ユーザが操作装置１１を保持し始めた時点、アプリケーションの切替え時、および、同一アプリケーション内で操作装置１１の保持方向が変わる時などにおいて、得られる。
カーソル位置決定部２０４は、方向決定部２０３で決定した操作装置１１の向きと、タッチ情報検出部２０１で検出したタッチ情報とから、画面１０４上に表示するカーソル１０５の位置を計算する手段である。すなわち、カーソル位置決定部２０４は、タッチ情報に含まれる位置情報から、画面１０４上でのポインティング位置を示すカーソル１０５の表示位置を決定する。
カーソル位置決定部２０４は、方向決定部２０３でユーザが操作装置１１を「正しい向き」に保持していない、すなわち、「逆向き」に保持していると判断された場合、タッチ情報に含まれる位置情報の値を変換（座標変換）する。これにより、カーソル位置決定部２０４は、ユーザが操作装置１１を「正しい向き」に保持している場合と同等のカーソル１０５の動きとなるように位置情報を補正する。
一方、方向決定部２０３でユーザが操作装置１１を「正しい向き」に保持していると判断された場合には、カーソル位置決定部２０４は位置情報の補正を行わない。
なお、ここで「正しい向き」とは、タッチパッド１０２上での座標系の向きと一致する向きであることを示している。言い換えれば、「正しい向き」とは、ユーザが意図する方向と、操作装置１１において予め定められている方向とが一致する状態をいう。
なお、「逆向き」とは、ユーザが意図する方向と、操作装置１１において予め定められている方向とが正反対である状態をいう。また、「右向き」とは、ユーザが意図する上方向が、操作装置１１において予め定められている右方向になっている状態をいう。また、「左向き」とは、ユーザが意図する上方向が、操作装置１１において予め定められている左方向になっている状態をいう。
また、カーソル位置決定部２０４は、タッチ情報検出部２０１から受け取った位置情報、または、当該手段で補正した後の位置情報を用いて、画面１０４上でのカーソル１０５の表示位置（カーソル位置）を決定する。
画面データ生成部２０５は、カーソル位置決定部２０４で決定したカーソル１０５の表示位置などに基づいて、画面データを生成する手段である。画面データ生成部２０５は、動画ビューワまたはウェブブラウザなどのアプリケーションの画像と、カーソル画像とを重畳することにより、表示部２０６で表示する画面データを生成する。
表示部２０６は、画面データ生成部２０５から渡された画面データを画像等として表示する手段である。表示部２０６は、例えば、デジタルＴＶの画面などである。なお、表示部２０６は、画面表示装置１の外部にあってもよい。
以上で、実施の形態１における画面表示装置１の構成についての説明を終了する。
次に、図３を用いて、タッチ情報検出部２０１が検出するタッチ情報について説明する。
図３は、タッチ情報の構成例を示す図である。図３に示されたタッチ情報３００は、操作ＩＤ３０１と位置情報３０２とから構成される。
操作ＩＤ３０１は、ユーザがタッチパッド１０２上で行った操作の種別を示すＩＤである。操作ＩＤ３０１として、タッチパッド１０２への接触操作を示す「ＴＯＵＣＨ」と、タッチパッド１０２の押下操作を示す「ＣＬＩＣＫ」とがある。
位置情報３０２は、操作ＩＤ３０１で示される操作が行われたタッチパッド１０２上でのｘ座標の値とｙ座標の値とで構成されており、（ｘ座標の値、ｙ座標の値）の形式で表される。
図３では、「タッチパッド１０２への接触操作が（１００、１００）で発生した」ことを示すタッチ情報３００が例示されている。
以上で、タッチ情報３００の構成例についての説明を終了する。
次に、図４を用いて、図２に示されたタッチ情報蓄積部２０２が保持するタッチ情報テーブルについて説明する。
図４は、図２に示されたタッチ情報蓄積部２０２が保持するタッチ情報テーブルの構成例を示す図である。図４に示されたタッチ情報テーブル４００は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）またはフラッシュメモリなどで構成される。
タッチ情報テーブル４００には、タッチ情報検出部２０１から渡されるタッチ情報３００が、時系列順で蓄積される。タッチ情報蓄積部２０２は、タッチ情報検出部２０１からタッチ情報３００が渡される度に、受け取ったタッチ情報３００をタッチ情報テーブル４００に追加する。
図４に示す例は、（１）「タッチパッド１０２への接触操作が（１００、１００）で発生した」、（２）「タッチパッド１０２への接触操作が（１５０、２００）で発生した」、（３）「タッチパッド１０２への接触操作が（２００、３００）で発生した」、（４）「タッチパッド１０２への押下操作が（２００、３００）で発生した」ということを示している。
ここで、タッチ情報検出部２０１は、所定の時間間隔でタッチパッド１０２上の接触操作および押下操作を検出する。そのため、図４に示すタッチ情報テーブル４００から、ユーザの指の動作は、「タッチパッド１０２に（１００、１００）で接触し、タッチパッド１０２に接触した状態で（１５０、２００）を経由して（２００、３００）まで移動し、そこでタッチパッド１０２を押下した」と解釈される。
なお、タッチ情報蓄積部２０２は、所定時間を経過した場合、タッチ情報テーブル４００に含まれる古いタッチ情報３００を定期的に削除してもよい。また、タッチ情報蓄積部２０２は、タッチ情報検出部２０１からタッチ情報３００を受け取ったときに蓄積量が所定量を超過するような場合、新しいタッチ情報３００で古いタッチ情報３００を上書き更新してもよい。
以上で、タッチ情報テーブル４００の構成例についての説明を終了する。
次に、図５を用いて、実施の形態１における画面表示装置１の処理フローについて説明する。
図５は、図２に示された実施の形態１における画面表示装置１の全体処理フローである。
まず、画面表示装置１のタッチ情報検出部２０１は、図２に図示しない指示部からの指示に基づき、タッチパッド１０２への入力の検出を継続するか否かを確認する（Ｓ５０１）。
ここで、タッチ情報検出部２０１がタッチパッド１０２への入力の検出を中断するように指示されている場合（Ｓ５０１でＮＯ）、画面表示装置１は、処理を終了する。
一方、タッチ情報検出部２０１がタッチパッド１０２への入力の検出を継続するよう指示されている場合（Ｓ５０１でＹＥＳ）、タッチ情報検出部２０１は、タッチパッド１０２への入力の有無を確認する。そして、タッチ情報検出部２０１は、図３に示したタッチ情報３００の有無を検出する（Ｓ５０２）。
ここで、タッチ情報検出部２０１は、「タッチ情報無し」と検出した場合（Ｓ５０２でＮＯ）、再度、入力の検出を継続するか否かを確認する（Ｓ５０１）。
一方、タッチ情報検出部２０１は、「タッチ情報有り」と検出した場合（Ｓ５０２でＹＥＳ）、タッチ情報蓄積部２０２にタッチ情報３００を蓄積させる（Ｓ５０３）。より具体的には、タッチ情報検出部２０１は、図４で示したタッチ情報テーブル４００にタッチ情報３００を追加する。また、タッチ情報検出部２０１は、画面上でのカーソル表示のため、検出したタッチ情報３００をカーソル位置決定部２０４にも渡す。
次に、カーソル位置決定部２０４は、タッチ情報検出部２０１からタッチ情報３００を受け取った後、タッチ情報３００に含まれる位置情報３０２を補正する必要があるか否かを決定する。そのため、カーソル位置決定部２０４は、方向決定部２０３に対して、操作装置１１の向きを問い合わせる（Ｓ５０４）。
次に、方向決定部２０３は、カーソル位置決定部２０４からの問い合わせを受けた後、タッチ情報蓄積部２０２のタッチ情報テーブル４００にアクセスして、タッチ情報３００を読み出す（Ｓ５０５）。このとき、方向決定部２０３は、事前に方向決定部２０３に設定された所定時間分のタッチ情報３００あるいは所定量のタッチ情報３００を読み出す。
なお、タッチ情報蓄積部２０２は、タッチ情報検出部２０１から所定の時間間隔で受け取ったタッチ情報３００を順次蓄積する。したがって、計算により所定時間分のタッチ情報の量が求められる。
また、タッチ情報蓄積部２０２は、タッチ情報３００を読み出す際、一旦読み出したタッチ情報３００を方向決定部２０３の内部などに保持させておいてもよい。そして、タッチ情報蓄積部２０２は、新たに必要となる差分のタッチ情報３００のみを読み出してもよい。これにより、以降に読み出されるタッチ情報３００の量が削減される。
方向決定部２０３は、タッチ情報の読み出し処理（Ｓ５０５）で読み出したタッチ情報３００を用いて、操作装置１１の向きを決定する（Ｓ５０６：方向決定処理）。その後、方向決定部２０３は、決定した操作装置１１の向きをカーソル位置決定部２０４に渡す。この方向決定処理については、後で図６を用いて詳細に説明する。
カーソル位置決定部２０４は、方向決定部２０３から操作装置１１の向きを受け取り、操作装置１１の向きが「正しい向き」であるか否かを判定する（Ｓ５０７）。
ここで、操作装置１１の向きが「正しい向き」である場合（Ｓ５０７でＹＥＳ）、カーソル位置決定部２０４は、画面上でのカーソル位置を決定する処理（Ｓ５０９）を実行する。
一方、操作装置１１の向きが「正しい向き」以外である場合（Ｓ５０７でＮＯ）、カーソル位置決定部２０４は、操作装置１１の向きに基づいて、タッチ情報検出部２０１から受け取ったタッチ情報３００の位置情報３０２を補正する（Ｓ５０８：位置情報補正処理）。この場合、カーソル位置決定部２０４は、操作装置１１の向きが「正しい向き」である場合と同等の位置にカーソルが表示されるように、位置情報３０２を補正する。この位置情報補正処理については、後で詳細に説明する。
次に、カーソル位置決定部２０４は、タッチ情報検出部２０１から受け取ったタッチ情報３００の位置情報３０２、または、補正された位置情報３０２を用いて、画面上でのカーソル位置を決定する（Ｓ５０９）。具体的には、カーソル位置決定部２０４は、タッチパッド１０２の座標系および画面表示上の座標系におけるそれぞれの最小値と最大値とから、タッチパッド１０２の座標系と画面表示上の座標系との拡大比を得ることによりカーソル位置を決定する。
すなわち、カーソル位置決定部２０４は、位置情報のｘ座標とｙ座標とのそれぞれについて、（画面表示上のカーソル位置）＝（タッチパッド１０２上のカーソル位置）×｛（画面表示上の座標系の最大値）−（画面表示上の座標系の最小値）｝÷｛（タッチパッド１０２上の座標系の最大値）−（タッチパッド１０２上の座標系の最小値）｝により、画面上でのカーソル位置を決定する。
その後、カーソル位置決定部２０４は、決定したカーソル位置のｘ座標とｙ座標とを、画面データ生成部２０５に渡す。
画面データ生成部２０５は、カーソル位置決定部２０４から受け取ったカーソル位置に基づいて、表示部２０６で表示すべき映像およびアニメーション等にカーソル画像を重畳して、画面データを生成する（Ｓ５１０）。その後、画面データ生成部２０５は、生成した画面データを表示部２０６に渡す。
表示部２０６は、画面データ生成部２０５から受け取った画面データを画面等に表示する（Ｓ５１１）。本処理の終了後、タッチ情報検出部２０１は、再度、タッチパッド１０２への入力の検出を継続するか否かを確認する処理（Ｓ５０１）を実行する。
以上で、図５に示す画面表示装置１の全体処理フローについての説明を終了する。
次に、図６〜図７Ｄを用いて、図５に示された方向決定処理（Ｓ５０６）のフローについて説明する。以降、図５に示されたタッチ情報の読み出し処理（Ｓ５０５）において読み出したタッチ情報３００に含まれる位置情報３０２を時系列に並べ、隣接する２点の位置情報を線分で結んだものを「軌跡」と記す。
図６は、図２に示された方向決定部２０３における方向決定処理フローを示す図である。
まず、方向決定部２０３は、タッチ情報テーブル４００から読み出したタッチ情報３００の有無を確認する（Ｓ６０１）。
ここで、読み出したタッチ情報３００が存在しない場合（Ｓ６０１でＮＯ）、方向決定部２０３は、操作装置１１の向きが「方向不定」であると決定する（Ｓ６１３）。
一方、読み出したタッチ情報３００が存在する場合（Ｓ６０１でＹＥＳ）、方向決定部２０３は、前段の処理（Ｓ６０１）で読み出したタッチ情報３００について、軌跡上の２点の位置情報３０２を結ぶ線分の傾きΔを計算する（Ｓ６０２）。
傾きΔは、時系列で隣接する２点Ａ、Ｂの位置情報をＡ（ｘａ、ｙａ）、Ｂ（ｘｂ、ｙｂ）とした場合、（傾きΔ）＝（ｙｂ−ｙａ）÷（ｘｂ−ｘａ）で計算される。但し、このとき、（ｙｂ−ｙａ）と（ｘｂ−ｘａ）の符号が考慮される。すなわち、計算された傾きΔは、その正負に関連づけて保持される。このようにして、方向決定部２０３は、読み出した全てのタッチ情報３００について、傾きΔを計算する。
次に、方向決定部２０３は、前段の処理（Ｓ６０２）で計算した傾きΔについて、時系列で隣接する２つの傾きΔの変化度δを計算する（Ｓ６０３）。変化度δは、時系列で隣接する２つの傾きΔをΔＡ、ΔＢとした場合、（変化度δ）＝ΔＢ−ΔＡで計算される。方向決定部２０３は、前段の処理（Ｓ６０２）で計算した全ての傾きΔについて、変化度δを計算する。
方向決定部２０３は、位置情報３０２と、傾きΔと、変化度δとから、軌跡の形状を決定する（Ｓ６０４：軌跡形状決定処理）。この軌跡形状決定処理については、後で図７Ａ〜図７Ｄを用いて詳細に説明する。
方向決定部２０３は、軌跡形状決定処理（Ｓ６０４）で決定した軌跡の形状が「上に凸」であるか否かを確認する（Ｓ６０５）。
ここで、軌跡の形状が「上に凸」である場合（Ｓ６０５でＹＥＳ）、方向決定部２０３は、人の指の構造上の特徴などを鑑みて、ユーザの指１０３の向きがタッチパッド１０２の上方向（タッチパッド１０２の座標系と同一方向）であると判断する。
また、ユーザの意図する操作装置１１の向きは、ユーザの指１０３の方向と一致すると考えられる。したがって、方向決定部２０３は、操作装置１１の向きが「正しい向き」であると決定する（Ｓ６０６）。そして、方向決定部２０３は、カーソル位置決定部２０４に、決定した操作装置１１の向きを渡し、本処理を終了する。
一方、軌跡の形状が「上に凸」でない場合（Ｓ６０５でＮＯ）、方向決定部２０３は、軌跡形状決定処理（Ｓ６０４）で決定した軌跡の形状が「下に凸」であるか否かを確認する（Ｓ６０７）。
ここで、軌跡の形状が「下に凸」である場合（Ｓ６０７でＹＥＳ）、方向決定部２０３は、人の指の構造上の特徴などを鑑みて、ユーザの指１０３の向きがタッチパッド１０２の下方向（タッチパッド１０２の座標系と上下反対方向、あるいは、右または左に１８０°回転させた方向）であると判断する。
また、ユーザの意図する操作装置１１の向きは、ユーザの指１０３の方向と一致すると考えられる。したがって、方向決定部２０３は、操作装置１１の向きが「正しい向き」であると決定する場合（Ｓ６０６）とは反対に、操作装置１１の向きが「逆向き」であると決定する（Ｓ６０８）。そして、方向決定部２０３は、カーソル位置決定部２０４に、決定した操作装置１１の向きを渡し、本処理を終了する。
一方、軌跡の形状が「下に凸」でない場合（Ｓ６０７でＮＯ）、方向決定部２０３は、軌跡形状決定処理（Ｓ６０４）で決定した軌跡の形状が「右に凸」であるか否かを確認する（Ｓ６０９）。
ここで、軌跡の形状が「右に凸」である場合（Ｓ６０９でＹＥＳ）、方向決定部２０３は、人の指の構造上の特徴などを鑑みて、ユーザの指１０３の向きがタッチパッド１０２の右方向（タッチパッド１０２の座標系を右に９０°回転させた方向）であると判断する。
また、ユーザの意図する操作装置１１の向きは、ユーザの指１０３の方向と一致すると考えられる。したがって、方向決定部２０３は、操作装置１１の向きが「右向き」であると決定する（Ｓ６１０）。方向決定部２０３は、カーソル位置決定部２０４に、決定した操作装置１１の向きを渡し、本処理を終了する。
一方、軌跡の形状が「右に凸」でない場合（Ｓ６０９でＮＯ）、方向決定部２０３は、軌跡形状決定処理（Ｓ６０４）で決定した軌跡の形状が「左に凸」であるか否かを確認する（Ｓ６１１）。
ここで、軌跡の形状が「左に凸」である場合（Ｓ６１１でＹＥＳ）、方向決定部２０３は、人の指の構造上の特徴などを鑑みて、ユーザの指１０３の向きがタッチパッド１０２の左方向（タッチパッド１０２の座標系を左に９０°回転させた方向）であると判断する。
また、ユーザの意図する操作装置１１の向きは、ユーザの指１０３の方向と一致すると考えられる。したがって、方向決定部２０３は、操作装置１１の向きが「左向き」であると決定する（Ｓ６１２）。方向決定部２０３は、カーソル位置決定部２０４に、決定した操作装置１１の向きを渡し、本処理を終了する。
一方、軌跡の形状が「左に凸」でない場合（Ｓ６１１でＮＯ）、方向決定部２０３は、前段の処理で軌跡の形状を決定することができない（「形状不定」）。この場合、方向決定部２０３は、操作装置１１の向きが「方向不定」であると決定する（Ｓ６１３）。
なお、方向決定部２０３は、操作装置１１の向きが方向不定である場合（Ｓ６１３）、操作装置１１の向きがデフォルトの向きとして「正しい向き」であると決定してもよい。このデフォルトの向きは、出荷時などに予め画面表示装置１にデフォルト値として設定されていている向きでもよいし、ユーザが予めデフォルト値として設定している向きでもよい。
以上で、方向決定部２０３での方向決定処理フローについての説明を終了する。
次に、図７Ａ〜図７Ｄを用いて、方向決定部２０３での軌跡形状決定処理について説明する。
図７Ａ〜図７Ｄは、傾きΔと変化度δとから軌跡の形状を決定し、さらに、軌跡の形状からユーザの指の向きを推定することにより、結果として、操作装置１１の向きを決定する方法を示した図である。操作装置１１の向きには、「正しい向き」、「逆向き」、「右向き」、「左向き」の４パターンがある。図７Ａが「正しい向き」を、図７Ｂが「逆向き」を、図７Ｃが「右向き」を、図７Ｄが「左向き」を示している。
方向決定部２０３は、図６で示した方向決定処理フローの傾きΔの計算処理（Ｓ６０２）で計算した傾きΔの値の正負を判別する。また、方向決定部２０３は、傾きΔを計算する際のｘ座標の差分「Δｘ」の正負とｙ座標の差分「Δｙ」の正負とを判別する。また、方向決定部２０３は、変化度δの計算処理（Ｓ６０３）において計算した変化度δの値の正負を判別する。
図７Ａ〜図７Ｄでは、それぞれ、これらの正負の判別結果が表で表されており、正が「＋」、負が「−」で示されている。当該表中では示されていないが、傾きΔまたは変化度δが０の場合は、「±」によって表される特別な状態として考慮されてもよい。また、当該表中では示されていないが、傾きΔが無限大となる場合、および、Δｘが０となることにより傾きΔが計算できない場合なども考えられる。これらの場合も軌跡の形状の特徴として考慮されてもよい。
図７Ａの場合、傾きΔが「＋」から「−」に変化し、変化度δが全て「−」である。方向決定部２０３は、ΔｘおよびΔｙの値も考慮して、軌跡が「上に凸」の形状であると決定する。
図７Ｂの場合、傾きΔが「−」から「＋」に変化し、変化度δが全て「＋」である。方向決定部２０３は、ΔｘおよびΔｙの値も考慮して、軌跡は「下に凸」の形状であると決定する。
図７Ｃの場合、傾きΔが「−」から「＋」に変化し、変化度δが「−」から「＋」に変化している。方向決定部２０３は、ΔｘおよびΔｙの値も考慮して、軌跡が「右に凸」の形状であると決定する。
図７Ｄの場合、傾きΔが「＋」から「−」に変化し、変化度δが「−」から「＋」に変化している。方向決定部２０３は、ΔｘおよびΔｙの値も考慮して、軌跡が「左に凸」の形状であると決定する。
図７Ａ〜図７Ｄのいずれの場合にも該当しない場合、方向決定部２０３は、軌跡の形状を決定できない。そのため、方向決定部２０３は、「形状不定」であると決定する。例えば、方向決定部２０３が軌跡の形状を決定できない場合として、軌跡に含まれる位置情報３０２の数が少なかった場合などが考えられる。
なお、方向決定部２０３は、傾きΔの変化と変化度δの変化との組み合わせが、図７Ａ〜図７Ｄのいずれにも該当しない場合であっても、図７Ａ〜図７Ｄのどのパターンに最も近いかを判定してもよい。これにより、方向決定部２０３は、軌跡の形状を図７Ａ〜図７Ｄのいずれかに決定してもよい。
以上で、方向決定部２０３での軌跡形状決定処理についての説明を終了する。
次に、カーソル位置決定部２０４における位置情報補正処理について説明する。
カーソル位置決定部２０４は、タッチパッド１０２上の中心座標Ｃを中心として回転した座標を計算することで補正後の位置情報を取得する。
例えば、タッチパッド１０２の座標系のｘ座標の取り得る値の最小値、最大値がそれぞれｘ＿ｍｉｎ、ｘ＿ｍａｘであって、ｙ座標の値の取り得る最小値、最大値がそれぞれｙ＿ｍｉｎ、ｙ＿ｍａｘであるとする。この場合、中心座標Ｃは、Ｃ（（ｘ＿ｍａｘ−ｘ＿ｍｉｎ）÷２、（ｙ＿ｍａｘ−ｙ＿ｍｉｎ）÷２）で表現される。カーソル位置決定部２０４は、この中心座標Ｃを中心として回転した座標を計算することで補正後の位置情報を取得する。
カーソル位置決定部２０４は、方向決定部２０３から受け取る操作装置１１の向きが「逆向き」の場合、タッチ情報検出部２０１から受け取った位置情報を、中心座標Ｃを中心に右（または左）に１８０°回転させる。
カーソル位置決定部２０４は、方向決定部２０３から受け取る操作装置１１の向きが「右向き」の場合、タッチ情報検出部２０１から受け取った位置情報を、中心座標Ｃを中心に左に９０°回転させる。カーソル位置決定部２０４は、操作装置１１の向きが「左向き」の場合、タッチ情報検出部２０１から受け取った位置情報を、中心座標Ｃを中心に右に９０°回転させる。
カーソル位置決定部２０４は、このような処理により、ユーザが操作装置１１をどの向きに保持した場合でも、「正しい向き」に保持している場合と同等のカーソル位置となるようにカーソル位置を補正することができる。
以上で、カーソル位置決定部２０４における位置情報補正処理についての説明を終了する。
以上で、実施の形態１における画面表示装置１の処理フローの説明を終了する。
上述のような構成によれば、画面表示装置１のタッチ情報蓄積部２０２は、タッチ情報検出部２０１で検出したタッチ情報３００を蓄積する。そして、方向決定部２０３は、タッチ情報３００に含まれる位置情報３０２の軌跡の形状を用いて、操作装置１１の向きを決定する。カーソル位置決定部２０４は、その向きに応じて、タッチ情報検出部２０１から受け取るタッチ情報３００に含まれる位置情報３０２を適切に補正した上で、カーソル１０５の表示位置を決定する。
したがって、画面表示装置１は、ユーザが操作装置１１のどの面を画面１０４側に向けて保持する場合でも、ユーザによるタッチパッド１０２への入力のみに基づいて、操作装置１１の向きを適切かつ自動的に決定することができる。これにより、画面表示装置１は、正しい位置にカーソル１０５を表示することができる。よって、画面表示装置１は、ユーザの快適な操作性を実現することができる。
（実施の形態２）
実施の形態２に係る画面表示装置は、２つのタッチパッドを備え、２つのタッチパッド上でのユーザの入力を利用して、操作装置の向きを認識する。そして、画面表示装置は、操作装置の向きに基づき、画面上でのカーソルの表示位置を補正する。
図８は、実施の形態２における画面表示装置の概略図である。図８に示された画面表示装置２は、ユーザからの入力を受け付け、画面８０５にカーソル８０６等を表示する。
リモコン８０１は、ユーザが画面８０５上のＧＵＩを操作する操作装置の一例である。リモコン８０１は、ユーザの指８０４による入力を受け付ける右タッチパッド８０２と左タッチパッド８０３とを備えている。
右タッチパッド８０２および左タッチパッド８０３による入力の受付処理は、静電容量の変化を検出する方法などにより実現されるが、公知技術であるため、ここでは説明を省略する。また、リモコン８０１は、画面８０５に対してＢｌｕｅｔｏｏｔｈおよびＺｉｇＢｅｅ／ＩＥＥＥ８０２．１５．４などの無線によって信号を伝送するが、信号の伝送技術は、同様に公知技術であるため、ここでは説明を省略する。
なお、実施の形態２は、ユーザがリモコン８０１を両手で保持し、２面のタッチパッドが左右に並ぶ向きで使用する場合（以降、保持方向が「横持ち」である、とも記す）の例である。したがって、ユーザが保持する操作装置の向きは、２面のタッチパッド上での位置情報の座標系に対して、「正しい向き」および「逆向き」のどちらかとなる。
なお、以下では、アプリケーションなどの指定によって、操作装置の保持方向が、横持ちで使用するように固定されている場合の例が示される。しかし、アプリケーションなどの指定によって保持方向が、縦持ちで使用するよう固定されている場合、画面表示装置２は、２面のタッチパッド上での座標系を右方向または左方向に９０°回転させてもよい。これにより、以下に示される例と同様の処理が実現可能である。
ユーザが指８０４を右タッチパッド８０２に接触させた場合、右タッチパッド８０２上での接触位置がｘ座標とｙ座標とで表される位置情報として検出される。右タッチパッド８０２上での座標系は、画面８０５上での座標系と一対一で対応づけられている。そのため、画面表示装置２は、検出した位置情報に基づき、カーソル８０６の画面８０５上での座標の値を計算できる。
同様に、左タッチパッド８０３も、右タッチパッド８０２の座標系とは独立した座標系を有している。そして、左タッチパッド８０３上での接触位置がｘ座標とｙ座標とで表される位置情報として検出される。左タッチパッド８０３上での座標系が画面８０５上での座標系と一対一で対応づけられている。そのため、画面表示装置２は、検出した位置情報に基づき、カーソル８０６の画面８０５上での座標の値を計算できる。
図９は、図８に示された実施の形態２における画面表示装置２の構成図である。図９において、図８と同一の構成要素については同一の符号を用い、説明を省略する。
図９に示された画面表示装置２は、右タッチパッド８０２と、左タッチパッド８０３と、タッチ情報検出部９０１と、タッチ情報蓄積部９０２と、方向決定部９０３と、カーソル位置決定部９０４と、画面データ生成部９０５と、表示部９０６とを備える。
図９に示された操作装置２１は、リモコン８０１などによって実現され、右タッチパッド８０２と、左タッチパッド８０３とを備える。また、表示制御装置２０は、タッチ情報検出部９０１と、タッチ情報蓄積部９０２と、方向決定部９０３と、カーソル位置決定部９０４と、画面データ生成部９０５とを備える。
表示制御装置２０は、操作装置２１から信号を受け、画面８０５に表示させるための画面データを生成する。なお、表示制御装置２０は、操作装置２１または表示部９０６に組み込まれていてもよい。
タッチ情報検出部９０１は、ユーザによる右タッチパッド８０２上または左タッチパッド８０３上での接触操作あるいは押下操作などに対応して、タッチ情報を検出する手段である。ここでは、タッチ情報検出部９０１は、表示制御装置２０に含まれるが、操作装置２１に含まれてもよい。タッチ情報は、少なくとも右タッチパッド８０２上または左タッチパッド８０３上での接触位置を示すｘ座標およびｙ座標である位置情報を含む。タッチ情報検出部９０１は、所定の時間間隔でタッチ情報を検出して、タッチ情報蓄積部９０２に検出したタッチ情報を渡す。このタッチ情報の構成例については、後で図１０を用いて詳細に説明する。
タッチ情報蓄積部９０２は、タッチ情報検出部９０１から渡されるタッチ情報を蓄積する手段である。タッチ情報蓄積部９０２は、方向決定部９０３がタッチ情報を用いて操作装置２１の向きを決定できるように、所定時間あるいは所定量などのタッチ情報を時系列などの順で蓄積する。このタッチ情報テーブルの構成例については、後で図１１を用いて詳細に説明する。
方向決定部９０３は、タッチ情報蓄積部９０２で蓄積されたタッチ情報に基づいて、操作装置２１の向きを決定する手段である。具体的には、方向決定部９０３は、所定のアルゴリズムに基づいてタッチ情報を解析することで、操作装置２１がどちらの方向を向いているかを決定する。このアルゴリズムについては、後で図１３および図１４を用いて詳しく説明する。
なお、以下、これに限られるものではないが、基本的には、方向決定部９０３は、ユーザが自然にタッチパッドを触る操作によって得られたタッチ情報を用いて、操作装置２１の向きを決定することができる。このようなタッチ情報は、ユーザが操作装置２１を保持し始めた時点、アプリケーションの切替え時、および、同一アプリケーション内で操作装置２１の保持方向が変わる時などにおいて、得られる。
カーソル位置決定部９０４は、方向決定部９０３で決定した操作装置２１の向きと、タッチ情報検出部９０１で検出したタッチ情報とから、画面８０５上に表示するカーソル８０６の位置を計算する手段である。
カーソル位置決定部９０４は、方向決定部９０３でユーザが操作装置２１を「正しい向き」に保持していないと判断された場合、タッチ情報に含まれる位置情報の値を変換（座標変換）する。これにより、カーソル位置決定部９０４は、ユーザが操作装置２１を「正しい向き」に保持している場合と同等のカーソル８０６の動きとなるように、位置情報を補正する。一方、方向決定部９０３でユーザが操作装置２１を「正しい向き」に保持していると判断された場合、カーソル位置決定部９０４は位置情報の補正を行わない。
また、カーソル位置決定部９０４は、タッチ情報検出部９０１から受け取った位置情報、または、当該手段で補正した後の位置情報を用いて、画面８０５上でのカーソル８０６の表示位置（カーソル位置）を決定する。
画面データ生成部９０５は、カーソル位置決定部９０４で決定したカーソル８０６の表示位置などに基づいて、画面データを生成する手段である。画面データ生成部９０５は、動画ビューワまたはウェブブラウザなどのアプリケーションの画像と、カーソル画像とを重畳することにより、表示部９０６で表示する画面データを生成する。
表示部９０６は、画面データ生成部９０５から渡された画面データを表示する手段である。表示部９０６は、例えば、デジタルＴＶの画面などである。なお、表示部９０６は、画面表示装置２の外部にあってもよい。
以上で、実施の形態２における画面表示装置２の構成についての説明を終了する。
次に、図１０を用いて、タッチ情報検出部９０１が検出するタッチ情報について説明する。
図１０は、タッチ情報の構成例を示す図である。図１０に示されたタッチ情報１０００は、タッチパッドＩＤ１００１と操作ＩＤ１００２と位置情報１００３とから構成される。
タッチパッドＩＤ１００１は、右タッチパッド８０２と左タッチパッド８０３とのどちらのタッチパッド上での接触操作あるいは押下操作によるタッチ情報１０００であるかを示すＩＤである。タッチパッドＩＤ１００１には、右タッチパッド８０２の場合を示す「右タッチパッド」と、左タッチパッド８０３の場合を示す「左タッチパッド」とがある。
操作ＩＤ１００２は、ユーザが右タッチパッド８０２または左タッチパッド８０３上で行った操作の種別を示すＩＤである。操作ＩＤ１００２として、右タッチパッド８０２あるいは左タッチパッド８０３への接触操作を示す「ＴＯＵＣＨ」と、右タッチパッド８０２あるいは左タッチパッド８０３の押下操作を示す「ＣＬＩＣＫ」とがある。
位置情報１００３は、操作ＩＤ１００２で示される操作が行われた右タッチパッド８０２上あるいは左タッチパッド８０３上でのｘ座標の値とｙ座標の値とで構成されており、（ｘ座標の値、ｙ座標の値）の形式で表される。
図１０では、「右タッチパッド８０２への接触操作が（１００、１００）で発生した」ことを示すタッチ情報１０００が例示されている。
以上で、タッチ情報１０００の構成例についての説明を終了する。
次に、図１１を用いて、タッチ情報蓄積部９０２が蓄積するタッチ情報テーブル１１００について説明する。
図１１は、タッチ情報蓄積部９０２が蓄積するタッチ情報テーブル１１００の構成例を示す図である。タッチ情報テーブル１１００は、タッチ情報蓄積部９０２が、タッチ情報検出部９０１から渡されるタッチ情報１０００を、ＲＡＭまたはフラッシュメモリなどに時系列順で蓄積したテーブルである。タッチ情報蓄積部９０２は、タッチ情報検出部９０１からタッチ情報１０００が渡される度に、受け取ったタッチ情報１０００をタッチ情報テーブル１１００に追加する。
図１１に示す例は、（１）「右タッチパッド８０２への接触操作が（１００、１００）で発生した」、（２）「右タッチパッド８０２への接触操作が（１５０、２００）で発生した」、（３）「左タッチパッド８０３への接触操作が（３０、３００）で発生した」、（４）「右タッチパッド８０２への接触操作が（２００、３００）で発生した」、（５）「右タッチパッド８０２への押下操作が（２００、３００）で発生した」、および、（６）「左タッチパッド８０３への押下操作が（３０、３００）で発生した」ということを示している。
ここで、タッチ情報検出部９０１は、所定の時間間隔で右タッチパッド８０２上と左タッチパッド８０３上の接触操作および押下操作を検出する。
したがって、図１１に示すタッチ情報テーブル１１００から、ユーザの指の動作は、次のように解釈される。すなわち、まず、ユーザの指は、右タッチパッド８０２に（１００、１００）で接触した。次に、ユーザの指は、右タッチパッド８０２に接触した状態で（１５０、２００）を経由して（２００、３００）まで移動した。そこで、ユーザの指は、右タッチパッド８０２を押下した。また、ユーザの指は、左タッチパッド８０３に（３０、３００）で接触した。そこで、ユーザの指は、左タッチパッド８０３を押下した。以上の動作が、タッチ情報テーブル１１００から、解釈される。
なお、タッチ情報蓄積部９０２は、所定時間を経過した場合、タッチ情報テーブル１１００に含まれる古いタッチ情報１０００を定期的に削除してもよい。また、タッチ情報蓄積部９０２は、タッチ情報検出部９０１からタッチ情報１０００を受け取ったときに蓄積量が所定量を超過するような場合、新しいタッチ情報１０００で古いタッチ情報１０００を上書き更新してもよい。
以上で、タッチ情報テーブル１１００の構成例についての説明を終了する。
次に、図１２から図１４を用いて、実施の形態２における画面表示装置２の処理フローについて説明する。
図１２は、図９に示された実施の形態２における画面表示装置２の全体処理フローである。
まず、画面表示装置２のタッチ情報検出部９０１は、図９に図示しない指示部からの指示に基づき、右タッチパッド８０２または左タッチパッド８０３への入力の検出を継続するか否かを確認する（Ｓ１２０１）。
ここで、タッチ情報検出部９０１が右タッチパッド８０２または左タッチパッド８０３への入力の検出を中断するよう指示されている場合（Ｓ１２０１でＮＯ）、画面表示装置２は、処理を終了する。
一方、タッチ情報検出部９０１が右タッチパッド８０２または左タッチパッド８０３への入力の検出を継続するよう指示されている場合（Ｓ１２０１でＹＥＳ）、タッチ情報検出部９０１は、図１０に示したタッチ情報１０００の有無を検出する（Ｓ１２０２）。この場合、タッチ情報検出部９０１は、右タッチパッド８０２または左タッチパッド８０３への入力の有無を確認することにより、タッチ情報１０００の有無を検出する。
ここで、タッチ情報検出部９０１は、「タッチ情報無し」と検出した場合（Ｓ１２０２でＮＯ）、再度、入力の検出を継続するか否かを確認する（Ｓ１２０１）。
一方、タッチ情報検出部９０１は、「タッチ情報有り」と検出した場合（Ｓ１２０２でＹＥＳ）、タッチ情報蓄積部９０２にタッチ情報１０００を蓄積する（Ｓ１２０３）。より具体的には、タッチ情報検出部９０１は、図１１で示したタッチ情報テーブル１１００にタッチ情報１０００を追加する。また、タッチ情報検出部９０１は、画面上でのカーソルの表示のため、検出したタッチ情報１０００をカーソル位置決定部９０４にも渡す。
次に、カーソル位置決定部９０４は、タッチ情報検出部９０１からタッチ情報１０００を受け取った後、タッチ情報１０００に含まれる位置情報１００３を補正する必要があるか否かを決定する。そのため、方向決定部９０３に対して、操作装置２１の向きを問い合わせる（Ｓ１２０４）。
次に、方向決定部９０３は、カーソル位置決定部９０４からの問い合わせを受けた後、タッチ情報蓄積部９０２のタッチ情報テーブル１１００にアクセスして、タッチ情報１０００を読み出す（Ｓ１２０５）。このとき、方向決定部９０３は、事前に方向決定部９０３に設定された所定時間分のタッチ情報１０００あるいは所定量のタッチ情報１０００を読み出す。
なお、タッチ情報蓄積部９０２は、タッチ情報検出部９０１から所定の時間間隔で受け取ったタッチ情報１０００を順次蓄積する。したがって、計算により所定時間分のタッチ情報の量が求められる。
また、タッチ情報蓄積部９０２は、タッチ情報１０００を読み出す際、一旦読み出したタッチ情報１０００を方向決定部９０３の内部などで保持させておいてもよい。そして、タッチ情報蓄積部９０２は、新たに必要となる差分のタッチ情報１０００のみを読み出してもよい。これにより、以降に読み出されるタッチ情報１０００の量が削減される。
方向決定部９０３は、前段の処理（Ｓ１２０５）で読み出したタッチ情報１０００を用いて、操作装置２１の向きを決定する（Ｓ１２０６：方向決定処理）。その後、方向決定部９０３は、決定した操作装置２１の向きをカーソル位置決定部９０４に渡す。この方向決定処理については、後で図１３を用いて詳細に説明する。
カーソル位置決定部９０４は、方向決定部９０３から操作装置２１の向きを受け取り、操作装置２１の向きが「正しい向き」であるか否かを判定する（Ｓ１２０７）。
ここで、操作装置２１の向きが「正しい向き」である場合（Ｓ１２０７でＹＥＳ）、カーソル位置決定部９０４は、画面上でのカーソル位置を決定する処理（Ｓ１２０９）を実行する。
一方、操作装置２１の向きが「正しい向き」以外である場合（Ｓ１２０７でＮＯ）、カーソル位置決定部９０４は、タッチ情報検出部９０１から受け取ったタッチ情報１０００の位置情報１００３を補正する（Ｓ１２０８：位置情報補正処理）。この場合、カーソル位置決定部９０４は、操作装置２１の向きに基づいて、位置情報１００３を、操作装置２１の向きが「正しい向き」である場合と同等の位置にカーソルが表示されるように補正する。この位置情報補正処理については、実施の形態１と同様である。
次に、カーソル位置決定部９０４は、タッチ情報検出部９０１から受け取ったタッチ情報１０００の位置情報１００３、または、補正された位置情報１００３を用いて、画面上でのカーソル位置を決定する（Ｓ１２０９）。
具体的には、カーソル位置決定部９０４は、右タッチパッド８０２の座標系の最小値と最大値と、画面表示上の座標系における最小値と最大値とから、右タッチパッド８０２の座標系と画面表示上の座標系との拡大比を取得する。また、カーソル位置決定部９０４は、左タッチパッド８０３の座標系の最小値と最大値と、画面表示上の座標系における最小値と最大値とから、左タッチパッド８０３の座標系と画面表示上の座標系との拡大比を取得する。これにより、カーソル位置決定部９０４は、画面上でのカーソル位置を決定する。
すなわち、カーソル位置決定部９０４は、位置情報のｘ座標とｙ座標とのそれぞれについて、（画面表示上の右タッチパッド８０２のカーソル位置）＝（右タッチパッド８０２上のカーソル位置）×｛（画面表示上の座標系の最大値）−（画面表示上の座標系の最小値）｝÷｛（右タッチパッド８０２上の座標系の最大値）−（右タッチパッド８０２上の座標系の最小値）｝により、右タッチパッド８０２に対応するカーソル位置を決定する。
同様に、カーソル位置決定部９０４は、（画面表示上の左タッチパッド８０３のカーソル位置）＝（左タッチパッド８０３上のカーソル位置）×｛（画面表示上の座標系の最大値）−（画面表示上の座標系の最小値）｝÷｛（左タッチパッド８０３上の座標系の最大値）−（左タッチパッド８０３上の座標系の最小値）｝により、左タッチパッド８０３に対応するカーソル位置を決定する。
その後、カーソル位置決定部９０４は、決定したカーソル位置のｘ座標とｙ座標とを、画面データ生成部９０５に渡す。
なお、右タッチパッド８０２と左タッチパッド８０３とで画面表示上の座標系が異なるように割り当てられてもよい。この場合、上記の計算において、「画面表示上の座標系の最大値」と「画面表示上の座標系の最小値」とが、右タッチパッド８０２と左タッチパッド８０３とのそれぞれに設けられる。これにより、それぞれのカーソル位置が決定される。
画面データ生成部９０５は、カーソル位置決定部９０４から受け取ったカーソル位置に基づいて、表示部９０６で表示すべき映像およびアニメーション等にカーソル画像を重畳して、画面データを生成する（Ｓ１２１０）。その後、画面データ生成部９０５は、生成した画面データを表示部９０６に渡す。
表示部９０６は、画面データ生成部９０５から受け取った画面データを画面等に表示する（Ｓ１２１１）。本処理の終了後、タッチ情報検出部９０１は、再度、入力の検出を継続するか否かを確認する（Ｓ１２０１）。
以上で、図１２に示す画面表示装置２の全体処理フローについての説明を終了する。
次に、図１３〜図１５Ｂを用いて、図１２に示された方向決定処理（Ｓ１２０６）のフローについて説明する。以降、図１２に示されたタッチ情報の読み出し処理（Ｓ１２０５）において読み出したタッチ情報１０００に含まれる位置情報１００３を時系列に並べ、隣接する２点の位置情報を線分で結んだものを「軌跡」と記す。
まず、方向決定部９０３は、右タッチパッド８０２に関してタッチ情報テーブル１１００から読み出したタッチ情報１０００の軌跡形状決定処理を実行する（Ｓ１３０１）。この軌跡形状決定処理については、後で図１４を用いて詳細に説明する。
次に、方向決定部９０３は、左タッチパッド８０３に関してタッチ情報テーブル１１００から読み出したタッチ情報１０００の軌跡形状決定処理を実行する（Ｓ１３０２）。この軌跡形状決定処理は、前段の軌跡形状決定処理（Ｓ１３０１）と同一である。
次に、方向決定部９０３は、右タッチパッドの軌跡形状決定処理（Ｓ１３０１）および左タッチパッドの軌跡形状決定処理（Ｓ１３０２）の処理結果から、両方のタッチパッドのタッチ情報が有ることを確認する（Ｓ１３０３）。すなわち、方向決定部９０３は、右タッチパッド８０２に関するタッチ情報１０００と左タッチパッド８０３に関するタッチ情報１０００との両方が有ることを確認する。
ここで、右タッチパッド８０２に関するタッチ情報１０００と左タッチパッド８０３に関するタッチ情報１０００との両方が有る場合（Ｓ１３０３でＹＥＳ）、方向決定部９０３は、両方の軌跡の形状が一致するか否かを確認する（Ｓ１３０４）。すなわち、この場合、方向決定部９０３は、右タッチパッドの軌跡形状決定処理（Ｓ１３０１）および右タッチパッドの軌跡形状決定処理（Ｓ１３０２）の処理結果から、右タッチパッド８０２の軌跡の形状と左タッチパッド８０３の軌跡の形状とが一致するか否かを確認する。
具体的には、方向決定部９０３は、右タッチパッド８０２の軌跡の形状と左タッチパッド８０３の軌跡の形状が、両方とも「上に凸」であるか、または、両方とも「下に凸」であるかを確認する。なお、右タッチパッドの軌跡形状決定処理（Ｓ１３０１）の処理結果または左タッチパッドの軌跡形状決定処理（Ｓ１３０２）の処理結果が「形状不定」である場合がある。この場合、右タッチパッド８０２の軌跡の形状と左タッチパッド８０３の軌跡の形状とが一致しないと判断される。
一方、右タッチパッド８０２に関するタッチ情報１０００が無い場合、または、左タッチパッド８０３に関するタッチ情報１０００が無い場合（Ｓ１３０３でＮＯ）、方向決定部９０３は、そのどちらか一方が有ることを確認する（Ｓ１３１０）。すなわち、この場合、方向決定部９０３は、右タッチパッドの軌跡形状決定処理（Ｓ１３０１）および右タッチパッドの軌跡形状決定処理（Ｓ１３０２）の処理結果から、右タッチパッド８０２に関するタッチ情報１０００および左タッチパッド８０３に関するタッチ情報１０００のどちらか一方が有ることを確認する。
なお、ここでは、右タッチパッド８０２および左タッチパッド８０３のどちらかに関するタッチ情報１０００が検知された場合、方向決定部９０３が軌跡の形状を用いた方向決定処理を実行する例が示されている。しかし、右タッチパッド８０２と左タッチパッド８０３の両方に関するタッチ情報１０００が検知された場合のみ、方向決定部９０３が方向決定処理を実行してもよい。この場合、両タッチパッドのどちらか一方のタッチ情報１０００が有ることを確認する処理（Ｓ１３１０）は省略される。
そして、両タッチパッドの軌跡の形状が一致しない場合（Ｓ１３０４でＮＯ）、または、両タッチパッドのどちらにもタッチ情報１０００がない場合（Ｓ１３１０でＮＯ）、方向決定部９０３は、操作装置２１の向きは「方向不定」であると決定する（Ｓ１３０９）。なお、この場合、方向決定部９０３は、操作装置２１の向きが、デフォルトの向きとして「正しい向き」であると決定してもよい。このデフォルトの向きは、出荷時などに予め画面表示装置２にデフォルト値として設定されている向きでもよいし、ユーザが予めデフォルト値として設定している向きでもよい。
そして、右タッチパッド８０２の軌跡の形状と左タッチパッド８０３の軌跡の形状とが一致する場合（Ｓ１３０４でＹＥＳ）、または、両タッチパッドのどちらかにタッチ情報１０００がある場合（Ｓ１３１０でＹＥＳ）、方向決定部９０３は、前段の処理で確認した軌跡の形状が「上に凸」であるか否かを確認する（Ｓ１３０５）。
ここで、軌跡の形状が「上に凸」である場合（Ｓ１３０５でＹＥＳ）、方向決定部９０３は、人の指の構造上の特徴などを鑑みて、ユーザの指８０４の向きが右タッチパッド８０２および左タッチパッド８０３の上方向であると判断する。つまり、方向決定部９０３は、ユーザの指８０４の向きが、右タッチパッド８０２の座標系および左タッチパッド８０３の座標系と同一方向であると判断する。
また、ユーザの意図する操作装置２１の向きは、ユーザの指８０４の方向と一致すると考えられる。したがって、方向決定部９０３は、操作装置２１の向きが「正しい向き」であると決定する（Ｓ１３０６）。そして、方向決定部９０３は、カーソル位置決定部９０４に、決定した操作装置２１の向きを渡し、本処理を終了する。
一方、軌跡の形状が「上に凸」でない場合（Ｓ１３０５でＮＯ）、方向決定部９０３は、前段の処理で確認した軌跡の形状が「下に凸」であるか否かを確認する（Ｓ１３０７）。
ここで、軌跡の形状が「下に凸」である場合（Ｓ１３０７でＹＥＳ）、方向決定部９０３は、人の指の構造上の特徴などを鑑みて、ユーザの指８０４の向きが右タッチパッド８０２および左タッチパッド８０３の下方向であると判断する。つまり、方向決定部９０３は、ユーザの指８０４の向きが右タッチパッド８０２の座標系および左タッチパッド８０３の座標系と上下反対方向、あるいは、右または左にそれぞれ１８０°回転させた方向であると判断する。
また、ユーザの意図する操作装置２１の向きは、ユーザの指８０４の方向と一致すると考えられる。したがって、方向決定部９０３は、操作装置２１の向きが「正しい向き」であると決定する場合（Ｓ１３０６）とは反対に、操作装置２１の向きが「逆向き」であると決定する（Ｓ１３０８）。そして、方向決定部９０３は、カーソル位置決定部９０４に、決定した操作装置２１の向きを渡し、本処理を終了する。
一方、軌跡の形状が「下に凸」でない場合（Ｓ１３０７でＮＯ）、両タッチパッドの軌跡の形状が一致しない場合（Ｓ１３０４でＮＯ）などと同様に、方向決定部９０３は、操作装置２１の向きが「方向不定」であると決定する（Ｓ１３０９）。
以上で、方向決定部９０３での方向決定処理フローについての説明を終了する。
次に、図１４、図１５Ａおよび図１５Ｂを用いて、図１３に示された右タッチパッドの軌跡形状決定処理（Ｓ１３０１）および左タッチパッドの軌跡形状決定処理（Ｓ１３０２）のフローについて説明する。
まず、方向決定部９０３は、タッチ情報テーブル１１００から読み出したタッチ情報１０００の有無を確認する（Ｓ１４０１）。
ここで、読み出したタッチ情報１０００が存在しない場合（Ｓ１４０１でＮＯ）、方向決定部９０３は、本処理を終了する。
一方、読み出したタッチ情報１０００が存在する場合（Ｓ１４０１でＹＥＳ）、方向決定部９０３は、前段の処理（Ｓ１４０１）で読み出したタッチ情報１０００について、軌跡上の２点の位置情報１００３を結ぶ線分の傾きΔを計算する（Ｓ１４０２）。
傾きΔは、時系列で隣接する２点Ａ、Ｂの位置情報をＡ（ｘａ、ｙａ）、Ｂ（ｘｂ、ｙｂ）とした場合、（傾きΔ）＝（ｙｂ−ｙａ）÷（ｘｂ−ｘａ）で計算される。但し、このとき、（ｙｂ−ｙａ）と（ｘｂ−ｘａ）の符号が考慮され、計算された傾きΔと関連づけて保持される。このようにして、方向決定部９０３は、読み出した全てのタッチ情報１０００について、傾きΔを計算する。
次に、方向決定部９０３は、前段の処理（Ｓ１４０２）で計算した傾きΔについて、時系列で隣接する２つの傾きΔの変化度δを計算する（Ｓ１４０３）。変化度δは、時系列で隣接する２つの傾きΔをΔＡ、ΔＢとした場合、（変化度δ）＝ΔＢ−ΔＡで計算される。方向決定部９０３は、前段の処理（Ｓ１４０２）で計算した全ての傾きΔについて、変化度δを計算する。
次に、方向決定部９０３は、位置情報１００３と、傾きΔと、変化度δとから、軌跡の形状を決定する（Ｓ１４０４）。この処理について、図１５Ａおよび図１５Ｂを用いて詳細に説明する。
図１５Ａおよび図１５Ｂは、傾きΔと変化度δとから軌跡の形状を決定し、さらに、軌跡の形状からユーザの指の向きを推定することにより、結果として、操作装置２１の向きを決定する方法を示した図である。操作装置２１の向きは、「正しい向き」、「逆向き」の２パターンがある。図１５Ａは「正しい向き」を、図１５Ｂは「逆向き」を示している。
方向決定部９０３は、図１４で示した方向決定処理フローの傾きΔを計算する処理（Ｓ１４０２）で計算した傾きΔの値の正負を判別する。また、方向決定部９０３は、傾きΔを計算する際のｘ座標の差分「Δｘ」とｙ座標の差分「Δｙ」との正負を判別する。また、方向決定部９０３は、変化度δを計算する処理（Ｓ１４０３）において計算した変化度δの値の正負を判別する。
図１５Ａおよび図１５Ｂでは、それぞれ、これらの正負の判別結果が表で表されており、正が「＋」、負が「−」で示されている。当該表中では示されていないが、傾きΔまたは変化度δが０の場合は、「±」によって表される特別な状態として考慮されてもよい。また、当該表中では示されていないが、傾きΔが無限大となる場合、および、Δｘが０となることにより傾きΔが計算できない場合なども考えられる。これらの場合も軌跡の形状の特徴として考慮されてもよい。
図１５Ａの場合、傾きΔが「＋」から「−」に変化し、変化度δが全て「−」である。方向決定部９０３は、ΔｘおよびΔｙの値も考慮して、軌跡は「上に凸」の形状であると決定する。
図１５Ｂの場合、傾きΔが「−」から「＋」に変化し、かつ変化度δが全て「＋」である。方向決定部９０３は、ΔｘおよびΔｙの値も考慮して、軌跡は「下に凸」の形状であると決定する。
図１５Ａと図１５Ｂのどちらの場合にも該当しない場合、方向決定部９０３は、軌跡の形状を決定できない。そのため、方向決定部９０３は、軌跡の形状を「形状不定」であると決定する。例えば、方向決定部９０３が軌跡の形状を決定できない場合として、軌跡に含まれる位置情報１００３の数が少なかったりする場合などが考えられる。
なお、方向決定部９０３は、計算した傾きΔと変化度δとの変化の組み合わせが、図１５Ａと図１５Ｂのどちらの場合にも該当しない場合、図１５Ａと図１５Ｂのどちらのパターンに最も近いかを判定してもよい。これにより、方向決定部９０３は、軌跡の形状を図１５Ａまたは図１５Ｂに決定してもよい。
以上で、図１３における右タッチパッドの軌跡形状決定処理（Ｓ１３０１）および左タッチパッドの軌跡形状決定処理（Ｓ１３０２）についての説明を終了する。
以上で、実施の形態２における画面表示装置２の処理フローの説明を終了する。
上述のような構成によれば、画面表示装置２のタッチ情報蓄積部９０２が、タッチ情報検出部９０１で検出した右タッチパッド８０２と左タッチパッド８０３の２面のタッチパッドにおけるタッチ情報１０００を蓄積する。そして、方向決定部９０３は、タッチ情報１０００に含まれる位置情報１００３から、右タッチパッド８０２と左タッチパッド８０３との両方の軌跡の形状を用いて操作装置２１の向きを決定する。
カーソル位置決定部９０４は、操作装置２１の向きに応じて、タッチ情報検出部９０１から受け取るタッチ情報１０００に含まれる位置情報１００３を適切に補正した上で、カーソル８０６の表示位置を決定する。
したがって、ユーザが操作装置２１をどの向きに保持しても、画面表示装置２は、ユーザによる右タッチパッド８０２ならびに左タッチパッド８０３への入力のみに基づいて、操作装置２１の向きを適切かつ自動的に決定して、正しい位置にカーソル８０６を表示することができる。したがって、画面表示装置２は、ユーザの快適な操作性を実現することができる。
（実施の形態３）
実施の形態３では、２つのタッチパッドを備える画面表示装置が、さらに、ユーザが操作装置のどの部分を把持しているかを検出するためのセンサーを備える。
これにより、実施の形態３の画面表示装置は、図８に示した実施の形態２のリモコンの把持方向（以降、「横持ち」とも記す）に加え、図１６に示すリモコンの把持方向（以降、「縦持ち」とも記す）も対応できる。そして、実施の形態３の画面表示装置は、画面表示装置のタッチパッド上でのユーザの入力を利用して、横持ちと縦持ちの両方の持ち方（把持方向）において操作装置の向きを認識することにより、操作装置の把持方向と向きとに基づいて画面上でのカーソルの表示位置を補正する。
図１６は、実施の形態３における画面表示装置の概略図である。図１６において、図８と同一の構成要素については同一の符号を用い、説明を省略する。図１６に示された画面表示装置３は、ユーザからの入力を受け付け、画面８０５にカーソル８０６を表示する。
リモコン１６０１には、図８で示したリモコン８０１と比較して、ユーザの指の接触位置を検知するための１以上のセンサーがリモコン１６０１の外周部に配置されている。これにより、画面表示装置３は、ユーザがリモコン１６０１を横方向（図８で示したリモコン８０１の方向）で持っているか、あるいは、縦方向（図１６で示すリモコン１６０１の方向）で持っているかを自動的に検出可能になる。
そのため、ユーザは、リモコン１６０１を横方向または縦方向に自由に持つことができる。なお、このようなユーザの指の接触を検知するためのセンサー（タッチセンサー、把持センサーおよび圧力センサーなど）は公知技術であるため、ここでは詳細な説明を省略する。
図１７は、図１６に示された実施の形態３における画面表示装置３の構成図である。図１７において、図９と同一の構成要素については同一の符号を用い、説明を省略する。
図１７に示された画面表示装置３は、センサー１７０１と、センサー情報検出部１７０２と、方向決定部１７０３と、カーソル位置決定部１７０４と、右タッチパッド８０２と、左タッチパッド８０３と、タッチ情報検出部９０１と、タッチ情報蓄積部９０２と、画面データ生成部９０５と、表示部９０６とを備える。
図１７に示された操作装置３１は、リモコン１６０１などによって実現され、センサー１７０１と、右タッチパッド８０２と、左タッチパッド８０３とを備える。また、表示制御装置３０は、センサー情報検出部１７０２と、方向決定部１７０３と、カーソル位置決定部１７０４と、タッチ情報検出部９０１と、タッチ情報蓄積部９０２と、画面データ生成部９０５とを備える。
表示制御装置３０は、操作装置３１から信号を受け、画面８０５に表示させるための画面データを生成する。なお、表示制御装置３０は、操作装置３１または表示部９０６に組み込まれていてもよい。また、ここでは、タッチ情報検出部９０１は、表示制御装置３０に含まれるが、操作装置３１に含まれてもよい。
センサー１７０１は、ユーザの指の接触を検知するためのタッチセンサーである。操作装置３１の外周部には１以上のタッチセンサーが配置される。
センサー情報検出部１７０２は、センサー１７０１からのユーザの指の接触などの検出を示す信号を検知する。そして、操作装置３１の外周部などに配置したセンサー１７０１の位置を鑑みて、ユーザが操作装置３１を横方向に把持、つまり、「横持ち」しているか、および、縦方向に把持、つまり、「縦持ち」しているかのどちらであるかを、操作装置３１の把持方向として検出する。
センサー情報検出部１７０２は、方向決定部１７０３からの要求に応じて、あるいは、センサー情報検出部１７０２のセンサー情報の検出状況に応じて、検出した操作装置３１の把持方向を方向決定部１７０３に通知する。
方向決定部１７０３は、センサー情報検出部１７０２で検出される、ユーザによる操作装置３１の把持位置と、タッチ情報蓄積部９０２で蓄積されるタッチ情報とに基づいて、操作装置３１の向きを決定する手段である。具体的には、方向決定部１７０３は、センサー情報検出部１７０２で検出される把持位置から操作装置３１が横持ちおよび縦持ちのどちらの把持方向であるかを判別した上で、所定のアルゴリズムに基づいてタッチ情報を解析する。これにより、方向決定部１７０３は、操作装置３１がどちらの方向を向いているかを決定する。
なお、以下、これに限られるものではないが、基本的には、方向決定部１７０３は、ユーザが自然にタッチパッドを触る操作によって得られたタッチ情報を用いて、操作装置３１の向きを決定することができる。このようなタッチ情報は、ユーザが操作装置３１を保持し始めた時点、アプリケーションの切替え時、および、同一アプリケーション内で操作装置３１の保持方向が変わる時などにおいて、得られる。
カーソル位置決定部１７０４は、方向決定部１７０３から受け取る操作装置３１の把持方向と、方向決定部１７０３で決定した操作装置３１の向きと、タッチ情報検出部９０１で検出したタッチ情報とから、画面８０５上に表示するカーソル８０６の位置を計算する手段である。
カーソル位置決定部１７０４は、操作装置３１の把持方向（横持ち、または、縦持ち）に基づいてタッチ情報に含まれる位置情報の値を変換（座標変換）する。
そして、カーソル位置決定部１７０４は、方向決定部１７０３でユーザが操作装置３１を「正しい向き」に保持していないと判断された場合、タッチ情報に含まれる位置情報の値を変換（座標変換）する。これにより、カーソル位置決定部１７０４は、ユーザが操作装置３１を「正しい向き」に保持している場合と同等のカーソル８０６の動きとなるように、位置情報を補正する。一方、ユーザが操作装置３１を「正しい向き」に保持していると方向決定部１７０３によって判断された場合、カーソル位置決定部１７０４は位置情報の補正を行わない。
ここで、操作装置３１の把持方向（横持ち、または、縦持ち）に基づいた位置情報の変換とは、基準として設定された把持方向の座標系に位置情報を変換する処理のことである。例えば、操作装置３１が縦持ちされていること（図１６に示すリモコン１６０１の把持方向）を基準として右タッチパッド８０２と左タッチパッド８０３の座標系が固定で設定されている場合であって、操作装置３１が横持ちされた場合、位置情報は変換される。
この場合、カーソル位置決定部１７０４は、基準として設定された把持方向の座標系に対応させるため、右タッチパッド８０２と左タッチパッド８０３の座標系を左に９０°回転させる。すなわち、カーソル位置決定部１７０４は、右タッチパッド８０２および左タッチパッド８０３のそれぞれの座標系の中心座標を回転の中心として、位置情報を左に９０°回転させる。
また、カーソル位置決定部１７０４は、タッチ情報検出部９０１から受け取った位置情報、または、当該手段で補正した後の位置情報を用いて、画面８０５上でのカーソル８０６の表示位置（カーソル位置）を決定する。
以上で、実施の形態３における画面表示装置３の構成についての説明を終了する。
次に、図１８から図２０を用いて、図１７に示された実施の形態３における画面表示装置３の処理フローについて説明する。
図１８は、図１７に示された実施の形態３における画面表示装置３の全体処理フローである。
まず、画面表示装置３のタッチ情報検出部９０１は、図１７に図示しない指示部からの指示に基づき、右タッチパッド８０２または左タッチパッド８０３への入力の検出を継続するか否かを確認する（Ｓ１８０１）。
ここで、タッチ情報検出部９０１が右タッチパッド８０２または左タッチパッド８０３への入力の検出を中断するよう指示されている場合（Ｓ１８０１でＮＯ）、画面表示装置３は、処理を終了する。
一方、タッチ情報検出部９０１が右タッチパッド８０２または左タッチパッド８０３への入力の検出を継続するよう指示されている場合（Ｓ１８０１でＹＥＳ）、タッチ情報検出部９０１は、右タッチパッド８０２または左タッチパッド８０３への入力の有無を確認する。これにより、タッチ情報検出部９０１は、図１０に示したタッチ情報１０００の有無を検出する（Ｓ１８０２）。
ここで、タッチ情報検出部９０１は、「タッチ情報無し」と検出した場合（Ｓ１８０２でＮＯ）、再度、入力の検出を継続するか否かを確認する（Ｓ１８０１）。
一方、タッチ情報検出部９０１は、「タッチ情報有り」と検出した場合（Ｓ１８０２でＹＥＳ）は、タッチ情報蓄積部９０２にタッチ情報１０００を蓄積させる（Ｓ１８０３）。より具体的には、タッチ情報検出部９０１は、図１１で示したタッチ情報テーブル１１００にタッチ情報１０００を追加する。また、タッチ情報検出部９０１は、画面上でのカーソルの表示のため、検出したタッチ情報１０００をカーソル位置決定部１７０４にも渡す。
次に、カーソル位置決定部１７０４は、タッチ情報検出部９０１からタッチ情報１０００を受け取る。そして、カーソル位置決定部１７０４は、タッチ情報１０００に含まれる位置情報１００３を補正する必要があるか否かを決定する。そのため、カーソル位置決定部１７０４は、方向決定部１７０３に対して、操作装置３１の向きを問い合わせる（Ｓ１８０４）。
次に、方向決定部１７０３は、カーソル位置決定部１７０４からの問い合わせを受け取る。そして、方向決定部１７０３は、タッチ情報蓄積部９０２のタッチ情報テーブル１１００にアクセスして、タッチ情報１０００を読み出す（Ｓ１８０５）。このとき、方向決定部１７０３は、事前に方向決定部１７０３に設定された所定時間分のタッチ情報１０００あるいは所定量のタッチ情報１０００を読み出す。
なお、タッチ情報蓄積部９０２は、タッチ情報検出部９０１から所定の時間間隔で受け取ったタッチ情報１０００を順次蓄積する。したがって、計算により所定時間分のタッチ情報の量が求められる。
また、タッチ情報蓄積部９０２は、タッチ情報１０００を読み出す際、一旦読み出したタッチ情報１０００を方向決定部１７０３の内部などに保持させておいてもよい。そして、タッチ情報蓄積部９０２は、新たに必要となる差分のタッチ情報１０００のみを読み出してもよい。これにより、以降に読み出されるタッチ情報１０００の量が削減される。
次に、方向決定部１７０３は、センサー情報検出部１７０２にセンサー情報の有無を問い合わせる。そして、センサー情報検出部１７０２は、センサー１７０１で検出した信号の有無を確認する（Ｓ１８０６）。
ここで、センサー情報検出部１７０２は、センサー情報を検出した場合（Ｓ１８０６でＹＥＳ）、センサー情報を取得（Ｓ１８０７）し、ユーザが操作装置３１のどの部分を把持しているかを検出する。
例えば、タッチセンサーであるセンサー１７０１が、操作装置３１において、２つの長辺側の側面と２つの短辺側の側面との４辺に配置されていてもよい。そして、センサー情報検出部１７０２が２つの短辺側の側面のセンサー１７０１での接触を検出した場合、操作装置３１は「横持ち」されていると認識される。そして、センサー情報検出部１７０２が長辺側の側面のどちらかのセンサー１７０１での接触を検出した場合、操作装置３１は「縦持ち」されていると認識される。
その後、センサー情報検出部１７０２は、「横持ち」または「縦持ち」を把持方向として方向決定部１７０３に渡す。
次に、方向決定部１７０３は、センサー情報検出部１７０２から受け取った把持方向から、操作装置３１が「横持ち」されているかどうかを確認する（Ｓ１８０８）。
そして、操作装置３１が「横持ち」されている場合（Ｓ１８０８でＹＥＳ）、「横持ち」時における操作装置３１の向きを決定する（Ｓ１８０９：横持ち時方向決定処理）。この場合、方向決定部１７０３は、タッチ情報の読み出し処理（Ｓ１８０５）で読み出したタッチ情報１０００を用いて、操作装置３１の向きを決定する。また、センサー情報検出部１７０２がセンサー情報を検出しなかった場合（Ｓ１８０６でＮＯ）も、方向決定部１７０３は、「横持ち」時における操作装置３１の向きを決定する。
その後、方向決定部１７０３は、決定した操作装置３１の向きをカーソル位置決定部１７０４に渡す。この横持ち時方向決定処理については、後で図１９を用いて詳細に説明する。
一方、操作装置３１が「縦持ち」されている場合（Ｓ１８０８でＮＯ）、方向決定部１７０３は、「縦持ち」時における操作装置３１の向きを決定する（Ｓ１８１０：縦持ち時方向決定処理）。この場合、方向決定部１７０３は、タッチ情報の読み出し処理（Ｓ１８０５）で読み出したタッチ情報１０００を用いて、操作装置３１の向きを決定する。
その後、方向決定部１７０３は、決定した操作装置３１の向きをカーソル位置決定部１７０４に渡す。この縦持ち時方向決定処理については、後で図２０を用いて詳細に説明する。
カーソル位置決定部１７０４は、方向決定部１７０３から操作装置３１の向きを受け取る。そして、カーソル位置決定部１７０４は、操作装置３１の向きが「正しい向き」であるか否かを判定する（Ｓ１８１１）。
ここで、操作装置３１の向きが「正しい向き」である場合（Ｓ１８１１でＹＥＳ）、カーソル位置決定部１７０４は、画面上でのカーソルの位置を決定する処理（Ｓ１８１３）を実行する。
一方、操作装置３１の向きが「正しい向き」以外である場合（Ｓ１８１１でＮＯ）、カーソル位置決定部１７０４は、タッチ情報検出部９０１から受け取ったタッチ情報１０００の位置情報１００３を補正する（Ｓ１８１２：位置情報補正処理）。この場合、カーソル位置決定部１７０４は、操作装置３１の向きに基づいて、位置情報１００３を、操作装置３１の向きが「正しい向き」である場合と同等の位置にカーソルが表示されるように補正する。この位置情報補正処理については、実施の形態１と同様である。
次に、カーソル位置決定部１７０４は、タッチ情報検出部９０１から受け取ったタッチ情報１０００の位置情報１００３または補正された位置情報１００３を用いて、画面上でのカーソル位置を決定する（Ｓ１８１３）。
具体的には、カーソル位置決定部１７０４は、右タッチパッド８０２の座標系の最小値と最大値と、画面表示上の座標系における最小値と最大値とから、右タッチパッド８０２の座標系と画面表示上の座標系との拡大比を取得する。また、カーソル位置決定部１７０４は、左タッチパッド８０３の座標系の最小値と最大値と、画面表示上の座標系における最小値と最大値とから、左タッチパッド８０３の座標系と画面表示上の座標系との拡大比を取得する。これにより、カーソル位置決定部１７０４は、画面上でのカーソル位置を決定する。
すなわち、カーソル位置決定部１７０４は、位置情報のｘ座標とｙ座標とのそれぞれについて、（画面表示上の右タッチパッド８０２のカーソル位置）＝（右タッチパッド８０２上のカーソル位置）×｛（画面表示上の座標系の最大値）−（画面表示上の座標系の最小値）｝÷｛（右タッチパッド８０２上の座標系の最大値）−（右タッチパッド８０２上の座標系の最小値）｝により、右タッチパッド８０２に対応するカーソル位置を決定する。
同様に、カーソル位置決定部１７０４は、（画面表示上の左タッチパッド８０３のカーソル位置）＝（左タッチパッド８０３上のカーソル位置）×｛（画面表示上の座標系の最大値）−（画面表示上の座標系の最小値）｝÷｛（左タッチパッド８０３上の座標系の最大値）−（左タッチパッド８０３上の座標系の最小値）｝により、左タッチパッド８０３に対応するカーソル位置を決定する。
その後、カーソル位置決定部１７０４は、決定したカーソル位置のｘ座標とｙ座標とを、画面データ生成部９０５に渡す。
なお、右タッチパッド８０２と左タッチパッド８０３とで画面表示上の座標系が異なるように割り当てられてもよい。この場合、上記の計算において、「画面表示上の座標系の最大値」と「画面表示上の座標系の最小値」とが、右タッチパッド８０２と左タッチパッド８０３とのそれぞれに設けられる。これにより、それぞれのカーソル位置が決定される。
画面データ生成部９０５は、カーソル位置決定部１７０４から受け取ったカーソル位置に基づいて、表示部９０６で表示すべき映像およびアニメーション等にカーソル画像を重畳して、画面データを生成する（Ｓ１８１４）。その後、画面データ生成部９０５は、生成した画面データを表示部９０６に渡す。
表示部９０６は、画面データ生成部９０５から受け取った画面データを画面等に表示する（Ｓ１８１５）。本処理の終了後、タッチ情報検出部９０１は、再度、入力の検出を継続するか否かを確認する（Ｓ１８０１）。
以上で、図１８に示す画面表示装置３の全体処理フローについての説明を終了する。
次に、図１９を用いて、図１８に示された横持ち時方向決定処理（Ｓ１８０９）のフローについて説明する。以降、図１８に示されたタッチ情報の読み出し処理（Ｓ１８０５）において読み出したタッチ情報１０００に含まれる位置情報１００３を時系列に並べ、隣接する２点の位置情報を線分で結んだものを「軌跡」と記す。
まず、方向決定部１７０３は、右タッチパッド８０２に関してタッチ情報テーブル１１００から読み出したタッチ情報１０００の軌跡形状決定処理を実行する（Ｓ１９０１）。この軌跡形状決定処理については、後で図２１を用いて詳細に説明する。
次に、方向決定部１７０３は、左タッチパッド８０３に関してタッチ情報テーブル１１００から読み出したタッチ情報１０００の軌跡形状決定処理を実行する（Ｓ１９０２）。この軌跡形状決定処理は、右タッチパッドの軌跡形状決定処理（Ｓ１９０１）と同一である。
次に、方向決定部１７０３は、右タッチパッドの軌跡形状決定処理（Ｓ１９０１）および左タッチパッドの軌跡形状決定処理（Ｓ１９０２）の処理結果から、右タッチパッド８０２に関するタッチ情報１０００と左タッチパッド８０３に関するタッチ情報１０００との両方が有ることを確認する（Ｓ１９０３）。
ここで、右タッチパッド８０２に関するタッチ情報１０００と左タッチパッド８０３に関するタッチ情報１０００との両方が有る場合（Ｓ１９０３でＹＥＳ）、方向決定部１７０３は、両方の軌跡の形状が一致するか否かを確認する（Ｓ１９０４）。すなわち、方向決定部１７０３は、右タッチパッドの軌跡形状決定処理（Ｓ１９０１）および左タッチパッドの軌跡形状決定処理（Ｓ１９０２）の処理結果から、右タッチパッド８０２の軌跡の形状と左タッチパッド８０３の軌跡の形状とが一致するか否かを確認する。
具体的には、方向決定部１７０３は、右タッチパッド８０２の軌跡の形状と左タッチパッド８０３の軌跡の形状が、両方とも「上に凸」であるか、または、両方とも「下に凸」であるかを確認する。
一方、右タッチパッド８０２に関するタッチ情報１０００が無い場合、または、左タッチパッド８０３に関するタッチ情報１０００が無い場合（Ｓ１９０３でＮＯ）、方向決定部１７０３は、右タッチパッドの軌跡形状決定処理（Ｓ１９０１）および左タッチパッドの軌跡形状決定処理（Ｓ１９０２）の処理結果から、右タッチパッド８０２に関するタッチ情報１０００および左タッチパッド８０３に関するタッチ情報１０００のどちらか一方が有ることを確認する（Ｓ１９１０）。
なお、ここでは、右タッチパッド８０２および左タッチパッド８０３のどちらかに関するタッチ情報１０００が検知された場合、方向決定部１７０３が軌跡の形状を用いた方向決定処理を実行する例が示されている。しかし、右タッチパッド８０２と左タッチパッド８０３の両方に関するタッチ情報１０００が検知された場合のみ、方向決定部１７０３が方向決定処理を実行してもよい。この場合、本処理（Ｓ１９１０）は省略できる。
そして、右タッチパッド８０２の軌跡の形状と左タッチパッド８０３の軌跡の形状とが一致しない場合（Ｓ１９０４でＮＯ）、方向決定部１７０３は、操作装置３１の向きは「方向不定」であると決定する（Ｓ１９０９）。また、右タッチパッド８０２に関するタッチ情報１０００と左タッチパッド８０３に関するタッチ情報１０００との両方が無い場合（Ｓ１９１０でＮＯ）も、方向決定部１７０３は、操作装置３１の向きは「方向不定」であると決定する。
なお、この場合、方向決定部１７０３は、操作装置３１の向きが、デフォルトの向きとして「正しい向き」であると決定してもよい。このデフォルトの向きは、出荷時などに予め画面表示装置３にデフォルト値として設定されている向きでもよいし、ユーザが予めデフォルト値として設定している向きでもよい。
一方、右タッチパッド８０２の軌跡の形状と左タッチパッド８０３の軌跡の形状とが一致する場合（Ｓ１９０４でＹＥＳ）、方向決定部１７０３は、前段の処理で確認した軌跡の形状が「上に凸」であるか否かを確認する（Ｓ１９０５）。また、右タッチパッド８０２に関するタッチ情報１０００および左タッチパッド８０３に関するタッチ情報１０００のどちらか一方が有る場合（Ｓ１９１０でＹＥＳ）も、方向決定部１７０３は、軌跡の形状が「上に凸」であるか否かを確認する。
ここで、軌跡の形状が「上に凸」である場合（Ｓ１９０５でＹＥＳ）、方向決定部１７０３は、人の指の構造上の特徴などを鑑みて、ユーザの指８０４の向きが右タッチパッド８０２および左タッチパッド８０３の上方向であると判断する。すなわち、方向決定部１７０３は、ユーザの指８０４の向きが右タッチパッド８０２の座標系および左タッチパッド８０３の座標系と同一方向であると判断する。
また、ユーザの意図する操作装置３１の向きは、ユーザの指８０４の方向と一致すると考えられる。したがって、方向決定部１７０３は、操作装置３１の向きが「正しい向き」であると決定する（Ｓ１９０６）。方向決定部１７０３は、カーソル位置決定部１７０４に、決定した操作装置３１の向きを渡し、本処理を終了する。
一方、軌跡の形状が「上に凸」でない場合（Ｓ１９０５でＮＯ）、方向決定部１７０３は、前段の処理で確認した軌跡の形状が「下に凸」であるか否かを確認する（Ｓ１９０７）。
ここで、軌跡の形状が「下に凸」である場合（Ｓ１９０７でＹＥＳ）、方向決定部１７０３は、人の指の構造上の特徴などを鑑みて、ユーザの指８０４の向きは、右タッチパッド８０２および左タッチパッド８０３の下方向であると判断する。すなわち、方向決定部１７０３は、ユーザの指８０４の向きが、右タッチパッド８０２の座標系および左タッチパッド８０３の座標系と上下反対方向、あるいは、右または左にそれぞれ１８０°回転させた方向であると判断する。
また、ユーザの意図する操作装置３１の向きは、ユーザの指８０４の方向と一致すると考えられる。したがって、方向決定部１７０３は、操作装置３１の向きが「正しい向き」であると決定する場合（Ｓ１９０６）とは反対に、操作装置３１の向きが「逆向き」であると決定する（Ｓ１９０８）。方向決定部１７０３は、カーソル位置決定部１７０４に、決定した操作装置３１の向きを渡し、本処理を終了する。
一方、軌跡の形状が「下に凸」でない場合（Ｓ１９０７でＮＯ）、両タッチパッドの軌跡の形状が一致しない場合（Ｓ１９０４でＮＯ）などと同様に、方向決定部１７０３は、操作装置３１の向きが「方向不定」であると決定する（Ｓ１９０９）。
以上で、方向決定部１７０３での横持ち時方向決定処理フローについての説明を終了する。
次に、図２０を用いて、図１８に示された縦持ち時方向決定処理（Ｓ１８１０）のフローについて説明する。
まず、方向決定部１７０３は、右タッチパッド８０２に関してタッチ情報テーブル１１００から読み出したタッチ情報１０００の軌跡形状決定処理を実行する（Ｓ２００１）。この軌跡形状決定処理については、後で図２１を用いて詳細に説明する。
次に、方向決定部１７０３は、左タッチパッド８０３に関してタッチ情報テーブル１１００から読み出したタッチ情報１０００の軌跡形状決定処理を実行する（Ｓ２００２）。この軌跡形状決定処理は、右タッチパッドの軌跡形状決定処理（Ｓ２００１）と同様である。
次に、方向決定部１７０３は、右タッチパッドの軌跡形状決定処理（Ｓ２００１）および左タッチパッドの軌跡形状決定処理（Ｓ２００２）の処理結果から、右タッチパッド８０２に関するタッチ情報１０００と左タッチパッド８０３に関するタッチ情報１０００との少なくともどちらか一方が有ることを確認する（Ｓ２００３）。
ここで、右タッチパッド８０２に関するタッチ情報１０００と左タッチパッド８０３に関するタッチ情報１０００との両方が無い場合（Ｓ２００３でＮＯ）、方向決定部１７０３は、操作装置３１の向きは「方向不定」であると決定する（Ｓ２００８）。
なお、この場合、方向決定部１７０３は、操作装置３１の向きが、デフォルトの向きとして「正しい向き」であると決定してもよい。このデフォルトの向きは、出荷時などに予め画面表示装置３にデフォルト値として設定されている向きでもよいし、ユーザが予めデフォルト値として設定している向きでもよい。
一方、右タッチパッド８０２に関するタッチ情報１０００と左タッチパッド８０３に関するタッチ情報１０００との少なくともどちらか一方が有る場合（Ｓ２００３でＹＥＳ）、方向決定部１７０３は、前段の処理で確認した軌跡の形状が「上に凸」であるか否かを確認する（Ｓ２００４）。なお、右タッチパッド８０２に関するタッチ情報１０００と左タッチパッド８０３に関するタッチ情報１０００との両方が存在する場合には、方向決定部１７０３は、タッチ情報蓄積部９０２から取得したタッチ情報１０００のデータ数が多い方のタッチパッドに関するタッチ情報１０００を用いてもよい。
ここで、方向決定部１７０３は、タッチパッド軌跡の形状が「上に凸」である場合（Ｓ２００４でＹＥＳ）、方向決定部１７０３は、人の指の構造上の特徴などを鑑みて、ユーザの指８０４の向きは、画面表示装置３を縦持ちした場合の上方向であると判断する。なお、本実施の形態では、右タッチパッド８０２側を前方向に向けて把持する方向に、右タッチパッド８０２の座標系および左タッチパッド８０３の座標系が定められている。
ユーザの意図する操作装置３１の向きは、ユーザの指８０４の方向と一致すると考えられる。したがって、方向決定部１７０３は、操作装置３１の向きが「正しい向き」であると決定する（Ｓ２００５）。方向決定部１７０３は、カーソル位置決定部１７０４に、決定した操作装置３１の向きを渡し、本処理を終了する。
軌跡の形状が「上に凸」でない場合（Ｓ２００４でＮＯ）、方向決定部１７０３は、前段の処理で確認した軌跡の形状が「下に凸」であるか否かを確認する（Ｓ２００６）。
ここで、軌跡の形状が「下に凸」である場合（Ｓ２００６でＹＥＳ）、方向決定部１７０３は、人の指の構造上の特徴などを鑑みて、ユーザの指８０４の向きは、画面表示装置３を縦持ちした場合の下方向であると判断する。
また、ユーザの意図する操作装置３１の向きは、ユーザの指８０４の方向と一致すると考えられる。したがって、方向決定部１７０３は、操作装置３１の向きが「正しい向き」であると決定する場合（Ｓ２００５）とは反対に、操作装置３１の向きが「逆向き」であると決定する（Ｓ２００７）。方向決定部１７０３は、カーソル位置決定部１７０４に、決定した操作装置３１の向きを渡し、本処理を終了する。
一方、軌跡の形状が「下に凸」でない場合（Ｓ２００６でＮＯ）、両タッチパッドのタッチ情報がない場合（Ｓ２００３でＮＯ）と同様に、方向決定部１７０３は、操作装置３１の向きが「方向不定」であると決定する（Ｓ２００８）。
以上で、方向決定部１７０３での縦持ち時方向決定処理フローについての説明を終了する。
次に、図２１、図１５Ａおよび図１５Ｂを用いて、図１９に示された右タッチパッドの軌跡形状決定処理（Ｓ１９０１）と左タッチパッドの軌跡形状決定処理（Ｓ１９０２）、および、図２０に示された右タッチパッドの軌跡形状決定処理（Ｓ２００１）と左タッチパッドの軌跡形状決定処理（Ｓ２００２）の処理フローについて説明する。
まず、方向決定部１７０３は、タッチ情報テーブル１１００から読み出したタッチ情報１０００の有無を確認する（Ｓ２１０１）。
ここで、読み出したタッチ情報１０００が存在しない場合（Ｓ２１０１でＮＯ）、方向決定部１７０３は、本処理を終了する。
一方、読み出したタッチ情報１０００が存在する場合（Ｓ２１０１でＹＥＳ）、方向決定部１７０３は、前段の処理（Ｓ２１０１）で読み出したタッチ情報１０００について、軌跡上の２点の位置情報１００３を結ぶ線分の傾きΔを計算する（Ｓ２１０２）。
傾きΔは、時系列で隣接する２点Ａ、Ｂの位置情報をＡ（ｘａ、ｙａ）、Ｂ（ｘｂ、ｙｂ）とした場合、（傾きΔ）＝（ｙｂ−ｙａ）÷（ｘｂ−ｘａ）で計算する。但し、このとき、（ｙｂ−ｙａ）と（ｘｂ−ｘａ）との符号を考慮して、計算した傾きΔと関連づけて保持する。このようにして、方向決定部１７０３は、読み出した全てのタッチ情報１０００について、傾きΔを計算する。
次に、方向決定部１７０３は、前段の処理（Ｓ２１０２）で計算した傾きΔについて、時系列で隣接する２つの傾きΔの変化度δを計算する（Ｓ２１０３）。変化度δは、時系列で隣接する２つの傾きΔをΔＡ、ΔＢとした場合、（変化度δ）＝ΔＢ−ΔＡで計算する。方向決定部１７０３は、前段の処理（Ｓ２１０２）で計算した全ての傾きΔについて、変化度δを計算する。
次に、方向決定部１７０３は、位置情報１００３と、傾きΔと、変化度δとから、軌跡の形状を決定する（Ｓ２１０４）。この処理について、実施の形態２における説明で用いた図１５Ａおよび図１５Ｂを再び用いて説明する。
図１５Ａおよび図１５Ｂは、傾きΔと変化度δとから軌跡の形状を決定し、さらに、軌跡の形状からユーザの指の向きを推定することにより、結果として、操作装置３１の向きを決定する方法を示した図である。操作装置３１の向きは、「正しい向き」、「逆向き」の２パターンがあり、図１５Ａは「正しい向き」を、図１５Ｂが「逆向き」を示している。
方向決定部１７０３は、図２１で示した方向決定処理フローの傾きΔを計算する処理（Ｓ２１０２）で計算した傾きΔの値の正負、傾きΔを計算する際のｘ座標の差分「Δｘ」とｙ座標の差分「Δｙ」、および、変化度δを計算する処理（Ｓ２１０３）において計算した変化度δの値の正負を判別する。
図１５Ａおよび図１５Ｂでは、それぞれ、これらの正負の判別結果が表で表されており、正が「＋」、負が「−」で示されている。当該表中では示されていないが、傾きΔまたは変化度δが０の場合は、「±」によって表される特別な状態として考慮されてもよい。また、当該表中では示されていないが、傾きΔが無限大となる場合、および、Δｘが０となることにより傾きΔが計算できない場合なども考えられる。これらの場合も、軌跡の形状の特徴として考慮されてもよい。
図１５Ａの場合、傾きΔが「＋」から「−」に変化し、変化度δが全て「−」である。方向決定部１７０３は、ΔｘおよびΔｙの値も考慮して、軌跡は「上に凸」の形状であると決定する。
図１５Ｂの場合、傾きΔが「−」から「＋」に変化し、かつ変化度δが全て「＋」である。方向決定部１７０３は、ΔｘおよびΔｙの値も考慮して、軌跡は「下に凸」の形状であると決定する。
図１５Ａと図１５Ｂのどちらの場合にも該当しない場合、方向決定部１７０３は、軌跡の形状が決定できない。そのため、方向決定部１７０３は、軌跡の形状を「形状不定」であると決定する。例えば、方向決定部１７０３が軌跡の形状を決定できない場合として、軌跡に含まれる位置情報１００３の数が少なかったりする場合などが考えられる。
なお、方向決定部１７０３は、計算した傾きΔと変化度δとの変化の組み合わせが、図１５Ａと図１５Ｂのどちらの場合にも該当しない場合、図１５Ａと図１５Ｂのどちらのパターンに最も近いかを判定してもよい。これにより、方向決定部１７０３は、軌跡の形状を図１５Ａまたは図１５Ｂに決定してもよい。
以上で、図１９に示された右タッチパッドの軌跡形状決定処理（Ｓ１９０１）と左タッチパッドの軌跡形状決定処理（Ｓ１９０２）、および、図２０に示された右タッチパッドの軌跡形状決定処理（Ｓ２００１）と左タッチパッドの軌跡形状決定処理（Ｓ２００２）についての説明を終了する。
以上で、実施の形態３における画面表示装置３の処理フローの説明を終了する。
上述のような構成によれば、画面表示装置３がセンサー１７０１からのセンサー情報をセンサー情報検出部１７０２で検出することによって、操作装置３１の把持方向を認識する。そして、タッチ情報蓄積部９０２が、タッチ情報検出部９０１で検出した右タッチパッド８０２と左タッチパッド８０３の２面のタッチパッドにおけるタッチ情報１０００を蓄積する。
センサー情報検出部１７０２での把持方向の認識結果とタッチ情報１０００に含まれる位置情報１００３とから、方向決定部１７０３が、右タッチパッド８０２と左タッチパッド８０３との両方または片方の軌跡の形状を用いて操作装置３１の向きを決定する。カーソル位置決定部１７０４は、操作装置３１の把持方向と向きとに応じて、タッチ情報検出部９０１から受け取るタッチ情報１０００に含まれる位置情報１００３を適切に補正した上で、カーソル８０６の表示位置を決定している。
したがって、画面表示装置３は、横持ちと縦持ちの両方の持ち方において、ユーザが操作装置３１をどの向きに保持しても、ユーザによる右タッチパッド８０２ならびに左タッチパッド８０３への入力のみに基づいて、操作装置３１の向きを適切かつ自動的に決定して、正しい位置にカーソル８０６を表示することができる。これにより、ユーザの快適な操作性を実現することができる。
（実施の形態４）
実施の形態４に係る画面表示装置は、２つのタッチパッドと、ユーザに操作装置のどの部分が把持されているかを検出するためのセンサーと、操作装置の重力方向を検出するためのセンサーとを備える。そして、画面表示装置は、画面表示装置のタッチパッド上でのユーザの入力とセンサーでの把持方向の検知結果を利用して操作装置の向きを認識し、当該認識結果とセンサーでの操作装置の方向の検知結果とが一致しない場合に画面上にアラート表示を行う。
図２２は、実施の形態４における画面表示装置の構成図である。図２２において、図１７と同一の構成要素については同一の符号を用い、説明を省略する。
図２２に示された画面表示装置４は、警告データ生成部２２０１と、画面データ生成部２２０２と、カーソル位置決定部２２０３と、第１のセンサー２２０４と、第２のセンサー２２０５と、右タッチパッド８０２と、左タッチパッド８０３と、タッチ情報検出部９０１と、タッチ情報蓄積部９０２と、表示部９０６と、センサー情報検出部１７０２と、方向決定部１７０３とを備える。
図２２に示された操作装置４１は、第１のセンサー２２０４と、第２のセンサー２２０５と、右タッチパッド８０２と、左タッチパッド８０３とを備える。また、表示制御装置４０は、警告データ生成部２２０１と、画面データ生成部２２０２と、タッチ情報検出部９０１と、タッチ情報蓄積部９０２と、カーソル位置決定部２２０３と、センサー情報検出部１７０２と、方向決定部１７０３とを備える。
表示制御装置４０は、操作装置４１から信号を受け、画面に表示させるための画面データを生成する。なお、表示制御装置４０は、操作装置４１または表示部９０６に組み込まれていてもよい。また、ここでは、タッチ情報検出部９０１は、表示制御装置４０に含まれるが、操作装置４１に含まれてもよい。
警告データ生成部２２０１は、方向決定部１７０３で決定した操作装置４１の向きから、ユーザが操作装置４１を「逆向き」に保持していると判断して、ユーザに提示するためのアラートメッセージ（警告データともいう）を生成する。警告データ生成部２２０１は、右タッチパッド８０２の座標系と左タッチパッド８０３の座標系との方向が一致しない場合に、アラートメッセージを生成してもよい。
なお、ユーザにアラート等を提示（フィードバック）する方法としては、アラートメッセージのみならず、画面上のオブジェクトの色または形状を変更するなど、各種のフィードバック方法が適用できる。さらに、画面表示のみならず、音による方法も適用可能である。
画面データ生成部２２０２は、警告データ生成部２２０１で生成されたメッセージおよびカーソル位置決定部２２０３で決定したカーソルの表示位置などに基づいて、画面データを生成する手段である。
画面データ生成部２２０２は、動画ビューワまたはウェブブラウザなどのアプリケーションの画像と、カーソル画像とを重畳し、さらに、警告データ生成部２２０１からアラートメッセージを受け取った場合には、当該アラートメッセージを画面データに重畳する。これにより、画面データ生成部２２０２は、表示部９０６で表示する画面データを生成する。
カーソル位置決定部２２０３は、方向決定部１７０３から受け取る操作装置４１の把持方向と、方向決定部１７０３で決定した操作装置４１の向きと、タッチ情報検出部９０１で検出したタッチ情報とから、画面上に表示するカーソルの位置を計算する手段である。
カーソル位置決定部２２０３は、操作装置４１の把持方向（横持ち、または、縦持ち）に基づいてタッチ情報に含まれる位置情報の値を変換（座標変換）する。さらに、方向決定部１７０３でユーザが操作装置４１を「正しい向き」に保持していないと判断された場合、警告データ生成部２２０１に対して、ユーザに注意を促したり、画面表示装置４の持ち替えを促したりするためのアラートメッセージを生成するよう要求する。
ここで、操作装置４１の把持方向（横持ち、または、縦持ち）に基づいた位置情報の変換とは、基準として設定された把持方向の座標系に位置情報を変換する処理のことである。例えば、操作装置４１が縦持ちされていること（図１６に示すリモコン１６０１の把持方向）を基準として右タッチパッド８０２と左タッチパッド８０３の座標系が設定されている場合であって、操作装置４１が横持ちにされた場合、位置情報は変換される。
この場合、カーソル位置決定部２２０３は、基準として設定された把持方向の座標系に対応させるため、右タッチパッド８０２と左タッチパッド８０３の座標系を左に９０°回転させる。すなわち、カーソル位置決定部２２０３は、右タッチパッド８０２および左タッチパッド８０３のそれぞれの座標系の中心座標を回転の中心として位置情報を左に９０°回転させる。
第１のセンサー２２０４は、ユーザの指の接触を検知するためのタッチセンサーである。操作装置４１の外周部には１以上のタッチセンサーが配置される。なお、このようなユーザの指の接触を検知するためのタッチセンサーは公知技術であるため、ここでは詳細な説明を省略する。
第２のセンサー２２０５は、操作装置４１の重力方向を検知するための重力センサーであり、操作装置４１に内蔵される。なお、このような操作装置４１にかかる重力の方向を検知することで操作装置４１の天地方向の向きを認識する重力センサーは公知技術であるため、ここでは詳細な説明を省略する。
センサー情報検出部１７０２は、第１のセンサー２２０４から、ユーザが操作装置４１を保持している部分の情報である保持部分情報を検出し、第２のセンサー２２０５から、操作装置４１にかかる重力方向の情報である重力方向情報を検出する。重力方向情報には、重力方向に対する操作装置４１の傾きの情報が含まれてもよい。また、重力方向情報には、操作装置４１の上下方向の情報、すなわち、重力方向に対して操作装置４１のどの面が上側または下側かを示す情報が含まれていてもよい。
また、カーソル位置決定部２２０３は、タッチ情報検出部９０１から受け取った位置情報、または、当該手段で変換した後の位置情報を用いて、画面上でのカーソルの表示位置（カーソル位置）を決定する。
以上で、実施の形態４における画面表示装置４の構成についての説明を終了する。
次に、図２３を用いて、図２２に示された実施の形態４における画面表示装置４の全体処理フローについて説明する。なお、図２３に示された「横持ち時方向決定処理（Ｓ２３０８）」および「縦持ち時方向決定処理（Ｓ２３０９）」については、実施の形態３において図１９から図２１を用いて説明した内容と同様である。したがって、実施の形態３における図１９から図２１の説明を参照することとして、ここでは説明を省略する。ただし、実施の形態３における図１９から図２１の説明において、「画面表示装置３」は、「画面表示装置４」であり、「カーソル位置決定部１７０４」などの実施の形態３の構成要素は、「カーソル位置決定部２２０３」などの実施の形態４の構成要素である。
まず、画面表示装置４のタッチ情報検出部９０１は、図２２に図示しない指示部からの指示に基づき、右タッチパッド８０２または左タッチパッド８０３への入力の検出を継続するか否かを確認する（Ｓ２３０１）。
ここで、タッチ情報検出部９０１が右タッチパッド８０２または左タッチパッド８０３への入力の検出を中断するよう指示されている場合（Ｓ２３０１でＮＯ）、画面表示装置４は、処理を終了する。
一方、タッチ情報検出部９０１が右タッチパッド８０２または左タッチパッド８０３への入力の検出を継続するよう指示されている場合（Ｓ２３０１でＹＥＳ）、タッチ情報検出部９０１は、右タッチパッド８０２または左タッチパッド８０３への入力の有無を確認する。これにより、タッチ情報検出部９０１は、図１０に示したタッチ情報１０００の有無を検出する（Ｓ２３０２）。
ここで、タッチ情報検出部９０１は、「タッチ情報無し」と検出した場合（Ｓ２３０２でＮＯ）、再度、入力の検出を継続するか否かを確認する（Ｓ２３０１）。
一方、タッチ情報検出部９０１は、「タッチ情報有り」と検出した場合（Ｓ２３０２でＹＥＳ）、タッチ情報蓄積部９０２にタッチ情報１０００を蓄積させる（Ｓ２３０３）。より具体的には、タッチ情報検出部９０１は、図１１で示したタッチ情報テーブル１１００にタッチ情報１０００を追加する。また、タッチ情報検出部９０１は、画面上でのカーソルの表示のため、検出したタッチ情報１０００をカーソル位置決定部２２０３にも渡す。
カーソル位置決定部２２０３は、タッチ情報検出部９０１からタッチ情報１０００を受け取る。そして、タッチ情報１０００に含まれる位置情報１００３を補正する必要があるか否かを決定するため、方向決定部１７０３に対して、操作装置４１の向きを問い合わせる（Ｓ２３０４）。
方向決定部１７０３は、カーソル位置決定部２２０３からの問い合わせを受け取る。そして、方向決定部１７０３は、タッチ情報蓄積部９０２のタッチ情報テーブル１１００にアクセスして、タッチ情報１０００を読み出す（Ｓ２３０５）。このとき、方向決定部１７０３は、事前に方向決定部１７０３に設定された所定時間分のタッチ情報１０００あるいは所定量のタッチ情報１０００を読み出す。
なお、タッチ情報蓄積部９０２は、タッチ情報検出部９０１から所定の時間間隔で受け取ったタッチ情報１０００を順次蓄積する。したがって、計算により所定時間分のタッチ情報の量が求められる。
また、タッチ情報蓄積部９０２は、タッチ情報１０００を読み出す際、一旦読み出したタッチ情報１０００を方向決定部１７０３の内部などに保持させておいてもよい。そして、タッチ情報蓄積部９０２は、新たに必要となる差分のタッチ情報１０００のみを読み出してもよい。これにより、以降に読み出されるタッチ情報１０００の量が削減される。
次に、方向決定部１７０３は、センサー情報検出部１７０２に対して第１のセンサー２２０４からのセンサー情報の有無を問い合わせる。センサー情報検出部１７０２は、第１のセンサー２２０４で検出した信号の有無を確認する（Ｓ２３０６）。
ここで、センサー情報検出部１７０２は、第１のセンサー２２０４からのセンサー情報を検出した場合（Ｓ２３０６でＹＥＳ）、第１のセンサー２２０４からのセンサー情報を取得する。そして、センサー情報検出部１７０２は、ユーザが操作装置４１のどの部分を把持しているかを検出して、操作装置４１が「横持ち」されているかどうかを確認する（Ｓ２３０７）。
例えば、タッチセンサーであるセンサー１７０１が、操作装置４１において、２つの長辺側の側面と２つの短辺側の側面との４辺に配置されていてもよい。そして、センサー情報検出部１７０２が２つの短辺側の側面のセンサー１７０１での接触を検出した場合、操作装置４１は「横持ち」されていると認識される。そして、センサー情報検出部１７０２が長辺側の側面のどちらかのセンサー１７０１での接触を検出した場合、操作装置４１は「縦持ち」されていると認識される。
その後、センサー情報検出部１７０２は、「横持ち」または「縦持ち」を把持方向として方向決定部１７０３に渡す。
そして、操作装置４１が「横持ち」されている場合（Ｓ２３０７でＹＥＳ）、または、センサー情報検出部１７０２が第１のセンサー２２０４からのセンサー情報を検出しなかった場合（Ｓ２３０６でＮＯ）、方向決定部１７０３は、タッチ情報の読み出し処理（Ｓ２３０５）で読み出したタッチ情報１０００を用いて、「横持ち」時における操作装置４１の向きを決定する（Ｓ２３０８：横持ち時方向決定処理）。
その後、方向決定部１７０３は、決定した操作装置４１の向きをカーソル位置決定部２２０３に渡す。この横持ち時方向決定処理は、実施の形態３において、図１９を用いて説明した処理と同等である。
一方、操作装置４１が「縦持ち」されている場合（Ｓ２３０７でＮＯ）、方向決定部１７０３は、タッチ情報の読み出し処理（Ｓ２３０５）で読み出したタッチ情報１０００を用いて、「縦持ち」時における操作装置４１の向きを決定する（Ｓ２３０９：縦持ち時方向決定処理）。その後、方向決定部１７０３は、決定した操作装置４１の向きをカーソル位置決定部２２０３に渡す。この縦持ち時方向決定処理については、実施の形態３において、図２０を用いて説明した処理と同等である。
次に、カーソル位置決定部２２０３は、方向決定部１７０３に対して、第２のセンサー２２０５からのセンサー情報の取得の有無を問い合わせる。そして、方向決定部１７０３は、センサー情報検出部１７０２に対して第２のセンサー２２０５からのセンサー情報の有無を確認する（Ｓ２３１０）。
ここで、センサー情報検出部１７０２が第２のセンサー２２０５からのセンサー情報を検出した場合（Ｓ２３１０でＹＥＳ）、カーソル位置決定部２２０３は、２つの向きを受け取る。すなわち、カーソル位置決定部２２０３は、方向決定部１７０３から、横持ち時方向決定処理（Ｓ２３０８）または縦持ち時方向決定処理（Ｓ２３０９）の結果である操作装置４１の向きと、第２のセンサー２２０５で検知する操作装置４１の向きとを受け取る。カーソル位置決定部２２０３は、これらの両者の向きが一致するか否かを判定する（Ｓ２３１１）。
これらの両者の向きが一致しない場合（Ｓ２３１１でＮＯ）、カーソル位置決定部２２０３は、警告データ生成部２２０１に対してアラートメッセージの生成を要求する。警告データ生成部２２０１は、ユーザに対し、操作装置４１の向きが逆である旨を通知したり、操作装置４１の向きを認識させたりするためのアラートメッセージを生成する（Ｓ２３１６）。
具体的には、警告データ生成部２２０１は「リモコンを正しい向きに保持しているかどうか確認してください。」「リモコンの向きを逆にしてください。」等といったアラートメッセージを生成し、画面データ生成部２２０２に生成したアラートメッセージを渡す。
画面データ生成部２２０２は、警告データ生成部２２０１からアラートメッセージを受け取った場合、当該アラートメッセージを画面データに重畳する（Ｓ２３１７）。
一方、センサー情報検出部１７０２が第２のセンサー２２０５からのセンサー情報を検出しなかった場合（Ｓ２３１０でＮＯ）、カーソル位置決定部２２０３は、操作装置４１の把持方向（横持ち、または、縦持ち）に基づき、位置情報１００３を変換する。また、方向決定部１７０３により決定された操作装置４１の向きがセンサー情報と同じ向きの場合（Ｓ２３１１でＹＥＳ）も、カーソル位置決定部２２０３は、操作装置４１の把持方向に基づき、位置情報１００３を変換する。
例えば、操作装置４１の把持方向が「縦持ち」の場合、カーソル位置決定部２２０３は、タッチ情報検出部９０１から受け取ったタッチ情報１０００の位置情報１００３を変換する。具体的には、カーソル位置決定部２２０３は、操作装置４１の把持方向が「縦持ち」の場合、右タッチパッド８０２および左タッチパッド８０３のそれぞれの座標系の中心座標を回転の中心として位置情報を左に９０°回転させる。これにより、適切なカーソル位置が得られる。
一方、操作装置４１の把持方向が「横持ち」の場合には、右タッチパッド８０２と左タッチパッド８０３の両方の座標系の向きと一致するので、このような座標変換は行われない。
さらに、カーソル位置決定部２２０３は、タッチ情報検出部９０１から受け取ったタッチ情報１０００の位置情報１００３を補正する（Ｓ２３１２：位置情報補正処理）。この時、カーソル位置決定部２２０３は、方向決定部１７０３から受け取った横持ち時方向決定処理（Ｓ２３０８）または縦持ち時方向決定処理（Ｓ２３０９）の結果である操作装置４１の向きに基づいて、位置情報１００３を補正する。
より具体的には、カーソル位置決定部２２０３は、操作装置４１の向きが「正しい向き」である場合と同等の位置にカーソルが表示されるように位置情報１００３を補正する。この位置情報補正処理については、実施の形態１と同様である。
次に、カーソル位置決定部２２０３は画面上でのカーソル位置を決定する（Ｓ２３１３）。具体的には、カーソル位置決定部２２０３は、右タッチパッド８０２の座標系の最小値と最大値と、画面表示上の座標系における最小値と最大値とから、右タッチパッド８０２の座標系と画面表示上の座標系との拡大比を取得する。また、カーソル位置決定部２２０３は、左タッチパッド８０３の座標系の最小値と最大値と、画面表示上の座標系における最小値と最大値とから、左タッチパッド８０３の座標系と画面表示上の座標系との拡大比を取得する。これにより、カーソル位置決定部２２０３は、画面上でのカーソル位置を決定する。
すなわち、カーソル位置決定部２２０３は、位置情報のｘ座標とｙ座標とのそれぞれについて、（画面表示上の右タッチパッド８０２のカーソル位置）＝（右タッチパッド８０２上のカーソル位置）×｛（画面表示上の座標系の最大値）−（画面表示上の座標系の最小値）｝÷｛（右タッチパッド８０２上の座標系の最大値）−（右タッチパッド８０２上の座標系の最小値）｝により、右タッチパッド８０２に対応するカーソル位置を決定する。
同様に、カーソル位置決定部２２０３は、（画面表示上の左タッチパッド８０３のカーソル位置）＝（左タッチパッド８０３上のカーソル位置）×｛（画面表示上の座標系の最大値）−（画面表示上の座標系の最小値）｝÷｛（左タッチパッド８０３上の座標系の最大値）−（左タッチパッド８０３上の座標系の最小値）｝により、左タッチパッド８０３に対応するカーソル位置を決定する。
その後、カーソル位置決定部２２０３は、決定したカーソル位置のｘ座標とｙ座標とを、画面データ生成部２２０２に渡す。
なお、右タッチパッド８０２と左タッチパッド８０３とで画面表示上の座標系が異なるように割り当てられてもよい。この場合、上記の計算において、「画面表示上の座標系の最大値」と「画面表示上の座標系の最小値」とが、右タッチパッド８０２と左タッチパッド８０３とのそれぞれに設けられる。これにより、それぞれのカーソル位置が決定される。
次に、画面データ生成部２２０２は、カーソル位置決定部２２０３から受け取ったカーソル位置に基づいて、表示部９０６で表示すべき映像およびアニメーション等にカーソル画像を重畳して、画面データを生成する（Ｓ２３１４）。
次に、表示部９０６は、画面データ生成部２２０２から受け取った画面データを画面等に表示する（Ｓ２３１５）。本処理の終了後、タッチ情報検出部９０１は、再度、入力の検出を継続するか否かを確認する（Ｓ２３０１）。
なお、センサー情報検出部１７０２が第２のセンサー２２０５からのセンサー情報を検出しなかった場合（Ｓ２３１０でＮＯ）、カーソル位置決定部２２０３は、位置情報の補正（Ｓ２３１２）を行うのではなく、アラートメッセージの生成（Ｓ２３１６）を要求してもよい。または、カーソル位置決定部２２０３は、補正を行わずに、画面上でのカーソル位置の決定（Ｓ２３１３）をしてもよい。
以上で、図２３に示す画面表示装置４の全体処理フローについての説明を終了する。
上述のような構成によれば、画面表示装置４のタッチ情報蓄積部９０２が、タッチ情報検出部９０１で検出した右タッチパッド８０２と左タッチパッド８０３の２面のタッチパッドにおけるタッチ情報１０００を蓄積する。そして、タッチ情報１０００に含まれる位置情報１００３から、方向決定部１７０３が右タッチパッド８０２と左タッチパッド８０３の軌跡の形状を用いて操作装置４１の向きを決定する。
方向決定部１７０３が決定した操作装置４１の向きと、第２のセンサー２２０５で検知した操作装置４１の向きとが照合される。そして、両者の向きが一致しない場合、画面上にアラートメッセージが表示される。したがって、ユーザが誤った操作装置４１の持ち方をしたと判定される場合、画面表示装置４は、ユーザによる右タッチパッド８０２ならびに左タッチパッド８０３への入力を活用して、ユーザに適切かつ迅速に操作装置４１の持ち替えなどを促すことができる。
（実施の形態５）
実施の形態５では、２つのタッチパッドを備える画面表示装置が、画面表示装置のタッチパッド上でのユーザの入力を示す位置情報（座標）の分布を利用して操作装置の向きを認識する。そして、画面表示装置は、操作装置の向きに基づいて画面上でのカーソルの表示位置を補正する。
図２４は、実施の形態５における画面表示装置の構成図である。図２４において、図１７と同一の構成要素については同一の符号を用い、説明を省略する。
図２４に示された画面表示装置５は、方向決定部２４０１と、右タッチパッド８０２と、左タッチパッド８０３と、タッチ情報検出部９０１と、タッチ情報蓄積部９０２と、画面データ生成部９０５と、表示部９０６と、センサー１７０１と、センサー情報検出部１７０２と、カーソル位置決定部１７０４とを備える。
図２４に示された操作装置３１は、右タッチパッド８０２と、左タッチパッド８０３と、センサー１７０１とを備える。また、表示制御装置５０は、方向決定部２４０１と、タッチ情報検出部９０１と、タッチ情報蓄積部９０２と、画面データ生成部９０５と、センサー情報検出部１７０２と、カーソル位置決定部１７０４とを備える。
表示制御装置５０は、操作装置３１から信号を受け、画面に表示させるための画面データを生成する。なお、表示制御装置５０は、操作装置３１または表示部９０６に組み込まれていてもよい。また、ここでは、タッチ情報検出部９０１は、表示制御装置５０に含まれるが、操作装置３１に含まれてもよい。
方向決定部２４０１は、センサー情報検出部１７０２で検出される、ユーザによる操作装置３１の把持位置と、タッチ情報蓄積部９０２で蓄積されるタッチ情報とに基づいて、操作装置３１の向きを決定する手段である。具体的には、方向決定部２４０１は、センサー情報検出部１７０２で検出される把持位置から操作装置３１が横持ちおよび縦持ちのどちらの把持方向であるかを判別する。その上で、方向決定部２４０１は、所定時間あるいは所定量などのタッチ情報に含まれる位置情報の分布に基づいて、操作装置３１がどちらの方向を向いているかを決定する。
なお、以下、これに限られるものではないが、基本的には、方向決定部２４０１は、ユーザが自然にタッチパッドを触る操作によって得られたタッチ情報を用いて、操作装置３１の向きを決定することができる。このようなタッチ情報は、ユーザが操作装置３１を保持し始めた時点、アプリケーションの切替え時、および、同一アプリケーション内で操作装置３１の保持方向が変わる時などにおいて、得られる。
以上で、実施の形態５における画面表示装置５の構成についての説明を終了する。
次に、図２５から図２８を用いて、図２４に示された実施の形態５における画面表示装置５の処理フローについて説明する。
図２５は、図２４に示された実施の形態５における画面表示装置５の全体処理フローである。
まず、画面表示装置５のタッチ情報検出部９０１は、図２４に図示しない指示部からの指示に基づき、右タッチパッド８０２または左タッチパッド８０３への入力の検出を継続するか否かを確認する（Ｓ２５０１）。
ここで、タッチ情報検出部９０１が右タッチパッド８０２または左タッチパッド８０３への入力の検出を中断するよう指示されている場合（Ｓ２５０１でＮＯ）、画面表示装置５は、処理を終了する。
一方、タッチ情報検出部９０１が右タッチパッド８０２または左タッチパッド８０３への入力の検出を継続するよう指示されている場合（Ｓ２５０１でＹＥＳ）、タッチ情報検出部９０１は、右タッチパッド８０２または左タッチパッド８０３への入力の有無を確認する。これにより、タッチ情報検出部９０１は、図１０に示したタッチ情報１０００の有無を検出する（Ｓ２５０２）。
ここで、タッチ情報検出部９０１は、「タッチ情報無し」と検出した場合（Ｓ２５０２でＮＯ）、再度、入力の検出を継続するか否かを確認する（Ｓ２５０１）。
一方、タッチ情報検出部９０１は、「タッチ情報有り」と検出した場合（Ｓ２５０２でＹＥＳ）は、タッチ情報蓄積部９０２にタッチ情報１０００を蓄積させる（Ｓ２５０３）。より具体的には、タッチ情報検出部９０１は、図１１で示したタッチ情報テーブル１１００にタッチ情報１０００を追加する。また、タッチ情報検出部９０１は、画面上でのカーソルの表示のため、検出したタッチ情報１０００をカーソル位置決定部１７０４にも渡す。
次に、カーソル位置決定部１７０４は、タッチ情報検出部９０１からタッチ情報１０００を受け取る。そして、カーソル位置決定部１７０４は、タッチ情報１０００に含まれる位置情報１００３を補正する必要があるか否かを決定するため、方向決定部２４０１に対して、操作装置３１の向きを問い合わせる（Ｓ２５０４）。
次に、方向決定部２４０１は、カーソル位置決定部１７０４からの問い合わせを受け取る。そして、方向決定部２４０１は、タッチ情報蓄積部９０２のタッチ情報テーブル１１００にアクセスして、タッチ情報１０００を読み出す（Ｓ２５０５）。このとき、方向決定部２４０１は、事前に方向決定部２４０１に設定された所定時間分のタッチ情報１０００あるいは所定量のタッチ情報１０００を読み出す。
なお、タッチ情報蓄積部９０２は、タッチ情報検出部９０１から所定の時間間隔で受け取ったタッチ情報１０００を順次蓄積する。したがって、計算により所定時間分のタッチ情報の量が求められる。
また、タッチ情報蓄積部９０２は、タッチ情報１０００を読み出す際、一旦読み出したタッチ情報１０００を方向決定部２４０１の内部などに保持させておいてもよい。そして、タッチ情報蓄積部９０２は、新たに必要となる差分のタッチ情報１０００のみを読み出してもよい。これにより、以降に読み出されるタッチ情報１０００の量が削減される。
次に、方向決定部２４０１は、センサー情報検出部１７０２に対してセンサー情報の有無を問い合わせる。そして、センサー情報検出部１７０２は、センサー１７０１で検出した信号の有無を確認する（Ｓ２５０６）。
ここで、センサー情報検出部１７０２は、センサー情報を検出した場合（Ｓ２５０６でＹＥＳ）、センサー情報を取得し、ユーザが操作装置３１のどの部分を把持しているかを検出する（Ｓ２５０７）。
例えば、タッチセンサーであるセンサー１７０１が、操作装置３１において、２つの長辺側の側面と２つの短辺側の側面との４辺に配置されていてもよい。そして、センサー情報検出部１７０２が２つの短辺側の側面のセンサー１７０１での接触を検出した場合、操作装置３１は「横持ち」されていると認識される。そして、センサー情報検出部１７０２が長辺側の側面のどちらかのセンサー１７０１での接触を検出した場合、操作装置３１は「縦持ち」されていると認識される。
その後、センサー情報検出部１７０２は、「横持ち」または「縦持ち」を把持方向として方向決定部２４０１に渡す。
次に、方向決定部２４０１は、センサー情報検出部１７０２から受け取った把持方向から、操作装置３１が「横持ち」されているかどうかを確認する（Ｓ２５０８）。
操作装置３１が「横持ち」されている場合（Ｓ２５０８でＹＥＳ）、方向決定部２４０１は、「横持ち」時における操作装置３１の向きを決定する（Ｓ２５０９：横持ち時方向決定処理）。この場合、方向決定部２４０１は、タッチ情報の読み出し処理（Ｓ２５０５）で読み出したタッチ情報１０００を用いて、「横持ち」時における操作装置３１の向きを決定する。
また、センサー情報検出部１７０２がセンサー情報を検出しなかった場合（Ｓ２５０６でＮＯ）も、方向決定部２４０１は、タッチ情報１０００を用いて、「横持ち」時における操作装置３１の向きを決定する。その後、方向決定部２４０１は、決定した操作装置３１の向きをカーソル位置決定部１７０４に渡す。この横持ち時方向決定処理については、後で図２６を用いて詳細に説明する。
操作装置３１が「縦持ち」されている場合（Ｓ２５０８でＮＯ）、方向決定部２４０１は、タッチ情報の読み出し処理（Ｓ２５０５）で読み出したタッチ情報１０００を用いて、「縦持ち」時における操作装置３１の向きを決定する（Ｓ２５１０：縦持ち時方向決定処理）。その後、方向決定部２４０１は、決定した操作装置３１の向きをカーソル位置決定部１７０４に渡す。この縦持ち時方向決定処理については、後で図２７を用いて詳細に説明する。
次に、カーソル位置決定部１７０４は、方向決定部２４０１から操作装置３１の向きを受け取る。そして、カーソル位置決定部１７０４は、操作装置３１の向きが「正しい向き」であるか否かを判定する（Ｓ２５１１）。
ここで、操作装置３１の向きが「正しい向き」である場合（Ｓ２５１１でＹＥＳ）、カーソル位置決定部１７０４は、画面上でのカーソル位置を決定する処理（Ｓ２５１３）を実行する。
一方、操作装置３１の向きが「正しい向き」以外である場合（Ｓ２５１１でＮＯ）、カーソル位置決定部１７０４は、タッチ情報検出部９０１から受け取ったタッチ情報１０００の位置情報１００３を補正する（Ｓ２５１２：位置情報補正処理）。この場合、カーソル位置決定部１７０４は、操作装置３１の向きに基づいて、位置情報１００３を、操作装置３１の向きが「正しい向き」である場合と同等の位置にカーソルが表示されるように補正する。この位置情報補正処理については、実施の形態１と同様である。
次に、カーソル位置決定部１７０４は、タッチ情報検出部９０１から受け取ったタッチ情報１０００の位置情報１００３、または、補正された位置情報１００３を用いて、画面上でのカーソル位置を決定する（Ｓ２５１３）。
具体的には、カーソル位置決定部１７０４は、右タッチパッド８０２の座標系の最小値と最大値と、画面表示上の座標系における最小値と最大値とから、右タッチパッド８０２の座標系と画面表示上の座標系との拡大比を取得する。また、カーソル位置決定部１７０４は、左タッチパッド８０３の座標系の最小値と最大値と、画面表示上の座標系における最小値と最大値とから、左タッチパッド８０３の座標系と画面表示上の座標系との拡大比を取得する。これにより、カーソル位置決定部１７０４は、画面上でのカーソル位置を決定する。
すなわち、カーソル位置決定部１７０４は、位置情報のｘ座標とｙ座標とのそれぞれについて、（画面表示上の右タッチパッド８０２のカーソル位置）＝（右タッチパッド８０２上のカーソル位置）×｛（画面表示上の座標系の最大値）−（画面表示上の座標系の最小値）｝÷｛（右タッチパッド８０２上の座標系の最大値）−（右タッチパッド８０２上の座標系の最小値）｝により、右タッチパッド８０２に対応するカーソル位置を決定する。
同様に、カーソル位置決定部１７０４は、（画面表示上の左タッチパッド８０３のカーソル位置）＝（左タッチパッド８０３上のカーソル位置）×｛（画面表示上の座標系の最大値）−（画面表示上の座標系の最小値）｝÷｛（左タッチパッド８０３上の座標系の最大値）−（左タッチパッド８０３上の座標系の最小値）｝により、左タッチパッド８０３に対応するカーソル位置を決定する。
その後、カーソル位置決定部１７０４は、決定したカーソル位置のｘ座標とｙ座標とを、画面データ生成部９０５に渡す。
なお、右タッチパッド８０２と左タッチパッド８０３とで画面表示上の座標系が異なるように割り当てられてもよい。この場合、上記の計算において、「画面表示上の座標系の最大値」と「画面表示上の座標系の最小値」とが、右タッチパッド８０２と左タッチパッド８０３とのそれぞれに設けられる。これにより、それぞれのカーソル位置が決定される。
画面データ生成部９０５は、カーソル位置決定部１７０４から受け取ったカーソル位置に基づいて、表示部９０６で表示すべき映像およびアニメーション等にカーソル画像を重畳して、画面データを生成する（Ｓ２５１４）。その後、画面データ生成部９０５は、生成した画面データを表示部９０６に渡す。
表示部９０６は、画面データ生成部９０５から受け取った画面データを画面等に表示する（Ｓ２５１５）。本処理の終了後、タッチ情報検出部９０１は、再度、入力の検出を継続するか否かを確認する（Ｓ２５０１）。
以上で、図２５に示す画面表示装置５の全体処理フローについての説明を終了する。
次に、図２６を用いて、図２５に示された横持ち時方向決定処理（Ｓ２５０９）のフローについて説明する。
まず、方向決定部２４０１は、右タッチパッド８０２に関してタッチ情報テーブル１１００から読み出したタッチ情報１０００の位置情報分布判定処理（Ｓ２６０１）を実行する。この位置情報分布判定処理については、後で図２８を用いて詳細に説明する。
次に、方向決定部２４０１は、左タッチパッド８０３に関してタッチ情報テーブル１１００から読み出したタッチ情報１０００の位置情報分布判定処理（Ｓ２６０２）を実行する。この位置情報分布判定処理は、右タッチパッドの位置情報分布判定処理（Ｓ２６０１）と同様であるが、位置情報の分布を判定する際には、図２８を用いて後述される左指用の分布を用いる。
次に、方向決定部２４０１は、右タッチパッドの位置情報分布判定処理（Ｓ２６０１）および左タッチパッドの位置情報分布判定処理（Ｓ２６０２）の処理結果から、右タッチパッド８０２に関するタッチ情報１０００と左タッチパッド８０３に関するタッチ情報１０００との両方が有ることを確認する（Ｓ２６０３）。
ここで、右タッチパッド８０２に関するタッチ情報１０００と左タッチパッド８０３に関するタッチ情報１０００との両方が有る場合（Ｓ２６０３でＹＥＳ）、方向決定部２４０１は、２つの判定結果が一致するかを確認する（Ｓ２６０４）。すなわち、方向決定部２４０１は、右タッチパッドの位置情報分布判定処理（Ｓ２６０１）および左タッチパッドの位置情報分布判定処理（Ｓ２６０２）の処理結果から、右タッチパッド８０２の位置情報の分布の判定結果と左タッチパッド８０３の位置情報の分布の判定結果とが一致するか否かを確認する。具体的には、方向決定部２４０１は、右タッチパッド８０２と左タッチパッド８０３の判定結果が両方とも「上向き」であるか、または、両方とも「下向き」であるか否かを確認する。
一方、右タッチパッド８０２に関するタッチ情報１０００、および、左タッチパッド８０３に関するタッチ情報１０００のいずれかが無い場合（Ｓ２６０３でＮＯ）、方向決定部２４０１は、それらのいずれかが有るか否かを確認する（Ｓ２６１０）。すなわち、この場合、方向決定部２４０１は、右タッチパッドの位置情報分布判定処理（Ｓ２６０１）および左タッチパッドの位置情報分布判定処理（Ｓ２６０２）の処理結果から、右タッチパッド８０２に関するタッチ情報１０００および左タッチパッド８０３に関するタッチ情報１０００のどちらか一方が有ることを確認する。
なお、ここでは、右タッチパッド８０２および左タッチパッド８０３のどちらかに関するタッチ情報１０００が検知された場合、方向決定部２４０１が分布を用いた方向決定処理を実行する例が示されている。しかし、右タッチパッド８０２と左タッチパッド８０３の両方に関するタッチ情報１０００が検知された場合のみ、方向決定部２４０１が方向決定処理を実行してもよい。この場合、本処理（Ｓ２６１０）は省略できる。
右タッチパッド８０２の位置情報の分布の判定結果と左タッチパッド８０３の位置情報の分布の判定結果とが一致しない場合（Ｓ２６０４でＮＯ）、方向決定部２４０１は、操作装置３１の向きが「方向不定」であると決定する（Ｓ２６０９）。また、右タッチパッド８０２に関するタッチ情報１０００と左タッチパッド８０３に関するタッチ情報１０００との両方が無い場合（Ｓ２６１０でＮＯ）も、方向決定部２４０１は、操作装置３１の向きが「方向不定」であると決定する。
なお、この場合、方向決定部２４０１は、操作装置３１の向きが、デフォルトの向きとして「正しい向き」であると決定してもよい。このデフォルトの向きは、出荷時などに予め画面表示装置５にデフォルト値として設定されている向きでもよいし、ユーザが予めデフォルト値として設定している向きでもよい。
右タッチパッド８０２の位置情報の分布の判定結果と左タッチパッド８０３の位置情報の分布の判定結果とが一致する場合（Ｓ２６０４でＹＥＳ）、方向決定部２４０１は、前段の処理で確認した位置情報の分布の判定結果が「上向き」であるか否かを確認する（Ｓ２６０５）。また、右タッチパッド８０２に関するタッチ情報１０００および左タッチパッド８０３に関するタッチ情報１０００のどちらか一方が有る場合（Ｓ２６１０でＹＥＳ）も、方向決定部２４０１は、位置情報の分布の判定結果が「上向き」であるか否かを確認する。
ここで、位置情報の分布の判定結果が「上向き」である場合（Ｓ２６０５でＹＥＳ）、方向決定部２４０１は、人の指の構造上の特徴などを鑑みて、ユーザの指８０４の向きは右タッチパッド８０２および左タッチパッド８０３の上方向であると判断する。すなわち、方向決定部２４０１は、ユーザの指８０４の向きが右タッチパッド８０２の座標系および左タッチパッド８０３の座標系と同一方向であると判断する。
また、ユーザの意図する操作装置３１の向きは、ユーザの指８０４の方向と一致すると考えられる。したがって、方向決定部２４０１は、操作装置３１の向きが「正しい向き」であると決定する（Ｓ２６０６）。方向決定部２４０１は、カーソル位置決定部１７０４に、決定した操作装置３１の向きを渡し、本処理を終了する。
一方、位置情報の分布の判定結果が「上向き」でない場合（Ｓ２６０５でＮＯ）、方向決定部２４０１は、前段の処理で確認した位置情報の分布の判定結果が「下向き」であるか否かを確認する（Ｓ２６０７）。
ここで、位置情報の分布の判定結果が「下向き」である場合（Ｓ２６０７でＹＥＳ）、方向決定部２４０１は、人の指の構造上の特徴などを鑑みて、ユーザの指８０４の向きは、右タッチパッド８０２および左タッチパッド８０３の下方向であると判断する。すなわち、方向決定部２４０１は、ユーザの指８０４の向きが右タッチパッド８０２の座標系および左タッチパッド８０３の座標系と上下反対方向、あるいは、右または左にそれぞれ１８０°回転させた方向であると判断する。
また、ユーザの意図する操作装置３１の向きは、ユーザの指８０４の方向と一致すると考えられる。したがって、方向決定部２４０１は、操作装置３１の向きが「正しい向き」であると決定する場合（Ｓ２６０６）とは反対に、操作装置３１の向きが「逆向き」であると決定する（Ｓ２６０８）。方向決定部２４０１は、カーソル位置決定部１７０４に、決定した操作装置３１の向きを渡し、本処理を終了する。
一方、位置情報の分布の判定結果が「下向き」でない場合（Ｓ２６０７でＮＯ）、両タッチパッドの位置情報分布が一致しない場合（Ｓ２６０４でＮＯ）などと同様に、方向決定部２４０１は、操作装置３１の向きが「方向不定」であると決定する（Ｓ２６０９）。
以上で、方向決定部２４０１での横持ち時方向決定処理フローについての説明を終了する。
次に、図２７を用いて、図２５に示された縦持ち時方向決定処理（Ｓ２５１０）のフローについて説明する。
まず、方向決定部２４０１は、右タッチパッド８０２に関してタッチ情報テーブル１１００から読み出したタッチ情報１０００の位置情報分布判定処理（Ｓ２７０１）を実行する。この位置情報分布判定処理については、後で図２８を用いて詳細に説明する。
次に、方向決定部２４０１は、左タッチパッド８０３に関してタッチ情報テーブル１１００から読み出したタッチ情報１０００の位置情報分布判定処理（Ｓ２７０２）を実行する。この位置情報分布判定処理は、右タッチパッドの位置情報分布判定処理（Ｓ２７０１）と同様であるが、位置情報の分布を判定する際には、図２８を用いて後述される左指用の分布を用いる。
次に、方向決定部２４０１は、右タッチパッドの位置情報分布判定処理（Ｓ２７０１）および左タッチパッドの位置情報分布判定処理（Ｓ２７０２）の処理結果から、右タッチパッド８０２に関するタッチ情報１０００と左タッチパッド８０３に関するタッチ情報１０００との少なくともどちらか一方が有ることを確認する（Ｓ２７０３）。
ここで、右タッチパッド８０２に関するタッチ情報１０００と左タッチパッド８０３に関するタッチ情報１０００との両方が無い場合（Ｓ２７０３でＮＯ）、操作装置３１の向きは「方向不定」であると決定する（Ｓ２７０８）。
なお、この場合、方向決定部２４０１は、操作装置３１の向きが、デフォルトの向きとして「正しい向き」であると決定してもよい。このデフォルトの向きは、出荷時などに予め画面表示装置５にデフォルト値として設定されている向きでもよいし、ユーザが予めデフォルト値として設定している向きでもよい。
一方、右タッチパッド８０２に関するタッチ情報１０００と左タッチパッド８０３に関するタッチ情報１０００との少なくともどちらか一方が有る場合（Ｓ２７０３でＹＥＳ）、方向決定部２４０１は、前段の処理で確認した位置情報の分布の判定結果が「上向き」であるか否かを確認する（Ｓ２７０４）。
なお、右タッチパッド８０２に関するタッチ情報１０００と左タッチパッド８０３に関するタッチ情報１０００との両方が存在する場合には、方向決定部２４０１は、タッチ情報蓄積部９０２から取得するタッチ情報１０００のデータ数が多い方のタッチパッドに関するタッチ情報１０００を用いてもよい。
ここで、位置情報の分布の判定結果が「上向き」である場合（Ｓ２７０４でＹＥＳ）、方向決定部２４０１は、人の指の構造上の特徴などを鑑みて、ユーザの指８０４の向きは、操作装置３１を縦持ちした場合の上方向であると判断する。本実施の形態では、右タッチパッド８０２側を前方向に向けて把持する方向に、右タッチパッド８０２の座標系および左タッチパッド８０３の座標系が定められている。
ユーザの意図する操作装置３１の向きは、ユーザの指８０４の方向と一致すると考えられる。したがって、方向決定部２４０１は、操作装置３１の向きが「正しい向き」であると決定する（Ｓ２７０５）。方向決定部２４０１は、カーソル位置決定部１７０４に、決定した操作装置３１の向きを渡し、本処理を終了する。
一方、位置情報の分布の判定結果が「上向き」でない場合（Ｓ２７０４でＮＯ）、方向決定部２４０１は、前段の処理で確認した位置情報の分布の判定結果が「下向き」であるか否かを確認する（Ｓ２７０６）。
ここで、位置情報の分布の判定結果が「下向き」である場合（Ｓ２７０６でＹＥＳ）、方向決定部２４０１は、人の指の構造上の特徴などを鑑みて、ユーザの指８０４の向きは、操作装置３１を縦持ちした場合の下方向であると判断する。
また、ユーザの意図する操作装置３１の向きは、ユーザの指８０４の方向と一致すると考えられる。したがって、方向決定部２４０１は、操作装置３１の向きが「正しい向き」であると決定する場合（Ｓ２７０５）とは反対に、操作装置３１の向きが「逆向き」であると決定する（Ｓ２７０７）。方向決定部２４０１は、カーソル位置決定部１７０４に、決定した操作装置３１の向きを渡し、本処理を終了する。
一方、位置情報の分布の判定結果が「下向き」でない場合（Ｓ２７０６でＮＯ）、両タッチパッドのタッチ情報がない場合（Ｓ２７０３でＮＯ）と同様に、方向決定部２４０１は、操作装置３１の向きが「方向不定」であると決定する（Ｓ２７０８）。
以上で、方向決定部２４０１での縦持ち時方向決定処理フローについての説明を終了する。
次に、図２８、図２９Ａおよび図２９Ｂを用いて、図２６に示された右タッチパッドの位置情報分布判定処理（Ｓ２６０１）と左タッチパッドの位置情報分布判定処理（Ｓ２６０２）、および、図２７に示された右タッチパッドの位置情報分布判定処理（Ｓ２７０１）と左タッチパッドの位置情報分布判定処理（Ｓ２７０２）の処理フローについて説明する。
まず、方向決定部２４０１は、タッチ情報テーブル１１００から読み出したタッチ情報１０００の有無を確認する（Ｓ２８０１）。
ここで、読み出したタッチ情報１０００が存在しない場合（Ｓ２８０１でＮＯ）、方向決定部２４０１は、操作装置３１の向きが「方向不定」であると決定する（Ｓ２８０８）。
一方、読み出したタッチ情報１０００が存在する場合（Ｓ２８０１でＹＥＳ）、方向決定部２４０１は、内部で保持する位置情報の分布を読み出す（Ｓ２８０２）。
具体的には、方向決定部２４０１は、右タッチパッド８０２の位置情報の分布を判定する場合、図２９Ａと図２９Ｂに示す正しい向き時の位置情報の分布（右指用）と逆向き時の位置情報の分布（右指用）とを読み出す。そして、方向決定部２４０１は、左タッチパッド８０３の位置情報の分布を判定する場合、図２９Ａと図２９Ｂに示す正しい向き時の位置情報の分布（左指用）と逆向き時の位置情報の分布（左指用）とを読み出す。
次に、方向決定部２４０１は、タッチ情報の確認処理（Ｓ２８０１）で読み出したタッチ情報１０００と、位置情報の分布の読み出し処理（Ｓ２８０２）で読み出した位置情報の分布との相関度を計算する（Ｓ２８０３）。相関度の計算は、位置情報の分布の読み出し処理（Ｓ２８０２）で読み出した正しい向き時の位置情報の分布に含まれる位置情報１００３の個数と、逆向き時の位置情報の分布に含まれる位置情報１００３の個数とをそれぞれ計算する。
例えば、図２９Ａおよび図２９Ｂに示された例では、点Ａから点Ｊまでの１０個の位置情報１００３（右タッチパッド８０２からの位置情報１００３が５個、左タッチパッド８０３からの位置情報１００３が５個）がタッチ情報１０００として読み出されている。この場合、図２９Ａでは点Ａ〜点Ｊまでの１０個が「正しい向き時の位置情報の分布」に含まれているため、相関度は「１０」と計算できる。一方、図２９Ｂでは点Ｃ、点Ｄ、点Ｇ、点Ｉの４個が「逆向き時の位置情報の分布」に含まれているため、相関度は「４」と計算できる。
次に、方向決定部２４０１は、相関度の計算処理（Ｓ２８０３）で計算した相関度に関して、共に相関度が「０」であるか否かを確認する（Ｓ２８０４）。
ここで、相関度が共に「０」である場合（Ｓ２８０４でＹＥＳ）、方向決定部２４０１は、相関度からは操作装置３１の向きが決定できないため、操作装置３１の向きが「方向不定」であると決定する（Ｓ２８０８）。
一方、２つの相関度のうち少なくとも一方が「０」ではない場合（Ｓ２８０４でＮＯ）、方向決定部２４０１は、相関度の計算処理（Ｓ２８０３）で計算した相関度に関して、（正しい向き時の位置情報との相関度）≧（逆向き時の位置情報との相関度）であるか否かを確認する（Ｓ２８０５）。
ここで、（正しい向き時の位置情報との相関度）≧（逆向き時の位置情報との相関度）である場合（Ｓ２８０５でＹＥＳ）、方向決定部２４０１は、タッチ情報１０００に含まれる位置情報１００３は、正しい向き時の位置情報との相関度が高いため、操作装置３１の向きが「上向き」であると決定する（Ｓ２８０６）。
一方、（正しい向き時の位置情報との相関度）＜（逆向き時の位置情報との相関度）である場合（Ｓ２８０５でＮＯ）、方向決定部２４０１は、タッチ情報１０００に含まれる位置情報１００３は、逆向き時の位置情報との相関度が高いため、操作装置３１の向きが「下向き」であると決定する（Ｓ２８０７）。
以上で、図２６に示された右タッチパッドの位置情報分布判定処理（Ｓ２６０１）と左タッチパッドの位置情報分布判定処理（Ｓ２６０２）、および、図２７に示された右タッチパッドの位置情報分布判定処理（Ｓ２７０１）と左タッチパッドの位置情報分布判定処理（Ｓ２７０２）の処理フローについての説明を終了する。
以上で、実施の形態５における画面表示装置５の処理フローの説明を終了する。
上述のような構成によれば、画面表示装置５のタッチ情報蓄積部９０２が、タッチ情報検出部９０１で検出したタッチ情報１０００を蓄積する。そして、タッチ情報１０００に含まれる位置情報１００３の分布を用いて方向決定部２４０１が操作装置３１の向きを決定する。また、その向きに応じて、カーソル位置決定部１７０４がタッチ情報検出部９０１から受け取るタッチ情報１０００に含まれる位置情報１００３を適切に補正した上で、カーソルの表示位置を決定する。
したがって、画面表示装置５は、ユーザが操作装置３１をどの向きに保持しても、ユーザによる右タッチパッド８０２と左タッチパッド８０３との入力のみに基づいて、操作装置３１の向きを適切かつ自動的に決定して、正しい位置にカーソルを表示することができる。これにより、ユーザの快適な操作性を実現することができる。
なお、実施の形態５では、図１８に示された実施の形態３の「横持ち時方向決定処理（Ｓ１８０９、図１９）」と「縦持ち時方向決定処理（Ｓ１８１０、図２０）」とに代えて、図２５に示された「横持ち時方向決定処理（Ｓ２５０９、図２６）」と「縦持ち時方向決定処理（Ｓ２５１０、図２７）」とが適用されている。
すなわち、方向決定部における方向決定処理のみが置換されている。このように、実施の形態１から実施の形態４における各方向決定処理が、実施の形態５で示した方向決定処理に置き換えられてもよい。
また、上記に示された複数の実施の形態は例であって、本発明はこれらの実施の形態に限定されるものではない。これらの実施の形態に対して当業者が思いつく変形を施して得られる形態、および、これらの実施の形態における構成要素を任意に組み合わせて実現される別の形態も、本発明に含まれる。
また、本発明は、画面表示装置のみに限られず、タッチパッドを有する操作装置からの入力を受け、表示部に表示させるためのデータを生成する表示制御装置として利用できる。表示制御装置は、操作装置に組み込まれてもよいし、表示部に組み込まれてもよい。また、表示制御装置は、独立した装置であってもよい。そして、表示制御装置が、操作装置および表示部を備えてもよい。
また、実施の形態に示された操作装置は、無線のリモコンでもよいし、有線のリモコンでもよい。また、操作装置は、リモコン以外でもよく、例えば、表示部、表示制御装置または画面表示装置に、物理的に一体として設置されてもよい。
また、カーソルが用いられない場合、カーソル位置決定部は無くてもよい。さらに、タッチ情報を蓄積する必要がない場合、タッチ情報蓄積部は無くてもよい。以下、図３０および図３１を用いて例示する。
図３０は、実施の形態１における画面表示装置の変形例を示す構成図である。図３０に示された画面表示装置６では、操作装置１１、表示制御装置６０および表示部２０６は、物理的に一体なって構成される。これにより、画面表示装置６、操作装置１１、表示制御装置６０および表示部２０６の向きは、互いに一致する。
方向決定部２０３は、指の操作に起因する特徴に基づいて、操作装置１１の向きを決定する。例えば、ユーザが手で操作装置１１を把持しながら指でタッチパッド１０２に触れることができる範囲は、指の構造の特徴上、限られる。したがって、方向決定部２０３は、このような特徴にしたがって、蓄積された複数のタッチ情報を利用せずに、検出されたひとつのタッチ情報を利用して、操作装置１１の向きを決定してもよい。
そして、画面データ生成部２０５は、方向決定部２０３により決定された操作装置１１の向きに応じて、画面データを生成し、表示部２０６に画像などを表示させる。
図３１は、図３０に示された画面表示装置６を利用する場合の概念図である。様々な方向を向いている画面表示装置６において、適切な方向に画像などが表示される。すなわち、表示制御装置６０は、指による操作に基づいて、表示に適切な向きを検出し、画像などを表示できる。
また、実施の形態１から実施の形態５では、方向決定部が、常時、操作装置の向きを決定し、画面上のカーソル位置を補正したり、アラートメッセージを生成したりする場合の例が示された。しかし、画面表示装置がアプリケーション監視部を備え、方向決定部は、アプリケーションの起動時、および、アプリケーションの切替え時など、ユーザが操作装置を持ち替えるような場合に操作装置の向きを決定してもよい。これにより、画面表示装置は、必要な場合にのみ操作装置の向きを認識するように構成されるため、画面表示装置の処理負荷が軽減される。
また、実施の形態１から実施の形態５に係る画面表示装置は、ユーザが入力したタッチパッド上の位置情報に関して、指の操作に起因する特徴を利用して、操作装置の向きを決定する。指の操作に起因する特徴は、指の構造、形状および動作等に起因する特徴である。実施の形態１から実施の形態５に係る画面表示装置は、特に、位置情報の軌跡の傾き（直線で近似した傾き）と変化度、または、位置情報の分布を特徴として利用して、操作装置の向きを決定する。しかし、指の操作に起因する特徴は、このような軌跡または分布に限られない。
画面表示装置は、位置情報の軌跡を曲線で近似し、その曲率を特徴として利用してもよい。画面表示装置は、位置情報の軌跡を曲線で近似し、近似した曲線の端点を挟む角度を利用してもよい。画面表示装置は、位置情報の分布が円形または楕円形になる場合、ユーザの指で操作し易いタッチパッド上の所定の領域に円形または楕円形の開始位置があるか否かを利用してもよい。
また、上述の記載において、方向決定部が決定する方向は、操作装置の向きと表現されている。しかし、この方向は、ユーザが意図する方向として、扱われてもよい。
また、実施の形態１から実施の形態４に係る方向決定部は、ユーザが入力したタッチパッド上の位置情報の軌跡の形状を、直線の傾きおよび変化度を計算することにより特定している。しかし、方向決定部は、事前に予測される軌跡を保持しておき、ユーザが入力したタッチパッド上の軌跡と、事前に保持する軌跡との相関度あるいは乖離度を計算することによって、軌跡の形状を特定してもよい。
また、実施の形態１から実施の形態５に係るタッチパッドは、ユーザが入力したタッチパッド上の位置情報として、ｘ座標とｙ座標の２次元の座標値を取得している。さらに、ｚ座標（ｚ軸方向）を含む３次元の座標値を取得可能なタッチパッドが用いられてもよい。
このようなタッチパッドの場合、ユーザの接触操作または押下操作について、ｚ軸方向の強度を含む情報が得られる。そのため、ユーザの入力が面積として表現される。したがって、方向決定部は、この入力面積の形状からユーザの指の形状を認識することで、操作装置の向きを決定してもよい。
また、実施の形態１から実施の形態４において、方向決定部が「正しい向き」と決定した場合のタッチパッド上の位置情報の軌跡が記録（学習）されてもよい。そして、記録された軌跡が次回以降の方向決定処理で用いられてもよい。実施の形態５においても、同様に、タッチパッド上の位置情報の分布が記録（学習）されてもよい。
例えば、方向決定処理において、ユーザにより入力されたタッチパッド上の位置情報の軌跡と学習しておいた軌跡との相関度または乖離度などを計算することにより、ユーザの癖などに適応する効果が期待できる。
また、実施の形態１から実施の形態５において、ユーザが、２面以上のタッチパッドを備える操作装置を縦持ちに保持した場合、方向決定部は、タッチ情報の量（数）が多いタッチパッド側の方向が、ユーザが意図する上方向であると判断してもよい。
また、実施の形態４では、方向決定部１７０３が決定した操作装置４１の向きと、第２のセンサー２２０５で検知した操作装置４１の向きとを比較する場合の例が示された。表示制御装置４０は、方向決定部１７０３が決定した操作装置４１の向きと、予め固定で設定されている右タッチパッド８０２上および左タッチパッド８０３上での座標系の向きとを比較してもよい。そして、表示制御装置４０は、両者の向きが一致しない場合に、アラートメッセージなどを生成し、表示部２０６に表示させてもよい。
また、実施の形態４では、一旦、アラートメッセージを表示した後、ユーザが操作装置４１を持ち替えたことを検出したり、方向決定部１７０３が次の操作装置４１の向きを認識したりした時に、画面データ生成部２２０２が前回表示したアラートメッセージを消去してもよい。
また、警告の方法は、実施の形態４で示された警告データ生成部２２０１がアラートメッセージを作成するだけに限られない。画面表示装置は、表示制御装置４０の外部にアラート部を備えてもよい。また、アラート部は、方向決定部１７０３で決定した操作装置の向きと、予め固定で設定されているタッチパッド上の座標系の向き、または、センサーで検知した操作装置の向きとが一致しない場合に、ユーザに対して各種フィードバック方法によりアラートを示してもよい。例えば、画面上のオブジェクトの色または形状を変更する、音で通知するなどの多様な方法が適用できる。
また、実施の形態４では、第１のセンサー２２０４と第２のセンサー２２０５の両方を備えた画面表示装置の場合の例が示された。しかし、画面表示装置は、どちらか片方のセンサーのみを備えてもよい。これによっても、同様の処理が実現可能である。
この場合、第１のセンサー２２０４のみを備えた画面表示装置は、第１のセンサー２２０４で検出した操作装置の把持方向に基づいて予め固定で設定されているタッチパッド上の座標系の向きと、方向決定部１７０３が決定した操作装置の向きとの比較を行う。逆に、第２のセンサー２２０５のみを備えた画面表示装置は、第２のセンサー２２０５が検知した上下方向の向きに基づく操作装置の向きと、方向決定部１７０３が決定した操作装置の向きとの比較を行う。
また、実施の形態４に係る方向決定部１７０３は、第１のセンサー２２０４、第２のセンサー２２０５、左タッチパッド８０３、右タッチパッド８０２、または、それらの任意の組み合わせから得られる情報を用いて、方向を決定することができる。例えば、方向決定部１７０３は、第２のセンサー２２０５と左タッチパッド８０３とから得られる情報を用いて、方向を決定することができる。
また、方向決定部１７０３は、第１のセンサー２２０４、第２のセンサー２２０５、左タッチパッド８０３、右タッチパッド８０２、または、それらの任意の組み合わせから得られる別の情報を用いて、方向の妥当性を検証してもよい。すなわち、方向決定部１７０３は、別の情報からユーザが意図する方向として推定される方向と、指の操作に起因する特徴に基づいて決定した方向とが一致するか否かを判定することにより、方向の妥当性を検証してもよい。
例えば、方向決定部１７０３は、第１のセンサー２２０４および第２のセンサー２２０５から得られる情報により推定される方向と、左タッチパッド８０３および右タッチパッド８０２から得られる情報を用いて決定される方向とが一致するか否かを検証してもよい。そして、それらが一致する場合、カーソル位置決定部２２０３がカーソル位置を決定し、それらが一致しない場合、警告データ生成部２２０１が警告データを生成してもよい。
また、方向決定部１７０３によって決定された方向と、操作装置４１において予め定められている方向とが異なる場合に、カーソル位置決定部２２０３が、予め定められている方向に従って決定されるカーソル位置を補正することにより、カーソル位置を決定してもよい。または、方向決定部１７０３によって決定された方向と、操作装置４１において予め定められている方向とが異なる場合に、警告データ生成部２２０１が警告データを生成してもよい。
また、実施の形態１から実施の形態５では、ユーザが操作装置を持ち始めた時、アプリケーションの切替え時、および、アプリケーション内で操作装置を持つ方向を変更する時などに、表示制御装置はタッチパッド上での指の自然な操作によって操作装置の向きを認識する。しかし、このような初動の操作だけでは、認識に必要なタッチ情報が十分に取得できない場合も想定される。
このような場合、表示制御装置は、認識時間を延長する、再認識を試みる等の処理を自動で行ってもよいし、ユーザに認識失敗を通知してもよい。
また、実施の形態１から実施の形態５において、画面表示装置が、決定された向きに基づいてカーソル表示を行ったにもかかわらず、ユーザがタッチパッド上で不自然な操作を行う場合もある。例えば、ユーザが、画面上で選択すべきオブジェクトが存在しない領域での操作を頻発させたり、タッチパッド上での指の回転などを繰り返したりといった動作を行うことがある。この場合、画面表示装置は、決定された向きが誤認識であったと判断して、決定された操作装置の向きを天地方向に逆転させる処理を自動的あるいはユーザに確認した上で行ってもよい。
また、実施の形態１から実施の形態５において、画面表示装置が、決定された向きに基づいてカーソル表示を行ったにもかかわらず、ユーザが操作装置を天地方向に反転させて持ち替えを行う場合がある。この場合、画面表示装置が決定した向きが誤認識であったと判断される。そのため、画面表示装置は、ユーザが持ち替えを行った直後には操作装置の向きの認識を実行しなくてもよい。そして、画面表示装置は、次にアプリケーションが切替わった場合、または、所定時間の経過後などにユーザが操作装置を持ち替えた場合に、操作装置の向きを再認識してもよい。
また、実施の形態１から実施の形態５において、画面表示装置は、ユーザに対して、自然にタッチパッドを操作させるようなアプリケーション画面を提示してもよい。例えば、アプリケーションの開始時および同一アプリケーション内で操作装置の横持ちと縦持ちとが切り替わる場合などに、両手で扉を開かせるといったようなＧＵＩをアプリケーションの一部として提示する方法が考えられる。
画面表示装置は、このようなＧＵＩをアプリケーションに組み込むことにより、操作装置の向きを認識するための特別な操作をユーザに極力意識させることなく、結果的に操作装置の向きの認識精度を向上させることができる。
また、実施の形態１から実施の形態５において、画面表示装置は、操作装置の向きの決定前であるか決定後であるかを示すＧＵＩを提示してもよい。このＧＵＩとしては、色および濃さを変える、画面上のオブジェクト、カーソルの位置および形状などを変える、メッセージ表示を行う、および、音により通知する、等の種々の方法が考えられる。
例えば、操作装置の向きの決定前では、画面表示装置は、カーソル画像を薄くするなどの透過表示（α表示）をしたり、カーソルを非表示としたりしてもよい。そして、操作装置の向きの決定後に、画面表示装置は、通常通りのカーソル画像を表示してもよい。
また、実施の形態２から実施の形態５では、操作装置の上面に２面のタッチパッドを備えた操作装置の場合の例が示された。しかし、操作装置の上面に３面以上の複数のタッチパッドを備えた操作装置、または、上面と下面（背面）との両方で合わせて複数のタッチパッドを備えた操作装置等にも、実施の形態２から実施の形態５で示した構成が適用されてもよい。
あるいは、画面表示装置は、マルチタッチに対応した１つのタッチパッドから、複数の接触を検出してもよい。例えば、実施の形態２から実施の形態５に示された画面表示装置が、１つのタッチパッドのみを有する場合であっても、１つのタッチパッドから、複数の指の接触を検出することにより、同様の処理を実現することができる。
また、実施の形態２から実施の形態５では、カーソル表示はフリーポインティング（フリーカーソル）である場合の例が示された。しかし、このようなタッチパッドによる表示は、特定のオブジェクト等のフォーカスによる表示であってもよい。
また、実施の形態２から実施の形態５では、右タッチパッド８０２と左タッチパッド８０３とでそれぞれ独立した２つのカーソルを表示する場合の例が示されている。しかし、右タッチパッド８０２と左タッチパッド８０３とで共通のカーソルが表示されてもよい。また、右タッチパッド８０２と左タッチパッド８０３とで、画面上の異なる領域がそれぞれ割り当てられてもよい。
また、画面などの出力手段の背面にタッチパッドを備えるような画面表示装置などの場合、ユーザは、親指以外（例えば、人差し指と中指など）の指でタッチパッドを操作する。このような場合であっても、人の各指の構造、形状および動作などに起因する特徴を活用することにより、本発明による効果が得られることは言うまでもない。
また、図２、図９、図１７、図２２、図２４および図３０に示された表示制御装置の構成要素は、集積回路であるＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）として実現されてもよい。これらの構成要素は、個別に１チップ化されてもよいし、一部または全てを含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、システムＬＳＩ、スーパーＬＳＩまたはウルトラＬＳＩと呼称されることもある。
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、または、ＬＳＩ内部の回路セルの接続および設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて、表示制御装置に含まれる構成要素の集積回路化を行ってもよい。
また、表示制御装置の構成要素のうち、データを格納する手段だけ１チップ化せずに別構成としてもよい。
また、本発明は、表示制御装置として実現できるだけでなく、表示制御装置を構成する処理手段をステップとする方法として実現できる。その方法に含まれるステップは、典型的には、コンピュータによって、実行される。そして、本発明は、その方法に含まれるステップをコンピュータに実行させるプログラムとして実現できる。さらに、本発明は、そのプログラムを記憶したＣＤ−ＲＯＭ等のコンピュータ読み取り可能な記憶媒体として実現できる。
本発明による表示制御装置は、様々な方向で操作される操作装置へのユーザの自然な操作に従って、画面に画像等を適切に表示し、例えば、デジタルテレビなどの画面表示装置に適用できる。
１、２、３、４、５、６ 画面表示装置
１０、２０、３０、４０、５０、６０ 表示制御装置
１１、２１、３１、４１ 操作装置
１０１、８０１、１６０１ リモコン
１０２ タッチパッド
１０３、８０４ 指
１０４、８０５ 画面
１０５、８０６ カーソル
１０６ 目
２０１、９０１ タッチ情報検出部
２０２、９０２ タッチ情報蓄積部
２０３、９０３、１７０３、２４０１ 方向決定部
２０４、９０４、１７０４、２２０３ カーソル位置決定部
２０５、９０５、２２０２ 画面データ生成部
２０６、９０６ 表示部
３００、１０００ タッチ情報
３０１、１００２ 操作ＩＤ
３０２、１００３ 位置情報
４００、１１００ タッチ情報テーブル
８０２ 右タッチパッド
８０３ 左タッチパッド
１００１ タッチパッドＩＤ
１７０１ センサー
１７０２ センサー情報検出部
２２０１ 警告データ生成部
２２０４ 第１のセンサー
２２０５ 第２のセンサー
本発明は、ユーザが指を用いて操作するタッチパッドを有する操作装置から信号を受け、画面に表示させるための画面データを生成する表示制御装置に関する。
近年、デジタルＴＶ（デジタルテレビ）およびＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ）レコーダなどのＣＥ（Ｃｏｎｓｕｍｅｒ Ｅｌｅｃｔｒｏｎｉｃｓ）機器は、ネットワーク対応などにより、様々な機能を有する。これにより、従来のリモートコントロール装置（リモコン）などの操作装置を有するこれらの画面表示装置において、十分に快適な操作性が得られないようなアプリケーションが増加してきている。
例えば、画面表示装置で利用されるアプリケーションとして、インターネット上のコンテンツを閲覧するためのウェブブラウザがある。また、デジタルＴＶまたはＢＤレコーダでＳＤ（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ）カードなどに記録された画像データを閲覧するための写真ビューワもこのようなアプリケーションのひとつである。また、ウェブブラウザなどで検索などをおこなう場合に検索文字列を入力するためのキーボードアプリケーションなども存在する。
このようなアプリケーションも含め、今後、新たに登場するネットワーク対応アプリケーションなどにも柔軟に対応可能な、操作性の高い新規の画面表示装置に対するニーズが高まってきている。
例えば、新しい画面表示装置の形態の一つとして、従来のような固定的なハードウェアキーを備えたリモコンに代わり、タッチパッドを有する操作装置を装備した画面表示装置がある。このような画面表示装置では、デジタルＴＶ等の画面に表示されるＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）上でフリーポインティングが可能となっている。そして、ユーザがタッチパッド上を指でなぞる操作に対応して、ＧＵＩ上に表示されるカーソル（ＧＵＩ上での操作位置を示すポインタ）が動くようになっている。
したがって、ユーザは手元を見ずにＧＵＩを操作することができるので、煩雑な操作、および、画面表示装置が有するハードウェアキーの配置を覚えることなく、様々なアプリケーションを直感的に操作することが可能となる。
このような新しい画面表示装置の中には、画面表示装置を構成する操作装置が上下左右対称の形状をしたものもある。ユーザは、操作装置を持つ方向（ユーザが、操作装置のどの面を前方向と認識して持っているか）および、操作装置の持ち手（右手、左手のどちらで操作装置を持つか）を気にすることなく、画面表示装置を自由に操作できる。このような新しい画面表示装置では、ユーザがどのような向きで操作装置を持った場合でも、ユーザの操作に対応してＧＵＩ上のカーソルを適切に制御して表示することが必須である。
ところで、従来の画面表示装置を構成する操作装置の向きを認識する技術として、幾つかの技術が知られている。なお、操作装置が画面表示装置と物理的に一体となっている場合、操作装置の向きは、画面表示装置本体の向きと同じになる。
例えば、特許文献１では、画面表示装置として、ユーザが片手で操作できる携帯端末が開示されている。
この携帯端末は、本体のどこが保持（把持とも呼ばれる）されているか、本体の上下方向（天地方向）がどちらか等の本体の状態を認識する状態検出手段を備えている。状態検出手段は、携帯端末本体に取り付けられた接触センサー（圧力センサー、把持センサーまたはタッチセンサーなどとも呼ばれる）および重力センサー（加速度センサーなどとも呼ばれる）を用いて、本体の状態を認識する。そして、この携帯端末は、状態検出手段での状態検出結果を用いて画面の表示方向などを決定する。
すなわち、この携帯端末は、接触センサーおよび重力センサーでの検出結果に基づき本体の向きを認識する。
また、特許文献２では、画面表示装置として、ユーザのボタン操作もしくはユーザの本体の保持状態によって、表示部での表示方向を切り替えることができる携帯端末装置が開示されている。ユーザによる本体の保持状態は、携帯端末装置の周辺に取り付けられた圧力センサーにより検出される。すなわち、この携帯端末装置は、ユーザの明示的な指示、あるいは、圧力センサーでの保持状態の検出結果に基づき本体の向きを認識する。
また、特許文献３では、画面表示装置として、装置本体の外周部に複数個のタッチセンサーを配置し、ユーザの本体の持ち方に応じて、表示方向を最適化できる電子ペーパーデバイスが挙げられている。
特許文献３では、特許文献１および特許文献２に開示されている技術と同様、タッチセンサーを用いて本体の向きを認識する技術が開示されている。一方、タッチセンサーのみを用いて本体の向きを認識する方法での問題点として、ユーザの本体の持ち方によっては表示の天地方向が逆さになる場合がある、という点が特許文献３で指摘されている。これに関して特許文献３では、重力センサーを併用してユーザの持ち方の推定精度を向上させることにより、正しい表示が可能となるという記載がなされている。
特開平１０−３０１６９５号公報 特開平１１−１４３６０４号公報 特開２００８−５２０６２号公報
しかしながら、特許文献１、特許文献２、および、特許文献３で開示されている技術では、操作装置の向きが正しく認識されない場合がある。これらの技術は、画面表示装置が備える加速度センサーを用いて本体の向きを認識したり、圧力センサーを用いてユーザによるリモコンの把持方向を認識したりする等、センサーでの検出結果を用いて、リモコンなどの操作装置の向きを認識する技術である。しかし、ユーザの持ち方などによっては、ユーザが意図する向きと一致しない場合が発生する。その結果、ユーザの操作性が低下したり、ユーザの混乱を招いたりする虞がある。
具体的には、ユーザがリモコンを用いて操作する場合、通常は画面をやや見上げる方向でリモコンを保持して操作するのが一般的である。このような場合、リモコンの画面側の面はリモコンのユーザ側の面（手前）よりも上方に位置することになる。そして、リモコン本体に内蔵される加速度センサーはユーザ側の面（手前）が下方向であると検出する。そして、リモコン本体の向きは、一般的な保持方法に基づいて、下方向がユーザ側の面（手前）であるとして認識される。
したがって、画面表示装置によって認識されたリモコンの向きとユーザが意図する実際のリモコンの向きとは一致する。すなわち、この場合、リモコン本体の向きは正しく認識される。
しかし、反対に、ユーザが画面をやや見下ろす方向でリモコンを保持して操作する場合、リモコンの画面側の面がユーザ側の面（手前）よりも下方に位置することになる。そのため、加速度センサーは画面側の面が下方向であると検出する。そして、リモコン本体の向きは、一般的な保持方法に基づいて、下方向がユーザ側の面（手前）であるとして認識される。
したがって、リモコンのユーザ側の面（手前）が、画面側の面として認識されてしまう。すなわち、ユーザの意図する実際のリモコンの向きとは反対の向きにリモコン本体の向きが誤って認識されてしまう。ユーザが寝ながらリモコンを操作している場合も、同様に、加速度センサー等では、ユーザが意図する方向が正しく認識されない場合がある。
リモコン本体の向きが誤って認識された場合、ＧＵＩ上のカーソルの動きは、タッチパッド上のユーザの指の動きに対して天地方向が逆転するなど、ユーザの意図に反する動きとなってしまう。このような誤認識は、ユーザの混乱を招いたり、あるいは、リモコン本体を持ち替えさせたりすることとなる。そのため、ユーザのリモコン操作の快適さが損なわれてしまう。
また、特許文献２に開示された画面表示装置は、ユーザにボタンを操作させることで、リモコン本体の天地方向の逆転を指示させている。すなわち、画面表示装置は、ユーザにリモコン本体の向きを明示的に指定させている。このような方法では、ユーザの手間が増加する。そのため、この場合も快適なリモコン操作が実現できるとは言えない。
そこで、本発明は、様々な方向で操作される操作装置へのユーザの自然な操作に従って、画面に画像等を適切に表示させるための表示制御装置を提供することを目的とする。
上記課題を解決するために、本発明に係る表示制御装置は、タッチパッドを有する操作装置からの信号を受け、画面に表示するための画面データを生成する表示制御装置であって、ユーザが指で前記タッチパッドを操作するときに前記指が接触した前記タッチパッド上の位置情報を含むタッチ情報を検出するタッチ情報検出部と、前記タッチ情報検出部により検出された前記タッチ情報によって示される特徴であって、前記指による前記タッチパッド上での操作に起因する特徴を用いて、前記ユーザが意図する方向を決定する方向決定部と、前記方向決定部により決定された前記方向に依存させて、前記画面データを生成する画面データ生成部とを備える。
これにより、表示制御装置は、指の操作に起因する特徴、例えば、親指の付き方などの人の手の構造に基づく操作の特徴から、操作時にユーザが意図している方向を判別する。したがって、表示制御装置は、ユーザの自然な操作によって、ユーザが意図する方向を認識することができる。そして、表示制御装置は、認識された方向に基づいて、画面に画像等を適切に表示させることができる。
また、前記方向決定部は、前記特徴を用いて、前記ユーザが前記タッチパッドを見たときの前記タッチパッド上の上下左右の方向である前記方向を決定してもよい。
これにより、表示制御装置は、ユーザから見たタッチパッド上の上下左右の方向に基づいて、画面に画像等を適切に表示させることができる。
また、前記方向決定部は、前記特徴を用いて、前記操作装置の方向である前記方向を決定してもよい。
これにより、表示制御装置は、操作装置の方向に基づいて、画面に画像等を適切に表示させることができる。
また、前記表示制御装置は、さらに、前記タッチ情報検出部により検出された前記タッチ情報を蓄積することにより、複数のタッチ情報を蓄積するタッチ情報蓄積部を備え、前記方向決定部は、前記タッチ情報蓄積部により蓄積された前記複数のタッチ情報によって示される前記特徴を用いて、前記方向を決定してもよい。
これにより、表示制御装置は、複数のタッチ情報に基づく、より詳細な特徴を用いて、ユーザが意図する方向を決定することができる。したがって、表示制御装置は、画面に画像等をより適切に表示させることができる。
また、前記方向決定部は、前記複数のタッチ情報によって示される位置情報の遷移によって形成される軌跡の形状である前記特徴を用いて、前記方向を決定してもよい。
これにより、表示制御装置は、指の自然な操作に従って形成される軌跡に基づいて、ユーザが意図する方向を決定することができる。
また、前記方向決定部は、前記軌跡が凸状である場合に、凸側が上側であるとして、または、前記軌跡が凹状である場合に、凹側が下側であるとして、前記方向を決定してもよい。
これにより、表示制御装置は、軌跡の形状から、ユーザが意図する方向を直接的に決定することができる。
また、前記方向決定部は、前記複数のタッチ情報によって示される複数の位置情報の分布である前記特徴を用いて、前記方向を決定してもよい。
これにより、表示制御装置は、指の自然な操作に従って接触される位置の分布に基づいて、ユーザが意図する方向を決定することができる。
また、前記表示制御装置は、さらに、前記タッチ情報検出部により検出された前記タッチ情報に含まれる前記位置情報から、前記画面上でのポインティング位置を示すカーソルの表示位置を決定するカーソル位置決定部を備え、前記カーソル位置決定部は、前記方向決定部により決定された前記方向に依存させて、前記表示位置を決定し、前記画面データ生成部は、前記カーソル位置決定部により決定された前記表示位置に前記カーソルを表示するための前記画面データを生成してもよい。
これにより、表示制御装置は、ユーザが意図する方向に基づいて、適切な位置にカーソルを表示することができる。
また、前記カーソル位置決定部は、前記方向決定部により決定された前記方向と、前記操作装置において予め定められている方向とが異なる場合に、前記位置情報と前記予め定められている方向とによって決定される前記表示位置を補正することにより、前記表示位置を決定してもよい。
これにより、ユーザが予め定められた方向と異なる方向でタッチパッドを操作している場合も、適切な位置にカーソルが表示される。
また、前記表示制御装置は、さらに、前記ユーザに警告を通知するための警告データを生成する警告データ生成部を備え、前記警告データ生成部は、前記方向決定部により決定された前記方向と、前記操作装置において予め定められている方向とが異なる場合に、前記警告データを生成してもよい。
これにより、ユーザが誤った方向でタッチパッドを操作しようとしている場合、ユーザは誤りを認識することができる。
また、前記表示制御装置は、さらに、前記操作装置の外周部に配置されたセンサーであって、前記ユーザの接触を検出するセンサーから、前記ユーザが前記操作装置を保持している部分の情報である保持部分情報を検出するセンサー情報検出部を備え、前記方向決定部は、前記センサー情報検出部により検出された前記保持部分情報と、前記特徴とに依存させて、前記方向を決定してもよい。
これにより、ユーザが操作装置を保持している部分の情報、および、ユーザによる自然な操作から得られる情報によって、より適切に方向が認識される。
また、前記表示制御装置は、さらに、前記操作装置にかかる重力方向を検出するセンサーから、前記操作装置にかかる重力方向の情報である重力方向情報を検出するセンサー情報検出部を備え、前記方向決定部は、前記センサー情報検出部により検出された前記重力方向情報と、前記特徴とに依存させて、前記方向を決定してもよい。
これにより、操作装置にかかる重力方向の情報、および、ユーザによる自然な操作から得られる情報によって、より適切に方向が認識される。
また、前記表示制御装置は、さらに、前記ユーザに警告を通知するための警告データを生成する警告データ生成部と、前記操作装置の外周部に配置されたセンサーであって、前記ユーザの接触を検出するセンサーから、前記ユーザが前記操作装置を保持している部分の情報である保持部分情報を検出するセンサー情報検出部とを備え、前記警告データ生成部は、前記センサー情報検出部により検出された前記保持部分情報から前記ユーザが意図する方向として推定される方向と、前記方向決定部により決定された前記方向とが異なる場合に、前記警告データを生成してもよい。
これにより、表示制御装置は、ユーザが操作装置を保持している部分の情報を用いて、ユーザの自然な操作に従って決定された方向の妥当性を検証することができる。したがって、より確かな方向が得られる。
また、前記表示制御装置は、さらに、前記ユーザに警告を通知するための警告データを生成する警告データ生成部と、前記操作装置にかかる重力方向を検出するセンサーから、前記操作装置にかかる重力方向の情報である重力方向情報を検出するセンサー情報検出部とを備え、前記警告データ生成部は、前記センサー情報検出部により検出された前記重力方向情報から前記ユーザが意図する方向として推定される方向と、前記方向決定部により決定された前記方向とが異なる場合に、前記警告データを生成してもよい。
これにより、表示制御装置は、操作装置にかかる重力方向の情報を用いて、ユーザの自然な操作に従って決定された方向の妥当性を検証することができる。したがって、より確かな方向が得られる。
また、前記表示制御装置は、さらに、前記ユーザに警告を通知するための警告データを生成する警告データ生成部と、前記操作装置の外周部に配置された第１のセンサーであって、前記ユーザの接触を検出する第１のセンサーから、前記ユーザが前記操作装置を保持している部分の情報である保持部分情報を検出し、前記操作装置にかかる重力方向を検出する第２のセンサーから、前記操作装置にかかる重力方向の情報である重力方向情報を検出するセンサー情報検出部とを備え、前記カーソル位置決定部は、前記センサー情報検出部により検出された前記保持部分情報および前記重力方向情報から前記ユーザが意図する方向として推定される方向と、前記方向決定部により決定された前記方向とが一致する場合に、前記方向決定部により決定された前記方向に依存させて、前記表示位置を決定し、前記警告データ生成部は、前記センサー情報検出部により検出された前記保持部分情報および前記重力方向情報から前記ユーザが意図する方向として推定される方向と、前記方向決定部により決定された前記方向とが一致しない場合に、前記警告データを生成してもよい。
これにより、方向が適切に認識された場合、適切な位置にカーソルが表示され、方向が適切に認識されなかった場合、ユーザはその旨を認識できる。
また、前記タッチ情報検出部は、２つのタッチパッドを有する前記操作装置からの信号を取得し、前記ユーザが複数の指で前記２つのタッチパッドを操作するときに前記複数の指のいずれかが接触した各タッチパッド上の位置情報をそれぞれ含む２つのタッチ情報を検出し、前記方向決定部は、前記タッチ情報検出部により検出された前記２つのタッチ情報のそれぞれによって示される前記特徴でそれぞれが構成される２つの特徴が互いに一致する場合に、前記２つの特徴のいずれかを用いて、前記方向を決定してもよい。
これにより、表示制御装置は、複数のタッチパッドの情報を用いて、ユーザが意図する方向をより適切に決定することができる。
また、本発明に係る表示制御方法は、タッチパッドを有する操作装置からの信号を受け、画面に表示するための画面データを生成する表示制御方法であって、ユーザが指で前記タッチパッドを操作するときに前記指が接触した前記タッチパッド上の位置情報を含むタッチ情報を検出するタッチ情報検出ステップと、前記タッチ情報検出ステップにより検出された前記タッチ情報によって示される特徴であって、前記指による前記タッチパッド上での操作に起因する特徴を用いて、前記ユーザが意図する方向を決定する方向決定ステップと、前記方向決定ステップにより決定された前記方向に依存させて、前記画面データを生成する画面データ生成ステップとを含む表示制御方法であってもよい。
これにより、前記表示制御装置が表示制御方法として実現される。
また、本発明によるプログラムは、前記表示制御方法に含まれるステップをコンピュータに実行させるためのプログラムであってもよい。
これにより、前記表示制御方法がプログラムとして実現される。
また、本発明に係る集積回路は、タッチパッドを有する操作装置からの信号を受け、画面に表示するための画面データを生成する集積回路であって、ユーザが指で前記タッチパッドを操作するときに前記指が接触した前記タッチパッド上の位置情報を含むタッチ情報を検出するタッチ情報検出部と、前記タッチ情報検出部により検出された前記タッチ情報によって示される特徴であって、前記指による前記タッチパッド上での操作に起因する特徴を用いて、前記ユーザが意図する方向を決定する方向決定部と、前記方向決定部により決定された前記方向に依存させて、前記画面データを生成する画面データ生成部とを備える集積回路であってもよい。
これにより、前記表示制御装置が集積回路として実現される。
本発明により、様々な方向で操作される操作装置へのユーザの自然な操作に従って、画面に画像等が適切に表示される。したがって、ユーザの快適な操作性が確保される。また、ユーザによるタッチパッドへの入力という操作装置本来の機能を活用しているので、追加コストの抑制が可能である。すなわち、ユーザ操作性の向上と追加コストの抑制との両立が可能である。
図１は、実施の形態１における画面表示装置の概略図である。 図２は、実施の形態１における画面表示装置の構成図である。 図３は、実施の形態１におけるタッチ情報の構成例を示す図である。 図４は、実施の形態１におけるタッチ情報テーブルの構成例を示す図である。 図５は、実施の形態１における画面表示装置の全体処理フローを示す図である。 図６は、実施の形態１の方向決定部における方向決定処理フローを示す図である。 図７Ａは、実施の形態１の方向決定部における軌跡形状決定処理の第１の例を示す説明図である。 図７Ｂは、実施の形態１の方向決定部における軌跡形状決定処理の第２の例を示す説明図である。 図７Ｃは、実施の形態１の方向決定部における軌跡形状決定処理の第３の例を示す説明図である。 図７Ｄは、実施の形態１の方向決定部における軌跡形状決定処理の第４の例を示す説明図である。 図８は、実施の形態２における画面表示装置の概略図である。 図９は、実施の形態２における画面表示装置の構成図である。 図１０は、実施の形態２におけるタッチ情報の構成例を示す図である。 図１１は、実施の形態２におけるタッチ情報テーブルの構成例を示す図である。 図１２は、実施の形態２における画面表示装置の全体処理フローを示す図である。 図１３は、実施の形態２の方向決定部における方向決定処理フローを示す図である。 図１４は、実施の形態２の方向決定部における軌跡形状決定処理フローを示す図である。 図１５Ａは、実施の形態２の方向決定部における軌跡形状決定処理の第１の例を示す説明図である。 図１５Ｂは、実施の形態２の方向決定部における軌跡形状決定処理の第２の例を示す説明図である。 図１６は、実施の形態３における画面表示装置の概略図である。 図１７は、実施の形態３における画面表示装置の構成図である。 図１８は、実施の形態３における画面表示装置の全体処理フローを示す図である。 図１９は、実施の形態３の方向決定部における横持ち時方向決定処理フローを示す図である。 図２０は、実施の形態３の方向決定部における縦持ち時方向決定処理フローを示す図である。 図２１は、実施の形態３の方向決定部における軌跡形状決定処理フローを示す図である。 図２２は、実施の形態４における画面表示装置の構成図である。 図２３は、実施の形態４における画面表示装置の全体処理フローを示す図である。 図２４は、実施の形態５における画面表示装置の構成図である。 図２５は、実施の形態５における画面表示装置の全体処理フローを示す図である。 図２６は、実施の形態５の方向決定部における横持ち時方向決定処理フローを示す図である。 図２７は、実施の形態５の方向決定部における縦持ち時方向決定処理フローを示す図である。 図２８は、実施の形態５の方向決定部における位置情報分布判定処理フローを示す図である。 図２９Ａは、実施の形態５の方向決定部における位置情報分布判定処理の第１の例を示す説明図である。 図２９Ｂは、実施の形態５の方向決定部における位置情報分布判定処理の第２の例を示す説明図である。 図３０は、実施の形態１の変形例における画面表示装置の構成図である。 図３１は、実施の形態１の変形例における画面表示装置の利用状態を示す図である。
以下、本発明の実施の形態について、図面を参照しながら説明する。
（実施の形態１）
実施の形態１における画面表示装置は、タッチパッド上でのユーザの入力を示す位置情報（座標）の軌跡の形状を利用して、タッチパッドを含む操作装置の向き（方向ともいう）を認識する。そして、画面表示装置は、操作装置の向きに基づいて画面上でのカーソル（ＧＵＩ上での操作位置を示すポインタ）の表示位置を補正する。
図１は、実施の形態１における画面表示装置の概略図である。図１に示された画面表示装置１は、ユーザからの入力を受け付け、画面１０４にカーソル１０５等を表示する。
リモコン１０１は、ユーザが画面１０４上のＧＵＩを操作する操作装置の一例である。リモコン１０１は、ユーザの指１０３による入力を受け付けるタッチパッド１０２を備えている。
タッチパッド１０２による入力の受付処理は静電容量の変化を検出する方法などにより実現されるが、公知技術であるため、ここでは説明を省略する。また、リモコン１０１は、画面１０４に対してＢｌｕｅｔｏｏｔｈおよびＺｉｇＢｅｅ／ＩＥＥＥ８０２．１５．４などの無線によって信号を伝送するが、信号の伝送技術は、同様に公知技術であるため、ここでは説明を省略する。
ユーザが指１０３をタッチパッド１０２に接触させた場合、タッチパッド１０２上での接触位置がｘ座標、ｙ座標で表される位置情報として検出される。タッチパッド１０２上での座標系は、画面１０４上での座標系と一対一で対応づけられている。そのため、画面表示装置１は、検出した位置情報に基づき、カーソル１０５の画面１０４上での座標の値を計算できる。なお、指１０３の接触には、手袋などを介した間接的な接触も含まれる。
また、図１には、ユーザの目１０６からタッチパッド１０２を見たときのタッチパッド１０２上の上下左右の方向が示されている。ユーザがタッチパッド１０２を操作するときに意図する方向は、図１に示された上下左右の方向であると想定される。すなわち、ユーザが意図する方向は、ユーザからタッチパッド１０２を見たときのタッチパッド１０２上の上下左右の方向であると想定される。画面表示装置１は、このような方向を認識し、認識された方向に基づいて、適切な位置にカーソル１０５を表示する。
ユーザが意図する方向は、ユーザが操作装置に対して意図する方向、すなわち、操作装置の方向ともいえる。図１に示された方向は、リモコン１０１等の操作装置の方向でもある。
なお、操作装置は、予め定められた上下左右の方向を有する場合がある。操作装置において予め定められた方向は、典型的には、操作装置に付けられているロゴの表示方向に対応する。操作装置の方向は、予め定められた方向からの回転角によって、定量的に表現されてもよい。
図２は、図１に示された実施の形態１における画面表示装置１の構成図である。図２において、図１と同一の構成要素については同一の符号を用い、説明を省略する。
図２に示された画面表示装置１は、タッチパッド１０２と、タッチ情報検出部２０１と、タッチ情報蓄積部２０２と、方向決定部２０３と、カーソル位置決定部２０４と、画面データ生成部２０５と、表示部２０６とを備える。
図２に示された操作装置１１は、リモコン１０１などによって実現され、タッチパッド１０２を備える。また、表示制御装置１０は、タッチ情報検出部２０１と、タッチ情報蓄積部２０２と、方向決定部２０３と、カーソル位置決定部２０４と、画面データ生成部２０５とを備える。
表示制御装置１０は、操作装置１１から信号を受け、画面１０４に画像等を表示させるための画面データを生成する。なお、表示制御装置１０は、操作装置１１または表示部２０６に組み込まれていてもよい。
タッチ情報検出部２０１は、ユーザのタッチパッド１０２上での接触操作あるいは押下操作などに対応して、少なくともタッチパッド１０２上での接触位置を示すｘ座標およびｙ座標である位置情報を含むタッチ情報を検出する手段である。ここでは、タッチ情報検出部２０１は、表示制御装置１０に含まれるが、操作装置１１に含まれてもよい。タッチ情報検出部２０１は、所定の時間間隔でタッチ情報を検出して、検出したタッチ情報をタッチ情報蓄積部２０２に渡す。このタッチ情報の構成例については、後で図３を用いて詳細に説明する。
タッチ情報蓄積部２０２は、記憶部等で構成され、タッチ情報検出部２０１から渡されるタッチ情報を蓄積する手段である。タッチ情報蓄積部２０２は、方向決定部２０３がタッチ情報を用いて操作装置１１の向きを決定できるように、所定時間あるいは所定量などのタッチ情報を時系列などの順で蓄積する。このタッチ情報を蓄積するためのタッチ情報テーブルの構成例については、後で図４を用いて詳細に説明する。
方向決定部２０３は、タッチ情報蓄積部２０２で蓄積されたタッチ情報に基づいて、操作装置１１の向きを決定する手段である。具体的には、方向決定部２０３は、所定のアルゴリズムに基づいてタッチ情報を解析することで、操作装置１１のどの面が画面１０４側を向いているかを決定する。このアルゴリズムについては、後で図６を用いて詳しく説明する。
なお、以下、これに限られるものではないが、基本的には、方向決定部２０３は、ユーザが自然にタッチパッドを触る操作によって得られたタッチ情報を用いて、操作装置１１の向きを決定することができる。このようなタッチ情報は、ユーザが操作装置１１を保持し始めた時点、アプリケーションの切替え時、および、同一アプリケーション内で操作装置１１の保持方向が変わる時などにおいて、得られる。
カーソル位置決定部２０４は、方向決定部２０３で決定した操作装置１１の向きと、タッチ情報検出部２０１で検出したタッチ情報とから、画面１０４上に表示するカーソル１０５の位置を計算する手段である。すなわち、カーソル位置決定部２０４は、タッチ情報に含まれる位置情報から、画面１０４上でのポインティング位置を示すカーソル１０５の表示位置を決定する。
カーソル位置決定部２０４は、方向決定部２０３でユーザが操作装置１１を「正しい向き」に保持していない、すなわち、「逆向き」に保持していると判断された場合、タッチ情報に含まれる位置情報の値を変換（座標変換）する。これにより、カーソル位置決定部２０４は、ユーザが操作装置１１を「正しい向き」に保持している場合と同等のカーソル１０５の動きとなるように位置情報を補正する。
一方、方向決定部２０３でユーザが操作装置１１を「正しい向き」に保持していると判断された場合には、カーソル位置決定部２０４は位置情報の補正を行わない。
なお、ここで「正しい向き」とは、タッチパッド１０２上での座標系の向きと一致する向きであることを示している。言い換えれば、「正しい向き」とは、ユーザが意図する方向と、操作装置１１において予め定められている方向とが一致する状態をいう。
なお、「逆向き」とは、ユーザが意図する方向と、操作装置１１において予め定められている方向とが正反対である状態をいう。また、「右向き」とは、ユーザが意図する上方向が、操作装置１１において予め定められている右方向になっている状態をいう。また、「左向き」とは、ユーザが意図する上方向が、操作装置１１において予め定められている左方向になっている状態をいう。
また、カーソル位置決定部２０４は、タッチ情報検出部２０１から受け取った位置情報、または、当該手段で補正した後の位置情報を用いて、画面１０４上でのカーソル１０５の表示位置（カーソル位置）を決定する。
画面データ生成部２０５は、カーソル位置決定部２０４で決定したカーソル１０５の表示位置などに基づいて、画面データを生成する手段である。画面データ生成部２０５は、動画ビューワまたはウェブブラウザなどのアプリケーションの画像と、カーソル画像とを重畳することにより、表示部２０６で表示する画面データを生成する。
表示部２０６は、画面データ生成部２０５から渡された画面データを画像等として表示する手段である。表示部２０６は、例えば、デジタルＴＶの画面などである。なお、表示部２０６は、画面表示装置１の外部にあってもよい。
以上で、実施の形態１における画面表示装置１の構成についての説明を終了する。
次に、図３を用いて、タッチ情報検出部２０１が検出するタッチ情報について説明する。
図３は、タッチ情報の構成例を示す図である。図３に示されたタッチ情報３００は、操作ＩＤ３０１と位置情報３０２とから構成される。
操作ＩＤ３０１は、ユーザがタッチパッド１０２上で行った操作の種別を示すＩＤである。操作ＩＤ３０１として、タッチパッド１０２への接触操作を示す「ＴＯＵＣＨ」と、タッチパッド１０２の押下操作を示す「ＣＬＩＣＫ」とがある。
位置情報３０２は、操作ＩＤ３０１で示される操作が行われたタッチパッド１０２上でのｘ座標の値とｙ座標の値とで構成されており、（ｘ座標の値、ｙ座標の値）の形式で表される。
図３では、「タッチパッド１０２への接触操作が（１００、１００）で発生した」ことを示すタッチ情報３００が例示されている。
以上で、タッチ情報３００の構成例についての説明を終了する。
次に、図４を用いて、図２に示されたタッチ情報蓄積部２０２が保持するタッチ情報テーブルについて説明する。
図４は、図２に示されたタッチ情報蓄積部２０２が保持するタッチ情報テーブルの構成例を示す図である。図４に示されたタッチ情報テーブル４００は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）またはフラッシュメモリなどで構成される。
タッチ情報テーブル４００には、タッチ情報検出部２０１から渡されるタッチ情報３００が、時系列順で蓄積される。タッチ情報蓄積部２０２は、タッチ情報検出部２０１からタッチ情報３００が渡される度に、受け取ったタッチ情報３００をタッチ情報テーブル４００に追加する。
図４に示す例は、（１）「タッチパッド１０２への接触操作が（１００、１００）で発生した」、（２）「タッチパッド１０２への接触操作が（１５０、２００）で発生した」、（３）「タッチパッド１０２への接触操作が（２００、３００）で発生した」、（４）「タッチパッド１０２への押下操作が（２００、３００）で発生した」ということを示している。
ここで、タッチ情報検出部２０１は、所定の時間間隔でタッチパッド１０２上の接触操作および押下操作を検出する。そのため、図４に示すタッチ情報テーブル４００から、ユーザの指の動作は、「タッチパッド１０２に（１００、１００）で接触し、タッチパッド１０２に接触した状態で（１５０、２００）を経由して（２００、３００）まで移動し、そこでタッチパッド１０２を押下した」と解釈される。
なお、タッチ情報蓄積部２０２は、所定時間を経過した場合、タッチ情報テーブル４００に含まれる古いタッチ情報３００を定期的に削除してもよい。また、タッチ情報蓄積部２０２は、タッチ情報検出部２０１からタッチ情報３００を受け取ったときに蓄積量が所定量を超過するような場合、新しいタッチ情報３００で古いタッチ情報３００を上書き更新してもよい。
以上で、タッチ情報テーブル４００の構成例についての説明を終了する。
次に、図５を用いて、実施の形態１における画面表示装置１の処理フローについて説明する。
図５は、図２に示された実施の形態１における画面表示装置１の全体処理フローである。
まず、画面表示装置１のタッチ情報検出部２０１は、図２に図示しない指示部からの指示に基づき、タッチパッド１０２への入力の検出を継続するか否かを確認する（Ｓ５０１）。
ここで、タッチ情報検出部２０１がタッチパッド１０２への入力の検出を中断するように指示されている場合（Ｓ５０１でＮＯ）、画面表示装置１は、処理を終了する。
一方、タッチ情報検出部２０１がタッチパッド１０２への入力の検出を継続するよう指示されている場合（Ｓ５０１でＹＥＳ）、タッチ情報検出部２０１は、タッチパッド１０２への入力の有無を確認する。そして、タッチ情報検出部２０１は、図３に示したタッチ情報３００の有無を検出する（Ｓ５０２）。
ここで、タッチ情報検出部２０１は、「タッチ情報無し」と検出した場合（Ｓ５０２でＮＯ）、再度、入力の検出を継続するか否かを確認する（Ｓ５０１）。
一方、タッチ情報検出部２０１は、「タッチ情報有り」と検出した場合（Ｓ５０２でＹＥＳ）、タッチ情報蓄積部２０２にタッチ情報３００を蓄積させる（Ｓ５０３）。より具体的には、タッチ情報検出部２０１は、図４で示したタッチ情報テーブル４００にタッチ情報３００を追加する。また、タッチ情報検出部２０１は、画面上でのカーソル表示のため、検出したタッチ情報３００をカーソル位置決定部２０４にも渡す。
次に、カーソル位置決定部２０４は、タッチ情報検出部２０１からタッチ情報３００を受け取った後、タッチ情報３００に含まれる位置情報３０２を補正する必要があるか否かを決定する。そのため、カーソル位置決定部２０４は、方向決定部２０３に対して、操作装置１１の向きを問い合わせる（Ｓ５０４）。
次に、方向決定部２０３は、カーソル位置決定部２０４からの問い合わせを受けた後、タッチ情報蓄積部２０２のタッチ情報テーブル４００にアクセスして、タッチ情報３００を読み出す（Ｓ５０５）。このとき、方向決定部２０３は、事前に方向決定部２０３に設定された所定時間分のタッチ情報３００あるいは所定量のタッチ情報３００を読み出す。
なお、タッチ情報蓄積部２０２は、タッチ情報検出部２０１から所定の時間間隔で受け取ったタッチ情報３００を順次蓄積する。したがって、計算により所定時間分のタッチ情報の量が求められる。
また、タッチ情報蓄積部２０２は、タッチ情報３００を読み出す際、一旦読み出したタッチ情報３００を方向決定部２０３の内部などに保持させておいてもよい。そして、タッチ情報蓄積部２０２は、新たに必要となる差分のタッチ情報３００のみを読み出してもよい。これにより、以降に読み出されるタッチ情報３００の量が削減される。
方向決定部２０３は、タッチ情報の読み出し処理（Ｓ５０５）で読み出したタッチ情報３００を用いて、操作装置１１の向きを決定する（Ｓ５０６：方向決定処理）。その後、方向決定部２０３は、決定した操作装置１１の向きをカーソル位置決定部２０４に渡す。この方向決定処理については、後で図６を用いて詳細に説明する。
カーソル位置決定部２０４は、方向決定部２０３から操作装置１１の向きを受け取り、操作装置１１の向きが「正しい向き」であるか否かを判定する（Ｓ５０７）。
ここで、操作装置１１の向きが「正しい向き」である場合（Ｓ５０７でＹＥＳ）、カーソル位置決定部２０４は、画面上でのカーソル位置を決定する処理（Ｓ５０９）を実行する。
一方、操作装置１１の向きが「正しい向き」以外である場合（Ｓ５０７でＮＯ）、カーソル位置決定部２０４は、操作装置１１の向きに基づいて、タッチ情報検出部２０１から受け取ったタッチ情報３００の位置情報３０２を補正する（Ｓ５０８：位置情報補正処理）。この場合、カーソル位置決定部２０４は、操作装置１１の向きが「正しい向き」である場合と同等の位置にカーソルが表示されるように、位置情報３０２を補正する。この位置情報補正処理については、後で詳細に説明する。
次に、カーソル位置決定部２０４は、タッチ情報検出部２０１から受け取ったタッチ情報３００の位置情報３０２、または、補正された位置情報３０２を用いて、画面上でのカーソル位置を決定する（Ｓ５０９）。具体的には、カーソル位置決定部２０４は、タッチパッド１０２の座標系および画面表示上の座標系におけるそれぞれの最小値と最大値とから、タッチパッド１０２の座標系と画面表示上の座標系との拡大比を得ることによりカーソル位置を決定する。
すなわち、カーソル位置決定部２０４は、位置情報のｘ座標とｙ座標とのそれぞれについて、（画面表示上のカーソル位置）＝（タッチパッド１０２上のカーソル位置）×｛（画面表示上の座標系の最大値）−（画面表示上の座標系の最小値）｝÷｛（タッチパッド１０２上の座標系の最大値）−（タッチパッド１０２上の座標系の最小値）｝により、画面上でのカーソル位置を決定する。
その後、カーソル位置決定部２０４は、決定したカーソル位置のｘ座標とｙ座標とを、画面データ生成部２０５に渡す。
画面データ生成部２０５は、カーソル位置決定部２０４から受け取ったカーソル位置に基づいて、表示部２０６で表示すべき映像およびアニメーション等にカーソル画像を重畳して、画面データを生成する（Ｓ５１０）。その後、画面データ生成部２０５は、生成した画面データを表示部２０６に渡す。
表示部２０６は、画面データ生成部２０５から受け取った画面データを画面等に表示する（Ｓ５１１）。本処理の終了後、タッチ情報検出部２０１は、再度、タッチパッド１０２への入力の検出を継続するか否かを確認する処理（Ｓ５０１）を実行する。
以上で、図５に示す画面表示装置１の全体処理フローについての説明を終了する。
次に、図６〜図７Ｄを用いて、図５に示された方向決定処理（Ｓ５０６）のフローについて説明する。以降、図５に示されたタッチ情報の読み出し処理（Ｓ５０５）において読み出したタッチ情報３００に含まれる位置情報３０２を時系列に並べ、隣接する２点の位置情報を線分で結んだものを「軌跡」と記す。
図６は、図２に示された方向決定部２０３における方向決定処理フローを示す図である。
まず、方向決定部２０３は、タッチ情報テーブル４００から読み出したタッチ情報３００の有無を確認する（Ｓ６０１）。
ここで、読み出したタッチ情報３００が存在しない場合（Ｓ６０１でＮＯ）、方向決定部２０３は、操作装置１１の向きが「方向不定」であると決定する（Ｓ６１３）。
一方、読み出したタッチ情報３００が存在する場合（Ｓ６０１でＹＥＳ）、方向決定部２０３は、前段の処理（Ｓ６０１）で読み出したタッチ情報３００について、軌跡上の２点の位置情報３０２を結ぶ線分の傾きΔを計算する（Ｓ６０２）。
傾きΔは、時系列で隣接する２点Ａ、Ｂの位置情報をＡ（ｘａ、ｙａ）、Ｂ（ｘｂ、ｙｂ）とした場合、（傾きΔ）＝（ｙｂ−ｙａ）÷（ｘｂ−ｘａ）で計算される。但し、このとき、（ｙｂ−ｙａ）と（ｘｂ−ｘａ）の符号が考慮される。すなわち、計算された傾きΔは、その正負に関連づけて保持される。このようにして、方向決定部２０３は、読み出した全てのタッチ情報３００について、傾きΔを計算する。
次に、方向決定部２０３は、前段の処理（Ｓ６０２）で計算した傾きΔについて、時系列で隣接する２つの傾きΔの変化度δを計算する（Ｓ６０３）。変化度δは、時系列で隣接する２つの傾きΔをΔＡ、ΔＢとした場合、（変化度δ）＝ΔＢ−ΔＡで計算される。方向決定部２０３は、前段の処理（Ｓ６０２）で計算した全ての傾きΔについて、変化度δを計算する。
方向決定部２０３は、位置情報３０２と、傾きΔと、変化度δとから、軌跡の形状を決定する（Ｓ６０４：軌跡形状決定処理）。この軌跡形状決定処理については、後で図７Ａ〜図７Ｄを用いて詳細に説明する。
方向決定部２０３は、軌跡形状決定処理（Ｓ６０４）で決定した軌跡の形状が「上に凸」であるか否かを確認する（Ｓ６０５）。
ここで、軌跡の形状が「上に凸」である場合（Ｓ６０５でＹＥＳ）、方向決定部２０３は、人の指の構造上の特徴などを鑑みて、ユーザの指１０３の向きがタッチパッド１０２の上方向（タッチパッド１０２の座標系と同一方向）であると判断する。
また、ユーザの意図する操作装置１１の向きは、ユーザの指１０３の方向と一致すると考えられる。したがって、方向決定部２０３は、操作装置１１の向きが「正しい向き」であると決定する（Ｓ６０６）。そして、方向決定部２０３は、カーソル位置決定部２０４に、決定した操作装置１１の向きを渡し、本処理を終了する。
一方、軌跡の形状が「上に凸」でない場合（Ｓ６０５でＮＯ）、方向決定部２０３は、軌跡形状決定処理（Ｓ６０４）で決定した軌跡の形状が「下に凸」であるか否かを確認する（Ｓ６０７）。
ここで、軌跡の形状が「下に凸」である場合（Ｓ６０７でＹＥＳ）、方向決定部２０３は、人の指の構造上の特徴などを鑑みて、ユーザの指１０３の向きがタッチパッド１０２の下方向（タッチパッド１０２の座標系と上下反対方向、あるいは、右または左に１８０°回転させた方向）であると判断する。
また、ユーザの意図する操作装置１１の向きは、ユーザの指１０３の方向と一致すると考えられる。したがって、方向決定部２０３は、操作装置１１の向きが「正しい向き」であると決定する場合（Ｓ６０６）とは反対に、操作装置１１の向きが「逆向き」であると決定する（Ｓ６０８）。そして、方向決定部２０３は、カーソル位置決定部２０４に、決定した操作装置１１の向きを渡し、本処理を終了する。
一方、軌跡の形状が「下に凸」でない場合（Ｓ６０７でＮＯ）、方向決定部２０３は、軌跡形状決定処理（Ｓ６０４）で決定した軌跡の形状が「右に凸」であるか否かを確認する（Ｓ６０９）。
ここで、軌跡の形状が「右に凸」である場合（Ｓ６０９でＹＥＳ）、方向決定部２０３は、人の指の構造上の特徴などを鑑みて、ユーザの指１０３の向きがタッチパッド１０２の右方向（タッチパッド１０２の座標系を右に９０°回転させた方向）であると判断する。
また、ユーザの意図する操作装置１１の向きは、ユーザの指１０３の方向と一致すると考えられる。したがって、方向決定部２０３は、操作装置１１の向きが「右向き」であると決定する（Ｓ６１０）。方向決定部２０３は、カーソル位置決定部２０４に、決定した操作装置１１の向きを渡し、本処理を終了する。
一方、軌跡の形状が「右に凸」でない場合（Ｓ６０９でＮＯ）、方向決定部２０３は、軌跡形状決定処理（Ｓ６０４）で決定した軌跡の形状が「左に凸」であるか否かを確認する（Ｓ６１１）。
ここで、軌跡の形状が「左に凸」である場合（Ｓ６１１でＹＥＳ）、方向決定部２０３は、人の指の構造上の特徴などを鑑みて、ユーザの指１０３の向きがタッチパッド１０２の左方向（タッチパッド１０２の座標系を左に９０°回転させた方向）であると判断する。
また、ユーザの意図する操作装置１１の向きは、ユーザの指１０３の方向と一致すると考えられる。したがって、方向決定部２０３は、操作装置１１の向きが「左向き」であると決定する（Ｓ６１２）。方向決定部２０３は、カーソル位置決定部２０４に、決定した操作装置１１の向きを渡し、本処理を終了する。
一方、軌跡の形状が「左に凸」でない場合（Ｓ６１１でＮＯ）、方向決定部２０３は、前段の処理で軌跡の形状を決定することができない（「形状不定」）。この場合、方向決定部２０３は、操作装置１１の向きが「方向不定」であると決定する（Ｓ６１３）。
なお、方向決定部２０３は、操作装置１１の向きが方向不定である場合（Ｓ６１３）、操作装置１１の向きがデフォルトの向きとして「正しい向き」であると決定してもよい。このデフォルトの向きは、出荷時などに予め画面表示装置１にデフォルト値として設定されていている向きでもよいし、ユーザが予めデフォルト値として設定している向きでもよい。
以上で、方向決定部２０３での方向決定処理フローについての説明を終了する。
次に、図７Ａ〜図７Ｄを用いて、方向決定部２０３での軌跡形状決定処理について説明する。
図７Ａ〜図７Ｄは、傾きΔと変化度δとから軌跡の形状を決定し、さらに、軌跡の形状からユーザの指の向きを推定することにより、結果として、操作装置１１の向きを決定する方法を示した図である。操作装置１１の向きには、「正しい向き」、「逆向き」、「右向き」、「左向き」の４パターンがある。図７Ａが「正しい向き」を、図７Ｂが「逆向き」を、図７Ｃが「右向き」を、図７Ｄが「左向き」を示している。
方向決定部２０３は、図６で示した方向決定処理フローの傾きΔの計算処理（Ｓ６０２）で計算した傾きΔの値の正負を判別する。また、方向決定部２０３は、傾きΔを計算する際のｘ座標の差分「Δｘ」の正負とｙ座標の差分「Δｙ」の正負とを判別する。また、方向決定部２０３は、変化度δの計算処理（Ｓ６０３）において計算した変化度δの値の正負を判別する。
図７Ａ〜図７Ｄでは、それぞれ、これらの正負の判別結果が表で表されており、正が「＋」、負が「−」で示されている。当該表中では示されていないが、傾きΔまたは変化度δが０の場合は、「±」によって表される特別な状態として考慮されてもよい。また、当該表中では示されていないが、傾きΔが無限大となる場合、および、Δｘが０となることにより傾きΔが計算できない場合なども考えられる。これらの場合も軌跡の形状の特徴として考慮されてもよい。
図７Ａの場合、傾きΔが「＋」から「−」に変化し、変化度δが全て「−」である。方向決定部２０３は、ΔｘおよびΔｙの値も考慮して、軌跡が「上に凸」の形状であると決定する。
図７Ｂの場合、傾きΔが「−」から「＋」に変化し、変化度δが全て「＋」である。方向決定部２０３は、ΔｘおよびΔｙの値も考慮して、軌跡は「下に凸」の形状であると決定する。
図７Ｃの場合、傾きΔが「−」から「＋」に変化し、変化度δが「−」から「＋」に変化している。方向決定部２０３は、ΔｘおよびΔｙの値も考慮して、軌跡が「右に凸」の形状であると決定する。
図７Ｄの場合、傾きΔが「＋」から「−」に変化し、変化度δが「−」から「＋」に変化している。方向決定部２０３は、ΔｘおよびΔｙの値も考慮して、軌跡が「左に凸」の形状であると決定する。
図７Ａ〜図７Ｄのいずれの場合にも該当しない場合、方向決定部２０３は、軌跡の形状を決定できない。そのため、方向決定部２０３は、「形状不定」であると決定する。例えば、方向決定部２０３が軌跡の形状を決定できない場合として、軌跡に含まれる位置情報３０２の数が少なかった場合などが考えられる。
なお、方向決定部２０３は、傾きΔの変化と変化度δの変化との組み合わせが、図７Ａ〜図７Ｄのいずれにも該当しない場合であっても、図７Ａ〜図７Ｄのどのパターンに最も近いかを判定してもよい。これにより、方向決定部２０３は、軌跡の形状を図７Ａ〜図７Ｄのいずれかに決定してもよい。
以上で、方向決定部２０３での軌跡形状決定処理についての説明を終了する。
次に、カーソル位置決定部２０４における位置情報補正処理について説明する。
カーソル位置決定部２０４は、タッチパッド１０２上の中心座標Ｃを中心として回転した座標を計算することで補正後の位置情報を取得する。
例えば、タッチパッド１０２の座標系のｘ座標の取り得る値の最小値、最大値がそれぞれｘ＿ｍｉｎ、ｘ＿ｍａｘであって、ｙ座標の値の取り得る最小値、最大値がそれぞれｙ＿ｍｉｎ、ｙ＿ｍａｘであるとする。この場合、中心座標Ｃは、Ｃ（（ｘ＿ｍａｘ−ｘ＿ｍｉｎ）÷２、（ｙ＿ｍａｘ−ｙ＿ｍｉｎ）÷２）で表現される。カーソル位置決定部２０４は、この中心座標Ｃを中心として回転した座標を計算することで補正後の位置情報を取得する。
カーソル位置決定部２０４は、方向決定部２０３から受け取る操作装置１１の向きが「逆向き」の場合、タッチ情報検出部２０１から受け取った位置情報を、中心座標Ｃを中心に右（または左）に１８０°回転させる。
カーソル位置決定部２０４は、方向決定部２０３から受け取る操作装置１１の向きが「右向き」の場合、タッチ情報検出部２０１から受け取った位置情報を、中心座標Ｃを中心に左に９０°回転させる。カーソル位置決定部２０４は、操作装置１１の向きが「左向き」の場合、タッチ情報検出部２０１から受け取った位置情報を、中心座標Ｃを中心に右に９０°回転させる。
カーソル位置決定部２０４は、このような処理により、ユーザが操作装置１１をどの向きに保持した場合でも、「正しい向き」に保持している場合と同等のカーソル位置となるようにカーソル位置を補正することができる。
以上で、カーソル位置決定部２０４における位置情報補正処理についての説明を終了する。
以上で、実施の形態１における画面表示装置１の処理フローの説明を終了する。
上述のような構成によれば、画面表示装置１のタッチ情報蓄積部２０２は、タッチ情報検出部２０１で検出したタッチ情報３００を蓄積する。そして、方向決定部２０３は、タッチ情報３００に含まれる位置情報３０２の軌跡の形状を用いて、操作装置１１の向きを決定する。カーソル位置決定部２０４は、その向きに応じて、タッチ情報検出部２０１から受け取るタッチ情報３００に含まれる位置情報３０２を適切に補正した上で、カーソル１０５の表示位置を決定する。
したがって、画面表示装置１は、ユーザが操作装置１１のどの面を画面１０４側に向けて保持する場合でも、ユーザによるタッチパッド１０２への入力のみに基づいて、操作装置１１の向きを適切かつ自動的に決定することができる。これにより、画面表示装置１は、正しい位置にカーソル１０５を表示することができる。よって、画面表示装置１は、ユーザの快適な操作性を実現することができる。
（実施の形態２）
実施の形態２に係る画面表示装置は、２つのタッチパッドを備え、２つのタッチパッド上でのユーザの入力を利用して、操作装置の向きを認識する。そして、画面表示装置は、操作装置の向きに基づき、画面上でのカーソルの表示位置を補正する。
図８は、実施の形態２における画面表示装置の概略図である。図８に示された画面表示装置２は、ユーザからの入力を受け付け、画面８０５にカーソル８０６等を表示する。
リモコン８０１は、ユーザが画面８０５上のＧＵＩを操作する操作装置の一例である。リモコン８０１は、ユーザの指８０４による入力を受け付ける右タッチパッド８０２と左タッチパッド８０３とを備えている。
右タッチパッド８０２および左タッチパッド８０３による入力の受付処理は、静電容量の変化を検出する方法などにより実現されるが、公知技術であるため、ここでは説明を省略する。また、リモコン８０１は、画面８０５に対してＢｌｕｅｔｏｏｔｈおよびＺｉｇＢｅｅ／ＩＥＥＥ８０２．１５．４などの無線によって信号を伝送するが、信号の伝送技術は、同様に公知技術であるため、ここでは説明を省略する。
なお、実施の形態２は、ユーザがリモコン８０１を両手で保持し、２面のタッチパッドが左右に並ぶ向きで使用する場合（以降、保持方向が「横持ち」である、とも記す）の例である。したがって、ユーザが保持する操作装置の向きは、２面のタッチパッド上での位置情報の座標系に対して、「正しい向き」および「逆向き」のどちらかとなる。
なお、以下では、アプリケーションなどの指定によって、操作装置の保持方向が、横持ちで使用するように固定されている場合の例が示される。しかし、アプリケーションなどの指定によって保持方向が、縦持ちで使用するよう固定されている場合、画面表示装置２は、２面のタッチパッド上での座標系を右方向または左方向に９０°回転させてもよい。これにより、以下に示される例と同様の処理が実現可能である。
ユーザが指８０４を右タッチパッド８０２に接触させた場合、右タッチパッド８０２上での接触位置がｘ座標とｙ座標とで表される位置情報として検出される。右タッチパッド８０２上での座標系は、画面８０５上での座標系と一対一で対応づけられている。そのため、画面表示装置２は、検出した位置情報に基づき、カーソル８０６の画面８０５上での座標の値を計算できる。
同様に、左タッチパッド８０３も、右タッチパッド８０２の座標系とは独立した座標系を有している。そして、左タッチパッド８０３上での接触位置がｘ座標とｙ座標とで表される位置情報として検出される。左タッチパッド８０３上での座標系が画面８０５上での座標系と一対一で対応づけられている。そのため、画面表示装置２は、検出した位置情報に基づき、カーソル８０６の画面８０５上での座標の値を計算できる。
図９は、図８に示された実施の形態２における画面表示装置２の構成図である。図９において、図８と同一の構成要素については同一の符号を用い、説明を省略する。
図９に示された画面表示装置２は、右タッチパッド８０２と、左タッチパッド８０３と、タッチ情報検出部９０１と、タッチ情報蓄積部９０２と、方向決定部９０３と、カーソル位置決定部９０４と、画面データ生成部９０５と、表示部９０６とを備える。
図９に示された操作装置２１は、リモコン８０１などによって実現され、右タッチパッド８０２と、左タッチパッド８０３とを備える。また、表示制御装置２０は、タッチ情報検出部９０１と、タッチ情報蓄積部９０２と、方向決定部９０３と、カーソル位置決定部９０４と、画面データ生成部９０５とを備える。
表示制御装置２０は、操作装置２１から信号を受け、画面８０５に表示させるための画面データを生成する。なお、表示制御装置２０は、操作装置２１または表示部９０６に組み込まれていてもよい。
タッチ情報検出部９０１は、ユーザによる右タッチパッド８０２上または左タッチパッド８０３上での接触操作あるいは押下操作などに対応して、タッチ情報を検出する手段である。ここでは、タッチ情報検出部９０１は、表示制御装置２０に含まれるが、操作装置２１に含まれてもよい。タッチ情報は、少なくとも右タッチパッド８０２上または左タッチパッド８０３上での接触位置を示すｘ座標およびｙ座標である位置情報を含む。タッチ情報検出部９０１は、所定の時間間隔でタッチ情報を検出して、タッチ情報蓄積部９０２に検出したタッチ情報を渡す。このタッチ情報の構成例については、後で図１０を用いて詳細に説明する。
タッチ情報蓄積部９０２は、タッチ情報検出部９０１から渡されるタッチ情報を蓄積する手段である。タッチ情報蓄積部９０２は、方向決定部９０３がタッチ情報を用いて操作装置２１の向きを決定できるように、所定時間あるいは所定量などのタッチ情報を時系列などの順で蓄積する。このタッチ情報テーブルの構成例については、後で図１１を用いて詳細に説明する。
方向決定部９０３は、タッチ情報蓄積部９０２で蓄積されたタッチ情報に基づいて、操作装置２１の向きを決定する手段である。具体的には、方向決定部９０３は、所定のアルゴリズムに基づいてタッチ情報を解析することで、操作装置２１がどちらの方向を向いているかを決定する。このアルゴリズムについては、後で図１３および図１４を用いて詳しく説明する。
なお、以下、これに限られるものではないが、基本的には、方向決定部９０３は、ユーザが自然にタッチパッドを触る操作によって得られたタッチ情報を用いて、操作装置２１の向きを決定することができる。このようなタッチ情報は、ユーザが操作装置２１を保持し始めた時点、アプリケーションの切替え時、および、同一アプリケーション内で操作装置２１の保持方向が変わる時などにおいて、得られる。
カーソル位置決定部９０４は、方向決定部９０３で決定した操作装置２１の向きと、タッチ情報検出部９０１で検出したタッチ情報とから、画面８０５上に表示するカーソル８０６の位置を計算する手段である。
カーソル位置決定部９０４は、方向決定部９０３でユーザが操作装置２１を「正しい向き」に保持していないと判断された場合、タッチ情報に含まれる位置情報の値を変換（座標変換）する。これにより、カーソル位置決定部９０４は、ユーザが操作装置２１を「正しい向き」に保持している場合と同等のカーソル８０６の動きとなるように、位置情報を補正する。一方、方向決定部９０３でユーザが操作装置２１を「正しい向き」に保持していると判断された場合、カーソル位置決定部９０４は位置情報の補正を行わない。
また、カーソル位置決定部９０４は、タッチ情報検出部９０１から受け取った位置情報、または、当該手段で補正した後の位置情報を用いて、画面８０５上でのカーソル８０６の表示位置（カーソル位置）を決定する。
画面データ生成部９０５は、カーソル位置決定部９０４で決定したカーソル８０６の表示位置などに基づいて、画面データを生成する手段である。画面データ生成部９０５は、動画ビューワまたはウェブブラウザなどのアプリケーションの画像と、カーソル画像とを重畳することにより、表示部９０６で表示する画面データを生成する。
表示部９０６は、画面データ生成部９０５から渡された画面データを表示する手段である。表示部９０６は、例えば、デジタルＴＶの画面などである。なお、表示部９０６は、画面表示装置２の外部にあってもよい。
以上で、実施の形態２における画面表示装置２の構成についての説明を終了する。
次に、図１０を用いて、タッチ情報検出部９０１が検出するタッチ情報について説明する。
図１０は、タッチ情報の構成例を示す図である。図１０に示されたタッチ情報１０００は、タッチパッドＩＤ１００１と操作ＩＤ１００２と位置情報１００３とから構成される。
タッチパッドＩＤ１００１は、右タッチパッド８０２と左タッチパッド８０３とのどちらのタッチパッド上での接触操作あるいは押下操作によるタッチ情報１０００であるかを示すＩＤである。タッチパッドＩＤ１００１には、右タッチパッド８０２の場合を示す「右タッチパッド」と、左タッチパッド８０３の場合を示す「左タッチパッド」とがある。
操作ＩＤ１００２は、ユーザが右タッチパッド８０２または左タッチパッド８０３上で行った操作の種別を示すＩＤである。操作ＩＤ１００２として、右タッチパッド８０２あるいは左タッチパッド８０３への接触操作を示す「ＴＯＵＣＨ」と、右タッチパッド８０２あるいは左タッチパッド８０３の押下操作を示す「ＣＬＩＣＫ」とがある。
位置情報１００３は、操作ＩＤ１００２で示される操作が行われた右タッチパッド８０２上あるいは左タッチパッド８０３上でのｘ座標の値とｙ座標の値とで構成されており、（ｘ座標の値、ｙ座標の値）の形式で表される。
図１０では、「右タッチパッド８０２への接触操作が（１００、１００）で発生した」ことを示すタッチ情報１０００が例示されている。
以上で、タッチ情報１０００の構成例についての説明を終了する。
次に、図１１を用いて、タッチ情報蓄積部９０２が蓄積するタッチ情報テーブル１１００について説明する。
図１１は、タッチ情報蓄積部９０２が蓄積するタッチ情報テーブル１１００の構成例を示す図である。タッチ情報テーブル１１００は、タッチ情報蓄積部９０２が、タッチ情報検出部９０１から渡されるタッチ情報１０００を、ＲＡＭまたはフラッシュメモリなどに時系列順で蓄積したテーブルである。タッチ情報蓄積部９０２は、タッチ情報検出部９０１からタッチ情報１０００が渡される度に、受け取ったタッチ情報１０００をタッチ情報テーブル１１００に追加する。
図１１に示す例は、（１）「右タッチパッド８０２への接触操作が（１００、１００）で発生した」、（２）「右タッチパッド８０２への接触操作が（１５０、２００）で発生した」、（３）「左タッチパッド８０３への接触操作が（３０、３００）で発生した」、（４）「右タッチパッド８０２への接触操作が（２００、３００）で発生した」、（５）「右タッチパッド８０２への押下操作が（２００、３００）で発生した」、および、（６）「左タッチパッド８０３への押下操作が（３０、３００）で発生した」ということを示している。
ここで、タッチ情報検出部９０１は、所定の時間間隔で右タッチパッド８０２上と左タッチパッド８０３上の接触操作および押下操作を検出する。
したがって、図１１に示すタッチ情報テーブル１１００から、ユーザの指の動作は、次のように解釈される。すなわち、まず、ユーザの指は、右タッチパッド８０２に（１００、１００）で接触した。次に、ユーザの指は、右タッチパッド８０２に接触した状態で（１５０、２００）を経由して（２００、３００）まで移動した。そこで、ユーザの指は、右タッチパッド８０２を押下した。また、ユーザの指は、左タッチパッド８０３に（３０、３００）で接触した。そこで、ユーザの指は、左タッチパッド８０３を押下した。以上の動作が、タッチ情報テーブル１１００から、解釈される。
なお、タッチ情報蓄積部９０２は、所定時間を経過した場合、タッチ情報テーブル１１００に含まれる古いタッチ情報１０００を定期的に削除してもよい。また、タッチ情報蓄積部９０２は、タッチ情報検出部９０１からタッチ情報１０００を受け取ったときに蓄積量が所定量を超過するような場合、新しいタッチ情報１０００で古いタッチ情報１０００を上書き更新してもよい。
以上で、タッチ情報テーブル１１００の構成例についての説明を終了する。
次に、図１２から図１４を用いて、実施の形態２における画面表示装置２の処理フローについて説明する。
図１２は、図９に示された実施の形態２における画面表示装置２の全体処理フローである。
まず、画面表示装置２のタッチ情報検出部９０１は、図９に図示しない指示部からの指示に基づき、右タッチパッド８０２または左タッチパッド８０３への入力の検出を継続するか否かを確認する（Ｓ１２０１）。
ここで、タッチ情報検出部９０１が右タッチパッド８０２または左タッチパッド８０３への入力の検出を中断するよう指示されている場合（Ｓ１２０１でＮＯ）、画面表示装置２は、処理を終了する。
一方、タッチ情報検出部９０１が右タッチパッド８０２または左タッチパッド８０３への入力の検出を継続するよう指示されている場合（Ｓ１２０１でＹＥＳ）、タッチ情報検出部９０１は、図１０に示したタッチ情報１０００の有無を検出する（Ｓ１２０２）。この場合、タッチ情報検出部９０１は、右タッチパッド８０２または左タッチパッド８０３への入力の有無を確認することにより、タッチ情報１０００の有無を検出する。
ここで、タッチ情報検出部９０１は、「タッチ情報無し」と検出した場合（Ｓ１２０２でＮＯ）、再度、入力の検出を継続するか否かを確認する（Ｓ１２０１）。
一方、タッチ情報検出部９０１は、「タッチ情報有り」と検出した場合（Ｓ１２０２でＹＥＳ）、タッチ情報蓄積部９０２にタッチ情報１０００を蓄積する（Ｓ１２０３）。より具体的には、タッチ情報検出部９０１は、図１１で示したタッチ情報テーブル１１００にタッチ情報１０００を追加する。また、タッチ情報検出部９０１は、画面上でのカーソルの表示のため、検出したタッチ情報１０００をカーソル位置決定部９０４にも渡す。
次に、カーソル位置決定部９０４は、タッチ情報検出部９０１からタッチ情報１０００を受け取った後、タッチ情報１０００に含まれる位置情報１００３を補正する必要があるか否かを決定する。そのため、方向決定部９０３に対して、操作装置２１の向きを問い合わせる（Ｓ１２０４）。
次に、方向決定部９０３は、カーソル位置決定部９０４からの問い合わせを受けた後、タッチ情報蓄積部９０２のタッチ情報テーブル１１００にアクセスして、タッチ情報１０００を読み出す（Ｓ１２０５）。このとき、方向決定部９０３は、事前に方向決定部９０３に設定された所定時間分のタッチ情報１０００あるいは所定量のタッチ情報１０００を読み出す。
なお、タッチ情報蓄積部９０２は、タッチ情報検出部９０１から所定の時間間隔で受け取ったタッチ情報１０００を順次蓄積する。したがって、計算により所定時間分のタッチ情報の量が求められる。
また、タッチ情報蓄積部９０２は、タッチ情報１０００を読み出す際、一旦読み出したタッチ情報１０００を方向決定部９０３の内部などで保持させておいてもよい。そして、タッチ情報蓄積部９０２は、新たに必要となる差分のタッチ情報１０００のみを読み出してもよい。これにより、以降に読み出されるタッチ情報１０００の量が削減される。
方向決定部９０３は、前段の処理（Ｓ１２０５）で読み出したタッチ情報１０００を用いて、操作装置２１の向きを決定する（Ｓ１２０６：方向決定処理）。その後、方向決定部９０３は、決定した操作装置２１の向きをカーソル位置決定部９０４に渡す。この方向決定処理については、後で図１３を用いて詳細に説明する。
カーソル位置決定部９０４は、方向決定部９０３から操作装置２１の向きを受け取り、操作装置２１の向きが「正しい向き」であるか否かを判定する（Ｓ１２０７）。
ここで、操作装置２１の向きが「正しい向き」である場合（Ｓ１２０７でＹＥＳ）、カーソル位置決定部９０４は、画面上でのカーソル位置を決定する処理（Ｓ１２０９）を実行する。
一方、操作装置２１の向きが「正しい向き」以外である場合（Ｓ１２０７でＮＯ）、カーソル位置決定部９０４は、タッチ情報検出部９０１から受け取ったタッチ情報１０００の位置情報１００３を補正する（Ｓ１２０８：位置情報補正処理）。この場合、カーソル位置決定部９０４は、操作装置２１の向きに基づいて、位置情報１００３を、操作装置２１の向きが「正しい向き」である場合と同等の位置にカーソルが表示されるように補正する。この位置情報補正処理については、実施の形態１と同様である。
次に、カーソル位置決定部９０４は、タッチ情報検出部９０１から受け取ったタッチ情報１０００の位置情報１００３、または、補正された位置情報１００３を用いて、画面上でのカーソル位置を決定する（Ｓ１２０９）。
具体的には、カーソル位置決定部９０４は、右タッチパッド８０２の座標系の最小値と最大値と、画面表示上の座標系における最小値と最大値とから、右タッチパッド８０２の座標系と画面表示上の座標系との拡大比を取得する。また、カーソル位置決定部９０４は、左タッチパッド８０３の座標系の最小値と最大値と、画面表示上の座標系における最小値と最大値とから、左タッチパッド８０３の座標系と画面表示上の座標系との拡大比を取得する。これにより、カーソル位置決定部９０４は、画面上でのカーソル位置を決定する。
すなわち、カーソル位置決定部９０４は、位置情報のｘ座標とｙ座標とのそれぞれについて、（画面表示上の右タッチパッド８０２のカーソル位置）＝（右タッチパッド８０２上のカーソル位置）×｛（画面表示上の座標系の最大値）−（画面表示上の座標系の最小値）｝÷｛（右タッチパッド８０２上の座標系の最大値）−（右タッチパッド８０２上の座標系の最小値）｝により、右タッチパッド８０２に対応するカーソル位置を決定する。
同様に、カーソル位置決定部９０４は、（画面表示上の左タッチパッド８０３のカーソル位置）＝（左タッチパッド８０３上のカーソル位置）×｛（画面表示上の座標系の最大値）−（画面表示上の座標系の最小値）｝÷｛（左タッチパッド８０３上の座標系の最大値）−（左タッチパッド８０３上の座標系の最小値）｝により、左タッチパッド８０３に対応するカーソル位置を決定する。
その後、カーソル位置決定部９０４は、決定したカーソル位置のｘ座標とｙ座標とを、画面データ生成部９０５に渡す。
なお、右タッチパッド８０２と左タッチパッド８０３とで画面表示上の座標系が異なるように割り当てられてもよい。この場合、上記の計算において、「画面表示上の座標系の最大値」と「画面表示上の座標系の最小値」とが、右タッチパッド８０２と左タッチパッド８０３とのそれぞれに設けられる。これにより、それぞれのカーソル位置が決定される。
画面データ生成部９０５は、カーソル位置決定部９０４から受け取ったカーソル位置に基づいて、表示部９０６で表示すべき映像およびアニメーション等にカーソル画像を重畳して、画面データを生成する（Ｓ１２１０）。その後、画面データ生成部９０５は、生成した画面データを表示部９０６に渡す。
表示部９０６は、画面データ生成部９０５から受け取った画面データを画面等に表示する（Ｓ１２１１）。本処理の終了後、タッチ情報検出部９０１は、再度、入力の検出を継続するか否かを確認する（Ｓ１２０１）。
以上で、図１２に示す画面表示装置２の全体処理フローについての説明を終了する。
次に、図１３〜図１５Ｂを用いて、図１２に示された方向決定処理（Ｓ１２０６）のフローについて説明する。以降、図１２に示されたタッチ情報の読み出し処理（Ｓ１２０５）において読み出したタッチ情報１０００に含まれる位置情報１００３を時系列に並べ、隣接する２点の位置情報を線分で結んだものを「軌跡」と記す。
まず、方向決定部９０３は、右タッチパッド８０２に関してタッチ情報テーブル１１００から読み出したタッチ情報１０００の軌跡形状決定処理を実行する（Ｓ１３０１）。この軌跡形状決定処理については、後で図１４を用いて詳細に説明する。
次に、方向決定部９０３は、左タッチパッド８０３に関してタッチ情報テーブル１１００から読み出したタッチ情報１０００の軌跡形状決定処理を実行する（Ｓ１３０２）。この軌跡形状決定処理は、前段の軌跡形状決定処理（Ｓ１３０１）と同一である。
次に、方向決定部９０３は、右タッチパッドの軌跡形状決定処理（Ｓ１３０１）および左タッチパッドの軌跡形状決定処理（Ｓ１３０２）の処理結果から、両方のタッチパッドのタッチ情報が有ることを確認する（Ｓ１３０３）。すなわち、方向決定部９０３は、右タッチパッド８０２に関するタッチ情報１０００と左タッチパッド８０３に関するタッチ情報１０００との両方が有ることを確認する。
ここで、右タッチパッド８０２に関するタッチ情報１０００と左タッチパッド８０３に関するタッチ情報１０００との両方が有る場合（Ｓ１３０３でＹＥＳ）、方向決定部９０３は、両方の軌跡の形状が一致するか否かを確認する（Ｓ１３０４）。すなわち、この場合、方向決定部９０３は、右タッチパッドの軌跡形状決定処理（Ｓ１３０１）および右タッチパッドの軌跡形状決定処理（Ｓ１３０２）の処理結果から、右タッチパッド８０２の軌跡の形状と左タッチパッド８０３の軌跡の形状とが一致するか否かを確認する。
具体的には、方向決定部９０３は、右タッチパッド８０２の軌跡の形状と左タッチパッド８０３の軌跡の形状が、両方とも「上に凸」であるか、または、両方とも「下に凸」であるかを確認する。なお、右タッチパッドの軌跡形状決定処理（Ｓ１３０１）の処理結果または左タッチパッドの軌跡形状決定処理（Ｓ１３０２）の処理結果が「形状不定」である場合がある。この場合、右タッチパッド８０２の軌跡の形状と左タッチパッド８０３の軌跡の形状とが一致しないと判断される。
一方、右タッチパッド８０２に関するタッチ情報１０００が無い場合、または、左タッチパッド８０３に関するタッチ情報１０００が無い場合（Ｓ１３０３でＮＯ）、方向決定部９０３は、そのどちらか一方が有ることを確認する（Ｓ１３１０）。すなわち、この場合、方向決定部９０３は、右タッチパッドの軌跡形状決定処理（Ｓ１３０１）および右タッチパッドの軌跡形状決定処理（Ｓ１３０２）の処理結果から、右タッチパッド８０２に関するタッチ情報１０００および左タッチパッド８０３に関するタッチ情報１０００のどちらか一方が有ることを確認する。
なお、ここでは、右タッチパッド８０２および左タッチパッド８０３のどちらかに関するタッチ情報１０００が検知された場合、方向決定部９０３が軌跡の形状を用いた方向決定処理を実行する例が示されている。しかし、右タッチパッド８０２と左タッチパッド８０３の両方に関するタッチ情報１０００が検知された場合のみ、方向決定部９０３が方向決定処理を実行してもよい。この場合、両タッチパッドのどちらか一方のタッチ情報１０００が有ることを確認する処理（Ｓ１３１０）は省略される。
そして、両タッチパッドの軌跡の形状が一致しない場合（Ｓ１３０４でＮＯ）、または、両タッチパッドのどちらにもタッチ情報１０００がない場合（Ｓ１３１０でＮＯ）、方向決定部９０３は、操作装置２１の向きは「方向不定」であると決定する（Ｓ１３０９）。なお、この場合、方向決定部９０３は、操作装置２１の向きが、デフォルトの向きとして「正しい向き」であると決定してもよい。このデフォルトの向きは、出荷時などに予め画面表示装置２にデフォルト値として設定されている向きでもよいし、ユーザが予めデフォルト値として設定している向きでもよい。
そして、右タッチパッド８０２の軌跡の形状と左タッチパッド８０３の軌跡の形状とが一致する場合（Ｓ１３０４でＹＥＳ）、または、両タッチパッドのどちらかにタッチ情報１０００がある場合（Ｓ１３１０でＹＥＳ）、方向決定部９０３は、前段の処理で確認した軌跡の形状が「上に凸」であるか否かを確認する（Ｓ１３０５）。
ここで、軌跡の形状が「上に凸」である場合（Ｓ１３０５でＹＥＳ）、方向決定部９０３は、人の指の構造上の特徴などを鑑みて、ユーザの指８０４の向きが右タッチパッド８０２および左タッチパッド８０３の上方向であると判断する。つまり、方向決定部９０３は、ユーザの指８０４の向きが、右タッチパッド８０２の座標系および左タッチパッド８０３の座標系と同一方向であると判断する。
また、ユーザの意図する操作装置２１の向きは、ユーザの指８０４の方向と一致すると考えられる。したがって、方向決定部９０３は、操作装置２１の向きが「正しい向き」であると決定する（Ｓ１３０６）。そして、方向決定部９０３は、カーソル位置決定部９０４に、決定した操作装置２１の向きを渡し、本処理を終了する。
一方、軌跡の形状が「上に凸」でない場合（Ｓ１３０５でＮＯ）、方向決定部９０３は、前段の処理で確認した軌跡の形状が「下に凸」であるか否かを確認する（Ｓ１３０７）。
ここで、軌跡の形状が「下に凸」である場合（Ｓ１３０７でＹＥＳ）、方向決定部９０３は、人の指の構造上の特徴などを鑑みて、ユーザの指８０４の向きが右タッチパッド８０２および左タッチパッド８０３の下方向であると判断する。つまり、方向決定部９０３は、ユーザの指８０４の向きが右タッチパッド８０２の座標系および左タッチパッド８０３の座標系と上下反対方向、あるいは、右または左にそれぞれ１８０°回転させた方向であると判断する。
また、ユーザの意図する操作装置２１の向きは、ユーザの指８０４の方向と一致すると考えられる。したがって、方向決定部９０３は、操作装置２１の向きが「正しい向き」であると決定する場合（Ｓ１３０６）とは反対に、操作装置２１の向きが「逆向き」であると決定する（Ｓ１３０８）。そして、方向決定部９０３は、カーソル位置決定部９０４に、決定した操作装置２１の向きを渡し、本処理を終了する。
一方、軌跡の形状が「下に凸」でない場合（Ｓ１３０７でＮＯ）、両タッチパッドの軌跡の形状が一致しない場合（Ｓ１３０４でＮＯ）などと同様に、方向決定部９０３は、操作装置２１の向きが「方向不定」であると決定する（Ｓ１３０９）。
以上で、方向決定部９０３での方向決定処理フローについての説明を終了する。
次に、図１４、図１５Ａおよび図１５Ｂを用いて、図１３に示された右タッチパッドの軌跡形状決定処理（Ｓ１３０１）および左タッチパッドの軌跡形状決定処理（Ｓ１３０２）のフローについて説明する。
まず、方向決定部９０３は、タッチ情報テーブル１１００から読み出したタッチ情報１０００の有無を確認する（Ｓ１４０１）。
ここで、読み出したタッチ情報１０００が存在しない場合（Ｓ１４０１でＮＯ）、方向決定部９０３は、本処理を終了する。
一方、読み出したタッチ情報１０００が存在する場合（Ｓ１４０１でＹＥＳ）、方向決定部９０３は、前段の処理（Ｓ１４０１）で読み出したタッチ情報１０００について、軌跡上の２点の位置情報１００３を結ぶ線分の傾きΔを計算する（Ｓ１４０２）。
傾きΔは、時系列で隣接する２点Ａ、Ｂの位置情報をＡ（ｘａ、ｙａ）、Ｂ（ｘｂ、ｙｂ）とした場合、（傾きΔ）＝（ｙｂ−ｙａ）÷（ｘｂ−ｘａ）で計算される。但し、このとき、（ｙｂ−ｙａ）と（ｘｂ−ｘａ）の符号が考慮され、計算された傾きΔと関連づけて保持される。このようにして、方向決定部９０３は、読み出した全てのタッチ情報１０００について、傾きΔを計算する。
次に、方向決定部９０３は、前段の処理（Ｓ１４０２）で計算した傾きΔについて、時系列で隣接する２つの傾きΔの変化度δを計算する（Ｓ１４０３）。変化度δは、時系列で隣接する２つの傾きΔをΔＡ、ΔＢとした場合、（変化度δ）＝ΔＢ−ΔＡで計算される。方向決定部９０３は、前段の処理（Ｓ１４０２）で計算した全ての傾きΔについて、変化度δを計算する。
次に、方向決定部９０３は、位置情報１００３と、傾きΔと、変化度δとから、軌跡の形状を決定する（Ｓ１４０４）。この処理について、図１５Ａおよび図１５Ｂを用いて詳細に説明する。
図１５Ａおよび図１５Ｂは、傾きΔと変化度δとから軌跡の形状を決定し、さらに、軌跡の形状からユーザの指の向きを推定することにより、結果として、操作装置２１の向きを決定する方法を示した図である。操作装置２１の向きは、「正しい向き」、「逆向き」の２パターンがある。図１５Ａは「正しい向き」を、図１５Ｂは「逆向き」を示している。
方向決定部９０３は、図１４で示した方向決定処理フローの傾きΔを計算する処理（Ｓ１４０２）で計算した傾きΔの値の正負を判別する。また、方向決定部９０３は、傾きΔを計算する際のｘ座標の差分「Δｘ」とｙ座標の差分「Δｙ」との正負を判別する。また、方向決定部９０３は、変化度δを計算する処理（Ｓ１４０３）において計算した変化度δの値の正負を判別する。
図１５Ａおよび図１５Ｂでは、それぞれ、これらの正負の判別結果が表で表されており、正が「＋」、負が「−」で示されている。当該表中では示されていないが、傾きΔまたは変化度δが０の場合は、「±」によって表される特別な状態として考慮されてもよい。また、当該表中では示されていないが、傾きΔが無限大となる場合、および、Δｘが０となることにより傾きΔが計算できない場合なども考えられる。これらの場合も軌跡の形状の特徴として考慮されてもよい。
図１５Ａの場合、傾きΔが「＋」から「−」に変化し、変化度δが全て「−」である。方向決定部９０３は、ΔｘおよびΔｙの値も考慮して、軌跡は「上に凸」の形状であると決定する。
図１５Ｂの場合、傾きΔが「−」から「＋」に変化し、かつ変化度δが全て「＋」である。方向決定部９０３は、ΔｘおよびΔｙの値も考慮して、軌跡は「下に凸」の形状であると決定する。
図１５Ａと図１５Ｂのどちらの場合にも該当しない場合、方向決定部９０３は、軌跡の形状を決定できない。そのため、方向決定部９０３は、軌跡の形状を「形状不定」であると決定する。例えば、方向決定部９０３が軌跡の形状を決定できない場合として、軌跡に含まれる位置情報１００３の数が少なかったりする場合などが考えられる。
なお、方向決定部９０３は、計算した傾きΔと変化度δとの変化の組み合わせが、図１５Ａと図１５Ｂのどちらの場合にも該当しない場合、図１５Ａと図１５Ｂのどちらのパターンに最も近いかを判定してもよい。これにより、方向決定部９０３は、軌跡の形状を図１５Ａまたは図１５Ｂに決定してもよい。
以上で、図１３における右タッチパッドの軌跡形状決定処理（Ｓ１３０１）および左タッチパッドの軌跡形状決定処理（Ｓ１３０２）についての説明を終了する。
以上で、実施の形態２における画面表示装置２の処理フローの説明を終了する。
上述のような構成によれば、画面表示装置２のタッチ情報蓄積部９０２が、タッチ情報検出部９０１で検出した右タッチパッド８０２と左タッチパッド８０３の２面のタッチパッドにおけるタッチ情報１０００を蓄積する。そして、方向決定部９０３は、タッチ情報１０００に含まれる位置情報１００３から、右タッチパッド８０２と左タッチパッド８０３との両方の軌跡の形状を用いて操作装置２１の向きを決定する。
カーソル位置決定部９０４は、操作装置２１の向きに応じて、タッチ情報検出部９０１から受け取るタッチ情報１０００に含まれる位置情報１００３を適切に補正した上で、カーソル８０６の表示位置を決定する。
したがって、ユーザが操作装置２１をどの向きに保持しても、画面表示装置２は、ユーザによる右タッチパッド８０２ならびに左タッチパッド８０３への入力のみに基づいて、操作装置２１の向きを適切かつ自動的に決定して、正しい位置にカーソル８０６を表示することができる。したがって、画面表示装置２は、ユーザの快適な操作性を実現することができる。
（実施の形態３）
実施の形態３では、２つのタッチパッドを備える画面表示装置が、さらに、ユーザが操作装置のどの部分を把持しているかを検出するためのセンサーを備える。
これにより、実施の形態３の画面表示装置は、図８に示した実施の形態２のリモコンの把持方向（以降、「横持ち」とも記す）に加え、図１６に示すリモコンの把持方向（以降、「縦持ち」とも記す）も対応できる。そして、実施の形態３の画面表示装置は、画面表示装置のタッチパッド上でのユーザの入力を利用して、横持ちと縦持ちの両方の持ち方（把持方向）において操作装置の向きを認識することにより、操作装置の把持方向と向きとに基づいて画面上でのカーソルの表示位置を補正する。
図１６は、実施の形態３における画面表示装置の概略図である。図１６において、図８と同一の構成要素については同一の符号を用い、説明を省略する。図１６に示された画面表示装置３は、ユーザからの入力を受け付け、画面８０５にカーソル８０６を表示する。
リモコン１６０１には、図８で示したリモコン８０１と比較して、ユーザの指の接触位置を検知するための１以上のセンサーがリモコン１６０１の外周部に配置されている。これにより、画面表示装置３は、ユーザがリモコン１６０１を横方向（図８で示したリモコン８０１の方向）で持っているか、あるいは、縦方向（図１６で示すリモコン１６０１の方向）で持っているかを自動的に検出可能になる。
そのため、ユーザは、リモコン１６０１を横方向または縦方向に自由に持つことができる。なお、このようなユーザの指の接触を検知するためのセンサー（タッチセンサー、把持センサーおよび圧力センサーなど）は公知技術であるため、ここでは詳細な説明を省略する。
図１７は、図１６に示された実施の形態３における画面表示装置３の構成図である。図１７において、図９と同一の構成要素については同一の符号を用い、説明を省略する。
図１７に示された画面表示装置３は、センサー１７０１と、センサー情報検出部１７０２と、方向決定部１７０３と、カーソル位置決定部１７０４と、右タッチパッド８０２と、左タッチパッド８０３と、タッチ情報検出部９０１と、タッチ情報蓄積部９０２と、画面データ生成部９０５と、表示部９０６とを備える。
図１７に示された操作装置３１は、リモコン１６０１などによって実現され、センサー１７０１と、右タッチパッド８０２と、左タッチパッド８０３とを備える。また、表示制御装置３０は、センサー情報検出部１７０２と、方向決定部１７０３と、カーソル位置決定部１７０４と、タッチ情報検出部９０１と、タッチ情報蓄積部９０２と、画面データ生成部９０５とを備える。
表示制御装置３０は、操作装置３１から信号を受け、画面８０５に表示させるための画面データを生成する。なお、表示制御装置３０は、操作装置３１または表示部９０６に組み込まれていてもよい。また、ここでは、タッチ情報検出部９０１は、表示制御装置３０に含まれるが、操作装置３１に含まれてもよい。
センサー１７０１は、ユーザの指の接触を検知するためのタッチセンサーである。操作装置３１の外周部には１以上のタッチセンサーが配置される。
センサー情報検出部１７０２は、センサー１７０１からのユーザの指の接触などの検出を示す信号を検知する。そして、操作装置３１の外周部などに配置したセンサー１７０１の位置を鑑みて、ユーザが操作装置３１を横方向に把持、つまり、「横持ち」しているか、および、縦方向に把持、つまり、「縦持ち」しているかのどちらであるかを、操作装置３１の把持方向として検出する。
センサー情報検出部１７０２は、方向決定部１７０３からの要求に応じて、あるいは、センサー情報検出部１７０２のセンサー情報の検出状況に応じて、検出した操作装置３１の把持方向を方向決定部１７０３に通知する。
方向決定部１７０３は、センサー情報検出部１７０２で検出される、ユーザによる操作装置３１の把持位置と、タッチ情報蓄積部９０２で蓄積されるタッチ情報とに基づいて、操作装置３１の向きを決定する手段である。具体的には、方向決定部１７０３は、センサー情報検出部１７０２で検出される把持位置から操作装置３１が横持ちおよび縦持ちのどちらの把持方向であるかを判別した上で、所定のアルゴリズムに基づいてタッチ情報を解析する。これにより、方向決定部１７０３は、操作装置３１がどちらの方向を向いているかを決定する。
なお、以下、これに限られるものではないが、基本的には、方向決定部１７０３は、ユーザが自然にタッチパッドを触る操作によって得られたタッチ情報を用いて、操作装置３１の向きを決定することができる。このようなタッチ情報は、ユーザが操作装置３１を保持し始めた時点、アプリケーションの切替え時、および、同一アプリケーション内で操作装置３１の保持方向が変わる時などにおいて、得られる。
カーソル位置決定部１７０４は、方向決定部１７０３から受け取る操作装置３１の把持方向と、方向決定部１７０３で決定した操作装置３１の向きと、タッチ情報検出部９０１で検出したタッチ情報とから、画面８０５上に表示するカーソル８０６の位置を計算する手段である。
カーソル位置決定部１７０４は、操作装置３１の把持方向（横持ち、または、縦持ち）に基づいてタッチ情報に含まれる位置情報の値を変換（座標変換）する。
そして、カーソル位置決定部１７０４は、方向決定部１７０３でユーザが操作装置３１を「正しい向き」に保持していないと判断された場合、タッチ情報に含まれる位置情報の値を変換（座標変換）する。これにより、カーソル位置決定部１７０４は、ユーザが操作装置３１を「正しい向き」に保持している場合と同等のカーソル８０６の動きとなるように、位置情報を補正する。一方、ユーザが操作装置３１を「正しい向き」に保持していると方向決定部１７０３によって判断された場合、カーソル位置決定部１７０４は位置情報の補正を行わない。
ここで、操作装置３１の把持方向（横持ち、または、縦持ち）に基づいた位置情報の変換とは、基準として設定された把持方向の座標系に位置情報を変換する処理のことである。例えば、操作装置３１が縦持ちされていること（図１６に示すリモコン１６０１の把持方向）を基準として右タッチパッド８０２と左タッチパッド８０３の座標系が固定で設定されている場合であって、操作装置３１が横持ちされた場合、位置情報は変換される。
この場合、カーソル位置決定部１７０４は、基準として設定された把持方向の座標系に対応させるため、右タッチパッド８０２と左タッチパッド８０３の座標系を左に９０°回転させる。すなわち、カーソル位置決定部１７０４は、右タッチパッド８０２および左タッチパッド８０３のそれぞれの座標系の中心座標を回転の中心として、位置情報を左に９０°回転させる。
また、カーソル位置決定部１７０４は、タッチ情報検出部９０１から受け取った位置情報、または、当該手段で補正した後の位置情報を用いて、画面８０５上でのカーソル８０６の表示位置（カーソル位置）を決定する。
以上で、実施の形態３における画面表示装置３の構成についての説明を終了する。
次に、図１８から図２０を用いて、図１７に示された実施の形態３における画面表示装置３の処理フローについて説明する。
図１８は、図１７に示された実施の形態３における画面表示装置３の全体処理フローである。
まず、画面表示装置３のタッチ情報検出部９０１は、図１７に図示しない指示部からの指示に基づき、右タッチパッド８０２または左タッチパッド８０３への入力の検出を継続するか否かを確認する（Ｓ１８０１）。
ここで、タッチ情報検出部９０１が右タッチパッド８０２または左タッチパッド８０３への入力の検出を中断するよう指示されている場合（Ｓ１８０１でＮＯ）、画面表示装置３は、処理を終了する。
一方、タッチ情報検出部９０１が右タッチパッド８０２または左タッチパッド８０３への入力の検出を継続するよう指示されている場合（Ｓ１８０１でＹＥＳ）、タッチ情報検出部９０１は、右タッチパッド８０２または左タッチパッド８０３への入力の有無を確認する。これにより、タッチ情報検出部９０１は、図１０に示したタッチ情報１０００の有無を検出する（Ｓ１８０２）。
ここで、タッチ情報検出部９０１は、「タッチ情報無し」と検出した場合（Ｓ１８０２でＮＯ）、再度、入力の検出を継続するか否かを確認する（Ｓ１８０１）。
一方、タッチ情報検出部９０１は、「タッチ情報有り」と検出した場合（Ｓ１８０２でＹＥＳ）は、タッチ情報蓄積部９０２にタッチ情報１０００を蓄積させる（Ｓ１８０３）。より具体的には、タッチ情報検出部９０１は、図１１で示したタッチ情報テーブル１１００にタッチ情報１０００を追加する。また、タッチ情報検出部９０１は、画面上でのカーソルの表示のため、検出したタッチ情報１０００をカーソル位置決定部１７０４にも渡す。
次に、カーソル位置決定部１７０４は、タッチ情報検出部９０１からタッチ情報１０００を受け取る。そして、カーソル位置決定部１７０４は、タッチ情報１０００に含まれる位置情報１００３を補正する必要があるか否かを決定する。そのため、カーソル位置決定部１７０４は、方向決定部１７０３に対して、操作装置３１の向きを問い合わせる（Ｓ１８０４）。
次に、方向決定部１７０３は、カーソル位置決定部１７０４からの問い合わせを受け取る。そして、方向決定部１７０３は、タッチ情報蓄積部９０２のタッチ情報テーブル１１００にアクセスして、タッチ情報１０００を読み出す（Ｓ１８０５）。このとき、方向決定部１７０３は、事前に方向決定部１７０３に設定された所定時間分のタッチ情報１０００あるいは所定量のタッチ情報１０００を読み出す。
なお、タッチ情報蓄積部９０２は、タッチ情報検出部９０１から所定の時間間隔で受け取ったタッチ情報１０００を順次蓄積する。したがって、計算により所定時間分のタッチ情報の量が求められる。
また、タッチ情報蓄積部９０２は、タッチ情報１０００を読み出す際、一旦読み出したタッチ情報１０００を方向決定部１７０３の内部などに保持させておいてもよい。そして、タッチ情報蓄積部９０２は、新たに必要となる差分のタッチ情報１０００のみを読み出してもよい。これにより、以降に読み出されるタッチ情報１０００の量が削減される。
次に、方向決定部１７０３は、センサー情報検出部１７０２にセンサー情報の有無を問い合わせる。そして、センサー情報検出部１７０２は、センサー１７０１で検出した信号の有無を確認する（Ｓ１８０６）。
ここで、センサー情報検出部１７０２は、センサー情報を検出した場合（Ｓ１８０６でＹＥＳ）、センサー情報を取得（Ｓ１８０７）し、ユーザが操作装置３１のどの部分を把持しているかを検出する。
例えば、タッチセンサーであるセンサー１７０１が、操作装置３１において、２つの長辺側の側面と２つの短辺側の側面との４辺に配置されていてもよい。そして、センサー情報検出部１７０２が２つの短辺側の側面のセンサー１７０１での接触を検出した場合、操作装置３１は「横持ち」されていると認識される。そして、センサー情報検出部１７０２が長辺側の側面のどちらかのセンサー１７０１での接触を検出した場合、操作装置３１は「縦持ち」されていると認識される。
その後、センサー情報検出部１７０２は、「横持ち」または「縦持ち」を把持方向として方向決定部１７０３に渡す。
次に、方向決定部１７０３は、センサー情報検出部１７０２から受け取った把持方向から、操作装置３１が「横持ち」されているかどうかを確認する（Ｓ１８０８）。
そして、操作装置３１が「横持ち」されている場合（Ｓ１８０８でＹＥＳ）、「横持ち」時における操作装置３１の向きを決定する（Ｓ１８０９：横持ち時方向決定処理）。この場合、方向決定部１７０３は、タッチ情報の読み出し処理（Ｓ１８０５）で読み出したタッチ情報１０００を用いて、操作装置３１の向きを決定する。また、センサー情報検出部１７０２がセンサー情報を検出しなかった場合（Ｓ１８０６でＮＯ）も、方向決定部１７０３は、「横持ち」時における操作装置３１の向きを決定する。
その後、方向決定部１７０３は、決定した操作装置３１の向きをカーソル位置決定部１７０４に渡す。この横持ち時方向決定処理については、後で図１９を用いて詳細に説明する。
一方、操作装置３１が「縦持ち」されている場合（Ｓ１８０８でＮＯ）、方向決定部１７０３は、「縦持ち」時における操作装置３１の向きを決定する（Ｓ１８１０：縦持ち時方向決定処理）。この場合、方向決定部１７０３は、タッチ情報の読み出し処理（Ｓ１８０５）で読み出したタッチ情報１０００を用いて、操作装置３１の向きを決定する。
その後、方向決定部１７０３は、決定した操作装置３１の向きをカーソル位置決定部１７０４に渡す。この縦持ち時方向決定処理については、後で図２０を用いて詳細に説明する。
カーソル位置決定部１７０４は、方向決定部１７０３から操作装置３１の向きを受け取る。そして、カーソル位置決定部１７０４は、操作装置３１の向きが「正しい向き」であるか否かを判定する（Ｓ１８１１）。
ここで、操作装置３１の向きが「正しい向き」である場合（Ｓ１８１１でＹＥＳ）、カーソル位置決定部１７０４は、画面上でのカーソルの位置を決定する処理（Ｓ１８１３）を実行する。
一方、操作装置３１の向きが「正しい向き」以外である場合（Ｓ１８１１でＮＯ）、カーソル位置決定部１７０４は、タッチ情報検出部９０１から受け取ったタッチ情報１０００の位置情報１００３を補正する（Ｓ１８１２：位置情報補正処理）。この場合、カーソル位置決定部１７０４は、操作装置３１の向きに基づいて、位置情報１００３を、操作装置３１の向きが「正しい向き」である場合と同等の位置にカーソルが表示されるように補正する。この位置情報補正処理については、実施の形態１と同様である。
次に、カーソル位置決定部１７０４は、タッチ情報検出部９０１から受け取ったタッチ情報１０００の位置情報１００３または補正された位置情報１００３を用いて、画面上でのカーソル位置を決定する（Ｓ１８１３）。
具体的には、カーソル位置決定部１７０４は、右タッチパッド８０２の座標系の最小値と最大値と、画面表示上の座標系における最小値と最大値とから、右タッチパッド８０２の座標系と画面表示上の座標系との拡大比を取得する。また、カーソル位置決定部１７０４は、左タッチパッド８０３の座標系の最小値と最大値と、画面表示上の座標系における最小値と最大値とから、左タッチパッド８０３の座標系と画面表示上の座標系との拡大比を取得する。これにより、カーソル位置決定部１７０４は、画面上でのカーソル位置を決定する。
すなわち、カーソル位置決定部１７０４は、位置情報のｘ座標とｙ座標とのそれぞれについて、（画面表示上の右タッチパッド８０２のカーソル位置）＝（右タッチパッド８０２上のカーソル位置）×｛（画面表示上の座標系の最大値）−（画面表示上の座標系の最小値）｝÷｛（右タッチパッド８０２上の座標系の最大値）−（右タッチパッド８０２上の座標系の最小値）｝により、右タッチパッド８０２に対応するカーソル位置を決定する。
同様に、カーソル位置決定部１７０４は、（画面表示上の左タッチパッド８０３のカーソル位置）＝（左タッチパッド８０３上のカーソル位置）×｛（画面表示上の座標系の最大値）−（画面表示上の座標系の最小値）｝÷｛（左タッチパッド８０３上の座標系の最大値）−（左タッチパッド８０３上の座標系の最小値）｝により、左タッチパッド８０３に対応するカーソル位置を決定する。
その後、カーソル位置決定部１７０４は、決定したカーソル位置のｘ座標とｙ座標とを、画面データ生成部９０５に渡す。
なお、右タッチパッド８０２と左タッチパッド８０３とで画面表示上の座標系が異なるように割り当てられてもよい。この場合、上記の計算において、「画面表示上の座標系の最大値」と「画面表示上の座標系の最小値」とが、右タッチパッド８０２と左タッチパッド８０３とのそれぞれに設けられる。これにより、それぞれのカーソル位置が決定される。
画面データ生成部９０５は、カーソル位置決定部１７０４から受け取ったカーソル位置に基づいて、表示部９０６で表示すべき映像およびアニメーション等にカーソル画像を重畳して、画面データを生成する（Ｓ１８１４）。その後、画面データ生成部９０５は、生成した画面データを表示部９０６に渡す。
表示部９０６は、画面データ生成部９０５から受け取った画面データを画面等に表示する（Ｓ１８１５）。本処理の終了後、タッチ情報検出部９０１は、再度、入力の検出を継続するか否かを確認する（Ｓ１８０１）。
以上で、図１８に示す画面表示装置３の全体処理フローについての説明を終了する。
次に、図１９を用いて、図１８に示された横持ち時方向決定処理（Ｓ１８０９）のフローについて説明する。以降、図１８に示されたタッチ情報の読み出し処理（Ｓ１８０５）において読み出したタッチ情報１０００に含まれる位置情報１００３を時系列に並べ、隣接する２点の位置情報を線分で結んだものを「軌跡」と記す。
まず、方向決定部１７０３は、右タッチパッド８０２に関してタッチ情報テーブル１１００から読み出したタッチ情報１０００の軌跡形状決定処理を実行する（Ｓ１９０１）。この軌跡形状決定処理については、後で図２１を用いて詳細に説明する。
次に、方向決定部１７０３は、左タッチパッド８０３に関してタッチ情報テーブル１１００から読み出したタッチ情報１０００の軌跡形状決定処理を実行する（Ｓ１９０２）。この軌跡形状決定処理は、右タッチパッドの軌跡形状決定処理（Ｓ１９０１）と同一である。
次に、方向決定部１７０３は、右タッチパッドの軌跡形状決定処理（Ｓ１９０１）および左タッチパッドの軌跡形状決定処理（Ｓ１９０２）の処理結果から、右タッチパッド８０２に関するタッチ情報１０００と左タッチパッド８０３に関するタッチ情報１０００との両方が有ることを確認する（Ｓ１９０３）。
ここで、右タッチパッド８０２に関するタッチ情報１０００と左タッチパッド８０３に関するタッチ情報１０００との両方が有る場合（Ｓ１９０３でＹＥＳ）、方向決定部１７０３は、両方の軌跡の形状が一致するか否かを確認する（Ｓ１９０４）。すなわち、方向決定部１７０３は、右タッチパッドの軌跡形状決定処理（Ｓ１９０１）および左タッチパッドの軌跡形状決定処理（Ｓ１９０２）の処理結果から、右タッチパッド８０２の軌跡の形状と左タッチパッド８０３の軌跡の形状とが一致するか否かを確認する。
具体的には、方向決定部１７０３は、右タッチパッド８０２の軌跡の形状と左タッチパッド８０３の軌跡の形状が、両方とも「上に凸」であるか、または、両方とも「下に凸」であるかを確認する。
一方、右タッチパッド８０２に関するタッチ情報１０００が無い場合、または、左タッチパッド８０３に関するタッチ情報１０００が無い場合（Ｓ１９０３でＮＯ）、方向決定部１７０３は、右タッチパッドの軌跡形状決定処理（Ｓ１９０１）および左タッチパッドの軌跡形状決定処理（Ｓ１９０２）の処理結果から、右タッチパッド８０２に関するタッチ情報１０００および左タッチパッド８０３に関するタッチ情報１０００のどちらか一方が有ることを確認する（Ｓ１９１０）。
なお、ここでは、右タッチパッド８０２および左タッチパッド８０３のどちらかに関するタッチ情報１０００が検知された場合、方向決定部１７０３が軌跡の形状を用いた方向決定処理を実行する例が示されている。しかし、右タッチパッド８０２と左タッチパッド８０３の両方に関するタッチ情報１０００が検知された場合のみ、方向決定部１７０３が方向決定処理を実行してもよい。この場合、本処理（Ｓ１９１０）は省略できる。
そして、右タッチパッド８０２の軌跡の形状と左タッチパッド８０３の軌跡の形状とが一致しない場合（Ｓ１９０４でＮＯ）、方向決定部１７０３は、操作装置３１の向きは「方向不定」であると決定する（Ｓ１９０９）。また、右タッチパッド８０２に関するタッチ情報１０００と左タッチパッド８０３に関するタッチ情報１０００との両方が無い場合（Ｓ１９１０でＮＯ）も、方向決定部１７０３は、操作装置３１の向きは「方向不定」であると決定する。
なお、この場合、方向決定部１７０３は、操作装置３１の向きが、デフォルトの向きとして「正しい向き」であると決定してもよい。このデフォルトの向きは、出荷時などに予め画面表示装置３にデフォルト値として設定されている向きでもよいし、ユーザが予めデフォルト値として設定している向きでもよい。
一方、右タッチパッド８０２の軌跡の形状と左タッチパッド８０３の軌跡の形状とが一致する場合（Ｓ１９０４でＹＥＳ）、方向決定部１７０３は、前段の処理で確認した軌跡の形状が「上に凸」であるか否かを確認する（Ｓ１９０５）。また、右タッチパッド８０２に関するタッチ情報１０００および左タッチパッド８０３に関するタッチ情報１０００のどちらか一方が有る場合（Ｓ１９１０でＹＥＳ）も、方向決定部１７０３は、軌跡の形状が「上に凸」であるか否かを確認する。
ここで、軌跡の形状が「上に凸」である場合（Ｓ１９０５でＹＥＳ）、方向決定部１７０３は、人の指の構造上の特徴などを鑑みて、ユーザの指８０４の向きが右タッチパッド８０２および左タッチパッド８０３の上方向であると判断する。すなわち、方向決定部１７０３は、ユーザの指８０４の向きが右タッチパッド８０２の座標系および左タッチパッド８０３の座標系と同一方向であると判断する。
また、ユーザの意図する操作装置３１の向きは、ユーザの指８０４の方向と一致すると考えられる。したがって、方向決定部１７０３は、操作装置３１の向きが「正しい向き」であると決定する（Ｓ１９０６）。方向決定部１７０３は、カーソル位置決定部１７０４に、決定した操作装置３１の向きを渡し、本処理を終了する。
一方、軌跡の形状が「上に凸」でない場合（Ｓ１９０５でＮＯ）、方向決定部１７０３は、前段の処理で確認した軌跡の形状が「下に凸」であるか否かを確認する（Ｓ１９０７）。
ここで、軌跡の形状が「下に凸」である場合（Ｓ１９０７でＹＥＳ）、方向決定部１７０３は、人の指の構造上の特徴などを鑑みて、ユーザの指８０４の向きは、右タッチパッド８０２および左タッチパッド８０３の下方向であると判断する。すなわち、方向決定部１７０３は、ユーザの指８０４の向きが、右タッチパッド８０２の座標系および左タッチパッド８０３の座標系と上下反対方向、あるいは、右または左にそれぞれ１８０°回転させた方向であると判断する。
また、ユーザの意図する操作装置３１の向きは、ユーザの指８０４の方向と一致すると考えられる。したがって、方向決定部１７０３は、操作装置３１の向きが「正しい向き」であると決定する場合（Ｓ１９０６）とは反対に、操作装置３１の向きが「逆向き」であると決定する（Ｓ１９０８）。方向決定部１７０３は、カーソル位置決定部１７０４に、決定した操作装置３１の向きを渡し、本処理を終了する。
一方、軌跡の形状が「下に凸」でない場合（Ｓ１９０７でＮＯ）、両タッチパッドの軌跡の形状が一致しない場合（Ｓ１９０４でＮＯ）などと同様に、方向決定部１７０３は、操作装置３１の向きが「方向不定」であると決定する（Ｓ１９０９）。
以上で、方向決定部１７０３での横持ち時方向決定処理フローについての説明を終了する。
次に、図２０を用いて、図１８に示された縦持ち時方向決定処理（Ｓ１８１０）のフローについて説明する。
まず、方向決定部１７０３は、右タッチパッド８０２に関してタッチ情報テーブル１１００から読み出したタッチ情報１０００の軌跡形状決定処理を実行する（Ｓ２００１）。この軌跡形状決定処理については、後で図２１を用いて詳細に説明する。
次に、方向決定部１７０３は、左タッチパッド８０３に関してタッチ情報テーブル１１００から読み出したタッチ情報１０００の軌跡形状決定処理を実行する（Ｓ２００２）。この軌跡形状決定処理は、右タッチパッドの軌跡形状決定処理（Ｓ２００１）と同様である。
次に、方向決定部１７０３は、右タッチパッドの軌跡形状決定処理（Ｓ２００１）および左タッチパッドの軌跡形状決定処理（Ｓ２００２）の処理結果から、右タッチパッド８０２に関するタッチ情報１０００と左タッチパッド８０３に関するタッチ情報１０００との少なくともどちらか一方が有ることを確認する（Ｓ２００３）。
ここで、右タッチパッド８０２に関するタッチ情報１０００と左タッチパッド８０３に関するタッチ情報１０００との両方が無い場合（Ｓ２００３でＮＯ）、方向決定部１７０３は、操作装置３１の向きは「方向不定」であると決定する（Ｓ２００８）。
なお、この場合、方向決定部１７０３は、操作装置３１の向きが、デフォルトの向きとして「正しい向き」であると決定してもよい。このデフォルトの向きは、出荷時などに予め画面表示装置３にデフォルト値として設定されている向きでもよいし、ユーザが予めデフォルト値として設定している向きでもよい。
一方、右タッチパッド８０２に関するタッチ情報１０００と左タッチパッド８０３に関するタッチ情報１０００との少なくともどちらか一方が有る場合（Ｓ２００３でＹＥＳ）、方向決定部１７０３は、前段の処理で確認した軌跡の形状が「上に凸」であるか否かを確認する（Ｓ２００４）。なお、右タッチパッド８０２に関するタッチ情報１０００と左タッチパッド８０３に関するタッチ情報１０００との両方が存在する場合には、方向決定部１７０３は、タッチ情報蓄積部９０２から取得したタッチ情報１０００のデータ数が多い方のタッチパッドに関するタッチ情報１０００を用いてもよい。
ここで、方向決定部１７０３は、タッチパッド軌跡の形状が「上に凸」である場合（Ｓ２００４でＹＥＳ）、方向決定部１７０３は、人の指の構造上の特徴などを鑑みて、ユーザの指８０４の向きは、画面表示装置３を縦持ちした場合の上方向であると判断する。なお、本実施の形態では、右タッチパッド８０２側を前方向に向けて把持する方向に、右タッチパッド８０２の座標系および左タッチパッド８０３の座標系が定められている。
ユーザの意図する操作装置３１の向きは、ユーザの指８０４の方向と一致すると考えられる。したがって、方向決定部１７０３は、操作装置３１の向きが「正しい向き」であると決定する（Ｓ２００５）。方向決定部１７０３は、カーソル位置決定部１７０４に、決定した操作装置３１の向きを渡し、本処理を終了する。
軌跡の形状が「上に凸」でない場合（Ｓ２００４でＮＯ）、方向決定部１７０３は、前段の処理で確認した軌跡の形状が「下に凸」であるか否かを確認する（Ｓ２００６）。
ここで、軌跡の形状が「下に凸」である場合（Ｓ２００６でＹＥＳ）、方向決定部１７０３は、人の指の構造上の特徴などを鑑みて、ユーザの指８０４の向きは、画面表示装置３を縦持ちした場合の下方向であると判断する。
また、ユーザの意図する操作装置３１の向きは、ユーザの指８０４の方向と一致すると考えられる。したがって、方向決定部１７０３は、操作装置３１の向きが「正しい向き」であると決定する場合（Ｓ２００５）とは反対に、操作装置３１の向きが「逆向き」であると決定する（Ｓ２００７）。方向決定部１７０３は、カーソル位置決定部１７０４に、決定した操作装置３１の向きを渡し、本処理を終了する。
一方、軌跡の形状が「下に凸」でない場合（Ｓ２００６でＮＯ）、両タッチパッドのタッチ情報がない場合（Ｓ２００３でＮＯ）と同様に、方向決定部１７０３は、操作装置３１の向きが「方向不定」であると決定する（Ｓ２００８）。
以上で、方向決定部１７０３での縦持ち時方向決定処理フローについての説明を終了する。
次に、図２１、図１５Ａおよび図１５Ｂを用いて、図１９に示された右タッチパッドの軌跡形状決定処理（Ｓ１９０１）と左タッチパッドの軌跡形状決定処理（Ｓ１９０２）、および、図２０に示された右タッチパッドの軌跡形状決定処理（Ｓ２００１）と左タッチパッドの軌跡形状決定処理（Ｓ２００２）の処理フローについて説明する。
まず、方向決定部１７０３は、タッチ情報テーブル１１００から読み出したタッチ情報１０００の有無を確認する（Ｓ２１０１）。
ここで、読み出したタッチ情報１０００が存在しない場合（Ｓ２１０１でＮＯ）、方向決定部１７０３は、本処理を終了する。
一方、読み出したタッチ情報１０００が存在する場合（Ｓ２１０１でＹＥＳ）、方向決定部１７０３は、前段の処理（Ｓ２１０１）で読み出したタッチ情報１０００について、軌跡上の２点の位置情報１００３を結ぶ線分の傾きΔを計算する（Ｓ２１０２）。
傾きΔは、時系列で隣接する２点Ａ、Ｂの位置情報をＡ（ｘａ、ｙａ）、Ｂ（ｘｂ、ｙｂ）とした場合、（傾きΔ）＝（ｙｂ−ｙａ）÷（ｘｂ−ｘａ）で計算する。但し、このとき、（ｙｂ−ｙａ）と（ｘｂ−ｘａ）との符号を考慮して、計算した傾きΔと関連づけて保持する。このようにして、方向決定部１７０３は、読み出した全てのタッチ情報１０００について、傾きΔを計算する。
次に、方向決定部１７０３は、前段の処理（Ｓ２１０２）で計算した傾きΔについて、時系列で隣接する２つの傾きΔの変化度δを計算する（Ｓ２１０３）。変化度δは、時系列で隣接する２つの傾きΔをΔＡ、ΔＢとした場合、（変化度δ）＝ΔＢ−ΔＡで計算する。方向決定部１７０３は、前段の処理（Ｓ２１０２）で計算した全ての傾きΔについて、変化度δを計算する。
次に、方向決定部１７０３は、位置情報１００３と、傾きΔと、変化度δとから、軌跡の形状を決定する（Ｓ２１０４）。この処理について、実施の形態２における説明で用いた図１５Ａおよび図１５Ｂを再び用いて説明する。
図１５Ａおよび図１５Ｂは、傾きΔと変化度δとから軌跡の形状を決定し、さらに、軌跡の形状からユーザの指の向きを推定することにより、結果として、操作装置３１の向きを決定する方法を示した図である。操作装置３１の向きは、「正しい向き」、「逆向き」の２パターンがあり、図１５Ａは「正しい向き」を、図１５Ｂが「逆向き」を示している。
方向決定部１７０３は、図２１で示した方向決定処理フローの傾きΔを計算する処理（Ｓ２１０２）で計算した傾きΔの値の正負、傾きΔを計算する際のｘ座標の差分「Δｘ」とｙ座標の差分「Δｙ」、および、変化度δを計算する処理（Ｓ２１０３）において計算した変化度δの値の正負を判別する。
図１５Ａおよび図１５Ｂでは、それぞれ、これらの正負の判別結果が表で表されており、正が「＋」、負が「−」で示されている。当該表中では示されていないが、傾きΔまたは変化度δが０の場合は、「±」によって表される特別な状態として考慮されてもよい。また、当該表中では示されていないが、傾きΔが無限大となる場合、および、Δｘが０となることにより傾きΔが計算できない場合なども考えられる。これらの場合も、軌跡の形状の特徴として考慮されてもよい。
図１５Ａの場合、傾きΔが「＋」から「−」に変化し、変化度δが全て「−」である。方向決定部１７０３は、ΔｘおよびΔｙの値も考慮して、軌跡は「上に凸」の形状であると決定する。
図１５Ｂの場合、傾きΔが「−」から「＋」に変化し、かつ変化度δが全て「＋」である。方向決定部１７０３は、ΔｘおよびΔｙの値も考慮して、軌跡は「下に凸」の形状であると決定する。
図１５Ａと図１５Ｂのどちらの場合にも該当しない場合、方向決定部１７０３は、軌跡の形状が決定できない。そのため、方向決定部１７０３は、軌跡の形状を「形状不定」であると決定する。例えば、方向決定部１７０３が軌跡の形状を決定できない場合として、軌跡に含まれる位置情報１００３の数が少なかったりする場合などが考えられる。
なお、方向決定部１７０３は、計算した傾きΔと変化度δとの変化の組み合わせが、図１５Ａと図１５Ｂのどちらの場合にも該当しない場合、図１５Ａと図１５Ｂのどちらのパターンに最も近いかを判定してもよい。これにより、方向決定部１７０３は、軌跡の形状を図１５Ａまたは図１５Ｂに決定してもよい。
以上で、図１９に示された右タッチパッドの軌跡形状決定処理（Ｓ１９０１）と左タッチパッドの軌跡形状決定処理（Ｓ１９０２）、および、図２０に示された右タッチパッドの軌跡形状決定処理（Ｓ２００１）と左タッチパッドの軌跡形状決定処理（Ｓ２００２）についての説明を終了する。
以上で、実施の形態３における画面表示装置３の処理フローの説明を終了する。
上述のような構成によれば、画面表示装置３がセンサー１７０１からのセンサー情報をセンサー情報検出部１７０２で検出することによって、操作装置３１の把持方向を認識する。そして、タッチ情報蓄積部９０２が、タッチ情報検出部９０１で検出した右タッチパッド８０２と左タッチパッド８０３の２面のタッチパッドにおけるタッチ情報１０００を蓄積する。
センサー情報検出部１７０２での把持方向の認識結果とタッチ情報１０００に含まれる位置情報１００３とから、方向決定部１７０３が、右タッチパッド８０２と左タッチパッド８０３との両方または片方の軌跡の形状を用いて操作装置３１の向きを決定する。カーソル位置決定部１７０４は、操作装置３１の把持方向と向きとに応じて、タッチ情報検出部９０１から受け取るタッチ情報１０００に含まれる位置情報１００３を適切に補正した上で、カーソル８０６の表示位置を決定している。
したがって、画面表示装置３は、横持ちと縦持ちの両方の持ち方において、ユーザが操作装置３１をどの向きに保持しても、ユーザによる右タッチパッド８０２ならびに左タッチパッド８０３への入力のみに基づいて、操作装置３１の向きを適切かつ自動的に決定して、正しい位置にカーソル８０６を表示することができる。これにより、ユーザの快適な操作性を実現することができる。
（実施の形態４）
実施の形態４に係る画面表示装置は、２つのタッチパッドと、ユーザに操作装置のどの部分が把持されているかを検出するためのセンサーと、操作装置の重力方向を検出するためのセンサーとを備える。そして、画面表示装置は、画面表示装置のタッチパッド上でのユーザの入力とセンサーでの把持方向の検知結果を利用して操作装置の向きを認識し、当該認識結果とセンサーでの操作装置の方向の検知結果とが一致しない場合に画面上にアラート表示を行う。
図２２は、実施の形態４における画面表示装置の構成図である。図２２において、図１７と同一の構成要素については同一の符号を用い、説明を省略する。
図２２に示された画面表示装置４は、警告データ生成部２２０１と、画面データ生成部２２０２と、カーソル位置決定部２２０３と、第１のセンサー２２０４と、第２のセンサー２２０５と、右タッチパッド８０２と、左タッチパッド８０３と、タッチ情報検出部９０１と、タッチ情報蓄積部９０２と、表示部９０６と、センサー情報検出部１７０２と、方向決定部１７０３とを備える。
図２２に示された操作装置４１は、第１のセンサー２２０４と、第２のセンサー２２０５と、右タッチパッド８０２と、左タッチパッド８０３とを備える。また、表示制御装置４０は、警告データ生成部２２０１と、画面データ生成部２２０２と、タッチ情報検出部９０１と、タッチ情報蓄積部９０２と、カーソル位置決定部２２０３と、センサー情報検出部１７０２と、方向決定部１７０３とを備える。
表示制御装置４０は、操作装置４１から信号を受け、画面に表示させるための画面データを生成する。なお、表示制御装置４０は、操作装置４１または表示部９０６に組み込まれていてもよい。また、ここでは、タッチ情報検出部９０１は、表示制御装置４０に含まれるが、操作装置４１に含まれてもよい。
警告データ生成部２２０１は、方向決定部１７０３で決定した操作装置４１の向きから、ユーザが操作装置４１を「逆向き」に保持していると判断して、ユーザに提示するためのアラートメッセージ（警告データともいう）を生成する。警告データ生成部２２０１は、右タッチパッド８０２の座標系と左タッチパッド８０３の座標系との方向が一致しない場合に、アラートメッセージを生成してもよい。
なお、ユーザにアラート等を提示（フィードバック）する方法としては、アラートメッセージのみならず、画面上のオブジェクトの色または形状を変更するなど、各種のフィードバック方法が適用できる。さらに、画面表示のみならず、音による方法も適用可能である。
画面データ生成部２２０２は、警告データ生成部２２０１で生成されたメッセージおよびカーソル位置決定部２２０３で決定したカーソルの表示位置などに基づいて、画面データを生成する手段である。
画面データ生成部２２０２は、動画ビューワまたはウェブブラウザなどのアプリケーションの画像と、カーソル画像とを重畳し、さらに、警告データ生成部２２０１からアラートメッセージを受け取った場合には、当該アラートメッセージを画面データに重畳する。これにより、画面データ生成部２２０２は、表示部９０６で表示する画面データを生成する。
カーソル位置決定部２２０３は、方向決定部１７０３から受け取る操作装置４１の把持方向と、方向決定部１７０３で決定した操作装置４１の向きと、タッチ情報検出部９０１で検出したタッチ情報とから、画面上に表示するカーソルの位置を計算する手段である。
カーソル位置決定部２２０３は、操作装置４１の把持方向（横持ち、または、縦持ち）に基づいてタッチ情報に含まれる位置情報の値を変換（座標変換）する。さらに、方向決定部１７０３でユーザが操作装置４１を「正しい向き」に保持していないと判断された場合、警告データ生成部２２０１に対して、ユーザに注意を促したり、画面表示装置４の持ち替えを促したりするためのアラートメッセージを生成するよう要求する。
ここで、操作装置４１の把持方向（横持ち、または、縦持ち）に基づいた位置情報の変換とは、基準として設定された把持方向の座標系に位置情報を変換する処理のことである。例えば、操作装置４１が縦持ちされていること（図１６に示すリモコン１６０１の把持方向）を基準として右タッチパッド８０２と左タッチパッド８０３の座標系が設定されている場合であって、操作装置４１が横持ちにされた場合、位置情報は変換される。
この場合、カーソル位置決定部２２０３は、基準として設定された把持方向の座標系に対応させるため、右タッチパッド８０２と左タッチパッド８０３の座標系を左に９０°回転させる。すなわち、カーソル位置決定部２２０３は、右タッチパッド８０２および左タッチパッド８０３のそれぞれの座標系の中心座標を回転の中心として位置情報を左に９０°回転させる。
第１のセンサー２２０４は、ユーザの指の接触を検知するためのタッチセンサーである。操作装置４１の外周部には１以上のタッチセンサーが配置される。なお、このようなユーザの指の接触を検知するためのタッチセンサーは公知技術であるため、ここでは詳細な説明を省略する。
第２のセンサー２２０５は、操作装置４１の重力方向を検知するための重力センサーであり、操作装置４１に内蔵される。なお、このような操作装置４１にかかる重力の方向を検知することで操作装置４１の天地方向の向きを認識する重力センサーは公知技術であるため、ここでは詳細な説明を省略する。
センサー情報検出部１７０２は、第１のセンサー２２０４から、ユーザが操作装置４１を保持している部分の情報である保持部分情報を検出し、第２のセンサー２２０５から、操作装置４１にかかる重力方向の情報である重力方向情報を検出する。重力方向情報には、重力方向に対する操作装置４１の傾きの情報が含まれてもよい。また、重力方向情報には、操作装置４１の上下方向の情報、すなわち、重力方向に対して操作装置４１のどの面が上側または下側かを示す情報が含まれていてもよい。
また、カーソル位置決定部２２０３は、タッチ情報検出部９０１から受け取った位置情報、または、当該手段で変換した後の位置情報を用いて、画面上でのカーソルの表示位置（カーソル位置）を決定する。
以上で、実施の形態４における画面表示装置４の構成についての説明を終了する。
次に、図２３を用いて、図２２に示された実施の形態４における画面表示装置４の全体処理フローについて説明する。なお、図２３に示された「横持ち時方向決定処理（Ｓ２３０８）」および「縦持ち時方向決定処理（Ｓ２３０９）」については、実施の形態３において図１９から図２１を用いて説明した内容と同様である。したがって、実施の形態３における図１９から図２１の説明を参照することとして、ここでは説明を省略する。ただし、実施の形態３における図１９から図２１の説明において、「画面表示装置３」は、「画面表示装置４」であり、「カーソル位置決定部１７０４」などの実施の形態３の構成要素は、「カーソル位置決定部２２０３」などの実施の形態４の構成要素である。
まず、画面表示装置４のタッチ情報検出部９０１は、図２２に図示しない指示部からの指示に基づき、右タッチパッド８０２または左タッチパッド８０３への入力の検出を継続するか否かを確認する（Ｓ２３０１）。
ここで、タッチ情報検出部９０１が右タッチパッド８０２または左タッチパッド８０３への入力の検出を中断するよう指示されている場合（Ｓ２３０１でＮＯ）、画面表示装置４は、処理を終了する。
一方、タッチ情報検出部９０１が右タッチパッド８０２または左タッチパッド８０３への入力の検出を継続するよう指示されている場合（Ｓ２３０１でＹＥＳ）、タッチ情報検出部９０１は、右タッチパッド８０２または左タッチパッド８０３への入力の有無を確認する。これにより、タッチ情報検出部９０１は、図１０に示したタッチ情報１０００の有無を検出する（Ｓ２３０２）。
ここで、タッチ情報検出部９０１は、「タッチ情報無し」と検出した場合（Ｓ２３０２でＮＯ）、再度、入力の検出を継続するか否かを確認する（Ｓ２３０１）。
一方、タッチ情報検出部９０１は、「タッチ情報有り」と検出した場合（Ｓ２３０２でＹＥＳ）、タッチ情報蓄積部９０２にタッチ情報１０００を蓄積させる（Ｓ２３０３）。より具体的には、タッチ情報検出部９０１は、図１１で示したタッチ情報テーブル１１００にタッチ情報１０００を追加する。また、タッチ情報検出部９０１は、画面上でのカーソルの表示のため、検出したタッチ情報１０００をカーソル位置決定部２２０３にも渡す。
カーソル位置決定部２２０３は、タッチ情報検出部９０１からタッチ情報１０００を受け取る。そして、タッチ情報１０００に含まれる位置情報１００３を補正する必要があるか否かを決定するため、方向決定部１７０３に対して、操作装置４１の向きを問い合わせる（Ｓ２３０４）。
方向決定部１７０３は、カーソル位置決定部２２０３からの問い合わせを受け取る。そして、方向決定部１７０３は、タッチ情報蓄積部９０２のタッチ情報テーブル１１００にアクセスして、タッチ情報１０００を読み出す（Ｓ２３０５）。このとき、方向決定部１７０３は、事前に方向決定部１７０３に設定された所定時間分のタッチ情報１０００あるいは所定量のタッチ情報１０００を読み出す。
なお、タッチ情報蓄積部９０２は、タッチ情報検出部９０１から所定の時間間隔で受け取ったタッチ情報１０００を順次蓄積する。したがって、計算により所定時間分のタッチ情報の量が求められる。
また、タッチ情報蓄積部９０２は、タッチ情報１０００を読み出す際、一旦読み出したタッチ情報１０００を方向決定部１７０３の内部などに保持させておいてもよい。そして、タッチ情報蓄積部９０２は、新たに必要となる差分のタッチ情報１０００のみを読み出してもよい。これにより、以降に読み出されるタッチ情報１０００の量が削減される。
次に、方向決定部１７０３は、センサー情報検出部１７０２に対して第１のセンサー２２０４からのセンサー情報の有無を問い合わせる。センサー情報検出部１７０２は、第１のセンサー２２０４で検出した信号の有無を確認する（Ｓ２３０６）。
ここで、センサー情報検出部１７０２は、第１のセンサー２２０４からのセンサー情報を検出した場合（Ｓ２３０６でＹＥＳ）、第１のセンサー２２０４からのセンサー情報を取得する。そして、センサー情報検出部１７０２は、ユーザが操作装置４１のどの部分を把持しているかを検出して、操作装置４１が「横持ち」されているかどうかを確認する（Ｓ２３０７）。
例えば、タッチセンサーであるセンサー１７０１が、操作装置４１において、２つの長辺側の側面と２つの短辺側の側面との４辺に配置されていてもよい。そして、センサー情報検出部１７０２が２つの短辺側の側面のセンサー１７０１での接触を検出した場合、操作装置４１は「横持ち」されていると認識される。そして、センサー情報検出部１７０２が長辺側の側面のどちらかのセンサー１７０１での接触を検出した場合、操作装置４１は「縦持ち」されていると認識される。
その後、センサー情報検出部１７０２は、「横持ち」または「縦持ち」を把持方向として方向決定部１７０３に渡す。
そして、操作装置４１が「横持ち」されている場合（Ｓ２３０７でＹＥＳ）、または、センサー情報検出部１７０２が第１のセンサー２２０４からのセンサー情報を検出しなかった場合（Ｓ２３０６でＮＯ）、方向決定部１７０３は、タッチ情報の読み出し処理（Ｓ２３０５）で読み出したタッチ情報１０００を用いて、「横持ち」時における操作装置４１の向きを決定する（Ｓ２３０８：横持ち時方向決定処理）。
その後、方向決定部１７０３は、決定した操作装置４１の向きをカーソル位置決定部２２０３に渡す。この横持ち時方向決定処理は、実施の形態３において、図１９を用いて説明した処理と同等である。
一方、操作装置４１が「縦持ち」されている場合（Ｓ２３０７でＮＯ）、方向決定部１７０３は、タッチ情報の読み出し処理（Ｓ２３０５）で読み出したタッチ情報１０００を用いて、「縦持ち」時における操作装置４１の向きを決定する（Ｓ２３０９：縦持ち時方向決定処理）。その後、方向決定部１７０３は、決定した操作装置４１の向きをカーソル位置決定部２２０３に渡す。この縦持ち時方向決定処理については、実施の形態３において、図２０を用いて説明した処理と同等である。
次に、カーソル位置決定部２２０３は、方向決定部１７０３に対して、第２のセンサー２２０５からのセンサー情報の取得の有無を問い合わせる。そして、方向決定部１７０３は、センサー情報検出部１７０２に対して第２のセンサー２２０５からのセンサー情報の有無を確認する（Ｓ２３１０）。
ここで、センサー情報検出部１７０２が第２のセンサー２２０５からのセンサー情報を検出した場合（Ｓ２３１０でＹＥＳ）、カーソル位置決定部２２０３は、２つの向きを受け取る。すなわち、カーソル位置決定部２２０３は、方向決定部１７０３から、横持ち時方向決定処理（Ｓ２３０８）または縦持ち時方向決定処理（Ｓ２３０９）の結果である操作装置４１の向きと、第２のセンサー２２０５で検知する操作装置４１の向きとを受け取る。カーソル位置決定部２２０３は、これらの両者の向きが一致するか否かを判定する（Ｓ２３１１）。
これらの両者の向きが一致しない場合（Ｓ２３１１でＮＯ）、カーソル位置決定部２２０３は、警告データ生成部２２０１に対してアラートメッセージの生成を要求する。警告データ生成部２２０１は、ユーザに対し、操作装置４１の向きが逆である旨を通知したり、操作装置４１の向きを認識させたりするためのアラートメッセージを生成する（Ｓ２３１６）。
具体的には、警告データ生成部２２０１は「リモコンを正しい向きに保持しているかどうか確認してください。」「リモコンの向きを逆にしてください。」等といったアラートメッセージを生成し、画面データ生成部２２０２に生成したアラートメッセージを渡す。
画面データ生成部２２０２は、警告データ生成部２２０１からアラートメッセージを受け取った場合、当該アラートメッセージを画面データに重畳する（Ｓ２３１７）。
一方、センサー情報検出部１７０２が第２のセンサー２２０５からのセンサー情報を検出しなかった場合（Ｓ２３１０でＮＯ）、カーソル位置決定部２２０３は、操作装置４１の把持方向（横持ち、または、縦持ち）に基づき、位置情報１００３を変換する。また、方向決定部１７０３により決定された操作装置４１の向きがセンサー情報と同じ向きの場合（Ｓ２３１１でＹＥＳ）も、カーソル位置決定部２２０３は、操作装置４１の把持方向に基づき、位置情報１００３を変換する。
例えば、操作装置４１の把持方向が「縦持ち」の場合、カーソル位置決定部２２０３は、タッチ情報検出部９０１から受け取ったタッチ情報１０００の位置情報１００３を変換する。具体的には、カーソル位置決定部２２０３は、操作装置４１の把持方向が「縦持ち」の場合、右タッチパッド８０２および左タッチパッド８０３のそれぞれの座標系の中心座標を回転の中心として位置情報を左に９０°回転させる。これにより、適切なカーソル位置が得られる。
一方、操作装置４１の把持方向が「横持ち」の場合には、右タッチパッド８０２と左タッチパッド８０３の両方の座標系の向きと一致するので、このような座標変換は行われない。
さらに、カーソル位置決定部２２０３は、タッチ情報検出部９０１から受け取ったタッチ情報１０００の位置情報１００３を補正する（Ｓ２３１２：位置情報補正処理）。この時、カーソル位置決定部２２０３は、方向決定部１７０３から受け取った横持ち時方向決定処理（Ｓ２３０８）または縦持ち時方向決定処理（Ｓ２３０９）の結果である操作装置４１の向きに基づいて、位置情報１００３を補正する。
より具体的には、カーソル位置決定部２２０３は、操作装置４１の向きが「正しい向き」である場合と同等の位置にカーソルが表示されるように位置情報１００３を補正する。この位置情報補正処理については、実施の形態１と同様である。
次に、カーソル位置決定部２２０３は画面上でのカーソル位置を決定する（Ｓ２３１３）。具体的には、カーソル位置決定部２２０３は、右タッチパッド８０２の座標系の最小値と最大値と、画面表示上の座標系における最小値と最大値とから、右タッチパッド８０２の座標系と画面表示上の座標系との拡大比を取得する。また、カーソル位置決定部２２０３は、左タッチパッド８０３の座標系の最小値と最大値と、画面表示上の座標系における最小値と最大値とから、左タッチパッド８０３の座標系と画面表示上の座標系との拡大比を取得する。これにより、カーソル位置決定部２２０３は、画面上でのカーソル位置を決定する。
すなわち、カーソル位置決定部２２０３は、位置情報のｘ座標とｙ座標とのそれぞれについて、（画面表示上の右タッチパッド８０２のカーソル位置）＝（右タッチパッド８０２上のカーソル位置）×｛（画面表示上の座標系の最大値）−（画面表示上の座標系の最小値）｝÷｛（右タッチパッド８０２上の座標系の最大値）−（右タッチパッド８０２上の座標系の最小値）｝により、右タッチパッド８０２に対応するカーソル位置を決定する。
同様に、カーソル位置決定部２２０３は、（画面表示上の左タッチパッド８０３のカーソル位置）＝（左タッチパッド８０３上のカーソル位置）×｛（画面表示上の座標系の最大値）−（画面表示上の座標系の最小値）｝÷｛（左タッチパッド８０３上の座標系の最大値）−（左タッチパッド８０３上の座標系の最小値）｝により、左タッチパッド８０３に対応するカーソル位置を決定する。
その後、カーソル位置決定部２２０３は、決定したカーソル位置のｘ座標とｙ座標とを、画面データ生成部２２０２に渡す。
なお、右タッチパッド８０２と左タッチパッド８０３とで画面表示上の座標系が異なるように割り当てられてもよい。この場合、上記の計算において、「画面表示上の座標系の最大値」と「画面表示上の座標系の最小値」とが、右タッチパッド８０２と左タッチパッド８０３とのそれぞれに設けられる。これにより、それぞれのカーソル位置が決定される。
次に、画面データ生成部２２０２は、カーソル位置決定部２２０３から受け取ったカーソル位置に基づいて、表示部９０６で表示すべき映像およびアニメーション等にカーソル画像を重畳して、画面データを生成する（Ｓ２３１４）。
次に、表示部９０６は、画面データ生成部２２０２から受け取った画面データを画面等に表示する（Ｓ２３１５）。本処理の終了後、タッチ情報検出部９０１は、再度、入力の検出を継続するか否かを確認する（Ｓ２３０１）。
なお、センサー情報検出部１７０２が第２のセンサー２２０５からのセンサー情報を検出しなかった場合（Ｓ２３１０でＮＯ）、カーソル位置決定部２２０３は、位置情報の補正（Ｓ２３１２）を行うのではなく、アラートメッセージの生成（Ｓ２３１６）を要求してもよい。または、カーソル位置決定部２２０３は、補正を行わずに、画面上でのカーソル位置の決定（Ｓ２３１３）をしてもよい。
以上で、図２３に示す画面表示装置４の全体処理フローについての説明を終了する。
上述のような構成によれば、画面表示装置４のタッチ情報蓄積部９０２が、タッチ情報検出部９０１で検出した右タッチパッド８０２と左タッチパッド８０３の２面のタッチパッドにおけるタッチ情報１０００を蓄積する。そして、タッチ情報１０００に含まれる位置情報１００３から、方向決定部１７０３が右タッチパッド８０２と左タッチパッド８０３の軌跡の形状を用いて操作装置４１の向きを決定する。
方向決定部１７０３が決定した操作装置４１の向きと、第２のセンサー２２０５で検知した操作装置４１の向きとが照合される。そして、両者の向きが一致しない場合、画面上にアラートメッセージが表示される。したがって、ユーザが誤った操作装置４１の持ち方をしたと判定される場合、画面表示装置４は、ユーザによる右タッチパッド８０２ならびに左タッチパッド８０３への入力を活用して、ユーザに適切かつ迅速に操作装置４１の持ち替えなどを促すことができる。
（実施の形態５）
実施の形態５では、２つのタッチパッドを備える画面表示装置が、画面表示装置のタッチパッド上でのユーザの入力を示す位置情報（座標）の分布を利用して操作装置の向きを認識する。そして、画面表示装置は、操作装置の向きに基づいて画面上でのカーソルの表示位置を補正する。
図２４は、実施の形態５における画面表示装置の構成図である。図２４において、図１７と同一の構成要素については同一の符号を用い、説明を省略する。
図２４に示された画面表示装置５は、方向決定部２４０１と、右タッチパッド８０２と、左タッチパッド８０３と、タッチ情報検出部９０１と、タッチ情報蓄積部９０２と、画面データ生成部９０５と、表示部９０６と、センサー１７０１と、センサー情報検出部１７０２と、カーソル位置決定部１７０４とを備える。
図２４に示された操作装置３１は、右タッチパッド８０２と、左タッチパッド８０３と、センサー１７０１とを備える。また、表示制御装置５０は、方向決定部２４０１と、タッチ情報検出部９０１と、タッチ情報蓄積部９０２と、画面データ生成部９０５と、センサー情報検出部１７０２と、カーソル位置決定部１７０４とを備える。
表示制御装置５０は、操作装置３１から信号を受け、画面に表示させるための画面データを生成する。なお、表示制御装置５０は、操作装置３１または表示部９０６に組み込まれていてもよい。また、ここでは、タッチ情報検出部９０１は、表示制御装置５０に含まれるが、操作装置３１に含まれてもよい。
方向決定部２４０１は、センサー情報検出部１７０２で検出される、ユーザによる操作装置３１の把持位置と、タッチ情報蓄積部９０２で蓄積されるタッチ情報とに基づいて、操作装置３１の向きを決定する手段である。具体的には、方向決定部２４０１は、センサー情報検出部１７０２で検出される把持位置から操作装置３１が横持ちおよび縦持ちのどちらの把持方向であるかを判別する。その上で、方向決定部２４０１は、所定時間あるいは所定量などのタッチ情報に含まれる位置情報の分布に基づいて、操作装置３１がどちらの方向を向いているかを決定する。
なお、以下、これに限られるものではないが、基本的には、方向決定部２４０１は、ユーザが自然にタッチパッドを触る操作によって得られたタッチ情報を用いて、操作装置３１の向きを決定することができる。このようなタッチ情報は、ユーザが操作装置３１を保持し始めた時点、アプリケーションの切替え時、および、同一アプリケーション内で操作装置３１の保持方向が変わる時などにおいて、得られる。
以上で、実施の形態５における画面表示装置５の構成についての説明を終了する。
次に、図２５から図２８を用いて、図２４に示された実施の形態５における画面表示装置５の処理フローについて説明する。
図２５は、図２４に示された実施の形態５における画面表示装置５の全体処理フローである。
まず、画面表示装置５のタッチ情報検出部９０１は、図２４に図示しない指示部からの指示に基づき、右タッチパッド８０２または左タッチパッド８０３への入力の検出を継続するか否かを確認する（Ｓ２５０１）。
ここで、タッチ情報検出部９０１が右タッチパッド８０２または左タッチパッド８０３への入力の検出を中断するよう指示されている場合（Ｓ２５０１でＮＯ）、画面表示装置５は、処理を終了する。
一方、タッチ情報検出部９０１が右タッチパッド８０２または左タッチパッド８０３への入力の検出を継続するよう指示されている場合（Ｓ２５０１でＹＥＳ）、タッチ情報検出部９０１は、右タッチパッド８０２または左タッチパッド８０３への入力の有無を確認する。これにより、タッチ情報検出部９０１は、図１０に示したタッチ情報１０００の有無を検出する（Ｓ２５０２）。
ここで、タッチ情報検出部９０１は、「タッチ情報無し」と検出した場合（Ｓ２５０２でＮＯ）、再度、入力の検出を継続するか否かを確認する（Ｓ２５０１）。
一方、タッチ情報検出部９０１は、「タッチ情報有り」と検出した場合（Ｓ２５０２でＹＥＳ）は、タッチ情報蓄積部９０２にタッチ情報１０００を蓄積させる（Ｓ２５０３）。より具体的には、タッチ情報検出部９０１は、図１１で示したタッチ情報テーブル１１００にタッチ情報１０００を追加する。また、タッチ情報検出部９０１は、画面上でのカーソルの表示のため、検出したタッチ情報１０００をカーソル位置決定部１７０４にも渡す。
次に、カーソル位置決定部１７０４は、タッチ情報検出部９０１からタッチ情報１０００を受け取る。そして、カーソル位置決定部１７０４は、タッチ情報１０００に含まれる位置情報１００３を補正する必要があるか否かを決定するため、方向決定部２４０１に対して、操作装置３１の向きを問い合わせる（Ｓ２５０４）。
次に、方向決定部２４０１は、カーソル位置決定部１７０４からの問い合わせを受け取る。そして、方向決定部２４０１は、タッチ情報蓄積部９０２のタッチ情報テーブル１１００にアクセスして、タッチ情報１０００を読み出す（Ｓ２５０５）。このとき、方向決定部２４０１は、事前に方向決定部２４０１に設定された所定時間分のタッチ情報１０００あるいは所定量のタッチ情報１０００を読み出す。
なお、タッチ情報蓄積部９０２は、タッチ情報検出部９０１から所定の時間間隔で受け取ったタッチ情報１０００を順次蓄積する。したがって、計算により所定時間分のタッチ情報の量が求められる。
また、タッチ情報蓄積部９０２は、タッチ情報１０００を読み出す際、一旦読み出したタッチ情報１０００を方向決定部２４０１の内部などに保持させておいてもよい。そして、タッチ情報蓄積部９０２は、新たに必要となる差分のタッチ情報１０００のみを読み出してもよい。これにより、以降に読み出されるタッチ情報１０００の量が削減される。
次に、方向決定部２４０１は、センサー情報検出部１７０２に対してセンサー情報の有無を問い合わせる。そして、センサー情報検出部１７０２は、センサー１７０１で検出した信号の有無を確認する（Ｓ２５０６）。
ここで、センサー情報検出部１７０２は、センサー情報を検出した場合（Ｓ２５０６でＹＥＳ）、センサー情報を取得し、ユーザが操作装置３１のどの部分を把持しているかを検出する（Ｓ２５０７）。
例えば、タッチセンサーであるセンサー１７０１が、操作装置３１において、２つの長辺側の側面と２つの短辺側の側面との４辺に配置されていてもよい。そして、センサー情報検出部１７０２が２つの短辺側の側面のセンサー１７０１での接触を検出した場合、操作装置３１は「横持ち」されていると認識される。そして、センサー情報検出部１７０２が長辺側の側面のどちらかのセンサー１７０１での接触を検出した場合、操作装置３１は「縦持ち」されていると認識される。
その後、センサー情報検出部１７０２は、「横持ち」または「縦持ち」を把持方向として方向決定部２４０１に渡す。
次に、方向決定部２４０１は、センサー情報検出部１７０２から受け取った把持方向から、操作装置３１が「横持ち」されているかどうかを確認する（Ｓ２５０８）。
操作装置３１が「横持ち」されている場合（Ｓ２５０８でＹＥＳ）、方向決定部２４０１は、「横持ち」時における操作装置３１の向きを決定する（Ｓ２５０９：横持ち時方向決定処理）。この場合、方向決定部２４０１は、タッチ情報の読み出し処理（Ｓ２５０５）で読み出したタッチ情報１０００を用いて、「横持ち」時における操作装置３１の向きを決定する。
また、センサー情報検出部１７０２がセンサー情報を検出しなかった場合（Ｓ２５０６でＮＯ）も、方向決定部２４０１は、タッチ情報１０００を用いて、「横持ち」時における操作装置３１の向きを決定する。その後、方向決定部２４０１は、決定した操作装置３１の向きをカーソル位置決定部１７０４に渡す。この横持ち時方向決定処理については、後で図２６を用いて詳細に説明する。
操作装置３１が「縦持ち」されている場合（Ｓ２５０８でＮＯ）、方向決定部２４０１は、タッチ情報の読み出し処理（Ｓ２５０５）で読み出したタッチ情報１０００を用いて、「縦持ち」時における操作装置３１の向きを決定する（Ｓ２５１０：縦持ち時方向決定処理）。その後、方向決定部２４０１は、決定した操作装置３１の向きをカーソル位置決定部１７０４に渡す。この縦持ち時方向決定処理については、後で図２７を用いて詳細に説明する。
次に、カーソル位置決定部１７０４は、方向決定部２４０１から操作装置３１の向きを受け取る。そして、カーソル位置決定部１７０４は、操作装置３１の向きが「正しい向き」であるか否かを判定する（Ｓ２５１１）。
ここで、操作装置３１の向きが「正しい向き」である場合（Ｓ２５１１でＹＥＳ）、カーソル位置決定部１７０４は、画面上でのカーソル位置を決定する処理（Ｓ２５１３）を実行する。
一方、操作装置３１の向きが「正しい向き」以外である場合（Ｓ２５１１でＮＯ）、カーソル位置決定部１７０４は、タッチ情報検出部９０１から受け取ったタッチ情報１０００の位置情報１００３を補正する（Ｓ２５１２：位置情報補正処理）。この場合、カーソル位置決定部１７０４は、操作装置３１の向きに基づいて、位置情報１００３を、操作装置３１の向きが「正しい向き」である場合と同等の位置にカーソルが表示されるように補正する。この位置情報補正処理については、実施の形態１と同様である。
次に、カーソル位置決定部１７０４は、タッチ情報検出部９０１から受け取ったタッチ情報１０００の位置情報１００３、または、補正された位置情報１００３を用いて、画面上でのカーソル位置を決定する（Ｓ２５１３）。
具体的には、カーソル位置決定部１７０４は、右タッチパッド８０２の座標系の最小値と最大値と、画面表示上の座標系における最小値と最大値とから、右タッチパッド８０２の座標系と画面表示上の座標系との拡大比を取得する。また、カーソル位置決定部１７０４は、左タッチパッド８０３の座標系の最小値と最大値と、画面表示上の座標系における最小値と最大値とから、左タッチパッド８０３の座標系と画面表示上の座標系との拡大比を取得する。これにより、カーソル位置決定部１７０４は、画面上でのカーソル位置を決定する。
すなわち、カーソル位置決定部１７０４は、位置情報のｘ座標とｙ座標とのそれぞれについて、（画面表示上の右タッチパッド８０２のカーソル位置）＝（右タッチパッド８０２上のカーソル位置）×｛（画面表示上の座標系の最大値）−（画面表示上の座標系の最小値）｝÷｛（右タッチパッド８０２上の座標系の最大値）−（右タッチパッド８０２上の座標系の最小値）｝により、右タッチパッド８０２に対応するカーソル位置を決定する。
同様に、カーソル位置決定部１７０４は、（画面表示上の左タッチパッド８０３のカーソル位置）＝（左タッチパッド８０３上のカーソル位置）×｛（画面表示上の座標系の最大値）−（画面表示上の座標系の最小値）｝÷｛（左タッチパッド８０３上の座標系の最大値）−（左タッチパッド８０３上の座標系の最小値）｝により、左タッチパッド８０３に対応するカーソル位置を決定する。
その後、カーソル位置決定部１７０４は、決定したカーソル位置のｘ座標とｙ座標とを、画面データ生成部９０５に渡す。
なお、右タッチパッド８０２と左タッチパッド８０３とで画面表示上の座標系が異なるように割り当てられてもよい。この場合、上記の計算において、「画面表示上の座標系の最大値」と「画面表示上の座標系の最小値」とが、右タッチパッド８０２と左タッチパッド８０３とのそれぞれに設けられる。これにより、それぞれのカーソル位置が決定される。
画面データ生成部９０５は、カーソル位置決定部１７０４から受け取ったカーソル位置に基づいて、表示部９０６で表示すべき映像およびアニメーション等にカーソル画像を重畳して、画面データを生成する（Ｓ２５１４）。その後、画面データ生成部９０５は、生成した画面データを表示部９０６に渡す。
表示部９０６は、画面データ生成部９０５から受け取った画面データを画面等に表示する（Ｓ２５１５）。本処理の終了後、タッチ情報検出部９０１は、再度、入力の検出を継続するか否かを確認する（Ｓ２５０１）。
以上で、図２５に示す画面表示装置５の全体処理フローについての説明を終了する。
次に、図２６を用いて、図２５に示された横持ち時方向決定処理（Ｓ２５０９）のフローについて説明する。
まず、方向決定部２４０１は、右タッチパッド８０２に関してタッチ情報テーブル１１００から読み出したタッチ情報１０００の位置情報分布判定処理（Ｓ２６０１）を実行する。この位置情報分布判定処理については、後で図２８を用いて詳細に説明する。
次に、方向決定部２４０１は、左タッチパッド８０３に関してタッチ情報テーブル１１００から読み出したタッチ情報１０００の位置情報分布判定処理（Ｓ２６０２）を実行する。この位置情報分布判定処理は、右タッチパッドの位置情報分布判定処理（Ｓ２６０１）と同様であるが、位置情報の分布を判定する際には、図２８を用いて後述される左指用の分布を用いる。
次に、方向決定部２４０１は、右タッチパッドの位置情報分布判定処理（Ｓ２６０１）および左タッチパッドの位置情報分布判定処理（Ｓ２６０２）の処理結果から、右タッチパッド８０２に関するタッチ情報１０００と左タッチパッド８０３に関するタッチ情報１０００との両方が有ることを確認する（Ｓ２６０３）。
ここで、右タッチパッド８０２に関するタッチ情報１０００と左タッチパッド８０３に関するタッチ情報１０００との両方が有る場合（Ｓ２６０３でＹＥＳ）、方向決定部２４０１は、２つの判定結果が一致するかを確認する（Ｓ２６０４）。すなわち、方向決定部２４０１は、右タッチパッドの位置情報分布判定処理（Ｓ２６０１）および左タッチパッドの位置情報分布判定処理（Ｓ２６０２）の処理結果から、右タッチパッド８０２の位置情報の分布の判定結果と左タッチパッド８０３の位置情報の分布の判定結果とが一致するか否かを確認する。具体的には、方向決定部２４０１は、右タッチパッド８０２と左タッチパッド８０３の判定結果が両方とも「上向き」であるか、または、両方とも「下向き」であるか否かを確認する。
一方、右タッチパッド８０２に関するタッチ情報１０００、および、左タッチパッド８０３に関するタッチ情報１０００のいずれかが無い場合（Ｓ２６０３でＮＯ）、方向決定部２４０１は、それらのいずれかが有るか否かを確認する（Ｓ２６１０）。すなわち、この場合、方向決定部２４０１は、右タッチパッドの位置情報分布判定処理（Ｓ２６０１）および左タッチパッドの位置情報分布判定処理（Ｓ２６０２）の処理結果から、右タッチパッド８０２に関するタッチ情報１０００および左タッチパッド８０３に関するタッチ情報１０００のどちらか一方が有ることを確認する。
なお、ここでは、右タッチパッド８０２および左タッチパッド８０３のどちらかに関するタッチ情報１０００が検知された場合、方向決定部２４０１が分布を用いた方向決定処理を実行する例が示されている。しかし、右タッチパッド８０２と左タッチパッド８０３の両方に関するタッチ情報１０００が検知された場合のみ、方向決定部２４０１が方向決定処理を実行してもよい。この場合、本処理（Ｓ２６１０）は省略できる。
右タッチパッド８０２の位置情報の分布の判定結果と左タッチパッド８０３の位置情報の分布の判定結果とが一致しない場合（Ｓ２６０４でＮＯ）、方向決定部２４０１は、操作装置３１の向きが「方向不定」であると決定する（Ｓ２６０９）。また、右タッチパッド８０２に関するタッチ情報１０００と左タッチパッド８０３に関するタッチ情報１０００との両方が無い場合（Ｓ２６１０でＮＯ）も、方向決定部２４０１は、操作装置３１の向きが「方向不定」であると決定する。
なお、この場合、方向決定部２４０１は、操作装置３１の向きが、デフォルトの向きとして「正しい向き」であると決定してもよい。このデフォルトの向きは、出荷時などに予め画面表示装置５にデフォルト値として設定されている向きでもよいし、ユーザが予めデフォルト値として設定している向きでもよい。
右タッチパッド８０２の位置情報の分布の判定結果と左タッチパッド８０３の位置情報の分布の判定結果とが一致する場合（Ｓ２６０４でＹＥＳ）、方向決定部２４０１は、前段の処理で確認した位置情報の分布の判定結果が「上向き」であるか否かを確認する（Ｓ２６０５）。また、右タッチパッド８０２に関するタッチ情報１０００および左タッチパッド８０３に関するタッチ情報１０００のどちらか一方が有る場合（Ｓ２６１０でＹＥＳ）も、方向決定部２４０１は、位置情報の分布の判定結果が「上向き」であるか否かを確認する。
ここで、位置情報の分布の判定結果が「上向き」である場合（Ｓ２６０５でＹＥＳ）、方向決定部２４０１は、人の指の構造上の特徴などを鑑みて、ユーザの指８０４の向きは右タッチパッド８０２および左タッチパッド８０３の上方向であると判断する。すなわち、方向決定部２４０１は、ユーザの指８０４の向きが右タッチパッド８０２の座標系および左タッチパッド８０３の座標系と同一方向であると判断する。
また、ユーザの意図する操作装置３１の向きは、ユーザの指８０４の方向と一致すると考えられる。したがって、方向決定部２４０１は、操作装置３１の向きが「正しい向き」であると決定する（Ｓ２６０６）。方向決定部２４０１は、カーソル位置決定部１７０４に、決定した操作装置３１の向きを渡し、本処理を終了する。
一方、位置情報の分布の判定結果が「上向き」でない場合（Ｓ２６０５でＮＯ）、方向決定部２４０１は、前段の処理で確認した位置情報の分布の判定結果が「下向き」であるか否かを確認する（Ｓ２６０７）。
ここで、位置情報の分布の判定結果が「下向き」である場合（Ｓ２６０７でＹＥＳ）、方向決定部２４０１は、人の指の構造上の特徴などを鑑みて、ユーザの指８０４の向きは、右タッチパッド８０２および左タッチパッド８０３の下方向であると判断する。すなわち、方向決定部２４０１は、ユーザの指８０４の向きが右タッチパッド８０２の座標系および左タッチパッド８０３の座標系と上下反対方向、あるいは、右または左にそれぞれ１８０°回転させた方向であると判断する。
また、ユーザの意図する操作装置３１の向きは、ユーザの指８０４の方向と一致すると考えられる。したがって、方向決定部２４０１は、操作装置３１の向きが「正しい向き」であると決定する場合（Ｓ２６０６）とは反対に、操作装置３１の向きが「逆向き」であると決定する（Ｓ２６０８）。方向決定部２４０１は、カーソル位置決定部１７０４に、決定した操作装置３１の向きを渡し、本処理を終了する。
一方、位置情報の分布の判定結果が「下向き」でない場合（Ｓ２６０７でＮＯ）、両タッチパッドの位置情報分布が一致しない場合（Ｓ２６０４でＮＯ）などと同様に、方向決定部２４０１は、操作装置３１の向きが「方向不定」であると決定する（Ｓ２６０９）。
以上で、方向決定部２４０１での横持ち時方向決定処理フローについての説明を終了する。
次に、図２７を用いて、図２５に示された縦持ち時方向決定処理（Ｓ２５１０）のフローについて説明する。
まず、方向決定部２４０１は、右タッチパッド８０２に関してタッチ情報テーブル１１００から読み出したタッチ情報１０００の位置情報分布判定処理（Ｓ２７０１）を実行する。この位置情報分布判定処理については、後で図２８を用いて詳細に説明する。
次に、方向決定部２４０１は、左タッチパッド８０３に関してタッチ情報テーブル１１００から読み出したタッチ情報１０００の位置情報分布判定処理（Ｓ２７０２）を実行する。この位置情報分布判定処理は、右タッチパッドの位置情報分布判定処理（Ｓ２７０１）と同様であるが、位置情報の分布を判定する際には、図２８を用いて後述される左指用の分布を用いる。
次に、方向決定部２４０１は、右タッチパッドの位置情報分布判定処理（Ｓ２７０１）および左タッチパッドの位置情報分布判定処理（Ｓ２７０２）の処理結果から、右タッチパッド８０２に関するタッチ情報１０００と左タッチパッド８０３に関するタッチ情報１０００との少なくともどちらか一方が有ることを確認する（Ｓ２７０３）。
ここで、右タッチパッド８０２に関するタッチ情報１０００と左タッチパッド８０３に関するタッチ情報１０００との両方が無い場合（Ｓ２７０３でＮＯ）、操作装置３１の向きは「方向不定」であると決定する（Ｓ２７０８）。
なお、この場合、方向決定部２４０１は、操作装置３１の向きが、デフォルトの向きとして「正しい向き」であると決定してもよい。このデフォルトの向きは、出荷時などに予め画面表示装置５にデフォルト値として設定されている向きでもよいし、ユーザが予めデフォルト値として設定している向きでもよい。
一方、右タッチパッド８０２に関するタッチ情報１０００と左タッチパッド８０３に関するタッチ情報１０００との少なくともどちらか一方が有る場合（Ｓ２７０３でＹＥＳ）、方向決定部２４０１は、前段の処理で確認した位置情報の分布の判定結果が「上向き」であるか否かを確認する（Ｓ２７０４）。
なお、右タッチパッド８０２に関するタッチ情報１０００と左タッチパッド８０３に関するタッチ情報１０００との両方が存在する場合には、方向決定部２４０１は、タッチ情報蓄積部９０２から取得するタッチ情報１０００のデータ数が多い方のタッチパッドに関するタッチ情報１０００を用いてもよい。
ここで、位置情報の分布の判定結果が「上向き」である場合（Ｓ２７０４でＹＥＳ）、方向決定部２４０１は、人の指の構造上の特徴などを鑑みて、ユーザの指８０４の向きは、操作装置３１を縦持ちした場合の上方向であると判断する。本実施の形態では、右タッチパッド８０２側を前方向に向けて把持する方向に、右タッチパッド８０２の座標系および左タッチパッド８０３の座標系が定められている。
ユーザの意図する操作装置３１の向きは、ユーザの指８０４の方向と一致すると考えられる。したがって、方向決定部２４０１は、操作装置３１の向きが「正しい向き」であると決定する（Ｓ２７０５）。方向決定部２４０１は、カーソル位置決定部１７０４に、決定した操作装置３１の向きを渡し、本処理を終了する。
一方、位置情報の分布の判定結果が「上向き」でない場合（Ｓ２７０４でＮＯ）、方向決定部２４０１は、前段の処理で確認した位置情報の分布の判定結果が「下向き」であるか否かを確認する（Ｓ２７０６）。
ここで、位置情報の分布の判定結果が「下向き」である場合（Ｓ２７０６でＹＥＳ）、方向決定部２４０１は、人の指の構造上の特徴などを鑑みて、ユーザの指８０４の向きは、操作装置３１を縦持ちした場合の下方向であると判断する。
また、ユーザの意図する操作装置３１の向きは、ユーザの指８０４の方向と一致すると考えられる。したがって、方向決定部２４０１は、操作装置３１の向きが「正しい向き」であると決定する場合（Ｓ２７０５）とは反対に、操作装置３１の向きが「逆向き」であると決定する（Ｓ２７０７）。方向決定部２４０１は、カーソル位置決定部１７０４に、決定した操作装置３１の向きを渡し、本処理を終了する。
一方、位置情報の分布の判定結果が「下向き」でない場合（Ｓ２７０６でＮＯ）、両タッチパッドのタッチ情報がない場合（Ｓ２７０３でＮＯ）と同様に、方向決定部２４０１は、操作装置３１の向きが「方向不定」であると決定する（Ｓ２７０８）。
以上で、方向決定部２４０１での縦持ち時方向決定処理フローについての説明を終了する。
次に、図２８、図２９Ａおよび図２９Ｂを用いて、図２６に示された右タッチパッドの位置情報分布判定処理（Ｓ２６０１）と左タッチパッドの位置情報分布判定処理（Ｓ２６０２）、および、図２７に示された右タッチパッドの位置情報分布判定処理（Ｓ２７０１）と左タッチパッドの位置情報分布判定処理（Ｓ２７０２）の処理フローについて説明する。
まず、方向決定部２４０１は、タッチ情報テーブル１１００から読み出したタッチ情報１０００の有無を確認する（Ｓ２８０１）。
ここで、読み出したタッチ情報１０００が存在しない場合（Ｓ２８０１でＮＯ）、方向決定部２４０１は、操作装置３１の向きが「方向不定」であると決定する（Ｓ２８０８）。
一方、読み出したタッチ情報１０００が存在する場合（Ｓ２８０１でＹＥＳ）、方向決定部２４０１は、内部で保持する位置情報の分布を読み出す（Ｓ２８０２）。
具体的には、方向決定部２４０１は、右タッチパッド８０２の位置情報の分布を判定する場合、図２９Ａと図２９Ｂに示す正しい向き時の位置情報の分布（右指用）と逆向き時の位置情報の分布（右指用）とを読み出す。そして、方向決定部２４０１は、左タッチパッド８０３の位置情報の分布を判定する場合、図２９Ａと図２９Ｂに示す正しい向き時の位置情報の分布（左指用）と逆向き時の位置情報の分布（左指用）とを読み出す。
次に、方向決定部２４０１は、タッチ情報の確認処理（Ｓ２８０１）で読み出したタッチ情報１０００と、位置情報の分布の読み出し処理（Ｓ２８０２）で読み出した位置情報の分布との相関度を計算する（Ｓ２８０３）。相関度の計算は、位置情報の分布の読み出し処理（Ｓ２８０２）で読み出した正しい向き時の位置情報の分布に含まれる位置情報１００３の個数と、逆向き時の位置情報の分布に含まれる位置情報１００３の個数とをそれぞれ計算する。
例えば、図２９Ａおよび図２９Ｂに示された例では、点Ａから点Ｊまでの１０個の位置情報１００３（右タッチパッド８０２からの位置情報１００３が５個、左タッチパッド８０３からの位置情報１００３が５個）がタッチ情報１０００として読み出されている。この場合、図２９Ａでは点Ａ〜点Ｊまでの１０個が「正しい向き時の位置情報の分布」に含まれているため、相関度は「１０」と計算できる。一方、図２９Ｂでは点Ｃ、点Ｄ、点Ｇ、点Ｉの４個が「逆向き時の位置情報の分布」に含まれているため、相関度は「４」と計算できる。
次に、方向決定部２４０１は、相関度の計算処理（Ｓ２８０３）で計算した相関度に関して、共に相関度が「０」であるか否かを確認する（Ｓ２８０４）。
ここで、相関度が共に「０」である場合（Ｓ２８０４でＹＥＳ）、方向決定部２４０１は、相関度からは操作装置３１の向きが決定できないため、操作装置３１の向きが「方向不定」であると決定する（Ｓ２８０８）。
一方、２つの相関度のうち少なくとも一方が「０」ではない場合（Ｓ２８０４でＮＯ）、方向決定部２４０１は、相関度の計算処理（Ｓ２８０３）で計算した相関度に関して、（正しい向き時の位置情報との相関度）≧（逆向き時の位置情報との相関度）であるか否かを確認する（Ｓ２８０５）。
ここで、（正しい向き時の位置情報との相関度）≧（逆向き時の位置情報との相関度）である場合（Ｓ２８０５でＹＥＳ）、方向決定部２４０１は、タッチ情報１０００に含まれる位置情報１００３は、正しい向き時の位置情報との相関度が高いため、操作装置３１の向きが「上向き」であると決定する（Ｓ２８０６）。
一方、（正しい向き時の位置情報との相関度）＜（逆向き時の位置情報との相関度）である場合（Ｓ２８０５でＮＯ）、方向決定部２４０１は、タッチ情報１０００に含まれる位置情報１００３は、逆向き時の位置情報との相関度が高いため、操作装置３１の向きが「下向き」であると決定する（Ｓ２８０７）。
以上で、図２６に示された右タッチパッドの位置情報分布判定処理（Ｓ２６０１）と左タッチパッドの位置情報分布判定処理（Ｓ２６０２）、および、図２７に示された右タッチパッドの位置情報分布判定処理（Ｓ２７０１）と左タッチパッドの位置情報分布判定処理（Ｓ２７０２）の処理フローについての説明を終了する。
以上で、実施の形態５における画面表示装置５の処理フローの説明を終了する。
上述のような構成によれば、画面表示装置５のタッチ情報蓄積部９０２が、タッチ情報検出部９０１で検出したタッチ情報１０００を蓄積する。そして、タッチ情報１０００に含まれる位置情報１００３の分布を用いて方向決定部２４０１が操作装置３１の向きを決定する。また、その向きに応じて、カーソル位置決定部１７０４がタッチ情報検出部９０１から受け取るタッチ情報１０００に含まれる位置情報１００３を適切に補正した上で、カーソルの表示位置を決定する。
したがって、画面表示装置５は、ユーザが操作装置３１をどの向きに保持しても、ユーザによる右タッチパッド８０２と左タッチパッド８０３との入力のみに基づいて、操作装置３１の向きを適切かつ自動的に決定して、正しい位置にカーソルを表示することができる。これにより、ユーザの快適な操作性を実現することができる。
なお、実施の形態５では、図１８に示された実施の形態３の「横持ち時方向決定処理（Ｓ１８０９、図１９）」と「縦持ち時方向決定処理（Ｓ１８１０、図２０）」とに代えて、図２５に示された「横持ち時方向決定処理（Ｓ２５０９、図２６）」と「縦持ち時方向決定処理（Ｓ２５１０、図２７）」とが適用されている。
すなわち、方向決定部における方向決定処理のみが置換されている。このように、実施の形態１から実施の形態４における各方向決定処理が、実施の形態５で示した方向決定処理に置き換えられてもよい。
また、上記に示された複数の実施の形態は例であって、本発明はこれらの実施の形態に限定されるものではない。これらの実施の形態に対して当業者が思いつく変形を施して得られる形態、および、これらの実施の形態における構成要素を任意に組み合わせて実現される別の形態も、本発明に含まれる。
また、本発明は、画面表示装置のみに限られず、タッチパッドを有する操作装置からの入力を受け、表示部に表示させるためのデータを生成する表示制御装置として利用できる。表示制御装置は、操作装置に組み込まれてもよいし、表示部に組み込まれてもよい。また、表示制御装置は、独立した装置であってもよい。そして、表示制御装置が、操作装置および表示部を備えてもよい。
また、実施の形態に示された操作装置は、無線のリモコンでもよいし、有線のリモコンでもよい。また、操作装置は、リモコン以外でもよく、例えば、表示部、表示制御装置または画面表示装置に、物理的に一体として設置されてもよい。
また、カーソルが用いられない場合、カーソル位置決定部は無くてもよい。さらに、タッチ情報を蓄積する必要がない場合、タッチ情報蓄積部は無くてもよい。以下、図３０および図３１を用いて例示する。
図３０は、実施の形態１における画面表示装置の変形例を示す構成図である。図３０に示された画面表示装置６では、操作装置１１、表示制御装置６０および表示部２０６は、物理的に一体なって構成される。これにより、画面表示装置６、操作装置１１、表示制御装置６０および表示部２０６の向きは、互いに一致する。
方向決定部２０３は、指の操作に起因する特徴に基づいて、操作装置１１の向きを決定する。例えば、ユーザが手で操作装置１１を把持しながら指でタッチパッド１０２に触れることができる範囲は、指の構造の特徴上、限られる。したがって、方向決定部２０３は、このような特徴にしたがって、蓄積された複数のタッチ情報を利用せずに、検出されたひとつのタッチ情報を利用して、操作装置１１の向きを決定してもよい。
そして、画面データ生成部２０５は、方向決定部２０３により決定された操作装置１１の向きに応じて、画面データを生成し、表示部２０６に画像などを表示させる。
図３１は、図３０に示された画面表示装置６を利用する場合の概念図である。様々な方向を向いている画面表示装置６において、適切な方向に画像などが表示される。すなわち、表示制御装置６０は、指による操作に基づいて、表示に適切な向きを検出し、画像などを表示できる。
また、実施の形態１から実施の形態５では、方向決定部が、常時、操作装置の向きを決定し、画面上のカーソル位置を補正したり、アラートメッセージを生成したりする場合の例が示された。しかし、画面表示装置がアプリケーション監視部を備え、方向決定部は、アプリケーションの起動時、および、アプリケーションの切替え時など、ユーザが操作装置を持ち替えるような場合に操作装置の向きを決定してもよい。これにより、画面表示装置は、必要な場合にのみ操作装置の向きを認識するように構成されるため、画面表示装置の処理負荷が軽減される。
また、実施の形態１から実施の形態５に係る画面表示装置は、ユーザが入力したタッチパッド上の位置情報に関して、指の操作に起因する特徴を利用して、操作装置の向きを決定する。指の操作に起因する特徴は、指の構造、形状および動作等に起因する特徴である。実施の形態１から実施の形態５に係る画面表示装置は、特に、位置情報の軌跡の傾き（直線で近似した傾き）と変化度、または、位置情報の分布を特徴として利用して、操作装置の向きを決定する。しかし、指の操作に起因する特徴は、このような軌跡または分布に限られない。
画面表示装置は、位置情報の軌跡を曲線で近似し、その曲率を特徴として利用してもよい。画面表示装置は、位置情報の軌跡を曲線で近似し、近似した曲線の端点を挟む角度を利用してもよい。画面表示装置は、位置情報の分布が円形または楕円形になる場合、ユーザの指で操作し易いタッチパッド上の所定の領域に円形または楕円形の開始位置があるか否かを利用してもよい。
また、上述の記載において、方向決定部が決定する方向は、操作装置の向きと表現されている。しかし、この方向は、ユーザが意図する方向として、扱われてもよい。
また、実施の形態１から実施の形態４に係る方向決定部は、ユーザが入力したタッチパッド上の位置情報の軌跡の形状を、直線の傾きおよび変化度を計算することにより特定している。しかし、方向決定部は、事前に予測される軌跡を保持しておき、ユーザが入力したタッチパッド上の軌跡と、事前に保持する軌跡との相関度あるいは乖離度を計算することによって、軌跡の形状を特定してもよい。
また、実施の形態１から実施の形態５に係るタッチパッドは、ユーザが入力したタッチパッド上の位置情報として、ｘ座標とｙ座標の２次元の座標値を取得している。さらに、ｚ座標（ｚ軸方向）を含む３次元の座標値を取得可能なタッチパッドが用いられてもよい。
このようなタッチパッドの場合、ユーザの接触操作または押下操作について、ｚ軸方向の強度を含む情報が得られる。そのため、ユーザの入力が面積として表現される。したがって、方向決定部は、この入力面積の形状からユーザの指の形状を認識することで、操作装置の向きを決定してもよい。
また、実施の形態１から実施の形態４において、方向決定部が「正しい向き」と決定した場合のタッチパッド上の位置情報の軌跡が記録（学習）されてもよい。そして、記録された軌跡が次回以降の方向決定処理で用いられてもよい。実施の形態５においても、同様に、タッチパッド上の位置情報の分布が記録（学習）されてもよい。
例えば、方向決定処理において、ユーザにより入力されたタッチパッド上の位置情報の軌跡と学習しておいた軌跡との相関度または乖離度などを計算することにより、ユーザの癖などに適応する効果が期待できる。
また、実施の形態１から実施の形態５において、ユーザが、２面以上のタッチパッドを備える操作装置を縦持ちに保持した場合、方向決定部は、タッチ情報の量（数）が多いタッチパッド側の方向が、ユーザが意図する上方向であると判断してもよい。
また、実施の形態４では、方向決定部１７０３が決定した操作装置４１の向きと、第２のセンサー２２０５で検知した操作装置４１の向きとを比較する場合の例が示された。表示制御装置４０は、方向決定部１７０３が決定した操作装置４１の向きと、予め固定で設定されている右タッチパッド８０２上および左タッチパッド８０３上での座標系の向きとを比較してもよい。そして、表示制御装置４０は、両者の向きが一致しない場合に、アラートメッセージなどを生成し、表示部２０６に表示させてもよい。
また、実施の形態４では、一旦、アラートメッセージを表示した後、ユーザが操作装置４１を持ち替えたことを検出したり、方向決定部１７０３が次の操作装置４１の向きを認識したりした時に、画面データ生成部２２０２が前回表示したアラートメッセージを消去してもよい。
また、警告の方法は、実施の形態４で示された警告データ生成部２２０１がアラートメッセージを作成するだけに限られない。画面表示装置は、表示制御装置４０の外部にアラート部を備えてもよい。また、アラート部は、方向決定部１７０３で決定した操作装置の向きと、予め固定で設定されているタッチパッド上の座標系の向き、または、センサーで検知した操作装置の向きとが一致しない場合に、ユーザに対して各種フィードバック方法によりアラートを示してもよい。例えば、画面上のオブジェクトの色または形状を変更する、音で通知するなどの多様な方法が適用できる。
また、実施の形態４では、第１のセンサー２２０４と第２のセンサー２２０５の両方を備えた画面表示装置の場合の例が示された。しかし、画面表示装置は、どちらか片方のセンサーのみを備えてもよい。これによっても、同様の処理が実現可能である。
この場合、第１のセンサー２２０４のみを備えた画面表示装置は、第１のセンサー２２０４で検出した操作装置の把持方向に基づいて予め固定で設定されているタッチパッド上の座標系の向きと、方向決定部１７０３が決定した操作装置の向きとの比較を行う。逆に、第２のセンサー２２０５のみを備えた画面表示装置は、第２のセンサー２２０５が検知した上下方向の向きに基づく操作装置の向きと、方向決定部１７０３が決定した操作装置の向きとの比較を行う。
また、実施の形態４に係る方向決定部１７０３は、第１のセンサー２２０４、第２のセンサー２２０５、左タッチパッド８０３、右タッチパッド８０２、または、それらの任意の組み合わせから得られる情報を用いて、方向を決定することができる。例えば、方向決定部１７０３は、第２のセンサー２２０５と左タッチパッド８０３とから得られる情報を用いて、方向を決定することができる。
また、方向決定部１７０３は、第１のセンサー２２０４、第２のセンサー２２０５、左タッチパッド８０３、右タッチパッド８０２、または、それらの任意の組み合わせから得られる別の情報を用いて、方向の妥当性を検証してもよい。すなわち、方向決定部１７０３は、別の情報からユーザが意図する方向として推定される方向と、指の操作に起因する特徴に基づいて決定した方向とが一致するか否かを判定することにより、方向の妥当性を検証してもよい。
例えば、方向決定部１７０３は、第１のセンサー２２０４および第２のセンサー２２０５から得られる情報により推定される方向と、左タッチパッド８０３および右タッチパッド８０２から得られる情報を用いて決定される方向とが一致するか否かを検証してもよい。そして、それらが一致する場合、カーソル位置決定部２２０３がカーソル位置を決定し、それらが一致しない場合、警告データ生成部２２０１が警告データを生成してもよい。
また、方向決定部１７０３によって決定された方向と、操作装置４１において予め定められている方向とが異なる場合に、カーソル位置決定部２２０３が、予め定められている方向に従って決定されるカーソル位置を補正することにより、カーソル位置を決定してもよい。または、方向決定部１７０３によって決定された方向と、操作装置４１において予め定められている方向とが異なる場合に、警告データ生成部２２０１が警告データを生成してもよい。
また、実施の形態１から実施の形態５では、ユーザが操作装置を持ち始めた時、アプリケーションの切替え時、および、アプリケーション内で操作装置を持つ方向を変更する時などに、表示制御装置はタッチパッド上での指の自然な操作によって操作装置の向きを認識する。しかし、このような初動の操作だけでは、認識に必要なタッチ情報が十分に取得できない場合も想定される。
このような場合、表示制御装置は、認識時間を延長する、再認識を試みる等の処理を自動で行ってもよいし、ユーザに認識失敗を通知してもよい。
また、実施の形態１から実施の形態５において、画面表示装置が、決定された向きに基づいてカーソル表示を行ったにもかかわらず、ユーザがタッチパッド上で不自然な操作を行う場合もある。例えば、ユーザが、画面上で選択すべきオブジェクトが存在しない領域での操作を頻発させたり、タッチパッド上での指の回転などを繰り返したりといった動作を行うことがある。この場合、画面表示装置は、決定された向きが誤認識であったと判断して、決定された操作装置の向きを天地方向に逆転させる処理を自動的あるいはユーザに確認した上で行ってもよい。
また、実施の形態１から実施の形態５において、画面表示装置が、決定された向きに基づいてカーソル表示を行ったにもかかわらず、ユーザが操作装置を天地方向に反転させて持ち替えを行う場合がある。この場合、画面表示装置が決定した向きが誤認識であったと判断される。そのため、画面表示装置は、ユーザが持ち替えを行った直後には操作装置の向きの認識を実行しなくてもよい。そして、画面表示装置は、次にアプリケーションが切替わった場合、または、所定時間の経過後などにユーザが操作装置を持ち替えた場合に、操作装置の向きを再認識してもよい。
また、実施の形態１から実施の形態５において、画面表示装置は、ユーザに対して、自然にタッチパッドを操作させるようなアプリケーション画面を提示してもよい。例えば、アプリケーションの開始時および同一アプリケーション内で操作装置の横持ちと縦持ちとが切り替わる場合などに、両手で扉を開かせるといったようなＧＵＩをアプリケーションの一部として提示する方法が考えられる。
画面表示装置は、このようなＧＵＩをアプリケーションに組み込むことにより、操作装置の向きを認識するための特別な操作をユーザに極力意識させることなく、結果的に操作装置の向きの認識精度を向上させることができる。
また、実施の形態１から実施の形態５において、画面表示装置は、操作装置の向きの決定前であるか決定後であるかを示すＧＵＩを提示してもよい。このＧＵＩとしては、色および濃さを変える、画面上のオブジェクト、カーソルの位置および形状などを変える、メッセージ表示を行う、および、音により通知する、等の種々の方法が考えられる。
例えば、操作装置の向きの決定前では、画面表示装置は、カーソル画像を薄くするなどの透過表示（α表示）をしたり、カーソルを非表示としたりしてもよい。そして、操作装置の向きの決定後に、画面表示装置は、通常通りのカーソル画像を表示してもよい。
また、実施の形態２から実施の形態５では、操作装置の上面に２面のタッチパッドを備えた操作装置の場合の例が示された。しかし、操作装置の上面に３面以上の複数のタッチパッドを備えた操作装置、または、上面と下面（背面）との両方で合わせて複数のタッチパッドを備えた操作装置等にも、実施の形態２から実施の形態５で示した構成が適用されてもよい。
あるいは、画面表示装置は、マルチタッチに対応した１つのタッチパッドから、複数の接触を検出してもよい。例えば、実施の形態２から実施の形態５に示された画面表示装置が、１つのタッチパッドのみを有する場合であっても、１つのタッチパッドから、複数の指の接触を検出することにより、同様の処理を実現することができる。
また、実施の形態２から実施の形態５では、カーソル表示はフリーポインティング（フリーカーソル）である場合の例が示された。しかし、このようなタッチパッドによる表示は、特定のオブジェクト等のフォーカスによる表示であってもよい。
また、実施の形態２から実施の形態５では、右タッチパッド８０２と左タッチパッド８０３とでそれぞれ独立した２つのカーソルを表示する場合の例が示されている。しかし、右タッチパッド８０２と左タッチパッド８０３とで共通のカーソルが表示されてもよい。また、右タッチパッド８０２と左タッチパッド８０３とで、画面上の異なる領域がそれぞれ割り当てられてもよい。
また、画面などの出力手段の背面にタッチパッドを備えるような画面表示装置などの場合、ユーザは、親指以外（例えば、人差し指と中指など）の指でタッチパッドを操作する。このような場合であっても、人の各指の構造、形状および動作などに起因する特徴を活用することにより、本発明による効果が得られることは言うまでもない。
また、図２、図９、図１７、図２２、図２４および図３０に示された表示制御装置の構成要素は、集積回路であるＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）として実現されてもよい。これらの構成要素は、個別に１チップ化されてもよいし、一部または全てを含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、システムＬＳＩ、スーパーＬＳＩまたはウルトラＬＳＩと呼称されることもある。
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、または、ＬＳＩ内部の回路セルの接続および設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて、表示制御装置に含まれる構成要素の集積回路化を行ってもよい。
また、表示制御装置の構成要素のうち、データを格納する手段だけ１チップ化せずに別構成としてもよい。
また、本発明は、表示制御装置として実現できるだけでなく、表示制御装置を構成する処理手段をステップとする方法として実現できる。その方法に含まれるステップは、典型的には、コンピュータによって、実行される。そして、本発明は、その方法に含まれるステップをコンピュータに実行させるプログラムとして実現できる。さらに、本発明は、そのプログラムを記憶したＣＤ−ＲＯＭ等のコンピュータ読み取り可能な記憶媒体として実現できる。
本発明による表示制御装置は、様々な方向で操作される操作装置へのユーザの自然な操作に従って、画面に画像等を適切に表示し、例えば、デジタルテレビなどの画面表示装置に適用できる。
１、２、３、４、５、６ 画面表示装置
１０、２０、３０、４０、５０、６０ 表示制御装置
１１、２１、３１、４１ 操作装置
１０１、８０１、１６０１ リモコン
１０２ タッチパッド
１０３、８０４ 指
１０４、８０５ 画面
１０５、８０６ カーソル
１０６ 目
２０１、９０１ タッチ情報検出部
２０２、９０２ タッチ情報蓄積部
２０３、９０３、１７０３、２４０１ 方向決定部
２０４、９０４、１７０４、２２０３ カーソル位置決定部
２０５、９０５、２２０２ 画面データ生成部
２０６、９０６ 表示部
３００、１０００ タッチ情報
３０１、１００２ 操作ＩＤ
３０２、１００３ 位置情報
４００、１１００ タッチ情報テーブル
８０２ 右タッチパッド
８０３ 左タッチパッド
１００１ タッチパッドＩＤ
１７０１ センサー
１７０２ センサー情報検出部
２２０１ 警告データ生成部
２２０４ 第１のセンサー
２２０５ 第２のセンサー

Claims (19)

  1. タッチパッドを有する操作装置からの信号を受け、画面に表示するための画面データを生成する表示制御装置であって、
    ユーザが指で前記タッチパッドを操作するときに前記指が接触した前記タッチパッド上の位置情報を含むタッチ情報を検出するタッチ情報検出部と、
    前記タッチ情報検出部により検出された前記タッチ情報によって示される特徴であって、前記指による前記タッチパッド上での操作に起因する特徴を用いて、前記ユーザが意図する方向を決定する方向決定部と、
    前記方向決定部により決定された前記方向に依存させて、前記画面データを生成する画面データ生成部とを備える
    表示制御装置。
  2. 前記方向決定部は、前記特徴を用いて、前記ユーザが前記タッチパッドを見たときの前記タッチパッド上の上下左右の方向である前記方向を決定する
    請求項１に記載の表示制御装置。
  3. 前記方向決定部は、前記特徴を用いて、前記操作装置の方向である前記方向を決定する
    請求項１または２に記載の表示制御装置。
  4. 前記表示制御装置は、さらに、前記タッチ情報検出部により検出された前記タッチ情報を蓄積することにより、複数のタッチ情報を蓄積するタッチ情報蓄積部を備え、
    前記方向決定部は、前記タッチ情報蓄積部により蓄積された前記複数のタッチ情報によって示される前記特徴を用いて、前記方向を決定する
    請求項１〜３のいずれか１項に記載の表示制御装置。
  5. 前記方向決定部は、前記複数のタッチ情報によって示される位置情報の遷移によって形成される軌跡の形状である前記特徴を用いて、前記方向を決定する
    請求項４に記載の表示制御装置。
  6. 前記方向決定部は、前記軌跡が凸状である場合に、凸側が上側であるとして、または、前記軌跡が凹状である場合に、凹側が下側であるとして、前記方向を決定する
    請求項５に記載の表示制御装置。
  7. 前記方向決定部は、前記複数のタッチ情報によって示される複数の位置情報の分布である前記特徴を用いて、前記方向を決定する
    請求項４に記載の表示制御装置。
  8. 前記表示制御装置は、さらに、前記タッチ情報検出部により検出された前記タッチ情報に含まれる前記位置情報から、前記画面上でのポインティング位置を示すカーソルの表示位置を決定するカーソル位置決定部を備え、
    前記カーソル位置決定部は、前記方向決定部により決定された前記方向に依存させて、前記表示位置を決定し、
    前記画面データ生成部は、前記カーソル位置決定部により決定された前記表示位置に前記カーソルを表示するための前記画面データを生成する
    請求項１〜７のいずれか１項に記載の表示制御装置。
  9. 前記カーソル位置決定部は、前記方向決定部により決定された前記方向と、前記操作装置において予め定められている方向とが異なる場合に、前記位置情報と前記予め定められている方向とによって決定される前記表示位置を補正することにより、前記表示位置を決定する
    請求項８に記載の表示制御装置。
  10. 前記表示制御装置は、さらに、前記ユーザに警告を通知するための警告データを生成する警告データ生成部を備え、
    前記警告データ生成部は、前記方向決定部により決定された前記方向と、前記操作装置において予め定められている方向とが異なる場合に、前記警告データを生成する
    請求項１〜７のいずれか１項に記載の表示制御装置。
  11. 前記表示制御装置は、さらに、前記操作装置の外周部に配置されたセンサーであって、前記ユーザの接触を検出するセンサーから、前記ユーザが前記操作装置を保持している部分の情報である保持部分情報を検出するセンサー情報検出部を備え、
    前記方向決定部は、前記センサー情報検出部により検出された前記保持部分情報と、前記特徴とに依存させて、前記方向を決定する
    請求項１〜１０のいずれか１項に記載の表示制御装置。
  12. 前記表示制御装置は、さらに、前記操作装置にかかる重力方向を検出するセンサーから、前記操作装置にかかる重力方向の情報である重力方向情報を検出するセンサー情報検出部を備え、
    前記方向決定部は、前記センサー情報検出部により検出された前記重力方向情報と、前記特徴とに依存させて、前記方向を決定する
    請求項１〜１０のいずれか１項に記載の表示制御装置。
  13. 前記表示制御装置は、さらに、
    前記ユーザに警告を通知するための警告データを生成する警告データ生成部と、
    前記操作装置の外周部に配置されたセンサーであって、前記ユーザの接触を検出するセンサーから、前記ユーザが前記操作装置を保持している部分の情報である保持部分情報を検出するセンサー情報検出部とを備え、
    前記警告データ生成部は、前記センサー情報検出部により検出された前記保持部分情報から前記ユーザが意図する方向として推定される方向と、前記方向決定部により決定された前記方向とが異なる場合に、前記警告データを生成する
    請求項１〜８のいずれか１項に記載の表示制御装置。
  14. 前記表示制御装置は、さらに、
    前記ユーザに警告を通知するための警告データを生成する警告データ生成部と、
    前記操作装置にかかる重力方向を検出するセンサーから、前記操作装置にかかる重力方向の情報である重力方向情報を検出するセンサー情報検出部とを備え、
    前記警告データ生成部は、前記センサー情報検出部により検出された前記重力方向情報から前記ユーザが意図する方向として推定される方向と、前記方向決定部により決定された前記方向とが異なる場合に、前記警告データを生成する
    請求項１〜８のいずれか１項に記載の表示制御装置。
  15. 前記表示制御装置は、さらに、
    前記ユーザに警告を通知するための警告データを生成する警告データ生成部と、
    前記操作装置の外周部に配置された第１のセンサーであって、前記ユーザの接触を検出する第１のセンサーから、前記ユーザが前記操作装置を保持している部分の情報である保持部分情報を検出し、前記操作装置にかかる重力方向を検出する第２のセンサーから、前記操作装置にかかる重力方向の情報である重力方向情報を検出するセンサー情報検出部とを備え、
    前記カーソル位置決定部は、前記センサー情報検出部により検出された前記保持部分情報および前記重力方向情報から前記ユーザが意図する方向として推定される方向と、前記方向決定部により決定された前記方向とが一致する場合に、前記方向決定部により決定された前記方向に依存させて、前記表示位置を決定し、
    前記警告データ生成部は、前記センサー情報検出部により検出された前記保持部分情報および前記重力方向情報から前記ユーザが意図する方向として推定される方向と、前記方向決定部により決定された前記方向とが一致しない場合に、前記警告データを生成する
    請求項８に記載の表示制御装置。
  16. 前記タッチ情報検出部は、２つのタッチパッドを有する前記操作装置からの信号を取得し、前記ユーザが複数の指で前記２つのタッチパッドを操作するときに前記複数の指のいずれかが接触した各タッチパッド上の位置情報をそれぞれ含む２つのタッチ情報を検出し、
    前記方向決定部は、前記タッチ情報検出部により検出された前記２つのタッチ情報のそれぞれによって示される前記特徴でそれぞれが構成される２つの特徴が互いに一致する場合に、前記２つの特徴のいずれかを用いて、前記方向を決定する
    請求項１〜１５のいずれか１項に記載の表示制御装置。
  17. タッチパッドを有する操作装置からの信号を受け、画面に表示するための画面データを生成する表示制御方法であって、
    ユーザが指で前記タッチパッドを操作するときに前記指が接触した前記タッチパッド上の位置情報を含むタッチ情報を検出するタッチ情報検出ステップと、
    前記タッチ情報検出ステップにより検出された前記タッチ情報によって示される特徴であって、前記指による前記タッチパッド上での操作に起因する特徴を用いて、前記ユーザが意図する方向を決定する方向決定ステップと、
    前記方向決定ステップにより決定された前記方向に依存させて、前記画面データを生成する画面データ生成ステップとを含む
    表示制御方法。
  18. 請求項１７に記載の表示制御方法に含まれるステップをコンピュータに実行させるための
    プログラム。
  19. タッチパッドを有する操作装置からの信号を受け、画面に表示するための画面データを生成する集積回路であって、
    ユーザが指で前記タッチパッドを操作するときに前記指が接触した前記タッチパッド上の位置情報を含むタッチ情報を検出するタッチ情報検出部と、
    前記タッチ情報検出部により検出された前記タッチ情報によって示される特徴であって、前記指による前記タッチパッド上での操作に起因する特徴を用いて、前記ユーザが意図する方向を決定する方向決定部と、
    前記方向決定部により決定された前記方向に依存させて、前記画面データを生成する画面データ生成部とを備える
    集積回路。
JP2011533901A 2010-01-26 2011-01-19 表示制御装置、表示制御方法、プログラムおよび集積回路 Active JP5667984B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011533901A JP5667984B2 (ja) 2010-01-26 2011-01-19 表示制御装置、表示制御方法、プログラムおよび集積回路

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2010014651 2010-01-26
JP2010014651 2010-01-26
PCT/JP2011/000246 WO2011093033A1 (ja) 2010-01-26 2011-01-19 表示制御装置、表示制御方法、プログラムおよび集積回路
JP2011533901A JP5667984B2 (ja) 2010-01-26 2011-01-19 表示制御装置、表示制御方法、プログラムおよび集積回路

Publications (2)

Publication Number Publication Date
JPWO2011093033A1 true JPWO2011093033A1 (ja) 2013-05-30
JP5667984B2 JP5667984B2 (ja) 2015-02-12

Family

ID=44319032

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011533901A Active JP5667984B2 (ja) 2010-01-26 2011-01-19 表示制御装置、表示制御方法、プログラムおよび集積回路

Country Status (3)

Country Link
US (2) US8860676B2 (ja)
JP (1) JP5667984B2 (ja)
WO (1) WO2011093033A1 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011096166A1 (ja) * 2010-02-03 2011-08-11 パナソニック株式会社 表示制御装置、表示制御方法およびタッチパッド入力システム
US8786561B2 (en) * 2011-05-18 2014-07-22 Microsoft Corporation Disambiguating intentional and incidental contact and motion in multi-touch pointing devices
US9507454B1 (en) * 2011-09-19 2016-11-29 Parade Technologies, Ltd. Enhanced linearity of gestures on a touch-sensitive surface
US20130316767A1 (en) * 2012-05-23 2013-11-28 Hon Hai Precision Industry Co., Ltd. Electronic display structure
CN102799358B (zh) * 2012-06-20 2017-08-08 南京中兴软件有限责任公司 光标显示位置的确定方法及装置
EP3591444A1 (en) * 2012-09-28 2020-01-08 AFL Telecommunications LLC Field installable optical module with configurable cable attachment and internal cable management features
TW201416915A (zh) * 2012-10-19 2014-05-01 Primax Electronics Ltd 游標控制裝置以及游標控制系統
CN103777780A (zh) * 2012-10-24 2014-05-07 致伸科技股份有限公司 光标控制装置以及光标控制系统
CN109240633B (zh) * 2013-03-13 2021-10-22 歌乐株式会社 显示装置以及信息终端操作方法
JP6079337B2 (ja) * 2013-03-18 2017-02-15 富士通株式会社 入力装置および入力制御方法並びに入力制御プログラム
CN103529962B (zh) * 2013-05-28 2017-12-19 Tcl集团股份有限公司 触摸板遥控器的鼠标功能实现方法及系统
KR20150008963A (ko) * 2013-06-27 2015-01-26 삼성전자주식회사 스크린을 제어하는 휴대 단말 및 방법
US10289260B2 (en) 2014-08-27 2019-05-14 Honda Motor Co., Ltd. Systems and techniques for application multi-tasking
CN106020661B (zh) 2014-12-31 2020-11-24 本田技研工业株式会社 具有内部边框的跟踪板
JP6543173B2 (ja) * 2015-11-18 2019-07-10 京セラ株式会社 携帯電子機器、制御方法および制御プログラム
JP2017134638A (ja) * 2016-01-28 2017-08-03 株式会社東海理化電機製作所 操作検出装置
US10402161B2 (en) 2016-11-13 2019-09-03 Honda Motor Co., Ltd. Human-vehicle interaction

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3161794B2 (ja) * 1992-03-05 2001-04-25 松下電器産業株式会社 ペン入力装置及びペン入力方法
JPH10301695A (ja) * 1997-04-25 1998-11-13 Hitachi Ltd 状態検出方法及び携帯端末装置
JPH11143604A (ja) 1997-11-05 1999-05-28 Nec Corp 携帯端末装置
GB2364226A (en) * 2000-06-30 2002-01-16 Nokia Corp Method of selecting an object by controlling an on screen pointer
JP2003233454A (ja) * 2002-02-13 2003-08-22 Toshiba Corp 情報処理装置
CN101390034B (zh) * 2004-01-29 2012-03-14 辛纳普蒂克斯有限公司 采用二维定位设备产生一维信号的方法及装置
US7653883B2 (en) * 2004-07-30 2010-01-26 Apple Inc. Proximity detector in handheld device
JP2006072872A (ja) * 2004-09-06 2006-03-16 Matsushita Electric Ind Co Ltd 携帯型情報処理装置、情報処理装置の画面回転方法および合成データ回転方法
US20060119585A1 (en) * 2004-12-07 2006-06-08 Skinner David N Remote control with touchpad and method
WO2006126310A1 (ja) * 2005-05-27 2006-11-30 Sharp Kabushiki Kaisha 表示装置
JP4786292B2 (ja) * 2005-10-26 2011-10-05 シャープ株式会社 情報処理装置、階層情報出力方法及びプログラム
JP2008052062A (ja) 2006-08-24 2008-03-06 Ricoh Co Ltd 表示装置、表示装置の表示方法、プログラム及び記録媒体
US8665225B2 (en) * 2007-01-07 2014-03-04 Apple Inc. Portable multifunction device, method, and graphical user interface for interpreting a finger gesture
US8681104B2 (en) * 2007-06-13 2014-03-25 Apple Inc. Pinch-throw and translation gestures
JP5034912B2 (ja) * 2007-12-06 2012-09-26 パナソニック株式会社 情報入力装置、情報入力方法、および情報入力プログラム
JP4743267B2 (ja) * 2008-12-12 2011-08-10 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US20110205169A1 (en) * 2010-02-24 2011-08-25 Primax Electronics Ltd. Multi-touch input apparatus and its interface method using hybrid resolution based touch data

Also Published As

Publication number Publication date
WO2011093033A1 (ja) 2011-08-04
US8860676B2 (en) 2014-10-14
JP5667984B2 (ja) 2015-02-12
US20120013463A1 (en) 2012-01-19
US20140375589A1 (en) 2014-12-25

Similar Documents

Publication Publication Date Title
JP5667984B2 (ja) 表示制御装置、表示制御方法、プログラムおよび集積回路
US11755137B2 (en) Gesture recognition devices and methods
JP5802667B2 (ja) ジェスチャ入力装置およびジェスチャ入力方法
WO2017215375A1 (zh) 信息输入装置与方法
CN103870804B (zh) 具有脸部识别功能的移动装置和控制该移动装置的方法
WO2016206279A1 (zh) 触控显示装置及其触控方法
JP5658500B2 (ja) 情報処理装置及びその制御方法
TW201432520A (zh) 操作方法以及電子裝置
KR102090956B1 (ko) 지문 인식 방법 및 이를 위한 장치
RU2598598C2 (ru) Устройство обработки информации, система обработки информации и способ обработки информации
KR20080050169A (ko) 제스처 기반 사용자 입력 방법 및 장치
JPWO2015198688A1 (ja) 情報処理装置、情報処理方法及びプログラム
KR20100062901A (ko) 터치 패턴을 이용한 경로 탐색 방법 및 장치
JP6272069B2 (ja) 情報処理装置、情報処理方法、コンピュータプログラム、及び記録媒体
JP4345755B2 (ja) 入力位置設定方法、入力位置設定装置、入力位置設定プログラムおよび情報入力システム
JP5342806B2 (ja) 表示方法および表示装置
JP4871226B2 (ja) 認識装置および認識方法
JP2016110383A (ja) 触覚伝達装置
US20150339538A1 (en) Electronic controller, control method, and control program
TWI536794B (zh) 具非接觸式手部控制功能之行動電話
JP6643825B2 (ja) 装置及び方法
JP2007058815A (ja) 動作判別装置、動作判別プログラムおよびコンピュータ読取り可能な記録媒体
JP6233040B2 (ja) 入力装置，表示制御方法，プログラム及び集積回路装置
JP5678697B2 (ja) コンピュータ装置、入力システム、及びプログラム
JP2018045729A (ja) 情報処理装置、情報処理方法、コンピュータプログラム、及び記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131029

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20140606

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140909

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141015

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141209

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141215

R150 Certificate of patent or registration of utility model

Ref document number: 5667984

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150