JP5284473B2 - 携帯型表示装置およびその制御方法、プログラム - Google Patents

Description

本発明は、携帯型の表示装置に関するものであり、更に詳しくは、２画面の表示部および当該表示部に対して近接または接触若しくは押圧される座標を検出するタッチパネルを備える携帯型表示装置に関する。

近年、メニュー選択などの操作を必要とする携帯型の表示装置では、画面の表示に応じ、ペンまたは指によりパネルを押圧して所望のメニューを選択するなどの操作を受け付けるタッチパネルを備えたものが増加している。このような携帯型表示装置では、パネルの押圧された位置を特定するため、抵抗膜方式、静電容量方式、光センサ方式、赤外線方式など周知の種々の方式が採用されている。

また、このような携帯型表示装置の表示画面は、装置の筐体面に占める割合がより大きい方が好ましいため、近年では（典型的には見開きで）２画面のものがあり、さらにこれら２つの画面が継ぎ目無く（シームレスに）繋がっているものがある。

日本特開２００６−５３６７８号公報には、このような２画面を有するタッチパネル付きのノートブックパソコンの構造と、この装置において仮想キーボードや仮想マウスなどの表示画面上におけるユーザインタフェースの構成とが開示されている。

日本特開２００６−５３６７８号公報

ここで上記のような従来の携帯型表示装置のうち、ノートパソコンなど携帯可能であっても使用時には机の上などに据え置いて使用することが予定されるものについては、仮想キーボードや仮想マウスなどのインタフェース画面を表示することにより入力を受け付ける構成は好適なものであると言える。

しかし、片手で携帯しながら操作する携帯型表示装置、例えば携帯電話端末やＰＤＡ（Personal Digital Assistant）装置については、仮想キーボードや仮想マウスなどにより操作を行うことが必ずしも適しているとは言えない。

また、電子文書を書籍のように２画面による見開きで表示させる装置またはアプリケーションソフトウェア（電子ブックとも呼ばれる）など、２画面とも表示画面として使用することが予定されている装置またはアプリケーションソフトウェアでは、表示画面上に仮想キーボードや仮想マウスなどを表示すると邪魔になるため、より好適に操作入力を受け付けるための手法が必要となる。

そこで本発明は、片手で把持できる程度に小型の携帯型表示装置であって、２画面の表示画面に好適な操作入力用インタフェースを備える携帯型表示装置およびその制御方法、プログラムを提供することを目的とする。

本発明の第１の局面は、利用者により把持可能な携帯型表示装置であって、
隣り合う２つの画面にそれぞれ画像を表示する表示部と、
前記利用者により近接または接触若しくは押圧された前記表示部上の座標を２つ以上取得可能な入力部と、
前記入力部により取得される近接または接触若しくは押圧された前記表示部上の座標を時系列に応じて関連づけることにより、関連する２つ以上の座標の変化態様に対応する予め記憶される処理コマンドとして認識し実行するジェスチャ認識部と
を備え、
前記ジェスチャ認識部は、前記入力部により取得される座標に、表示される前記画像とは無関係に固定的に定められる固定座標が含まれていない場合、前記処理コマンドとして認識し実行しない非受付状態となり、前記固定座標が含まれている場合、前記処理コマンドを認識可能な受付状態となることを特徴とする。

本発明の第２の局面は、本発明の第１の局面において、
前記ジェスチャ認識部は、前記２つの画面が隣り合う部分または当該部分近傍の予め定められた固定座標に基づき、前記処理コマンドを実行することを特徴とする。

本発明の第３の局面は、本発明の第１の局面において、
前記入力部は、当該携帯型表示装置を把持する前記利用者の一方の手指の位置に対応する前記表示部上の座標であって前記利用者の一方の手指による把持に適した位置に対応する座標を前記固定座標として取得するとともに、前記利用者の他方の手指の位置に対応する前記表示部上の座標を前記関連する２つ以上の座標として取得することを特徴とする。

本発明の第４の局面は、本発明の第１の局面において、
前記表示部は、前記２つの画面が隣り合う辺または当該辺近傍を谷折り線として、前記２つの画面が対向するよう折りたたみ可能であり、
前記ジェスチャ認識部は、前記谷折り線上または前記谷折り線近傍の座標を含む固定座標に基づき、前記処理コマンドを実行することを特徴とする。

本発明の第５の局面は、本発明の第１の局面において、
前記ジェスチャ認識部は、前記関連する２つ以上の座標が前記２つの画面の一方から他方へ移動する変化態様である場合、当該変化態様に応じた所定のページ送りコマンドとして認識し実行し、
前記表示部は、所定ページにそれぞれ対応付けられた２つの画像を前記２つの画面において見開き２ページの形で表示するとともに、前記ジェスチャ認識部により前記ページ送りコマンドが実行される場合には、前記変化態様に応じて所定数だけ増加または減少させたページに対応付けられた画像を表示することを特徴とする。

本発明の第６の局面は、本発明の第１の局面において、
前記ジェスチャ認識部は、前記入力部により取得される座標に、前記固定座標から所定距離だけ離れた前記２つの画面の外周近傍の予め定められた座標が所定期間連続して含まれている場合、前記期間中所定のページ送りコマンドとして認識し実行し、
前記表示部は、所定ページとそれぞれ対応付けられた２つの画像を前記２つの画面において見開き２ページの形で表示するとともに、前記ジェスチャ認識部により前記ページ送りコマンドが認識される場合には、前記期間中、所定の時間間隔で所定数だけ増加または減少させたページに対応付けられた画像を表示することを特徴とする。

本発明の第７の局面は、本発明の第１の局面において、
前記表示部は、所定ページにそれぞれ対応付けられた２つの画像を前記２つの画面において見開き２ページの形で表示し、
前記ジェスチャ認識部は、前記２つの画面が隣り合う部分または当該部分近傍における前記画面端部近傍から中央近傍へ前記関連する２つ以上の座標が移動する変化態様である場合、所定のしおり付与コマンドとして認識し、前記表示部により表示されている画像に対応するページを記憶することを特徴とする。

本発明の第８の局面は、本発明の第１の局面において、
前記ジェスチャ認識部は、前記２つの画面における１つ以上の四角形状の表示用ウィンドウの周囲４つの辺のうちの１辺近傍から他の１辺近傍へ向かって前記関連する２つ以上の座標が移動する変化態様である場合、当該変化態様に応じた所定のウィンドウ態様変更コマンドとして認識し実行し、
前記表示部は、前記ジェスチャ認識部により前記ウィンドウ態様変更コマンドが実行される場合には、前記変化態様に応じて前記ウィンドウの分割数または分割形態を変更し、変更された態様で前記ウィンドウ内に画像を表示することを特徴とする。

本発明の第９の局面は、本発明の第１の局面において、
前記ジェスチャ認識部は、前記入力部により取得される座標に、前記２つの画面が隣り合う部分または当該部分近傍の予め定められた複数の固定座標のうち所定数の固定座標が含まれていない場合、前記処理コマンドとして認識し実行しない非受付状態となり、前記所定数の固定座標が含まれている場合、前記処理コマンドを認識可能な受付状態となることを特徴とする。

本発明の第１０の局面は、本発明の第１の局面において、
前記入力部は、前記ジェスチャ認識部において前記非受付状態である期間中、取得すべき前記表示部上の座標の範囲を前記固定座標または前記固定座標近傍に限定し、または前記表示部上の座標を取得すべき時間間隔を前記受付状態である期間中の当該時間間隔よりも長く設定する動作の少なくとも一方を行うことにより前記座標を取得することを特徴とする。

本発明の第１１の局面は、隣り合う２つの画面にそれぞれ画像を表示する表示部を備え、利用者により把持可能な携帯型表示装置の制御方法であって、
前記利用者により近接または接触若しくは押圧された前記表示部上の座標を２つ以上取得する入力ステップと、
前記入力ステップにおいて取得される近接または接触若しくは押圧された前記表示部上の座標を時系列に応じて関連づけることにより、関連する２つ以上の座標の変化態様に対応する予め記憶される処理コマンドとして認識し実行するジェスチャ認識ステップと
を備え、
前記ジェスチャ認識ステップでは、前記入力ステップにおいて取得される座標に、表示される前記画像とは無関係に固定的に定められる固定座標が含まれていない場合、前記処理コマンドとして認識し実行しない非受付状態となり、前記固定座標が含まれている場合、前記処理コマンドを認識可能な受付状態となることを特徴とする。

本発明の第１２の局面は、隣り合う２つの画面にそれぞれ画像を表示する表示部を備え、利用者により把持可能な携帯型表示装置に、
前記利用者により近接または接触若しくは押圧された前記表示部上の座標を２つ以上取得する入力ステップと、
前記入力ステップにおいて取得される近接または接触若しくは押圧された前記表示部上の座標を時系列に応じて関連づけることにより、関連する２つ以上の座標の変化態様に対応する予め記憶される処理コマンドとして認識し実行するジェスチャ認識ステップと
を実行させるプログラムであって、
前記ジェスチャ認識ステップでは、前記入力ステップにおいて取得される座標に、表示される前記画像とは無関係に固定的に定められる固定座標が含まれていない場合、前記処理コマンドとして認識し実行しない非受付状態となり、前記固定座標が含まれている場合、前記処理コマンドを認識可能な受付状態となることを特徴とする、プログラムである。

本発明の第１の局面によれば、入力部により取得される座標に、所定の固定座標が含まれていない場合、処理コマンドとして認識し実行しない非受付状態となり、固定座標が含まれている場合、処理コマンドを認識可能な受付状態となるので、例えば当該装置を把持する片手の親指で固定座標位置が押下されるとジェスチャ認識を受け付ける状態となるので、携帯型表示装置を把持するとき簡単にコマンド受付状態にしてジェスチャ認識が可能となるとともに、典型的には装置を把持しない時にコマンド非受付状態となって意図しない表示画面への接触等によりコマンドが誤って実行されることを防止することができる。

本発明の第２の局面によれば、例えば当該装置を把持する片手の親指で２つの画面が隣り合う部分または当該部分近傍の予め定められた固定座標位置が押下されるとジェスチャ認識を受け付ける状態となるので、２画面の携帯型表示装置を把持すると自然にコマンド受付状態となってジェスチャ認識が可能となり、把持しない時にコマンド非受付状態となってコマンドが誤って実行されることを防止することができる。このように２画面の表示画面に好適な操作入力用インタフェースを実現することができる。

本発明の第３の局面によれば、当該携帯型表示装置を把持する利用者の一方の手指の位置に対応する把持に適した位置に対応する座標を固定座標として取得するとともに、利用者の他方の手指の位置に対応する表示部上の座標を関連する２つ以上の座標として取得するので、携帯型表示装置を把持するとき簡単にコマンド受付状態にしてジェスチャ認識が可能となり、把持しない時にコマンド非受付状態となってコマンドが誤って実行されることを防止することができる。

本発明の第４の局面によれば、谷折り線上または谷折り線近傍の座標を含む固定座標に基づき、処理コマンドが実行されるので、例えば本を持つように谷折り線に沿って装置を把持する親指を押し当てて持つことが予定され、より自然にコマンド受付状態となってジェスチャ認識が可能となり、把持しない時にコマンド非受付状態となってコマンドが誤って実行されることを防止することができる。

本発明の第５の局面によれば、ジェスチャ認識部により、関連する２つ以上の座標が２つの画面の一方から他方へ移動する変化態様である場合、当該変化態様に応じた所定のページ送りコマンドとして認識され実行されるので、直感的なページをめくる２画面に渡るジェスチャにより容易にページ送りを実行することができる。

本発明の第６の局面によれば、入力部により取得される座標に、固定座標から所定距離だけ離れた２つの画面の外周近傍の予め定められた座標が所定期間連続して含まれている場合、期間中所定のページ送りコマンドが認識され実行されるので、上記座標位置を例えば押し続ける簡単な動作により容易に連続したページ送りを実行することができる。

本発明の第７の局面によれば、２つの画面が隣り合う部分または当該部分近傍における画面端部近傍から中央近傍へ関連する２つ以上の座標が移動する変化態様である場合、当該変化態様に応じた所定のしおり付与コマンドが認識され対応するページが記憶されるので、しおりをはさむような簡単で直感的なジェスチャにより容易にしおり付与処理を実行することができる。

本発明の第８の局面によれば、２つの画面における１つ以上の四角形状の表示用ウィンドウの周囲４つの辺のうちの１辺近傍から他の１辺近傍へ向かって関連する２つ以上の座標が移動する変化態様である場合、当該変化態様に応じた所定のウィンドウ態様変更コマンドが認識され実行されるので、簡単で直感的なジェスチャにより容易にウィンドウの分割数または分割形態を変更することができる。

本発明の第９の局面によれば、入力部により取得される座標に、複数の固定座標のうち所定数の固定座標が含まれていない場合、処理コマンドとして認識し実行しない非受付状態となり、所定数の固定座標が含まれている場合、処理コマンドを認識可能な受付状態となるので、１つの座標で決定する構成よりも誤検出を防止することができる。

本発明の第１０の局面によれば、非受付状態である期間中、取得すべき表示部上の座標の範囲を固定座標またはその近傍に限定し、または座標を取得する時間間隔を長く設定する動作の少なくとも一方を行うことにより座標を取得するので、固定座標以外の範囲の座標を取得するための動作や信号等を省略でき、また単位時間当たりの座標を取得する回数を少なくすることができるので、非受付状態中の電力消費を低減することができる。

本発明の第１１の局面によれば、本発明の第１の局面と同様の効果を携帯表示装置の制御方法において奏することができる。

本発明の第１２の局面によれば、本発明の第１の局面と同様の効果を携帯表示装置のプログラムにおいて奏することができる。

本発明の一実施形態に係る携帯情報端末の外観斜視図である。 上記実施形態における携帯情報端末の表示部および入力部の主な構成を示すブロック図である。 上記実施形態に係る携帯情報端末の構成を示すブロック図である。 上記実施形態に係る携帯情報端末の全体的な処理の流れを示すフローチャートである。 上記実施形態における入力処理（ステップＳ２）の詳細な流れを示すフローチャートである。 上記実施形態に係る携帯情報端末の表示画面と利用者の左手親指との位置関係を示す図である。 上記実施形態における固定座標エリアを示す図である。 上記実施形態における認識処理（ステップＳ３）の詳細な流れを示すフローチャートである。 上記実施形態における読書処理（ステップＳ３３）の詳細な流れを示すフローチャートである。 上記実施形態における表示部中央上部の所定領域を示す図である。 上記実施形態における表示部中央下部の所定領域を示す図である。 上記実施形態におけるしおり付与処理が行われる場合に表示される画面例を示す図である。 上記実施形態において、右人差し指が左画面から右画面へ移動するジェスチャが入力される場合の例を示す図である。 上記実施形態において、右人差し指が右画面から左画面へ移動するジェスチャが入力される場合の例を示す図である。 上記実施形態において、右親指で右画面の右端部近傍を押さえるジェスチャが入力される場合の例を示す図である。 上記実施形態におけるウィンドウ処理（ステップＳ３５）の詳細な流れを示すフローチャートである。 上記実施形態におけるウィンドウの態様変化と予め定められたジェスチャとの関係を示す図である。

＜１． 全体的な装置構成および動作＞
図１は、本発明の一実施形態に係る携帯情報端末の外観斜視図である。この携帯情報端末１０は、左表示部１４ａおよび右表示部１４ｂを備えており、これら左表示部１４ａおよび右表示部１４ｂは互いが対向するように、図示されないヒンジ部などにより中央部分で折りたたむことができる構造となっている。図１では、左表示部１４ａおよび右表示部１４ｂとが隣接する辺近傍である装置中央部分で少しだけ折り曲げられた状態の携帯情報端末が示されており、見開きの本を持つように片手で把持可能な程度の大きさおよび形状、重量バランスなどを有している。

より詳しくはこの携帯情報端末１０は、後述するように上記装置中央部の下方近傍部分が（典型的には利用者の利き手でない方の手の）親指により押さえられ、またその裏側近傍が他の指により押さえられることで、利用者の片手により把持される。この携帯情報端末１０は、このような片手による把持に適した形状および重量バランスとなっている。

また図１には示されていないが、上記中央部分に相当する左表示部１４ａの右辺部と右表示部１４ｂの左辺部との間には周知の導光部材（例えばプリズムやファイバープレートと呼ばれる数μｍ径のシングルファイバを束ねた導光素子など）が設けられている。この導光部材により、左表示部１４ａおよび右表示部１４ｂにより表示される二枚の画像の一部が光路変換され、切れ目または継ぎ目のない（シームレスな）一枚の画像が表示される。また、これら左表示部１４ａおよび右表示部１４ｂの上面（表面）には透明なタッチパネルが設けられており、（典型的には利用者の利き手の）指やペンなどで画面を押下（接触）することにより、その画面上の押下位置が検出される。これら表示部およびタッチパネルの構成等については後述する。

図２は、本発明の一実施形態に係る携帯情報端末の表示部および入力部の主な構成を示すブロック図である。この携帯情報端末１０は、制御部１００と、左表示部１４ａおよび右表示部１４ｂを有する２つの液晶パネル１４１と、この２つの液晶パネル１４１をそれぞれ駆動するスキャンドライバ１４２およびデータドライバ１４３と、表示制御回路１４５と、２つの液晶パネル１４１上に設けられたマトリクス型抵抗膜方式のタッチパネル１６１と、このタッチパネル１６１に利用者の指やペンなどが押下された位置を検出するＸ座標センサ１６３およびＹ座標センサ１６２と、座標処理部１６５とを備える。

ここで、タッチパネル１６１は、対向する２枚の抵抗膜の接触点をアナログ的に検知する一般的な抵抗膜方式のタッチパネルではなく、行方向に沿って平行に配置される多数の透明電極と、これらと垂直方向に所定の短い距離を空けて対向するように列方向に沿って平行に配置される多数の透明電極とを備えている。Ｘ座標センサ１６３は、列方向に沿った上記各電極に接続されており、Ｙ座標センサ１６２は、行方向に沿った上記各電極に接続されている。したがって、利用者の指やペンなどに押下された位置で交差する行方向および列方向の電極が接触すると、Ｘ座標センサ１６３およびＹ座標センサ１６２により検出することができる。よって、電極の配列ピッチに応じた分解能でタッチパネル１６１上の多数の座標をそれぞれ個別に認識することができる。

また、多数の座標を個別に認識することができるタッチパネルであれば、マトリクス型の静電容量方式や光センサ方式、機械センサ方式など周知の様々な方式のタッチパネルを採用することができる。さらに、１つの座標しか認識できない方式のタッチパネルを複数組み合わせて使用してもよい。例えば、左表示部１４ａに対応するタッチパネルと、右表示部１４ｂに対応するタッチパネルと、後述するこれらの隣接部近傍に対応するタッチパネルとをそれぞれ個別に設ける構成であってもよい。そうすれば製造コストを下げることができる。なお、一般的に静電容量方式や光センサ方式は抵抗膜方式のように指をタッチパネルに押しつける必要が無く、軽く接触させたり近接させたりするだけでよいので好適である場合が多い。

また２つの液晶パネル１４１は、アクティブマトリクス型の液晶パネルであって、各液晶パネル毎に１つずつのスキャンドライバ１４２およびデータドライバ１４３により液晶パネル内の各画素の選択およびデータ付与が行われ、１枚の画像が形成される。なお、１枚の画像を２つの液晶パネル１４１で表示し、またタッチパネル１６１の検出座標と一意に対応付けるため、右表示部１４ｂを有する液晶パネル１４１の画素位置は、左表示部１４ａを有する液晶パネル１４１の画素位置に対して、Ｘ座標の最大値（左端の画素位置）を加えた値として取り扱えばよい。また、１枚の画像として表示するため、２つの液晶パネル１４１の間には導光部材が設けられシームレスな表示が行われることについては前述したとおりである。

図３は、本発明の一実施形態に係る携帯情報端末の構成を示すブロック図である。この携帯情報端末１０は、一般的な（専用）オペレーティングシステムや所定のアプリケーション・ソフトウェアにより所定の処理を行う装置であって、ＣＰＵ（Central Processing Unit）およびＲＡＭなどの半導体メモリなどにより構成される制御部１００と、ＥＰＲＯＭなどの不揮発性の半導体メモリを含む記憶部１２０と、後述する液晶パネル等からなる表示部１４０およびタッチパネルなどの操作入力装置を含む入力部１６０とを備える。

携帯情報端末１０に含まれる制御部１００は、入力部１６０を介して受け付けられた利用者による後述するジェスチャを認識することにより、所定のコマンド処理を行う機能を有している。この制御部１００の詳しい動作については後述する。

なお、制御部１００の上記機能は、半導体メモリに格納された所定のジェスチャ認識プログラムＰ（例えばジェスチャ認識のためのアプリケーションソフトウェア）をＣＰＵが実行することにより実現される。ここで、上記ジェスチャ認識プログラムＰは、製造時にＥＰＲＯＭ等に書き込まれるが、例えば、そのプログラムを記録したコンピュータで読み取り可能な記録媒体であるＣＤ−ＲＯＭやその他の非一時的記録媒体や通信回線を介して製造時以降に書き込まれる構成であってもよい。そして、本携帯情報端末１０の起動のための所定操作がなされると、記憶部１２０に書き込まれているジェスチャ認識プログラムＰは、上記ＲＡＭなどの半導体メモリにその一部または全部が転送されてそこに一時的に格納され、制御部１００内のＣＰＵによって実行される。これにより、制御部１００の各部の制御処理が実現される。

＜２． 携帯情報端末の全体的な動作＞
次に、携帯情報端末１０の全体的な動作について説明する。図４は、この携帯情報端末１０の全体的な処理の流れを示すフローチャートである。この図４に示すステップＳ１（初期設定処理）において、携帯情報端末１０に含まれる制御部１００は、典型的には利用者の開始指示を受け取ることにより、例えば利用者に提示される電子文書に対応する画像データを決定する。また、後述する処理に必要な各値を初期化する。なお、初期化されたときのウィンドウ数は１（ウィンドウが分割されていない状態）であるものとする。

ここで、この携帯情報端末１０は、周知の各種アプリケーションソフトを内蔵可能であるが、読書モードと、ウィンドウモードについてのみ説明する。読書モードとは、記憶部１２０に記憶される電子的な書籍データを閲覧するためのモードである。この書籍データは、文字データを含む画像データであって、書籍のように所定ページと関連付けられて記憶されている。またウィンドウモードとは、複数のアプリケーションを１つ、２つまたは４つのウィンドウ内に表示するよう、ウィンドウの数や分割形態を指示するためのモードである。なお、説明の便宜のため、ここではこの２つのモードに対応する処理のみが行われるものとする。

次にステップＳ２（入力処理）では、ステップＳ１において決定された画像を表示部１４０に表示させるとともに、入力部１６０から利用者による操作入力、ここでは手指を接触させることによる操作入力を受け付ける。

ステップＳ３（認識処理）では、ステップＳ２において受け付けられた操作入力に応じて、対応する処理コマンドを認識し、認識された処理コマンドに応じた画像を表示部１４０に表示させる。

ステップＳ４では、利用者により装置の停止指示が与えられまたは所定時間の経過によるスリープ処理などにより各種処理を終了するか否かが判定され、終了しない場合には処理はステップＳ２に戻って処理が繰り返され（Ｓ４→Ｓ２→Ｓ３→Ｓ４）、処理が終了する場合には携帯情報端末１０は一旦処理を終了し、典型的には利用者により装置起動の指示が与えられるときに、再び上記処理が開始される。

＜３． 携帯情報端末の入力処理動作＞
次に、携帯情報端末１０による入力処理（ステップＳ２）の動作について詳しく説明する。図５は、この入力処理（ステップＳ２）の詳細な流れを示すフローチャートである。

この図５に示すステップＳ２１において、制御部１００は、予め定められた位置に対応する固定座標に指が下ろされたか否かを判定する。具体的には、制御部１００は、入力部１６０により受け付けられる座標群に固定座標エリア内の座標が含まれているかを比較判定する。以下、図６および図７を参照して、この固定座標エリアについて説明する。

図６は、携帯情報端末の表示画面と利用者の左手親指との位置関係を示す図であり、図７は、その左手親指近傍に設けられる固定座標エリアを示す図である。前述したように、本携帯情報端末１０は、その中央部の下方近傍部分が利用者の利き手でない方の手（ここでは説明の便宜上左手であるものとする）の親指により押さえられ、またその裏側近傍が他の指により押さえられることで、利用者の片手により自然に把持される。図６にはこの左手親指Ｆｔｌが示されている。なお、利き手や義手等で把持してもよいことはもちろんである。

また図７に示されるように、この左表示部１４ａと右表示部１４ｂとの隣接辺下方部分には固定座標エリア１６が設けられている。この固定座標エリア１６内には入力部１６０により押下された位置の座標を検出可能な検出点Ｐｓが複数含まれている。これらのうち、実際に押下されている位置の座標に対応する検出点Ｐｓは斜線を付した丸印で示されている。これらの斜線を付した丸印に対応する座標が入力部１６０により受け付けられる座標群の一部または全てであって、制御部１００は、これらの座標群が固定座標エリア内の座標と１つ以上（誤検出を防ぐためには２つまたはそれ以上の所定数以上）が重複しているか否かを判定する。なお、上記のような固定座標エリア内に左手親指の位置に対応する座標があるか否かを判定する手法は一例であって、周知のどのような手法で判定してもよい。

ステップＳ２１において制御部１００は上記のように固定座標に指が下ろされたか否かを判定し、指が下ろされたと判定される場合（ステップＳ２１においてＹｅｓの場合）、後述するコマンドを受け付け可能な状態（以下では「コマンド受付状態」とも称する）となって、処理はステップＳ２３へ進む。また、指が下ろされていないと判定される場合（ステップＳ２１においてＮｏの場合）、後述するコマンドを受け付け不可能な状態（以下では「コマンド非受付状態」とも称する）となって本入力処理は終了して図４に示す処理に復帰する。なお、この場合にも後述するジェスチャ以外のジェスチャを認識し、認識されたジェスチャに対応する（後述するコマンド以外の）コマンド処理を行う構成であってもよい。

また、コマンド非受付状態では、コマンド受付状態において行われるべき関連する処理を行う必要がないので、タッチパネル１６１における検出を行うＸ座標センサ１６３およびＹ座標センサ１６２の駆動周波数（センサデータ読み出し周波数）を低くしたり（例えば、６０フレーム毎に検出を行うなど）、また光センサを使用する場合には光源の駆動周波数を低くしたり、固定座標エリア外のセンサデータ読み出しや座標処理部１６５ｂによるデータ処理などを行わないようにするなど、センサ駆動用の電力やデータ処理のための電力の消費を低減するようセンサを駆動しまたはデータを処理することが好ましい。なお、上記コマンド受付状態に遷移すれば、これらの駆動または処理は通常状態に復帰することになる。

さらに、固定座標エリア外の座標はタッチパネル１６１で検出し、固定座標エリア内の座標はタッチパネル１６１とは異なる単一電極の抵抗膜方式の（シングル）タッチセンサや機械式センサなどで検出し、コマンド非受付状態となったときにのみ上記タッチパネル１６１の動作を完全に停止する構成であってもよい。そうすればコマンド非受付状態での電力消費量を低減することができる。

次に、ステップＳ２３において、制御部１００は、固定座標エリア１６以外の場所に指が下ろされているか否かを判定する。具体的には、制御部１００は、入力部１６０により受け付けられる座標群に固定座標エリア１６以外の座標が含まれているかを比較判定する。この結果、さらに他の指が下ろされていると判定される場合（ステップＳ２３においてＹｅｓの場合）、処理はステップＳ２５へ進む。また、他の指は下ろされていないと判定される場合（ステップＳ２３においてＮｏの場合）、始点座標および終点座標を初期化し（ステップＳ２４）、本入力処理は終了して図４に示す処理に復帰する。なお、上記判定では、誤検出を防ぐため上記と同様に固定座標エリア１６以外の座標が２つまたはそれ以上の所定数以上含まれているかを比較判定することが好適である。

続いて、ステップＳ２５において、制御部１００は、入力部１６０により受け付けられる座標群のうち固定座標エリア１６以外の座標（複数或る場合は任意の１つまたは近接する座標群の平均座標）を始点座標（Ｘ１，Ｙ１）として記憶部１２０に記憶するとともに、後述するジェスチャ認識に必要な経過時間の測定を開始する。なお、このジェスチャとは、利用者の指が表示部上を動くことにより生じる座標の時系列的変化の態様を通常意味するが、ここでは所定時間、所定の座標で動かないことによる座標が変化しない態様を含むものとする。

次に、ステップＳ２７において、制御部１００は、固定座標エリア１６以外の場所から指が上げられたかまたは所定時間を経過したか否かを判定する。具体的には、制御部１００は、入力部１６０により受け付けられる座標群に固定座標エリア１６以外の座標が含まれていない状態となったかまたは所定時間が経過したかのいずれかの条件が成立したか否かを比較判定する。この結果、上記他の指が上げられたかまたは所定時間が経過したと判定される場合（ステップＳ２７においてＹｅｓの場合）、処理はステップＳ２９へ進む。また、上記他の指は上げられていない場合であってかつ所定時間が経過していないと判定される場合（ステップＳ２５においてＮｏの場合）、上記他の指が上げられたかまたは所定時間が経過したと判定されるまでの本処理（Ｓ２７）が繰り返される。

そして一般的なタイムアウト処理のための時間であれば、上記所定時間は通常のジェスチャとして成立しない程度に長い時間が設定されるが、ここでの上記所定時間は入力座標と対応付けられて設定される。具体的には、入力座標が（所定範囲内で）変化しない場合には、短い時間（例えば１秒程度）が設定され、その時間が経過すれば続く処理へ進む。または入力座標が後述する連続ページめくり動作に関連する所定の座標範囲内（具体的には後述する図１５に示す所定範囲３３ａ，３３ｂ）にある場合には、上記短い時間が設定され、その時間が経過すれば続く処理へ進むように構成してもよい。このような場合は、後述する連続ページめくり動作のための座標指定である可能性があるため、短い時間で認識処理（ステップＳ３）へ進むことが好ましい。さらに上記所定時間が複数回経過すると、さらに短い時間（例えば０．２秒程度）が設定され、結果的に連続ページめくり動作の速度が上がるように設定されてもよい。

なお、上記繰り返し処理は所定の割り込み処理などによっても解除されステップＳ２９の処理へ進むものとする。また、上記判定では、誤検出を防ぐため上記と同様に固定座標エリア１６以外の座標が含まれていないかまたは２つ若しくはそれ以上の所定数以下が含まれているかを比較判定することが好適である。

続いて、ステップＳ２９において、制御部１００は、入力部１６０により直前に受け付けられた座標群のうち固定座標エリア１６以外の座標（複数或る場合は任意の１つまたは近接する座標群の平均座標）を終点座標（Ｘ２，Ｙ２）として記憶部１２０に記憶するとともに、経過時間の測定を終了する。なお具体的には、制御部１００は、ステップＳ２７において入力部１６０により受け付けられた座標群のうち固定座標エリア１６以外の座標（複数或る場合は任意の１つまたは近接する座標群の平均座標）を終点座標（Ｘ２，Ｙ２）として記憶部１２０に記憶し続けるようにすれば、指が上げられた時の直前の座標を終点座標として記憶することができる。その後、本入力処理は終了して図４に示す処理に復帰する。

＜４． 携帯情報端末の認識処理動作＞
＜４．１ 認識処理の全体的な流れ＞
次に、携帯情報端末１０による認識処理（ステップＳ３）の動作について詳しく説明する。図８は、この認識処理（ステップＳ３）の詳細な流れを示すフローチャートである。

図８に示すステップＳ３１において、制御部１００は、利用者により読書モードが選択されているか否かを判定する。その結果、読書モードであると判定される場合（ステップＳ３１においてＹｅｓの場合）にはステップＳ３３の読書処理を行う。また、読書モードでないと判定される場合（ステップＳ３１においてＮｏの場合）にはステップＳ３５のウィンドウ処理を行う。これらの処理の終了後、本認識処理は終了して図４に示す処理に復帰する。

なお、前述したように、ここでは説明の便宜のため、読書モードとウィンドウモードの２種類の処理しか行われないものとしたが、実際には周知の各種の処理を行うことができる。次に、読書モードにおける読書処理について詳しく説明する。

＜４．２ 読書モードにおける読書処理動作＞
図９は、読書処理（ステップＳ３３）の詳細な流れを示すフローチャートである。図９に示すステップＳ３３１において、制御部１００は、前述した図５に示すステップＳ２５において得られる始点座標（Ｘ１，Ｙ１）が表示部中央上部の所定領域の範囲内にあるか否かを判定する。

図１０は、この表示部中央上部の所定領域を示す図である。図１０に示すように、（典型的には）右人差し指Ｆｆｒで表示部の中央上部を押下すると、押下された位置に対応する座標が始点座標（Ｘ１，Ｙ１）として記憶される。ここでは右人差し指Ｆｆｒで上記中央上部の所定領域３１の範囲内が押下されているので、上記ステップＳ３３１において、始点座標（Ｘ１，Ｙ１）はこの所定領域３１の範囲内にあると判定されることになる。

上記判定の結果、所定領域３１の範囲内にあると判定される場合（ステップＳ３３１においてＹｅｓの場合）、処理はステップＳ３３２へ進み、範囲内にないと判定される場合（ステップＳ３３１においてＮｏの場合）、処理はステップＳ３３４へ進む。

次に、ステップＳ３３２において、制御部１００は、前述した図５に示すステップＳ２９において得られる終点座標（Ｘ２，Ｙ２）が表示部中央下部の所定領域の範囲内にあるか否かを判定する。

図１１は、この表示部中央下部の所定領域を示す図である。図１０に示すように右人差し指Ｆｆｒで表示部の中央上部を押下した後、図１１に示すように右人差し指Ｆｆｒを表示部の中央下部で離すと、指を上げた位置に対応する座標が終点座標（Ｘ２，Ｙ２）として記憶される。ここでは右人差し指Ｆｆｒを上記中央下部の所定領域３２範囲内で上げている（表示部から離している）ので、上記ステップＳ３３２において、終点座標（Ｘ２，Ｙ２）はこの所定領域３２の範囲内にあると判定されることになる。

上記判定の結果、所定領域３２の範囲内にあると判定される場合（ステップＳ３３２においてＹｅｓの場合）、処理はステップＳ３３３へ進み、範囲内にないと判定される場合（ステップＳ３３２においてＮｏの場合）、本読書処理は終了して図８の処理（さらには図４の処理）に復帰する。

続いて、ステップＳ３３３（しおり付与処理）では、上記ステップＳ３３１，Ｓ３３２により利用者がしおり処理を実行するコマンドとしてのジェスチャを入力したと判定されるので、図１２に示すようなしおり付与処理が行われる。

図１２は、しおり付与処理が行われる場合に表示される画面例を示す図である。図１２に示されるように、左表示部１４ａから右表示部１４ｂに渡って画面上部に表示されているしおり部３３３には複数のアルファベットが記載されており、これらのアルファベットが１つのしおりに相当する。すなわち、しおり部３３３の「Ｎ」と記載された位置を右人差し指Ｆｆｒで触れると、現在左表示部１４ａおよび右表示部１４ｂに表示されている書籍データに対応する画像のページ数がしおり「Ｎ」と関連付けられて記憶部１２０に記憶される。このしおりに関連する情報は装置の動作が終了しても記憶されており、適宜の時間を経て再び上記ページの画像を閲覧したい時には、図１２に類似する図示されないしおり呼び出し画面からしおり「Ｎ」を選択することにより、利用者が書籍データに対応する画像のページ番号等を入力することなく、所望の画像を直ちに呼び出すことができる。

このように、画面中央部上方（の所定領域３１）から画面中央部下方（の所定領域３２）へ右手人差し指で画面に触れて動かすと、表示されている２ページの間にしおりが挟まるようにそのページが記憶されるので、利用者は直感的な操作で簡単にしおり付与処理を行うことができる。

次に、図９に示されるステップＳ３３４において、制御部１００は、始点座標（Ｘ１，Ｙ１）と終点座標（Ｘ２，Ｙ２）とが異なる画面であるか否かを判定する。すなわち始点座標（Ｘ１，Ｙ１）および終点座標（Ｘ２，Ｙ２）のいずれか一方が左表示部１４ａ内の座標であり、その他方が右表示部１４ｂ内の座標であるか否かを判定する。この判定は、例えば右人差し指が左表示部１４ａから右表示部１４ｂへまたはその逆方向へ移動するジェスチャが入力されたか否かを判定するものである。以下、図１３および図１４を参照して具体的に説明する。

図１３は、右人差し指が左画面から右画面へ移動するジェスチャが入力される場合の例を示す図であり、図１４は、右人差し指が右画面から左画面へ移動するジェスチャが入力される場合の例を示す図である。

図１３では、（過去の時点での）右人差し指Ｆｆｒ’により左表示部１４ａが押下されているので、押下された位置に対応する座標が始点座標（Ｘ１，Ｙ１）として記憶される。その後、（現時点での）右人差し指Ｆｆｒが右表示部１４ｂから上げられているので、この上げられた位置に対応する座標が終点座標（Ｘ２，Ｙ２）として記憶される。また図１４では、その逆の方向へのジェスチャがなされている。よってこの場合には、記憶される始点座標および終点座標は図１３の場合と逆になる。

上記ステップＳ３３４において、上記のようなページをめくるコマンドとしてのジェスチャがなされたと判定される場合（ステップＳ３３４においてＹｅｓの場合）、処理はステップＳ３３６へ進み、ページめくり方向を決定する。例えば始点座標が終点座標よりも小さい場合には（Ｘ１＜Ｘ２）、左から右へページをめくるジェスチャが行われたと認識できるので、ページめくり方向を順方向に決定する。その後処理はステップＳ３３７へ進む。また、上記のようなページをめくるジェスチャがなされなかったと判定される場合（ステップＳ３３４においてＮｏの場合）、処理はステップＳ３３５へ進む。

次に、ステップＳ３３５において、制御部１００は、始点座標（Ｘ１，Ｙ１）および終点座標（Ｘ２，Ｙ２）が共に連続ページめくりを指示するための所定位置にあるか否かを判定する。この判定は、例えば右親指で右表示部１４ｂの右端部近傍を所定時間押さえる（静的な）ジェスチャが入力されたか否かを判定するものである。以下、図１５を参照して具体的に説明する。

図１５は、右親指で右画面の右端部近傍を押さえるジェスチャが入力される場合の例を示す図である。図１５では、右親指Ｆｔｒにより右表示部１４ｂの右端部近傍に設定される連続ページめくりを指示するための所定領域３３ｂが押下されているので、押下された位置に対応する座標が始点座標（Ｘ１，Ｙ１）として記憶される。その後、そのまま所定時間が経過後も所定領域３３ｂが押下され続けると、右親指Ｆｔｒが上げられなくてもこの位置に対応する座標が終点座標（Ｘ２，Ｙ２）として記憶される。

すなわち図５に示すステップＳ２７において前述したように、入力座標が（所定範囲内で）変化しない場合には、上記所定時間として短い時間（例えば１秒程度）が設定され、その時間が経過すれば続くステップＳ２９の処理が行われ、終点座標（Ｘ２，Ｙ２）が記憶される。したがって、上記所定領域３３ｂが押し続けられれば、短い上記所定時間（例えば１秒）毎に、本ステップＳ３３５および後述するステップＳ３３７の処理を含む各処理が繰り返され、順方向にページがめくられる処理が繰り返されることになる。また、図１５に示される所定領域３３ａが例えば右手人差し指Ｆｆｒで押さえ続けられると、上記とは逆方向にページがめくられる処理が繰り返されることになる。

上記ステップＳ３３５において、上記のような連続的にページをめくるコマンドとしての静的なジェスチャが入力されたと判定される場合（ステップＳ３３５においてＹｅｓの場合）、処理はステップＳ３３６へ進み、ページめくり方向を決定する。例えば右表示部１４ｂの所定領域３３ｂが押さえられる場合には左から右へページをめくる静的ジェスチャが行われたと認識できるので、ページめくり方向を順方向に決定する。その後処理はステップＳ３３７へ進む。また、上記のような連続的にページをめくるジェスチャがなされなかったと判定される場合（ステップＳ３３５においてＮｏの場合）、結果的に（始点座標および終点座標が初期化されている場合も含め）読書処理に関連するコマンドが入力されなかったと言えるので、本読書処理は終了して図８の処理（さらには図４の処理）に復帰する。

続いてステップＳ３３７において、ステップＳ３３５で決定されたページめくり方向に応じて、現在のページから２つ増加または減少させたページに対応する画像を左表示部１４ａおよび右表示部１４ｂにそれぞれ表示する。そして本読書処理は終了して図８の処理（さらには図４の処理）に復帰する。

なお、上記ページめくり方向に応じて増加または減少されるページ数は通常は２つであるが、この数値は適宜利用者により定めることができるように構成されてもよい。また例えば、始点座標と終点座標との距離やその位置関係、または始点座標の入力から終点座標の入力までの経過時間等に応じてめくられるページ数が適宜変化するように構成されていてもよい。例えば、始点座標から終点座標までの距離が長いほどめくられるページ数が大きくなったり、上記経過時間が短くなるほど（すなわちジェスチャが速く行われるほど）めくられるページ数が大きくなるような構成が考えられる。次に、ウィンドウモードにおけるウィンドウ処理について詳しく説明する。

＜４．３ ウィンドウモードにおけるウィンドウ処理動作＞
図１６は、ウィンドウ処理（ステップＳ３５）の詳細な流れを示すフローチャートである。図１６に示すステップＳ３５１において、制御部１００は、前述した図５に示すステップＳ２５において得られる始点座標（Ｘ１，Ｙ１）および終点座標（Ｘ２，Ｙ２）に基づき、利用者により入力されたジェスチャが予め定められたウィンドウ処理を行うためのコマンドに対応するジェスチャと合致するか否かを判定する。このジェスチャは現在のウィンドウからその態様を、具体的にはウィンドウの数を増減させ、またはウィンドウの分割態様（ここでは縦割りか横割りか）を変化させるコマンドに対応して予め設定されている。このジェスチャとウィンドウの態様変化との関係を図１７を参照して説明する。

図１７は、ウィンドウの態様変化と予め定められたジェスチャとの関係を示す図である。図１７に示されるように、ウィンドウの態様は４つが定められており、左表示部１４ａおよび右表示部１４ｂによって、（見かけ上の）１画面、中央で左右に分割した（縦割りの）縦２画面、中央で上下に分割した（横割りの）横２画面、および上下左右に分割した４画面の態様である。これらのうちの或るウィンドウの態様から他のウィンドウの態様への遷移は、矢印で示されており、その矢印近傍には当該ウィンドウ態様の遷移（変更）を指示するコマンドとして定められているジェスチャが簡易に図示されている。

これらのジェスチャは、画面中央上部を始点座標とするジェスチャＡ１〜Ａ３、画面中央下部を始点座標とするジェスチャＢ１、画面左端中央部を始点座標とするジェスチャＣ１およびＣ２、画面右端中央部を始点座標とするＤ１およびＤ２、画面中央部から左右方向に沿った部分を始点座標とするＥ１およびＥ２、画面中央部を始点座標とするＦ１〜Ｆ４からなる。また図１７には、画面中央部を始点座標とし、画面左端中央部を中間点座標とし、画面右端中央部を終点座標とするジェスチャＡ３’が記載されているが、ここでは説明の便宜のため中間座標の認識を省略し、ジェスチャＡ３’をジェスチャＡ３と同視するものとする。もちろん、このジェスチャＡ３’を正確に認識するために、右手人差し指Ｆｆｒが押し下げられてから上げられるまでの間の上記中間点座標を連続的に検出することにより、画面左端中央部の所定領域内に上記中間点座標が含まれることがあるか否かを判定してもよい。

なお、これらのジェスチャは利用者が直感的に把握しやすいように考案された態様であるが、これらは例示であって利用者が理解しやすいまたは覚えやすい態様であればどのようなものであってもよい。また、ここでは説明の便宜のためウィンドウの分割数を１（非分割），２、または４としたが分割数に限定はなく、さらにウィンドウの分割態様も横に４つに分割したり周知の特殊な形状に分割するなど、どのような態様で分割してもよい。

ここで、例えばウィンドウを１画面から縦２画面に変化させるには、画面中央上部を始点座標とし、画面中央下部を終点座標とするジェスチャＡ１を行えばよい。なお、前述したしおり処理を実行するためのジェスチャとほぼ同じであるが、図８のステップＳ３１において説明したように、（利用者により選択されている動作モードが）読書モードであるときは読書処理として上記ジェスチャはしおり処理を実行するためのジェスチャとして認識され、読書モードでないときはウィンドウ処理として上記ジェスチャはウィンドウの態様を変化させるためのジェスチャとして認識される。

また、ウィンドウを縦２画面から横２画面に変化させるには、図１７に示されるようにジェスチャＡ２，Ａ３を行えばよく、ウィンドウを横２画面から１画面に変化させるには、図１７に示されるようにジェスチャＥ１，Ｅ２を行えばよい。

さらに例えば、ウィンドウを４画面から１画面に変化させるには、画面中央部を始点座標とし、画面左上端部近傍を終点座標とするジェスチャＦ３、または画面中央部を始点座標とし、かつ所定時間押し続けることで同じ位置を終点座標とするジェスチャＦ４を行えばよい。なおここでは、ジェスチャＦ３は、画面中央部を始点座標とし、画面右上端部近傍、右下端部近傍、または左下端部近傍を終点座標とするジェスチャを含むものとする。また、他のウィンドウ態様に変化させるためのジェスチャについては、図１７を参照すれば明らかであるので詳しい説明を省略する。

このように図１６に示すステップＳ３５１において、制御部１００は、上記図１７に示すジェスチャと合致するか否かを判定し、その結果合致しない場合（ステップＳ３５１においてＮｏの場合）にはウィンドウ処理を行うコマンドに対応するジェスチャが入力されていないので、本ウィンドウ処理は終了して図８の処理（さらには図４の処理）に復帰する。また、合致する場合（ステップＳ３５１においてＹｅｓの場合）にはステップＳ３５３の処理へ進む。

ステップＳ３５３おいて、制御部１００は、当該入力されたジェスチャに対応するコマンド処理が現在のウィンドウ態様から実行可能であるか否かを判定する。この結果、実行不可能である場合（ステップＳ３５３においてＮｏの場合）、例えば１画面の時にジェスチャＦ１が入力される場合、遷移（変更）可能なウィンドウ態様はなく、対応する処理コマンド（ここでは縦２画面から１画面への変化処理、または横２画面から４画面への変化処理）は実行不可能であるので、本処理は終了し、実行可能である場合（ステップＳ３５３においてＹｅｓの場合）、ジェスチャに対応するコマンド処理に応じてウィンドウの態様を変化させ（ステップＳ３５５）、その後、本ウィンドウ処理は終了して図８の処理（さらには図４の処理）に復帰する。

＜５． 効果＞
以上のように、本実施形態では、片手で把持できる程度に小型の携帯型表示装置において、当該装置を把持する片手の親指で２つの画面の中央近傍の固定座標位置が押下されるとジェスチャを受け付ける状態となり、典型的にはもう一方の手指により入力される所定のジェスチャにより読書処理やウィンドウ処理を行うためのコマンドが受け付けられるので、２画面の携帯型表示装置を把持すると簡単かつ自然にコマンド受付状態となってジェスチャ認識が可能となるとともに、携帯型表示装置を把持しない時にはコマンド非受付状態となって意図しない表示画面への接触等によりコマンドが誤って実行されることを防止することができる。このように本実施形態の携帯型表示装置は、２画面の表示画面に好適な操作入力用インタフェースを実現することができる。

＜６． 変形例＞
上記実施形態では、しおり付与処理、ページめくり処理、ウィンドウ処理などを行うコマンドに対応する各種ジェスチャを示したが、これらは例示であって、入力される座標に上記固定座標エリア内の座標が含まれていない場合にはコマンド非受付状態となり、含まれている場合にはコマンド受付状態となるものであれば、入力座標を時系列に応じて関連づけることにより、関連する２つ以上の座標の変化態様として認識されるどのようなジェスチャであってもよいし、これらのジェスチャに対応するよう予め記憶される処理コマンドも携帯型表示装置において行われるどのような処理であってもよい。例えば、当該装置を把持する片手の親指で２つの画面の中央近傍の固定座標位置を押下するとともに、もう一方の手の親指および人差し指を右表示部１４ｂ上に置いてから広げるジェスチャや、もう一方の手指を右表示部１４ｂの左下から右上へ動かすジェスチャを行えば、右表示部１４ｂに表示される画像を拡大表示するコマンドが実行されたり、またはその逆に、当該装置を把持する片手の親指で２つの画面の中央近傍の固定座標位置を押下するとともに、もう一方の手の親指および人差し指を右表示部１４ｂ上に置いてから狭めるジェスチャや、もう一方の手指を右表示部１４ｂの右上から左下へ動かすジェスチャを行えば、右表示部１４ｂに表示される画像を縮小表示するコマンドが実行されるような動作が行われてもよい。

上記実施形態では、本携帯型表示装置を把持する片手の親指で２つの画面の中央近傍の固定座標位置を押下するよう説明した。これは一般的に２つの画面の中央近傍が最も持ちやすいように構成されているからである。しかし、利用者が持ちやすいと感じる位置がこれとは異なる場合もあり得るし、当該装置に付属品などを取り付けることにより一般的に持ちやすい位置が変化する場合も考えられる。そこで、上記固定座標位置は２つの画面の中央近傍から離れた所定位置、例えば左表示部１４ａの左端中央近傍などに変更可能であってもよい。

上記実施形態では、入力処理（Ｓ２）が終了した後に認識処理（Ｓ３）を行う構成であるが、このような処理の流れは（他の処理の流れも含めて）説明の便宜のための例示的なものに過ぎず、これらを一体的に行ってもよいし、イベントドリブン型の処理を行うなど、周知の処理手順を採用することができる。

上記実施形態では、ジェスチャの種類と各ジェスチャに対応するコマンド（処理内容）は予め固定的に記憶されているが、この対応関係は利用者によりまたはアプリケーションにより自由に設定可能なように構成されていてもよい。

上記実施形態では、２つの画面を有する携帯型表示装置を例に説明したが、３つ以上の画面を有するものであっても、そのうちの隣接する２つの画面について上記ジェスチャーが行われる構成であればよい。

上記実施形態では、終点座標は指を離した瞬間の位置となっているが、終点座標の判定は表示部から指が所定の時間離れた時に確定するように構成してもよい。そうすれば、例えば左表示部１４ａと右表示部１４ｂがやや谷折りに折り曲げられている状態で２画面に渡るジェスチャを入力する場合、中央近傍で指が一瞬離れる場合であっても終点座標は最後に指を（上記所定時間以上）離した位置となるので、全体として連続したジェスチャとして認識することが可能となる。

上記実施形態では、ジェスチャの認識を始点座標および終点座標（並びに経過時間）に基づき行っているが、周知の各種ジェスチャ認識手法を用いることができる。例えば、周知のパターン認識によりジェスチャを認識する構成や、所定のベクトル演算を行う構成、単位時間毎に記憶される関連する（連続する）座標群の変化に基づき上記ジェスチャのいずれに該当するかを判定する構成などを用いることができる。

上記実施形態では、左表示部１４ａと右表示部１４ｂとの間には隙間がない（シームレス）であるが、或る程度の間隔が空いていてもよい。ただし、その間を典型的には親指で押さえることができ、かつその状態を検出できることが必要であり、また前述したように左右画面に渡るジェスチャーが可能な程度に段差がない構造であることが好ましい。

上記実施形態では、上記のようなジェスチャ認識を携帯情報端末において実施する例を示したが、利用者により把持可能な携帯型表示装置であれば、携帯電話、電子手帳、電子辞書、電子書籍端末、モバイルインターネット端末などの周知の装置において実施することができる。

本発明は、例えばタッチパネルを備える携帯型の表示装置に適用されるものであって、２画面の表示部および当該表示部に対して近接または接触若しくは押圧される座標を検出するタッチパネルを備える携帯型表示装置に適している。

１０ …携帯情報端末
１４ａ …左画面
１４ｂ …右画面
１６ …固定座標エリア
１００ …制御部
１４０ …表示部
１４１ …液晶パネル
１６０ …入力部
１６１ …タッチパネル
Ｆｔｌ …左手親指
Ｆｆｒ …右手人差し指
Ｐｓ …検出点
Ｐ …ジェスチャ認識プログラム

Claims (12)

1. 利用者により把持可能な携帯型表示装置であって、
   隣り合う２つの画面にそれぞれ画像を表示する表示部と、
   前記利用者により近接または接触若しくは押圧された前記表示部上の座標を２つ以上取得可能な入力部と、
   前記入力部により取得される近接または接触若しくは押圧された前記表示部上の座標を時系列に応じて関連づけることにより、関連する２つ以上の座標の変化態様に対応する予め記憶される処理コマンドとして認識し実行するジェスチャ認識部と
   を備え、
   前記ジェスチャ認識部は、前記入力部により取得される座標に、表示される前記画像とは無関係に固定的に定められる固定座標が含まれていない場合、前記処理コマンドとして認識し実行しない非受付状態となり、前記固定座標が含まれている場合、前記処理コマンドを認識可能な受付状態となることを特徴とする、携帯型表示装置。
2. 前記ジェスチャ認識部は、前記２つの画面が隣り合う部分または当該部分近傍の予め定められた固定座標に基づき、前記処理コマンドを実行することを特徴とする、請求項１に記載の携帯型表示装置。
3. 前記入力部は、当該携帯型表示装置を把持する前記利用者の一方の手指の位置に対応する前記表示部上の座標であって前記利用者の一方の手指による把持に適した位置に対応する座標を前記固定座標として取得するとともに、前記利用者の他方の手指の位置に対応する前記表示部上の座標を前記関連する２つ以上の座標として取得することを特徴とする、請求項１に記載の携帯型表示装置。
4. 前記表示部は、前記２つの画面が隣り合う辺または当該辺近傍を谷折り線として、前記２つの画面が対向するよう折りたたみ可能であり、
   前記ジェスチャ認識部は、前記谷折り線上または前記谷折り線近傍の座標を含む固定座標に基づき、前記処理コマンドを実行することを特徴とする、請求項１に記載の携帯型表示装置。
5. 前記ジェスチャ認識部は、前記関連する２つ以上の座標が前記２つの画面の一方から他方へ移動する変化態様である場合、当該変化態様に応じた所定のページ送りコマンドとして認識し実行し、
   前記表示部は、所定ページにそれぞれ対応付けられた２つの画像を前記２つの画面において見開き２ページの形で表示するとともに、前記ジェスチャ認識部により前記ページ送りコマンドが実行される場合には、前記変化態様に応じて所定数だけ増加または減少させたページに対応付けられた画像を表示することを特徴とする、請求項１に記載の携帯型表示装置。
6. 前記ジェスチャ認識部は、前記入力部により取得される座標に、前記固定座標から所定距離だけ離れた前記２つの画面の外周近傍の予め定められた座標が所定期間連続して含まれている場合、前記期間中所定のページ送りコマンドとして認識し実行し、
   前記表示部は、所定ページとそれぞれ対応付けられた２つの画像を前記２つの画面において見開き２ページの形で表示するとともに、前記ジェスチャ認識部により前記ページ送りコマンドが認識される場合には、前記期間中、所定の時間間隔で所定数だけ増加または減少させたページに対応付けられた画像を表示することを特徴とする、請求項１に記載の携帯型表示装置。
7. 前記表示部は、所定ページにそれぞれ対応付けられた２つの画像を前記２つの画面において見開き２ページの形で表示し、
   前記ジェスチャ認識部は、前記２つの画面が隣り合う部分または当該部分近傍における前記画面端部近傍から中央近傍へ前記関連する２つ以上の座標が移動する変化態様である場合、所定のしおり付与コマンドとして認識し、前記表示部により表示されている画像に対応するページを記憶することを特徴とする、請求項１に記載の携帯型表示装置。
8. 前記ジェスチャ認識部は、前記２つの画面における１つ以上の四角形状の表示用ウィンドウの周囲４つの辺のうちの１辺近傍から他の１辺近傍へ向かって前記関連する２つ以上の座標が移動する変化態様である場合、当該変化態様に応じた所定のウィンドウ態様変更コマンドとして認識し実行し、
   前記表示部は、前記ジェスチャ認識部により前記ウィンドウ態様変更コマンドが実行される場合には、前記変化態様に応じて前記ウィンドウの分割数または分割形態を変更し、変更された態様で前記ウィンドウ内に画像を表示することを特徴とする、請求項１に記載の携帯型表示装置。
9. 前記ジェスチャ認識部は、前記入力部により取得される座標に、前記２つの画面が隣り合う部分または当該部分近傍の予め定められた複数の固定座標のうち所定数の固定座標が含まれていない場合、前記処理コマンドとして認識し実行しない非受付状態となり、前記所定数の固定座標が含まれている場合、前記処理コマンドを認識可能な受付状態となることを特徴とする、請求項１に記載の携帯型表示装置。
10. 前記入力部は、前記ジェスチャ認識部において前記非受付状態である期間中、取得すべき前記表示部上の座標の範囲を前記固定座標または前記固定座標近傍に限定し、または前記表示部上の座標を取得すべき時間間隔を前記受付状態である期間中の当該時間間隔よりも長く設定する動作の少なくとも一方を行うことにより前記座標を取得することを特徴とする、請求項１に記載の携帯型表示装置。
11. 隣り合う２つの画面にそれぞれ画像を表示する表示部を備え、利用者により把持可能な携帯型表示装置の制御方法であって、
    前記利用者により近接または接触若しくは押圧された前記表示部上の座標を２つ以上取得する入力ステップと、
    前記入力ステップにおいて取得される近接または接触若しくは押圧された前記表示部上の座標を時系列に応じて関連づけることにより、関連する２つ以上の座標の変化態様に対応する予め記憶される処理コマンドとして認識し実行するジェスチャ認識ステップと
    を備え、
    前記ジェスチャ認識ステップでは、前記入力ステップにおいて取得される座標に、表示される前記画像とは無関係に固定的に定められる固定座標が含まれていない場合、前記処理コマンドとして認識し実行しない非受付状態となり、前記固定座標が含まれている場合、前記処理コマンドを認識可能な受付状態となることを特徴とする、携帯型表示装置の制御方法。
12. 隣り合う２つの画面にそれぞれ画像を表示する表示部を備え、利用者により把持可能な携帯型表示装置に、
    前記利用者により近接または接触若しくは押圧された前記表示部上の座標を２つ以上取得する入力ステップと、
    前記入力ステップにおいて取得される近接または接触若しくは押圧された前記表示部上の座標を時系列に応じて関連づけることにより、関連する２つ以上の座標の変化態様に対応する予め記憶される処理コマンドとして認識し実行するジェスチャ認識ステップと
    を実行させるプログラムであって、
    前記ジェスチャ認識ステップでは、前記入力ステップにおいて取得される座標に、表示される前記画像とは無関係に固定的に定められる固定座標が含まれていない場合、前記処理コマンドとして認識し実行しない非受付状態となり、前記固定座標が含まれている場合、前記処理コマンドを認識可能な受付状態となることを特徴とする、プログラム。

Images