JPWO2010143673A1 - 電子機器、ジェスチャー処理方法、及びジェスチャー処理プログラム - Google Patents

Abstract

ジェスチャー入力をサポートすることができ、電子機器がジェスチャー入力を受け付ける状態であるか否かを利用者が判断できる電子機器を提供する。本発明の電子機器は、タッチパネルディスプレイと、複数の表示データと、各々の表示データに関連付けられた軌跡関連情報と、を記憶する記憶部と、制御部と、を備え、軌跡関連情報には、軌跡データと、軌跡データに関連付けられた機能情報とが含まれ、制御部は、タッチパネルディスプレイに表示する表示データに関連付けられた軌跡関連情報に基づいて、ジェスチャー入力を受け付けるか否かを判別し、ジェスチャー入力を受け付けると判別した場合は、表示データに関連付けられた軌跡関連情報に含まれる軌跡データを表示データに重ねてタッチパネルディスプレイにオーバレイ表示する。

Description

本発明は、タッチパネルディスプレイを利用してジェスチャー入力を行うことができる電子機器、ジェスチャー処理方法、及びジェスチャー処理プログラムに関する。

携帯電話機やＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄａｔａ Ａｓｓｉｓｔａｎｃｅ、Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ：個人向け携帯型情報通信機器）などの携帯端末装置が普及している。近年では、携帯端末装置の表示部は大型化され、表示部に表示される内容もクオリティの高いものとなってきている。このように、携帯端末装置の多機能化・高度化を図ることで、利用者が携帯端末装置を使いこなせるように、利用者に対して操作を分かりやすくすることが以前にも増して求められるようになっている。
そこで、クオリティの高い表示を生かしつつ操作の分かりやすさを実現するために、タッチパネルディスプレイが採用されている。タッチパネルディスプレイは、利用者がタッチしたものを入力データとして入力するタッチパネルの機能と、実行結果を表示するための表示部の機能とを有している。タッチパネルディスプレイに表示された表示データに対して、利用者がタッチパネルディスプレイを指やペンなどで指し示す（タッチする）ことによって、キー操作によるカーソルの移動と決定キーによる選択決定のプロセスを短縮することができる。これにより、入力回数の少ない操作が実現されるようになった。
更に、タッチパネルディスプレイを利用した技術として、ジェスチャー入力という手法が実現されている。ジェスチャー入力とは、利用者がタッチパネルディスプレイをタッチして所定の軌跡（入力軌跡）を入力することを指す。図１４Ａに示されるように、予め決められた軌跡２１３−１が携帯端末装置の記憶部に登録され、図１４Ｂに示されるように、入力軌跡２２０と軌跡２１３−１とが一致する場合、携帯端末装置は、軌跡２１３−１に対応する機能を起動させて実行する。
しかし、現在のジェスチャー入力の方法には、以下のような問題点がある。
まず、第１の問題点について説明する。ジェスチャー入力では、利用者は、予め決められた軌跡データと同じ軌跡を入力軌跡として描く必要がある。このため、複数種類の軌跡データが存在する場合、利用者は、複数の軌跡データを記憶していなければならない。この場合、利用者は、記憶違いや、あいまいな軌跡の入力により、ジェスチャー入力を利用できないことが考えられる。この場合、図１４Ｂに示されるように、入力軌跡２２１と軌跡２１３−１とが一致しないので、携帯端末装置は、利用者の所望の機能を起動・実行しない。このため、利用者に対して、ジェスチャー入力をサポートすることが望まれる。
次に、第２の問題点について説明する。携帯端末装置は、利用者によるタッチパネルディスプレイへのタッチ操作、又は、利用者による入力部の操作に基づいて処理を実行し、その処理に基づいて生成した表示データをタッチパネルディスプレイに表示する。このとき、携帯端末装置は、この表示データをタッチパネルディスプレイに表示した際に、常にジェスチャー入力を受け付けるとは限らない。これは、ソフトウェアの中には、ジェスチャー入力に対応しているものと対応していないものとが存在するためである。ここで例えば、ジェスチャー入力に対応していないソフトウェアを実行中に、このソフトウェアで用いる表示データがタッチパネルディスプレイに表示され、利用者がタッチパネルディスプレイをタッチして所定の軌跡を描いたとする。このとき、ソフトウェアは処理を行わない。しかしながら、利用者は、ソフトウェアが処理を行わない理由が、実行中のソフトウェアがジェスチャー入力に対応しておらず、携帯端末装置がジェスチャー入力を受け付ける状態でなかったためなのか、描いた軌跡が誤っていたためなのか、それともジェスチャー入力の入力ミスであるためなのかを判断することができない。このため、ジェスチャー入力を受け付けるか否かを利用者が判断できることが望まれる。
ジェスチャー入力に関する技術を紹介する。
特許文献１には、携帯端末が記載されている。携帯端末は、カメラから入力された判定対象物の移動軌跡に関連付けられた動作を実行するカメラ入力インタフェースを備えている。携帯端末は、更に、判定対象物の移動軌跡と移動軌跡に関連付けられた動作との対応関係を示す操作ガイダンス情報を出力する手段と、入力を受け付けた判定対象物の移動軌跡をディスプレイの表示内容に重ねるように描画する手段と、を備えたことを特徴としている。
特許文献２には、ユーザインタフェース装置が記載されている。ユーザインタフェース装置は、記憶手段と、軌跡解析手段と、ジェスチャー検索手段と、案内軌跡表示手段と、コマンド呼出手段とを備えている。記憶手段は、所定のコマンドが割り付けられているジェスチャーを記憶するとともに、そのジェスチャーを誘導する案内軌跡を記憶する。軌跡解析手段は、軌跡入力デバイスに対するユーザの操作軌跡を解析する。ジェスチャー検索手段は、軌跡解析手段がユーザの操作軌跡を解析する毎に、記憶手段に記憶されているジェスチャーの中から、その操作軌跡に合致する１以上のジェスチャーを検索する。案内軌跡表示手段は、記憶手段からジェスチャー検索手段により検索されたジェスチャーの案内軌跡を取得して、その案内軌跡を表示する一方、ジェスチャー検索手段により前回検索されたジェスチャーがユーザの操作軌跡と合致しなくなると、表示しているジェスチャーの案内軌跡を消去する。コマンド呼出手段は、ジェスチャー検索手段により検索されたジェスチャーが１つに絞られると、そのジェスチャーに割り付けられているコマンドを呼び出す。

特開２００７−２１３２４５号公報 特開２００６−３３１２１０号公報

特許文献１に記載された技術は、軌跡データの入力に関するものである。しかし、この技術では、操作ガイダンス情報（軌跡データ）を出力することにより、利用者に対してジェスチャー入力をサポートしている点で上述の第１の問題点が一部解決されているが、操作ガイダンス情報を出力するための補助ディスプレイを必要としている。また、上述の第２の問題点については全く考慮されていない。
特許文献２に記載された技術は、軌跡データを正確に覚えていないときに、軌跡データに割り付けられたコマンドを利用するものである。この技術では、利用者による入力軌跡（操作軌跡）に一致する１以上の軌跡データ（案内軌跡）をタッチパネルディスプレイに表示することにより、利用者に対してジェスチャー入力をサポートしている点で上述の第１の問題点が一部解決されているが、やはり、利用者は複数の軌跡データを記憶していなければならない。また、上述の第２の問題点については全く考慮されていない。
本発明の目的は、上述した課題である、ジェスチャー入力をサポートし、さらに、利用者が、電子機器がジェスチャー入力を受け付ける状態であるか否かを判断することができないという課題を解決する電子機器、ジェスチャー処理方法、及びジェスチャー処理プログラムを提供することである。すなわち、本発明の目的は、ジェスチャー入力をサポートすることができ、電子機器がジェスチャー入力を受け付ける状態であるか否かを利用者が判断することができる電子機器、ジェスチャー処理方法、及びジェスチャー処理プログラムを提供することにある。

本発明の電子機器は、タッチパネルディスプレイと、複数の表示データと、各々の表示データに関連付けられた軌跡関連情報と、を記憶する記憶部と、制御部と、を備え、軌跡関連情報には、軌跡データと、軌跡データに関連付けられた機能情報とが含まれ、制御部は、タッチパネルディスプレイに表示する表示データに関連付けられた軌跡関連情報に基づいて、ジェスチャー入力を受け付けるか否かを判別し、ジェスチャー入力を受け付けると判別した場合は、表示データに関連付けられた軌跡関連情報に含まれる軌跡データを表示データに重ねてタッチパネルディスプレイにオーバレイ表示する。
また、本発明のジェスチャー処理方法は、タッチパネルディスプレイに表示する表示データに関連付けられた軌跡関連情報に基づいてジェスチャー入力を受け付けるか否かを判別し、ジェスチャー入力を受け付けると判別した場合は、表示データに関連付けられた軌跡関連情報に含まれる軌跡データを表示データに重ねてタッチパネルディスプレイにオーバレイ表示する。
また、本発明のジェスチャー処理プログラムは、コンピュータに、タッチパネルディスプレイに表示する表示データに関連付けられた軌跡関連情報に基づいてジェスチャー入力を受け付けるか否かを判別させ、ジェスチャー入力を受け付けると判別した場合は、表示データに関連付けられた軌跡関連情報に含まれる軌跡データを表示データに重ねてタッチパネルディスプレイにオーバレイ表示させる。

本発明の電子機器によれば、ジェスチャー入力をサポートすることができ、電子機器がジェスチャー入力を受け付ける状態であるか否かを利用者が判断することができる。

図１は、本発明の第１の実施形態に係る電子機器の外観構成を示す図である。
図２は、本発明の第１の実施形態に係る電子機器の構成を示すブロック図である。
図３は、記憶部に記憶される情報を示す図である。
図４は、本発明の第１の実施形態に係るジェスチャー処理方法を示すフローチャートである。
図５Ａは、軌跡データを示す図である。
図５Ｂは、別の軌跡データを示す図である。
図５Ｃは、表示データを示す図である。
図５Ｄは、軌跡データを表示データに重ねてタッチパネルディスプレイにオーバレイ表示した例を示す図である。
図６は、軌跡データを表示データに重ねてタッチパネルディスプレイにオーバレイ表示した別の例を示す図である。
図７は、機能情報を、軌跡データと表示データとに重ねてタッチパネルディスプレイにオーバレイ表示した例を示す図である。
図８は、本発明の第３の実施形態に係る携帯端末装置の外観構成を示している。
図９は、本発明の第３の実施形態に係る携帯端末装置の構成を示すブロック図である。
図１０は、データベースの内容を示している。
図１１は、本発明の第３の実施形態に係る携帯端末装置の動作の処理を示すフローチャートである。
図１２は、本発明の第３の実施形態に係る携帯端末装置の動作の処理を示すフローチャートである。
図１３Ａは、軌跡データ１３−ｉの例を示している。
図１３Ｂは、軌跡データ１３−ｉと画像データ１１−１とがタッチパネルディスプレイ１にオーバレイ表示されているときに、利用者が、軌跡データ１３−ｉを参考にしてタッチパネルディスプレイ１に入力軌跡２０をジェスチャー入力した例である。
図１４Ａは、軌跡データの例を示している。
図１４Ｂは、入力軌跡と軌跡データとが一致する例と入力軌跡と軌跡データとが一致しない例とを示している。

以下に図面を参照して、本発明について詳細に説明する。
〔第１の実施形態〕
図１は、本発明の第１の実施形態に係る電子機器１００の外観構成を示す図である。電子機器１００はジェスチャー入力を可能とするタッチパネルディスプレイ１０１を備える。
図２は、電子機器１００の構成を示すブロック図である。電子機器１００は、タッチパネルディスプレイ１０１と、記憶部１０４と、制御部１０３とを有する。記憶部１０４は、複数の表示データ１１１と、各々の表示データ１１１に関連付けられた軌跡関連情報１１５と、を記憶する。ここで、表示データ１１１は、図３に示すように、画像Ａ（１１１−１）、画像Ｂ（１１１−２）などの画像データや、文字列Ｈ（１１１−３）などの文字データなどである。また、軌跡関連情報１１５−１、１１５−２には、図３に示すように、軌跡ａ１（１１３−１）や軌跡ａ２（１１３−２）などの軌跡データ１１３と、軌跡データ１１３に関連付けられた機能ａ１（１１４−１）や機能ａ２（１１４−２）などの機能情報１１４とが含まれる。
制御部１０３は、タッチパネルディスプレイ１０１に表示する表示データ１１１に関連付けられた軌跡関連情報１１５に基づいて、ジェスチャー入力を受け付けるか否かを判別する。そして、ジェスチャー入力を受け付けると判別した場合は、この表示データ１１１に関連付けられた軌跡関連情報１１５に含まれる軌跡データ１１３を表示データ１１１に重ねてタッチパネルディスプレイ１０１にオーバレイ表示する。なお、タッチパネルディスプレイ１０１に表示する表示データ１１１は、記憶部１０４に記憶された複数の表示データ１１１の中から、制御部１０３が適宜選択したものである。制御部１０３は、例えば、利用者の入力に基づいてタッチパネルディスプレイ１０１に表示する表示データ１１１を選択する。
本実施形態に係る電子機器１００によれば、制御部１０３が、表示データ１１１に関連付けられた軌跡関連情報１１５に基づいて、ジェスチャー入力を受け付けるか否かを判別する。さらに、ジェスチャー入力を受け付けると判別した場合は、軌跡データ１１３を表示データ１１１に重ねてタッチパネルディスプレイ１０１にオーバレイ表示する。そのため、電子機器１００により、ジェスチャー入力をサポートすることができ、利用者は軌跡を記憶せずとも、正しい軌跡を正確にジェスチャー入力することができる。
また、本実施形態に係る電子機器１００によれば、ジェスチャー入力を受け付ける場合は軌跡データがタッチパネルディスプレイ１０１にオーバレイ表示されるため、利用者は、オーバレイ表示した状態の電子機器１００がジェスチャー入力を受け付けることを判断することができる。また、軌跡データ１１３がオーバレイ表示されない場合は、利用者は、ジェスチャー入力を受け付けないことを判断することができる。
次に、本実施形態に係るジェスチャー処理方法について、図４を用いて説明する。
はじめに、表示データに関連付けられた軌跡関連情報に基づいて、ジェスチャー入力を受け付けるか否かを判別する（ステップＳ１０１）。
ここで、ジェスチャー入力を受け付けると判別した場合は、軌跡データを表示データに重ねてタッチパネルディスプレイにオーバレイ表示する（ステップＳ１０２）。
一方、ジェスチャー入力を受け付けないと判別した場合は、軌跡データを表示データに重ねてオーバレイ表示しない。このとき、例えば、制御部１０３は、表示データのみをタッチパネルディスプレイ１０１に表示することとしても良い。
軌跡データ１１３を表示データ１１１に重ねてオーバレイ表示することについて図５を用いて説明する。図５Ａ、図５Ｂに、軌跡データとして、軌跡ａ１（１１３−１）、軌跡ａ２（１１３−２）を示す。また、図５Ｃに、表示データとして、画像Ａ（１１１−１）を示す。画像Ａ（１１１−１）は、メールを表す画像データである。軌跡ａ１（１１３−１）、軌跡ａ２（１１３−２）を画像Ａ（１１１−１）に重ねてタッチパネルディスプレイ１０１にオーバレイ表示すると、図５Ｄのようになる。利用者は、オーバレイ表示されたディスプレイを確認することにより、軌跡データ１１３の表示の有無に基づいて、電子機器１００がジェスチャー入力を受け付ける状態であるか否かを判別することができ、さらに、どのような軌跡のジェスチャー入力を受け付けるかを瞬時に把握することが可能となる。
記憶部１０４には、ジェスチャー入力を受け付けるか否かを表す可否情報が含まれることとしても良い。可否情報が含まれることにより、制御部１０３は、可否情報に基づいて、ジェスチャー入力を受け付けるか否かを判別することが可能となる。
図３に示すように、軌跡関連情報１１５が軌跡データ１１３と機能情報１１４とを含む場合、所定の表示データ１１１に関連付けられた軌跡データ１１３又は機能情報１１４の有無に基づいて、制御部１０３はジェスチャー入力を受け付けるか否かを判別する。例えば、画像Ａ（１１１−１）には、これに関連付けられた軌跡ａ１（１１３−１）と機能ａ１（１１４−１）、軌跡ａ２（１１３−２）と機能ａ２（１１４−２）が存在するため、画像Ａ（１１１−１）をディスプレイに表示する場合には、制御部１０３はジェスチャー入力を受け付けると判別することができる。一方、画像Ｂ（１１１−２）には、これに関連付けられた軌跡データ１１３及び機能情報１１４が存在しない。そのため、画像Ｂ（１１１−２）をディスプレイに表示する場合には、制御部１０３はジェスチャー入力を受け付けないと判別することができる。なお、画像Ｂ（１１１−２）の軌跡データ１１３欄と機能情報欄１１４には「０」が記載されているが、これは、各欄に該当するものがないことを意味している。
一つの表示データ１１１に、複数の軌跡関連情報１１５が関連付けられることとしても良い。この場合、制御部１０３は、複数の軌跡関連情報１１５に含まれる複数の軌跡データ１１３を表示データ１１１に重ねてタッチパネルディスプレイ１０１にオーバレイ表示するのが望ましい。これにより、利用者は、複数種類の軌跡を瞬時に把握することが可能となる。
軌跡データ１１３が複数ある場合は、各軌跡データ１１３を異なる表示形式にしてオーバレイ表示するのが望ましい。例えば、図６に示すように、軌跡１６３−１、１６３−２のそれぞれを異なる線種に設定することにより、利用者はそれぞれの軌跡１６３−１、１６３−２を正確に把握することができる。また、軌跡１６３−１、１６３−２のそれぞれを異なる色に設定しても、利用者は同様の効果を得ることができる。
制御部１０３は、軌跡データ１１３に関連付けられた機能情報１１４を、軌跡データ１１３と表示データ１１１とに重ねてタッチパネルディスプレイ１０１にオーバレイ表示することとしても良い。例えば、図７に示すように、軌跡ａ１（１１３−１）と併せて機能ａ１（１１４−１）を表示し、さらに、軌跡ａ１（１１３−２）と併せて機能ｂ２（１１４−１）を表示する。これにより、利用者は、それぞれの軌跡ａ１（１１３−１）、軌跡ａ２（１１３−２）をジェスチャー入力すると、どのような機能が実行されるかを理解することができる。図７には、軌跡ａ１（１１３−１）がジェスチャー入力された場合はテキスト入力機能（ｔｅｘｔ−ｅｎｔｒｙ）を実行し、軌跡ａ２（１１３−２）がジェスチャー入力された場合はメール送信機能（ｓｅｎｄ）を実行する例を示す。
〔第２の実施形態〕
次に、本発明の第２の実施形態について説明する。第２の実施形態では、表示データと軌跡データとを重ねてタッチパネルディスプレイにオーバレイ表示した後の電子機器の制御に関して説明する。なお、表示データと軌跡データとを重ねてオーバレイ表示することについては第１の実施形態にて説明済みであるため、本実施形態では説明を省略する。
第２の実施形態に係る電子機器１００の制御部１０３は、軌跡データ１１３と表示データ１１１とがタッチパネルディスプレイ１０１にオーバレイ表示されているときにジェスチャー入力が行われた場合、軌跡データ１１３の中から、ジェスチャー入力により入力された入力軌跡に一致する軌跡データ１１３を選択軌跡データとして確定する。そして、選択軌跡データに関連付けられた機能を実行する。例えば、入力軌跡が軌跡ａ１（１１３−１）と一致した場合は、機能ａ１（１１４−１）を実行する（図３）。これにより、利用者は、ジェスチャー入力を用いて所望の機能を電子機器１００に実行させることが可能となる。
制御部１０３は、選択軌跡データを確定した後に、軌跡データ１１３をタッチパネルディスプレイ１０１に表示することを終了することとしても良い。これにより、利用者は選択軌跡データが確定されたことを把握することが可能となる。
制御部１０３は、タッチパネルディスプイレイ１０１に表示した軌跡データ１１３の中に入力軌跡に一致する軌跡データが存在しないと判別した場合、軌跡データ１１３をタッチパネルディスプレイ１０１に表示することを終了しても良い。これにより、利用者は選択軌跡データが確定されなかったことを把握することが可能となる。
また、制御部１０３は、軌跡データ１１３を表示データ１１１に重ねてオーバレイ表示した後に所定時間内にジェスチャー入力が行われなかった場合、軌跡データ１１３をタッチパネルディスプレイ１０１に表示することを終了することとしても良い。
〔第３の実施形態〕
次に、本発明の第３の実施形態について説明する。第３の実施形態に係る電子機器は携帯端末装置である。第３の実施形態に係る携帯端末装置の制御部は、可否情報に基づいて、ジェスチャー入力を受け付けるか否かを判別する。また、表示データとして、文字データを画像データとしたものを用いる。
図８は、本実施形態に係る携帯端末装置の外観構成を示している。
本実施形態に係る携帯端末装置は、タッチパネルディスプレイ１と、入力部２とを具備している。タッチパネルディスプレイ１は、利用者がタッチしたものを入力データとして入力するタッチパネルの機能と、実行結果を表示するための表示部の機能とを有している。
図９は、本実施形態に係る携帯端末装置の構成を示すブロック図である。
本実施形態に係る携帯端末装置は、更に、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である制御部３と、記録媒体である記憶部４とを具備している。記憶部４には、コンピュータに実行させるためのコンピュータプログラム５が記憶されている。制御部３は、起動時などに記憶部４からコンピュータプログラム５を読み取って実行する。
記憶部４は、機能６−１〜６−ｍ（ｍは２以上の整数）を有している。具体的には、ソフトウェアである機能６−１〜６−ｍが更に記憶部４に記憶され、制御部３が、後述の動作により、記憶部４から機能６−１〜６−ｍのうちの１つの機能である機能６−ｉ（ｉは１≦ｉ≦ｍを満たす整数）を起動させて実行する。
記憶部４は、データベース７を備えている。図１０は、データベース７の内容を示している。
データベース７は、複数パターンの画像データ１１−１〜１１−ｎ（ｎは２以上の整数）を記憶する。制御部３は、後述の動作により、データベース７から複数パターンの画像データ１１−１〜１１−ｎのうちの１つの画像データを選択し、タッチパネルディスプイレイ１に表示する。
データベース７には、更に、複数パターンの画像データ１１−１〜１１−ｎの各々に対して、可否情報１２が登録されている。可否情報１２は、画像データ１１を用いるソフトウェアがジェスチャー入力に対応するか否かを表す。ソフトウェアがジェスチャー入力に対応する場合は、画像データ１１をタッチパネルディスプレイ１に表示した際に、携帯情報端末はジェスチャー入力を受け付ける状態になる。一方、ソフトウェアがジェスチャー入力に対応しない場合は、画像データ１１をタッチパネルディスプレイ１に表示した際に、携帯情報端末はジェスチャー入力を受け付けない状態となる。
データベース７には、更に、画像データ１１に関連付けられた軌跡関連情報１５が登録されている。ここでは、画像データ１１−１に関連付けられた軌跡関連情報１５−１〜１５−ｍが登録されている例を示す。軌跡関連情報１５−１〜１５−ｍは、それぞれ、軌跡データ１３−１〜１３−ｍと、軌跡データ１３−１〜１３−ｍに関連付けられた機能６−１〜６−ｍの名称である機能情報１４−１〜１４−ｍとを含んでいる。
図１１は、携帯端末装置の動作として、可否情報と軌跡関連情報とをデータベースに７登録する処理を示すフローチャートである。
まず、複数パターンの画像データ１１−１〜１１−ｎの各々に対して、上述の可否情報１２をデータベース７に登録する（ステップＳ１）。可否情報１２の登録については、例えば設計者が予め行う。
次に、上述の軌跡関連情報１５−１〜１５−ｍを、画像データ１１−１に関連付けて、データベース７に登録する（ステップＳ２）。軌跡関連情報１５−１〜１５−ｍの登録については、例えば設計者が予め行う。そして、さらに追加して登録する場合は、利用者が行ってもよい。
図１２は、本実施形態に係るジェスチャー処理方法を示すフローチャートである。
利用者は、タッチパネルディスプレイ１へのタッチ操作、又は、入力部２の操作を行っていない（ステップＳ１１−ＮＯ）。この場合、制御部３は、現在の画像データをタッチパネルディスプレイ１に表示する。即ち、待機状態である。
利用者は、タッチパネルディスプレイ１へのタッチ操作、又は、入力部２の操作を行ったものとする（ステップＳ１１−ＹＥＳ）。この場合、制御部３は、複数パターンの画像データ１１−１〜１１−ｎのうちの、利用者によるタッチパネルディスプレイ１へのタッチ操作、又は、利用者による入力部２の操作に基づいて選択した画像データ１１をタッチパネルディスプレイ１に表示する（ステップＳ１２）。
制御部３は、データベース７を参照する（ステップＳ１３）。
ここで、画像データ１１に対する可否情報１２は、ジェスチャー入力を受け付けることが可能であることを表しているものとする（ステップＳ１３−ＹＥＳ）。この場合、制御部３は、データベース７に登録された軌跡データ１３を画像データ１１に重ねてタッチパネルディスプレイ１にオーバレイ表示する（ステップＳ１４）。例えば、図１３Ａは、軌跡データ１３−ｉの例を示し、図１３Ｂは、画像データ１１−１と軌跡データ１３−ｉとがオーバレイ表示された例を示している。画像データ１１−１には、「お世話になっております。ご質問について、」という文字列が含まれている。軌跡データ１３−ｉには機能情報１４−ｉが関連付けられている。
軌跡データ１３と画像データ１１とがタッチパネルディスプレイ１にオーバレイ表示されているときに、制御部３は、タッチパネルディスプレイ１に対して利用者によりジェスチャー入力が行われるか否かを所定時間が経過するまで監視する（ステップＳ１５−ＮＯ、Ｓ１９−ＮＯ）。
監視の結果、タッチパネルディスプレイ１に対して利用者によりジェスチャー入力が行われたものとする（ステップＳ１５−ＹＥＳ）。この場合、制御部３は、軌跡関連情報１５に含まれる軌跡データ１３の中から、入力軌跡２０（図１３Ａ参照）に一致する軌跡データ１３、例えば１３−ｉ（図１３Ｂ参照）を選択軌跡データとして選択（確定）する（ステップＳ１６−ＹＥＳ）。例えば、図１３Ｂは、軌跡データ１３−ｉと画像データ１１−１とがタッチパネルディスプレイ１にオーバレイ表示されているときに、利用者が、軌跡データ１３−ｉを参考にしてタッチパネルディスプレイ１に入力軌跡２０をジェスチャー入力した例である。
選択軌跡データ１３が確定されたとき、制御部３は、タッチパネルディスプレイ１への軌跡データ１３の表示を終了する（ステップＳ１７）。そして、制御部３は、選択軌跡データに対応する機能６を起動させて実行する（ステップＳ１８）。具体的には、制御部３は、データベース７に登録された軌跡関連情報１５に含まれる機能情報１４の中から、選択軌跡データに関連付けられた機能情報１４を選択し、機能情報１４が表す機能６を起動させて実行する。
又は、監視の結果、所定時間が経過するまでに、タッチパネルディスプレイ１に対して利用者によりジェスチャー入力が行われない（ステップＳ１９−ＹＥＳ）。この場合、制御部３は、タッチパネルディスプレイ１への軌跡データ１３の表示を終了する（ステップＳ２０）。
又は、監視の結果、タッチパネルディスプレイ１に対して利用者によりジェスチャー入力が行われたが（ステップＳ１５−ＹＥＳ）、軌跡関連情報１５に含まれる軌跡データ１３の中に、入力軌跡２０に一致する軌跡を含む軌跡データ１３が存在しない場合、奇跡データが確定しない（ステップＳ１６−ＮＯ）。確定しない状態で所定時間が経過した場合（Ｓ１９−ＹＥＳ）、制御部３は、タッチパネルディスプレイ１への軌跡データ１３の表示を終了する（ステップＳ２０）。
一方、画像データ１１に関連付けられた可否情報１２は、ジェスチャー入力の受け付けられないことを表しているものとする（ステップＳ１３−ＮＯ）。この場合、制御部３は、画像データ１１をタッチパネルディスプレイ１に表示する。そして、軌跡データ１３をタッチパネルディスプレイ１にオーバレイ表示しない。
本実施形態による携帯端末装置によれば、第１、２の効果を実現する。
まず、第１の効果について説明する。
ジェスチャー入力を行うためには、利用者は、予め決められた軌跡データと同じ軌跡を入力軌跡２０として描く必要がある。このため、軌跡データが複数種類も存在する場合、利用者は、例えば、軌跡データ１３−１〜１３−ｍを記憶していなければならない。即ち、利用者は、機能６−１〜６−ｍの中から所望の機能を携帯端末装置に起動・実行させるために、機能６−１〜６−ｍに対応する軌跡データ１３−１〜１３−ｍを記憶していなければならない。この場合、利用者は、記憶違いや、あいまいな軌跡の入力により、ジェスチャー入力を利用できないことが考えられる。そこで、本実施形態による携帯端末装置によれば、複数パターンの画像データ１１−１〜１１−ｎのうちの、利用者の操作に基づいて選択された画像データ１１をタッチパネルディスプレイ１に表示するときに、ジェスチャー入力をサポートするために軌跡データ１３を画像データ１１に重ねてタッチパネルディスプレイ１にオーバレイ表示する。
このように、本実施形態による携帯端末装置によれば、第１の効果として、軌跡データ１３をタッチパネルディスプレイ１にオーバレイ表示することにより、ジェスチャー入力をサポートすることができる。これにより、前述の第１の問題点が解決される。
次に、第２の効果について説明する。
本実施形態による携帯端末装置では、複数パターンの画像データ１１のうちの、利用者によるタッチパネルディスプレイ１へのタッチ操作、又は、利用者による入力部の操作に基づいて選択された画像データ１１をタッチパネルディスプレイ１に表示する。ここで、選択された画像データ１１をディスプレイ１に表示したときに、必ずしも制御部がジェスチャー入力を受け付けるとは限らない。例えば、画像データ１１が用いられるソフトウェアによっては、電子機器がジェスチャー入力を受け付ける状態になる場合もあれば、ジェスチャー入力を受け付けない状態になる場合もある。本実施形態による携帯端末装置によれば、ジェスチャー入力を受け付けることができる場合、軌跡データ１３を画像データ１１に重ねてタッチパネルディスプレイ１にオーバレイ表示する。
このように、本実施形態による携帯端末装置によれば、第２の効果として、軌跡データ１３をタッチパネルディスプレイ１にオーバレイ表示することにより、利用者は、携帯端末がジェスチャー入力を受け付ける状態にあることを判断することができる。一方、軌跡データ１３をタッチパネルディスプレイ１にオーバレイ表示しない場合、利用者は、携帯端末がジェスチャー入力を受け付けない状態にあることを判断することができる。これにより、前述の第２の問題点が解決される。
以上の説明により、本実施形態による携帯端末装置によれば、ジェスチャー入力をサポートすることができ、利用者は、携帯端末装置がジェスチャー入力を受け付ける状態にあるか否かを判断することができる。
〔第４の実施形態〕
次に、本発明の第３の実施形態に係る電子機器について以下に説明する。本実施形態に係る電子機器は携帯端末装置である。
本発明の携帯端末装置は、タッチパネルディスプレイと、記憶部と、制御部とを具備している。記憶部には、複数パターンの画像データの各々に対して、利用者がタッチパネルディスプレイにタッチすることによってジェスチャー入力を受け付けるか否かを表す可否情報が登録され、複数パターンの画像データのうちの、ジェスチャー入力を受け付ける画像データに対して登録軌跡データが登録されている。登録軌跡データは、それぞれ、ジェスチャー入力をサポートするための登録軌跡と、登録軌跡に関連付けられた機能の名称とを含んでいる。制御部は、複数パターンの画像データのうちの、利用者の操作に応じた画像データをタッチパネルディスプレイに表示する。このとき、制御部は、画像データに対する可否情報がジェスチャー入力の受け付けを表している場合、記憶部に登録された登録軌跡データを画像データに重ねてタッチパネルディスプレイにオーバレイ表示する。
本発明は上記実施形態に限定されることなく、特許請求の範囲に記載した発明の範囲内で、種々の変形が可能であり、それらも本発明の範囲内に含まれるものであることはいうまでもない。
この出願は、２００９年６月１０日に出願された日本出願特願２００９−１３８８２８を基礎とする優先権を主張し、その開示の全てをここに取り込む。

本発明は、タッチパネルディスプレイを備えた電子機器に適用される。

１、１０１ タッチパネルディスプレイ
２、１０１ 入力部
３、１０３ 制御部（ＣＰＵ）
４、１０４ 記憶部
５ コンピュータプログラム
６−１〜６−ｍ 機能
６−ｉ 機能
７ データベース
１１−１〜１１−ｎ 画像データ
１２ 可否情報
１３−１〜１３−ｍ 軌跡データ
１３−ｉ 軌跡データ
１４−１〜１４−ｍ 機能情報
１４−ｉ 機能情報
１５−１〜１５−ｍ 軌跡関連情報
２０、２２０、２２１ 入力軌跡
１００ 電子機器
１１１ 表示データ
１１３、１６３ 軌跡データ
１１４ 機能情報
１１５ 軌跡関連情報

Claims (23)

1. タッチパネルディスプレイと、
   複数の表示データと、各々の前記表示データに関連付けられた軌跡関連情報と、を記憶する記憶部と、
   制御部と、を備え、
   前記軌跡関連情報には、軌跡データと、前記軌跡データに関連付けられた機能情報とが含まれ、
   前記制御部は、前記タッチパネルディスプレイに表示する前記表示データに関連付けられた前記軌跡関連情報に基づいて、ジェスチャー入力を受け付けるか否かを判別し、前記ジェスチャー入力を受け付けると判別した場合は、前記表示データに関連付けられた前記軌跡関連情報に含まれる前記軌跡データを前記表示データに重ねて前記タッチパネルディスプレイにオーバレイ表示する電子機器。
2. 前記制御部は、前記軌跡データと前記表示データとが前記タッチパネルディスプレイにオーバレイ表示されているときに前記ジェスチャー入力が行われた場合、前記軌跡データの中から、前記ジェスチャー入力により入力された入力軌跡に一致する前記軌跡データを選択軌跡データとして確定し、前記選択軌跡データに関連付けられた機能を実行する請求項１に記載の電子機器。
3. 前記制御部は、前記選択軌跡データを確定した後に、前記軌跡データを前記タッチパネルディスプレイに表示することを終了する請求項２に記載の電子機器。
4. 前記制御部は、前記軌跡データと前記表示データとが前記タッチパネルディスプレイにオーバレイ表示されているときに前記ジェスチャー入力が行われ、前記ジェスチャー入力により入力された入力軌跡と前記軌跡データとが一致しないと判別した場合、前記軌跡データを前記タッチパネルディスプレイに表示することを終了する請求項１から３のいずれか一項に記載の電子機器。
5. 前記制御部は、前記軌跡データを前記表示データに重ねて前記タッチパネルディスプレイにオーバレイ表示した後に所定時間内に前記ジェスチャー入力が行われなかった場合、前記軌跡データを前記タッチパネルディスプレイに表示することを終了する請求項１から４のいずれか一項に記載の電子機器。
6. 前記制御部は、前記ジェスチャー入力を受け付けないと判別した場合は、前記表示データを前記タッチパネルディスプレイに表示する請求項１から５のいずれか一項に記載の電子機器。
7. 前記記憶部には、前記表示データが前記ジェスチャー入力を受け付けるか否かを表す可否情報が記憶され、
   前記制御部は、前記可否情報に基づいて、前記ジェスチャー入力を受け付けるか否かを判別する請求項１から６のいずれか一項に記載の電子機器。
8. 前記軌跡関連情報には、複数の軌跡データが含まれ、
   前記制御部は、複数の前記軌跡データを前記表示データに重ねて前記タッチパネルディスプレイにオーバレイ表示する請求項１から７のいずれか一項に記載の電子機器。
9. 前記制御部は、それぞれの前記軌跡データを異なる表示形式で前記表示データに重ねて前記タッチパネルディスプレイにオーバレイ表示する請求項８に記載の電子機器。
10. 前記制御部は、前記軌跡データに関連付けられた前記機能情報を、前記軌跡データと前記表示データとに重ねて前記タッチパネルディスプレイにオーバレイ表示する請求項１から９のいずれか一項に記載の電子機器。
11. 前記表示データは、利用者による前記タッチパネルディスプレイへのタッチ操作により選択される請求項１から１０のいずれか一項に記載の電子機器。
12. 入力部を更に具備し、
    前記表示データは、利用者による前記タッチパネルディスプレイへのタッチ操作、又は、前記利用者による前記入力部の操作により選択される請求項１から１０のいずれか一項に記載の電子機器。
13. タッチパネルディスプレイに表示する表示データに関連付けられた軌跡関連情報に基づいてジェスチャー入力を受け付けるか否かを判別し、
    前記ジェスチャー入力を受け付けると判別した場合は、前記表示データに関連付けられた前記軌跡関連情報に含まれる軌跡データを前記表示データに重ねて前記タッチパネルディスプレイにオーバレイ表示するジェスチャー処理方法。
14. 前記軌跡データと前記表示データとが前記タッチパネルディスプレイにオーバレイ表示されているときに前記ジェスチャー入力が行われた場合、前記軌跡データの中から、前記ジェスチャー入力により入力された入力軌跡に一致する前記軌跡データを選択軌跡データとして確定し、前記選択軌跡データに関連付けられた機能を実行する請求項１３に記載のジェスチャー処理方法。
15. 前記選択軌跡データを確定した後に、前記軌跡データを前記タッチパネルディスプレイに表示することを終了する請求項１４に記載のジェスチャー処理方法。
16. 前記軌跡データと前記表示データとが前記タッチパネルディスプレイにオーバレイ表示されているときに前記ジェスチャー入力が行われ、前記ジェスチャー入力により入力された入力軌跡と前記軌跡データとが一致しないと判別した場合、前記軌跡データを前記タッチパネルディスプレイに表示することを終了する請求項１３から１５のいずれか一項に記載のジェスチャー処理方法。
17. 前記軌跡データを前記表示データに重ねて前記タッチパネルディスプレイにオーバレイ表示した後に所定時間内に前記ジェスチャー入力が行われなかった場合、前記軌跡データを前記タッチパネルディスプレイに表示することを終了する請求項１３から１６のいずれか一項に記載のジェスチャー処理方法。
18. 前記ジェスチャー入力を受け付けないと判別した場合は、前記表示データを前記タッチパネルディスプレイに表示する請求項１３から１７のいずれか一項に記載のジェスチャー処理方法。
19. 前記ジェスチャー入力を受け付けるか否かを表す可否情報を記憶部に記憶する請求項１３から１８のいずれか一項に記載のジェスチャー処理方法。
20. 前記可否情報に基づいて、前記ジェスチャー入力を受け付けるか否かを判別する請求項１９に記載のジェスチャー処理方法。
21. 前記表示データを、利用者による操作に基づいて選択する請求項１３から２０のいずれかに記載のジェスチャー処理方法。
22. 前記ジェスチャー入力を受け付けないと判別した場合は、
    前記表示データを前記タッチパネルディスプレイに表示する請求項１３から２１のいずれかに記載のジェスチャー処理方法。
23. コンピュータに、
    タッチパネルディスプレイに表示する表示データに関連付けられた軌跡関連情報に基づいてジェスチャー入力を受け付けるか否かを判別させ、
    前記ジェスチャー入力を受け付けると判別した場合は、前記表示データに関連付けられた前記軌跡関連情報に含まれる軌跡データを前記表示データに重ねて前記タッチパネルディスプレイにオーバレイ表示させるジェスチャー処理プログラム。

Images