JP6021756B2 - ユーザインタフェース模擬装置 - Google Patents

Description

この発明は、タッチパネルで操作を行うユーザインタフェース（ＵＩ）をＰＣ等により模擬するユーザインタフェース模擬装置に関するものである。

近年、タッチパネル上で単数または複数の指を決まったパターンで動かすジェスチャによって入力を行うインタフェースが増加している。このような機器のＵＩを開発する際にＰＣ上での模擬環境を利用する場合が多いが、ＰＣ上では多くの場合マウスによる入力でタッチ入力を代替する。この場合、単一のマウスポイントによって、複数の指の操作を模擬する必要が生じる。そこで、例えば特許文献１では、複数回のマウス操作を一旦保存し、それを一度に再生することで、複数の指での操作を模擬することを実現している。

特開２００９−２０５６８５号公報

一方、ジェスチャ操作においては、素早くタッチパネル上をなぞって指を離すフリックと呼ばれる操作も存在する。一般的な人間の動作として、動作速度を高速にすると、その正確性は低下する。そのため、例えば一度行ったフリック操作と全く同じもしくはそれに近い軌跡を正確に再現するのは困難である。そして、前述の従来のユーザインタフェース模擬装置では、複数本の指の操作は可能になるものの、素早くかつ正確にジェスチャを模擬することは達成されていないという課題がある。

この発明は、上記のような課題を解決するためになされたもので、素早い操作が必要なタッチによるジェスチャ操作を、正確な軌跡に対して模擬して実行することができるユーザインタフェース模擬装置を提供することを目的としている。

この発明に係るユーザインタフェース模擬装置は、ユーザによるタッチ入力を受け付けるタッチ入力部と、タッチ入力部により受け付けられたタッチ入力を示すデータの出力先を制御するタッチ入力制御部と、タッチ入力制御部により出力されたタッチ入力を示すデータを、当該タッチ入力の軌跡を示すタッチ軌跡データ及び当該タッチ入力の速度を示すタッチ速度データに分割して保存するタッチデータ保存部と、タッチデータ保存部に保存された該当タッチ速度データの値を設定するタッチデータ編集部と、タッチデータ編集部により値が設定されたタッチ速度データ、及びタッチデータ保存部に保存された該当タッチ軌跡データからなるタッチ入力を示すデータを出力するタッチデータ再生部と、タッチ入力制御部又はタッチデータ再生部により出力されたタッチ入力を示すデータに基づいて、ＧＵＩを模擬するＧＵＩ模擬部とを備えたものである。

この発明によれば、上記のように構成したので、分離されたタッチ速度データをタッチデータ編集部で編集して任意の速度でタッチ軌跡データを再生することができ、タッチの正確な軌跡と素早い操作を両立してＧＵＩを模擬することができる。

この発明の実施の形態１に係るユーザインタフェース模擬装置の構成を示すブロック図である。 この発明の実施の形態１に係るユーザインタフェース模擬装置のハードウェア構成の一例を示す図である。 この発明の実施の形態１に係るユーザインタフェース模擬装置の動作を示すフローチャート図である。 この発明の実施の形態１におけるタッチデータの一例を示す図である。 この発明の実施の形態１におけるタッチデータ編集部によるタッチ速度データ設定の一例を示す図である。 この発明の実施の形態２に係るユーザインタフェース模擬装置を示すブロック図である。 この発明の実施の形態３に係るユーザインタフェース模擬装置を示すブロック図である。 この発明の実施の形態４に係るユーザインタフェース模擬装置を示すブロック図である。

以下、この発明の実施の形態について図面を参照しながら詳細に説明する。
実施の形態１．
図１はこの発明の実施の形態１に係るユーザインタフェース模擬装置を示すブロック図である。
ユーザインタフェース模擬装置は、図１に示すように、タッチ入力部１、タッチ入力制御部２、タッチデータ保存部３、タッチデータ編集部４、タッチデータ再生部５及びＧＵＩ模擬部６から構成されている。

タッチ入力部１は、本ユーザインタフェース模擬装置のユーザ（以降、ユーザと表現した場合には、特に断りのない限り、本ユーザインタフェース模擬装置を利用する者を指す）によるタッチ入力を受け付けるものである。このタッチ入力部１により受け付けられたタッチ入力を示すデータ（タッチデータ）はタッチ入力制御部２に出力される。

タッチ入力制御部２は、タッチ入力部１からのタッチデータの出力先（ＧＵＩ模擬部６又はタッチデータ保存部３）を制御するものである。ここで、タッチ入力制御部２は、ＧＵＩの模擬を直接実行する設定となっている場合にはタッチデータをＧＵＩ模擬部６に出力し、一旦保存する設定となっている場合にはタッチデータをタッチデータ保存部３に出力する。

タッチデータ保存部３は、タッチ入力制御部２により出力されたタッチデータを、タッチ入力の軌跡を示すタッチ軌跡データ及びタッチ入力の速度を示すタッチ速度データに分割して保存するものである。

タッチデータ編集部４は、タッチデータ保存部３に保存された該当タッチ速度データの値を設定するものである。このタッチデータ編集部４により値が設定されたタッチ速度データはタッチデータ再生部５に出力される。

タッチデータ再生部５は、タッチデータ編集部４により値が設定されたタッチ速度データ、及びタッチデータ保存部３に保存された該当タッチ軌跡データからなるタッチデータを、ＧＵＩ模擬部６に出力するものである。

ＧＵＩ模擬部６は、タッチ入力制御部２又はタッチデータ再生部５により出力されたタッチデータに基づいて、ＧＵＩを模擬するものである。

次に、上記のように構成されたユーザインタフェース模擬装置を実現するためのハードウェア構成の一例を、図２を参照しながら説明する。図２では、パーソナルコンピュータ（ＰＣ１１）によりユーザインタフェース装置を実現した場合について示している。
この図２において、図１に示すユーザインタフェース装置のタッチデータ保存部３は、ＲＡＭやハードディスクなどの記憶装置１１１で実現され、タッチデータ及び内包するタッチ軌跡データ・タッチ速度データが記憶される。また、図１に示すユーザインタフェース装置のその他の機能部は、処理装置１１２でプログラムを実行することで実現される。また、ＧＵＩ模擬部６による実行結果等はモニタといった表示装置１２によって画面出力される。また、タッチ入力制御部２における出力先の設定、タッチデータ保存部３における保存終了の設定、タッチデータ編集部４におけるタッチ速度データの値の設定等を行う場合には、ポインティングデバイス１３やキーボード１４といった入力装置を用いる。また、タッチ入力部１に対するタッチ入力は、ポインティングデバイス１３によって行われる。なお、ポインティングデバイス１３としては、タッチ入力の代替となる入力を行うマウス等を用いてもよいし、直接タッチ入力を行うタッチパネルを用いても構わない。

次に、上記のように構成されたユーザインタフェース模擬装置の動作について、図３を参照しながら説明する。以下では、ポインティングデバイス１３として単一のマウスを備えた一般的なＰＣ１１を利用してユーザインタフェース模擬装置を構成した場合を想定する。
ユーザは、設計されたユーザインタフェースをユーザインタフェース模擬装置のＧＵＩ模擬部６によって模擬することで、その動作確認を行う。この場合におけるユーザインタフェース模擬装置の動作では、まず、タッチ入力部１は、ユーザによるタッチ入力を受け付ける（ステップＳＴ１）。この際、ユーザは、マウスのボタンを押下することで、模擬されているユーザインタフェースの画面を指で押す動作を模擬し、ボタンを離すことで画面から指を離した動作を模擬する。また、マウスをドラッグすることで画面上を指でなぞる動作を模擬する。

次いで、タッチ入力制御部２は、タッチ入力部１からのタッチデータを一旦保存するかを判断する（ステップＳＴ２）。なお、ユーザは、例えば、タッチ入力制御部２により画面上に表示されたボタンを選択するなどしてタッチ入力制御部２における出力先の設定を行う。また、この設定方法としては、キーボード１４の特定のキー入力であっても構わないし、そのような動的な設定方法ではなく、予めファイルなどを用いて静的に設定するなど、他の設定方法でも構わない。

このステップＳＴ２において、ユーザによりタッチデータを一旦保存する設定とされている場合には、タッチ入力制御部２は、当該タッチデータをタッチデータ保存部３に出力する。そして、タッチデータ保存部３は、当該タッチデータを、タッチ入力の軌跡を示すタッチ軌跡データ及びタッチ入力の速度を示すタッチ速度データに分割して保存する（ステップＳＴ３）。なお、タッチデータ保存部３は、保存を終了するタイミングをユーザからの入力により決定する。これによって、ユーザが例えば３回マウスドラッグを行って保存終了することを指示することで、指３本で画面をなぞる操作としてタッチデータが保存される。保存終了を指示する方法としては、タッチデータ保存部３により、保存終了するタイミングをユーザが入力するためのボタンを画面上に表示するという方法がある。なお、この際の入力方法としては、キーボード１４の特定のキー入力であっても構わない。また、画面にテキストボックスを表示して事前に何回操作を行うかを数値で入力するといった、他の設定方法でも構わない。
また、予めファイル等によって複数回の入力に対応しない（すなわち複数指での操作の模擬に対応しない）ことが設定されている場合には、保存の終了のタイミングをユーザが指定せずとも、１回の入力で保存を終了することも可能である。

また、タッチデータ保存部３におけるタッチ軌跡データの保存形式としては、例えば一定の時間経過ごとに押下中の座標を保存するといった形式が考えられる。タッチ速度データは各座標間の移動時の速度で与えられ、単位時間あたりに通過するピクセル数で表現可能であり、ｐｉｘｃｅｌ／ｍｓｅｃ（１ミリ秒あたりに通過するピクセル数）といった単位で表現される。例えば、座標（０，０）から座標（３０，３０）まで等速（５ｐｉｘｃｅｌ／ｍｓｅｃ）でなぞったタッチデータ（タッチ軌跡データ、タッチ速度データ）は、図４のようなものとなる。

次いで、タッチデータ保存部３による保存が終了すると、タッチデータ編集部４は、タッチデータ保存部３に保存された該当タッチ速度データの値を設定する（ステップＳＴ４）。なお、ユーザは、例えば図５に示すように、タッチデータ編集部４により画面上に表示されたテーブル上にてタッチ速度データの値を入力することで、タッチ軌跡データの各座標間の移動速度を編集する。なお、この編集方法は一例であり、テーブル形式でなくとも構わない。また、タッチ軌跡データの各座標間に対する速度データを個々に設定できるようにしても構わないし、一括して同じ値を入力できるようにしても構わない。

次いで、タッチデータ再生部５は、タッチデータ編集部４により値が設定されたタッチ速度データ、及びタッチデータ保存部３に保存された該当タッチ軌跡データからなるタッチデータを、ＧＵＩ模擬部６に出力する（ステップＳＴ５）。

次いで、ＧＵＩ模擬部６は、タッチデータ再生部５により出力されたタッチデータに基づいて、ＧＵＩを模擬する（ステップＳＴ６）。また、ステップＳＴ２において、ユーザによりＧＵＩの模擬を直接実行する設定とされている場合には、タッチ入力制御部２は、タッチデータをＧＵＩ模擬部６に出力する。そして、ＧＵＩ模擬部６は、出力されたタッチデータに基づいて、ＧＵＩを模擬する（ステップＳＴ６）。これにより、ＧＵＩ模擬部６が備える模擬画面上でユーザインタフェースが模擬される。

上述したように、従来構成では、例えばフリックと呼ばれる画面上を素早くなぞって指を離すことが必要なジェスチャを行う場合、その素早さ故に所望の座標で正確に指を離すことは困難であった。しかしながら、本発明のユーザインタフェース模擬装置では、タッチデータ編集部４でタッチ速度データの編集を可能とすることで、マウス操作をゆっくりと慎重におこなって正確な軌跡を入力しつつ、後で速度を設定することができる。したがって、正確な座標に対してフリックといった素早い操作が必要なジェスチャを実行することが可能となる。

以上のように、この実施の形態１によれば、ユーザによるタッチ入力を受け付けるタッチ入力部１と、タッチ入力部１により受け付けられたタッチ入力を示すデータの出力先を制御するタッチ入力制御部２と、タッチ入力制御部２により出力されたタッチ入力を示すデータを、当該タッチ入力の軌跡を示すタッチ軌跡データ及び当該タッチ入力の速度を示すタッチ速度データに分割して保存するタッチデータ保存部３と、タッチデータ保存部３に保存された該当タッチ速度データの値を設定するタッチデータ編集部４と、タッチデータ編集部４により値が設定されたタッチ速度データ、及びタッチデータ保存部３に保存された該当タッチ軌跡データからなるタッチ入力を示すデータを出力するタッチデータ再生部５と、タッチ入力制御部２又はタッチデータ再生部５により出力されたタッチ入力を示すデータに基づいて、ＧＵＩを模擬するＧＵＩ模擬部６とを備えたので、軌跡を正確に再現しつつ所望の速度でタッチ操作を模擬して動作可能であり、フリックといった素早い操作が必要なタッチジェスチャの場合でも画面上の座標を正確に模擬することができる。

実施の形態２．
図６はこの発明の実施の形態２に係るユーザインタフェース模擬装置の構成を示すブロック図である。図６に示す実施の形態２に係るユーザインタフェース模擬装置は、図１に示す実施の形態１に係るユーザインタフェース模擬装置のタッチデータ編集部４にタッチデータ一括編集部４１を設けたものである。その他の構成は同様であり、同一の符号を付してその説明を省略する。

タッチデータ一括編集部４１は、タッチデータ保存部３に保存された全てのタッチ速度データの値を一括で設定するものである。すなわち、複数回のマウス入力による複数指の操作を意図したタッチデータをタッチデータ編集部４にて編集する際、各操作に対するタッチ速度データを個々に入力するだけではなく、タッチデータ一括編集部４１によって、全ての操作のタッチ速度データを一括して設定することを可能とする。例えば、実施の形態１と同様にタッチデータ編集部４により、ある１本の指の操作に対してタッチ速度データを設定した後、タッチデータ一括編集部４１により「全体に反映」といったボタンを画面表示する。そして、ユーザがこのボタンを選択することで、設定されたタッチ速度データの値を他の指のタッチ速度データにも反映する。これにより、個々の指の操作に対して細やかな設定を行うのに加え、複数本の指をばらつきなく一様に動かした場合の模擬も可能となる。

以上のように、この実施の形態２によれば、タッチデータ編集部４に、複数の指での操作を表すタッチデータに対して一様なタッチ速度データを設定可能とするタッチデータ一括編集部４１を備えたので、実施の形態１における効果に加え、複数の指での操作を模擬する際に、マウスによって個々に入力された各指の操作を表すタッチデータに対して、一様な速度を設定することができる。

実施の形態３．
図７はこの発明の実施の形態３に係るユーザインタフェース模擬装置の構成を示すブロック図である。図７に示す実施の形態３に係るユーザインタフェース模擬装置は、図１に示す実施の形態１に係るユーザインタフェース模擬装置にタッチ速度データ抽出部７を追加したものである。その他の構成は同様であり、同一の符号を付してその説明を省略する。

タッチ速度データ抽出部７は、タッチ入力部１により再度受け付けられたタッチ入力から、当該タッチ入力の速度を示すタッチ速度データを抽出するものである。このタッチ速度データ抽出部７により抽出されたタッチ速度データはタッチデータ編集部４に出力される。
なお、タッチデータ編集部４は、タッチ速度データ抽出部７により抽出されたタッチ速度データの値を、タッチデータ保存部３に保存された該当タッチ速度データの値として設定する。

実施の形態３に係るユーザインタフェース模擬装置では、タッチデータ編集部４にてタッチ速度データの値を設定する際に、ユーザがもう一度タッチ入力を行う。そして、タッチ速度データ抽出部７にてこのタッチ入力からタッチ速度データのみを抽出して、タッチデータ編集部４におけるタッチ速度データの値とする。なお、タッチ速度データの値の求め方としては、マウスを押下してから離すまでになぞった距離をかかった時間で割った値を、実施の形態１であげたテーブルのタッチ速度データに一括して同じ値として設定するという方法が考えられる。また、これに限定するものではなく、押下してから離すまでの間の最大／最小の速度でも構わないし、一括して同じ値を設定するのではなく、タッチ速度データ編集時になぞった時間を保存されているタッチデータにおける時間に正規化して速度値の変化を同様の分布になるように設定するといった方法でも構わない。

なお、本構成において、タッチ速度データ抽出部７がタッチ速度データを抽出する際のタッチ入力は、ＧＵＩ模擬部６で表示される画面の上で実施される必要はない。タッチ入力における速度値の抽出のみが目的であるため、タッチ速度データ抽出部７がタッチ入力領域を表示してその上でタッチ入力を行っても構わないし、画面の任意の箇所におけるタッチ入力から抽出しても構わない。

以上のように、この実施の形態３によれば、タッチデータ編集部４においてタッチ速度データを設定する際に再度タッチ入力を受け付けてタッチ速度データを抽出し、それをタッチデータ編集部４において設定するタッチ速度データの値とするように構成したので、実施の形態１における効果に加え、タッチ速度データを入力する際に、マウスを使って直感的な方法で速度データを入力することができる。

実施の形態４．
図８はこの発明の実施の形態４に係るユーザインタフェース模擬装置の構成を示すブロック図である。図８に示す実施の形態４に係るユーザインタフェース模擬装置は、図６に示す実施の形態２に係るユーザインタフェース模擬装置にタッチ速度データ抽出部７を追加したものである。その他の構成は同様であり、同一の符号を付してその説明を省略する。

タッチ速度データ抽出部７は、実施の形態３と同様に、タッチ入力部１により再度受け付けられたタッチ入力から、当該タッチ入力の速度を示すタッチ速度データを抽出するものである。
なお、タッチデータ一括編集部４１は、タッチ速度データ抽出部７により抽出されたタッチ速度データの値を、タッチデータ保存部３に保存された全てのタッチ速度データの値として設定する。

実施の形態４に係るユーザインタフェース模擬装置では、タッチデータ一括編集部４１にて全てのタッチ速度データの値を一括設定する際にも、ユーザがもう一度タッチ入力を行う。そして、タッチ速度データ抽出部７にてこのタッチ入力からタッチ速度データのみを抽出して、タッチデータ一括編集部４１におけるタッチ速度データの値とする。これにより、複数タッチデータ一括編集部４１におけるタッチ速度データの値の設定についても、ユーザによるマウスドラッグを利用することが可能となる。なお、実施の形態３と同様に、タッチ速度データの値の求め方としては、マウスを押下してから離すまでになぞった距離をかかった時間で割った値を、タッチ速度データに一括して同じ値として設定するという方法が考えられる。また、これに限定するものではなく、押下してから離すまでの間の最大／最小の速度でも構わないし、一括して同じ値を設定するのではなく、タッチ速度データ編集時になぞった時間を保存されているタッチデータにおける時間に正規化して速度値の変化を同様の分布になるように設定するといった方法でも構わない。

なお、本構成においても、タッチ速度データ抽出部７がタッチ速度データを抽出する際のタッチ入力は、ＧＵＩ模擬部６で表示される画面の上で実施される必要はない。タッチ入力における速度値の抽出のみが目的であるため、タッチ速度データ抽出部７がタッチ入力領域を表示してその上でタッチ入力を行っても構わないし、画面の任意の箇所におけるタッチ入力から抽出しても構わない。

以上のように、この実施の形態４によれば、タッチデータ一括編集部４１においてタッチ速度データを一括で設定する際に再度タッチ入力を受け付けてタッチ速度データを抽出し、それをタッチデータ一括編集部４１において設定するタッチ速度データの値とするように構成したので、実施の形態２における効果に加え、タッチ速度データを入力する際に、マウスを使って直感的な方法で速度データを入力することができる。

なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

１ タッチ入力部、２ タッチ入力制御部、３ タッチデータ保存部、４ タッチデータ編集部、５ タッチデータ再生部、６ ＧＵＩ模擬部、７ タッチ速度データ抽出部、１１ ＰＣ、１２ 表示装置、１３ ポインティングデバイス、１４ キーボード、４１ タッチデータ一括編集部、１１１ 記憶装置、１１２ 処理装置。

Claims (4)

1. ユーザによるタッチ入力を受け付けるタッチ入力部と、
   前記タッチ入力部により受け付けられたタッチ入力を示すデータの出力先を制御するタッチ入力制御部と、
   前記タッチ入力制御部により出力されたタッチ入力を示すデータを、当該タッチ入力の軌跡を示すタッチ軌跡データ及び当該タッチ入力の速度を示すタッチ速度データに分割して保存するタッチデータ保存部と、
   前記タッチデータ保存部に保存された該当タッチ速度データの値を設定するタッチデータ編集部と、
   前記タッチデータ編集部により値が設定されたタッチ速度データ、及び前記タッチデータ保存部に保存された該当タッチ軌跡データからなるタッチ入力を示すデータを出力するタッチデータ再生部と、
   前記タッチ入力制御部又は前記タッチデータ再生部により出力されたタッチ入力を示すデータに基づいて、ＧＵＩを模擬するＧＵＩ模擬部と
   を備えたユーザインタフェース模擬装置。
2. 前記タッチデータ編集部は、前記タッチデータ保存部に保存された全てのタッチ速度データの値を一括で設定するタッチデータ一括編集部を備えた
   ことを特徴とする請求項１記載のユーザインタフェース模擬装置。
3. 前記タッチ入力部により再度受け付けられたタッチ入力から、前記タッチ速度データを抽出するタッチ速度データ抽出部を備え、
   前記タッチデータ編集部は、前記タッチ速度データ抽出部により抽出されたタッチ速度データの値を、前記タッチデータ保存部に保存された該当タッチ速度データの値として設定する
   ことを特徴とする請求項１記載のユーザインタフェース模擬装置。
4. 前記タッチ入力部により再度受け付けられたタッチ入力から、前記タッチ速度データを抽出するタッチ速度データ抽出部を備え、
   前記タッチデータ一括編集部は、前記タッチ速度データ抽出部により抽出されたタッチ速度データの値を、前記タッチデータ保存部に保存された全てのタッチ速度データの値として設定する
   ことを特徴とする請求項２記載のユーザインタフェース模擬装置。

Images