JP6847127B2

JP6847127B2 - タッチスクリーントラック認識方法及び装置

Info

Publication number: JP6847127B2
Application number: JP2018556431A
Authority: JP
Inventors: 娟胡; ▲黄▼蘭花
Original assignee: Beijing Kingsoft Office Software Inc; Zhuhai Kingsoft Office Software Co Ltd
Current assignee: Beijing Kingsoft Office Software Inc; Zhuhai Kingsoft Office Software Co Ltd
Priority date: 2016-04-28
Filing date: 2016-08-30
Publication date: 2021-03-24
Anticipated expiration: 2036-08-30
Also published as: CN107329602A; WO2017185575A1; US20200210059A1; JP2019516189A; US11042290B2

Description

本願は、タッチスクリーン操作技術の分野に関し、特に、タッチスクリーン上の軌跡を識別する方法及び装置に関する。

近年、モバイル機器はますます普及しており、モバイル機器への書き込み／描画の需要が増えている。スタイラスはモバイル機器上での書き込み及び描画のニーズを十分に満たすことができるため、スタイラスは広く使用されている。

一般に、スタイラスの操作結果はジェスチャー操作の操作結果と一致するが、スタイラス及びジェスチャー操作はタッチスクリーンの操作状態において多くの制限を受ける。例えば、スタイラス及びジェスチャー操作によって引き起こされるカオス的な操作に起因して、操作が非常に煩雑な、単純ではない、実際の操作属性を区別することは困難であり、ユーザーエクスペリエンスが低いという技術的問題が生じる。

本願の実施形態によって提供されるタッチスクリーン上の軌跡を識別する方法及び装置は、スタイラスとジェスチャーの混同する（mix-up）操作に起因するタッチスクリーン上の識別不能な、複雑で間接な操作によって引き起こされる低いユーザーエクスペリエンスの技術的問題などの、タッチスクリーンの操作状態に現在存在するスタイラス及びジェスチャーによる操作における多くの制限を解決することができる。

本願の実施の形態によって提供されるタッチスクリーン上の軌跡を識別する方法は、前記タッチスクリーン上でトリガされたタッチ操作命令を検出し、前記タッチ操作命令の種類を判定し、前記タッチ操作命令がスタイラストリガ命令である場合、取得されたスタイラスの軌跡に応じて対応する処理を実行し、前記タッチ操作命令がジェスチャートリガ命令である場合、取得されたジェスチャーの軌跡に応じて対応する処理を実行する。

選択的に、前記タッチスクリーン上でトリガされたタッチ操作命令を検出することは、具体的には、
インク状態において、前記タッチスクリーンによって戻されたトリガモードを取得し、
前記トリガモードを入力ソースと自動的に照合し、対応するタッチ操作命令を判定することを含む。

選択的に、前記トリガモードを入力ソースと自動的に照合し、対応するタッチ操作命令を判定することは、具体的には、
前記トリガモードを入力ソースに対応するカプセル化されたａｐｉと自動的に照合し、カプセル化されたａｐｉに対応するタッチ操作命令を判定することを含む。

選択的に、取得された前記ジェスチャーの軌跡に応じて対応する処理を実行することは、具体的には、
取得された単指操作又は多指操作の前記ジェスチャーの軌跡に応じて、対応するジェスチャーの処理を実行することを含み、
前記ジェスチャーの処理は、インターフェースのズーム及び／又はインターフェースのスクロール及び／又はテキストコンテンツの選択及び／又はジェスチャーによってスワイプされた領域の塗りつぶし（filling an area swept by a gesture）及び／又はジェスチャーによってスワイプされた領域のカット／コピーを含む。

選択的に、取得された前記スタイラスの軌跡に応じて対応する処理を実行することは、
取得された前記スタイラスの軌跡に応じて対応するスタイラスの処理を実行することを含み、
前記スタイラスの処理は、インク描画処理及び／又はレーザースタイラス処理及び／又は通常の画像／オブジェクト描画処理及び／又は消去処理を含む。

選択的に、前記タッチスクリーン上の軌跡を識別する方法は、さらに、
前記タッチ操作命令がスタイラストリガ命令とジェスチャートリガ命令の両方を含むと判定された場合、
予め設定された優先度に応じて、優先度順に対応する処理を実行するか、
又は、予め設定された優先度に基づいて前記タッチ操作命令が特殊ケースであるかを判定し、特殊ケースであると判定された場合、前記優先度順を再調整するか、
又は、スタイラストリガ命令及びジェスチャートリガ命令に対応する操作を同時に実行することを含む。

本願の実施の形態によって提供されるタッチスクリーン上の軌跡を識別する装置は、
前記タッチスクリーン上でトリガされたタッチ操作命令を検出するように構成された検出ユニットと、
前記タッチ操作命令がスタイラス処理ユニットをトリガするスタイラストリガ命令であるか、前記タッチ操作命令がジェスチャー処理ユニットをトリガするジェスチャートリガ命令であるかの、前記タッチ操作命令の種類を判定する判定ユニットとを含み、
前記スタイラス処理ユニットは、取得したスタイラスの軌跡に応じて対応する処理を実行するように構成されており、
前記ジェスチャー処理ユニットは、取得したジェスチャーの軌跡に応じて対応する処理を行うよう構成されている。

選択的に、前記検出ユニットは、具体的には、
インク状態において、前記タッチスクリーンによって戻されたトリガモードを取得するように構成された戻りサブユニットと、
前記トリガモードを入力ソースと自動的に照合し、対応するタッチ操作命令を判定するように構成された判定サブユニットと、
を含む。

選択的に、前記判定サブユニットは、前記トリガモードを入力ソースに対応するカプセル化されたａｐｉと自動的に照合し、前記カプセル化されたａｐｉに対応するタッチ操作命令を判定するように構成される。

選択的に、前記ジェスチャー処理ユニットは、取得された単指操作又は多指操作の前記ジェスチャーの軌跡に応じて、対応するジェスチャーの処理を実行するように構成され、
前記ジェスチャーの処理は、インターフェースのズーム及び／又はインターフェースのスクロール及び／又はテキストコンテンツの選択及び／又はジェスチャーによってスワイプされた領域の塗りつぶし（filling an area swept by a gesture）及び／又はジェスチャーによってスワイプされた領域のカット／コピーを含む。

選択的に、前記スタイラス処理ユニットは、取得された前記スタイラスの軌跡に応じて対応するスタイラスの処理を実行するように構成され、
前記スタイラスの処理は、インク描画処理及び／又はレーザースタイラス処理及び／又は通常の画像／オブジェクト描画処理及び／又は消去処理を含む。

選択的に、前記タッチスクリーン上の軌跡を識別するための装置は、さらに、
前記判定ユニットが、前記タッチ操作命令がスタイラストリガ命令とジェスチャートリガ命令との両方を含むと判定した場合、予め設定された優先度に応じて、優先度順に対応する処理を実行するか、又は、予め設定された前記優先度に基づいて前記タッチ操作命令が特殊ケースであるかを判定し、特殊ケースであると判定された場合、前記優先度順を再調整するか、又は、スタイラストリガ命令とジェスチャートリガ命令に対応する操作を同時に実行するように構成された同時処理ユニットを含む。

本願の実施の形態によって提供される電子機器は、
プロセッサ、メモリ、通信インターフェース及び通信バスを備え、
前記プロセッサ、前記メモリ及び前記通信インターフェースは、前記通信バスを介して互いに接続され、通信し、
前記メモリは実行可能なプログラムコードを格納し、
前記プロセッサは、前記メモリに格納された前記実行可能なプログラムコードを読み出して、本願に記載のタッチスクリーン上の軌跡を識別する方法を実施し、前記実行可能なプログラムコードに対応するプログラムを実行する。

本願の実施の形態は記憶媒体を提供し、該記憶媒体は、実行可能なプログラムコードを格納するように構成され、前記実行可能なプログラムコードは、実行されると、本願に記載のタッチスクリーン上の軌跡を識別する方法を実施するように構成されている。

本願の実施の形態はアプリケーションプログラムを提供し、該アプリケーションプログラムは、本願に記載のタッチスクリーン上の軌跡を識別する方法を実行するように構成されている。

上記の技術的解決策から分かるように、本願の実施形態は以下の利点を有する。
本願の実施形態は、タッチスクリーン上の軌跡を識別する方法及び装置を提供する。
タッチスクリーン上の軌跡を識別する方法は、タッチスクリーン上でトリガされたタッチ操作命令を検出し、タッチ操作命令の種類を判定し、タッチ操作命令がスタイラストリガ命令である場合、取得されたスタイラスの軌跡に応じて対応する処理を実行し、タッチ操作命令がジェスチャートリガ命令である場合、取得されたジェスチャーの軌跡に応じて対応する処理を実行する。
本実施形態では、タッチ操作命令の種類を判定し、タッチ操作命令の種類がスタイラストリガ命令であれる場合、取得されたスタイラスの軌跡に応じて対応する処理を行い、タッチ操作命令の種類がジェスチャートリガ指示である場合、取得されたジェスチャーの軌跡に応じて対応する処理が行われるため、スタイラスとジェスチャーの混同する（mix-up）操作に起因するタッチスクリーン上の識別不能な、複雑で間接な操作によって引き起こされる低いユーザーエクスペリエンスの技術的問題などの、タッチスクリーンの操作状態に現在存在するスタイラス及びジェスチャーによる操作における多くの制限を解決することができる。

本願の実施形態及び従来技術における技術的解決策をより明確に説明するために、実施形態及び従来技術で用いられる必要がある図面について以下に簡単に説明する。明らかに、以下に説明する図面は、本願の一部の実施形態のみのものであり、当業者であれば、これらの図面に基づいて、創意工夫なく他の図面を得ることができる。

本願の実施形態によって提供されるタッチスクリーン上の軌跡を識別する方法の実施形態の概略フローチャート図である。本願の実施形態によって提供されるタッチスクリーン上の軌跡を識別する方法の他の実施形態の概略フローチャート図である。本願の実施形態によって提供されるタッチスクリーン上の軌跡を識別する装置の実施形態の構造概略図である。本発明の実施形態によって提供されるタッチスクリーン上の軌跡を識別する装置の他の実施形態の構造概略図である。図２の応用例の概略図である。

当業者が本願の実施形態における技術的解決策をよりよく理解できるようにするため、本願の実施形態における技術的解決策を、本願の実施形態の添付の図面と組み合わせて、以下、明瞭かつ完全に説明する。明らかに、記載された実施形態は、本願の実施形態の一部であり、実施形態の全てではない。創作工夫なく本願の実施形態に基づいて当業者によって得られる他の全ての実施形態は、本願の保護範囲内に収まるものとする。

図１を参照すると、本願の実施形態によって提供されるタッチスクリーン上の軌跡を識別する方法の実施形態は、以下のステップを含む。
１０１、タッチスクリーン上でトリガされたタッチ操作命令を検出する。

実施形態では、インク状態において、スタイラス又はジェスチャーの接触を判定する必要がある場合、まず、タッチスクリーン上でトリガーされたタッチ操作命令を検出する必要がある。

１０２、タッチ操作命令の種類を判定する。タッチ操作命令がスタイラストリガ命令である場合、ステップ１０３を実行し、タッチ操作命令がジェスチャートリガ命令である場合、ステップ１０４を実行する。

タッチスクリーン上でトリガされるタッチ操作命令を検出した後、タッチ操作命令の種類を判定する必要がある。タッチ操作命令がスタイラストリガ命令である場合、ステップ１０３が実行され、タッチ操作命令がジェスチャートリガ命令である場合、ステップ１０４が実行される。

１０３、取得されたスタイラスの軌跡に応じて対応する処理を実行する。

タッチ操作命令がスタイラストリガ命令であると判定された場合、取得されたスタイラスの軌跡に応じて対応する処理が実行される。

１０４、取得されたジェスチャーの軌跡に応じて対応する処理を実行する。

タッチ操作命令がジェスチャートリガ命令であると判定された場合、取得されたジェスチャーの軌跡に応じて対応する処理が実行される。

本実施形態では、タッチ操作命令の種類を判定し、タッチ操作命令がスタイラストリガ命令である場合、取得されたスタイラスの軌跡に応じて対応する処理が実行され、タッチ操作命令がジェスチャー操作命令である場合、取得されたジェスチャーの軌跡に応じて対応する処理が実行されるため、スタイラスとジェスチャーの混同する（mix-up）操作に起因するタッチスクリーン上の識別不能な、複雑で間接な操作によって引き起こされる低いユーザーエクスペリエンスの技術的問題などの、タッチスクリーンの操作状態に現在存在するスタイラス及びジェスチャーによる操作における多くの制限を解決することができる。

タッチスクリーン上の軌跡を識別する方法のプロセスは、上で詳細に説明されており、追加のプロセスは以下で詳細に説明される。図２を参照すると、本願の実施形態によって提供されるタッチスクリーン上の軌跡を識別する方法の他の実施形態は、以下のステップを含む。

２０１、タッチスクリーンによって戻されたトリガモード（trigger mode returned by the touch screen）を取得する。

この実施形態では、スタイラス又はジェスチャーの接触を判定する必要がある場合、まず、タッチスクリーンによって戻されたトリガモードが取得される。

２０２、トリガモードを入力ソースと自動的に照合し、対応するタッチ操作命令を判定する。

タッチスクリーンによって戻されたトリガモードを取得した後、自動的にトリガモードを入力ソースと照合し、対応するタッチ操作命令を判定する必要がある。

入力ソースをトリガモードと自動的に照合し、対応するタッチ操作命令を判定することは、トリガモードを入力ソースに対応するカプセル化されたａｐｉと自動的に照合し、カプセル化されたａｐｉに応じて、対応するタッチ操作命令を判定することを含む。例えば、ｉｏｓ９システムには、指とスタイラスを区別するために使用できる属性タイプがある。入力ソースが異なる場合、システムにカプセル化されたａｐｉジェスチャーは異なるであろう。例えば、ジェスチャーを受信する場合、ＵＩＴｏｕｃｈジェスチャーソースは、カプセル化タイプを有し、これは、当技術分野で周知の技術であり、詳細には説明しない。

２０３、タッチ操作命令の種別を判定する。タッチ操作命令がスタイラストリガ命令である場合、ステップ２０４を実行し、タッチ操作命令がジェスチャートリガ命令である場合ステップ２０５を実行し、タッチ操作命令がスタイラストリガ命令とジェスチャートリガ命令の両方を含む場合、ステップ２０６を実行する。

トリガモードを入力ソースと自動的に照合し、対応するタッチ操作命令を判定した後、タッチ操作命令の種類を判定する必要がある。タッチ操作命令がスタイラストリガ命令である場合、ステップ２０４が実行され、タッチ操作命令がジェスチャートリガ命令である場合、ステップ２０５が実行され、タッチ操作命令がスタイラストリガ命令とジェスチャートリガ命令の両方を含む場合、ステップ２０６が実行される。

２０４、取得されたスタイラスの軌跡応じて対応する処理を実行する。

なお、スタイラスの処理には、インク描画処理及び／又はレーザスタイラス処理及び／又は通常の画像／オブジェクト描画処理及び／又は消去処理が含まれる。

２０５、取得されたジェスチャーの軌跡に応じて対応する処理を実行する。

取得されたジェスチャーの軌跡に応じて対応する処理を実行することは、取得された単指操作又は多指操作のジェスチャーの軌跡に応じて、対応するジェスチャーの処理を実行することを特に含むことができることに留意されたい。ここで、ジェスチャーの処理は、インターフェースのズーム及び／又はインターフェースのスクロール及び／又はテキストコンテンツの選択及び／又はジェスチャーによってスワイプされた領域の塗りつぶし（filling an area swept by a gesture）及び／又はジェスチャーによってスワイプされた領域のカット／コピーを含む。実際には、ジェスチャーの処理の効果は限定されていない。

２０６、予め設定された優先度に応じて、優先度順に対応する処理を実行するか、又は、予め設定された優先度に基づいてタッチ操作命令が特殊ケースであるかを判定し、特殊ケースであると判定された場合、優先度順を再調整するか、又は、スタイラストリガ命令及びジェスチャートリガ命令に対応する操作を同時に実行する。

タッチ操作命令がスタイラストリガ命令とジェスチャートリガ命令の両方を含むと判定された場合、予め設定された優先度に対応する優先度順の処理が実行されるか、又は、予め設定された優先度に基づいてタッチ操作命令が特殊ケースであるかが判定され、特殊ケースであると判定された場合、優先順を再調整するか、又は、スタイラストリガ命令とジェスチャートリガ命令に対応する操作が同時に実行される。

上記の「再調整」は、同じ場面で実行されてもよい。例えば、予め設定された優先度の設定では、通常、手が最初にスクリーンにタッチした場合、スクリーンは最初に手に反応し、スタイラスが最初にスクリーンにタッチした場合、スクリーンは最初にスタイラスに反応する。しかし、手の接触面積が大きすぎる場合手に反応しないように、特別な判定を加えることができる。

スタイラスと手が同時にスクリーンにタッチした場合、いくつかの識別によって優先度の決定が行われることに留意されたい。例えば、手の接触面積が大きすぎたり、ある種の特性を満たしている場合、ユーザーがスタイラスを保持した状態にあり、手のひらや指が描画する画面を支持していると判定することができる。この場合、手の接触動作は自動的に無視される。スタイラスと手が同時にスクリーンに触れると、後続の処理は必ずしも互いに排他的ではない。２つの動作が矛盾しない場合、手とスタイラスの２つの動作が同時に実行されてもよい。指の動作は、他の動作にも拡張することができる。例えば、単指スリップ（single-finger slip）は、消去動作として定義することができる。スタイラスでインクを描画した後、指がインク位置で滑ると、指の動きのトラック内のインクの内容が消去され得る。さらに、スタイラスの動作は、必ずしも手書きの描画だけではなく、例えば、規則的な矩形や円などの描画や、スタイラスを消しゴムとして使用することもできる。

なお、上記予め設定された優先度は、スタイラストリガ命令に対応するスタイラス操作が最初に実行された後に、ジェスチャートリガ命令に対応するジェスチャー操作が実行されてもよいし、処理が逆であってもよいが、これについては詳細には説明しない。上記のジェスチャーの軌跡は、多指、単指操作であってもよく、特に限定されない。

図５は、同じインターフェースにおいてスタイラスとジェスチャーの操作を区別して示している。すなわち、スタイラス使用時にスタイラスの操作に応答し、その操作の結果が手書き効果を描画することであり、指使用時にジェスチャーの操作に応答し、インタフェースをスクロールしたり、インタフェースをズームしたり、テキストを選択したりするなどである。

本実施形態では、タッチ操作命令の種類を判定し、タッチ操作命令がスタイラストリガ命令である場合、取得されたスタイラスの軌跡に応じた対応する処理を行い、タッチ操作命令がジェスチャー操作命令である場合、取得されたジェスチャーの軌跡に応じて対応する処理が行われるため、スタイラスとジェスチャーの混同する（mix-up）操作に起因するタッチスクリーン上の識別不能な、複雑で間接な操作によって引き起こされる低いユーザーエクスペリエンスの技術的問題などの、タッチスクリーンの操作状態に現在存在するスタイラス及びジェスチャーによる操作における多くの制限を解決することができる。同時に、スタイラスとジェスチャーの操作を区別することによって、スタイラスとジェスチャーに異なる操作フィードバックが与えられるので、ユーザーは頻繁に状態を切り替えることなく、より便利かつ迅速に操作タスクを完了することができ、スタイラスとジェスチャーとを区別することによって、インクの描画とインターフェースの操作の２つの動作の目的を区別することができる。達成される効果は、ユーザーが閲覧中にマークすることができるように、インターフェースをスクロールしたりズームしたりするなど、スタイラスを使用したマーキングプロセス中のジェスチャーによってインターフェースが操作され、ユーザーがマーキングプロセスを便利かつ迅速に完了するのを助けることである。

実際のアプリケーションでは、特定のインク状態に入ると、スタイラスを使用して直接描画又は書き込みすることができる。しかし、従来の指スワイプもまたインクを描画することであり、通常この場合、既存の解決法は複雑なジェスチャーをサポートすることであり、例えば、この時２本の指を用いてページを片面化する（be sided）ことができる（ユーザーがこのジェスチャーを見つけて習得することは難しい）。しかし、この処理には多くの制限を受け、主に最も直接的な単指スライドは直接ページをスクロールできず、単指はファイル要素を選択することもできない。

また、スタイラスの軌跡とジェスチャーの軌跡とを区別することにより、描画動作を他の動作と明確に区別し、ユーザーがスタイラスでインクを描画したり、単指でページ内容をスクロールしたりするなど、実際のデザインにおいてより多くの可能性を与えることができる。

図３を参照すると、本願の実施形態によって提供されるタッチスクリーン上の軌跡を識別する装置の実施形態は、以下を含む。
タッチスクリーン上でトリガされたタッチ操作命令を検出するように構成された検出ユニット３０１と、
タッチ操作命令の種類を判定するように構成された判定ユニット３０２であって、タッチ操作命令がスタイラストリガ命令である場合、スタイラス処理ユニット３０３をトリガし、タッチ操作命令がジェスチャートリガ命令である場合、ジェスチャー処理ユニット３０４をトリガし、
スタイラス処理ユニット３０３は、取得したスタイラスの軌跡に応じて対応する処理を実行するように構成されており、
ジェスチャー処理ユニット３０４は、取得したジェスチャーの軌跡に応じて対応する処理を行うよう構成されている。

本実施形態では、判定ユニット３０２によりタッチ操作命令の種類が判定され、タッチ操作命令がスタイラストリガ命令である場合、取得したスタイラスの軌跡に応じてスタイラス処理ユニット３０３により対応する処理が行われ、タッチ操作命令がジェスチャートリガ命令である場合、取得したジェスチャーの軌跡に応じてジェスチャー処理ユニット３０４により対応する処理が行われ、スタイラスとジェスチャーの混同する（mix-up）操作に起因するタッチスクリーン上の識別不能な、複雑で間接な操作によって引き起こされる低いユーザーエクスペリエンスの技術的問題などの、タッチスクリーンの操作状態に現在存在するスタイラス及びジェスチャーによる操作における多くの制限を解決することができる。

タッチスクリーン上の軌跡を識別するための装置の様々なユニットが上で詳細に説明されており、追加のユニットは以下で詳細に説明される。図４を参照すると、本願の実施形態で提供されるタッチスクリーン上の軌跡を識別する装置の他の実施形態は、
タッチスクリーン上でトリガされたタッチスクリーン上のタッチ操作命令を検出するように構成された検出ユニット４０１を含む。
検出ユニット４０１は、具体的には、
タッチスクリーンによって戻されたトリガモードを取得するように構成された戻りサブユニット４０１１と、
トリガモードを入力ソースと自動的に照合し、対応するタッチ操作命令を判定するように構成された判定サブユニット４０１２とを含み、判定サブユニット４０１２は、トリガモードを入力ソースに対応するカプセル化されたａｐｉと自動的に照合し、カプセル化されたａｐｉに応じて、対応するタッチ操作命令を判定するように特に構成されている。
タッチ操作指示の種別を判定するように構成された判定ユニット４０２を含み、タッチ操作命令がスタイラストリガ命令である場合、スタイラス処理ユニット４０３をトリガし、タッチ操作命令がジェスチャートリガ命令である場合、ジェスチャー処理ユニット４０４をトリガする。
取得したスタイラスの軌跡に応じて対応する処理を実行するように構成されたスタイラス処理ユニット４０３を含む。スタイラス処理ユニットは、取得されたスタイラスの軌跡に応じて対応するスタイラスの処理を実行するように特に構成され、スタイラスの処理は、インク描画処理及び／又はレーザースタイラス処理及び／又は通常の画像／オブジェクト描画処理及び／又は消去処理を含む。
取得したジェスチャーの軌跡に応じて対応する処理を行うよう構成されたジェスチャー処理ユニット４０４を含む。ジェスチャー処理ユニット４０４は、取得された単指操作又は多指操作のジェスチャーの軌跡に応じて、対応するジェスチャーの処理を実行するように特に構成され、ジェスチャーの処理は、インターフェースのズーム及び／又はインターフェースのスクロール及び／又はテキストコンテンツの選択及び／又はジェスチャーによってスワイプされた領域の塗りつぶし（filling an area swept by a gesture）及び／又はジェスチャーによってスワイプされた領域のカット／コピーを含む。
判定ユニット４０２がタッチ操作命令がスタイラストリガ命令とジェスチャートリガ命令の両方を含むと判定した場合、予め設定された優先度に応じて優先度順に対応する処理を実行するか、又は、予め設定された優先度に基づいてタッチ操作命令が特殊ケースであるかを判定し、特殊ケースであると判定された場合、優先度順を再調整するか、又はスタイラストリガ命令とジェスチャートリガ命令に対応する操作を同時に実行するように構成された同時処理ユニット４０５とを含む。

本実施形態では、判定ユニット４０２によりタッチ操作指示の種類が判定され、タッチ操作命令がスタイラストリガ命令である場合、取得したスタイラスの軌跡に応じてスタイラス処理ユニット４０３により対応する処理が行われ、タッチ操作命令がジェスチャートリガ命令である場合、取得したジェスチャーの軌跡に応じてジェスチャー処理部４０４により対応する処理が行われ、スタイラスとジェスチャーの混同する（mix-up）操作に起因するタッチスクリーン上の識別不能な、複雑で間接な操作によって引き起こされる低いユーザーエクスペリエンスの技術的問題などの、タッチスクリーンの操作状態に現在存在するスタイラス及びジェスチャーによる操作における多くの制限を解決することができる。同時に、スタイラスとジェスチャーの操作を区別することによって、スタイラスとジェスチャーに異なる操作フィードバックが与えられるので、ユーザーは頻繁に状態を切り替えることなく、より便利かつ迅速に操作タスクを完了することができ、スタイラスとジェスチャーとを区別することによって、インクの描画とインターフェースの操作の２つの動作の目的を区別することができる。達成される効果は、ユーザーが閲覧中にマークすることができるように、インターフェースをスクロールしたりズームしたりするなど、スタイラスを使用したマーキングプロセス中のジェスチャーによってインターフェースが操作され、ユーザーがマーキングプロセスを便利かつ迅速に完了するのを助けることである。

これに対応して、本願の実施形態は、電子機器をさらに提供し、電子機器は、
プロセッサ、メモリ、通信インターフェース及び通信バスを備え、
プロセッサ、メモリ及び通信インターフェースは、通信バスを介して互いに接続され、通信し、
メモリは実行可能なプログラムコードを格納し、
プロセッサは、メモリに格納された実行可能なプログラムコードを読み出して、実行可能なプログラムコードに対応するプログラムを実行し、実行されたときに本願によって提供されるタッチスクリーン上の軌跡を識別する方法を実現する。

本実施形態では、タッチ操作命令の種類を判定し、タッチ操作命令がスタイラストリガ命令である場合、取得したスタイラスの軌跡に応じて対応する処理を行い、タッチ操作命令がジェスチャー操作命令である場合、取得したジェスチャーの軌跡に応じて対応する処理が行われ、スタイラスとジェスチャーの混同する（mix-up）操作に起因するタッチスクリーン上の識別不能な、複雑で間接な操作によって引き起こされる低いユーザーエクスペリエンスの技術的問題などの、タッチスクリーンの操作状態に現在存在するスタイラス及びジェスチャーによる操作における多くの制限を解決することができる。

これに対応して、本願の実施形態は、さらに記憶媒体を提供する。記憶媒体は、実行可能プログラムコードを格納するために用いられ、実行可能なプログラムコードは、実行されると、本願によって提供されるタッチスクリーン上の軌跡を識別する方法を実行するように構成される。

本実施形態では、タッチ操作命令の種類を判定し、タッチ操作命令がスタイラストリガ命令である場合、取得したスタイラスの軌跡に応じた対応する処理を行い、タッチ操作命令がジェスチャー操作命令である場合、取得したジェスチャーの軌跡に応じた対応する処理が行われ、スタイラスとジェスチャーの混同する（mix-up）操作に起因するタッチスクリーン上の識別不能な、複雑で間接な操作によって引き起こされる低いユーザーエクスペリエンスの技術的問題などの、タッチスクリーンの操作状態に現在存在するスタイラス及びジェスチャーによる操作における多くの制限を解決することができる。

これに対応して、本願の実施形態は、さらにアプリケーションプログラムを提供する。アプリケーションプログラムは、実行されると、本願によって提供されるタッチスクリーン上の軌跡を識別する方法を実行するように構成される。

本実施形態では、タッチ操作命令の種類を判定することにより、タッチ操作命令がスタイラストリガ命令である場合、取得したスタイラスの軌跡に応じた対応する処理を行い、タッチ操作命令がジェスチャー操作命令である場合、取得したジェスチャーの軌跡に応じた対応する処理が行われ、タッチスクリーンの操作状態において現在課されるスタイラス及びジェスチャー操作の多くの制限が解決される。例えば、スタイラス及びジェスチャー操作によって引き起こされるカオス的な操作に起因して、操作が非常に煩雑な、単純ではない、実際の操作属性を区別することは困難であり、ユーザーエクスペリエンスが低いという技術的問題が生じる。

装置／電子機器／記憶媒体／アプリケーションプログラムの実施形態は、本方法の実施形態と実質的に同様であるため、簡単に説明した。関連する内容は、本方法の実施形態の説明を参照することができる。

「第１」、「第２」などのここで用いられる関係用語は、１つの実体（entity）又は操作（operation）を他の実体又は操作と区別するためにのみ使用されるものであり、必ずしもこれらの実体又は操作の間に実際の関係又は順序が存在することを、必要とせず又は意味しないことに留意されたい。さらに、用語「含む（include）」、「備える（comprise）」、又はそれらの任意の変形は、非排他的な包含を含むことが意図され、一連の要素を含むプロセス、方法、物品又は装置は、記載された要素だけでなく、特に記載されていない他の要素又はこれらのプロセス、方法、物品又は装置に固有の要素も含む。さらなる制限なしに、「備える...（comprise(s) a/an…）」という文言によって定義される要素は、記載された要素を含むプロセス、方法、物品又は装置における追加の同一要素を除外しない。

説明における全ての実施形態は、相関した方法で記載され、様々な実施形態における同一又は類似の部分は、互いに参照することができる。さらに、各実施形態の説明は、他の実施形態との相違点に焦点を当てている。特に、装置の実施形態は、方法の実施形態と実質的に類似しており、関連する内容は方法の実施形態の説明を参照することができるので、簡潔に記載される。

当業者であれば、上記の方法の実施におけるステップの全部又は一部が、プログラムによって関連するハードウェアに指示することによって達成され得ることが理解できよう。これらのプログラムは、ＲＯＭ／ＲＡＭ、ディスク、光ディスクなどのコンピュータ可読記憶媒体に記憶されて得る。

上記の実施形態は、本願の簡単な好ましい実施形態であり、本願の保護の範囲を限定することを意図するものではない。本願の精神及び原理内の変更、代替、改良などは、本願の保護の範囲に含まれるものとする。

本願は、２０１６年４月２８日に中国国家知的財産権局に提出された「タッチスクリーントラック認識方法及び装置」という名称の中国特許出願第２０１６１０２８１８３３．９号の優先権を主張し、その全体が参照により本明細書に組み込まれる。

Claims

タッチスクリーン上の軌跡を識別する方法であって、
前記タッチスクリーン上でトリガされたタッチ操作命令を検出し、
前記タッチ操作命令の種類を判定し、前記タッチ操作命令がスタイラストリガ命令である場合、取得されたスタイラスの軌跡に応じて対応する処理を実行し、前記タッチ操作命令がジェスチャートリガ命令である場合、取得されたジェスチャーの軌跡に応じて対応する処理を実行し、
前記タッチスクリーン上の軌跡を識別する方法は、さらに、
前記タッチ操作命令がスタイラストリガ命令とジェスチャートリガ命令の両方を含むと判定された場合、
予め設定された優先度に基づいて前記タッチ操作命令が特殊ケースであるかを判定し、特殊ケースであると判定された場合、前記優先度順を再調整することを備え、
前記予め設定された優先度は、前記スタイラストリガ命令に対応するスタイラス操作が最初に実行された後に、前記ジェスチャートリガ命令に対応するジェスチャー操作が実行されること、又は、前記ジェスチャートリガ命令に対応するジェスチャー操作が最初に実行された後に、前記スタイラストリガ命令に対応するスタイラス操作が実行されることである。
請求項１に記載のタッチスクリーン上の軌跡を識別する方法であって、
前記タッチスクリーン上でトリガされたタッチ操作命令を検出することは、
インク状態において、前記タッチスクリーンによって戻されたトリガモードを取得し、
前記トリガモードを入力ソースと自動的に照合し、対応するタッチ操作命令を判定することを備える。
請求項２に記載のタッチスクリーン上の軌跡を識別する方法であって、
前記トリガモードを入力ソースと自動的に照合し、対応するタッチ操作命令を判定することは、
前記トリガモードを入力ソースに対応するカプセル化されたａｐｉと自動的に照合し、カプセル化されたａｐｉに対応するタッチ操作命令を判定することを備える。
請求項１に記載のタッチスクリーン上の軌跡を識別する方法であって、
取得された前記ジェスチャーの軌跡に応じて対応する処理を実行することは、
取得された単指操作又は多指操作の前記ジェスチャーの軌跡に応じて、対応するジェスチャーの処理を実行することを備え、
前記ジェスチャーの処理は、インターフェースのズーム及び／又はインターフェースのスクロール及び／又はテキストコンテンツの選択及び／又はジェスチャーによってスワイプされた領域の塗りつぶし（filling an area swept by a gesture）及び／又はジェスチャーによってスワイプされた領域のカット／コピーを含む。
請求項１に記載のタッチスクリーン上の軌跡を識別する方法であって、
取得された前記スタイラスの軌跡に応じて対応する処理を実行することは、
取得された前記スタイラスの軌跡に応じて対応するスタイラスの処理を実行することを備え、
前記スタイラスの処理は、インク描画処理及び／又はレーザースタイラス処理及び／又は通常の画像／オブジェクト描画処理及び／又は消去処理を含む。
タッチスクリーン上の軌跡を識別する装置であって、
前記タッチスクリーン上でトリガされたタッチ操作命令を検出するように構成された検出ユニットと、
前記タッチ操作命令がスタイラス処理ユニットをトリガするスタイラストリガ命令であるか、前記タッチ操作命令がジェスチャー処理ユニットをトリガするジェスチャートリガ命令であるかの、前記タッチ操作命令の種類を判定する判定ユニットとを備え、
前記スタイラス処理ユニットは、取得したスタイラスの軌跡に応じて対応する処理を実行するように構成されており、
前記ジェスチャー処理ユニットは、取得したジェスチャーの軌跡に応じて対応する処理を行うよう構成されており、
前記タッチスクリーン上の軌跡を識別する装置は、さらに、
前記判定ユニットが、前記タッチ操作命令がスタイラストリガ命令とジェスチャートリガ命令との両方を含むと判定した場合、予め設定された優先度に基づいて前記タッチ操作命令が特殊ケースであるかを判定し、特殊ケースであると判定された場合、前記優先度順を再調整するように構成された同時処理ユニットを備え、
前記予め設定された優先度は、前記スタイラストリガ命令に対応するスタイラス操作が最初に実行された後に、前記ジェスチャートリガ命令に対応するジェスチャー操作が実行されること、又は、前記ジェスチャートリガ命令に対応するジェスチャー操作が最初に実行された後に、前記スタイラストリガ命令に対応するスタイラス操作が実行されることである。
請求項６に記載のタッチスクリーン上の軌跡を識別する装置であって、
前記検出ユニットは、
インク状態において、前記タッチスクリーンによって戻されたトリガモードを取得するように構成された戻りサブユニットと、
前記トリガモードを入力ソースと自動的に照合し、対応するタッチ操作命令を判定するように構成された判定サブユニットと、
を備える。
請求項７に記載のタッチスクリーン上の軌跡を識別する装置であって、
前記判定サブユニットは、前記トリガモードを入力ソースに対応するカプセル化されたａｐｉと自動的に照合し、前記カプセル化されたａｐｉに対応するタッチ操作命令を判定するように構成される。
請求項６に記載のタッチスクリーン上の軌跡を識別する装置であって、
前記ジェスチャー処理ユニットは、取得された単指操作又は多指操作の前記ジェスチャーの軌跡に応じて、対応するジェスチャーの処理を実行するように構成され、
前記ジェスチャーの処理は、インターフェースのズーム及び／又はインターフェースのスクロール及び／又はテキストコンテンツの選択及び／又はジェスチャーによってスワイプされた領域の塗りつぶし（filling an area swept by a gesture）及び／又はジェスチャーによってスワイプされた領域のカット／コピーを含む。
請求項６に記載のタッチスクリーン上の軌跡を識別する装置であって、
前記スタイラス処理ユニットは、取得された前記スタイラスの軌跡に応じて対応するスタイラスの処理を実行するように構成され、
前記スタイラスの処理は、インク描画処理及び／又はレーザースタイラス処理及び／又は通常の画像／オブジェクト描画処理及び／又は消去処理を含む。
電子機器であって、
プロセッサ、メモリ、通信インターフェース及び通信バスを備え、
前記プロセッサ、前記メモリ及び前記通信インターフェースは、前記通信バスを介して互いに接続され、通信し、
前記メモリは実行可能なプログラムコードを格納し、
前記プロセッサは、前記メモリに格納された前記実行可能なプログラムコードを読み出して、請求項１〜５のいずれか１項に記載のタッチスクリーン上の軌跡を識別する方法を実施し、前記実行可能なプログラムコードに対応するプログラムを実行する。
実行可能なプログラムコードを格納するように構成された記憶媒体であって、前記実行可能なプログラムコードは、実行されると、請求項１〜５のいずれか１項に記載のタッチスクリーン上の軌跡を識別する方法を実施するように構成されている。
請求項１〜５のいずれか１項に記載のタッチスクリーン上の軌跡を識別する方法を実行するように構成されたアプリケーションプログラム。