JP7467013B2 - タッチｉｃ及び外部プロセッサを含むシステムで実行される方法 - Google Patents

Description

本発明は、タッチＩＣ及び外部プロセッサを含むシステムで実行される方法に関する。

タッチ面内における指や電子ペンの位置を検出する位置検出システムにおいて位置検出処理を実行するのは、通常、タッチＩＣである。しかしながら、近年ではジェスチャー認識などの複雑な処理を含む位置検出処理が求められるようになってきており、メモリ容量やプロセッサ処理能力などの計算機資源が少ない簡易な構成のタッチＩＣでは対応が難しくなってきている。そこで、外部プロセッサ（ＣＰＵ、ＧＰＵ，ＤＳＰ，ＡＩプロセッサ等のタッチＩＣと異なる集積回路）を追加し、これまでタッチＩＣで行われていた位置検出処理を外部プロセッサに肩代わりさせるシステムの検討が始まっている。この種のシステムによれば、外部プロセッサの潤沢な計算機資源を用いて、タッチＩＣにより取得されたフレームデータ（１タッチ面分の検出データ）に基づくジェスチャ認識等の高度な処理を実行することが可能となる。

特許文献１，２には、そのようなシステムの一例が開示されている。具体的に説明すると、特許文献１の図３には、タッチＩＣ（３０４）から外部プロセッサであるＧＰＵ（３０８）にフレームデータを供給し、ＧＰＵ（３０８）によりタッチ位置を計算するシステムが開示されている。また、特許文献２の図１には、タッチＩＣをソース側とし、ＤＳＰである外部プロセッサをシンク側としたタッチデータの通信インタフェースを有するシステムが開示されている。

米国特許出願公開第２０１７／０２５５３２０号明細書 米国特許出願公開第２０１６／０１７０５４８号明細書

しかしながら、特許文献１，２に記載のシステムにおいては、タッチＩＣに外部プロセッサによる処理の結果が還元されない。そうすると、タッチＩＣによるタッチ検出やペン検出の動作のために外部プロセッサによる処理の結果を利用することができないので、改善が必要とされている。

また、タッチＩＣで検出された位置や筆圧などのデータは後段のホストプロセッサに送られ、そこでインクデータの生成などに使用されることになるが、外部プロセッサを追加する場合、ホストプロセッサは、それまでタッチＩＣから一括して得ていたデータの一部を外部プロセッサから取得しなければならなくなる。そうすると、ホストプロセッサの実装にも影響が及ぶことになってしまうので、ホストプロセッサの実装を変更せずに外部プロセッサを追加できるようにすることが必要とされている。

本発明の第１の側面による方法は、タッチ検出を実行するタッチＩＣと前記タッチＩＣと異なる外部プロセッサとを含むシステムで実行される方法であって、前記システムは、前記タッチＩＣに接続されたセンサ電極群と、前記タッチＩＣと前記外部プロセッサとを接続する第１のバスと、をさらに含み、前記タッチＩＣは、前記センサ電極群の２次元位置ごとの検出レベルを示すフレームデータを生成し、前記第１のバスを介して前記外部プロセッサに供給し、前記外部プロセッサは、前記フレームデータに基づいて所定の処理を行った結果である判定データを前記タッチＩＣに還元し、前記タッチＩＣは、前記判定データに基づく動作を実行する、方法である。

本発明の第２の側面による方法は、上記第１の側面による方法において、前記外部プロセッサは、前記第１のバスを介して前記判定データを前記タッチＩＣに還元し、前記外部プロセッサは、前記タッチＩＣを補助するためのＡＩコプロセッサであり、前記システムは、前記タッチＩＣとホストプロセッサとを接続する第２のバスをさらに含み、前記タッチＩＣは、前記判定データに含まれるタッチ座標を前記第２のバスを介して前記ホストプロセッサにレポートする、方法である。

本発明の第１の側面によれば、外部プロセッサによる処理の結果である判定データを外部プロセッサからタッチＩＣに還元しているので、タッチＩＣは、外部プロセッサによる処理の結果を利用することが可能になる。

本発明の第２の側面によれば、ＡＩコプロセッサで導出されたタッチ座標をタッチＩＣ経由でホストプロセッサに供給しているので、ホストプロセッサの実装を変更せずに外部プロセッサを追加することが可能になる。

本発明の第１の実施の形態によるシステム１の構成を示す図である。 図１に示したタッチ検出部３２が行うタッチ検出の詳細を示す処理フロー図である。 図１に示したペン検出部３３が行うペン検出の詳細を示す処理フロー図である。 （ａ）は、図１に示したタッチＩＣ対応ファームウェア５１が行うパーム領域の導出処理を説明する図であり、（ｂ）は、タッチＩＣ対応ファームウェア５１によるユーザの利き手の判定の例を説明する図である。 図１に示したシステム１の動作を示すシーケンス図である。 図５に示したステップＳ３で行われる判定処理の詳細を示す処理フロー図である。 図５に示したステップＳ４で行われる判定データに基づく処理のうちタッチ検出に関する部分の詳細を示す処理フロー図である。 図５に示したステップＳ４で行われる判定データに基づく処理のうちペン検出に関する部分の詳細を示す処理フロー図である。 本発明の第２の実施の形態によるシステム１の構成を示す図である。 図９に示したシステム１の動作を示すシーケンス図である。 図１０に示したステップＳ３ａで行われる判定処理の詳細を示す処理フロー図である。

以下、添付図面を参照しながら、本発明の実施の形態について詳細に説明する。

図１は、本発明の第１の実施の形態によるシステム１の構成を示す図である。同図に示すように、システム１は、センサ電極群２と、タッチＩＣ３と、専用バス４ａ（第１のバス）と、周辺機器バス４ｂ（第２のバス）と、バスインターフェース４０，４１と、メモリ４２と、ホストプロセッサ５と、内部バス６とを有して構成される。

センサ電極群２は、タッチ面の直下に配置される複数のセンサ電極である。例えばシステム１がタブレット端末である場合、センサ電極群２は、タッチ面である表示面の直下に配置される。センサ電極群２を構成する複数のセンサ電極には、それぞれ図示したｙ方向に延在し、ｘ方向（ｙ方向と直交する方向）に等間隔で配置された複数のＸ電極２ｘと、それぞれ図示したｘ方向に延在し、ｙ方向に等間隔で配置された複数のＹ電極２ｙとが含まれる。

タッチＩＣ３は、ファームウェア３１を実行可能に構成された集積回路であり、センサ電極群２を構成する各センサ電極に接続されている。ファームウェア３１は、図示した指８を検出する動作（以下、「タッチ検出」という）を行うタッチ検出部３２と、センサ電極群２に誘導される電荷に基づいてペン信号を検出することにより図示した電子ペン７を検出する動作（以下、「ペン検出」という）を行うペン検出部３３とを実現するよう構成される。

図２は、タッチ検出部３２が行うタッチ検出の詳細を示す処理フロー図である。同図に示すように、タッチ検出部３２はまず、各Ｘ電極２ｘに対してタッチ検出用信号を送信し（ステップＳ１０）、続いて、各Ｙ電極２ｙにおいてタッチ検出用信号を受信する（ステップＳ１１）。そして、受信結果に基づいて、センサ電極群２の２次元位置ごとの検出レベルを示すヒートマップを作成する（ステップＳ１２）。

ステップＳ１～Ｓ３の処理について、より詳しく説明する。タッチ検出用信号は、それぞれＫ個のパルス（「１」又は「－１」のデータ）を含むＫ個のパルス列からなる信号である。ただし、ＫはＸ電極２ｘの本数である。また、Ｋ個のパルス列の内容（すなわち、Ｋ個のパルスの組み合わせ）はすべて異なっている。

タッチ検出部３２は、Ｋ個のパルス列を１つずつ、各Ｘ電極２ｘに対してパラレルに入力する（ステップＳ１０）。そして、入力の都度、各Ｙ電極２ｙから流れ出る電流の値を取得する（ステップＳ１１）。こうして取得される電流値は、入力したパルス列を構成するＫ個のパルスと、そのＹ電極２ｙと各Ｘ電極２ｘとの交点に形成されているＫ個の静電容量との内積となる。

上記処理により、タッチ検出部３２は、Ｙ電極２ｙごとにＫ個の電流値を取得することになる。タッチ検出部３２は、Ｋ個のパルス列のそれぞれについて、該パルス列を構成するＫ個のパルスと、取得したＫ個の電流値との内積を算出することにより、センサ電極群２の２次元位置ごと（すなわち、各Ｘ電極２ｘと各Ｙ電極２ｙの交点ごと）の検出レベルを算出する（ステップＳ１２）。こうして、上述したヒートマップが完成する。

ヒートマップを生成したタッチ検出部３２は、生成したヒートマップを含むフレームデータを生成し、ホストプロセッサ５に対して送信する（ステップＳ１３）。

タッチ検出部３２はまた、生成したヒートマップに基づき、指８によってタッチされている領域であるタッチ領域と、指８ではなくユーザの手の平又は拳によってタッチされている領域であるパーム領域とを導出する処理を行う（ステップＳ１４）。具体的には、まず静電容量が所定の閾値より大きい領域を判定し、その領域の面積が所定の閾値以下である場合にはタッチ領域と判定し、そうでない場合にはパーム領域と判定する。ここまでの一連の処理により、１回のタッチ検出動作が終了する。なお、タッチ検出部３２は、ステップＳ１４で取得したタッチ領域及びパーム領域についても、ホストプロセッサ５に対して送信することとしてもよい。

ここで、タッチ検出部３２がタッチ領域及びパーム領域を取得するために使用する上記各閾値は、タッチ検出部３２がタッチ検出を行うために使用するタッチ検出用各種パラメータの一部を構成する。タッチ検出用各種パラメータには、他に、ラベリング（隣接するタッチ領域を同一領域として認識する処理）のための判定基準となるパラメータ（例えば、縦２方向、横２方向、斜め４方向の計８方向のうちのｎ方向で隣接しているタッチ領域は１つのタッチ領域とみなす、という基準を設ける場合のｎ）、タッチ検出用信号の内容を制御するためのパラメータ、タッチ検出の対象とする領域を制御するためのパラメータ、センサ電極群２のうちタッチ検出において使用する１以上のセンサ電極を制御するためのパラメータ、マルチタッチの場合にトラッキング対象を決定するためのパラメータ、パーム領域の判定方法を制御するためのパラメータ、タッチ検出部３２からホストプロセッサ５に対して送信するデータの内容を制御するためのパラメータ、センサ電極群２の駆動方法を制御するためのパラメータ（例えば、タッチ検出用信号の波形、電圧、送信周波数）などが含まれ得る。詳しくは後述するが、タッチ検出部３２は、ホストプロセッサ５から還元される判定データに含まれるタッチ制御データに基づき、これらのタッチ検出用各種パラメータを制御するよう構成される。

図３は、ペン検出部３３が行うペン検出の詳細を示す処理フロー図である。同図に示すように、ペン検出部３３はまず、アップリンク信号を生成して各Ｘ電極２ｘに対して入力することにより、電子ペン７に対してアップリンク信号を送信する処理を行う（ステップＳ２０）。アップリンク信号は、電子ペン７をシステム１に同期させるとともに、電子ペン７に対する命令（コマンド）を送信するための信号である。電子ペン７は、このアップリンク信号を受信したことに応じて、無変調のバースト信号と、電子ペン７内で取得される各種データ（筆圧、サイドスイッチのオンオン情報、ペンＩＤなど。以下、「ペン取得データ」と称する）により変調されたデータ信号とをこの順で含むペン信号を送信するよう構成される。アップリンク信号により送信されるコマンドは、データ信号により送信すべきデータの内容を電子ペン７に対して指示する役割を担う。

続いてペン検出部３３は、グローバルスキャンを行うか否かを判定する（ステップＳ２１）。この判定は、ホストプロセッサ５から還元される判定データに含まれるペン制御データに基づいて行われるが、この点については後述する。

ステップＳ２１においてグローバルスキャンを行うと判定した場合のペン検出部３３は、電子ペン７がペン信号の送信を行っているタイミングで、センサ電極群２を構成するすべてのセンサ電極をスキャンする処理（グローバルスキャン）を行い（ステップＳ２２）、その結果としてペン信号が検出されたか否かを判定する（ステップＳ２３）。グローバルスキャンにおいてはデータ信号の復調処理は行われず、ステップＳ２３においては、単にペン信号が検出されたか否かのみが判定される。ステップＳ２３においてペン信号が検出されなかったと判定した場合、ペン検出部３３は、ペン不検出を示すペンデータをホストプロセッサ５に対して送信し（ステップＳ３２）、ペン検出動作を終了する。

一方、ステップＳ２３においてペン信号が検出されたと判定したペン検出部３３は、各センサ電極におけるペン信号の検出レベルに基づき、ペン座標を導出する（ステップＳ２４）。そして、導出したペン座標を示すペンデータをホストプロセッサ５に対して送信し（ステップＳ２５）、ペン検出動作を終了する。

ステップＳ２１においてグローバルスキャンを行わないと判定した場合のペン検出部３３は、電子ペン７がバースト信号の送信を行っているタイミングで、センサ電極群２を構成する複数のセンサ電極のうち直前のペン座標の近傍に位置する所定数のセンサ電極のみをスキャンする処理（セクタスキャン）を行い（ステップＳ２６）、その結果としてペン信号が検出されたか否かを判定する（ステップＳ２７）。この判定においてペン信号が検出されなかったと判定した場合、ペン検出部３３は、ペン不検出を示すペンデータをホストプロセッサ５に対して送信し（ステップＳ３２）、ペン検出動作を終了する。

一方、ステップＳ２７においてペン信号が検出されたと判定したペン検出部３３は、各センサ電極におけるペン信号の検出レベルに基づき、ペン座標を導出する（ステップＳ２８）。その後、導出したペン座標に最も近いセンサ電極を用いてデータ信号を受信し、復調することによって、電子ペン７が送信したペン取得データを受信する（ステップＳ２９）。

続いてペン検出部３３は、ペン状態情報を取得する処理を行う（ステップＳ３０）。ペン状態情報は、電子ペン７がタッチ面に接触したこと（ペンアップ）、タッチ面に接触した電子ペン７が引き続きタッチ面に接触していること（ペンムーブ）、電子ペン７がタッチ面から離れたこと（ペンダウン）のいずれかを示す情報である。電子ペン７がタッチ面に接触しているか否かの判定は、ステップＳ３０で取得された筆圧が所定の閾値（以下、「筆圧ＯＮ荷重」と称する）を上回っているか否かに基づいて判定される。

なお、ステップＳ３０で取得されるペン状態情報には、電子ペン７の傾きを示す傾き情報が含まれることとしてもよい。詳しく説明すると、傾き検出に対応している電子ペン７は、ペン信号を２つの送信電極のそれぞれから送信するよう構成される。ペン検出部３３は、こうして送信される２つのペン信号のそれぞれに基づいてペン座標を導出することによって２つのペン座標を取得し、これら２つのペン座標の間の距離に基づいて、電子ペン７の傾きを導出するよう構成される。

ステップＳ３０を終了したペン検出部３３は、導出したペン座標、受信したペン取得データ、取得したペン状態情報を示すペンデータをホストプロセッサ５に対して送信し（ステップＳ３１）、ペン検出動作を終了する。

ここで、ペン検出部３３がペン状態情報を取得するために使用する筆圧ＯＮ荷重は、ペン検出部３３がペン検出を行うために使用するペン検出用各種パラメータの一部を構成する。ペン検出用各種パラメータには、他に、グローバルスキャンを強制的に実行するためのグローバルスキャンとセクタスキャンの動作割合を示すパラメータ、図３のステップＳ２３，Ｓ２７でペン信号を検出したと判定するためのペン信号の検出レベルであるパラメータ、ペン信号の周波数であるパラメータ、アップリンク信号の送信強度（増幅レベル）であるバラメータ、ペン検出部３３が導出しているペン座標を補正するためのパラメータ、ペン検出部３３が導出している電子ペン７の傾きを補正するためのパラメータなどが含まれ得る。詳しくは後述するが、ペン検出部３３は、ホストプロセッサ５から還元される判定データに含まれるペン制御データに基づき、これらのペン検出用各種パラメータの制御も行うよう構成される。

図１に戻る。ホストプロセッサ５はシステム１の中央処理装置（ＣＰＵ：Central Processing Unit）であり、所定のオペレーティングシステム（ＯＳ）５２を実行することによりシステム１の全体を制御する役割を担う。ホストプロセッサ５は、ＧＰＵ（Graphics Processing Unit）を含むこととしてもよい。ＧＰＵは、一般にＣＰＵよりも高速に演算を行える処理装置であり、リアルタイム画像処理など高速演算が必要な処理を担う。

ホストプロセッサ５は、内部バス６を介してバスインターフェース４０，４１及びメモリ４２に接続される。メモリ４２には、ホストプロセッサ５の動作を規定するプログラムが記憶されており、ホストプロセッサ５はこのプログラムを読み出して実行することにより、後述する各処理を行う。また、メモリ４２は、ホストプロセッサ５が処理中に使用する各種データを一時的又は永続的に記憶する役割も担う。

バスインターフェース４０は、専用バス４ａを介してタッチＩＣ３に接続され、バスインターフェース４１は、周辺機器バス４ｂを介してタッチＩＣ３に接続される。これによりホストプロセッサ５は、専用バス４ａ及び周辺機器バス４ｂのそれぞれを介し、２系統でタッチＩＣ３に接続される。

周辺機器バス４ｂは、システム１の内部において一般的に利用されるバスであり、例えばユニバーサル・シリアル・バス（ＵＳＢ）によって構成される。タッチ検出部３２が導出したタッチ座標及びパーム座標、並びに、ペン検出部３３が取得したペンデータは、周辺機器バス４ｂによって、タッチＩＣ３からホストプロセッサ５に送信されることが好ましい。一方、専用バス４ａは、ヒートマップを含むフレームデータ及び判定データを送受信するために特別に設けたもので、大容量のデータを送受信できるよう、例えばシリアル・ペリフェラル・インタフェース（ＳＰＩ）によって構成される。なお、判定データについては、データ量がヒートマップほど大きくないことから、周辺機器バス４ｂによってホストプロセッサ５からタッチＩＣ３に送信することとしてもよい。

ホストプロセッサ５においては、オペレーティングシステム５２の他にタッチＩＣ対応ファームウェア（ＦＷ）５１（外部プロセッサ）も実行される。タッチＩＣ対応ファームウェア５１は、例えばＧＰＵ上で動作するプログラムであり、タッチＩＣ３から供給されるフレームデータ（ヒートマップ）及びペンデータに基づいて所定の処理を行うことによって上記判定データを生成し、生成した判定データをタッチＩＣ３に還元する処理を行う。判定データの生成及び還元については、後ほどシーケンス図及び処理フロー図を参照しながらより詳しく説明する。

タッチＩＣ対応ファームウェア５１が行う所定の処理には、タッチＩＣ３から供給されるヒートマップ及びペン座標に基づいてタッチ領域及びパーム領域を導出する処理が含まれる。タッチＩＣ対応ファームウェア５１は、導出したタッチ領域及びパーム領域をオペレーティングシステム５２のタッチドライバ５３に供給する。

図４（ａ）は、タッチＩＣ対応ファームウェア５１が行うパーム領域の導出処理を説明する図である。同図には、タッチＩＣ対応ファームウェア５１により４つのタッチ領域Ａ～Ｄが導出され、かつ、タッチＩＣ３から１つのペン座標とが供給された場合を示している。

ユーザが電子ペン７による入力を行う場合、電子ペン７を持つユーザの手がタッチ面に触れ、タッチ領域として導出されてしまう可能性がある。こうして導出される可能性があるタッチ領域は、ユーザが右利きであればペン座標の右側に、ユーザが左利きであればペン座標の左側に位置するはずである。そこでタッチＩＣ対応ファームウェア５１は、ユーザが右利きである場合には、ペン座標の右側に所定形状のパーム領域（図４（ａ）において破線で示した範囲）を仮に設定し、その中に含まれるタッチ領域をパーム領域として取得する。図４（ａ）の例では、タッチ領域Ｃ，Ｄがパーム領域として取得されることになる。また、ユーザが左利きである場合には、ペン座標の左側に所定形状のパーム領域を仮に設定し、その中に含まれるタッチ領域をパーム領域として取得する。

タッチＩＣ対応ファームウェア５１がこのような処理を行うためには、予めユーザの利き手を示す情報を取得する必要がある。これは、一例では、事前のユーザ設定により、タッチＩＣ対応ファームウェア５１にユーザの利き手（右利き又は左利き）を示すパラメータを設定しておくことによって実現できる。また、他の一例では、タッチ領域とペン座標の位置関係から、タッチＩＣ対応ファームウェア５１がユーザの利き手を判定することによっても実現できる。

図４（ｂ）は、タッチＩＣ対応ファームウェア５１によるユーザの利き手の判定の例を説明する図である。同図の例では、ペン座標の左側に２つのタッチ領域Ａ，Ｂが存在している。タッチ領域Ａ，Ｂとペン座標の位置関係がこの状態を保ったまま一定時間以上継続する場合、タッチＩＣ対応ファームウェア５１は、ユーザの利き手は左手であると判定することができる。このように、タッチＩＣ対応ファームウェア５１によってユーザの利き手を判定することも可能である。

なお、ここではペン座標との位置関係に基づいてパーム領域を導出する例を説明したが、タッチＩＣ対応ファームウェア５１は、例えば、面積が所定値以上であるタッチ領域をパーム領域として取得することとしてもよい。

図１に戻る。オペレーティングシステム５２には、タッチドライバ５３及びペンドライバ５４が含まれる。タッチドライバ５３は、タッチＩＣ対応ファームウェア５１により導出されたタッチ領域及びパーム領域を受け取り、所定の処理を加えたうえで、オペレーティングシステム５２上で動作する描画アプリケーションなどに渡す役割を担う。また、ペンドライバ５４は、タッチＩＣ３からペンデータを受け取り、所定の処理を加えたうえで上記描画アプリケーションなどに渡す役割を担う。描画アプリケーションは、こうしてタッチドライバ５３及びペンドライバ５４から受け取ったデータに基づき、タッチ面上における指８又は電子ペン７の軌跡を示すインクデータの生成及びレンダリングなどを行う。これにより、ユーザは、電子ペン７又は指８で入力した結果を画面上で確認することができる。

次に、タッチＩＣ対応ファームウェア５１による判定データの生成及び還元について、図５～図８を参照しながら、詳しく説明する。

図５は、図１に示したシステム１の動作を示すシーケンス図である。タッチＩＣ３は、ペン検出部３３によるペン検出（ステップＳ１）と、タッチ検出部３２によるタッチ検出（ステップＳ２）とを繰り返し実行するように構成される。なお、詳しくは後述するが、ステップＳ１，Ｓ２の実行比率（スキャンシナリオ）は、タッチＩＣ対応ファームウェア５１からタッチＩＣ３に還元される判定データに含まれるペン制御データ（ペン検出の動作を制御するためのデータ）によって、タッチＩＣ対応ファームウェア５１からタッチＩＣ３に指示される。タッチＩＣ３は、この指示に従ってステップＳ１，Ｓ２を実行するよう構成される。

タッチＩＣ３は、ペン検出部３３によるペン検出（ステップＳ１）を実行した場合、タッチＩＣ対応ファームウェア５１とオペレーティングシステム５２（より具体的にはペンドライバ５４）に対して、ペンデータを供給する。この供給は、周辺機器バス４ｂを介して実行される。また、タッチＩＣ３は、タッチ検出部３２によるタッチ検出（ステップＳ２）を実行した場合、タッチＩＣ対応ファームウェア５１に対して、ヒートマップを含むフレームデータを供給する。この供給は、専用バス４ａを介して実行される。

ペンデータ及びフレームデータを受信したタッチＩＣ対応ファームウェア５１は、判定処理を実行する（ステップＳ３）。この処理により、タッチ領域及びパーム領域を含むタッチ制御データと、ペン制御データとを含む判定データが生成される。生成された判定データは、専用バス４ａ又は周辺機器バス４ｂを介して、タッチＩＣ３に還元される。タッチ領域及びパーム領域は、オペレーティングシステム５２（より具体的にはタッチドライバ５３）にも供給される。

図６は、ステップＳ３で行われる判定処理の詳細を示す処理フロー図である。同図に示すように、タッチＩＣ対応ファームウェア５１はまず、ペンデータにペン座標又はペン不検出を示すデータのいずれが含まれるかを判定する（ステップＳ４０）。そして、ペン座標が含まれると判定した場合には、ペン検出時のスキャンシナリオと、セクタスキャン位置とを指定するペン制御データを生成する（ステップＳ４１）。一方、ペン不検出を示すデータが含まれると判定した場合には、ペン未検出時のスキャンシナリオと、グローバルスキャン実行とを指定するペン制御データを生成する（ステップＳ４２）。

ここで、ペン検出時のスキャンシナリオは、ペン未検出時のスキャンシナリオに比べてペン検出を高い頻度で含むシナリオである。こうすることで、ペン検出時にはタッチＩＣ３によるペン信号の受信頻度を上げることができるので、より高い頻度で電子ペン７の位置を検出することが可能になる他、電子ペン７からタッチＩＣ３に対して、よりサイズの大きいデータを送信することが可能になる。一方、ペン未検出時には、タッチ領域及びパーム領域をより高い頻度で取得することが可能になる。

続いてタッチＩＣ対応ファームウェア５１は、受信したフレームデータからヒートマップ取り出し、取り出したヒートマップに基づき、タッチ領域を導出する（ステップＳ４３）。タッチＩＣ対応ファームウェア５１はさらに、受信したペンデータに含まれるペン座標と、ステップＳ４３で導出したタッチ領域とに基づき、パーム領域を導出する（ステップＳ４４）。この導出の詳細は、図４（ａ）を参照して説明したとおりである。ペン座標が受信されていない場合には、パーム領域を導出しないこととしてもよいし、面積が所定値以上であるタッチ領域をパーム領域として導出することとしてもよい。タッチＩＣ対応ファームウェア５１は、こうして導出したタッチ領域及びパーム領域をオペレーティングシステム５２（より具体的にはタッチドライバ５３）に供給する（ステップＳ４５）。

次にタッチＩＣ対応ファームウェア５１は、導出したタッチ領域及びパーム領域を含むタッチ制御データを生成する（ステップＳ４６）とともに、受信したペン座標並びに導出したタッチ領域及びパーム領域等に基づいて上述したペン検出用各種パラメータの制御内容を生成し、ペン制御データに追加する（ステップＳ４７）。そして、タッチＩＣ対応ファームウェア５１は、タッチ制御データ及びペン制御データを含む判定データを生成してタッチＩＣ３に向けて送信し（ステップＳ４８）、判定処理を終了する。

図５に戻る。判定データを受信したタッチＩＣ３は、タッチ検出部３２及びペン検出部３３のそれぞれにおいて、判定データに基づく処理を実行する（ステップＳ４）。

図７は、ステップＳ４で行われる判定データに基づく処理のうち、タッチ検出に関する部分の詳細を示す処理フロー図である。同図に示すように、タッチ検出部３２はまず、判定データからタッチ制御データを取得し（ステップＳ５０）、その中に含まれるタッチ領域及びパーム領域と、タッチＩＣ３の内部で導出したタッチ領域及びパーム領域とを比較する（ステップＳ５１）。そしてタッチ検出部３２は、比較の結果に基づき、タッチＩＣ３内部で導出するタッチ領域及びパーム領域が、タッチＩＣ対応ファームウェア５１で導出されるタッチ領域及びパーム領域に近づくように、上述したタッチ検出用各種パラメータを制御し（ステップＳ５２）、処理を終了する。

ステップ５２の制御には、タッチＩＣ対応ファームウェア５１側で５本の指が検出されているのにタッチＩＣ３側で４本しか検出されていない場合に、タッチの検出感度を上げるためにタッチを検出するための閾値（静電容量の閾値）を下げる、という制御、タッチＩＣ対応ファームウェア５１側でパームが検出されているのにタッチＩＣ３側でパームが検出されていない場合に、パームを検出しやすくするためにパームを検出するための閾値（面積の閾値）を上げる、という制御などが含まれ得る。また、それぞれ１以上のタッチ検出用各種パラメータをプリセットしてなる複数の動作モード（例えば、手袋モード、水滴等の異物付モード）を予めタッチＩＣ対応ファームウェア５１及びタッチ検出部３２のそれぞれに記憶しておき、タッチＩＣ対応ファームウェア５１がヒートマップに基づいて最適な動作モードを決定し、決定された動作モードで動作するようタッチＩＣ３がタッチ検出用各種パラメータを制御することとしてもよい。ステップＳ５２において、上述したその他のパラメータを制御することとしてもよいのは勿論である。

図８は、ステップＳ４で行われる判定データに基づく処理のうち、ペン検出に関する部分の詳細を示す処理フロー図である。ペン検出部３３はまず、判定データからペン制御データを取得する（ステップＳ６０）。そして、取得ペン制御データの指定に従い、スキャンシナリオを設定する（ステップＳ６１）。これ以降のペン検出動作及びタッチ検出動作は、ここで設定されたスキャンシナリオに従って実行される。

次にペン検出部３３は、ペン制御データによりグローバルスキャン実行とセクタスキャン位置のいずれが指定されているかを判定する（ステップＳ６２）。グローバルスキャン実行が指定されていると判定した場合、ペン検出部３３は、次回のペン検出をグローバルスキャンに設定する（ステップＳ６３）。これにより、次回のペン検出においては、図３のステップＳ２１の判定結果が肯定となる。一方、ステップＳ６２でセクタスキャン位置が指定されていると判定した場合、ペン検出部３３は、次回のペン検出をセクタスキャンに設定するとともに、その位置を設定する（ステップＳ６４）。これにより、次回のペン検出においては、図３のステップＳ２１の判定結果が否定となり、また、図３のステップＳ２６でスキャンの対象となるセンサ電極が決定される。

最後にペン検出部３３は、ペン制御データに含まれるペン検出用各種パラメータの制御内容に基づいてペン検出用各種パラメータを制御し（ステップＳ６５）、処理を終了する。ステップ６５の制御には、タッチＩＣ対応ファームウェア５１とタッチＩＣ３のそれぞれにおける電子ペン７の検出の有無に応じて、図３のステップＳ２３，Ｓ２７でペン信号を検出したと判定するためのペン信号の検出レベルを上下し、又は、グローバルスキャンとセクタスキャンの動作割合を変更する制御などが含まれ得る。ステップＳ６５において、上述したその他のパラメータを制御することとしてもよいのは勿論である。

以上説明したように、本実施の形態によるシステム１で実行される方法によれば、ホストプロセッサ５による処理の結果である判定データをタッチＩＣ対応ファームウェア５１からタッチＩＣ３に還元しているので、タッチＩＣ３は、ホストプロセッサ５による処理の結果を利用することが可能になる。その結果として、例えばタッチＩＣ３は、より高い精度でタッチ領域及びパーム領域を導出できるようになるし、タッチＩＣ対応ファームウェア５１からの制御に基づいてペン検出を行えるようになる。

また、データサイズの大きいヒートマップを専用バス４ａにより送信することとしたので、周辺機器バス４ｂの通信リソースを圧迫することなく、タッチＩＣ３からホストプロセッサ５にヒートマップを供給することが可能になる。

なお、本実施の形態においては、ペン検出部３３がペン検出を実行する都度、ペンデータがタッチＩＣ対応ファームウェア５１に供給されることとしたが、例えば、複数回のペン検出を実行した後に１回のタッチ検出を実行する、といったスキャンシナリオが採用される場合には、タッチ検出の直前に行われたペン検出の結果として得られたペンデータのみがタッチＩＣ対応ファームウェア５１に供給されることとしてもよい。このようにすれば、図５のステップＳ３における判定処理に影響を与えずに、タッチＩＣ対応ファームウェア５１の処理を軽減することが可能になる。

また、本実施の形態においては、タッチＩＣ対応ファームウェア５１からオペレーティングシステム５２に対してタッチ領域及びパーム領域を供給するとしたが、ヒートマップに基づくジェスチャ認識などより高度な処理をタッチＩＣ対応ファームウェア５１において実施し、その結果もオペレーティングシステム５２に対して供給することとしてもよい。また、タッチＩＣ３に還元する判定データにも、高度な処理の結果を含めることとしてもよい。こうすることで、タッチＩＣ対応ファームウェア５１をより有意義に活用することが可能になる。

また、本実施の形態においては、タッチＩＣ対応ファームウェア５１により導出されたタッチ領域及びパーム領域のみがタッチ制御データに含まれることとしたが、ペン検出用各種パラメータと同じように、タッチＩＣ対応ファームウェア５１において具体的なタッチ検出用各種パラメータの制御内容を生成し、タッチ制御データに含めることとしてもよい。こうすれば、タッチ検出部３２で使用されるタッチ検出用各種パラメータをタッチＩＣ対応ファームウェア５１から具体的に制御することが可能になる。

図９は、本発明の第２の実施の形態によるシステム１の構成を示す図である。本実施の形態によるシステム１は、ホストプロセッサ５とは別に設けられるＡＩ（Artificial Intelligence）コプロセッサ９をタッチＩＣ３の外部プロセッサとして使用する点、外部プロセッサであるＡＩコプロセッサ９にペンデータが供給されない点で、第１の実施の形態によるシステム１と相違する。その他の点では第１の実施の形態によるシステム１と同様であるので、第１の実施の形態と同一の構成については同一の符号を付し、以下では、第１の実施の形態によるシステム１との相違点を中心に説明する。

図９に示すように、本実施の形態によるシステム１は、ＡＩコプロセッサ９を有して構成される。図１に示したタッチＩＣ対応ファームウェア５１は、本実施の形態によるシステム１には設けられない。また、バスインターフェース４０は、ＡＩコプロセッサ９内に設けられ、内部バス６には接続されない。

ＡＩコプロセッサ９は、人工知能を内蔵する補助プロセッサであり、専用バス４ａによりタッチＩＣ３に接続される。ＡＩコプロセッサ９は、タッチＩＣ３から専用バス４ａを介してヒートマップを含むフレームデータを受け取り、受け取ったヒートマップに基づいてタッチ座標及びパーム座標を導出し、その結果を含む判定データを専用バス４ａを介してタッチＩＣ３に還元する役割を担う。

本実施の形態によるタッチ検出部３２は、還元された判定データからタッチ座標及びパーム座標を取り出し、周辺機器バス４ｂを介してホストプロセッサ５にレポートするよう構成される。これにより、ホストプロセッサ５は、ＡＩコプロセッサ９と通信を行うことなく、ＡＩコプロセッサ９により導出されたタッチ領域及びパーム領域を取得することができる。つまり、ホストプロセッサ５から見ればＡＩコプロセッサ９が隠蔽されていることになるので、ホストプロセッサ５の実装を変更せずに、外部プロセッサであるＡＩコプロセッサ９を追加することが実現される。

図１０は、本実施の形態によるシステム１の動作を示すシーケンス図である。同図に示すように、本実施の形態では、ペン検出部３３によるペン検出（ステップＳ１）の結果として得られるペンデータは、オペレーティングシステム５２（より具体的にはペンドライバ５４）に対してのみ供給され、ＡＩコプロセッサ９へは供給されない。また、ステップＳ３の判定処理に代えて、ステップＳ３ａの判定処理が実行される。

図１１は、ステップＳ３ａで行われる判定処理の詳細を示す処理フロー図である。同図に示すように、ステップＳ３ａで行われる判定処理は、図６に示した判定処理からステップＳ４０～Ｓ４２，Ｓ４５，Ｓ４７を省き、ステップＳ４４，Ｓ４８をそれぞれステップＳ４４ａ，Ｓ４８ａに変更したものとなっている。

ステップＳ４４ａは、ペン座標を使用しない点で、図６に示したステップＳ４４と相違する。すなわち、ＡＩコプロセッサ９は、ステップＳ４３で導出したタッチ領域のみに基づき、パーム領域を導出するよう構成される。具体的な例では、面積が所定値以上であるタッチ領域をパーム領域として導出すればよい。ステップＳ４８ａは、判定データにペン制御データが含まれない点で、図６に示したステップＳ４８と相違する。

図１０に戻る。タッチ検出部３２は、ＡＩコプロセッサ９から受信した判定データに含まれるタッチ領域及びパーム領域を、自身が導出したタッチ領域及びパーム領域としてホストプロセッサ５にレポートする。これにより、上記したように、ホストプロセッサ５の実装を変更せずに、外部プロセッサであるＡＩコプロセッサ９を追加することが実現される。

以上説明したように、本実施の形態によるシステム１で実行される方法によれば、ＡＩコプロセッサ９で導出されたタッチ座標及びパーム座標をタッチＩＣ３経由でホストプロセッサ５に供給しているので、ホストプロセッサ５の実装を変更せずに外部プロセッサを追加することが可能になる。

なお、本実施の形態によるタッチ検出部３２においても、図７に示した処理を実行することとしてもよい。こうすることで、本実施の形態においても、タッチＩＣ３は、より高い精度でタッチ領域及びパーム領域を導出できるようになる。

また、本実施の形態においても、ペン検出部３３によるペン検出（ステップＳ１）の結果として得られるペンデータをＡＩコプロセッサ９へ供給することとしてもよい。こうすれば、本実施の形態においても、ペン検出部３３は、ホストプロセッサ５からの制御に基づいてペン検出を行えるようになる。また、ＡＩコプロセッサ９において、パーム領域の導出をペン座標に基づいて行うことが可能になる。

また、本実施の形態においても、ヒートマップに基づくジェスチャ認識などより高度な処理をＡＩコプロセッサ９において実施し、タッチＩＣ３に還元される判定データにその結果を含めることとしてもよい。この場合、タッチＩＣ３は、こうして還元された高度な処理の結果もホストプロセッサ５にレポートすることが好ましい。こうすることで、ＡＩコプロセッサ９をより有意義に活用することが可能になる。

以上、本発明の好ましい実施の形態について説明したが、本発明はこうした実施の形態に何等限定されるものではなく、本発明が、その要旨を逸脱しない範囲において、種々なる態様で実施され得ることは勿論である。

１ システム
２ センサ電極群
２ｘ Ｘ電極
２ｙ Ｙ電極
３ タッチＩＣ
４ａ 専用バス
４ｂ 周辺機器バス
５ ホストプロセッサ
６ 内部バス
７ 電子ペン
８ 指
９ ＡＩコプロセッサ
３１ ファームウェア
３２ タッチ検出部
３３ ペン検出部
４０，４１ バスインターフェース
４２ メモリ
５１ タッチＩＣ対応ファームウェア
５２ オペレーティングシステム
５３ タッチドライバ
５４ ペンドライバ

Claims (10)

1. タッチ検出を実行するタッチＩＣと前記タッチＩＣと異なる外部プロセッサとを含むシステムで実行される方法であって、
   前記システムは、
   前記タッチＩＣに接続されたセンサ電極群と、
   前記タッチＩＣと前記外部プロセッサとを接続する第１のバスと、をさらに含み、
   前記タッチＩＣは、前記センサ電極群の２次元位置ごとの検出レベルを示すフレームデータを生成し、前記第１のバスを介して前記外部プロセッサに供給し、
   前記外部プロセッサは、前記フレームデータに基づいて所定の処理を行った結果である判定データを前記タッチＩＣに還元し、
   前記タッチＩＣは、前記判定データに基づく動作を実行し、
   前記判定データは、前記外部プロセッサが前記フレームデータに基づいて導出したタッチ領域又はパーム領域を含み、
   前記タッチＩＣは、前記外部プロセッサから還元された前記タッチ領域又は前記パーム領域に基づいて、タッチ検出用各種パラメータを制御する、
   方法。
2. 前記外部プロセッサは、前記第１のバスを介して前記判定データを前記タッチＩＣに還元する、
   請求項１に記載の方法。
3. 前記タッチＩＣは、前記タッチＩＣが前記フレームデータに基づいて導出するタッチ領域又はパーム領域が前記外部プロセッサによって導出されるタッチ領域又はパーム領域に近づくように、前記タッチ検出用各種パラメータを制御する、
   請求項１又は２に記載の方法。
4. 前記タッチ検出用各種パラメータは、タッチ検出用信号の内容を制御するためのパラメータ、タッチ検出の対象とする領域を制御するためのパラメータ、前記センサ電極群のうちタッチ検出において使用する１以上のセンサ電極を制御するためのパラメータ、マルチタッチの場合にトラッキング対象を決定するためのパラメータ、パーム領域の判定方法を制御するためのパラメータ、ホストプロセッサに対して送信するデータの内容を制御するためのパラメータのうちの１つ以上を含む、
   請求項１乃至３のいずれか一項に記載の方法。
5. 前記タッチＩＣはさらに、前記センサ電極群に誘導される電荷に基づいてペンから送信された信号を検出するペン検出を実行し、
   前記判定データは、前記ペン検出の動作を制御するペン制御データを含み、
   前記タッチＩＣは、
   前記外部プロセッサから還元された前記ペン制御データに基づいて、次回のペン検出においてグローバルスキャン及びセクタスキャンのいずれかを実行するかを決定し、
   セクタスキャンを実行すると決定した場合には、前記外部プロセッサから還元された前記ペン制御データに基づいて、前記センサ電極群のうちペン検出において使用する１以上のセンサ電極を選択する、
   請求項１に記載の方法。
6. 前記タッチＩＣはさらに、前記外部プロセッサから還元された前記ペン制御データに基づいて、前記ペン検出と前記タッチ検出の実行比率を制御する、
   請求項５に記載の方法。
7. 前記タッチＩＣはさらに、前記センサ電極群に誘導される電荷に基づいてペンから送信された信号を検出するペン検出を実行し、
   前記ペン検出は、前記ペンに関するペンデータの生成を含み、
   前記タッチＩＣは、前記フレームデータに加えて前記ペンデータを前記外部プロセッサに供給し、
   前記外部プロセッサは、前記フレームデータ及び前記ペンデータを用いてパーム領域の導出を行う、
   請求項１に記載の方法。
8. 前記ペンデータは、前記ペンの位置を示すペン座標を含む、
   請求項７に記載の方法。
9. 前記外部プロセッサは、前記タッチＩＣを補助するためのＡＩコプロセッサであり、
   前記システムは、前記タッチＩＣとホストプロセッサとを接続する第２のバスをさらに含み、
   前記タッチＩＣは、前記判定データに含まれるタッチ座標を前記第２のバスを介して前記ホストプロセッサにレポートする、
   請求項２に記載の方法。
10. 前記タッチＩＣはさらに、前記センサ電極群に誘導される電荷に基づいてペンから送信された信号を検出するペン検出を実行し、
    前記タッチＩＣは、前記ペン検出によって生成した前記ペンの位置を示すペン座標を前記第２のバスを介して前記ホストプロセッサにレポートする、
    請求項９に記載の方法。

Images