JP7888397B2 - ペン状態検出回路及び方法、並びに入力システム - Google Patents

ペン状態検出回路及び方法、並びに入力システム

Info

Publication number
JP7888397B2
JP7888397B2 JP2022127263A JP2022127263A JP7888397B2 JP 7888397 B2 JP7888397 B2 JP 7888397B2 JP 2022127263 A JP2022127263 A JP 2022127263A JP 2022127263 A JP2022127263 A JP 2022127263A JP 7888397 B2 JP7888397 B2 JP 7888397B2
Authority
JP
Japan
Prior art keywords
signal distribution
distribution
electronic pen
pen
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022127263A
Other languages
English (en)
Other versions
JP2024024440A (ja
Inventor
光一 前山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wacom Co Ltd
Original Assignee
Wacom Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wacom Co Ltd filed Critical Wacom Co Ltd
Priority to JP2022127263A priority Critical patent/JP7888397B2/ja
Priority to CN202310806889.1A priority patent/CN117590954A/zh
Priority to US18/365,914 priority patent/US12026326B2/en
Publication of JP2024024440A publication Critical patent/JP2024024440A/ja
Priority to US18/670,498 priority patent/US12265668B2/en
Priority to US19/067,631 priority patent/US12681591B2/en
Application granted granted Critical
Publication of JP7888397B2 publication Critical patent/JP7888397B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of two-dimensional [2D] relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、ペン状態検出回路及び方法、並びに入力システムに関する。
従来から、電子ペンと電子機器を組み合わせてなる筆記入力システムが知られている。この類のシステムでは、電子ペンの指示位置が、電子機器によって精度よく検出されることが望ましい。例えば、特許文献１には、タッチセンサの検出面上においてユーザの手が接触する第１位置及び電子ペンが指し示す第２位置をそれぞれ検出し、第１位置及び第２位置の座標値を用いて電子ペンの傾斜方向を推定し、この傾斜方向に応じて電子ペンの指示位置を補正する電子機器が開示されている。
特開２０１５－０８７７８５号公報
例えば、２つの電極を有する電子ペンを用いることで、ユーザの手が検出面に触れていない場合であっても電子ペンの位置・姿勢を推定することが可能である。しかし、２つの電極は物理的に分離して設けられているので、電子ペンの使用中、少なくとも１つの電極が検出面に常に接触しないことになる。この場合、電子ペンの傾斜角度と検出位置の間の関係が電極の三次元形状に応じて変化し得るので、電子ペンの位置・姿勢によって推定精度がばらついてしまう場合がある。
本発明はこのような問題に鑑みてなされたものであり、その目的は、少なくとも１つの電極を有する電子ペンにおけるペン状態の推定精度を向上可能なペン状態検出回路及び方法、並びに入力システムを提供することにある。
本発明の第１態様におけるペン状態検出回路は、複数のセンサ電極を面状に配置してなる静電容量方式のタッチセンサにより検出された信号分布に基づいて、少なくとも１つの電極を有する電子ペンの状態を検出する回路であって、前記電極の接近に伴う静電容量の変化を示す１次元信号分布であって、前記タッチセンサ上の第１方向に沿った第１信号分布、及び、前記第１方向と交差する第２方向に沿った第２信号分布を前記タッチセンサから取得する取得ステップと、取得された前記第１信号分布及び前記第２信号分布を合成することにより２次元信号分布を生成し、又は、前記第１信号分布の形状に関する第１特徴量分布及び前記第２信号分布の形状に関する第２特徴量分布を合成することにより２次元特徴量分布を生成する合成ステップと、予め定められた入出力モデルを用いて、合成された前記２次元信号分布又は前記２次元特徴量分布から前記電子ペンの指示位置又は姿勢を推定する推定ステップと、を実行する。
また、前記合成ステップでは、前記第１信号分布における前記第１方向の位置に対応する第１対応値と、前記第２信号分布における前記第２方向の位置に対応する第２対応値とを乗算することにより前記２次元信号分布を生成し、又は、前記第１特徴量分布における前記第１方向の位置に対応する第１対応値と、前記第２特徴量分布における前記第２方向の位置に対応する第２対応値とを乗算することにより前記２次元特徴量分布を生成してもよい。
また、前記入出力モデルは、前記２次元信号分布又は前記２次元特徴量分布を入力とし、前記電子ペンの指示位置を示す座標値を出力とする畳み込みニューラルネットワークを含む機械学習モデルであってもよい。
また、前記入出力モデルは、前記２次元信号分布又は前記２次元特徴量分布を入力とし、前記電子ペンの姿勢を示す傾き角及び回転角のうち少なくとも１つを出力とする畳み込みニューラルネットワークを含む機械学習モデルであってもよい。
また、前記入出力モデルは、前記２次元信号分布又は前記２次元特徴量分布を入力とし、前記電子ペンの姿勢を示す傾き角及び回転角のうち少なくとも１つを出力とする畳み込みニューラルネットワークと、前記畳み込みニューラルネットワークから出力された前記傾き角及び前記回転角のうち少なくとも１つと、前記第１信号分布又は前記第１特徴量分布とを入力とし、前記電子ペンの指示位置を示す前記第１方向の座標値を出力とする第１階層型ニューラルネットワークと、前記畳み込みニューラルネットワークから出力された前記傾き角及び前記回転角のうち少なくとも１つと、前記第２信号分布又は前記第２特徴量分布とを入力とし、前記電子ペンの指示位置を示す前記第２方向の座標値を出力とする第２階層型ニューラルネットワークと、を含む機械学習モデルであってもよい。
また、前記電子ペンには、複数の前記電極が設けられ、前記２次元信号分布又は前記２次元特徴量分布は、前記電極に対応する複数のカラーチャンネルを有する画像信号から構成されてもよい。
また、前記第１電極は、前記電子ペンの軸に対称な形状を有し、かつ前記電子ペンの先端に設けられるチップ電極であり、前記第２電極は、前記電子ペンの軸に対称な形状を有し、かつ前記チップ電極よりも基端側に設けられるアッパー電極であってもよい。
本発明の第２態様におけるペン状態検出方法は、複数のセンサ電極を面状に配置してなる静電容量方式のタッチセンサにより検出された信号分布に基づいて、少なくとも１つの電極を有する電子ペンの状態を検出する方法であって、前記電極の接近に伴う静電容量の変化を示す１次元信号分布であって、前記タッチセンサ上の第１方向に沿った第１信号分布、及び、前記第１方向と交差する第２方向に沿った第２信号分布を前記タッチセンサから取得する取得ステップと、取得された前記第１信号分布及び前記第２信号分布を合成することにより２次元信号分布を生成し、又は、前記第１信号分布の形状に関する第１特徴量分布及び前記第２信号分布の形状に関する第２特徴量分布を合成することにより２次元特徴量分布を生成する合成ステップと、予め定められた入出力モデルを用いて、合成された前記２次元信号分布又は前記２次元特徴量分布から前記電子ペンの指示位置又は姿勢を推定する推定ステップと、を１つ又は複数のプロセッサが実行する。
本発明の第３態様における入力システムは、上記したペン状態検出回路を含んで構成される電子機器と、前記電子機器とともに用いられる電子ペンと、前記電子機器と双方向に通信可能であり、前記ペン状態検出回路に構築される入出力モデルを記述するモデルパラメータを記憶可能に構成されるサーバ装置と、を備え、前記電子機器は、前記電子ペンが検出された場合に、該電子ペンに対応するモデルパラメータの送信を前記サーバ装置に要求する。
本発明によれば、少なくとも１つの電極を有する電子ペンにおけるペン状態の推定精度を向上することができる。
本発明の一実施形態における入力システムの全体構成図である。 図１に示す入力システムの動作に関するシーケンス図である。 図１における電子機器の構成の一例を示すブロック図である。 図３に示す検出部の機能ブロック図である。 タッチＩＣによるペン状態の検出動作に関するフローチャートである。 図１及び図３の電子ペンを部分的に示す模式図である。 タッチセンサから取得される１Ｄ信号分布の一例を示す図である。 電子ペンのコンタクト状態時にタッチセンサから検出される局所分布の一例を示す図である。 電子ペンのコンタクト状態時にタッチセンサから検出される局所分布の一例を示す図である。 １Ｄ信号分布の合成方法の一例を示す図である。 １Ｄ特徴量分布の算出方法の一例を示す図である。 第１例の入出力モデルを構成するネットワーク構造を示す図である。 第２例の入出力モデルを構成するネットワーク構造を示す図である。 第３例の入出力モデルを構成するネットワーク構造を示す図である。 第４例の入出力モデルを構成するネットワーク構造を示す図である。
以下、添付図面を参照しながら本発明の実施形態について説明する。説明の理解を容易にするため、各図面において同一の構成要素に対しては可能な限り同一の符号を付して、重複する説明は省略する。
［入力システム１０の説明］
＜全体構成＞
図１は、本発明の一実施形態における入力システム１０の全体構成図である。この入力システム１０は、電子機器１２及び電子ペン１４を用いた筆記入力を受け付けて、筆記入力の再現性が高いデジタルインク（あるいはインクデータ）を生成可能に構成される。この入力システム１０は、具体的には、少なくとも１台の電子機器１２と、少なくとも１本の電子ペン１４と、サーバ装置１６と、を含んで構成される。各々の電子機器１２は、ネットワークＮＴを介してサーバ装置１６と相互に通信可能である。
電子機器１２は、タッチパネルディスプレイ３２（図３）を備える汎用機器又は専用機器である。汎用機器の例として、タブレット型端末、スマートフォン、パーソナルコンピュータなどが挙げられる。一方、専用機器の例として、デジタルサイネージ（いわゆる電子看板）、ウェアラブル端末などが挙げられる。
電子ペン１４は、ペン型のポインティングデバイスであり、電子機器１２との間で形成される静電結合を介して一方向又は双方向に通信可能に構成されている。ユーザは、電子ペン１４を把持し、所定のタッチ面にペン先を押し当てながら移動させることで、電子機器１２に絵や文字を書き込むことができる。この電子ペン１４は、例えば、アクティブ静電結合方式（ＡＥＳ）又は電磁誘導方式（ＥＭＲ）のスタイラスである。
サーバ装置１６は、モデルパラメータ２０の提供に関わる統括的な制御を行うコンピュータであり、クラウド型あるいはオンプレミス型のいずれであってもよい。ここで、サーバ装置１６を単体のコンピュータとして図示しているが、これに代わって、サーバ装置１６は、分散システムを構築するコンピュータ群であってもよい。サーバ装置１６は、具体的には、サーバ側通信部２２と、サーバ側制御部２４と、サーバ側記憶部２６と、を含んで構成される。
サーバ側通信部２２は、外部装置に対して電気信号を送受信するインターフェースである。これにより、サーバ装置１６は、電子機器１２からモデル選択情報１８を受信し、モデルパラメータ２０を電子機器１２に送信することができる。
サーバ側制御部２４は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）を含む演算処理装置によって構成される。サーバ側制御部２４は、サーバ側記憶部２６に格納されたプログラムを読み出して実行することで、後で詳述するモデル選択部２８として機能する。
サーバ側記憶部２６は、非一過性であり、かつコンピュータ読み取り可能な記憶媒体、例えば、ハードディスクドライブ（ＨＤＤ：Hard Disk Drive）又はソリッドステートドライブ（ＳＳＤ：Solid State Drive）から構成される。これにより、サーバ側記憶部２６には、モデルパラメータ２０に関するデータベース（以下、パラメータＤＢ３０）が構築されている。
＜基本動作＞
この実施形態における入力システム１０は、以上のように構成される。続いて、入力システム１０の動作、具体的には、電子機器１２、電子ペン１４、及びサーバ装置１６の連携動作について、図２のシーケンス図を参照しながら説明する。このシーケンス図のステップＳ１，Ｓ９は電子ペン１４及び電子機器１２の協働により、ステップＳ４～Ｓ６はサーバ装置１６によりそれぞれ実行される。一方、残りのステップは電子機器１２により実行される。
図２のステップＳ１において、電子機器１２は、ユーザの筆記入力に用いられる電子ペン１４を検出する。具体的には、電子機器１２は、電子機器１２自身の周辺にある電子ペン１４とのペアリングを試み、このペアリングの成功を通じて電子ペン１４を検出する。あるいは、電子機器１２は、ユーザが電子ペン１４に関する情報を入力する操作を受け付けることで、当該電子ペン１４を検出してもよい。
ステップＳ２において、電子機器１２は、電子ペン１４及び／又は電子機器１２自身からモデル選択情報１８を取得する。
ステップＳ３において、電子機器１２は、ステップＳ２で取得されたモデル選択情報１８を含むデータを、電子機器１２の識別情報（つまり、機器ＩＤ）と対応付けた状態でサーバ装置１６に送信する。
ステップＳ４において、サーバ装置１６は、電子機器１２からのデータの受信を通じて、モデル選択情報１８を取得する。
ステップＳ５において、サーバ側制御部２４（より詳しくは、モデル選択部２８）は、ステップＳ４で取得されたモデル選択情報１８を検索キーとして、サーバ側記憶部２６に構築されるパラメータＤＢ３０を参照する。これにより、複数組のモデルパラメータ２０のうち、モデル選択情報１８に対応する入出力モデルを特定可能な１組のモデルパラメータ２０が選択される。
ステップＳ６において、サーバ装置１６は、ステップＳ５で選択されたモデルパラメータ２０を含むデータを、該当するモデル選択情報１８に紐付けられた機器ＩＤを有する電子機器１２に送信する。
ステップＳ７において、電子機器１２は、サーバ装置１６からのデータの受信を通じて、モデルパラメータ２０を取得する。このモデルパラメータ２０は、電子機器１２のメモリ４２（図３）に格納される。
ステップＳ８において、電子機器１２は、ステップＳ７で取得されたモデルパラメータ２０を電子機器１２自身が利用可能な態様にて設定を行う。例えば、ホストプロセッサ４０（図３）は、モデルパラメータ２０の各値を、それぞれ対応するメモリ又はレジスタの記憶領域にそれぞれ書き込む。
ステップＳ９において、電子機器１２は、電子ペン１４と連携して所望の筆記動作を行う。これにより、電子機器１２は、自機に対応するモデルパラメータ２０が設定された状態で、デジタルインク５６（図３）の生成処理やデジタルインク５６を用いた描画処理を行うことができる。
［電子機器１２の説明］
＜ブロック図＞
図３は、図１における電子機器１２の構成の一例を示すブロック図である。この電子機器１２は、具体的には、タッチパネルディスプレイ３２と、表示駆動ＩＣ（Integrated Circuit）３４と、タッチＩＣ３６（「ペン状態検出回路」に相当）と、通信モジュール３８と、ホストプロセッサ４０と、メモリ４２と、を含んで構成される。
タッチパネルディスプレイ３２は、コンテンツを可視的に表示可能な表示パネル４４と、平面視にて表示パネル４４と重なるように配置される面状のタッチセンサ４６と、を含んで構成される。本図の例では、タッチセンサ４６は、表示パネル４４に外側から取り付ける「外付け型」のセンサであるが、これに代えて表示パネル４４と一体的に構成される「内蔵型」（さらに分類すると、オンセル型又はインセル型）のセンサであってもよい。
表示パネル４４は、モノクロ画像又はカラー画像を表示可能であり、例えば、液晶パネル、有機ＥＬ（Electro-Luminescence）パネル、電子ペーパーから構成される。なお、表示パネル４４に可撓性をもたせることで、ユーザは、電子機器１２のタッチ面を湾曲又は屈曲させた状態のまま、手書きによる入力操作を行うことができる。
タッチセンサ４６は、複数のセンサ電極４６ｓ（図６）を面状に配置してなる静電容量方式のセンサである。このタッチセンサ４６は、例えば、センサ座標系のＸ方向（第１方向）の位置を検出するための複数本のＸライン電極と、Ｘ方向に交差するＹ方向（第２方向）の位置を検出するための複数本のＹライン電極と、を含んで構成される。この場合、Ｘライン電極は、Ｙ方向に延びて設けられるとともに、Ｘ方向に沿って等間隔に配置されている。Ｙライン電極は、Ｘ方向に延びて設けられるとともに、Ｙ方向に沿って等間隔に配置されている。なお、タッチセンサ４６は、上記した相互容量方式のセンサに代えて、ブロック状の電極を二次元格子状に配置した自己容量方式のセンサであってもよい。
表示駆動ＩＣ３４は、表示パネル４４と電気的に接続され、かつ表示パネル４４の駆動制御を行う集積回路である。表示駆動ＩＣ３４は、ホストプロセッサ４０から供給された表示信号に基づいて表示パネル４４を駆動する。これにより、表示パネル４４上には、デジタルインク５６が示すコンテンツが表示される。
タッチＩＣ３６は、タッチセンサ４６と電気的に接続され、かつタッチセンサ４６の駆動制御を行う集積回路である。タッチＩＣ３６は、ホストプロセッサ４０から供給された制御信号に基づいてタッチセンサ４６を駆動する。これにより、タッチＩＣ３６は、電子ペン１４の状態を検出する「ペン検出」や、ユーザの指などによるタッチを検出する「タッチ検出」を行う検出部５０として機能する。
この「ペン検出」の機能は、例えば、タッチセンサ４６のスキャン機能、ダウンリンク信号の受信・解析機能、電子ペン１４の状態（例えば、位置、姿勢、筆圧）の推定機能、電子ペン１４に対する指令を含むアップリンク信号の生成・送信機能を含む。また、「タッチ検出」の機能は、例えば、タッチセンサ４６の二次元スキャン機能、タッチセンサ４６上の検出マップの取得機能、検出マップ上の領域分類機能（例えば、指、手の平などの分類）を含む。
このように、電子ペン１４及びタッチセンサ４６による入力機能と、表示パネル４４による出力機能を組み合わせることで、グラフィカル・ユーザ・インターフェース（ＧＵＩ）が構築される。
通信モジュール３８は、外部装置との間で有線通信又は無線通信を行う通信機能を有する。これにより、これにより、電子機器１２は、モデル選択情報１８をサーバ装置１６に送信し、サーバ装置１６からモデルパラメータ２０を受信することができる。
ホストプロセッサ４０は、ＣＰＵ、ＧＰＵ、あるいはＭＰＵ（Micro-Processing Unit）を含む演算処理装置によって構成される。ホストプロセッサ４０は、メモリ４２に格納された情報処理プログラムを読み出して実行することで、インク生成部５２及び描画処理部５４として機能する。インク生成部５２は、タッチＩＣ３６から逐次的に供給される検出データに基づいて、デジタルインク５６を生成する生成処理を行う。描画処理部５４は、検出データの時系列を用いて、表示パネル４４の表示領域内にコンテンツを描画する描画処理を行う。
メモリ４２は、非一過性であり、かつ、コンピュータ読み取り可能な記録媒体（あるいは、記憶媒体）で構成されている。ここで、コンピュータ読み取り可能な記録媒体は、ＨＤＤを含む記憶装置、あるいは、光磁気ディスク、ＲＯＭ（Read Only Memory）、ＣＤ（Compact Disc）－ＲＯＭ、フラッシュメモリなどの可搬媒体である。本図の例では、メモリ４２には、モデル選択情報１８、モデルパラメータ２０、及びデジタルインク５６が格納されている。
モデル選択情報１８は、タッチＩＣ３６に構築される入出力モデルの選択に必要な情報であり、具体的には、［１］電子ペン１４、電子機器１２、及びタッチセンサ４６の種別、並びにユーザのうちの少なくとも１つに関する識別情報や、［２］電子ペン１４又は電子機器１２の仕様に関する仕様情報などを含む。
モデルパラメータ２０は、タッチＩＣ３６に構築される入出力モデルを記述するパラメータセットである。モデルパラメータ２０の各値は、機械学習を通じて予め決定される。モデルパラメータ２０は、例えば、演算ユニットの活性化関数を記述する係数、演算ユニット間の結合強度を含む「可変パラメータ」と、学習モデルのアーキテクチャを特定するための「固定パラメータ」（いわゆるハイパーパラメータ）から構成される。ハイパーパラメータの例として、各層を構成する演算ユニットの個数、中間層の数が挙げられる。例えば、アーキテクチャが固定されている場合、モデルパラメータ２０は可変パラメータのみから構成されてもよい。
デジタルインク５６は、手書きによるコンテンツを表現するためのインクデータである。デジタルインク５６を記述するための「インク記述言語」として、例えば、ＷＩＬＬ（Wacom Ink Layer Language）、ＩｎｋＭＬ（Ink Markup Language）、ＩＳＦ（Ink Serialized Format）が挙げられる。
＜検出部５０の機能ブロック＞
図４は、図３に示す検出部５０の機能ブロック図である。この検出部５０は、分布取得部６０と、分布合成部６２と、推定器６４と、を含んで構成される。
分布取得部６０は、電子ペン１４が有する電極の接近に伴う静電容量（より詳しくは、相互容量又は自己容量）の変化を示す１次元信号分布（以下、「１Ｄ信号分布」ともいう）をタッチセンサ４６から取得する。１Ｄ信号分布は、タッチセンサ４６上にて検出される２次元マップの断面形状に相当する。以下、１Ｄ信号分布の種類を区別するため、タッチセンサ４６上のＸ方向に沿った信号分布を「Ｘ信号分布」といい、タッチセンサ４６上のＹ方向に沿った信号分布を「Ｙ信号分布」という場合がある。
分布合成部６２は、分布取得部６０により取得されたＸ信号分布及びＹ信号分布を合成することにより、２次元信号分布（以下、「２Ｄ信号分布」ともいう）を生成する。具体的には、分布合成部６２は、［１］Ｘ信号分布に対して補間演算を施して、計算対象のＸ座標に対応する信号値（以下、「第１対応値」ともいう）を求め、［２］Ｙ信号分布に対して補間演算を施して、計算対象のＹ座標に対応する信号値（以下、「第２対応値」ともいう）を求め、［３］第１対応値と第２対応値とを合成（具体的には、乗算や加算など）する。
分布合成部６２は、必要に応じて、１次元信号分布の形状に関する特徴量（以下、「１次元特徴量分布」あるいは「１Ｄ特徴量分布」ともいう）を算出し、当該１Ｄ特徴量分布同士を合成してもよい。この場合、Ｘ信号分布に対応する「Ｘ特徴量分布」とＹ信号分布に対応する「Ｙ特徴量分布」との合成により、２次元特徴量分布（以下、「２Ｄ特徴量分布」ともいう）が生成される。特徴量分布の合成は、上記した信号分布の場合と同様に行われる。特徴量の例として、信号分布の形状を特徴付ける様々な特徴量、例えば、信号分布の傾き又は該傾きの絶対値などが挙げられる。
推定器６４は、分布合成部６２により合成された２Ｄ信号分布又は２Ｄ特徴量分布から、電子ペン１４の状態（以下、「ペン状態」ともいう）を推定する。このペン状態には、［１］電子ペン１４の指示位置（例えば、センサ座標系上の座標値）、［２］電子ペン１４の姿勢（例えば、角度や方位）、［３］指示位置や姿勢の時間変化量（例えば、速度や加速度）などが含まれる。推定器６４は、モデルパラメータ２０（図１）の各値により演算規則が定められる学習器から構成される。推定器６４は、具体的には、特徴マップ生成部６６、データ出力部６８、及びデータ解釈部７０として機能する。
特徴マップ生成部６６は、合成された２Ｄ信号分布又は２Ｄ特徴量分布から、当該分布の形状に関する特徴量を示す特徴マップ（Feature Map）を生成する。この特徴マップは、任意のサイズ（Ｘ画素数／Ｙ画素数／チャンネル数）を有するボクセルデータから構成される。
データ出力部６８は、特徴マップ生成部６６により生成された特徴マップから、電子ペン１４の指示位置又は姿勢を推定した結果を示すデータ（以下、「出力データ」という）を出力する。この出力データは、電子ペン１４の指示位置又は姿勢を示す絶対値（例えば、１００ｍｍ）で定義されてもよいし、相対値（４例えば、［０，１］の範囲で正規化された値）で定義されてもよい。
データ解釈部７０は、データ出力部６８からの出力データの内容を解釈し、電子ペン１４の指示位置又は姿勢を計算する。例えば、出力データの値が指示位置の座標を示す相対値である場合、データ解釈部７０は、基準値を示すオフセット値を加算又は乗算することにより、指示位置又は姿勢の絶対値を求める。その結果、電子ペン１４の位置・姿勢情報が得られる。
＜ペン状態の検出動作＞
続いて、図３のタッチＩＣ３６（より詳しくは、図３及び図４の検出部５０）によるペン状態の検出動作について、図４の機能ブロック図、図５のフローチャート、及び図６～図１１を参照しながら説明する。
図５のステップＳＰ１０において、検出部５０は、検出タイミングが到来したか否かを確認する。検出タイミングがまだ到来していない場合（ステップＳＰ１０：ＮＯ）、検出部５０は、当該タイミングが到来するまでの間、ステップＳＰ１０に留まる。一方、検出タイミングが到来した場合（ステップＳＰ１０：ＹＥＳ）、検出部５０は、次のステップＳＰ１２に進む。
ステップＳＰ１２において、分布取得部６０は、センサ電極４６ｓ毎のスキャン動作を通じて、タッチセンサ４６からＸ信号分布及びＹ信号分布をそれぞれ取得する。ここでは、Ｘ信号分布を例に挙げて説明する。
図６は、図１及び図３の電子ペン１４を部分的に示す模式図である。電子ペン１４の先端には、概略円錐状のチップ電極８０と、無底円錐台状のアッパー電極８２が同軸的に設けられている。チップ電極８０及びアッパー電極８２はそれぞれ、発振回路８４が生成する信号（いわゆるダウンリンク信号）を出力するためのペン側電極である。発振回路８４が発振周波数を変更したり送信先を時分割で切り替えたりすることで、電子ペン１４は、チップ電極８０及びアッパー電極８２を介して２種類のダウンリンク信号を出力することができる。
タッチＩＣ３６（図３）は、チップ電極８０の接近に伴う静電容量の変化を示す信号分布（以下、「チップ側の信号分布」という）を、複数のセンサ電極４６ｓから取得する。チップ側の信号分布は、典型的には、位置Ｑ１に１つのピークをもつ形状を有する。ここで、位置Ｑ１は、チップ電極８０の頂部（位置Ｐ１）をセンサ平面上に投影した位置に相当する。
同様に、タッチＩＣ３６は、アッパー電極８２の接近に伴う静電容量の変化を示す信号分布（以下、「アッパー側の信号分布」という）を、複数本のセンサ電極４６ｓから取得する。アッパー側の信号分布は、典型的には、位置Ｑ２に１つ又は２つのピークをもつ形状を有する。ここで、位置Ｑ２は、アッパー電極８２の肩部（位置Ｐ２）をセンサ平面上に投影した位置に相当する。また、後述する位置Ｑ３は、アッパー電極８２の上底面の中心（位置Ｐ３）をセンサ平面上に投影した位置に相当する。
図７は、タッチセンサ４６から取得される１Ｄ信号分布の一例を示す図である。グラフの横軸はライン番号（つまり、センサ電極４６ｓの識別番号）を示すとともに、グラフの縦軸は信号値を示している。ここでは、２本の電子ペン１４が同時に検出されている状況を想定する。この場合、１Ｄ信号分布は、電子ペン１４の指示位置を中心とする幅が狭い２本のピークが発生する。一方、２本のピークを除く残りの位置では、信号値が０又は微小値となっている。以下、１Ｄ信号分布の全体を「全体分布」といい、静電容量の変化が相対的に大きい局所的な１Ｄ信号分布を「局所分布」という場合がある。この「相対的に大きい」とは、局所分布以外の位置と比べて変化量が大きいことであってもよいし、所定の閾値と比べて変化量が大きいことであってもよい。
図８及び図９は、電子ペン１４のコンタクト状態時にタッチセンサ４６から検出される１Ｄ信号分布の一例を示す図である。より詳しくは、図８はチップ側の局所分布を示すとともに、図９はアッパー側の局所分布を示している。グラフの横軸は電子ペン１４の指示位置を基準とする相対位置（単位：ｍｍ）を示すとともに、グラフの縦軸は［０，１］に正規化された信号値（単位：なし）を示している。この信号値は、電子ペン１４が接近した時に「正」になるように正負の符号が定義されている。両方の信号分布はそれぞれ、電子ペン１４の傾斜角度に応じて形状が変化する。本図では、傾斜角度をそれぞれ変化させて得られた３本の曲線を重ねて表記している。
図８に示すように、チップ側の局所分布は、傾斜角度の大きさにかかわらず、概ね類似した形状を有する。なぜならば、電子ペン１４を使用する間、通常、チップ電極８０の頂部がセンサ平面に最も近い位置にあり、位置Ｑ１が位置Ｐ１に概ね一致するからである。一方、図９に示すように、アッパー側の局所分布は、傾斜角度の変化に応じてピークの位置又は個数が大きく変化する。なぜならば、電子ペン１４を使用する間、通常、アッパー電極８２の肩部のいずれかの箇所がセンサ平面に最も近い位置にあり、位置Ｑ１，Ｑ２の間の距離が傾斜角度に応じて変化するからである。
この位置Ｑ１，Ｑ２の座標を用いて、電子ペン１４の位置・姿勢（つまり、ペン状態）を推定することができる。例えば、指示位置は、図７に示す位置Ｑ１に相当する。また、傾斜角度は、センサ平面と電子ペン１４の軸とのなす角θに相当する。つまり、センサ平面に対して水平な状態ではθ＝０°となり、センサ平面に対して垂直な状態ではθ＝９０°となる。
図５のステップＳＰ１４において、分布合成部６２は、ステップＳＰ１２で取得されたＸ信号分布及びＹ信号分布を合成することにより、２Ｄ信号分布を生成する。あるいは、分布合成部６２は、Ｘ信号分布に関するＸ特徴量分布及びＹ信号分布に関するＹ特徴量分布をそれぞれ求め、Ｘ特徴量分布及びＹ特徴量分布を合成することにより、２Ｄ特徴量分布を生成する。
図１０は、１Ｄ信号分布の合成方法の一例を示す図である。第１テーブル９０はＸ方向の全体分布又は局所分布を、第２テーブル９２はＹ方向の全体分布又は局所分布をそれぞれ示している。また、第１テーブル９０を構成するセルはＸ軸上の位置（絶対座標又は相対座標）を、第２テーブル９２を構成するセルはＹ軸上の位置（絶対座標又は相対座標）をそれぞれ示している。
本図の例では、分布合成部６２は、第１テーブル９０を参照して得られる「第１入力値」と第１テーブル９０を参照して得られる「第２入力値」とを乗算し、これらの乗算値を出力する乗算器から構成される。Ｘ軸上の位置毎かつＹ軸上の位置毎に乗算値を計算して配列することで、２次元信号分布を示すマップ９４が得られる。
図１１は、１Ｄ特徴量分布の算出方法の一例を示す図である。図１１（ａ）に示すように、ライン番号の若い方から順に、Ｓｎ－２＝０．１５／Ｓｎ－１＝０．４０／Ｓｎ＝０．８０／Ｓｎ＋１＝０．３０／Ｓｎ＋２＝０．１０である信号分布が得られたとする。なお、その他のライン番号における信号値は、いずれも０であるか無視できる程度に微小な値である。例えば、次の式（１），（２）に従って、｛Ｇｉ｝及び｛Ｆｉ｝をそれぞれ計算する。
Ｇｉ＝（Ｓｉ－Ｓｉ－２）＋（Ｓｉ－１－Ｓｉ－３） ・・・（１）
Ｆｉ＝｜Ｇｉ｜／ｍａｘ｛｜Ｇｉ｜｝ ・・・（２）
その結果、図１１（ｂ）に示す「符号あり傾き」｛Ｇｉ｝、図１１（ｃ）に示す特徴量｛Ｆｉ｝がそれぞれ算出される。式（２）から理解されるように、この特徴量｛Ｆｉ｝は、［０，１］の範囲で正規化された「符号なし傾き」に相当する。
図５のステップＳＰ１６において、推定器６４（より詳しくは、特徴マップ生成部６６）は、ステップＳＰ１４で合成された２Ｄ信号分布から、ペン状態を推定するための特徴マップを生成する。
ステップＳＰ１８において、推定器６４（より詳しくは、データ出力部６８）は、ステップＳＰ１６で生成された特徴マップから、電子ペン１４の指示・姿勢に相関するデータ（つまり、出力データ）を生成して出力する。
ステップＳＰ２０において、推定器６４（より詳しくは、データ解釈部７０）は、ステップＳＰ１８で出力された出力データを、電子ペン１４の位置・姿勢を示す位置・姿勢情報に変換する。
その後、ステップＳＰ１０に戻って、検出部５０は、予め定められた順序に従って、ステップＳＰ１０～ＳＰ２０を順次実行する。これにより、電子ペン１４の指示位置や姿勢が逐次検出される。
［入出力モデル６４Ａ～６４Ｄの具体例］
続いて、電子ペン１４の状態を推定するための入出力モデル６４Ａ～６４Ｄの具体例について、図１２～図１５を参照しながら詳しく説明する。なお、図１２～図１５に示す塗り潰しがなされていない丸印は、ニューラルネットワークを構成する演算ユニットに相当する。
＜第１例＞
図１２は、第１例の入出力モデル６４Ａを構成するネットワーク構造を示す図である。この入出力モデル６４Ａは、いわゆる畳み込みニューラルネットワーク（ＣＮＮ）から構成される。この入出力モデル６４Ａは、入力層１００と、中間層群１０２と、出力層１０４と、から構成される。
入力層１００は、アッパー側の２Ｄ信号分布を入力するためのＮｘ・Ｎｙ個の演算ユニットから構成される。ＮｘはＸ方向の画素数に相当するとともに、ＮｙはＹ方向の画素数に相当する。第１例では、２Ｄ信号分布は、１つのカラーチャンネル数を有する画像信号として表現される。
中間層群１０２は、１つ又は複数の中間層、第１例では、直列的に接続される４つの中間層１０２ａ，１０２ｂ，１０２ｃ，１０２ｄから構成される。各々の中間層は、例えば、［１］畳み込み層、［２］プーリング層、又は［３］正規化層のいずれかの演算層から構成される。中間層１０４ｄからの特徴マップは、出力層１０４への供給に先立ち平坦化（１次元化）される。
出力層１０４は、電子ペン１４の指示位置を出力するための２つの演算ユニットから構成される。一方の演算ユニットはＸ座標の相対値を出力するとともに、他方の演算ユニットはＹ座標の相対値を出力する。相対値は、例えば、下限値から上限値までの範囲が［０，１］で正規化された値である。
このように、入出力モデル６４Ａは、２Ｄ信号分布又は２Ｄ特徴量分布を入力とし、電子ペン１４の指示位置を示す座標値を出力とする畳み込みニューラルネットワークを含む機械学習モデルであってもよい。第１例の構成により、アッパー側の２Ｄ信号分布に基づいて、電子ペン１４の指示位置がより高精度に推定される。
＜第２例＞
図１３は、第２例の入出力モデル６４Ｂを構成するネットワーク構造を示す図である。この入出力モデル６４Ｂは、出力側が２つに分岐している点で、第１例（図１２の入出力モデル６４Ａ）とは異なるネットワーク構造を有する。
具体的には、入出力モデル６４Ｂは、入力層１１０と、中間層群１１２と、出力層群１１４と、を含んで構成される。入力層１１０は、第１例（図１２の入力層１００）の場合と同様に、アッパー側の２Ｄ信号分布を入力するためのＮｘ・Ｎｙ個の演算ユニットから構成される。
中間層群１１２は、複数の中間層、第２例では、５つの中間層１１２ａ，１１２ｂ，１１２ｃ，１１２ｄ，１１２ｅから構成される。前段の３つの中間層１１２ａ～１１２ｃは、直列的に接続されている。一方、後段の２つの中間層１１２ｄ，１１２ｅは、上流側にある中間層１１２ｃの出力側に対して並列的に接続されている。
出力層群１１４は、中間層１１２ｄに接続される出力層１１４ｄと、中間層１１２ｅに接続される出力層１１４ｅと、を備える。出力層１１４ｄは、電子ペン１４の指示位置である「Ｘ座標の相対値」を出力するための１つの演算ユニットから構成される。出力層１１４ｅは、電子ペン１４の指示位置である「Ｙ座標の相対値」を出力するための１つの演算ユニットから構成される。
このように、入出力モデル６４Ｂは、２Ｄ信号分布又は２Ｄ特徴量分布を入力とし、電子ペン１４の指示位置を示す座標値を出力とする畳み込みニューラルネットワークを含む機械学習モデルであってもよい。第２例の構成によっても、第１例の場合と同様に、アッパー側の２Ｄ信号分布に基づいて、電子ペン１４の指示位置がより高精度に推定される。
＜第３例＞
図１４は、第３例の入出力モデル６４Ｃを構成するネットワーク構造を示す図である。この入出力モデル６４Ｃは、入力層１２０と、中間層群１２２と、出力層群１２４と、を含んで構成される。
入力層１２０は、第１例及び第２例の場合と同様に、２Ｄ信号分布を入力するためのＮｘ・Ｎｙ個の演算ユニットから構成される。ただし、第３例における入力信号は、２つのカラーチャンネルを有する画像信号である。例えば、１番目のカラーチャンネルはアッパー側の２Ｄ信号分布に相当し、２番目のカラーチャンネルはチップ側の２Ｄ信号分布に相当する。
中間層群１２２は、第２例（図１３の中間層群１１２）の場合と同様に、５つの中間層１２２ａ，１２２ｂ，１２２ｃ，１２２ｄ，１２２ｅから構成される。後段の２つの中間層１２２ｄ，１２２ｅは、上流側にある中間層１２２ｃの出力側に対して並列的に接続されている。
出力層群１２４は、中間層１２２ｄに接続される出力層１２４ｄと、中間層１２２ｅに接続される出力層１２４ｅと、を備える。出力層１２４ｄは、電子ペン１４の姿勢である「傾き角の相対値」を出力するための１つの演算ユニットから構成される。出力層１２４ｅは、電子ペン１４の姿勢である「回転角の相対値」を出力するための１つの演算ユニットから構成される。
このように、入出力モデル６４Ｃは、２Ｄ信号分布又は２Ｄ特徴量分布を入力とし、電子ペン１４の姿勢を示す傾き角及び回転角のうち少なくとも１つを出力とする畳み込みニューラルネットワークを含む機械学習モデルであってもよい。第３例の構成により、上記した入出力モデル６４Ｃを設けることで、アッパー側及びチップ側の２Ｄ信号分布の組み合わせに基づいて、電子ペン１４の姿勢が高精度に推定される。
＜第４例＞
図１５は、第４例の入出力モデル６４Ｄを構成するネットワーク構造を示す図である。この入出力モデル６４Ｄは、第３例に示す入出力モデル６４Ｃ（図１４）を含んで構成される。具体的には、入出力モデル６４Ｄは、入出力モデル６４Ｃの他に、当該入出力モデル６４Ｃの出力側に並列的に接続される２つのサブモデル１３０，１４０を含んで構成される。
サブモデル１３０は、入力層１３２と、中間層群１３４と、出力層１３６と、を備える階層型ニューラルネットワークを含む。入力層１３２は、［１］アッパー側のＸ信号分布と、［２］角度の推定値と、を入力するための（Ｎｘ＋２）個の演算ユニットから構成される。Ｘ信号分布は、入出力モデル６４Ｃに入力された２Ｄ信号分布の生成源となった分布と同一である。角度の推定値は、入出力モデル６４Ｃから出力された傾き角及び回転角の推定値とそれぞれ同一である。
中間層群１３４は、１つ又は複数の中間層から構成される。出力層１３６は、電子ペン１４の指示位置である「Ｘ座標の相対値」を出力するための１つの演算ユニットから構成される。
サブモデル１４０は、サブモデル１３０と同様に、入力層１４２と、中間層群１４４と、出力層１４６と、を備える階層型ニューラルネットワークを含む。入力層１４２は、［１］アッパー側のＹ信号分布と、［２］角度の推定値と、を入力するための（Ｎｙ＋２）個の演算ユニットから構成される。Ｙ信号分布は、入出力モデル６４Ｃに入力された２Ｄ信号分布の生成源となった分布と同一である。角度の推定値は、入出力モデル６４Ｃから出力された傾き角及び回転角の推定値とそれぞれ同一である。
中間層群１４４は、１つ又は複数の中間層から構成される。出力層１４６は、電子ペン１４の指示位置である「Ｙ座標の相対値」を出力するための１つの演算ユニットから構成される。
このように、入出力モデル６４Ｄは、図１４の入出力モデル６４Ｃを含む機械学習モデルであってもよい。言い換えれば、入出力モデル６４Ｃにサブモデル１３０，１４０を接続することで、新たな入出力モデル６４Ｄが構築されてもよい。第４例の構成により、１Ｄ信号分布及び２Ｄ信号分布の組み合わせ、あるいは１Ｄ特徴量分布及び２Ｄ特徴量分布の組み合わせに基づいて、電子ペン１４の姿勢及び指示位置が高精度に推定される。
例えば、サブモデル１３０は、入出力モデル６４Ｃから出力された傾き角及び回転角のうち少なくとも１つと、Ｘ信号分布又はＸ特徴量分布とを入力とし、電子ペン１４の指示位置を示すＸ座標値を出力とする第１階層型ニューラルネットワークであってもよい。また、サブモデル１４０は、入出力モデル６４Ｃから出力された傾き角及び回転角のうち少なくとも１つと、Ｙ信号分布又はＹ特徴量分布とを入力とし、電子ペン１４の指示位置を示すＹ座標値を出力とする第２階層型ニューラルネットワークであってもよい。
［実施形態のまとめ］
以上のように、この実施形態におけるペン状態検出回路（ここでは、タッチＩＣ３６）は、複数のセンサ電極４６ｓを面状に配置してなる静電容量方式のタッチセンサ４６により検出された信号分布に基づいて、少なくとも１つの電極を有する電子ペン１４の状態を検出する。
そして、タッチＩＣ３６は、電極の接近に伴う静電容量の変化を示す１次元信号分布であって、タッチセンサ４６上の第１方向（Ｘ方向）に沿ったＸ信号分布、及び、第１方向と交差する第２方向（Ｙ方向）に沿ったＹ信号分布をタッチセンサ４６から取得する取得ステップ（図５のＳＰ１２）と、取得されたＸ信号分布及びＹ信号分布を合成することにより２Ｄ信号分布を生成し、又は、Ｘ信号分布の形状に関するＸ特徴量分布及びＹ信号分布の形状に関するＹ特徴量分布を合成することにより２Ｄ特徴量分布を生成する合成ステップ（ＳＰ１４）と、予め定められた入出力モデル６４Ａ～６４Ｄを用いて、合成された２Ｄ信号分布又は２Ｄ特徴量分布から電子ペン１４の指示位置又は姿勢を推定する推定ステップ（ＳＰ１６～ＳＰ２０）と、を実行する。
このように構成したので、少なくとも１つの電極を有する電子ペン１４におけるペン状態の推定精度を向上することができる。特に、Ｘ信号分布及びＹ信号分布（あるいは、Ｘ特徴量分布及びＹ特徴量分布）を合成して２Ｄ信号分布（あるいは、２Ｄ特徴量分布）を算出するので、タッチセンサ４６から２Ｄ信号分布を取得する場合と比べて、取り扱うデータ量をより少なくすることが可能となり、その分だけ演算処理の高速化が図られる。
また、合成ステップでは、Ｘ信号分布においてＸ方向の位置に対応する第１対応値と、Ｙ信号分布においてＹ方向の位置に対応する第２対応値とを乗算することにより２Ｄ信号分布を生成してもよい。あるいは、合成ステップでは、Ｘ特徴量分布においてＸ方向の位置に対応する第１対応値と、Ｙ方向の位置に対応する第２対応値とを乗算することにより２Ｄ特徴量分布を生成してもよい。
また、電子ペン１４に複数の電極が設けられる場合、２Ｄ信号分布又は２Ｄ特徴量分布は、電極に対応する複数のカラーチャンネルを有する画像信号から構成されてもよい。特に、電子ペン１４には、少なくとも、電子ペン１４の軸に対称な形状を有し、かつ電子ペン１４の先端に設けられるチップ電極８０と、電子ペン１４の軸に対称な形状を有し、かつチップ電極８０よりも基端側に設けられるアッパー電極８２と、が設けられてもよい。これにより、電子ペン１４の姿勢（例えば、傾き角や回転角）を高精度に推定することができる。
また、この実施形態における入力システム１０は、ペン状態検出回路（ここでは、タッチＩＣ３６）を含んで構成される電子機器１２と、電子機器１２とともに用いられる電子ペン１４と、電子機器１２と双方向に通信可能であり、タッチＩＣ３６に構築される入出力モデル６４Ａ～６４Ｄを記述するモデルパラメータ２０を記憶可能に構成されるサーバ装置１６と、を備える。電子機器１２は、電子ペン１４が検出された場合に、該電子ペン１４に対応するモデルパラメータ２０の送信をサーバ装置１６に要求してもよい。これにより、電子機器１２は、電子ペン１４に応じた入出力モデル６４Ａ～６４Ｄを自動的に利用することができる。
［変形例］
なお、本発明は、上記した実施形態に限定されるものではなく、この発明の主旨を逸脱しない範囲で自由に変更できることは勿論である。あるいは、技術的に矛盾が生じない範囲で各々の構成を任意に組み合わせてもよい。あるいは、技術的に矛盾が生じない範囲でフローチャートを構成する各ステップの実行順を変更してもよい。
１０…入力システム、１２…電子機器（ペン状態検出装置）、１４…電子ペン、１６…サーバ装置、３６…タッチＩＣ（ペン状態検出回路）、４６…タッチセンサ、５０…検出部、６４…推定器、６４Ａ～６４Ｄ…入出力モデル、８０…チップ電極（電極）、８２…アッパー電極（電極）、９０…第１テーブル（第１信号分布）、９２…第２テーブル（第２信号分布）、９４…２Ｄマップ（２次元信号分布）

Claims (9)

  1. 複数のセンサ電極を面状に配置してなる静電容量方式のタッチセンサにより検出された信号分布に基づいて、少なくとも１つの電極を有する電子ペンの状態を検出するペン状態検出回路であって、
    前記電極の接近に伴う静電容量の変化を示す１次元信号分布であって、前記タッチセンサ上の第１方向に沿った第１信号分布、及び、前記第１方向と交差する第２方向に沿った第２信号分布を前記タッチセンサから取得する取得ステップと、
    取得された前記第１信号分布及び前記第２信号分布を合成することにより２次元信号分布を生成し、又は、前記第１信号分布の形状に関する第１特徴量分布及び前記第２信号分布の形状に関する第２特徴量分布を合成することにより２次元特徴量分布を生成する合成ステップと、
    予め定められた入出力モデルを用いて、合成された前記２次元信号分布又は前記２次元特徴量分布から前記電子ペンの指示位置又は姿勢を推定する推定ステップと、
    を実行することを特徴とするペン状態検出回路。
  2. 前記合成ステップでは、前記第１信号分布における前記第１方向の位置に対応する第１対応値と、前記第２信号分布における前記第２方向の位置に対応する第２対応値とを乗算することにより前記２次元信号分布を生成し、又は、前記第１特徴量分布における前記第１方向の位置に対応する第１対応値と、前記第２特徴量分布における前記第２方向の位置に対応する第２対応値とを乗算することにより前記２次元特徴量分布を生成する、
    請求項１に記載のペン状態検出回路。
  3. 前記入出力モデルは、前記２次元信号分布又は前記２次元特徴量分布を入力とし、前記電子ペンの指示位置を示す座標値を出力とする畳み込みニューラルネットワークを含む機械学習モデルである、
    請求項１に記載のペン状態検出回路。
  4. 前記入出力モデルは、前記２次元信号分布又は前記２次元特徴量分布を入力とし、前記電子ペンの姿勢を示す傾き角及び回転角のうち少なくとも１つを出力とする畳み込みニューラルネットワークを含む機械学習モデルである、
    請求項１に記載のペン状態検出回路。
  5. 前記入出力モデルは、
    前記２次元信号分布又は前記２次元特徴量分布を入力とし、前記電子ペンの姿勢を示す傾き角及び回転角のうち少なくとも１つを出力とする畳み込みニューラルネットワークと、
    前記畳み込みニューラルネットワークから出力された前記傾き角及び前記回転角のうち少なくとも１つと、前記第１信号分布又は前記第１特徴量分布とを入力とし、前記電子ペンの指示位置を示す前記第１方向の座標値を出力とする第１階層型ニューラルネットワークと、
    前記畳み込みニューラルネットワークから出力された前記傾き角及び前記回転角のうち少なくとも１つと、前記第２信号分布又は前記第２特徴量分布とを入力とし、前記電子ペンの指示位置を示す前記第２方向の座標値を出力とする第２階層型ニューラルネットワークと、
    を含む機械学習モデルである、請求項１に記載のペン状態検出回路。
  6. 前記電子ペンには、複数の前記電極が設けられ、
    前記２次元信号分布又は前記２次元特徴量分布は、前記電極に対応する複数のカラーチャンネルを有する画像信号から構成される、
    請求項１に記載のペン状態検出回路。
  7. 前記電子ペンには、少なくとも、前記電子ペンの軸に対称な形状を有し、かつ前記電子ペンの先端に設けられるチップ電極と、前記電子ペンの軸に対称な形状を有し、かつ前記チップ電極よりも基端側に設けられるアッパー電極と、が設けられる、
    ことを特徴とする請求項６に記載のペン状態検出回路。
  8. 複数のセンサ電極を面状に配置してなる静電容量方式のタッチセンサにより検出された信号分布に基づいて、少なくとも１つの電極を有する電子ペンの状態を検出するペン状態検出方法であって、
    前記電極の接近に伴う静電容量の変化を示す１次元信号分布であって、前記タッチセンサ上の第１方向に沿った第１信号分布、及び、前記第１方向と交差する第２方向に沿った第２信号分布を前記タッチセンサから取得する取得ステップと、
    取得された前記第１信号分布及び前記第２信号分布を合成することにより２次元信号分布を生成し、又は、前記第１信号分布の形状に関する第１特徴量分布及び前記第２信号分布の形状に関する第２特徴量分布を合成することにより２次元特徴量分布を生成する合成ステップと、
    予め定められた入出力モデルを用いて、合成された前記２次元信号分布又は前記２次元特徴量分布から前記電子ペンの指示位置又は姿勢を推定する推定ステップと、
    を１つ又は複数のプロセッサが実行することを特徴とするペン状態検出方法。
  9. 請求項１に記載のペン状態検出回路を含んで構成される電子機器と、
    前記電子機器とともに用いられる電子ペンと、
    前記電子機器と双方向に通信可能であり、前記ペン状態検出回路に構築される入出力モデルを記述するモデルパラメータを記憶可能に構成されるサーバ装置と
    を備え、
    前記電子機器は、前記電子ペンが検出された場合に、該電子ペンに対応するモデルパラメータの送信を前記サーバ装置に要求することを特徴とする入力システム。
JP2022127263A 2022-08-09 2022-08-09 ペン状態検出回路及び方法、並びに入力システム Active JP7888397B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2022127263A JP7888397B2 (ja) 2022-08-09 2022-08-09 ペン状態検出回路及び方法、並びに入力システム
CN202310806889.1A CN117590954A (zh) 2022-08-09 2023-07-03 笔状态检测电路及方法以及输入系统
US18/365,914 US12026326B2 (en) 2022-08-09 2023-08-04 Pen state detection circuit and method, and input system
US18/670,498 US12265668B2 (en) 2022-08-09 2024-05-21 Pen state detection circuit and method, and input system
US19/067,631 US12681591B2 (en) 2022-08-09 2025-02-28 Pen state detection circuit and method, and input system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022127263A JP7888397B2 (ja) 2022-08-09 2022-08-09 ペン状態検出回路及び方法、並びに入力システム

Publications (2)

Publication Number Publication Date
JP2024024440A JP2024024440A (ja) 2024-02-22
JP7888397B2 true JP7888397B2 (ja) 2026-07-13

Family

ID=89846173

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022127263A Active JP7888397B2 (ja) 2022-08-09 2022-08-09 ペン状態検出回路及び方法、並びに入力システム

Country Status (3)

Country Link
US (3) US12026326B2 (ja)
JP (1) JP7888397B2 (ja)
CN (1) CN117590954A (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021176609A1 (ja) * 2020-03-04 2021-09-10 株式会社ワコム 入出力モデルを設定可能なペン状態検出回路
JP7680646B1 (ja) * 2023-06-27 2025-05-20 株式会社ワコム 位置検出方法、位置検出器および集積回路

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5942733A (en) 1992-06-08 1999-08-24 Synaptics, Inc. Stylus input capacitive touchpad sensor
US20120327041A1 (en) 2011-06-22 2012-12-27 Harley Jonah A Active stylus
JP2015142671A (ja) 2014-01-31 2015-08-06 株式会社東芝 粒子線ビーム照射装置及びその制御方法
US10521027B2 (en) 2011-07-27 2019-12-31 Wacom Co., Ltd. Active stylus and capacitive position detection system
EP3241099B1 (en) 2015-01-04 2020-02-19 Microsoft Technology Licensing, LLC Touch down detection with a stylus
WO2020202734A1 (ja) 2019-03-29 2020-10-08 株式会社ワコム ペン状態検出回路、システム及び方法
JP2020177591A (ja) 2019-04-22 2020-10-29 株式会社ワコム ペン状態検出回路及びペン状態検出方法
WO2021176609A1 (ja) 2020-03-04 2021-09-10 株式会社ワコム 入出力モデルを設定可能なペン状態検出回路

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015087785A (ja) 2013-10-28 2015-05-07 株式会社東芝 電子機器及び座標補正方法
JP7382863B2 (ja) * 2020-03-16 2023-11-17 株式会社ワコム ポインタの位置検出方法及びセンサコントローラ

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5942733A (en) 1992-06-08 1999-08-24 Synaptics, Inc. Stylus input capacitive touchpad sensor
US20120327041A1 (en) 2011-06-22 2012-12-27 Harley Jonah A Active stylus
US10521027B2 (en) 2011-07-27 2019-12-31 Wacom Co., Ltd. Active stylus and capacitive position detection system
JP2015142671A (ja) 2014-01-31 2015-08-06 株式会社東芝 粒子線ビーム照射装置及びその制御方法
EP3241099B1 (en) 2015-01-04 2020-02-19 Microsoft Technology Licensing, LLC Touch down detection with a stylus
WO2020202734A1 (ja) 2019-03-29 2020-10-08 株式会社ワコム ペン状態検出回路、システム及び方法
CN113396380A (zh) 2019-03-29 2021-09-14 株式会社和冠 笔状态检测电路、系统及方法
JP2020177591A (ja) 2019-04-22 2020-10-29 株式会社ワコム ペン状態検出回路及びペン状態検出方法
WO2021176609A1 (ja) 2020-03-04 2021-09-10 株式会社ワコム 入出力モデルを設定可能なペン状態検出回路

Also Published As

Publication number Publication date
JP2024024440A (ja) 2024-02-22
US12681591B2 (en) 2026-07-14
CN117590954A (zh) 2024-02-23
US20240310933A1 (en) 2024-09-19
US12026326B2 (en) 2024-07-02
US20250199628A1 (en) 2025-06-19
US12265668B2 (en) 2025-04-01
US20240053835A1 (en) 2024-02-15

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20250806

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20260422

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20260602

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20260701

R150 Certificate of patent or registration of utility model

Ref document number: 7888397

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150