JP7472262B2 - 入出力モデルを設定可能なペン状態検出回路 - Google Patents

入出力モデルを設定可能なペン状態検出回路 Download PDF

Info

Publication number
JP7472262B2
JP7472262B2 JP2022504852A JP2022504852A JP7472262B2 JP 7472262 B2 JP7472262 B2 JP 7472262B2 JP 2022504852 A JP2022504852 A JP 2022504852A JP 2022504852 A JP2022504852 A JP 2022504852A JP 7472262 B2 JP7472262 B2 JP 7472262B2
Authority
JP
Japan
Prior art keywords
pen
model
state detection
electronic
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022504852A
Other languages
English (en)
Other versions
JPWO2021176609A1 (ja
JPWO2021176609A5 (ja
Inventor
光一 前山
英之 原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wacom Co Ltd
Original Assignee
Wacom Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wacom Co Ltd filed Critical Wacom Co Ltd
Publication of JPWO2021176609A1 publication Critical patent/JPWO2021176609A1/ja
Publication of JPWO2021176609A5 publication Critical patent/JPWO2021176609A5/ja
Application granted granted Critical
Publication of JP7472262B2 publication Critical patent/JP7472262B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • G06F3/0442Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means using active external devices, e.g. active pens, for transmitting changes in electrical potential to be received by the digitiser
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • G06F3/0446Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means using a grid-like structure of electrodes in at least two directions, e.g. using row and column electrodes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • G06F3/0441Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means using active external devices, e.g. active pens, for receiving changes in electrical potential transmitted by the digitiser, e.g. tablet driving signals

Description

本発明は、ペン状態検出回路、方法及び装置、並びにパラメータ提供装置に関する。
従来から、電子ペンと電子機器を組み合わせてなる筆記入力システムが知られている。この類のシステムでは、電子ペンの指示位置が、電子機器によって精度よく検出されることが望ましい。例えば、特許文献1には、電子ペンの指示位置を暫定的に検出し、当該指示位置に対応する位置較正値を求め、位置較正値に基づいて指示位置を補正する方法が開示されている。より具体的には、表示パネル上に描画されたテストパターンをユーザの電子ペンでなぞらせることで、指示位置の理想値に対応する検出値が得られる旨が記載されている。
国際公開第2019/013222号パンフレット
ところで、筆記入力システムの使用を続ける中で、何らかの理由により電子ペン又は電子機器の外形が変化することがある。同様に、このシステムの使用を続ける中で、電子ペンや電子機器などの組み合わせが変わることがある。これにより、電子ペンが有するペン側電極と、電子機器に組み込まれるセンサ電極の間の幾何学的関係が変更され、静電容量の変化を示す信号分布の形状的傾向が異なってくる。
例えば、特許文献1に開示された補正方法を用いて1の入出力モデルを定めた後、この一律的な入出力モデルに従って信号分布から電子ペンの状態を推定する場合、上記した外形又は組み合わせの変更に伴い、ペン状態の検出精度が低下することもあり得る。このように、特許文献1に開示された方法において、検出精度の維持という観点で、改良の余地が十分に残されている。
本発明は、上記した問題に鑑みてなされたものであり、その目的は、電子ペン又は電子機器の利用状況にかかわらず、ペン状態の検出精度を維持可能なペン状態検出回路、方法及び装置、並びにパラメータ提供装置を提供することにある。
第1の本発明におけるペン状態検出回路は、複数のセンサ電極を面状に配置してなる静電容量方式のタッチセンサを有する電子機器に組み込まれた回路であって、電子ペンが有するペン側電極の接近に伴う静電容量の変化を示す信号分布を前記タッチセンサから取得する取得ステップと、取得された前記信号分布に関する特徴量を入力とし、前記電子ペンの状態量を出力とする入出力モデルに従って前記電子ペンの状態を推定する推定ステップと、を実行し、前記電子ペン又は前記電子機器の外形的変化に応じて異なる入出力モデルを設定可能に構成される。
第2の本発明におけるペン状態検出方法は、複数のセンサ電極を面状に配置してなる静電容量方式のタッチセンサを有する電子機器に組み込まれたペン状態検出回路が、電子ペンが有するペン側電極の接近に伴う静電容量の変化を示す信号分布を前記タッチセンサから取得する取得ステップと、取得された前記信号分布に関する特徴量を入力とし、前記電子ペンの状態量を出力とする入出力モデルに従って、前記電子ペンの状態を推定する推定ステップと、を実行し、前記電子ペン又は前記電子機器の外形的変化に応じて異なる入出力モデルが設定される。
第3の本発明におけるペン状態検出装置は、上記したペン状態検出回路と、前記電子ペン又は前記電子機器の外形に関するモデル選択情報を取得する情報取得部と、前記情報取得部により取得された前記モデル選択情報に対応する前記入出力モデルを特定可能なモデルパラメータを前記ペン状態検出回路に設定するパラメータ設定部と、を備える。
第4の本発明におけるパラメータ提供装置は、上記したペン状態検出回路と、前記電子ペン又は前記電子機器の外形に関するモデル選択情報を取得する情報取得部と、前記情報取得部が取得した前記モデル選択情報に応じて選択された前記入出力モデルを特定可能なモデルパラメータを前記ペン状態検出回路に設定するパラメータ設定部と、を備えるペン状態検出装置との間で相互に通信可能に構成される装置であって、前記モデルパラメータを前記モデル選択情報と対応付けて記憶する記憶部と、前記ペン状態検出装置から前記モデル選択情報を受信した場合、前記モデル選択情報に対応するモデルパラメータを前記記憶部から読み出して前記ペン状態検出装置に送信する制御を行う制御部と、を備える。
第5の本発明におけるペン状態検出回路は、複数のセンサ電極を面状に配置してなる静電容量方式のタッチセンサを有する電子機器に組み込まれた回路であって、電子ペンが有するペン側電極の接近に伴う静電容量の変化を示す信号分布を前記タッチセンサから取得する取得ステップと、取得された前記信号分布に関する特徴量を入力とし、前記電子ペンの状態量を出力とする入出力モデルに従って、前記電子ペンの状態を推定する推定ステップと、を実行し、前記電子ペン、前記電子機器、及び前記タッチセンサの種別、並びにユーザのうちの2以上の組み合わせに応じて異なる入出力モデルを設定可能に構成される。
第6の本発明におけるペン状態検出方法は、複数のセンサ電極を面状に配置してなる静電容量方式のタッチセンサを有する電子機器に組み込まれたペン状態検出回路が、電子ペンが有するペン側電極の接近に伴う静電容量の変化を示す信号分布を前記タッチセンサから取得する取得ステップと、取得された前記信号分布に関する特徴量を入力とし、前記電子ペンの状態量を出力とする入出力モデルに従って、前記電子ペンの状態を推定する推定ステップと、を実行し、前記電子ペン、前記電子機器、及び前記タッチセンサの種別、並びにユーザのうちの2以上の組み合わせに応じて異なる入出力モデルが設定される。
第7の本発明におけるペン状態検出装置は、上記したペン状態検出回路と、前記電子ペン、前記電子機器、及び前記タッチセンサの種別、並びにユーザのうちの2以上の組み合わせに関するモデル選択情報を取得する情報取得部と、前記情報取得部により取得された前記モデル選択情報に対応する前記入出力モデルを特定可能なモデルパラメータを前記ペン状態検出回路に設定するパラメータ設定部と、を備える。
第8の本発明におけるパラメータ提供装置は、上記したペン状態検出回路と、前記電子ペン、前記電子機器、及び前記タッチセンサの種別、並びにユーザのうちの2以上の組み合わせに関するモデル選択情報を取得する情報取得部と、前記情報取得部により取得された前記モデル選択情報に対応する前記入出力モデルを特定可能なモデルパラメータを前記ペン状態検出回路に設定するパラメータ設定部と、を備えるペン状態検出装置との間で相互に通信可能に構成される装置であって、前記モデルパラメータを前記モデル選択情報と対応付けて記憶する記憶部と、前記ペン状態検出装置から前記モデル選択情報を受信した場合、前記モデル選択情報に対応するモデルパラメータを前記記憶部から読み出して前記ペン状態検出装置に送信する制御を行う制御部と、を備える。
本発明によれば、電子ペン又は電子機器の利用状況にかかわらず、ペン状態の検出精度が維持されやすくなる。
本発明の一実施形態におけるペン状態推定装置としての電子機器が組み込まれた入力システムの全体構成図である。 図1における電子機器の構成の一例を示すブロック図である。 図1に示す入力システムの動作に関するシーケンス図である。 図1の電子ペンを部分的に示す模式図である。 電子ペンのコンタクト状態時にタッチセンサから検出される第1信号分布の一例を示す図である。 電子ペンのコンタクト状態時にタッチセンサから検出される第2信号分布の一例を示す図である。 指示位置に関する推定誤差の傾向を示す図である。 図2のタッチICにより実装される入出力モデルの一例を示す模式的な構成図である。 電子機器のタッチ面が上凸状に湾曲した状態を示す概略断面図である。 タッチ面の湾曲前後にわたる信号分布の変化を示す図である。 パラメータDBの第1テーブルが有するデータ構造の一例を示す図である。 電子機器のタッチ面に保護フィルムを貼り付けた状態を示す概略断面図である。 保護フィルムの貼付前後にわたる信号分布の変化を示す図である。 パラメータDBの第2テーブルが有するデータ構造の一例を示す図である。 電子ペンのチップ電極が摩耗した状態を示す概略側面図である。 チップ電極の摩耗前後にわたる信号分布の変化を示す図である。 パラメータDBの第3テーブルが有するデータ構造の一例を示す図である。 パラメータDBの第4テーブルが有するデータ構造の一例を示す図である。 パラメータDBの第5テーブルが有するデータ構造の一例を示す図である。 第1変形例における入力システムの全体構成図である。 第2変形例における電子機器の構成の一例を示すブロック図である。
[入力システム10の構成]
<全体構成>
図1は、本発明の一実施形態におけるペン状態検出装置としての電子機器12が組み込まれた入力システム10の全体構成図である。この入力システム10は、電子ペン14を用いた筆記入力に対する再現性が高いデジタルインク(あるいはインクデータ)を生成可能に構成される。デジタルインクのデータ形式、いわゆる「インク記述言語」として、例えば、WILL(Wacom Ink Layer Language)、InkML(Ink Markup Language)、ISF(Ink Serialized Format)が挙げられる。
この入力システム10は、具体的には、少なくとも1台の電子機器12と、少なくとも1本の電子ペン14と、サーバ装置16(「パラメータ提供装置」に相当)と、を含んで構成される。各々の電子機器12は、ネットワークNTを介してサーバ装置16と相互に通信可能である。
電子機器12は、タッチパネルディスプレイ32(図2)を備える汎用機器又は専用機器である。汎用機器の例として、タブレット型端末、スマートフォン、パーソナルコンピュータなどが挙げられる。一方、専用機器の例として、デジタルサイネージ(いわゆる電子看板)、ウェアラブル端末などが挙げられる。
電子ペン14は、ペン型のポインティングデバイスであり、電子機器12との間で形成される静電結合を介して一方向又は双方向に通信可能に構成されている。ユーザは、電子ペン14を把持し、所定のタッチ面にペン先を押し当てながら移動させることで、電子機器12に絵や文字を書き込むことができる。この電子ペン14は、例えば、アクティブ静電結合方式(AES)又は電磁誘導方式(EMR)のスタイラスである。
サーバ装置16は、モデルパラメータ20の提供に関わる統括的な制御を行うコンピュータであり、クラウド型あるいはオンプレミス型のいずれであってもよい。ここで、サーバ装置16を単体のコンピュータとして図示しているが、これに代わって、サーバ装置16は、分散システムを構築するコンピュータ群であってもよい。サーバ装置16は、具体的には、サーバ側通信部22と、サーバ側制御部24と、サーバ側記憶部26と、を含んで構成される。
サーバ側通信部22は、外部装置に対して電気信号を送受信するインターフェースである。これにより、サーバ装置16は、電子機器12からモデル選択情報18を受信し、モデルパラメータ20を電子機器12に送信することができる。
サーバ側制御部24は、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)を含む演算処理装置によって構成される。サーバ側制御部24は、サーバ側記憶部26に格納されたプログラムを読み出して実行することで、後で詳述するモデル選択部28として機能する。
サーバ側記憶部26は、非一過性であり、かつコンピュータ読み取り可能な記憶媒体、例えば、ハードディスクドライブ(HDD:Hard Disk Drive)又はソリッドステートドライブ(SSD:Solid State Drive)から構成される。これにより、サーバ側記憶部26には、モデルパラメータ20に関するデータベース(以下、パラメータDB30)が構築されている。
図2は、図1における電子機器12の構成の一例を示すブロック図である。この電子機器12は、具体的には、タッチパネルディスプレイ32と、表示駆動IC(Integrated Circuit)34と、タッチIC36(「ペン状態検出回路」に相当)と、通信モジュール38と、ホストプロセッサ40と、メモリ42と、を含んで構成される。
タッチパネルディスプレイ32は、コンテンツを可視的に表示可能な表示パネル44と、平面視にて表示パネル44と重なるように配置される面状のタッチセンサ46と、を含んで構成される。本図の例では、タッチセンサ46は、表示パネル44に外側から取り付ける「外付け型」のセンサであるが、これに代えて表示パネル44と一体的に構成される「内蔵型」(さらに分類すると、オンセル型又はインセル型)のセンサであってもよい。
表示パネル44は、モノクロ画像又はカラー画像を表示可能であり、例えば、液晶パネル、有機EL(Electro-Luminescence)パネル、電子ペーパーから構成される。なお、表示パネル44に可撓性をもたせることで、ユーザは、電子機器12のタッチ面を湾曲又は屈曲させた状態のまま、手書きによる入力操作を行うことができる。
タッチセンサ46は、複数のセンサ電極を面状に配置してなる静電容量方式のセンサである。このタッチセンサ46は、具体的には、センサ座標系のX軸の位置を検出するための複数本のXライン電極47(図10A参照)と、Y軸の位置を検出するための複数本のYライン電極48(同図参照)と、を含んで構成される。この場合、Xライン電極47は、Y軸方向に延びて設けられるとともに、X軸方向に沿って等間隔に配置されている。Yライン電極48は、X軸方向に延びて設けられるとともに、Y軸方向に沿って等間隔に配置されている。なお、タッチセンサ46は、上記した相互容量方式のセンサに代えて、ブロック状の電極を二次元格子状に配置した自己容量方式のセンサであってもよい。
表示駆動IC34は、表示パネル44と電気的に接続され、かつ表示パネル44の駆動制御を行う集積回路である。表示駆動IC34は、ホストプロセッサ40から供給された表示信号に基づいて表示パネル44を駆動する。これにより、表示パネル44上には、デジタルインク58が示すコンテンツが表示される。
タッチIC36は、タッチセンサ46と電気的に接続され、かつタッチセンサ46の駆動制御を行う集積回路である。タッチIC36は、ホストプロセッサ40から供給された制御信号に基づいてタッチセンサ46を駆動する。これにより、タッチIC36は、電子ペン14の状態を検出する「ペン検出機能」や、ユーザの指などによるタッチを検出する「タッチ検出機能」を実行する。
このペン検出機能は、例えば、タッチセンサ46のスキャン機能、ダウンリンク信号の受信・解析機能、電子ペン14の状態(例えば、位置、姿勢、筆圧)の推定機能、電子ペン14に対する指令を含むアップリンク信号の生成・送信機能を含む。また、タッチ検出機能は、例えば、タッチセンサ46の二次元スキャン機能、タッチセンサ46上の検出マップの取得機能、検出マップ上の領域分類機能(例えば、指、手の平などの分類)を含む。
このように、電子ペン14及びタッチセンサ46による入力機能と、表示パネル44による出力機能を組み合わせることで、グラフィカル・ユーザ・インターフェース(GUI)が構築される。
通信モジュール38は、外部装置との間で有線通信又は無線通信を行う通信機能を有する。これにより、電子機器12は、モデル選択情報18をサーバ装置16に送信し、サーバ装置16からモデルパラメータ20を受信することができる。
ホストプロセッサ40は、CPU、GPU、あるいはMPU(Micro-Processing Unit)を含む演算処理装置によって構成される。ホストプロセッサ40は、メモリ42に格納されたプログラムを読み出して実行することで、情報取得部50、パラメータ設定部52、インク生成部54及び描画処理部56として機能する。
メモリ42は、非一過性であり、かつ、コンピュータ読み取り可能な記憶媒体で構成されている。ここで、コンピュータ読み取り可能な記憶媒体は、HDDを含む記憶装置、あるいは、光磁気ディスク、ROM、CD-ROM、フラッシュメモリ等の可搬媒体である。本図の例では、メモリ42には、モデル選択情報18、モデルパラメータ20、及びデジタルインク58が格納されている。
[入力システム10の動作]
ペン状態検出装置としての電子機器12が組み込まれた入力システム10は、以上のように構成される。続いて、入力システム10の動作、具体的には、電子機器12、電子ペン14、及びサーバ装置16の連携動作について、図3のシーケンス図を参照しながら説明する。このシーケンス図のステップS1,S9は電子ペン14及び電子機器12の協働により、ステップS4~S6はサーバ装置16によりそれぞれ実行される。一方、残りのステップは電子機器12により実行される。
図3のステップS1において、電子機器12のホストプロセッサ40は、ユーザの筆記入力に用いられる電子ペン14を検出する。具体的には、電子機器12は、自機の周辺にある電子ペン14とのペアリングを試み、このペアリングの成功を通じて電子ペン14を検出する。あるいは、電子機器12は、ユーザが電子ペン14に関する情報を入力する操作を受け付けることで、当該電子ペン14を検出してもよい。
ステップS2において、電子機器12の情報取得部50は、電子ペン14及び/又は自機からモデル選択情報18を取得する。モデル選択情報18とは、後述する入出力モデル70の選択に必要な情報であり、具体的には、[1]電子ペン14又は電子機器12の外形に関する情報、[2]電子ペン14、電子機器12、及びタッチセンサ46の種別、並びにユーザのうちの2以上の組み合わせに関する情報である。
ステップS3において、電子機器12は、ステップS2で取得されたモデル選択情報18を含むデータを、電子機器12の識別情報(つまり、機器ID)と対応付けた状態でサーバ装置16に送信する。
ステップS4において、サーバ装置16は、電子機器12からのデータの受信を通じて、モデル選択情報18を取得する。
ステップS5において、サーバ側制御部24(より詳しくは、モデル選択部28)は、ステップS4で取得されたモデル選択情報18を検索キーとして、サーバ側記憶部26に構築されるパラメータDB30を参照する。これにより、複数組のモデルパラメータ20のうち、モデル選択情報18に対応する入出力モデル70を特定可能な1組のモデルパラメータ20が選択される。
ステップS6において、サーバ装置16は、ステップS5で選択されたモデルパラメータ20を含むデータを、該当するモデル選択情報18に紐付けられた機器IDを有する電子機器12に送信する。
ステップS7において、電子機器12は、サーバ装置16からのデータの受信を通じて、モデルパラメータ20を取得する。このモデルパラメータ20は、電子機器12のメモリ42に格納される。
ステップS8において、ホストプロセッサ40(より詳しくは、パラメータ設定部52)は、ステップS7で取得されたモデルパラメータ20を、タッチIC36が利用可能な態様にて設定を行う。例えば、ホストプロセッサ40は、モデルパラメータ20の各値を、それぞれ対応するメモリ又はレジスタの記憶領域にそれぞれ書き込む。
ステップS9において、電子機器12は、電子ペン14と連携して所望の筆記動作を行う。具体的には、インク生成部54は、電子ペン14の指示位置の軌跡を示すストロークデータと、該ストロークデータに関連するメタ情報を対応付けてなるデジタルインク58を生成する。このメタ情報には、例えば、文書メタデータ、意味データ、装置データ、分類データ、文脈データなどが含まれる。
描画処理部56は、メモリ42から読み出したデジタルインク58を解析し、ストロークデータに対して所望のラスタライズ処理を行い、描画対象のコンテンツを示す表示信号を生成する。表示駆動IC34は、ホストプロセッサ40から供給された表示信号に基づき表示パネル44を駆動する。これにより、表示パネル44上には可視化されたコンテンツが表示される。
[ペン状態の検出動作]
このようにして、図3に示すシーケンス動作が終了する。続いて、タッチIC36によるペン状態の検出動作について、図4~図7を参照しながら説明する。
<入力値及び出力値の一例>
図4は、図1の電子ペン14を部分的に示す模式図である。電子ペン14の先端には、概略円錐状のチップ電極60と、無底円錐台状のアッパー電極62が同軸的に設けられている。チップ電極60及びアッパー電極62はそれぞれ、発振回路64が生成する信号(いわゆるダウンリンク信号)を出力するためのペン側電極である。発振回路64が発振周波数を変更したり送信先を時分割で切り替えたりすることで、電子ペン14は、チップ電極60及びアッパー電極62を介して2種類のダウンリンク信号を出力することができる。
電子機器12のタッチIC36(図2)は、チップ電極60の接近に伴う静電容量(より詳しくは、相互容量又は自己容量)の変化を示す信号分布(以下、第1信号分布)を、複数本のXライン電極47から取得する。第1信号分布は、典型的には、位置Q1に1つのピークをもつ形状を有する。ここで、位置Q1は、チップ電極60の頂部(位置P1)をセンサ平面上に投影した位置に相当する。
同様に、タッチIC36は、アッパー電極62の接近に伴う静電容量の変化を示す信号分布(以下、第2信号分布)を、複数本のXライン電極47から取得する。第2信号分布は、典型的には、位置Q2に1つ又は2つのピークをもつ形状を有する。ここで、位置Q2は、アッパー電極62の肩部(位置P2)をセンサ平面上に投影した位置に相当する。また、後述する位置Q3は、アッパー電極62の上底面の中心(位置P3)をセンサ平面上に投影した位置に相当する。
図5A及び図5Bは、電子ペン14のコンタクト状態時にタッチセンサ46から検出される信号分布の一例を示す図である。より詳しくは、図5Aは第1信号分布を示すとともに、図5Bは第2信号分布を示している。グラフの横軸は電子ペン14の指示位置を基準とする相対位置(単位:mm)を示すとともに、グラフの縦軸は[0,1]に正規化された信号値(単位:なし)を示している。この信号値は、電子ペン14が接近した時に「正」になるように正負の符号が定義されている。第1及び第2信号分布はそれぞれ、電子ペン14の傾斜角度に応じて形状が変化する。本図では、傾斜角度をそれぞれ変化させて得られた3本の曲線を重ねて表記している。
図5Aに示すように、第1信号分布は、傾斜角度の大きさにかかわらず、概ね類似した形状を有する。なぜならば、電子ペン14を使用する間、通常、チップ電極60の頂部がセンサ平面に最も近い位置にあり、位置Q1が位置P1に概ね一致するからである。一方、図5Bに示すように、第2信号分布は、傾斜角度の変化に応じてピークの位置又は個数が大きく変化する。なぜならば、電子ペン14を使用する間、通常、アッパー電極62の肩部のいずれかの箇所がセンサ平面に最も近い位置にあり、位置Q1,Q2の間の距離が傾斜角度に応じて変化するからである。
この位置Q1,Q2の座標を用いて、電子ペン14の位置・姿勢(以下、ペン状態ともいう)を推定することができる。例えば、指示位置は、図4に示す位置Q1に相当する。また、傾斜角度は、センサ平面と電子ペン14の軸とのなす角θに相当する。つまり、センサ平面に対して水平な状態ではθ=0°となり、センサ平面に対して垂直な状態ではθ=90°となる。なお、電子ペン14の傾き状態を示す物理量は、上記した角度の他に、例えば方位を用いてもよい。
図6は、指示位置に関する推定誤差の傾向を示す図である。グラフの横軸は指示位置の実際値(単位:mm)を示すとともに、グラフの縦軸は指示位置の推定値(単位:mm)を示している。ここでは、Xライン電極47の幅方向の中点をX=0(mm)と定義している。なお、推定誤差が0の場合、原点Oを通る傾き1の直線が得られる。
例えば、信号分布は、等間隔(ピッチΔX)でサンプリングされた信号値の集合であることから、信号分布のピーク(つまり、指示位置)をより正確に推定するために補間演算が行われる。ところが、補間関数の種類によってはフィッティング誤差が発生し、ピッチ単位で周期的な「補間近似誤差」が生じてしまう。
また、アッパー電極62の位置P3(図参照)を基準として傾斜角度を推定する場合において、θ=0°では位置Q2が位置Q3に一致するため、傾斜角度に起因する推定誤差は生じない。ところが、θ>0°の場合、位置Q2,Q3のずれにより、傾斜角度が小さく見積もられる。その結果、得られる推定値が正方向(つまり、電子ペン14の傾斜方向)にシフトし、いわゆる「オフセット誤差」が生じてしまう。
このように、互いに位置及び形状が異なる2つのペン側電極を用いてペン状態を推定する際、上記した補間近似誤差及びオフセット誤差によって、指示位置又は傾斜角度の推定精度がばらつく場合がある。そこで、以下の入出力モデル70を導入することで、この2種類の誤差を同時に減らし、ペン状態の推定精度を向上させることができる。
<入出力モデル70の構成例>
図7は、図2のタッチIC36により実装される入出力モデル70の一例を示す模式的な構成図である。入出力モデル70は、信号分布に関する特徴量を入力とし、電子ペン14の状態量を出力とするモデルである。この入出力モデル70は、具体的には、前段演算器72、後段演算器74、及び加算器76が直列的に順次接続されてなるニューラルネットワークである。なお、ネットワーク構造は本図の例に限られることなく、様々な構成を採用してもよい。
前段演算器72は、電子ペン14の傾斜角度を推定する第1推定手段として機能する。後段演算器74及び加算器76は、電子ペン14の指示位置を推定する第2推定手段として機能する。図面の丸印は、ニューラルネットワークのニューロンに相当する演算ユニットを示している。「T」の演算ユニットには、チップ電極60に対応する「第1局所特徴量」の各値が格納される。「U」の演算ユニットには、アッパー電極62に対応する「第2局所特徴量」の各値が格納される。「A」の演算ユニットには「傾斜角度」が格納される。「P」の演算ユニットには「相対位置」が格納される。
前段演算器72は、例えば、入力層72i、中間層72m、及び出力層72oからなる階層型のニューラルネット演算器である。入力層72iは、第2局所特徴量の各値を入力するためのN個の演算ユニットから構成される。中間層72mは、M個(ここでは、M=N)の演算ユニットから構成される。出力層72oは、傾斜角度を出力するための1個の演算ユニットから構成される。ここで、第2局所特徴量とは、第2信号分布のうちピークを含む部分(「第2局所分布」ともいう)に関する形状的特徴を示す特徴量である。この第2局所特徴量は、例えば、第2局所分布の傾き又は該傾きの絶対値であってもよいし、第2局所分布そのものであってもよい。
後段演算器74は、例えば、入力層74i、中間層74m、及び出力層74oからなる階層型のニューラルネット演算器である。入力層74iは、第1局所特徴量の各値及び傾斜角度を入力するための(N+1)個の演算ユニットから構成される。中間層74mは、例えば、M個(ここでは、M=N)の演算ユニットから構成される。出力層74oは、基準位置と指示位置の間の相対位置を出力するための1個の演算ユニットから構成される。ここで、第1局所特徴量とは、第1信号分布のうちピークを含む部分(「第1局所分布」ともいう)に関する形状的特徴を示す特徴量である。この第1局所特徴量は、例えば、第1局所分布の傾き又は該傾きの絶対値であってもよいし、第1局所分布そのものであってもよい。
加算器76は、センサ座標系における第1局所分布の基準点の位置(つまり、基準位置)に後段演算器74からの相対位置を加算することで、電子ペン14の指示位置を出力する。この基準位置は、例えば、第1局所分布の立ち上がり位置、立ち下がり位置、ピーク位置、あるいはこれらの近傍位置のいずれであってもよい。なお、指示位置は、第1局所分布のピーク中心に相当する位置であり、Xライン電極47(あるいは、Yライン電極48)のピッチよりも高い分解能を有する。
入出力モデル70の演算規則は、モデルパラメータ20の各値によって定められる。モデルパラメータ20は、例えば、演算ユニットの活性化関数を記述する係数、演算ユニット間の結合強度を含む「可変パラメータ」と、学習モデルのアーキテクチャを特定するための「固定パラメータ」(いわゆるハイパーパラメータ)から構成される。ハイパーパラメータの例として、各層を構成する演算ユニットの個数、中間層の数が挙げられる。例えば、アーキテクチャが固定されている場合、モデルパラメータ20は可変パラメータのみから構成されてもよい。
このモデルパラメータ20は、例えば、実際の測定又は計算機シミュレーションにより得られた教師データを用いる「教師あり学習」を通じて決定される。例えば、「実際の測定」の場合、センサ平面上の複数の位置をランダムに選択し、それぞれの位置における信号分布を測定することで教師データが作成される。また、「計算機シミュレーション」の場合、電磁界解析又は電気回路解析を含む物理シミュレーションや、標本化処理、補間処理又はノイズ付与を含む数学シミュレーションを用いて教師データが作成される。
そして、タッチIC36は、入出力モデル70に従って推定された指示位置及び傾斜角度を含むデータをホストプロセッサ40に供給する。例えば、タッチIC36は、1次元モデル演算を2回繰り返してX軸座標値、Y軸座標値をそれぞれ推定し、ホストプロセッサ40に指示位置の座標値(X,Y)を供給してもよい。あるいは、タッチIC36は、2次元モデル演算を1回行って指示位置の座標値(X,Y)を同時に推定し、ホストプロセッサ40に座標値(X,Y)を供給してもよい。
[モデルパラメータ20の選択]
ところで、入力システム10の使用を続ける中で、何らかの理由により電子ペン14又は電子機器12の外形が変化することがある。この「外形の変化(あるいは、外形的変化)」とは、外側から視た形状(いわゆる外観)が物理的に変化することを意味する。あるいは、「外形的変化」とは、同一な製品やペン先タイプやセンサ電極製品など静的には同じ情報で示される状態であるにもかかわらず、時間(利用状態や経時的)によって変化する、電子ペン14と電子機器12とのインターフェースの電気的あるいは磁気的結合状態の動的な変化を伴う変形をいう。すなわち、[1]湾曲や屈曲を含む可逆的な変化、又は[2]部分的な摩耗・交換や、別部材の一体化・除去を含む不可逆的な変化のいずれであってもよい。
同様に、この入力システム10の使用を続ける中で、電子ペン14や電子機器12などの組み合わせが変わることがある。これにより、電子ペン14が有するペン側電極と、電子機器12に組み込まれるセンサ電極の間の幾何学的関係が変更され、静電容量の変化を示す信号分布の形状的傾向が異なってくる。その結果、固定的に実装される入出力モデル70では、ペン状態の検出精度を十分に確保できない状況が起こり得る。
そこで、サーバ装置16は、入出力特性が異なる複数組のモデルパラメータ20を保持しておき、電子ペン14又は電子機器12の利用状況に適した1組のモデルパラメータ20を選択・供給する。以下、図のステップS5におけるモデル選択部28の選択動作について、図8A~図15を参照しながら説明する。
<第1例>
図8Aは、電子機器12のタッチ面が上凸状に湾曲した状態を示す概略断面図である。本図の例では、下側から上側にわたって、Xライン電極47、Yライン電極48、及び表面カバー80が積層された状態が示されている。電子ペン14が電子機器12のタッチ面に接近する際、チップ電極60と、該チップ電極60から相対的に近い位置にある3本のXライン電極47の間でそれぞれ静電結合が形成される。以下、図面の中央、左側、及び右側における静電容量がC1,C2,C3であるとする。本図から理解されるように、電子機器12の湾曲の有無又は曲率に応じて、チップ電極60とXライン電極47の間の幾何学的な位置関係が変化する。これに伴い、静電容量C1,C2,C3の相対的大小関係が変化する。
図8Bは、タッチ面の湾曲前後にわたる信号分布の変化を示す図である。グラフの横軸はX軸方向の位置(単位:mm)を示すとともに、グラフの縦軸は信号値(単位:なし)を示している。本図から理解されるように、「湾曲時」の信号分布は、「平坦時」の場合と比べて、幅が狭くなるとともにピークが高くなる傾向がある。そこで、このような分布形状の違いを考慮し、電子機器12のタッチ面が平坦である場合、あるいは湾曲又は屈曲している場合に適した複数組のモデルパラメータ20が準備される。
図9は、図1のパラメータDB30が有するデータ構造の第1例を示す図である。パラメータDB30の第1テーブルは、電子ペン14の種別を示す「ペン種別」と、タッチセンサ46の湾曲の度合いを示す「センサ湾曲度」と、モデルパラメータ20の組名を示す「パラメータセット名」と、の間の対応関係を示すテーブル形式のデータである。「ペン種別」は、例えば、電子ペン14の製品名、型番、製造ロット、製造業者などにより分類される。「センサ湾曲度」は、例えば、なし・あり・小さい・大きいなどにより定性的に分類されてもよいし、曲率や曲げ角度などにより定量的に分類されてもよい。
この場合、電子機器12の情報取得部50は、モデル選択情報18として、ペン種別及びセンサ湾曲度をそれぞれ取得する(図3のステップS2)。このペン種別は、電子ペン14からのダウンリンク信号に含まれる種別情報であってもよいし、ユーザによる電子機器12の操作を通じて入力された種別情報であってもよい。また、センサ湾曲度は、タッチセンサ46に設けられる歪みセンサ(不図示)による検出値であってもよいし、ユーザによる電子機器12の操作を通じて入力された測定値であってもよい。
第1例のように、モデル選択情報18が電子機器12の外形に関する情報を含む場合、電子機器12のタッチ面が平坦であるか、湾曲又は屈曲しているかに応じて異なる入出力モデル70が選択されてもよい。これにより、タッチセンサ46の曲げ状態に適したペン状態の検出が可能となる。
<第2例>
図10Aは、電子機器12のタッチ面に保護フィルム82を貼り付けた状態を示す概略断面図である。本図の例では、下側から上側にわたって、Xライン電極47、Yライン電極48、表面カバー80、及び保護フィルム82が積層された状態が示されている。保護フィルム82は、電子機器12のユーザが必要に応じて貼付可能なオプション部材である。本図から理解されるように、電子ペン14のチップ電極60が電子機器12のタッチ面に接触する状態下、保護フィルム82の有無又は厚みに応じて、チップ電極60とXライン電極47(又はYライン電極48)の間の離間距離が変化する。これにより、静電結合に伴って形成される静電容量の大きさが変化する。
図10Bは、保護フィルム82の貼付前後にわたる信号分布の変化を示す図である。グラフの横軸はX軸方向の位置(単位:mm)を示すとともに、グラフの縦軸は信号値(単位:なし)を示している。本図から理解されるように、「保護フィルムあり」の信号分布は、「保護フィルムなし」の場合と比べて、信号値のレベルが全体的に低くなる傾向がある。そこで、このような分布形状の違いを考慮し、電子機器12のタッチ面に設けられる保護フィルム82の有無、又は該保護フィルム82の厚みに適した複数組のモデルパラメータ20が準備される。
図11は、図1のパラメータDB30が有するデータ構造の第2例を示す図である。パラメータDB30の第2テーブルは、タッチセンサ46の種別を示す「センサ種別」と、電子機器12の種別を示す「機器種別」と、保護フィルム82の被覆状態を示す「フィルム状態」と、モデルパラメータ20の組名を示す「パラメータセット名」と、の間の対応関係を示すテーブル形式のデータである。「センサ種別」は、例えば、タッチセンサ46の製品名、型番、製造ロット、製造業者などにより分類される。「機器種別」は、例えば、電子機器12の製品名、型番、製造ロット、製造業者などにより分類される。「フィルム状態」は、例えば、保護フィルム82の有無、厚み、製品名などにより分類される。具体的には、フィルム状態は、なし・あり・薄い・厚いなどにより定性的に分類されてもよいし、厚みの測定値(単位:μm)などにより定量的に分類されてもよい。
この場合、電子機器12の情報取得部50は、モデル選択情報18として、センサ種別、機器種別、及びフィルム状態をそれぞれ取得する(図3のステップS2)。このセンサ種別は、電子機器12を構成する電子部品(例えば、タッチIC36)に格納される種別情報であってもよいし、ユーザによる電子機器12の操作を通じて入力された種別情報であってもよい。また、この機器種別は、電子機器12のメモリ42に格納される種別情報であってもよい。また、フィルム状態は、ユーザによる電子機器12の操作を通じて入力された状態情報であってもよい。
第2例のように、モデル選択情報18が電子機器12の外形に関する情報を含む場合、電子機器12のタッチ面に設けられる保護フィルム82の有無、又は該保護フィルム82の厚みに応じて異なる入出力モデル70が選択されてもよい。これにより、保護フィルム82の被覆状態に適したペン状態の検出が可能となる。
<第3例>
図12Aは、電子ペン14のチップ電極60が摩耗した状態を示す概略側面図である。ユーザは、電子ペン14の端部を電子機器12のタッチ面に接触させながら筆記操作を行う。そうすると、初期状態のチップ電極60は、摩耗によって摩耗部90が除去され、鈍った先端形状を有する残存部92に変形してしまう。つまり、チップ電極60とセンサ電極(例えば、Xライン電極47)の間の幾何学的関係が変化し、これに伴って信号分布が変形する。
図12Bは、チップ電極60の摩耗前後にわたる信号分布の変化を示す図である。グラフの横軸はX軸方向の位置(単位:mm)を示すとともに、グラフの縦軸は信号値(単位:なし)を示している。本図から理解されるように、「摩耗状態」の信号分布は、「初期状態」の場合と比べて、幅が広くなるとともにピークが低くなる傾向がある。そこで、このような分布形状の違いを考慮し、チップ電極60の摩耗の有無又は摩耗の度合いに適した複数組のモデルパラメータ20が準備される。
図13は、図1のパラメータDB30が有するデータ構造の第3例を示す図である。パラメータDB30の第3テーブルは、電子ペン14の種別を示す「ペン種別」と、チップ電極60の摩耗の有無又は度合いを示す「ペン先摩耗度」と、モデルパラメータ20の組名を示す「パラメータセット名」と、の間の対応関係を示すテーブル形式のデータである。「ペン種別」は、例えば、電子ペン14の製品名、型番、製造ロット、製造業者などにより分類される。「ペン先摩耗度」は、例えば、なし・あり・小さい・大きいなどにより定性的に分類されてもよいし、摩耗部90の長さ、残存部92の長さ・曲率などにより定量的に分類されてもよい。
この場合、電子機器12の情報取得部50は、モデル選択情報18として、ペン種別及びペン先摩耗度をそれぞれ取得する(図3のステップS2)。このペン種別は、電子ペン14からのダウンリンク信号に含まれる種別情報であってもよいし、ユーザによる電子機器12の操作を通じて入力された種別情報であってもよい。また、ペン先摩耗度は、カメラによるチップ電極60の撮像画像又は該画像に対する解析処理を通じて得られる測定値であってもよいし、ユーザによる電子機器12の操作を通じて入力された測定値であってもよい。
第3例のように、モデル選択情報18が電子ペン14の外形に関する情報を含む場合、チップ電極60の摩耗の有無又は摩耗の度合いに応じて異なる入出力モデル70が選択されてもよい。これにより、チップ電極60の摩耗状態に適したペン状態の検出が可能となる。
<第4例>
電子ペン14又は電子機器12の外形的変化がない理想的な状態であっても、電子ペン14とタッチセンサ46の組み合わせによって信号分布の出現傾向が異なる場合がある。そこで、このような分布形状の違いを考慮し、電子ペン14及びタッチセンサ46の種別組み合わせに適した複数組のモデルパラメータ20が準備される。
図14は、図1のパラメータDB30が有するデータ構造の第4例を示す図である。パラメータDB30の第4テーブルは、電子ペン14の種別を示す「ペン種別」と、タッチセンサ46の種別を示す「センサ種別」と、モデルパラメータ20の組名を示す「パラメータセット名」と、の間の対応関係を示すテーブル形式のデータである。なお、ペン種別及びセンサ種別の具体例については上記した第1~第3例の場合と同様であるため、その詳しい説明を省略する。
第4例のように、モデル選択情報18が電子ペン14の種別及びタッチセンサ46の種別を含む場合、これらの種別組み合わせに応じて異なる入出力モデル70が選択されてもよい。これにより、電子ペン14及びタッチセンサ46の組み合わせに適したペン状態の検出が可能となる。
<第5例>
例えば、同一の電子ペン14であっても、ユーザによる把持方法によって信号分布の出現傾向が異なる場合がある。そこで、このような分布形状の違いを考慮し、ユーザと機器(例えば、電子ペン14)の組み合わせに適した複数組のモデルパラメータ20が準備される。
図15は、図1のパラメータDB30が有するデータ構造の第5例を示す図である。パラメータDB30の第5テーブルは、ユーザの識別情報を示す「ユーザID」と、電子ペン14の種別を示す「ペン種別」と、モデルパラメータ20の組名を示す「パラメータセット名」と、の間の対応関係を示すテーブル形式のデータである。「ユーザID」は、サーバ装置16により一元的に管理される識別情報である。「ペン種別」は、第1例と同様に、電子ペン14の製品名、型番、製造ロット、製造業者などにより分類される。
この場合、電子機器12の情報取得部50は、モデル選択情報18として、ユーザID及びペン種別をそれぞれ取得する(図3のステップS2)。ユーザIDは、デジタルインク58の生成アプリケーションのアカウント情報であってもよいし、電子機器12に付与されたホスト名であってもよい。また、このペン種別は、電子ペン14からのダウンリンク信号に含まれる種別情報であってもよいし、ユーザによる電子機器12の操作を通じて入力された種別情報であってもよい。
第5例のように、モデル選択情報18が電子ペン14、電子機器12、及びタッチセンサ46のうちのいずれか1つの種別を含む場合、この種別とユーザの組み合わせに応じて異なる入出力モデル70が選択されてもよい。これにより、ユーザによる各種機器の使用方法の傾向に合ったペン状態の検出が可能となる。
<第6例>
第4,第5例では、電子ペン14の種別を含む組み合わせについて説明したが、これに限られず様々な組み合わせを考慮してもよい。具体的には、電子ペン14、電子機器12、及びタッチセンサ46の種別、並びにユーザのうちの2以上の組み合わせであってもよい。あるいは、上記した第1~第3例における電子ペン14又は電子機器12の外形的変化を併せた組み合わせであってもよい。
[実施形態による効果]
以上のように、ペン状態検出回路としてのタッチIC36は、複数のセンサ電極を面状に配置してなる静電容量方式のタッチセンサ46を有する電子機器12に組み込まれる。タッチIC36は、電子ペン14が有するペン側電極(チップ電極60,アッパー電極62)の接近に伴う静電容量の変化を示す信号分布をタッチセンサ46から取得し、この信号分布に関する特徴量を入力とし、電子ペン14の状態量を出力とする入出力モデル70に従って電子ペン14の状態を推定し、電子ペン14又は電子機器12の外形的変化に応じて異なる入出力モデル70を設定可能に構成される。
また、ペン状態検出装置としての電子機器12は、上記したタッチIC36の他に、電子ペン14又は電子機器12の外形に関するモデル選択情報18を取得する情報取得部50と、取得されたモデル選択情報18に対応する入出力モデル70を特定可能なモデルパラメータ20をタッチIC36に設定するパラメータ設定部52を備える。
また、パラメータ提供装置としてのサーバ装置16は、上記した電子機器12との間で相互に通信可能に構成される。そして、サーバ装置16は、モデルパラメータ20をモデル選択情報18と対応付けて記憶するサーバ側記憶部26と、電子機器12からモデル選択情報18を受信した場合、モデル選択情報18に対応するモデルパラメータ20をサーバ側記憶部26から読み出して電子機器12に送信する制御を行うサーバ側制御部24を備える。特に、電子機器12がサーバ装置16と双方向に通信可能である場合、電子機器12のパラメータ設定部52は、モデル選択情報18に対応するモデルパラメータ20をサーバ装置16から取得して設定してもよい。
このように構成することで、電子ペン14又は電子機器12の利用状況(特に、これらの外形的変化)に適した入出力モデル70を選択的に設定可能となり、ペン状態の検出精度が維持されやすくなる。
また、タッチIC36は、電子ペン14が有するペン側電極の接近に伴う静電容量の変化を示す信号分布をタッチセンサ46から取得し、取得された信号分布に関する特徴量を入力とし、電子ペン14の状態量を出力とする入出力モデル70に従って電子ペン14の状態を推定し、電子ペン14、電子機器12、及びタッチセンサ46の種別、並びにユーザのうちの2以上の組み合わせに応じて異なる入出力モデル70を設定可能に構成される。
また、電子機器12は、上記したタッチIC36の他に、電子ペン14、電子機器12、及びタッチセンサ46の種別、並びにユーザのうちの2以上の組み合わせに関するモデル選択情報18を取得する情報取得部50と、取得されたモデル選択情報18に対応する入出力モデル70を特定可能なモデルパラメータ20をタッチIC36に設定するパラメータ設定部52を備える。また、サーバ装置16は、モデルパラメータ20をモデル選択情報18と対応付けて記憶するサーバ側記憶部26と、電子機器12からモデル選択情報18を受信した場合、モデル選択情報18に対応するモデルパラメータ20をサーバ側記憶部26から読み出して電子機器12に送信する制御を行うサーバ側制御部24を備える。
このように構成することで、ユーザによる電子ペン14及び電子機器12の利用状況(特に、これらの組み合わせ)に適した入出力モデル70を選択的に設定可能となり、ペン状態の検出精度が維持されやすくなる。
また、電子機器12は、電子ペン14の検出を契機として入出力モデル70を設定可能に構成されてもよい。これにより、電子ペン14が実際に使用される状況にて、適した入出力モデル70を設定することができる。
[変形例]
なお、本発明は上記した実施形態に限定されるものではなく、この発明の主旨を逸脱しない範囲で自由に変更できることは勿論である。あるいは、技術的に矛盾が生じない範囲で各々の構成を任意に組み合わせてもよい。
<第1変形例>
図16は、第1変形例における入力システム100の全体構成図である。この入力システム10は、少なくとも1台の電子機器102と、少なくとも1本の電子ペン104と、図1の場合と同様の構成を有するサーバ装置16と、を含んで構成される。
電子機器102は、基本的には、図2に示す電子機器12と同様の構成を有する。ただし、通信モジュール38の機能を停止する設定がなされることで、電子機器102がオフラインで使用されている場合を想定する。
電子ペン104は、ペン側電極とは異なる無線通信手段、例えば、Bluetooth(登録商標)、WiFi、第5世代移動通信システム(いわゆる5G)などを用いて、外部装置との間で無線通信を行う無線通信機能を備える。これにより、各々の電子ペン104は、中継装置106を介してネットワークNTに接続可能である。
上記した入力システム100は、図3に示すシーケンスに沿って同様の動作を行うことができる。例えば、ステップS3において、電子機器102は、ステップS2で取得されたモデル選択情報18及び電子機器12の識別情報(つまり、機器ID)を含むアップリンク信号を電子ペン104に送信する。そして、電子ペン104は、受信によって取得したモデル選択情報18及び機器IDを含むデータを、電子ペン104の識別情報(つまり、ペンID)と対応付けた状態でサーバ装置16に送信する。このようにして、モデル選択情報18がサーバ装置16に供給される。
また、ステップS6において、サーバ装置16は、ステップS5で選択されたモデルパラメータ20及び機器IDを含むデータを、該当するモデル選択情報18に紐付けられたペンIDを有する電子ペン104に送信する。そして、電子ペン104は、受信によって取得したモデルパラメータ20及び機器IDを含むダウンリンク信号を電子機器102に送信する。このようにして、モデルパラメータ20が電子機器102に供給される。
このように、電子機器102及びサーバ装置16が電子ペン104を中継して双方向に通信可能である場合、電子機器102のパラメータ設定部52は、モデル選択情報18に対応するモデルパラメータ20を電子ペン14から取得して設定してもよい。これにより、電子機器102とサーバ装置16の間で直接的に通信ができない場合であっても、電子ペン104又は電子機器102の利用状況に適したモデルパラメータ20の選択・設定が行われる。
<第2変形例>
図17は、第2変形例における電子機器110の構成の一例を示すブロック図である。この電子機器110は、具体的には、タッチパネルディスプレイ32と、表示駆動IC34と、タッチIC36と、通信モジュール38と、ホストプロセッサ112と、メモリ114と、を含んで構成される。
ホストプロセッサ112は、モデル選択部28をさらに備える点で、図2に示す構成とは異なっている。また、メモリ114は、複数組のモデルパラメータ20を記憶している点で、図2に示す構成とは異なっている。このように、サーバ装置16(図1)の機能の一部を電子機器110に組み込むことで、サーバ装置16を設けることなく、図3に示すシーケンスに沿って同様の動作を行うことができる。
具体的には、図3のシーケンスのうちデータの送受信に関するステップS3,S4,S5,S6,S7を省略することができる。この場合、ステップS5において、電子機器110のホストプロセッサ112(より詳しくは、モデル選択部28)は、ステップS2で取得されたモデル選択情報18を検索キーとして、メモリ114に記憶されている複数組のモデルパラメータ20のうち、モデル選択情報18に対応する入出力モデル70を特定可能なモデルパラメータ20を選択すればよい。
このように、電子機器110のメモリ114が複数組のモデルパラメータ20を記憶可能である場合、パラメータ設定部52は、メモリ114に記憶されている複数組のモデルパラメータ20の中から、モデル選択情報18に対応するモデルパラメータ20を選択して設定してもよい。これにより、サーバ装置16を設けることなく、電子ペン14又は電子機器110の利用状況に適したモデルパラメータ20の選択・設定が行われる。
<その他の変形例>
上記した実施形態では、電子ペン14の検出が契機となって入出力モデル70が設定されているが、設定のタイミングはこれに限られない。例えば、タッチIC36は、電子ペン14又は電子機器12の外形的変化を検出したことを契機として、入出力モデル70を動的に設定可能に構成されてもよい。あるいは、タッチIC36は、電子ペン14、電子機器12、及びタッチセンサ46の種別、並びにユーザのうちの2以上の組み合わせの変更を検出したことを契機として、入出力モデル70を動的に設定可能に構成されてもよい。
上記した実施形態では、図7に示すニューラルネットワークを用いて入出力モデル70を構築しているが、機械学習の手法はこれに限られない。例えば、ロジスティック回帰モデル、サポートベクターマシン(SVM)、ディシジョンツリー、ランダムフォレスト、ブースティング法を含む様々な手法を採用してもよい。あるいは、モデルパラメータ20のデータ定義は、学習パラメータの他にも、関数を特定する各種係数、あるいは状態量又はその補正量を示すテーブルなどであってもよい。
[符号の説明]
10,100‥入力システム、12,102,110‥電子機器(ペン状態検出装置)、14,104‥電子ペン、16‥サーバ装置(パラメータ提供装置)、18‥モデル選択情報、20‥モデルパラメータ、28‥モデル選択部、30‥パラメータDB、36‥タッチIC(ペン状態検出回路)、46‥タッチセンサ、47‥Xライン電極(センサ電極)、48‥Yライン電極(センサ電極)、60‥チップ電極(ペン側電極)、62‥アッパー電極(ペン側電極)、70‥入出力モデル、80‥表面カバー、82‥保護フィルム、90‥摩耗部、92‥残存部

Claims (19)

  1. 複数のセンサ電極を面状に配置してなる静電容量方式のタッチセンサを有する電子機器に組み込まれたペン状態検出回路であって、
    電子ペンが有するペン側電極の接近に伴う静電容量の変化を示す信号分布を前記タッチセンサから取得する取得ステップと、
    取得された前記信号分布に関する特徴量を入力とし、前記電子ペンの状態量を出力とする入出力モデルに従って前記電子ペンの状態を推定する推定ステップと、
    を実行し、
    前記電子ペン又は前記電子機器の外形的変化に応じて異なる入出力モデルを設定可能に構成されるペン状態検出回路。
  2. 前記外形的変化は、静的には同じ情報で示される状態であるにもかかわらず、時間によって変化する、前記電子ペンと前記電子機器の間のインターフェースの電気的あるいは磁気的結合状態の動的な変化である、
    請求項1に記載のペン状態検出回路。
  3. 前記電子機器のタッチ面が平坦であるか、湾曲又は屈曲しているかに応じて異なる入出力モデルを設定可能に構成される、
    請求項1に記載のペン状態検出回路。
  4. 前記電子機器のタッチ面に設けられる保護フィルムの有無、又は該保護フィルムの厚みに応じて異なる入出力モデルを設定可能に構成される、
    請求項1に記載のペン状態検出回路。
  5. 前記ペン側電極の摩耗の有無又は摩耗の度合いに応じて異なる入出力モデルを設定可能に構成される、
    請求項1に記載のペン状態検出回路。
  6. 前記電子ペンの検出を契機として前記入出力モデルを設定可能に構成される、
    請求項1~5のいずれか1項に記載のペン状態検出回路。
  7. 複数のセンサ電極を面状に配置してなる静電容量方式のタッチセンサを有する電子機器に組み込まれたペン状態検出回路が、
    電子ペンが有するペン側電極の接近に伴う静電容量の変化を示す信号分布を前記タッチセンサから取得する取得ステップと、
    取得された前記信号分布に関する特徴量を入力とし、前記電子ペンの状態量を出力とする入出力モデルに従って、前記電子ペンの状態を推定する推定ステップと、
    を実行し、
    前記電子ペン又は前記電子機器の外形的変化に応じて異なる入出力モデルが設定される、ペン状態検出方法。
  8. 請求項1~6のいずれか1項に記載のペン状態検出回路と、
    前記電子ペン又は前記電子機器の外形に関するモデル選択情報を取得する情報取得部と、
    前記情報取得部により取得された前記モデル選択情報に対応する前記入出力モデルを特定可能なモデルパラメータを前記ペン状態検出回路に設定するパラメータ設定部と、
    を備えるペン状態検出装置。
  9. 請求項1~6のいずれか1項に記載のペン状態検出回路と、
    前記電子ペン又は前記電子機器の外形に関するモデル選択情報を取得する情報取得部と、
    前記情報取得部が取得した前記モデル選択情報に応じて選択された前記入出力モデルを特定可能なモデルパラメータを前記ペン状態検出回路に設定するパラメータ設定部と、
    を備えるペン状態検出装置との間で相互に通信可能に構成されるパラメータ提供装置であって、
    前記モデルパラメータを前記モデル選択情報と対応付けて記憶する記憶部と、
    前記ペン状態検出装置から前記モデル選択情報を受信した場合、前記モデル選択情報に対応するモデルパラメータを前記記憶部から読み出して前記ペン状態検出装置に送信する制御を行う制御部と、
    を備えるパラメータ提供装置。
  10. 複数のセンサ電極を面状に配置してなる静電容量方式のタッチセンサを有する電子機器に組み込まれたペン状態検出回路であって、
    電子ペンが有するペン側電極の接近に伴う静電容量の変化を示す信号分布を前記タッチセンサから取得する取得ステップと、
    取得された前記信号分布に関する特徴量を入力とし、前記電子ペンの状態量を出力とする入出力モデルに従って、前記電子ペンの状態を推定する推定ステップと、
    を実行し、
    前記電子ペン、前記電子機器、及び前記タッチセンサの種別、並びにユーザのうちの2以上の組み合わせに応じて異なる入出力モデルを設定可能に構成されるペン状態検出回路。
  11. 前記電子ペン及び前記タッチセンサの種別の組み合わせに応じて異なる入出力モデルを設定可能に構成される、
    請求項10に記載のペン状態検出回路。
  12. 前記電子ペン、前記電子機器、及び前記タッチセンサのうちのいずれか1つの種別及びユーザの組み合わせに応じて異なる入出力モデルを設定可能に構成される、
    請求項10に記載のペン状態検出回路。
  13. 前記電子ペンの検出を契機として前記入出力モデルを設定可能に構成される、
    請求項10~12のいずれか1項に記載のペン状態検出回路。
  14. 複数のセンサ電極を面状に配置してなる静電容量方式のタッチセンサを有する電子機器に組み込まれたペン状態検出回路が、
    電子ペンが有するペン側電極の接近に伴う静電容量の変化を示す信号分布を前記タッチセンサから取得する取得ステップと、
    取得された前記信号分布に関する特徴量を入力とし、前記電子ペンの状態量を出力とする入出力モデルに従って、前記電子ペンの状態を推定する推定ステップと、
    を実行し、
    前記電子ペン、前記電子機器、及び前記タッチセンサの種別、並びにユーザのうちの2以上の組み合わせに応じて異なる入出力モデルが設定されるペン状態検出方法。
  15. 請求項10~13のいずれか1項に記載のペン状態検出回路と、
    前記電子ペン、前記電子機器、及び前記タッチセンサの種別、並びにユーザのうちの2以上の組み合わせに関するモデル選択情報を取得する情報取得部と、
    前記情報取得部により取得された前記モデル選択情報に対応する前記入出力モデルを特定可能なモデルパラメータを前記ペン状態検出回路に設定するパラメータ設定部と、
    を備えるペン状態検出装置。
  16. 請求項10~13のいずれか1項に記載のペン状態検出回路と、
    前記電子ペン、前記電子機器、及び前記タッチセンサの種別、並びにユーザのうちの2以上の組み合わせに関するモデル選択情報を取得する情報取得部と、
    前記情報取得部により取得された前記モデル選択情報に対応する前記入出力モデルを特定可能なモデルパラメータを前記ペン状態検出回路に設定するパラメータ設定部と、
    を備えるペン状態検出装置との間で相互に通信可能に構成されるパラメータ提供装置であって、
    前記モデルパラメータを前記モデル選択情報と対応付けて記憶する記憶部と、
    前記ペン状態検出装置から前記モデル選択情報を受信した場合、前記モデル選択情報に対応するモデルパラメータを前記記憶部から読み出して前記ペン状態検出装置に送信する制御を行う制御部と、
    を備えるパラメータ提供装置。
  17. 前記モデルパラメータを前記モデル選択情報と対応付けて記憶するパラメータ提供装置と双方向に通信可能であり、
    前記パラメータ設定部は、前記モデル選択情報に対応する前記モデルパラメータを前記パラメータ提供装置から取得して設定する、
    請求項8又は15に記載のペン状態検出装置。
  18. 前記モデルパラメータを前記モデル選択情報と対応付けて記憶するパラメータ提供装置と前記電子ペンを経由して双方向に通信可能であり、
    前記パラメータ設定部は、前記モデル選択情報に対応する前記モデルパラメータを前記電子ペンから取得して設定する、
    請求項8又は15に記載のペン状態検出装置。
  19. 複数組のモデルパラメータを記憶するメモリをさらに備え、
    前記パラメータ設定部は、前記メモリに記憶されている複数組のモデルパラメータの中から、前記モデル選択情報に対応する前記モデルパラメータを選択して設定する、
    請求項8又は15に記載のペン状態検出装置。
JP2022504852A 2020-03-04 2020-03-04 入出力モデルを設定可能なペン状態検出回路 Active JP7472262B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/009227 WO2021176609A1 (ja) 2020-03-04 2020-03-04 入出力モデルを設定可能なペン状態検出回路

Publications (3)

Publication Number Publication Date
JPWO2021176609A1 JPWO2021176609A1 (ja) 2021-09-10
JPWO2021176609A5 JPWO2021176609A5 (ja) 2022-11-02
JP7472262B2 true JP7472262B2 (ja) 2024-04-22

Family

ID=77613188

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022504852A Active JP7472262B2 (ja) 2020-03-04 2020-03-04 入出力モデルを設定可能なペン状態検出回路

Country Status (3)

Country Link
US (1) US20220365621A1 (ja)
JP (1) JP7472262B2 (ja)
WO (1) WO2021176609A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2192750A2 (en) 2008-11-10 2010-06-02 Lg Electronics Inc. Mobile terminal using flexible display and method of controlling the mobile terminal
JP2011180914A (ja) 2010-03-02 2011-09-15 Toshiba Tec Corp 表示入力装置および表示入力方法
US20130082950A1 (en) 2011-09-29 2013-04-04 Samsung Electronics Co. Ltd. Input apparatus and input method of a portable terminal using a pen
JP2017511930A (ja) 2014-02-26 2017-04-27 クアルコム,インコーポレイテッド ホストベースのタッチ処理に関する最適化
JP2019156263A (ja) 2018-03-15 2019-09-19 株式会社東海理化電機製作所 操作位置検出装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0437921A (ja) * 1990-06-01 1992-02-07 Canon Inc アナログ式タッチパネル制御装置
US7839400B2 (en) * 2002-01-25 2010-11-23 Autodesk, Inc. Volume management system for volumetric displays
US20090085892A1 (en) * 2006-03-01 2009-04-02 Kenichiro Ishikura Input device using touch panel
JP2010244772A (ja) * 2009-04-03 2010-10-28 Sony Corp 静電容量式タッチ部材及びその製造方法、並びに静電容量式タッチ検出装置
KR101995403B1 (ko) * 2012-09-14 2019-07-02 삼성전자 주식회사 스타일러스 펜, 이를 이용한 입력 처리 방법 및 그 전자 장치
WO2019013222A1 (ja) * 2017-07-14 2019-01-17 株式会社ワコム ペン座標とポインタの表示位置との間のズレを補正する方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2192750A2 (en) 2008-11-10 2010-06-02 Lg Electronics Inc. Mobile terminal using flexible display and method of controlling the mobile terminal
JP2011180914A (ja) 2010-03-02 2011-09-15 Toshiba Tec Corp 表示入力装置および表示入力方法
US20130082950A1 (en) 2011-09-29 2013-04-04 Samsung Electronics Co. Ltd. Input apparatus and input method of a portable terminal using a pen
JP2017511930A (ja) 2014-02-26 2017-04-27 クアルコム,インコーポレイテッド ホストベースのタッチ処理に関する最適化
JP2019156263A (ja) 2018-03-15 2019-09-19 株式会社東海理化電機製作所 操作位置検出装置

Also Published As

Publication number Publication date
WO2021176609A1 (ja) 2021-09-10
US20220365621A1 (en) 2022-11-17
JPWO2021176609A1 (ja) 2021-09-10

Similar Documents

Publication Publication Date Title
KR101793769B1 (ko) 추정 편향 응답을 사용하여 물체 정보를 결정하기 위한 시스템 및 방법
US8269720B2 (en) Input device having the function of recognizing hybrid coordinates and operating method of the same
US8836653B1 (en) Extending host device functionality using a mobile device
CN105593787A (zh) 用于与数字设备交互的直接指向检测的系统和方法
US20140098030A1 (en) Touch module
KR20140037026A (ko) 추정 강체 운동 응답을 사용하여 물체 정보를 결정하기 위한 시스템 및 방법
TWI461962B (zh) 用以執行多手指手勢功能之計算裝置及方法
CN103793080A (zh) 电子设备和绘制方法
WO2019013222A1 (ja) ペン座標とポインタの表示位置との間のズレを補正する方法
CN108475137A (zh) 使用混合估计方法减轻共模显示噪声
US9323377B2 (en) Panel control device, panel control method, and non-transitory computer-readable medium
CN109316740B (zh) 检测手指的电子装置、方法及系统以及非暂态可读取媒体
US20140267143A1 (en) System and method for a transcapacitive proximity sensing device
KR20150021975A (ko) 전자 디바이스용 입력 방법 및 입력 디바이스, 이러한 방법을 수행하는 명령이 저장되어 있는 비일시적 컴퓨터 판독 가능 저장 매체
JP7277567B2 (ja) ペン状態検出回路、システム及び方法
US10678381B2 (en) Determining handedness on multi-element capacitive devices
JP5861818B2 (ja) 電子筆記装置
JP7472262B2 (ja) 入出力モデルを設定可能なペン状態検出回路
WO2018098771A1 (zh) 确定方位角或姿态的方法、触控输入装置、触控屏及系统
US10338718B2 (en) Likelihood detection of pressing finger in two-finger touch
JP7199607B1 (ja) 情報処理システム及び情報処理プログラム
US20240053835A1 (en) Pen state detection circuit and method, and input system
KR102468082B1 (ko) 필기 입력에 대한 보정 방법, 이를 위한 전자 장치 및 저장 매체
KR102569170B1 (ko) 사용자 입력이 유지되는 시간에 기반하여 사용자 입력을 처리하는 방법 및 장치
WO2023281954A1 (ja) 情報処理装置、方法、プログラム及びシステム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220629

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230209

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240326

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240410