JP7390246B2

JP7390246B2 - 半導体装置および文字認識方法

Info

Publication number: JP7390246B2
Application number: JP2020076395A
Authority: JP
Inventors: 正一浜田; 浩次平野; 翔木村
Original assignee: Renesas Electronics Corp
Current assignee: Renesas Electronics Corp
Priority date: 2020-04-23
Filing date: 2020-04-23
Publication date: 2023-12-01
Anticipated expiration: 2040-04-23
Also published as: US11494042B2; CN113554051A; US20210333945A1; JP2021174176A

Description

本開示は半導装置に関し、例えば、静電容量センサを内蔵する半導体装置に適用可能である。

白物家電等の家電製品で使用者が文字および記号の入力をする場合は、ＬＣＤ（Liquid Crystal Display）パネルと文字認識機能が必要である。ここで、文字および記号を以下、単に「文字」という。また、スマートフォンで使用者が文字を入力する場合は、入力した文字をＷｉＦｉなどの無線通信を使用して家電製品に送信する必要があり、家電製品に無線機能が必要となる。ＬＣＤパネルの文字軌跡等を解析するために取り扱う１画面のデータ量が大きい。また、文字の認識率を向上されるためには数フレーム分のデータ保持も必要であり、蓄積用データを取り扱う大容量メモリも必要となる。

特開２０１５－１２３７７号公報

パターン認識は、ＬＣＤパネルのタッチスクリーンを利用して実現できる。しかし、上述したように、文字の認識を行うには、大量のデータを保存する必要があり、さらに、大量のデータを計算して判別する必要がある。そのため、メモリおよびＣＰＵ等の装置が高機能および高価となり、また、認識に要する時間も長くなる。

本開示のうち代表的なものの概要を簡単に説明すれば下記の通りである。
すなわち、半導体装置は、マトリックス状に配置された複数のタッチキーを備えるタッチキー群の静電容量を検知するセンサと、センサが検知した複数のタッチキーの静電容量の変化および軌跡の時系列データであるサンプリングパターンに基づいて文字認識を行うよう構成される制御装置と、を備える。

上記半導体装置によれば、文字認識を容易に行うことができる。

図１は実施形態における文字認識装置の構成を示すブロック図である。図２は実施形態におけるタッチキーの状態検出方法を示す図である。図３は実施形態における数字と記号の入力パターン例を示す図である。図４は文字「３」の参照パターンの一例を示す図である。図５は文字「３」のシーケンスパターンの一例を示す図である。図６は文字「８」のシーケンスパターンの一例を示す図である。図７は文字「９」のシーケンスパターンの一例を示す図である。図８は実施形態におけるパターン認識を示すフローチャートである。図９は第一変形例における仮想キーを示す図である。図１０は第一変形例におけるタッチキーの状態検出方法を示す図である。図１１は第一変形例における文字「３」を入力したときのサンプリングパターンを示す図である。図１２は図１１に示されるサンプリングパターンに基づいて仮想キーの情報を生成する方法について説明する図である。図１３は第二変形例における文字認識装置の構成を示すブロック図である。図１４は学習済みモデルによるパターンマッチングを示す図である。図１５は第二変形例における文字認識装置に文字「３」を入力したときのサンプリングパターンを示す図である。図１６（ａ）は図１５に示される「ゆっくり」のサンプリングパターンを４０サンプルに標準化した図である。図１６（ｂ）は図１５に示される「標準」のサンプリングパターンを４０サンプルに標準化した図である。図１６（ｃ）は図１５に示される「はやい」のサンプリングパターンを４０サンプルに標準化した図である。図１７は第二変形例における学習済みモデルによるパターンマッチングを示す図である。図１８（ａ）は第三変形例における文字認識装置の構成を示す図である。図１８（ｂ）は２×２マトリックスで構成されるタッチキー群を四電極として使用する例を示す図である。図１９は第三変形例における数字と記号の入力パターン例を示す図である。図２０（ａ）は第三変形例における文字「３」の入力パターンを示す図である。図２０（ｂ）は文字「３」を入力した場合のタッチキーの静電容量を示す図である。図２１は第三変形例における文字認識装置に文字「３」を入力したときのサンプリングパターンを示す図である。図２２（ａ）は図２１に示される「ゆっくり」のサンプリングパターンを４０サンプルに標準化した図である。図２２（ｂ）は図２１に示される「標準」のサンプリングパターンを４０サンプルに標準化した図である。図２２（ｃ）は図２１に示される「はやい」のサンプリングパターンを４０サンプルに標準化した図である。図２３は第三変形例における学習済みモデルによるパターンマッチングを示す図である。図２４は第四変形例におけるタッチキー群の第一モード状態の上面図である。図２５は第四変形例におけるタッチキー群の第二モード状態の上面図である。図２６Ａは第四変形例におけるタッチキー群のオーバーレイパネルを示す上面図である。図２６Ｂは第四変形例におけるタッチキー群の透明フィルム電極を示す上面図である。図２６Ｃは第四変形例におけるタッチキー群の遮光板を示す上面図である。図２６Ｄは第四変形例におけるタッチキー群のＰＣＢを示す上面図である。図２７は第四変形例におけるタッチキー群の断面図である。図２８は第五変形例における冷蔵庫を示す図である。図２９は第五変形例におけるタッチキー群の第一モード状態の上面図である。図３０は第五変形例におけるタッチキー群の第二モード状態の上面図である。

以下、実施形態および変形例について、図面を用いて説明する。ただし、以下の説明において、同一構成要素には同一符号を付し繰り返しの説明を省略することがある。なお、図面は説明をより明確にするため、実際の態様に比べ、各部の幅、厚さ、形状等について模式的に表される場合があるが、あくまで一例であって、本開示の解釈を限定するものではない。

＜実施形態＞
図１は実施形態における文字認識装置の構成を示すブロック図である。

文字認識装置１０はＭＣＵ（Micro Controller Unit）１００とタッチキー群１１０とを備える。ＭＣＵ１００は静電容量センサ１０１と制御装置１０７とを備える。ＭＣＵ１００は、特に制限されないが、相補型ＭＯＳ集積回路製造技術などにより単結晶シリコンなどの１個の半導体基板に形成されたシステムオンチップの半導体装置として構成される。また、制御装置１０７は、例えば、ＣＰＵ（Central Processing U nit）１０３、ＲＡＭ１０２、ＲＯＭ１０４および周辺回路としてのＰＲＰＨ１０５等を備える。

ＲＯＭ１０４はフラッシュメモリ等の不揮発性メモリで構成され、ＣＰＵ１０３が利用するプログラムおよびデータなどを記憶する。ＣＰＵ１０３は、静電容量センサ１０１を制御するとともに、静電容量センサ１０１の出力に基づいて、文字を認識する。ＲＡＭ１０２はＳＲＡＭ（Static Random Access Memory）等の揮発性メモリで構成され、ＣＰＵ１０３がプログラムを実行中に必要なデータなどを一時的に記憶する。ＰＲＰＨ１０５は、タイマ１０６、図示しない通信回路等の他の装置とのインタフェース回路などを含む。

静電容量センサ１０１はタッチキー群１１０を構成するタッチキー１１１～１１９の各々の静電容量を測定する回路である。静電容量センサ１０１はＡ／Ｄコンバータを用いた電圧変換方式により静電容量を計測してもよいし、電流パルス駆動方式により静電容量を計測してもよい。静電容量センサ（タッチセンサ回路、センサ回路）については、ＵＳ２０１５／２２１９およびＵＳ２０１８／３６８７３３を参照して本明細書に取り込む。

タッチキー群１１０は、例えば、３×３のマトリックス状に配置されたタッチキー１１１～１１９を備える。タッチキー１１１～１１９のそれぞれが半導体装置１００と接続されている。タッチキー１１１～１１９は、例えば、ＦＲ－４などの低誘電率の絶縁基材で構成された基板上に銅箔により成形された電極である。これにより、一般的なプリント基板により、タッチキー群１１０を製造することが可能である。隣接する電極との間隔は指で電極に触れたときに隣接する二つの電極を同時に触れることができない間隔が空いているものとする。タッチキー１１１～１１９は、自己容量検出方式のタッチキーである。

文字認識装置１０はプリント基板上にＭＣＵ１００とタッチキー群１１０を実装し、ＭＣＵ１００とタッチキー群１１０とを銅箔による配線で接続する構成でもよい。また、文字認識装置１０はガラスなどの絶縁体の表面に電極となる金属箔などを接着してタッチキー群１１０を形成し、電極とＭＣＵ１００をリード線で接続する構成でもよい。

単一のタッチキーのサンプリング動作について図２を用いて説明する。図２は実施形態におけるタッチキーの状態検出方法を示す図である。

一般的にタッチキーは指が電極から離れた状態（Non-touch）をＯＦＦとし、指が電極に接触した状態（Touch）をＯＮとして二値のデジタル値で判定結果を出力する。図１に示したタッチキー群１１０のタッチキー１１１～１１９はそれぞれ独立してＯＮとＯＦＦの両方の状態が検出される。

静電容量センサ１０１は、指と電極間の静電容量を所定期間ごとにサンプリング（センシング）して保持する。ここで、センシング結果はＯＮとＯＦＦのデジタル値（１ビットの「１」または「０」）ではなく、アナログ量である静電容量を多ビットのデジタル値である。制御装置１０７は、例えば、静電容量センサ１０１からの割り込み信号に基づいて、静電容量をＲＡＭ１０２に格納する。ＲＡＭ１０２またはＲＯＭ１０４にはＯＮとＯＦＦを判定するしきい値（Ｔｈ）が格納されている。制御装置１０７は、例えば、センシング結果がしきい値未満（または以下）でＯＦＦと判定し、しきい値以上（または超）でＯＮと判定する。

なお、静電容量センサ１０１がしきい値を保持して、静電容量センサ１０１自体がＯＮまたはＯＦＦのデジタル値の判定結果を出力するようにしてもよい。静電容量センサ１０１の動作電力を低減するために、タイマ１０６を用いてセンシングを間欠動作させるようにしてもよい。

パターン入力について図３を用いて説明する。図３は実施形態における数字と記号の入力パターン例を示す図である。

認識させるパターンはタッチキー群１１０の電極のうち、起点から終点まで指を離すことなくなぞることで入力する。ここで、図３において、黒丸はタッチの起点を示し、矢印はタッチの終点を示している。例えば「１」を入力する場合はタッチキー１１２，１１５，１１８の順に連続でＯＮになるよう指でなぞる。「３」を入力する場合はタッチキー１１１，１１２，１１３，１１６，１１５，１１６，１１９，１１８，１１７の順に連続でＯＮになるよう指でなぞる。「ピリオド」を入力する場合はタッチキー１１９をＯＮになるよう指でタッチする。

上述の入パターン例はあくまでも一例であってこれに限定されるものではない。例えば、「３」の入力パターンは、タッチキー１１１，１１２，１１３，１１６，１１５，１１４，１１５，１１６，１１９，１１８，１１７の順に連続でＯＮになるよう指でなぞったものであってもよい。また、「３」の入力パターンは、タッチキー１１２，１１３，１１６，１１５，１１６，１１９，１１８の順に連続でＯＮになるよう指でなぞったものであってもよい。

パターン認識について図４から図８を用いて説明する。図４は文字「３」の参照パターンの一例を示す図である。図５は文字「３」のサンプリングパターンの一例を示す図である。図６は文字「８」のサンプリングパターンの一例を示す図である。図７は文字「９」のサンプリングパターンの一例を示す図である。図８は実施形態におけるパターン認識を示すフローチャートである。

（タッチ判定：ステップＳ１、サンプリング開始：Ｓ２）
（ａ）起点検出
制御装置１０７は、タッチキー１１１～１１９の何れかのＯＮを検知すると、パターン入力開始と判断する。そして、制御装置１０７は、サンプリングを開始して、タッチキー群１１０の全タッチキーの検出状態および時系列情報をＲＡＭ１０２へ記録開始する。ここで、タッチキーの検出状態とは、タッチキーの静電容量を所定のしきい値（Ｔｈ）と比較して判定したＯＮまたはＯＦＦを表す二値のデジタル値である。

（サンプリング継続：ステップＳ４）
（ｂ）検出状態の記録
制御装置１０７は、タッチキー群１１０を入力パターン例に沿ってなぞる期間におけるタッチキーの検出状態のＲＡＭ１０２へのデータ記録を継続する。ここで、タッチキーの検出状態は時系列情報と共にＲＡＭ１０２に記録される。

（タッチ継続判定：ステップＳ３）
（ｃ）終点検出
制御装置１０７は、すべてのタッチキー１１１～１１９のＯＦＦを検知し、所定時間経過すると、入力終了と判断し、ＲＡＭ１０２へのタッチキーの検出状態のデータ記録を停止する。

（フレーム切り出し：ステップＳ５、時間軸スケーリング：ステップＳ６）
（ｄ）サンプリングパターンの生成
制御装置１０７は、ＲＡＭ１０２に記録された１文字分のタッチキー群１１０の検出状態および時系列情報を切り出して時間軸でスケーリングし、図５から図７に示されるようなサンプリングパターンに展開する。ここで、サンプリングパターンは入力パターンの軌跡を時系列順に並べたシーケンシャルパターンである。

（パターンマッチング：ステップＳ７）
（ｅ－１）パターンマッチング
制御装置１０７は、図５から図７に示されるようなサンプリングパターンと、図４に示されるような参照パターンと、を比較する。ここで、参照パターンは入力パターンの軌跡をタッチキーごとに時系列順に並べたシーケンシャルパターンであり、入力パターンごとに異なるパターンが予めＲＯＭ１０４またはＲＡＭ１０２に格納されている。制御装置１０７は、一致した参照パターンのシンボルを入力パターンに対応するシンボルとして認識する。例えば、図５に示されるサンプリングパターンと図４に示される参照パターンは一致するので、制御装置１０７は入力パターンとして文字「３」を認識する。

サンプリングパターンおよび参照パターンは時系列情報を有しているので、制御装置１０７は、所定時間以下のＯＮ時間をノイズとして検知し、このノイズを除去できる。これにより、マッチング精度を向上できる。

（ｅ－２）タッチ時間情報を含むパターンマッチング
上述した参照パターンのシーケンシャルパターンを第一の参照パターンとし、パターン入力時のＯＮ時間を統計的に算出した時間情報パターンを第二の参照パターンとする。第一の参照パターンおよび第二の参照パターンをＲＯＭ１０４またはＲＡＭ１０２に格納して保持するようにしてもよい。この場合、制御装置１０７は、サンプリングパターンをシーケンシャルパターンと時間情報パターンの二種類の参照パターンと比較できる。これにより、パターン認識率をさらに向上できる。

第二の参照パターンに用いるパターン入力時のＯＮ時間について以下説明する。入力パターンの軌跡（タッチキーの入力軌跡）には、下記の５パターンがある。
パターン１：起点
パターン２：隣接するタッチキー間から直線で通過するもの
パターン３：直角または鋭角で折り返すもの
パターン４：同一タッチキー上で反転するもの
パターン５：終点

入力パターンを表現するためにタッチキーを必ず通過し、その時の軌跡を描く時間がそれぞれ異なる。すなわち、入力パターンによって、タッチキーにタッチしている時間が異なる。例えば、文字「３」が入力され場合、パターン３に該当するタッチキー１１３、１１６、１１９およびパターン４に該当するタッチキー１１５は、パターン２に該当するタッチキー１１２と１１８と比較してタッチの時間が長い。人間が軌跡を描くとき、タッチキーから指が逸脱しないよう注意して描くため、パターン３およびパターン４では一瞬停止することからタッチ時間が変化する。

パターンマッチングを行う際に、第二の参照パターンに代えて以下の条件判別を行ってもよい。

例えば、パターン２に該当するタッチキーは１０カウント以下、パターン３に該当するタッチキーは１０から２０カウント、パターン４に該当する電極は２０カウント以上などの条件判別を行う。ここで、上記「カウント」は、例えば、ＵＳ２０１５／２２１９に開示される「カウンタ１４」のカウント値である。または、各タッチキーのＯＮ時間がパターン２ではｔ２、パターン３ではｔ３、パターン４ではｔ４とすると、ｔ２＜ｔ３≦ｔ４かどうかの条件判別を行う。

（ｅ－２）のパターンマッチングで判別を失敗した場合、判別精度は落ちるが再度（ｅ－１）のパターンマッチングで判別を行ってもよい。

実施形態によれば、下記の一つまたは複数の効果を有する。

（１）タッチキーの静電容量の変化および軌跡で文字認識ができるので、タッチキー群をタッチキーのＯＮおよびＯＦＦ以外の入力装置として使用できる。単純な複数のキーで文字や記号などが入力できるため幅広い製品で文字入力機能を追加できる。

（２）各タッチキーをなぞったパターン入力のため、このタッチキーの検出順序を簡易的な書き順情報とすることで、少ないデータ量で文字認識率を上げられる。

（３）キー入力シーケンスが文字描画の時系列データとなるので、保存する時系列データ容量が小さく、内蔵メモリの小さな製品など幅広い製品で使用することが可能になる。

（４）文字入力中の完全にリニアなデータを持つ必要がなく、基準点の検出順序だけをプロットするため、文字認識処理全体のデータ量を削減できる。

＜変形例＞
以下、実施形態の代表的な変形例について、幾つか例示する。以下の変形例の説明において、上述の実施形態にて説明されているものと同様の構成および機能を有する部分に対しては、上述の実施形態と同様の符号が用いられ得るものとする。そして、かかる部分の説明については、技術的に矛盾しない範囲内において、上述の実施形態における説明が適宜援用され得るものとする。また、上述の実施形態の一部、および、複数の変形例の全部または一部が、技術的に矛盾しない範囲内において、適宜、複合的に適用され得る。

（第一変形例）
第一変形例では、指がタッチキー間にある場合のセンシング結果を用いてタッチキーのセンシング結果を補間する。

第一変形例の文字認識装置の構成について図９を用いて説明する。図９は第一変形例における文字認識装置の構成を示すブロック図である。

第一変形例の文字認識装置におけるＭＣＵ１００およびタッチキー群１１０の構成は実施形態の文字認識装置と同様である。ただし、タッチキー群１１０はタッチキー１１１～１１９のタッチキー間に仮想キー２０１～２１６を配置して構成される。仮想キー２０１～２１６は金属による電極ではなく、電極のタッチキー１１１～１１９と同様にＯＮおよびＯＦＦの判断ができる概念上のタッチキーである。これにより、９点の測定点から２５点の測定点に増加するため、入力パターンのサンプリング精度が向上できる。

単一のタッチキーのサンプリング動作について図１０を用いて説明する。図１０は第一変形例におけるタッチキーの状態検出方法を示す図である。

タッチキー１１１～１１９のＯＮおよびＯＦＦの動作は実施形態と同様である。ただし、第一変形例では、実施形態のしきい値（Ｔｈ）より数値の低いしきい値（Ｔｈ’）を設定し、静電容量のアナログ波形の立ち上がりでより早くＯＮ判定することができるものとする。

第一変形例におけるパターン入力は、図３を用いて説明した実施形態の動作と同様である。

パターン認識について図８、図１１および図１２を用いて説明する。図１１は第一変形例における文字「３」を入力したときのサンプリングパターンを示す図である。図１２は図１１におけるサンプリングパターンに基づいて仮想キーの情報を生成する方法について説明する図である。

ステップＳ１～Ｓ４における、（ａ）起点検出、（ｂ）検出状態の記録および（ｃ）終点検出については、制御装置１０７は実施形態と同様に行う。

（フレーム切り出し：ステップＳ５、時間軸スケーリング：ステップＳ６）
（ｄ）仮想電極の補間処理
制御装置１０７は、実施形態と同様にＲＡＭ１０２に記録された１文字分のタッチキー群１１０の検出状態および時系列情報を切り出して時間軸でスケーリングし、図１１に示されるようなサンプリングパターンに展開する。そして、図１２に示されるように、制御装置１０７は、隣接するタッチキー同士のＯＮおよびＯＦＦ情報の論理演算により仮想キー２０１～２１６のＯＮまたはＯＦＦの情報を生成する。ここで、ＯＮを「１」、ＯＦＦを「０」とした場合は、論理演算としては論理積の演算を行う。これは隣接するタッチキーの同時押しを検知している。例えば、制御装置１０７は、仮想キー２０１の検出状態をタッチキー１１１とタッチキー１１２との検出状態の論理積を演算して算出する。また、制御装置１０７は、仮想キー２０４の検出状態をタッチキー１１１とタッチキー１１２とタッチキー１１４とタッチキー１１５との検出状態との論理積を演算して算出する。

（パターンマッチング：ステップＳ７）
（ｅ－１）パターンマッチング
制御装置１０７は、実施形態と同様に、タッチキー１１１～１１９および仮想キー２０１～２１６のサンプリングパターンと、予めＲＡＭ１０２等に記憶されている参照パターンと、を比較する。制御装置１０７は、一致した参照パターンのシンボルを入力パターンに対応するシンボルとして認識する。ここで、第一変形例の参照パターンは入力パターンの軌跡から想定される仮想キーのＯＮおよびＯＦＦ情報を含めたパターンである。制御装置１０７は、パターンマッチングを実施形態と同様の処理で行う。

第一変形例によれば、下記の一つまたは複数の効果を有する。

（１）通常のタクトキースイッチでは検出出来ないキーとキーの中間位置も検出することができる。

（２）タッチキーのセンシング結果と、指がタッチキー間にある場合のセンシング結果を用いてタッチキー間の入力情報として補間するので、パターン認識の精度を向上できる。

（３）測定点が増えたことでパターンマッチ点が増加することから、参照パターンに対しサンプリングパターンの一致箇所が一定割合以上あればパターンマッチとみなす処理とすることもでき、マッチング精度の向上が出来る。

（４）サンプリングパターンの情報量が実施形態に対して２倍以上に増加しており、ノイズによりタッチキーの情報が欠落しても参照パターンとの照合結果を向上させることが出来る。

（５）静電容量センサの測定点を単純に増加すればサンプリング精度は向上するが、センシング時間も比例して増加する。したがってＭＣＵの動作時間が増加し、消費電力も比例して増加することになる。また、静電容量センサの特性から、タッチキーの隣接距離が短いほど寄生容量増加による感度低下が起こるため、精度の高いタッチキーパターン設計難易度が高くなる。本変形例における仮想電極による補間の手法では、センサの測定点を増やすことなくサンプリング精度向上が期待できるためセンシングの消費電力は増加しない。論理積の演算のための動作時間が増加するが、センサの測定点増加による動作時間と比較して短い。消費電力増加を抑えてマッチング精度向上が可能である。電極の隣接距離も寄生容量発生を抑制した間隔でよいため電極パターン設計は容易である。

（第二変形例）
第二変形例では、指がタッチキー上およびタッチキー間にある場合のセンシング結果を用いると共に、機械学習モデルにより入力パターンのシンボルの推論を行う。第二変形例における文字認識装置は、第一変形例における文字認識装置に機械学習により事前に参照パターンを学習させた学習済みモデルを追加し、学習済みモデルで推論を行う。

第二変形例の文字認識装置の構成について図１３を用いて説明する。図１３は第二変形例における文字認識装置の構成を示すブロック図である。

第二変形例の文字認識装置におけるＭＣＵ１００およびタッチキー群１１０の構成は第一変形例の文字認識装置と同様である。ただし、ＲＯＭ１０４に機械学習装置１２０により事前に参照パターンを学習させた学習済みモデルＭＬＭが格納されている。第二変形例の制御装置１０７は、タッチキー群１１０の９個のタッチキー１１１～１１９および１６個の仮想キー２０１～２１６の位置におけるタッチキー１１１～１１９の静電容量センシングデータを使用する。制御装置１０７は、アナログ量である静電容量センシングデータをデジタルデータとしてＲＡＭ１０２に記録して、学習済みモデルＭＬＭで推論を行う。

ここで、機械学習装置１２０は、タッチキー群１１０と同様なタッチキー群に入力される文字を静電容量センサ１０１と同様な静電容量センサにより検知してサンプリングパターンを取得する。ここで、第二変形例のサンプリングパターンは実施形態のサンプリングパターンとは異なり、多ビットで表されるデジタル値である。例えば、８ビットの場合は、０～２５５の２５６レベルのデジタル値である。機械学習装置１２０は、認識対象文字すべてについてサンプリングパターンを取得する。機械学習装置１２０は、各文字の取得した複数のサンプリングパターンを学習データとして機械学習を行い、参照パターンとしての学習済みモデルＭＬＭを生成する。ここで、静電容量はタッチキー１１１～１１９の位置をタッチしたものの他に、仮想キー２０１～２１６の位置をタッチしたものもある。

第二変形例におけるパターン入力は、図３を用いて説明した実施形態の動作と同様である。すなわち、タッチキーの電極間のみをなぞるパターン入力はない。

パターン認識について図１４を用いて説明する。図１４は第二変形例におけるパターン認識を示すフローチャートである。図１５は第二変形例における文字認識装置に文字「３」を入力したときのサンプリングパターンを示す図である。図１６（ａ）は図１５に示される「ゆっくり」のサンプリングパターンを４０サンプルに標準化した図である。図１６（ｂ）は図１５に示される「標準」のサンプリングパターンを４０サンプルに標準化した図である。図１６（ｃ）は図１５に示される「はやい」のサンプリングパターンを４０サンプルに標準化した図である。図１７は第二変形例における学習済みモデルによるパターンマッチングを示す図である。

ステップＳ１～Ｓ４における、（ａ）起点検出、（ｂ）検出状態の記録および（ｃ）終点検出については、制御装置１０７は第一変形例と同様に行う。

（前処理：ステップＳ５ａ）
（フレーム切り出し：ステップＳ５、時間軸スケーリング：ステップＳ６）
（ｄ）サンプリングパターンのデータ標準化
図１５に示されるように、サンプリングパターンは個人差やパターン入力ごとに入力時間や筆圧が変化するため、時間軸や静電容量のセンシングデータの強度にばらつきが発生する。ここで、図１５に示される横軸は時間であり、縦軸は静電容量センサ１０１が検知したデータである。学習済みモデルによっては入力層のデータサイズが固定であるため、制御装置１０７はサンプリングパターンのデータの標準化を行う。機械学習に使用する学習データはデータ標準化を行ったものを使用し、学習モデルへのセンシングデータ入力時も同様のアルゴリズムで標準化したデータを使用する。

（ｄ－１）時間軸データの標準化
入力時間とサンプリングデータ個数は比例する。時間軸データの標準化はサンプリング個数を単位時間に合うように間引きしたり、データ補間を行ったりする。単位時間は学習済みモデルの入力層のデータサイズである。例えば、入力が図１５に示される「ゆっくり」の場合、データ補間して図１６（ａ）に示されるように、サンプリングパターンを４０サンプルに標準化する。入力が図１５に示される「はやい」の場合、データを間引きして図１６（ｃ）に示されるように、サンプリングパターンを４０サンプルに標準化する。

（ｄ－２）量子化ビット数の標準化
入力時の筆圧により静電容量センサ１０１が検知したデータにばらつきが生じるため、制御装置１０７はこれを標準化する。制御装置１０７はタッチキーごとにピーク値が最大となるよう標準化したり、全タッチキーのうち最もピーク値が高いタッチキーを標準化し、その標準化係数を他のタッチキーに適用したりする。ここで、量子化ビット数の標準化は１ビット（二値）より多い情報量とする。

（ＡＩ推論：ステップＳ７ａ）
（ｅ）学習済みモデルによるパターンマッチング
図１７に示されるように、制御装置１０７は、標準化されたサンプリングパターンを、学習済みモデルＭＬＭに入力し推論により参照パターンのパターンマッチングを行う。ここで、学習済みモデルＭＬＭの入力層は９チャネルあり、９つのサンプリングパターンが入力されるようになっている。また、出力層はＭ個の文字の確率が出力されるようになっている。学習済みモデルＭＬＭの隠れ層は多層で構成された深層学習である。図１７に示されるサンプリングパターンは文字「３」が入力された場合のサンプリングパターンである。タッチキー１１１～１１９の各サンプリングパターンは、８ビットのデジタル値で４０パターンに標準化されている。

制御装置１０７は、タッチキー１１１～１１９の各サンプリングパターンを入力層に入力し、文字「０」から「９」のそれぞれの確率を出力する。図１７に示されるように、文字「３」の確率が「０．８６４」であり、制御装置１０７は、入力したサンプリングパターンは文字「３」であると認識する。

第二変形例によれば、アナログセンシングデータと学習済みモデルを使用した推論により、入力パターンの特徴点をより検出しやすくパターン検出精度を向上できる。

（第三変形例）
第三変形例における文字認識装置について図１８から図２０を用いて説明する。図１８（ａ）は第三変形例における文字認識装置の構成を示す図である。図１８（ｂ）は２×２マトリックスで構成されるタッチキー群を４電極として使用する例を示す図である。図１９は第三変形例における数字の入力パターン例を示す図である。図２０（ａ）は第三変形例における文字「３」の入力パターンを示す図である。図２０（ｂ）は文字「３」を入力した場合のタッチキーの静電容量を示す図である。

図１８（ａ）に示されるように、タッチキー群１１０のすべてのタッチキーを使用せず、格子状に隣接する任意の４電極と仮想キーを使用する。例えば、四つのタッチキー１１１，１１２，１１４，１１５と五つの仮想キー２０１，２０３，２０４，２０５．２０８の位置におけるタッチキー１１１，１１２，１１４，１１５の４電極の静電容量センシングデータを使用する。制御装置１０７は、アナログ量である静電容量センシングデータをデジタルデータとしてＲＡＭ１０２に記録し、学習済みモデルで推論を行ってもよい。これにより、パターン認識精度を保持しつつ、ＭＣＵ１００の使用リソースを低減できる。タッチキー群１１０に代えて、図１８（ｂ）に示すようなタッチキー１１１，１１２，１１４，１１５の４電極で構成されるタッチキー群２１０を用いてもよい。

認識させるパターンは、実施形態と同様に、タッチキー群１１０の電極のうち、起点から終点まで指を離すことなくなぞることで入力される。ただし、実施形態よりの電極数が少ないため、文字によっては電極間のみをなぞる軌跡がある。これらの文字は、図１９に示されるように、「１」、「２」、「３」、「４」、「５」、「６」、「９」である。例えば、文字「３」を入力する場合は、図２０（ａ）に示されるように、基準点ＳＰ１、仮想キー２０１、基準点ＳＰ３、仮想キー２０５、仮想キー２０４，仮想キー２０５、基準点ＳＰ９、仮想キー２０８、基準点ＳＰ７の順に連続でＯＮになるよう指でなぞる。この場合の、タッチキー１１１，１１２，１１４，１１５の静電容量の変化は、例えば、図２０（ｂ）に示されるようになる。仮想キー２０１，２０４，２０５，２０８の位置におけるタッチキー１１１，１１２，１１４，１１５の静電容量を含めてパターンマッチングする。

第三変形例における時間軸データの標準化について図２１および図２２を用いて説明する。図２１は第三変形例における文字認識装置に文字「３」を入力したときのサンプリングパターンを示す図である。図２２（ａ）は図１９に示される「ゆっくり」のサンプリングパターンを４０サンプルに標準化した図である。図２２（ｂ）は図２１に示される「標準」のサンプリングパターンを４０サンプルに標準化した図である。図２２（ｃ）は図２１に示される「はやい」のサンプリングパターンを４０サンプルに標準化した図である。

制御装置１０７は、第二変形例と同様に、時間軸データの標準化はサンプリング個数を単位時間に合うように間引きしたり、データ補間を行ったりする。例えば、入力が図２１に示される「ゆっくり」の場合、データ補間して図２２（ａ）に示されるように、サンプリングパターンを４０サンプルに標準化する。入力が図２１に示される「はやい」の場合、データを間引きして図２２（ｃ）に示されるように、サンプリングパターンを４０サンプルに標準化する。

第三変形例における学習済みモデルによるパターンマッチング（ステップＳ７ａ）について図２３を用いて説明する。図２３は学習済みモデルによるパターンマッチングを示す図である。

図２３に示されるように、制御装置１０７は、標準化されたサンプリングパターンを、学習済みモデルＭＬＭに入力し推論により参照パターンのパターンマッチングを行う。ここで、学習済みモデルＭＬＭの入力層は４チャネルあり、４つのサンプリングパターンが入力されるようになっている。また、出力層はＭ個の文字の確率が出力されるようになっている。学習済みモデルＭＬＭの隠れ層は多層で構成された深層学習である。図２３に示されるサンプリングパターンは文字「３」が入力された場合のサンプリングパターンである。タッチキー１１１～１１９の各サンプリングパターンは、８ビットのデジタル値で４０パターンに標準化されている。

制御装置１０７は、タッチキー１１１，１１２，１１４，１１５の各サンプリングパターンを入力層に入力し、文字「０」から「９」のそれぞれの確率を出力する。図２３に示されるように、文字「３」の確率が「０．７８０」であり、制御装置１０７は、入力したサンプリングパターンは文字「３」であると認識する。

第三変形例によれば、タッチキーの電極数を減らしてもパターン検出精度が低下することなくＭＣＵのリソースを低減させることができる。ＭＣＵの性能によって選択することが可能である。

（第四変形例）
第四変形例のタッチキー群の構成について図２４～図２７を用いて説明する。図２４は第四変形例におけるタッチキー群の第一モード状態の上面図である。図２５は第四変形例におけるタッチキー群の第二モード状態の上面図である。図２６Ａは第四変形例におけるタッチキー群のオーバーレイパネルを示す上面図である。図２６Ｂは第四変形例におけるタッチキー群の透明フィルム電極を示す上面図である。図２６Ｃは第四変形例におけるタッチキー群の遮光板を示す上面図である。図２６Ｄは第四変形例におけるタッチキー群のＰＣＢを示す上面図である。図２７は第四変形例におけるタッチキー群の断面図である。

第四変形例におけるタッチキー群３１０は、タッチキー入力モードと文字認識モードのキー表示の切替えがモードキーのトグルにより可能である。ここで、タッチキー入力モードは一つのタッチキーを用いた入力であり、タクトキーとして機能する。文字認識モードは複数のタッチキーを用いて入力され、図２４に示すように、タッチキー入力モード時は、キーフレーム３１１とキー名称３１２を表示する。例えば、図２４においては、キーフレーム３１１は矩形状の枠が五つ表示され、キー名称３１２としては、「Mode」、「Power」、「Eco」、「Freeze」、「Lock」が表示されている。図２５に示されるように、文字認識モード時は、基準点３１３を表示する。例えば、図２５おいては、九つの白点が表示されている。

図２６Ｄに示されるＬＥＤ３２２を実装したＰＣＢの上に、図２６Ｃに示される遮光板３２３が配置される。遮光板３２３の上に、図２６Ｂに示される、タッチキーの電極３２４ａを形成する透明フィルム電極３２４が配置される。透明フィルム電極３２４の上に、図２６Ａに示される、キーフレーム３１１、キー名称３１２および基準点３１３が印刷されたオーバーレイパネル３２５が配置される。

図２７に示すように、ＰＣＢ３２１上に配置された発光素子としてのＬＥＤ３２２は、遮光板３２３により分断されている。これにより、直上のオーバーレイパネル３２５の下面（印刷面）３２５ａに印刷されたキー名称３１２の文字および基準点３１３の線などをそれぞれ独立して照明することが可能である。

第四変形例によれば、下記の一つまたは複数の効果を有する。

（１）モードに基づいて点灯するＬＥＤを切り替える事により、キーフレーム３１１とキー名称３１２のみを表示させるか、または基準点３１３のみを表示させることが可能となる。

（２）タッチキーとその中間地点に基準点を表示することにより、文字描画時に検出可能な座標点を正しく通過することができ、タッチキーの無い座標をなぞって文字や記号が正しく認識されないことを防止できる。

（３）モード切替により、通常の製品操作のための単独キーと文字認識を行う文字入力のためのキーを併用することが出来るため、文字入力専用のキーを用意する必要がなく、キーが少ない製品などにも応用が可能である。

（第五変形例）
第五変形例における文字認識装置を備える冷蔵庫について図２８～図３０を用いて説明する。図２８は第五変形例における冷蔵庫を示す図である。図２９は第五変形例におけるタッチキー群の第一モード状態の上面図である。図３０は第五変形例におけるタッチキー群の第二モード状態の上面図である。

図２８に示されるように冷蔵庫４００はドアの表面に静電容量タッチキー群で構成されるタッチキー群４１０を備え、タッチキー操作により温度調整および省電力モードへ切り替える。タッチキー群４１０は実施形態のＭＣＵ１００と同様のＭＣＵにより制御される。タッチキー群４１０は、タッチキーの操作モードとして、タッチキー入力モード４２０と文字認識モード４３０を持つ。タッチキー入力モード４２０の場合は、図２７に示されるようにタッチキーに割り当てられている機能が表示される。例えば、タッチキー４１１～４１４には節電モード４２１、タッチキー４１５には冷凍機能モード４２２、タッチキー４１６には文字認識モード４２３が表示される。また、タッチキー４１７にはＥＣＯモード４２４、タッチキー４１８には製氷モード４２５、タッチキー４１７にはキーロックモード４２６が表示される。

文字認識モードを表示するタッチキー４１６が押されると、制御装置１０７は静電容量センサ１０１によりタッチキー４１６のＯＮを検知して、タッチキー群４１０を文字認識モード４３０に切り替える。文字認識モード４３０に切り替わった場合は、タッチキー群４１０は図３０に示されるように文字認識のために指でなぞる基準点４３１を表示する。使用者は、これらの基準点４３１をなぞることでタッチキー群４１０を介して制御装置１０７に文字認識をさせる。文字認識モード４３０においては、タッチキー群４１０は実施形態におけるタッチキー群１１０と同様にパターン認識を行う。図２８に示されるように文字認識でＩＰアドレスを入力し、冷蔵庫４００をホームネットワーク４５０に接続する。例えば、ＩＰアドレスが「１９２．１６８．１．１」の場合、文字「１」、「９」、「２」、「．」、「１」、「６」、「８」、「．」、「１」「．」、「１」をこの順に図３に示された入力パターンに従ってタッチキーを指でなぞる。使用者は文字認識モード４３０では、任意のタッチキーを２つ同時に押すことでタッチキー入力モード４２０に切り替える。

第五変形例によれば、第四変形例のような文字認識モードへの切替専用のタッチキーを設ける必要がなく、タッチキー数を削減できる。

以上、本開示者によってなされた開示を実施形態および変形例に基づき具体的に説明したが、本開示は、上記実施形態および変形例に限定されるものではなく、種々変更可能であることはいうまでもない。

１００：半導体装置
１０１：静電容量センサ（センサ）
１０７：制御装置
１１０：タッチキー群
１１１～１１９：タッチキー

Claims

マトリックス状に配置された複数のタッチキーを備えるタッチキー群の静電容量を検知するセンサと、
前記センサが検知した前記複数のタッチキーの静電容量の変化および軌跡の時系列データであるサンプリングパターンに基づいて文字認識を行うよう構成される制御装置と、
を備え、
前記制御装置は、前記タッチキーに使用する電極間に仮想キーを設定し、前記仮想キーにおける静電容量の変化および軌跡の時系列データを前記サンプリングパターンに含めたシーケンスパターンに基づいて文字認識を行うよう構成される半導体装置。
請求項１の半導体装置において、
前記制御装置は前記仮想キーの静電容量は隣接するタッチキーの電極の静電容量に基づいて算出するよう構成される半導体装置。
請求項２の半導体装置において、
前記制御装置は、前記検知した静電容量を所定の閾値と比較して前記タッチキーのＯＮまたはＯＦＦを検出するよう構成され、
前記サンプリングパターンは前記ＯＮまたは前記ＯＦＦの二値の時系列データであり、
前記制御装置は、前記仮想キーのＯＮまたはＯＦＦを隣接するタッチキーのＯＮまたはＯＦＦの二値の論理演算により算出するよう構成される半導体装置。
マトリックス状に配置された複数のタッチキーを備えるタッチキー群の静電容量を検知するセンサと、
前記センサが検知した前記複数のタッチキーの静電容量の変化および軌跡の時系列データであるサンプリングパターンに基づいて文字認識を行うよう構成される制御装置と、
を備え、
前記制御装置は、学習済みモデルを備え、前記サンプリングパターンから前記学習済みモデルにより推論して文字認識を行うよう構成され、
前記制御装置は、前記タッチキーに使用する電極間に仮想キーを設定し、前記仮想キーの位置における前記タッチキーの静電容量の変化および軌跡の時系列データを前記サンプリングパターンに含めて前記学習済みモデルにより推論して文字認識を行うよう構成される半導体装置。
なぞられた複数のタッチキーの静電容量を検知し、
前記検知した各タッチキーの静電容量を時系列データのサンプリングパターンに展開し、
前記タッチキーに使用する電極間に仮想キーを設定し、
隣接するタッチキーの電極の検知した静電容量に基づいて前記仮想キーの静電容量を算出し、
前記検知した各タッチキーおよび前記仮想キーにおける静電容量を時系列データのサンプリングパターンに展開し、
前記サンプリングパターンに基づいて文字認識を行う文字認識方法。