JP7163545B2 - タッチパネル装置及びタッチパネル用プログラム - Google Patents

Description

この発明は、タッチパネル装置及びタッチパネル用プログラムに関するものである。

図１（Ａ）は、従来のタッチパネル装置のタッチセンサにより得られた時刻ｔ０、ｔ１、ｔ２、ｔ３、ｔ４の時系列データ（実際の平面データ）の変遷を示す図である。タッチによりセンサから大きな入力値が得られるエリアＥは、図１（Ａ）に示すようにタッチパネル画面上を移動して行く。

図１（Ｂ）は、時刻ｔ０、ｔ１、ｔ２、ｔ３、ｔ４におけるタッチパネル画面上に実際には表示されないが、表示した場合の実際入力位置ＴＰと、実際入力位置ＴＰから作成しタッチパネル画面上に表示される入力描画位置ＤＰを示す図である。入力描画位置ＤＰには描画軌跡が線分となって表示される様子が示されている。この図１（Ｂ）によれば、タッチパネルの画面上には、実際入力位置ＴＰより遅延した位置に入力描画位置ＤＰが表示されていることが分かる。このように従来のタッチパネル装置では、ユーザが現在入力を行っているタッチパネル画面上の位置とは異なる位置（遅れた位置）に入力描画位置ＤＰが表示され、違和感を生じることが多かった。

特許文献１には、画像情報を解析し、文字情報に変換する機能と、文字情報を含む画像を表示部に表示させる機能を有し、ニューラルネットワークを用いた推論により解析を行うタッチパネルシステムが開示されている。このシステムによれば、効率的に手書き文字を認識することのできるという効果を得ることができる。

特許文献２には、位置検出データ及び接触検知データを取得するタイミングがずれる場合であっても正確に描画ができる上に、描画において、不正操作に起因するズレを排除できるタッチパネル装置が開示されている。

特許文献３には、対象物の接近又は接触の検出精度の低下を抑制、または、短い時間でタッチ検出を行うことが実現可能なタッチ検出装置、タッチ検出機能付き表示装置及び電子機器が開示されている。

ＷＯ２０１８／１６３００５号公報 特開２０１５－１４６０６８号公報 特開２０１５－１３５６２２号公報

本発明の実施形態は、ユーザが現在入力を行っているタッチパネル画面上の位置により近い位置に、入力描画位置ＤＰが表示されるように構成されたタッチパネル装置及びタッチパネル用プログラムを提供することを目的とする。

本発明の実施形態に係るタッチパネル装置は、タッチパネル画面へ入力操作された位置データと操作強度データを検出するタッチセンサと、前記タッチセンサにより得られた前記位置データの各位置に前記操作強度データのディジタル値を対応付けて格子状に並べてラスタデータを作成するラスタデータ作成手段と、複数のサンプリング時点の操作強度データのディジタル値が位置データの各位置に対応付けられて格子状に並べられたラスタデータを説明変数とし、前記複数のサンプリング時点より未来の時点の操作強度データのディジタル値が位置データの各位置に対応付けられて格子状に並べられたラスタデータを目的変数として、予め用意された教師データを用いた機械学習により生成され、実際に得られた複数のサンプリング時点のラスタデータにより構成される説明変数が与えられると、前記実際に得られた複数のサンプリング時点より未来のラスタデータである目的変数を得る予測モデルと、前記タッチパネル画面へ入力操作が行われた場合に、前記ラスタデータ作成手段により複数のサンプリング時点のラスタデータを作成させ、このラスタデータを前記予測モデルへ与えて前記入力操作に対応する目的変数である予測ラスタデータを出力させる予測制御手段と、予測制御手段が得た予測ラスタデータに基づき前記タッチパネル画面にて表示する画像の画像データを作成する画像データ作成手段と、前記画像データ作成手段により作成された画像データに基づき前記タッチパネル画面に画像を表示する表示制御手段とを具備することを特徴とする。

本発明の実施形態に係るタッチパネル用プログラムは、コンピュータを、タッチパネル画面へ入力操作された位置データと操作強度データを検出するタッチセンサにより得られた前記位置データの各位置に前記操作強度データのディジタル値を対応付けて格子状に並べてラスタデータを生成するラスタデータ作成手段、複数のサンプリング時点の操作強度データのディジタル値が位置データの各位置に対応付けられて格子状に並べられたラスタデータを説明変数とし、前記複数のサンプリング時点より未来の時点の操作強度データのディジタル値が位置データの各位置に対応付けられて格子状に並べられたラスタデータを目的変数として、予め用意された教師データを用いた機械学習により生成され、実際に得られた複数のサンプリング時点のラスタデータにより構成される説明変数が与えられると、前記実際に得られた複数のサンプリング時点より未来のラスタデータである目的変数を得る予測モデル、前記タッチパネル画面へ入力操作が行われた場合に、前記ラスタデータ作成手段により複数のサンプリング時点のラスタデータを作成させ、このラスタデータを前記予測モデルへ与えて前記入力操作に対応する目的変数である予測ラスタデータを出力させる予測制御手段、予測制御手段が得た予測ラスタデータに基づき前記タッチパネル画面にて表示する画像の画像データを作成する画像データ作成手段、前記画像データ作成手段により作成された画像データに基づき前記タッチパネル画面に画像を表示する表示制御手段として機能させることを特徴とする。

本発明の実施形態に係るタッチパネル装置またはタッチパネル用プログラムによれば、ユーザが現在入力を行っているタッチパネル画面上の位置により近い位置に、入力描画位置ＤＰが表示されることが期待できる。

従来のタッチパネル装置のタッチセンサにより得られた時刻ｔ０、ｔ１、ｔ２、ｔ３、ｔ４の時系列データ（実際のラスタデータ）の変遷と、この実際ラスタデータにより表示されるべき位置と、実際の表示位置の変遷を示す図。 本発明に係る第１の実施形態のタッチパネル装置の機能ブロック図。 ラスタデータの一例を示す図。 説明変数であるラスタデータと目的変数であるラスタデータの一例を示す図。 本発明の実施形態を実現するコンピュータシステムの構成図。 図５に示したコンピュータシステムによるタッチパネル処理装置の動作を示すフローチャート。

以下添付図面を参照して、本発明の実施形態に係るタッチパネル装置の実施形態を説明する。図２は、第１の実施形態に係るタッチパネル装置の機能ブロック図を示す。タッチパネル装置は、ＬＥＤ等の画像を表示するタッチパネル画面１０１に、タッチセンサ１０２が重ねられた構造を有する。タッチセンサ１０２は、タッチパネル画面１０１へ入力操作された位置データと操作強度データを検出するものである。

タッチパネル装置は、ラスタデータ作成手段１０３、予測モデル１０４、予測制御手段１０５、画像データ作成手段１０６、表示制御手段１０７を備える。

ラスタデータ作成手段１０３は、上記タッチセンサ１０２により得られた上記位置データと上記操作強度データのディジタル値を格子状に並べてラスタデータを作成する。このラスタデータは、図３に示されるように、ディジタル値を格子状に並べて配置したものである。図３では、入力強度データの値が大きくなる程、格子の輝度が低下するようにスクリーンをかけて表示している。

予測モデル１０４は、複数のサンプリング時点のラスタデータを説明変数と、上記サンプリング時点より未来の時点のラスタデータを目的変数とから構成される教師データを用いた機械学習により、上記説明変数から目的変数を得る。予測制御手段１０５は、上記ラスタデータ作成手段１０３により作成された複数のサンプリング時点のラスタデータを上記予測モデル１０４へ与えて目的変数であるラスタデータを出力させる。

予測モデル１０４は、図４に示すように、時刻ｔ０、ｔ１、ｔ２の３つのラスタデータを説明変数１、説明変数２、説明変数３として入力し、時刻ｔ３の目的変数であるラスタデータを得る（出力する）ものである。この予測モデル１０４は、上記のような説明変数（３つのラスタデータ）と目的変数（１つのラスタデータ）とにより構成される学習データを用いて、学習を行って生成されるものとすることができる。

画像データ作成手段１０６は、予測制御手段１０５が得たラスタデータに基づき上記タッチパネル画面１０１にて表示する画像の画像データ（タッチ位置情報）を作成する。表示制御手段１０７は、前記画像データ作成手段１０６により作成された画像データに基づき前記タッチパネル画面に画像を表示する。

以上の通り構成されたタッチパネル装置は、例えば、電源が投入されると、動作開始となり、予測制御手段１０５は、上記ラスタデータ作成手段１０３により作成された複数のサンプリング時点のラスタデータを上記予測モデル１０４へ与えて目的変数である予測ラスタデータを出力させる。上記予測モデル１０４は、目的変数である予測ラスタデータを画像データ作成手段１０６へ出力する。

ラスタデータを画像データ作成手段１０６は画像データを作成し、表示制御手段１０７へ出力する。表示制御手段１０７は、上記画像データ作成手段１０６により作成された画像データに基づき前記タッチパネル画面に画像を表示する。

以上のようにして、等間隔のサンプリング間隔の時刻ｔ０、ｔ１、ｔ２でラスタデータがサンプリングされるとき、同じサンプリング間隔後の（未来の）時刻ｔ３におけるラスタデータが得られ、これに基づく表示がなされる。このラスタデータの生成は、予測モデル１０４により実行され、図４の学習データによる学習と同じく、等間隔のサンプリング間隔でサンプリングされたラスタデータを３つの説明変数として予測モデル１０４へ入力することにより実行される。

図５は、本発明の実施形態を実現するコンピュータシステムの構成図である。このコンピュータシステムによって、本発明の実施形態に係るタッチパネル処理装置が実現される。このコンピュータシステムは、ＣＰＵ２１０が主メモリ２１１に格納されたプログラムを実行して各部を制御することによりタッチパネル装置が実現される。ＣＰＵ２１０には、バス２１２を介して外部記憶コントローラ２２１、入力部コントローラ２３１、出力部コントローラ２４１が接続されている。

外部記憶コントローラ２２１には、外部記憶装置２２０が接続されている。外部記憶装置２２０には、タッチパネル装置用プログラムや処理に必要なデータ等が記憶されており、ＣＰＵ２１０は、タッチパネル装置用プログラムや処理に必要なデータ等を主メモリ２１１へ読み出してこのプログラムを実行し、ラスタデータの処理を行う。入力部コントローラ２３１には、タッチセンサ１０２により得られた上記位置データと上記操作強度データ或いはコマンドなどを入力するための入力部２３０が接続されている。出力部コントローラ２４１には、ラスタデータの処理の結果およびその他の情報をするための表示ディスプレイ装置或いはプリントアウトするためのプリンタや情報を記憶するための外部記憶装置等である出力部２４０が接続されている。

タッチパネル装置用プログラムが、コンピュータを、ラスタデータ作成手段１０３、予測モデル１０４、予測制御手段１０５、画像データ作成手段１０６、表示制御手段１０７として機能させる。従って、このコンピュータシステムによって、本発明の実施形態に係るタッチパネル処理装置が実現される。

図６は、図５に示したコンピュータシステムによるタッチパネル処理装置の動作を示すフローチャートである。タッチパネル１０２によりセンサデータの検出が行われ（Ｓ１１）、データの信号増幅が行われる（Ｓ１２）。ここまでの処理は、入力部２３０による処理である。次に、Ａ／Ｄ変換（Ｓ１３）とディジタルフィルタによるノイズ除去等（Ｓ１４）が行われる。このデータ増幅とＡ／Ｄ変換とディジタルフィルタによる処理は、入力部コントローラ２３１によって行われる。

ノイズ除去されたディジタルデータは、ＣＰＵ２１０によってラスタデータとされ（ラスタデータ作成手段１０３）、ＣＰＵ２１０はこのラスタデータを用いて予測制御手段１０５及び予測モデル１０４として機能し、タッチ位置の平面移動予測を行う（Ｓ１５）。この平面移動予測によって予測ラスタデータが得られる。

次に、ＣＰＵ２１０は画像データ作成手段１０６と表示制御手段１０７として機能し、タッチ位置演算が行われ（Ｓ１６）、ディジタルフィルタ処理（Ｓ１７）により上記タッチパネル画面１０１にて表示する画像の画像データ（タッチ位置情報）が作成される。次に、ＣＰＵ２１０は表示制御手段１０７として機能し、出力部コントローラ２４１へ画像データ（タッチ位置情報）を送り、タッチパネル画面１０１に描画を行う（Ｓ１８）。

以上の説明では、予測モデル１０４を１つ備えたが、複数備えても良い。この場合、１つ目の予測モデル１０４は、等間隔のサンプリング間隔の時刻ｔ０、ｔ１、ｔ２でラスタデータがサンプリングされるとき、同じサンプリング間隔（１サンプリング間隔）後の（未来の）時刻ｔ３におけるラスタデータを得る。２つ目の予測モデル１０４は、等間隔のサンプリング間隔の時刻ｔ０、ｔ１、ｔ２でラスタデータがサンプリングされるとき、サンプリング間隔（１サンプリング間隔）の２倍の時間後の（未来の）時刻ｔ４におけるラスタデータを得る。このようにすると、２倍の時間後が予測され表示されるので、入力に対して表示の遅延を低減させたタッチパネル装置を得ることができる。

本発明に係る複数の実施形態を説明したが、これらの実施形態は例として提示するものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０１・・・タッチパネル画面、１０２・・・タッチセンサ、１０３・・・ラスタデータ作成手段、１０４・・・予測モデル、１０５・・・予測制御手段、１０６・・・画像データ作成手段、１０７・・・表示制御手段、２１０・・・ＣＰＵ、２１１・・・主メモリ、２１２・・・バス、２２０・・・外部記憶装置、２２１・・・外部記憶コントローラ、２３０・・・入力部、２３１・・・入力部コントローラ、２４０・・・出力部、２４１・・・出力部コントローラ

Claims (2)

1. タッチパネル画面へ入力操作された位置データと操作強度データを検出するタッチセンサと、
   前記タッチセンサにより得られた前記位置データの各位置に前記操作強度データのディジタル値を対応付けて格子状に並べてラスタデータを作成するラスタデータ作成手段と、
   複数のサンプリング時点の操作強度データのディジタル値が位置データの各位置に対応付けられて格子状に並べられたラスタデータを説明変数とし、前記複数のサンプリング時点より未来の時点の操作強度データのディジタル値が位置データの各位置に対応付けられて格子状に並べられたラスタデータを目的変数として、予め用意された教師データを用いた機械学習により生成され、実際に得られた複数のサンプリング時点のラスタデータにより構成される説明変数が与えられると、前記実際に得られた複数のサンプリング時点より未来のラスタデータである目的変数を得る予測モデルと、
   前記タッチパネル画面へ入力操作が行われた場合に、前記ラスタデータ作成手段により複数のサンプリング時点のラスタデータを作成させ、このラスタデータを前記予測モデルへ与えて前記入力操作に対応する目的変数である予測ラスタデータを出力させる予測制御手段と、
   予測制御手段が得た予測ラスタデータに基づき前記タッチパネル画面にて表示する画像の画像データを作成する画像データ作成手段と、
   前記画像データ作成手段により作成された画像データに基づき前記タッチパネル画面に画像を表示する表示制御手段と
   を具備することを特徴とするタッチパネル装置。
2. コンピュータを、
   タッチパネル画面へ入力操作された位置データと操作強度データを検出するタッチセンサにより得られた前記位置データの各位置に前記操作強度データのディジタル値を対応付けて格子状に並べてラスタデータを生成するラスタデータ作成手段、
   複数のサンプリング時点の操作強度データのディジタル値が位置データの各位置に対応付けられて格子状に並べられたラスタデータを説明変数とし、前記複数のサンプリング時点より未来の時点の操作強度データのディジタル値が位置データの各位置に対応付けられて格子状に並べられたラスタデータを目的変数として、予め用意された教師データを用いた機械学習により生成され、実際に得られた複数のサンプリング時点のラスタデータにより構成される説明変数が与えられると、前記実際に得られた複数のサンプリング時点より未来のラスタデータである目的変数を得る予測モデル、
   前記タッチパネル画面へ入力操作が行われた場合に、前記ラスタデータ作成手段により複数のサンプリング時点のラスタデータを作成させ、このラスタデータを前記予測モデルへ与えて前記入力操作に対応する目的変数である予測ラスタデータを出力させる予測制御手段、
   予測制御手段が得た予測ラスタデータに基づき前記タッチパネル画面にて表示する画像の画像データを作成する画像データ作成手段、
   前記画像データ作成手段により作成された画像データに基づき前記タッチパネル画面に画像を表示する表示制御手段
   として機能させることを特徴とするタッチパネル用プログラム。

Images