JP6394335B2 - 入力予測装置、入力予測方法および入力予測プログラム - Google Patents

Description

本発明は、利用者が情報処理装置に対して入力操作を実施する前に、当該入力の内容を予測する技術に関する。

入力装置および出力装置を兼ねた入出力画面（例えば、タッチパネル、タッチスクリーン）を備えるタブレット端末等の情報処理装置（以下「情報処理装置」と記載）に利用者は入力操作を行う。その際、入力操作に対する結果が表示されるまでの応答時間が長くなると、その利用者の満足度は低下する。特に、利用者の入力結果を表示するために、ネットワークを介して情報処理装置の外部と通信を行う必要がある場合は、ネットワークの遅延が応答時間に加算されるため、利用者の満足度が低下しやすい。応答時間を短縮する方法として、利用者が情報処理装置に入力操作を行う前に、入力操作を予測して、予測した入力操作に対する処理を先行して実行する手法が提案されている。

このような技術においては、入力操作の予測に、情報処理装置に備え付けられるタッチスクリーンの近接検知機構を利用する。タッチスクリーンには複数の種類があり、これら種類のうち、静電容量式や電磁誘導式のタッチスクリーンは、静電容量や電磁エネルギーの変化を利用して、指やペン等の入力操作を行う物体の接近を検知できる。このようなタッチスクリーンを備えた情報処理装置にあっては、物体が近接した場合に、物体の位置をタッチスクリーン上に射影した際の座標値や、物体とタッチスクリーンとの距離を取得することが可能となる。

特許文献１は、近接検知機構を利用して、利用者が入力操作を実施しようとしたときに、タップやスワイプなどの入力操作の種類（入力操作タイプ）を予測する技術を開示する。当該技術では、近接検知によって時系列で取得した物体の位置から、物体の移動速度や移動距離などの複数の物理量を算出する。その後、算出した物理量と入力操作タイプの関係を表す判別式により、特許文献１に記載された技術では、入力操作タイプを予測する。なお、判別式は複数用意し、過去の入力操作に対して、最も良い正答率を得た判別式を採用することで、特許文献１に記載された技術では、予測の精度を高めている。

特許文献２は、予測した入力操作に応じた処理を、入力操作に先立ち実施しておき、入力操作が確定した際に、実施した処理の結果を画面上に表示することで、応答遅延を短縮する技術を開示する。

特許文献３は、タッチパッドにおいて、入力のしやすさを損なわずに、どの位置から操作を開始しても複数の種別のジェスチャ操作を素早く入力可能とするために、固定の領域内の過去の操作を参照し入力を予測する技術を開示する。

特許文献４は、操作部の操作面に対する指示物の接触及び近接を検知し、当該検知結果をもとに指示物の動きを検出して、当該指示物の動きから予測される操作入力に対応する処理を開始する技術を開示する。

特願２０１４−０６７６０８号公報 特開２０１２−２４７９６０号公報 国際公開第２０１１／１５８４７５号 特開２０１１−１７０８３４号公報

利用者が情報処理装置に行う入力操作タイプの予測は、必ずしも実際の入力操作と一致するとは限らない。前述の技術により予測に基づいた処理を実施した場合、予測が誤ると、情報処理装置やネットワークなどに無駄に負荷をかけるという問題が発生する。

画面に表示されたあるアイコンに対して操作を行う場合について説明する。一例として、所定の写真をタッチパネルに表示するアプリケーションプログラム（以下「アプリケーション」と記載）を起動するためのアイコンＡについて説明する。利用者が指やペン等によってアイコンＡに触れた、又はアイコンＡから近距離に指やスタイラスペン等が接近したとする。情報処理装置は、この接近をアプリケーションの起動と誤認し、サーバから写真を取得して、情報処理装置の画面に表示するための準備を行う。しかしながら、実際には、利用者はアイコンＡの位置に触れながらスワイプ操作を行ったとする。その場合、情報処理端末の画面上に写真が表示されることはない。結果として、データの送受信によりネットワークに無用な負荷をかけ、情報処理端末の電力を消費したことになる。

かかる事態を抑止するためには、利用者が実施しようとする入力操作タイプを情報処理装置が予測した際に、その予測の確からしさ（予測確度）を正確に評価し、予測の確度が高いと判定された場合にのみ、予測された操作に対する処理が実行される必要がある。例えば、確度が０．９８以上の場合のみ予測に基づく処理を実施するようにすれば、情報処理装置が予測を誤ったことによって、先行して実施した処理が無駄になる可能性は２％以下に抑制することができる。

特許文献１および２の技術は、入力操作タイプが何であるかを予測により取得するのみであり、予測された入力操作タイプの予測確度を算出することはできない。

特許文献３の技術では、固定の領域内の過去の操作を参照して入力操作タイプを予測する際に、入力操作タイプの予測に用いるには不適と考えられる過去の操作を予測に用いたり、逆に、予測位置と近い本来予測に取り込むべき過去の操作を除外したりすることがあり、予測精度が落ちる。

特許文献４の技術では、指示物の動きを検出して予測処理を行うが、閾値を用いて近接速度を二分するので、予測精度が落ちる。

本発明は、上記の問題点を解決するべくなされた。本発明は、利用者が情報処理装置に対して入力操作を実施する前に、入力操作タイプを予測し、入力操作タイプの予測確度を算出することで、入力予測を正確に行うことができる入力予測装置等を提供することを主たる目的とする。

上記課題を解決するため、本発明の第１の観点は、
物体と入力操作可能な画面との接触位置および入力操作のタイプを検出する入力部と、
画面に近接する物体の位置情報を検知する近接検知部と、
接触位置および入力操作のタイプを含む操作情報を記憶する操作履歴記憶部と、
位置情報に基づき、物体が画面に接触するであろう位置である予測位置を予測する接触位置予測部と、
予測位置と、操作履歴記憶部から取得する操作情報とに基づき、物体が行うであろう入力操作のタイプである予測入力操作タイプを予測し、予測入力操作タイプの確度を算出する操作タイプ予測部と、
予測位置、予測入力操作のタイプおよび確度に基づき、所定の処理を実施する処理実行部とを備える入力予測装置である。

本発明の第２の観点は、
物体と入力操作可能な画面との接触位置および入力操作のタイプを検出し、
画面に近接する物体の位置情報を検知し、
接触位置および入力操作のタイプを含む操作情報を操作履歴記憶部に格納し、
位置情報に基づき、物体が画面に接触するであろう位置である予測位置を予測し、
予測位置と、操作履歴記憶部から取得する操作情報とに基づき、物体が行うであろう入力操作のタイプである予測入力操作タイプを予測し、予測入力操作タイプの確度を算出し、
予測位置、予測入力操作のタイプおよび確度に基づき、所定の処理を実施する入力予測方法である。

本発明の第３の観点は、
物体と入力操作可能な画面との接触位置および入力操作のタイプを検出する機能と、
画面に近接する物体の位置情報を検知する機能と、
接触位置および入力操作のタイプを含む操作情報を操作履歴記憶部に格納する機能と、
位置情報に基づき、物体が画面に接触するであろう位置である予測位置を予測する機能と、
予測位置と、操作履歴記憶部から取得する操作情報とに基づき、物体が行うであろう入力操作のタイプである予測入力操作タイプを予測し、予測入力操作タイプの確度を算出する機能と、
予測位置、予測入力操作のタイプおよび確度に基づき、所定の処理を実施する機能
とをコンピュータに実行させる入力予測プログラム、或いはそのプログラムが格納された記憶媒体である。

本発明によれば、利用者が情報処理装置に対して入力操作を実施する前に、入力操作タイプを予測し、入力操作タイプの予測確度を正確に算出することで、入力予測を正確に行うことができる。

本発明の第１の実施形態における入力予測装置の構成例を示すブロック図である。 本発明の第１の実施形態における操作履歴記憶部が記憶する操作情報のデータ構成を示す図である。 入力操作を行う物体が入力部に近接するときの物体の軌道の一例を示す図である。 入力操作を行う物体が入力部に近接するときの物体の軌道の一例を示す図である。 先行処理実行部が記憶する先行処理一覧表のデータ構成を示す図である。 第１の実施形態における入力予測装置の動作例を示すフローチャートである。 第１の実施形態における入力予測装置の動作例を示すフローチャートである。 操作タイプ予測部が入力操作タイプを予測する際に使用する画面を示す概念図である。 第１の実施形態における入力予測装置の動作例を示すフローチャートである。 入力操作を行う物体がタップ操作をするときの物体の軌道の一例を示す図である。 入力操作を行う物体がスワイプ操作をするときの物体の軌道の一例を示す図である。 本発明の第２の実施形態における入力予測装置の構成例を示すブロック図である。 近接物理量算出部における物理量の算出方法を説明する図である。 操作履歴記憶部が記憶する操作情報のデータ構成図である。 第２の実施形態における入力予測装置の動作例を示すフローチャートである。 第２の実施形態における入力予測装置の動作例を示すフローチャートである。 操作タイプ予測部が入力操作タイプを予測する際に使用する画面の概念図である。 操作タイプ予測部が入力操作タイプを予測する際に使用する画面の概念図である。 本発明の第３の実施形態における入力予測装置の構成例を示すブロック図である。 操作履歴記憶部が記憶する操作情報の一例である。 第３の実施形態における入力予測装置の動作例を示すフローチャートである。 第３の実施形態における入力予測装置の動作例を示すフローチャートである。 操作タイプ予測部が入力操作タイプを予測する際に使用する画面の概念図である。 操作タイプ予測部が入力操作タイプを予測する際に使用する画面の概念図である。 本発明の第３の実施形態における入力予測装置の構成例を示すブロック図である。

次に図面を参照して、本発明の実施形態を説明する。以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。ただし、図面は本発明の実施形態における構成を模式的に表している。更に以下に記載される本発明の実施形態は一例であり、その本質を同一とする範囲において適宜変更可能である。
＜第一の実施形態＞
（入力予測装置）
本発明の第１の実施形態に係る入力予測装置１０の構成の一例について、図１を参照して説明する。本実施形態に係る入力予測装置１０は、情報処理装置（不図示）に備えられ、利用者の情報処理装置に対する入力支援を行う。入力予測装置１０は、タッチスクリーン１００、入力部１０１、操作履歴記憶部１０２、近接検知部１０３、接触位置予測部１０４、操作タイプ予測部１０５および先行処理実行部１０６を備えている。以下、それぞれの構成要素について詳細に説明する。

タッチスクリーン１００は、入力予測装置１０を利用する利用者が入力操作を行い、入力操作の結果を表示する画面装置であり、具体的にはタッチパネル、タッチモニタ等の装置である。なお、本発明の実施形態においては、タッチスクリーン１００は、平面であるとして説明を行うが、他の形状をしていても良い。例えば、曲面によりタッチスクリーン１００が構成されていてもよい。

入力部１０１は、入力予測装置１０を利用する利用者がタッチスクリーン１００において行う入力操作を検知する。入力部１０１は、入力操作を行う物体（例えば、利用者の指やスタイラスペンなど）から、入力部１０１に対する接触状態の取得を行う。また、入力部１０１は、接触状態にある物体のタッチスクリーン１００における位置を取得する。取得される物体の位置は、例えば、ｘ軸およびｙ軸から成る二次元座標値を用いて、（３３２，４４５）の様に、位置座標として表記する。取得された位置座標（３３２，４４５）は、タッチスクリーンの左上の点から右に３３２ピクセル、下に４４５ピクセルの位置に物体が接触していることを意味する。また、入力部１０１は、物体が行う入力操作に関して、タップやスワイプ等の入力操作の種類（入力操作タイプ）を判別する。例えば、物体が入力部１０１に接触して離脱するまでの間の、タッチスクリーン１００上での移動距離が一定距離以下であれば、タップと判定し、一定距離以上であれば、スワイプと判定する。入力部１０１は、取得した物体の位置や入力操作タイプを入力予測装置１０上で動作するアプリケーション（図示せず）に通知する。アプリケーションは、通知された位置や入力操作タイプに合わせた処理を行う。たとえば、アプリケーションは、画像を表示させる処理と紐づいたアイコンの位置に対してタップが行われた場合、画像の表示を行う。

操作履歴記憶部１０２は、入力部１０１が取得した利用者の操作に関する情報（操作情報）の履歴である操作履歴情報を記録する記憶装置である。操作情報は、入力部１０１が検知した物体の入力操作における接触位置、および、入力操作タイプを少なくとも含む。なお、接触位置は、入力操作において物体が入力部１０１に最初に接触したときの、入力部１０１が取得した物体の位置である。図２は、操作履歴記憶部１０２が記憶する操作履歴情報の一例である。図２に示したように、操作履歴情報は、少なくとも１つ以上の操作情報（接触位置および入力操作タイプ）より構成される表である。この表の１行が１回の操作を表しており、一つの操作情報を構成する。図２の表の１行目の操作情報Ｒ１を参照すると、操作情報Ｒ１は、入力部１０１における位置座標（３３２、４４５）へのタップ操作がなされたことを意味する。また、図２の表の３行目の操作情報Ｒ２は、タッチスクリーン１００における位置座標（９３２、１２１）に物体が接触し、スワイプ操作がなされたことを意味する。なお、操作履歴記憶部１０２が有する情報は一例であり、他の操作に関する情報を含んでいてもよい。例えば、入力操作がなされた時刻を含んでいても良い。このようにすることで、時間帯毎に行われやすい入力操作を判別可能となる。また、直近に実施された入力操作の傾向を抽出し、現時点において行われやすい入力操作を判別可能となる。

近接検知部１０３は、入力操作を行う物体の入力部１０１への近接を検知する。近接検知部１０３には、近接した物体を検知可能な範囲（検知域）を有しており、検知域内に入った入力操作を行う物体の位置情報を検知する。例えば、検知域は、タッチスクリーン１００（入力部１０１）の表面直上（表面そのものは含まない）から、所定の距離離れた位置までの間の範囲が検知域となる。近接検知部１０３が検知した物体の位置（以下、近接位置と表記）の情報は、ｘ軸、ｙ軸およびｚ軸から成る三次元座標値、例えば（３００，４００，１０）の様に、近接位置座標として表記される。ｘ座標とｙ座標は、入力操作を行う物体の位置を入力部１０１に射影した際の、入力部１０１の表面におけるｘ座標とｙ座標の値を示す。また、ｚ座標は、入力部１０１の表面と物体の距離を表す。例えば、近接位置座標（３００、４００、１０）は、タッチスクリーン１００表面上の左上の位置からタッチスクリーン表面上を右に３００ピクセル、下に４００ピクセル移動し、さらにそこから、タッチスクリーン１００の表面に対し垂直に１０ｍｍ移動した位置に利用者の指があることを示す。

接触位置予測部１０４は、近接検知部１０３から取得した近接位置に基づき、入力操作を行う物体が入力部１０１に接触する位置（接触位置）を予測する。以下、予測された接触位置を「接触予測位置」と表記する。

接触位置予測部１０４における接触予測位置の算出法の一例について説明する。接触位置予測部１０４は、近接検知部１０３が時系列で取得した近接位置座標値に対する回帰式を算出し、回帰式のｚ座標値が０となるときのｘ座標、ｙ座標を算出する。尚、ｚ＝０はタッチスクリーン１００の表面を意味する。算出されたｘ座標値、ｙ座標値が接触予測位置となる。

回帰式においては、取得された近接位置座標の中から、現在時刻に近い時刻に取得された近接位置座標を所定の数（Ｎ）のみ抽出した結果が用いられる。この抽出された数Ｎを基座標数、抽出された近接位置座標を基座標と記載する。また、回帰式は、例えば、直線とする。

図３は、近接検知部１０３が取得した、タッチスクリーン１００（入力部１０１）に入力操作を行う物体の、時系列毎の位置座標の一例である。ここでは位置座標をＰｎと表す（ｎは時系列を示す数で、絶対値が少ない程その位置座標を物体が経過した時間が古いことを示す）。図３のように、Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５が位置座標として取得されたとする。ここでは、例えば、基座標数Ｎ＝３と設定されている場合、接触位置予測部１０４は、最後に取得されたＰ３、Ｐ４、Ｐ５を基座標として、回帰直線Ｌ１を算出することにより、接触予測位置Ｐ_ｔを算出する。回帰直線Ｌ１は、例えば、下記によって表現される直線とする。

ＰＬ１＝（ａ_ｘ，ａ_ｙ，ａ_ｚ）ｔ＋（ｂ_ｘ，ｂ_ｙ，ｂ_ｚ）・・・式（１）
式（１）において、ＰＬ1は回帰直線Ｌ1上の任意の点を表す位置ベクトルであり、ａｘ，ａｙ，ａｚは、直線Ｌ1の方向ベクトルを示す。ｔは、媒介変数（実数）であり、ｔを指定することで、直線Ｌ1上の任意の点を示す位置ベクトルを得ることが出来る。ｂｘ，ｂｙ，ｂｚは、直線Ｌ1上の任意の一点である。

ただし、式（１）で算出されるＰＬ１は、回帰直線Ｌ１上の任意の点を表す位置ベクトルであり、ｔは実数とする。接触位置予測部１０４は、回帰により、近接位置Ｐ３、Ｐ４、Ｐ５各点と回帰直線Ｌ１の距離の総和が最少となる、ａ_ｘ、ａ_ｙ、ａ_ｚ、ｂ_ｘ、ｂ_ｙ、ｂ_ｚの組（組み合わせ）を求める。尚、回帰直線Ｌ1一つに対し、ａ_ｘ、ａ_ｙ、ａ_ｚ、ｂ_ｘ、ｂ_ｙ、ｂ_ｚの組は複数（無限に）存在する。その後、接触位置予測部１０４は、回帰直線Ｌ１とｚ＝０の交点を算出する。算出とは、即ち、以下の式（２）を満たすｔを求めることを表す。

ａ_ｚ×ｔ＋ｂ_ｚ＝０・・・式（２）
算出されたｔを、式（１）に代入して得られた座標値が、接触予測位置Ｐ_ｔとなる。回帰直線Ｌ１によれば、入力操作を行う物体が直線的に入力部１０１に接近する場合において、精度良く接触予測位置を算出することができる。なお、ここでは、回帰式を直線としたが、これは他の曲線、たとえば、ロジスティック曲線でもよい。

ロジスティック曲線である回帰曲線Ｌ２を使用した回帰式の一例を図４に示す。図４に示す回帰曲線Ｌ２は、以下のように表現できる。

ＰＬ２＝（ｃ_ｘ×ｔ＋ｄ_ｘ、ｃ_ｙ×ｔ＋ｄ_ｙ、Ｋ／（１＋ｅｘｐ（ｒＫ（ｚ_０−ｔ）））−Ｋ／２）・・・式（３）
式（３）の各パラメータについて説明する。ｔは回帰曲線Ｌ２を記述する方程式（式（３））の媒介変数であり、ｔを指定することで、曲線Ｌ２上の点ＰＬ２を得ることが出来る。図４に示すように、回帰曲線Ｌ２は途中までタッチスクリーンに平行に進行し、その後、滑らかに進行方向をタッチスクリーンに向かう方向に進行方向を変える曲線となる。また、回帰曲線Ｌ２をタッチスクリーンに射影した曲線Ｌ２ａは直線となる（以後、射影直線Ｌ２ａと表記）。（ｃ_ｘ、ｃ_ｙ、０）は射影直線Ｌ２ａの方向ベクトルを表し、（ｄ_ｘ、ｄ_ｙ、０）は射影直線Ｌ２ａ上の任意の一点を表す。Ｋは回帰曲線Ｌ２がタッチスクリーンに平行に進行している際のタッチスクリーンとの距離を表すパラメータ（距離の２倍を表す）であり、ｒは回帰曲線Ｌ２が進行方向をタッチスクリーンに向かう方向に変える際の勾配を表すパラメータであり、ｚ_０は回帰曲線Ｌ２とタッチスクリーンの交点の位置を規定するパラメータである（ｔ＝ｚ_０の時に回帰曲線Ｌ２とタッチスクリーンが交わる）。尚、ｅｘｐ（ｘ）はｅ(ネイピア数)のｘ乗を表す。

基座標数Ｎ＝３の場合、接触位置予測部１０４は、基座標Ｐ３、Ｐ４、Ｐ５の各点から、回帰曲線Ｌ２の距離の総和が最少となるｃ_ｘ、ｃ_ｙ、ｄ_ｘ、ｄ_ｙ、ｒ、Ｋ、ｚ_０を算出する。ただし、式（３）で算出されるＰＬ２は、回帰曲線Ｌ２上の任意の点を表す位置ベクトルであり、ｔは実数とする。ＰＬ２において、ｔ＝ｚ_０における位置が接触予測位置となる。接触位置予測部１０４は、回帰曲線Ｌ２を用いると、入力部１０１に対して、入力操作を行う物体の曲線動作を精度良く接触予測位置を算出することができる。この曲線動作とは、物体が平行に進んだ後、入力部１０１に接触する直前に、入力部１０１への接近を開始する動作を指す。

操作タイプ予測部１０５は、操作履歴記憶部１０２の記憶する操作情報と、接触位置予測部１０４が予測する接触予測位置を用いて、タッチスクリーン１００に対してなされる入力操作の種類（以下、「入力操作タイプ」と記載）を予測する。さらに、操作タイプ予測部１０５は、予測された入力操作タイプの確からしさ（以下、「予測確度」と記載）を算出する。操作タイプ予測部１０５における入力操作タイプの予測方法の詳細については、後述する。

先行処理実行部１０６は、接触位置予測部１０４によって得られた接触予測位置と、操作タイプ予測部１０５によって得られた入力操作タイプの予測に基づき、先行処理を行う。先行処理実行部１０６は、実行する処理の内容と当該処理を実行する条件を対応づける表（以下、「先行処理一覧表」と記載）を有している。先行処理一覧表は、先行処理記憶部１０６ａに格納されている。図５に示すように、先行処理一覧表は、「位置条件」、「操作タイプ条件」、「確度条件」、「処理」などの項目から構成される。表中の一つの列を先行処理Ｓｎと記載する（ｎは整数）。

「処理」とは、所定のアプリケーションにより実行される処理である。この処理を実行するには上記の項目に含まれる３つの条件をすべて満たす必要がある。

３つの条件について説明する「位置条件」とは、入力部１０１近辺に物体が表れた場合、所定の距離内に存在するかを判定するための位置に関する条件（位置座標）である。「操作タイプ条件」とは、所定の入力操作タイプの条件である。「確度条件」とは、当該予測の確からしさ（硬度）の数値を満たすか否かの条件である。

先行処理実行部１０６は、先行処理一覧表１０６ａに記載の先行処理Ｓ１、Ｓ２、Ｓ３の各々について、以下の判定を行う。即ち、接触位置予測部１０４が算出した接触予測位置が位置条件に記された位置から所定の距離内に存在するかを判定する。先行処理実行部１０６は、操作タイプ予測部１０５が算出した予測操作タイプが操作タイプ条件と一致するか判定する。先行処理実行部１０６は、予測確度が確度条件に記された値以上であるかについて判定する。これらの判定の結果、３つの条件の全てを満たす先行処理Ｓｎを実行する。

尚、上述した入力予測装置１０内の入力部１０１、近接検知部１０３、接触位置予測部１０４、操作タイプ予測部１０５および先行処理実行部１０６は、機能ブロック単位のプログラムを表している。これらは実際には、図示しないコンピュータのＣＰＵ（Central Processing Unit）、図示しないＲＯＭ（Read Only Memory）や図示しないＲＡＭ(Random Access Memory)などに格納されている。図示しないＣＰＵがこれらのプログラムを適宜演算処理することでこれらの機能は実行される。
（入力予測装置の動作）
本発明の第１の実施形態に係る入力予測装置１０の動作について説明する。入力予測装置１０の動作としては、大きく３つの動作がある。即ち、
（１）入力部１０１が入力予測装置１０の利用者が行った入力操作を検知して、操作履歴記憶部１０２に操作情報を記録するときの動作、
（２）近接検知部１０３が入力操作を行おうとしている物体の近接を検知し、物体が行う入力操作を予測するときの動作、
（３）接触位置予測部１０４が算出した接触予測位置、操作タイプ予測部１０５が予測した入力操作タイプとその予測確度に基づき、先行処理実行部１０６が処理を実行するときの動作。

以下、これらの動作について詳細に説明する。
（動作１）
先ず、入力部１０１が入力予測装置１０の利用者が行った入力操作を検知して、操作履歴記憶部１０２に操作情報を記録するときの動作について、図６のフローチャートを参照して説明する。

まず、ステップＳ１００１において、入力部１０１は、入力操作を行う物体とタッチスクリーン１００の接触状態を確認する。

ステップＳ１００２において、入力部１０１は、物体がタッチスクリーン１００に接触しているかの判定を行い、接触していれば、ステップＳ１００３において、物体の位置を取得し、位置を記憶する。接触していなければ、ステップＳ１００４へ処理は進められる。

例えば、ステップＳ１００１において、位置座標（３２０、４６１）が得られると、ステップＳ１００２で物体が入力部１０１に接触していると判定され、その後、再度ステップＳ１００１にこの処理は戻され、同様の処理を繰り返す。

一般に、タッチパネル等の入力装置は接触する物体の位置を取得する際は、一定のサンプリング間隔（例えば、２０ｍｓなど）で位置座標を取得する。そのため、ステップＳ１００１からステップＳ１００３への反復は、入力部１０１のサンプリング間隔を周期として実施される。

ステップＳ１００４において、入力部１０１は、記憶した物体の位置座標の数を確認する。

ステップＳ１００５においては、入力部１０１は、確認した位置座標の数が０か否かを判断する。

記憶された物体の位置座標の数が０の場合は（ステップＳ１００５にてＹｅｓ）、入力部１０１に入力操作がなされていないことを意味するので、ステップＳ１００１に戻り、再度入力操作を待ち受ける。

記憶された物体の位置座標の数が０でない場合（ステップＳ１００５にてＮｏ）、入力部１０１に入力操作がなされたことを意味するので、処理はステップＳ１００６へ進められる。

ステップＳ１００６において、入力部１０１は物体による入力操作タイプを判別する。

例えば、ステップＳ１００３によって取得された最初の位置座標（ここでは、前述した（３２０，４６１））と最後の位置座標（ここでは、（３２１，４６１）とする）を用いて入力操作タイプを判別する。入力部１０１はステップＳ１００３によって得られた最初の位置と最後の位置の距離を算出する。ここでは、距離は「１」（単位は、一例で、センチメートル）と計算されるとする。次に、入力部１０１は、計算された距離が所定の値以下であるかを判定し、所定の値以下であれば操作がタップであったと判定し、所定の値より大きければ操作がスワイプであったと判別する。所定の値は、予め設定された値とし、ここでは「１０」とする。なお、この値は一例であって、他の値としてもよい。本例では、計算された距離「１」は所定の値「１０」以下であるため、入力部１０１は、入力操作がタップであったと判別する。

ステップＳ１００７において、入力部１０１は、得られた入力操作に関する情報（以下「操作情報」と記載）を操作履歴記憶部１０２に記録する。記録される情報は、例えば、物体がタッチスクリーン１００に最初に接触したときの位置（ここでは（３２０、４６１））と、操作のタイプ（タップ）を記録する。なお、操作情報は、既に操作履歴記憶部１０２に記録された情報に追記する態様で記録される。例えば、図２のように接触位置（３２０、４６１）および入力操作タイプ「タップ」が、操作履歴情報の最後に追記される態様となる。

以上のように、入力予測装置１０は、入力操作タイプ毎に接触位置を操作履歴記憶部１０２に記憶しているので、前述したように、入力操作タイプ毎の接触位置の偏りを計算することができ、精度良く、入力操作タイプを予測することができるようになる。また、操作履歴記憶部１０２が記憶する操作情報の件数を一定数以下に制限するようにしてもよい。この場合、件数の上限を超える場合は、操作履歴記憶部１０２に記録された最も古い操作情報を削除する。このようにすることで、接触する位置の傾向が変化した場合に、変化する前の（古い）操作情報を除外することができるようになるので、操作タイプの判別精度が向上する。また、古い情報を消すことで、入力予測装置の記憶領域の使用量を削減することも可能である。
（動作２）
次に、近接検知部１０３が入力操作を行おうとしている物体の近接を検知し、物体が行う入力操作を予測するときの動作について、図７のフローチャートを参照して説明する。

まず、ステップＳ１１０１において、近接検知部１０３が、タッチスクリーン１００に対して入力操作を行おうとしている物体の近接状態を確認する。

ステップＳ１１０２において、物体が近接検知部１０３の検知域に存在しているか否かを判断する。検知域に存在していなければ（ステップＳ１１０２にてＮｏ）、再度、ステップＳ１１０１の動作を繰り返す。近接検知部１０３は、入力部１０１のように所定のサンプリング間隔で物体の近接状態を確認するため、ステップＳ１１０２でＮｏと判断された後は、前述のサンプリング間隔の時間後に、再度近接状態の確認処理（ステップＳ１１０１）が実施されることとなる。一方、物体が近接検知部１０３の検知域内に存在していれば（ステップＳ１１０２にてＹｅｓ）、処理はステップＳ１１０３へ進められる。

ステップＳ１１０３において、近接検知部１０３は物体の位置を取得する。

ステップＳ１１０４においては、近接検知部１０３は、物体の位置（近接位置）を取得後、取得した近接位置に基づき、接触位置予測部１０４が接触予測位置を算出する。

ステップＳ１１０５において、接触位置予測部１０４は、接触予測位置の算出に成功したか失敗したかを判断する。

接触位置予測部１０４が接触予測位置の算出に失敗した場合（ステップＳ１１０５にてＮｏ）は、ステップＳ１１０１に戻り、再度、ステップＳ１１０１以下の処理が繰り返される。接触予測位置の算出は、前述した方法により実施する。接触位置予測部１０４が接触予測位置の算出に失敗する場合とは、例えば、式（１）の回帰を行うために必要な近接位置数が得られていない、もしくは、回帰式により算出した接触予測位置が無効な値、例えば、タッチスクリーン１００の外になる場合である。また、最新の近接位置と得られた接触予測位置が所定の値以上の場合に、接触予測位置の算出に失敗したと判定してもよい。最新の近接位置と接触予測位置の距離が長い場合は、接触予測位置の誤差が大きくなると考えられる。そのため、最新の近接位置と接触予測位置の距離が短い場合のみ、接触位置の予測に成功したと判定することで、接触位置の予測精度を向上することができる。

接触位置予測１０４が接触予測位置を算出に成功した場合（ステップＳ１１０５にてＹｅｓ）は、処理はステップＳ１１０６へ進められる。

ステップＳ１１０６において、操作タイプ予測部１０５は、ステップＳ１１０４で得られた接触予測位置と、操作履歴記憶部１０２に記憶された操作情報に基づき、入力操作を行おうとしている物体が行おうとしている入力操作タイプを予測する。

以下、ステップＳ１１０６において操作タイプ予測部１０５が実施する入力操作タイプの予測方法について図８を用いて詳細に説明する。図８は、操作履歴記憶部１０２に記憶された操作情報における入力操作タイプ毎の接触位置、ステップＳ１１０４において接触位置予測部１０４が算出した接触予測位置の一例を示す図である。図８は、タッチスクリーン１００（タッチスクリーン）左上を原点（０,０）とした場合の、二次元ベクトル（＋ｘ方向および−ｙ方向）空間上に表現されている。図８において、操作履歴記憶部１０２に記憶された操作情報の内、タップ位置ａは、入力操作タイプが「タップ」である操作情報の接触位置である（黒く塗りつぶされた円の位置）。スワイプ位置ｂは、入力操作タイプが「スワイプ」である操作情報の接触位置である（白抜きの円の位置）。また、接触予測位置ｃは、ステップＳ１１０４において接触位置予測部１０４が算出した接触予測位置（黒く塗りつぶされた四角形の位置）である。操作タイプ予測部１０５は、操作履歴記憶部１０２に記憶された操作情報の内、接触位置予測部１０４が算出した接触予測位置から所定の距離（Ｒと記す）内に位置する操作情報を抽出する（このとき、抽出された操作情報の数をＮｏと記す）。所定の距離Ｒとは、例えば、接触予測位置の予測精度を基準に設定する。例えば、過去の操作において算出した接触予測位置と実際の接触位置の距離が平均５ミリメートルであった場合は、Ｒ＝５ミリメートルとする。なお、ここで挙げた距離Ｒの設定方法は一例に過ぎず、例えば、算出した接触予測位置と接触位置の距離の標準偏差であっても良いし、平均＋標準偏差、もしくは平均＋α×標準偏差（αは任意の実数）であっても良い。これにより、例えば、図８のタッチスクリーンに示した操作例では、点線の円の内部の点に対応する操作情報が抽出される。

次に、操作タイプ予測部１０５は、上記の抽出した操作情報の入力操作タイプ毎の数Ｎωを算出する。ωは入力操作タイプを表し、本実施例では、Ｔ（タップ）、Ｓ（スワイプ）の二値をとる。

例えば、図８の例においては、タップ操作が「Ｎ_ω＝Ｔ＝１９」、スワイプ操作が「Ｎ_ω＝Ｓ＝１」となる。操作タイプ予測部１０５は、最も数の多い入力操作タイプを入力操作タイプの予測結果とする。例えば、図８の例では、タップ操作の数が多いため、入力操作タイプは「タップ」と予測される。また、入力操作予測部１０５は、予測確度を、以下の式（４）により算出する。

（予測入力操作タイプの数Ｎω）／（抽出された操作情報数Ｎｏ）・・・式（４）
図８の例では、「Ｎｏ＝２０」、「Ｎ_Ｔ＝１９」であるので、入力操作予測部１０５は、タップ操作の予測確度を１９／２０＝０．９５と算出する。

通常、入力操作における接触位置の傾向は、入力操作タイプ毎に異なる。例えば、タップ操作であれば、アイコンが表示されている位置に偏るが、スワイプ操作の接触位置はアイコンの位置とは関係のない位置に分布する。過去の操作履歴と接触予測位置に基づき入力操作タイプの予測を行うことで、上記の入力操作タイプ毎の接触位置の偏りを、予測結果に反映させることができる。このため、本実施形態の操作タイプ予測部１０５によれば、精度良く入力操作タイプの予測を行うことができる。
（動作３）
次に、接触位置予測部１０４が算出した接触予測位置、操作タイプ予測部１０５が予測した入力操作タイプとその予測確度に基づき、先行処理実行部１０６が処理を実行するときの動作について図９のフローチャートを参照して説明する。

まず、ステップＳ１２０１において、接触位置予測部２０２が物体の接触予測位置を算出する。本動作例では、算出された接触予測位置座標は（３２３、４５４）であるとして説明する。

ステップＳ１２０２において、操作タイプ予測部２０３は、物体が行う入力操作の予測操作タイプ及び予測確度を算出する。本動作例では、予測操作タイプ「タップ」、予測確度「０．９８」を算出した場合を例として説明する。

ステップＳ１２０３において、先行処理実行部２０４が、ステップＳ１２０１及びステップＳ１２０２で算出された接触予測位置、予測操作タイプ、予測確度が先行処理一覧表に記載される各々の先行処理の条件を満たすか調査する。

ステップＳ１２０４において、調査の結果、先行処理実行部２０４は、先行処理の条件を満たすか判定する。

以下においては、図５に示す先行処理一覧表を用いた場合を例として説明する。まず、図５に示す先行処理Ｓ１の３つの条件を満たすか調査する。先行処理実行部２０４は、算出された接触予測位置（３２１，４５８）が、位置条件（３２３，４５４）に従い、所定の位置以内に存在するかを判定する。例えば、所定の距離を３０とすると、位置（３２３，４５４）と位置（３２０，４５０）との距離は５であるので、位置条件を満たすと判定する。次に、先行処理実行部２０４は、算出された予測操作タイプ「タップ」と確度条件の値「タップ」を比較する。両者は一致するので、操作タイプ条件を満たすと判定する。更に、先行処理実行部２０４は、算出された予測確度「０．９８」を確度条件と比較する。ここでは硬度条件の値を「０．９５」と設定する。０．９８≧０．９５であるので、先行処理実行部２０４は、確度条件を満たすと判定する。

ステップＳ１２０５において、上記の３条件全てを満たす場合（ステップＳ１２０４にてＹｅｓ）、先行処理実行部２０４は、先行処理Ｓ１の列に記憶された処理を実施する。ここでは、先行処理Ｓ１に記載の処理「サーバから画像Ａを取得する」処理が実行される。

ステップＳ１２０６において、先行処理実行部２０４は、先行処理一覧表の全ての行について判定が完了しているか確認する。

ステップＳ１２０７において、上記の確認の結果、先行処理実行部２０４が、全ての処理を判定済みでないと判断すると、ステップＳ１２０３に処理は進められる。上記の確認の結果、先行処理実行部２０４が、全ての処理を判定済みと判断すると、本動作を終了する。

本例では、図５の先行処理一覧表の１行目の処理について判定が完了したのみであるので、判定済みではない（ステップＳ１２０７にてＮｏ）。その場合は、再度ステップＳ１２０３に戻り、先行処理実行部２０４は、ステップＳ１２０１及びステップＳ１２０２で算出された接触予測位置、予測操作タイプ、予測確度が先行処理一覧表の条件を満たすか判定する。図５の処理Ｓ１については、判定済みであるので、次は処理Ｓ２について判定する。接触予測位置（３２１，４５８）は位置条件（９３０、１２０）から３０以上の距離があるため、図５の条件については、「条件を満たさない」と判定する（ステップＳ１２０４にてＮｏ）。その場合は、図５の先行処理一覧表に記載された処理は実行せずに（ステップＳ１２０５は飛ばして）、ステップＳ１００６の処理に移行する。以降、ステップＳ１２０３からステップＳ１２０６の処理を同様に繰り返し、図５に記載された全ての処理について条件の判定が完了した場合（ステップＳ１２０６にてＹｅｓ）、入力予測装置１０は、図９に示したフローチャートの動作を完了する。

以下、本発明の第１の実施形態の効果について述べる。本発明の第１の実施形態に係る入力予測装置１０は、接触位置の予測結果に基づき入力操作タイプの予測を行い、前述した入力操作タイプ毎の接触位置の傾向を予測に反映させる。これにより、第１の実施形態に係る入力予測装置１０は、精度良く入力操作タイプを予測することができる。

一般に、接触位置は入力操作タイプ毎に異なる傾向を示す。例えば、タップする場合は、物体の接触位置はアイコンが表示されている位置近傍となるのに対し、スワイプする場合は、アイコンの表示と関係のない位置となる。第１の実施形態においては、この傾向を用いて入力予測を行う。

本発明の第１の実施形態によれば、接触位置の予測値に基づいて、入力操作タイプの予測を行うことにより、接触位置に基づき入力操作タイプを予測する場合に比べて、予測が得られる時間が速い。その分、先行して処理を実行できるため、レスポンス時間を改善することができる。

本発明の第１の実施形態によれば、予測された入力操作タイプの確度を算出することができる。これによって、予測確度が高い場合にのみ、操作に紐づけられた処理を先行して実行するようにすることで、予測を誤った場合に無駄なリソースを消費する可能性を減らすことができる。

本発明の第１の実施形態によれば、実施する処理毎に確度条件を変更することができる。例えば、「サーバから画像Ａを取得」する処理と「ＳＤ（Secure Digital）メモリカードから画像Ｂを読み込む」処理を比較した場合を考える。この場合、後者の処理はネットワークにデータを流さないので、予測が誤っていた場合の影響が前者に比べて低いと考えられる。このように、本発明の第１の実施形態によれば、予測が誤っていた場合の影響の大小を勘案して確度条件を変更することができる。このため、予測が失敗した場合の影響度に応じて、処理を先行して実施することによる応答性の改善を重視するか、予測が外れることにより先行して実施した処理が無駄になる可能性を抑制することを重視するか、を選択することが可能となる。

本発明の第１の実施形態によれば、接触予測位置ｃ（図８参照）から所定の距離Ｒ内に存在する過去の接触位置の入力操作タイプに基づき入力操作タイプを予測する。これにより、得られた接触予測位置と関係のある過去の操作のみを過不足なく抽出するので、この抽出結果を基に算出される予測精度が向上する。この他、接触予測位置と過去の操作の接触位置の距離に基づき、近い操作ほど重視して入力操作タイプを予測する手法にしても同様の効果が得られる。また、直近に実施された入力操作の傾向を抽出し、現時点において行われやすい入力操作を判別可能となる。
＜第２の実施形態＞
次に本発明の第２の実施形態の概略について説明する。本発明の第１の実施形態では、入力を行う物体が入力部に接触すると予測される位置（接触予測位置）に基づき、物体が行おうとしている入力操作の入力操作タイプを予測した。本発明の第２の実施形態では、接触予測位置に加えて、更に、物体の入力部（１０１）への近接速度や、物体の入力部への近接方向を考慮して入力操作タイプの予測を行うことで、予測の精度を向上させる。

一般に、物体の入力部（１０１）への近接速度や近接方向は、物体が行おうとしている入力操作における入力操作タイプと相関を有する。そのため、近接速度や近接方向を考慮して入力操作タイプを予測することで、予測精度を向上することが可能となる。

例えば、物体の近接速度は、タップ操作に比べてスワイプ操作の方が速くなる傾向がある。タップ操作では、タッチスクリーン（１００）に表示されたアイコンやテキスト等の特定の領域内に、入力操作を行う物体が接触可能となるように位置を調整しながら、物体を近づけなければならないからである。一方でスワイプ操作では、タップ操作の様に、特定の領域内に物体が接触するよう位置を調整する必要はない。位置調整を考慮する時間が必要であるため、タップ操作のタッチスクリーン１００（入力部１０１）への近接速度は遅くなる傾向がある。

物体の近接方向と操作タイプとの間にも相関がある。図１０Ａおよび図１０Ｂは、タップ操作とスワイプ操作のタッチスクリーン（１００）における物体の移動方向の一例を示した図である。図１０Ａがタップ操作、図１０Ｂがスワイプ操作の物体の軌道を示しており、両者とも、アイコンが表示された領域に接触して、入力操作を実施した場合を表している。この入力操作は、情報処理装置の利用者が、右手利きであり、左手で情報処理装置を持って、右手の人差し指で入力部（１０１）であるタッチスクリーン（１００）に所定操作を行う場合を想定している。一般に、入力操作を行う利き手の人差し指は、画面下部右方向にある。これは、画面下部方向に情報処理装置の利用者がいるためである。

図１０Ａおよび図１０Ｂに示す画面において、アイコンの領域ｄにタップを行う場合、人差し指（物体）の軌道は、画面下部右方向からアイコンの領域ｄへ移動する傾向がある。

一方で、図１０Ａおよび図１０Ｂに示す画面において、アイコンの領域ｄに接触後にスワイプする場合、人差し指（物体）の軌道は、画面左方向からアイコンの領域ｄの近傍へ移動してからこれに接触し、その後、物体は、画面に接触した状態で右側に移動する傾向がある。なぜならば、人差し指が、図１０Ａに示すタッチ操作の軌道で入力部（１０１）に近接した後、図１０Ｂに示すスワイプ操作の軌道で入力部（１０１）に接触した状態での動作は、利用者にとって操作しづらいからである。これは、人差し指が画面に接触した時点で、人差し指の向きを急角度で変更する必要があるからである。
以上に説明したように、物体の入力部への近接速度や近接方向は、物体が行おうとしている入力操作のタイプと相関を有するため、近接速度や近接方向を考慮して操作のタイプを予測することで、予測精度を向上することが可能となる。以下、この相関を考慮した入力予測装置（１１）について説明する。
（入力予測装置）
本発明の第２の実施形態に係る入力予測装置１１の構成について図１１を参照して説明する。本発明の第２の実施形態に係る入力予測装置１１は、タッチスクリーン１００、入力部１０１、操作履歴記憶部１１２、近接検知部１０３、接触位置予測部１０４、操作タイプ予測部１１５、先行処理実行部１０６および近接物理量算出部１１７を備える。

入力予測装置１１は、近接物理量算出部１１７を備えている点と、操作履歴記憶部１０２の代わりに操作履歴部１１２を、操作タイプ予測部１０５の代わりに操作タイプ予測部１１５を備えている点で、本発明の第１の実施形態における入力予測装置１０と異なる。

近接物理量算出部１１７は、近接検知部１０３が取得した物体の近接位置、もしくは入力部１０１が取得した物体の接触位置に基づき、物体がタッチスクリーン１００に近接する際の物理量を算出する。物理量とは、例えば、物体がタッチスクリーン１００に接触するときの物体のタッチスクリーン１００への近接速度および近接方向の少なくとも片方である。物理量としては、他の計測可能な物理量を使用してもよい。

近接速度および近接方向の算出法について説明する。図１２は、物体が入力操作を行う際の、物体の位置および時間を３次元空間において説明する概念図である。物体がタッチスクリーン１００に近接し、近接検知部１０３の検知域内に物体が入ると、近接検知部１０３が物体の近接位置を取得可能となる。その際の物体の近接位置を（ｘ_０，ｙ_０，ｚ_０）、時間をｔ_０とする。

その後、近接検知部１０３は、サンプリング間隔（時間ｔ_ｉ）ごとに物体の近接位置を取得する。時間ｔ_ｉ（ｉ＝１，２，・・・，ｎ−１：ｎは正の整数）に、近接検知部１０３が取得した近接位置を（ｘ_ｉ，ｙ_ｉ，ｚ_ｉ）とする。また、物体がタッチスクリーン１００に接触したときの時間をｔ_ｎ、入力部１０１が取得した接触位置を（ｘ_ｎ，ｙ_ｎ，ｚ_ｎ）とする（ただし、ｚ_ｎ＝０）。ある時間ｔ_ｋにおける近接速度は、（ｚ_ｋ−ｚ_０）／（ｔ_ｋ−ｔ_０）により算出する（ｋ＝１，２，・・・，ｎ）。

また、近接方向は、近接検知部１０３もしくは入力部１０１が取得した物体の位置を、タッチスクリーン１００の表面上に射影した点を用いて算出する。図１２において、射影によって得られた点（ｘ_０，ｙ_０，０）と（ｘ_ｉ，ｙ_ｉ，０）とを結んだ線分と、（ｘ_ｉ，ｙ_ｉ，０）と（ｘ_ｉ＋ａ，ｙ_ｉ，０）とを結んだ線分がなす角度ｅを近接方向とする（ただし、ａは正の実数）。なお、本例における近接速度、近接方向の算出方法は、一例であり、他の方法によって算出してもよい。

操作履歴記憶部１１２は、操作情報として、入力部１０１が取得した入力操作における、物体の入力部１０１への接触位置と入力操作タイプに加えて、更に、近接物理量１１７が算出した物体の入力部１０１への近接速度および近接方向を記録する。なお、近接速度および近接方向のいずれか片方のみを使用してもよい。

操作履歴記憶部１１２が記憶する操作情報の一例を図１３に示す。操作情報は、「接触位置」、「近接速度」、「近接方向」、「入力操作タイプ」の項目を有する。「近接速度」および「近接方向」は、近接物理量算出部１１７が算出した値である。ここでは、
近接速度＝（ｚ_ｎ−ｚ_０）／（ｔ_ｎ−ｔ_０）、
近接方向＝角度ｅ、
とする。図１３に示す操作情報Ｑ１は、操作履歴記憶部１１２に最初に記録された入力操作における物体の近接速度が１２ｃｍ／ｓ（センチメートル毎秒）、近接方向が３００度であったことを示す。

操作タイプ予測部１１５は、操作履歴記憶部１１２の記憶する操作情報と、接触位置予測部１０４の算出する接触予測位置と、近接物理量算出部１１７の算出する物理量を用いて、タッチスクリーン１００に対してなされる入力操作における入力操作タイプを予測する。さらに、操作タイプ予測部１１５は、予測された入力操作タイプの予測確度を算出する。操作タイプ予測部１１５は、近接物理量算出部１１７の算出する物理量に基づいて入力操作タイプを予測する点で、本発明の第１の実施形態に係る操作タイプ予測部１０５と異なる。操作タイプ予測部１１５における予測法の詳細は後述する。

この他の構成要素については、本発明の第１の実施形態と同一であるため、同一の符号を付し、詳細な説明を省略する。
（入力予測装置の動作）
本発明の第２の実施形態における入力予測装置１１の動作について説明する。入力予測装置１１の大まかな動作は、以下の通りである。
（１）入力操作を行う物体の動きを検知して、入力操作に関する操作情報を操作履歴記憶部１１２に記憶する動作、
（２）入力予測装置１１が、入力操作タイプを予測するときの動作。

以下、これらの動作について図面を参照して説明する。
（動作１）
入力部１０１および近接検知部１０３が、入力操作を行う物体の動きを検知して、入力操作に関する操作情報を操作履歴記憶部１１２に記憶する動作について、図１４に示すフローチャートを参照して説明する。なお、本発明の第１の実施形態における動作（図６参照）と同様の処理に関しては、同一の符号を付し、詳細な説明を省略する。

ステップＳ２００１において、近接検知部１０３が、入力操作を行う物体のタッチスクリーン１００への近接状態を確認する。

ステップＳ２００２において、近接検知部１０３が、物体が検知域内か外かを判断する。

物体が検知域内であると判断された場合、ステップＳ２００３において、近接検知部１０３は、物体の近接位置を取得し、入力操作に関する操作情報を操作履歴記憶部１１２に格納する。その後ステップＳ２００１の処理へ戻る。

ステップＳ２００２において、物体が検知外であると判断された場合、処理はステップＳ１００３、ステップＳ１００１の順に進められる。なお、物体が検知域外にある場合とは、物体がタッチスクリーン１００から所定の距離離れた位置に移動した場合、および、タッチスクリーン１００に接触した場合である。そこで、ステップＳ１００１にて、入力部１０１は、物体とタッチスクリーン１００の接触状態を確認する。

この後、ステップＳ１００１からステップＳ１００６までの処理は、本発明の第１の実施形態と同様の処理であるため、詳細な説明を省略する。なお、ステップＳ１００５で、入力部１０１に記憶された物体の位置の数がゼロと判断された場合（ステップＳ１００５にてＹｅｓ）は、入力操作が行われていないことを意味するので、最初の処理（ステップＳ２００１）に戻り、再度入力操作を待つ。この際、近接部１０３に記憶された物体の近接位置が存在すれば、記憶した近接位置を消去する。なぜなら、この場合、物体がタッチスクリーン１００に接近したが、入力操作は行わなかったことを意味するからである。近接部１０３に記憶された物体の近接位置は、入力操作と紐づかない近接位置であるため、情報として不要である。

ステップＳ２００５において、近接物理量算出部１１７は、入力部１０１および近接検知部１０３が記憶する物体の位置を基に、物理量を算出する。このときに算出する物理量は、近接速度および近接方向である。いずれか片方のみを使用してもよい。

ステップＳ２００６において、入力予測装置１１は、入力部１０１が記憶する接触位置（ステップＳ１００３で最初に取得した位置）、ステップＳ１００６で判別した入力操作タイプ、ステップＳ２００６で算出した物理量を操作情報として操作履歴記憶部１１２に記憶する。
（動作２）
入力予測装置１１が、入力操作タイプを予測するときの動作を図１５のフローチャートを参照して説明する。

ステップＳ１１０１からステップＳ１１０５までの動作は、本発明の第１の実施形態と同様であるため、詳細な説明を省略する。本発明の第２の実施形態は、接触位置予測部１０４が接触予測位置の算出に成功してからの処理が、本発明の第１の実施の形態と異なる。

ステップＳ２１０１において、接触位置予測部１０４が、接触予測位置の算出に成功した場合（ステップＳ１１０５にてＹｅｓ）、近接物理量算出部１１６は、接触予測位置を算出した時間における物理量を算出する。

ステップＳ２１０２において、操作タイプ予測部１１５は、接触予測位置と、ステップＳ２１０１で算出した物理量と、操作履歴記憶部１１２が記憶する操作情報に基づき、物体が行おうとしている入力操作の入力操作タイプを予測する。

操作タイプ予測部１１５が実施する入力操作タイプの予測方法の一例について詳細に説明する。本動作例においては、ステップＳ２１０１において算出した物理量が近接速度であったとして説明するが、近接方向などの他の物理量に基づいて入力操作タイプを予測する場合も同様にして予測を行う。

図１６Ａおよび図１６Ｂは、タッチスクリーン１００の画面上において、操作履歴記憶部１１２に記憶された操作情報における入力操作タイプ毎の接触位置（タップ位置ａおよびスワイプ位置ｂ）、ステップＳ１１０４において接触位置予測部１０４が算出した接触予測位置ｃの例を示す図である。操作タイプ予測部１１５は、本発明の第１の実施の形態における操作タイプ予測部１０５と同様に、接触位置予測部１０４が算出した接触予測位置ｃから所定の距離（Ｒとする）内に存在する操作履歴記憶部１１２に記憶されたタップ位置ａおよびスワイプ位置ｂの数を数えることにより算出する。なお、本発明の第１の実施形態における操作タイプ予測部１０５によれば、図１６Ａの画面例では、入力操作タイプを「タップ」と予測し、予測確度を「１７／２２＝０．７７」と算出する。

一方で、操作タイプ予測部１１５は、ステップＳ２１０１において近接物理量算出部１１７が算出した物理量に基づき、入力操作タイプの予測を行う。本例では、ステップＳ２１０１において、近接物理量算出部１１７が算出した近接速度の値が「９ｃｍ／ｓ」であったとする。操作タイプ予測部１１５は、算出された近接速度との差分が所定の値以内である操作履歴記憶部１１２に記憶された操作情報を抽出する。所定の値を「５ｃｍ／ｓ」とすると、図１３に示される操作情報の内、Ｑ１、Ｑ２、Ｑ５の操作情報が抽出される。

例えば、抽出された操作情報に記された入力操作タイプ毎の接触位置が図１６Ｂに記した分布であったとする。操作タイプ予測部１１５は、抽出された操作情報（Ｑ１、Ｑ２、Ｑ５）の内、接触位置がステップＳ１１０４で算出した接触予測位置から所定の距離Ｒ内に存在する操作情報を抽出する。この抽出では、図１６Ｂに示される接触位置の内、接触予測位置ｃから半径Ｒの円内領域に存在するタップ位置ａおよびスワイプ位置ｂに紐付られた操作情報が抽出される。

操作タイプ予測部１１５は、抽出された操作情報の総数Ｎｏ、入力操作タイプω（ωは、Ｔ（タップ）もしくはＳ（スワイプ））毎の操作情報の数Ｎ_ωを算出する。図１６Ｂに示される画面例では、「Ｎ_ｏ＝１６」「Ｎ_ω＝Ｔ＝１５」、「Ｎ_ω＝Ｓ＝１」となる。操作タイプ予測部１１５が予測する入力操作タイプは、Ｎ_ωを最大とする入力操作タイプとする。この内、「Ｎ_ω＝Ｔ＝１５」が最大であるので、予測される入力操作タイプは「タップ」となる。また、入力操作予測部１１５は、予測確度を、以下の式
（予測された入力操作タイプのＮ_ω）／Ｎ_ｏ、
を用いて算出する。本例では、予測確度は「１５／１６＝０．９３５」となる。なお、本例において示した予測方法は、一例であり、他の予測方法によって入力操作タイプの予測を行っても良い。

本発明の第２の実施形態の効果は、第１の実施形態の効果に加え、以下の効果を備える。即ち、本発明の第２の実施形態においては、接触予測位置に加えて、更に、物体のタッチスクリーン１００への近接速度や、物体の近接方向を考慮して入力操作タイプの予測を行う。近接速度や近接方向と、入力操作タイプの間には依存関係が存在するため、これらの情報を含めて予測を行うことで、より高精度に予測を行うことが可能となる。例えば、図１６Ａの画面例では、近接速度を考慮しない場合、タップ操作である予測確度は「１７／２２＝０．７７」となる。しかしながら、現在算出された近接速度に近い近接速度で、過去にスワイプ操作がほとんどなされていなかったと判明したとする。この場合、得られた予測確度「０．７７」よりも高い確度でタップ操作であると予測することが妥当と考えられる。本発明の第２の実施の形態では、このような場合においても、近接速度を基に、「１５／１６＝０．９３５」（図１６Ｂ参照）と予測確度を補正する。これにより、予測確度の精度をより向上させることができる。
＜第３の実施形態＞
本発明の第３の実施形態では、入力予測装置（１２）がタッチスクリーンに表示している内容を考慮して、入力操作タイプの予測を行うことで、より高精度に予測を行う。一般的に、スマートフォンやタブレット端末のタッチスクリーンに表示される画面は、複数の画面またはタッチスクリーンより縦横幅が大きな１つの画像から構成される。利用者は、これらの画面（画像）をタッチスクリーン上で左右又は上下にスワイプすることで、複数の画面の内から所望の１つの画面、または、一枚の大きな画像の内から所望の一部の画像を、タッチスクリーン上に表示させる。

一例として、スマートフォンやタブレット端末を起動した際に最初に表示されるホーム画面は、複数の画面を横並びに配置し、その内の画面の１つをタッチスクリーンに表示する。各画面には、異なる種類のアイコンが複数配置され、各アイコンをタップすることで、当該アイコンに紐付られたアプリケーションを起動することができる。

画面毎に表示されている複数のアイコンの位置は異なるので、画面毎にタップされやすい位置も異なる。例えば、２つの左右に連なる画面から成るホーム画面があるとする。このうち左画面において、ある接触予測位置（これを接触予測位置Ｘとする）が得られ、この接触予測位置Ｘに対応するタップの確率として「０．５」が得られたとする。しかし、タッチスクリーンに右画面が表示された際、右画面には接触予測位置Ｘの近辺にアイコンが無いと仮定する。通常、アイコンのない位置にタップ操作は行われないので、この場合、入力操作がタップである可能性は低いと考えられる。つまり、接触予測位置Ｘが得られたことを基に算出したタップ操作の確率値に、現在タッチスクリーンに表示中の画面の識別子を加えることによって、得られたタップ操作の確率を、より正しい値（０に近い値）に補正する。

上述の様に、本発明の第３の実施形態では、タッチスクリーンに表示されている内容（画面）を考慮することで、入力操作タイプの予測精度を高めることができる入力予測装置（１２）について説明する。
（入力予測装置）
本発明の第３の実施形態に係る入力予測装置１２について図１７を参照して、詳細に説明する。入力予測装置１２は、タッチスクリーン１００、入力部１０１、操作履歴記憶部１２２、近接検知部１０３、操作位置予測部１０４、操作タイプ予測部１２５、先行処理実行部１０６、表示部１２８および表示識別部１２９を備える。本発明の第１の実施形態と同一の構成要素については、図１と同一の符号を付し、詳細な説明は省略する。

表示部１２８は、タッチスクリーン１００に対し、利用者が必要とする情報を提示する。例えば、表示部１２８は、利用者が入力操作や入力操作をすべき、タッチスクリーン上の所定位置に、アイコンを表示する。この他、表示部１２８は、利用者の入力操作に応じて、これらのアイコンが並んだホーム画面の表示や、表示するホーム画面の変更等を行う。

表示識別部１２９は、タッチスクリーン１００に表示されている画面（画像）を識別する識別子を取得する。識別子は、例えば、スマートフォンにおけるホーム画面において、表示中の画面を一意に識別する識別子である。一般的に、ホーム画面は、複数の画面から構成され、スワイプ操作により、複数の画面を左右または上下に切り替えることができる。複数の画像が左右に並んでいる場合、一番左側の画面の識別子を１とし、一つ右に行く毎に識別子の数字を１ずつ増加させる。例えば、ホーム画面が３つの場合、左画面「１」、中央画面「２」、右画面「３」と識別子を付す。上下の場合も同様の方法で識別子を付す。ここで示した識別子は一例に過ぎず、他の識別子であってよい。例えば、Ｗｅｂブラウザに表示中のコンテンツのＵＲＬ（Uniform Resource Locator）およびスクロール量を示す値であっても良い。

操作履歴記憶部１２２は、入力部１０１が取得した入力操作における接触位置、入力操作タイプに加えて、更に、表示識別部１２９が取得したタッチスクリーン１００に表示された画面の画面識別子を記録する。操作履歴記憶部１２２が記憶する操作情報は、図１８に示すように、「接触位置」、「画面識別子」、「入力操作タイプ」などの項目を備える。「画面識別子」とは、入力操作が行われた時点におけるタッチスクリーン１００に表示された画面の識別子である。接触位置と入力操作タイプについては、本発明の第１の実施形態と同様であるため、詳細な説明を省略する。例えば、図１８に示す操作情報Ｗ１の画面識別子には「１」が格納されている。これは、操作履歴記憶部１２２に記録された最初の操作が行われたときに、タッチスクリーン１００に表示されていた画面は、画面１であったことを示す。同様に操作情報Ｗ２の画面識別子は「２」であるため、操作情報Ｗ２に関する操作が行われた時点の画面は、画面２であったことを示す。

操作タイプ予測部１２５は、操作履歴記憶部１２２が記憶する操作情報と、接触位置予測部１０４が算出する接触予測位置と、表示識別部１２９が取得する画面識別子を用いて、入力部１０１に対してなされる入力操作における入力操作タイプとを予測する。さらに、操作タイプ予測部１２５は、入力操作タイプの予測確度を算出する。本発明の第３の実施形態の操作タイプ予測部１２５は、予測確度を算出の際に、操作履歴記憶部１２２が記憶する接触位置、入力操作タイプに加えて、更に画面識別子を用いて予測する。この点が、操作タイプ予測部１２５は、本発明の第１の実施形態に係る操作タイプ予測部１０５とは異なる。操作タイプ予測部１２５における予測方法については後述する。
（入力予測装置の動作）
本発明の第３の実施形態に係る入力予測装置１２の動作例について説明する。なお、本発明の第１の実施形態と同一の処理については、第１の実施形態における実施例を示す図７、図８における処理と同一の符号を付し、詳細な説明は省略する。

入力予測装置１２の大まかな動作は、以下の通りである。
（１）入力予測装置１２が、入力操作を検知して入力操作に関する操作情報を操作履歴情報記憶部１２２に記憶するときの動作、
（２）入力予測装置１２が、入力操作を行おうとしている物体のタッチスクリーン１００への近接を検知して、入力操作を予測するときの動作。

以下これらの動作の詳細について説明する。
（動作１）
入力操作を検知して入力操作に関する操作情報を操作履歴情報記憶部１２２に記憶するときの動作を図１９のフローチャートを参照して説明する。

ステップＳ１００１（入力部１０１が入力操作を行う物体の接触状態を確認する）からステップＳ１００６（入力部１０１が操作タイプを判別する）までの処理は、本発明の第１の実施形態と同一であるため、説明を省略する。

ステップＳ３００１において、表示識別部１２９は、タッチスクリーン１００に表示中の画面の識別子を取得する。

ステップＳ３００２において、入力予測装置１２は、取得した識別子を含めた操作情報を操作履歴記憶部１２２に記録する。この時点で記録される操作情報には、接触位置、入力操作タイプ、ステップＳ３００１で取得した画面識別子を有する。
（動作２）
入力操作を行おうとしている物体の入力部１０１への近接を検知して、入力操作を予測するときの動作を図２０のフローチャートを参照して説明する。

ステップＳ１１０１（近接検知部１０３が入力を行う物体の近接状態を確認）からステップＳ１１０５（接触予測位置を算出）までの処理は本発明の第１の実施形態と同一の処理であるため、説明を省略する。

ステップＳ３１０１において、接触予測位置の算出に成功した後、表示識別部１２９は、タッチスクリーン１００に表示中の画面の識別子を取得する。

ステップＳ３１０２において、操作タイプ予測部１２５は、表示識別部１２９が取得した画面識別子と、操作履歴記憶部１２２に記憶された操作情報とに従って、入力操作の入力操作タイプを予測する。

操作タイプ予測部１２５が実施する入力操作タイプの予測の方法について詳細に説明する。図２１Ａは、操作履歴記憶部１２２に記憶された操作情報における入力操作タイプ毎の接触位置（タップ位置ａ、スワイプ位置ｂ）、ステップＳ１１０４において接触位置予測部１０４が算出した接触予測位置ｃの一例を示す画面図である。なお、本発明の第１の実施形態における操作タイプ予測部１０５によれば、図２１Ａの画面例では、入力操作タイプを「タップ」と予測し、予測確度を「１４／２２＝０．６３６」と算出する。一方、本発明の第３の実施形態における操作タイプ予測部１２５は、表示識別部１２９が取得した画面識別子を更に考慮することで、入力操作タイプの予測を行う。

以下、ステップＳ３１０１において表示識別部１２９が取得したタッチスクリーン１００に表示中の画面の画面識別子が「２」であったとして説明する。

操作タイプ予測部１２５は、操作履歴記憶部１２２を参照して、画面識別子が「２」に一致する操作情報を抽出する。例えば、操作履歴記憶部１２２が記憶する操作情報が、図１８に示す操作情報であった場合は、操作情報Ｗ２、Ｗ３等が抽出される。

抽出された操作情報に記された入力操作タイプ毎の接触位置が図２１Ｂに記された分布であったとする。操作タイプ予測部１２５は、抽出された操作情報の内、接触位置がステップＳ１１０４で算出した接触予測位置から所定の距離Ｒ以内である操作情報を更に抽出する。具体的には、図２１Ｂに示す半径Ｒの円内に存在する接触位置に紐付られた操作情報が抽出される。操作タイプ予測部１２５は、抽出された操作情報の総数Ｎ_ｏ、入力操作タイプω（ωは、Ｔ（タップ）もしくはＳ（スワイプ））毎の操作情報の数Ｎ_ωを算出する。図２１Ｂに示す分布においては、「Ｎ_ｏ＝６」「Ｎ_ω＝Ｔ＝０」、「Ｎ_ω＝Ｓ＝６」となる。操作タイプ予測部１２５が予測する入力操作タイプは、Ｎ_ωを最大とする入力操作タイプとする。この場合、「Ｎ_ω＝Ｓ＝６」が最大であるので、予測される入力操作タイプは「スワイプ」となる。また、入力操作予測部１２５は、予測確度を、以下の式を用いて算出する。

（予測された入力操作タイプのＮ_ω）／Ｎ_ｏ
図２１Ｂの分布において、上記の式を用いて算出される予測確度は「６／６＝１」となる。

本発明の第３の実施形態の効果は、第１および２の実施形態の効果に加え、以下の効果がある。即ち、本発明の第３の実施形態においては、接触予測位置に加えて、更に、タッチスクリーン１００に表示された画面を考慮して操作タイプの予測を行う。画面毎に、入力操作を行う物体が入力部に接触する位置の傾向は異なるので、表示中の画面に関する情報を含めて予測を行うことで、より高精度に予測を行うことが可能となる。例えば、現在表示されている画面において、得られた接触予測位置の近辺にアイコンが存在しない場合、入力操作がタップである可能性は低いと考えられる。本実施形態によれば、表示中の画面の情報を考慮せずに入力操作タイプを予測すると、「タップ」と予測してしまう場合（図２１Ａ参照）でも、現在表示中の画面を考慮することで、予測を「スワイプ」に修正（図２１Ｂ参照）することができる。
＜第４の実施形態＞
本発明の第４の実施形態にかかる入力予測装置（１０ａ）は、情報処理装置が備える画面（タッチスクリーン）への入力を予測する装置である。図２２に示すように、入力予測装置１０ａは、入力部１０１ａ、操作履歴記憶部１０２ａ、近接検知部１０３ａ、接触位置予測部１０４ａ、操作タイプ予測部１０５ａおよび処理実行部１０６ｂを備える。

入力部１０１ａは、入力操作する物体と入力操作を行う画面との接触位置および入力操作のタイプを取得する。

操作履歴記憶部１０２ａは、取得された接触位置および入力操作のタイプを含む操作情報を記憶する。

近接検知部１０３ａは、画面に近接する物体の位置情報を取得する。

接触位置予測部１０４ａは、取得された位置情報に基づき、物体が画面に接触するであろう位置である予測位置を予測する。

操作タイプ予測部１０５ａは、予測位置と、操作履歴記憶部から取得する操作情報に基づき、物体が行うであろう入力操作のタイプである予測入力操作タイプを予測し、予測入力操作タイプの確度を算出する。

処理実行部１０６ｂは、予測位置、予測入力操作のタイプおよび確度に基づき、所定の処理を実施する。

本発明の第４の実施形態にかかる入力予測装置１０ａによると、利用者が情報処理装置に対して入力操作を実施する前に、入力操作タイプを予測し、入力操作タイプの予測確度を算出することで、入力予測を正確に行うことができる。

１０ 入力予測装置
１１ 入力予測装置
１２ 入力予測装置
１０１ 入力部
１０２ 操作履歴記憶部
１１２ 操作履歴記憶部
１２２ 操作履歴記憶部
１０３ 近接検知部
１０４ 接触位置予測部
１０５ 操作タイプ予測部
１１５ 操作タイプ予測部
１２５ 操作タイプ予測部
１０６ 先行処理実行部
１１７ 近接物理量算出部
１２８ 表示部
１２９ 表示識別部

Claims (7)

1. 物体と入力操作可能な画面との接触位置、および前記入力操作のタイプを検出する入力部と、
   前記画面に近接する物体の位置情報を検知する近接検知部と、
   前記接触位置および前記入力操作のタイプを含む操作情報を記憶する操作履歴記憶部と、
   前記位置情報に基づき、前記物体が前記画面に接触するであろう位置である予測位置を予測する接触位置予測部と、
   前記予測位置と、前記操作履歴記憶部から取得する前記操作情報とに基づき、前記物体が行うであろう入力操作のタイプである予測入力操作タイプを予測し、前記予測入力操作タイプの確度を算出する操作タイプ予測部と、
   前記予測位置、前記予測入力操作のタイプおよび前記確度に基づき、所定の処理を実施する処理実行部
   とを備える入力予測装置。
2. 前記近接検知部は、前記位置情報を検知した時刻を取得し、
   前記操作タイプ予測部は、前記位置情報および前記位置情報を取得した時刻を基に算出した物理量に基づき、前記予測入力操作タイプを予測し、前記予測入力操作タイプの確度を算出する
   請求項１に記載の入力予測装置。
3. 前記物理量は、前記物体の移動速度および前記物体の移動方向の少なくとも一方である
   請求項２に記載の入力予測装置。
4. 前記接触位置予測部は、回帰式を用いて、前記予測位置を予測する
   請求項１乃至請求項３のいずれかに記載の入力予測装置。
5. 前記操作タイプ予測部は、前記物理量および前記画面に表示中のデータを識別する情報に基づき、前記入力操作タイプを予測し、前記予測入力操作タイプの確度を算出する
   請求項１乃至請求項４のいずれかに記載の入力予測装置。
6. 物体と入力操作可能な画面との接触位置、および前記入力操作のタイプを検出し、
   前記画面に近接する物体の位置情報を検知し、
   前記接触位置および前記入力操作のタイプを含む操作情報を操作履歴記憶部に格納し、
   前記位置情報に基づき、前記物体が前記画面に接触するであろう位置である予測位置を予測し、
   前記予測位置と、前記操作履歴記憶部から取得する前記操作情報とに基づき、前記物体が行うであろう入力操作のタイプである予測入力操作タイプを予測し、前記予測入力操作タイプの確度を算出し、
   前記予測位置、前記予測入力操作のタイプおよび前記確度に基づき、所定の処理を実施する
   入力予測方法。
7. 物体と入力操作可能な画面との接触位置、および前記入力操作のタイプを検出する機能と、
   前記画面に近接する物体の位置情報を検知する機能と、
   前記接触位置および前記入力操作のタイプを含む操作情報を操作履歴記憶部に格納する機能と、
   前記位置情報に基づき、前記物体が前記画面に接触するであろう位置である予測位置を予測する機能と、
   前記予測位置と、前記操作履歴記憶部から取得する前記操作情報とに基づき、前記物体が行うであろう入力操作のタイプである予測入力操作タイプを予測し、前記予測入力操作タイプの確度を算出する機能と、
   前記予測位置、前記予測入力操作のタイプおよび前記確度に基づき、所定の処理を実施する機能
   とをコンピュータに実行させる入力予測プログラム。

Images