JP7353989B2 - 情報処理装置、情報処理方法および情報処理プログラム - Google Patents

Description

本発明は、タッチセンサを介してユーザの入力操作を受け付ける情報処理装置、情報処理方法および情報処理プログラムに関する。

スマートフォン等の携帯型の端末装置では、ディスプレイの所定位置に、指等の操作体を接触させることで、入力操作を行うタッチパネルが用いられる。
ユーザが端末装置を操作する形態（操作状態）としては、ユーザが片手で端末装置を把持しつつ他方の手で操作を行う両手操作、ユーザが片手で端末装置を把持し、かつ端末装置を把持した手で操作を行う片手操作、端末装置を台座等に載置して操作を行う据置操作等がある。
近年では、携帯型の端末装置のディスプレイが大型化し、片手操作による操作性が低下するとの課題があり、端末装置が、上記のようなユーザの操作状態（両手操作か片手操作か）を判定する装置が開発されている（例えば、特許文献１、２参照）。

特許文献１の装置は、タッチパネルに指が接触した際の接触面積を検出し、接触面積によって、親指が接触したものか、その他の指が接触したかを判定する。そして、親指が接触したと判定された場合に、片手操作と判定し、親指以外の指が接触したと判定された場合に、両手操作と判定する。

特許文献２の装置は、タッチパネルが設けられる筐体の背面や側面にセンサを配置し、携帯型端末装置を保持した際の指の本数や接触位置の情報をセンサから取得して、把持状態や入力操作方法を判定する。

特開２０１２－２１５９４５号公報 特開２０１２－０２７５８１号公報

しかしながら、両手操作であっても、親指をタッチ面に接触させる場合があり、また、親指以外の指を用いる場合でも指の腹を押し当てて操作することもある。このような場合、両手操作であってもタッチ面に接触する指の接触面積が大きくなる。さらに、片手操作であっても、親指の先をタッチ面に接触させる場合があり、この場合、接触面積が小さくなる。しがたって、特許文献１のような、タッチ面に接触した指の接触面積に基づく操作状態の判定では、判定精度を十分に高めることは困難である。

一方、特許文献２のような装置では、筐体に別途センサを設ける必要があり、装置構成が複雑化し、製造コストも高くなる。また、既存のタッチパネルで、利用することができない、との課題もある。

本発明は、簡素な構成で、かつ、入力装置の操作状態を高精度に判定可能な情報処理装置、情報処理方法、及び情報処理プログラムを提供することを目的とする。

本発明の情報処理装置は、所定の基準電位に維持された筐体、及び、操作体が接触可能なタッチ面を有するタッチセンサを備え、前記タッチ面が前記筐体の一部から露出する状態で前記タッチセンサが前記筐体に収納され、前記タッチ面に前記操作体が近接した時に、前記タッチ面から前記操作体を介して前記筐体に至る経路のインピーダンスに応じた電流値を出力する入力装置の操作状態を判定する情報処理装置であって、前記入力装置から出力される前記電流値を取得する電流値取得部と、前記電流値取得部により取得された前記電流値に基づいて、ユーザの前記入力装置の操作状態を判定する操作状態判定部と、を備える。

本発明は、タッチセンサから出力される電流値に基づいて、両手操作、片手操作、及び据置操作等の入力装置の操作状態を判定する。
つまり、タッチセンサから出力される電流値は、タッチ面に触れた操作体からグラウンドまでに至る経路のインピーダンス値によって変化する。通常、入力装置の筐体はフレームグラウンドによりグラウンディングされているので、上記経路は、タッチセンサから筐体に至る電気的な経路となる。よって、操作状態（両手操作、片手操作、据置操作）により、経路のインピーダンスが異なり、これにより、操作状態によってタッチ面に触れた際に出力される信号の電流値にも差が生じる。本発明では、このような電流値に基づいて、従来よりも高精度に操作状態を判定することができる。
また、本発明では、筐体に把持状態を検出するセンサを設ける必要がなく、構成の簡素化を図れる。さらに、静電容量式のタッチパネルが採用された入力装置であれば、本発明を適用することができ、例えば既存のスマートフォン等の端末装置や入力装置に対しても、操作状態を判定することができる。

第一実施形態の端末装置の概略構成を示す模式図。 第一実施形態の端末装置の概略構成を示すブロック図。 タッチセンサの構造を示す模式図。 第一実施形態の操作状態判定部が判定する操作状態の一例を示す図。 タッチ面に操作体である指を接触させた場合に、電極交点に形成される等価回路を示す図。 第一実施形態の端末装置による情報処理方法のフローチャート。 待機開始時点からの電流値の時間変化の一例を示す図。 把持手が右手である場合の検出信号の分布を示す図。 タッチパネルに表示される表示画面の一例を示す図。 第一実施形態で片手操作時にタッチパネルに表示される表示画像の一例を示す図。 第二実施形態の端末装置の概略構成を示すブロック図。

［第一実施形態］
以下、本発明に係る第一実施形態について説明する。
図１は、本実施形態の端末装置１００の概略構成を示す模式図であり、図２は、本実施形態の端末装置１００の概略構成を示すブロック図である。
端末装置１００は、本開示の情報処理装置に相当し、スマートフォン等の携帯型端末装置により構成されている。具体的には、端末装置１００は、図１に示すように、筐体１と、タッチパネル２と、制御回路部３と、を備えている。

［筐体１の構成］
筐体１は、例えば薄型箱形状に構成され、タッチパネル２が設けられる表示面１１と、表示面１１とは反対側の裏面１２と、表示面１１及び裏面１２の間を連結する側面１３とを備える。
筐体１は、タッチパネル２、制御回路部３、及び図示略のバッテリー等を収納する。
また、筐体１は、制御回路部３と接続されることで、所定の基準電位（ＧＮＤ電位）に維持されている。

［タッチパネル２の構成］
タッチパネル２は、表示モジュール２１とタッチセンサ２２とが一体的に組み合わされたセンサであり、筐体１とともに本開示の入力装置を構成する。表示モジュール２１は、画像を表示させる画像表示装置であり、例えば、液晶パネルや有機ＥＬパネル等により構成される。タッチセンサ２２は、例えば、表示モジュール２１上に積層されたセンサであり、ＩＴＯ等の透明電極により構成される。
なお、表示モジュール２１にタッチセンサ２２が積層される例を示すが、例えば、表示モジュール２１にタッチセンサとしての機能が組み込まれたタッチパネルを用いてもよい。

タッチセンサ２２は、操作体が接触可能なタッチ面２２０を有し、当該タッチ面２２０が、表示面１１から露出するように、筐体１内に収納されている。
このタッチセンサ２２は、タッチ検出方式として、投影型静電容量方式のうちの相互容量方式を採用しており、図２に示すように、タッチ面２２０に沿って配置される電極構造を有するセンサアレイ２２１と、センサアレイ２２１に駆動信号Ｓａを送信する送信部２２２と、センサアレイ２２１を介して駆動信号Ｓａを受信する受信部２２３とを有する。

図３は、タッチセンサ２２の構造を示す模式図である。
図３に示すように、センサアレイ２２１は、複数の送信電極Ｔｘ（ｘ＝１，２，３…ｎ）と、複数の受信電極Ｒｙ（ｙ＝１，２，３…ｍ）とを備える。送信電極Ｔｘは、Ｘ方向に沿って長手となる透明電極であり、Ｙ方向に沿って複数配置される。受信電極Ｒｙは、Ｙ方向に沿って長手となる透明電極であり、Ｘ方向に沿って複数配置される。送信電極Ｔｘと受信電極Ｒｙとが交差する電極交点Ｐｉは、タッチ面２２０の単位領域に対応し、各電極交点Ｐｉには静電容量Ｃ_０が形成される。

送信部２２２は、複数の送信電極Ｔｘに対して順に、交流信号である駆動信号Ｓａを送信する。
受信部２２３は、いずれかの送信電極Ｔｘに駆動信号Ｓａが送信されている間、複数の受信電極Ｒｙから順に駆動信号Ｓａを受信する。これにより、受信部２２３は、送信電極Ｔｘから受信電極Ｒｙへ各電極交点Ｐｉを経由して伝送された駆動信号Ｓａを順に受信する。

ここで、指などの操作体Ｈが電極交点Ｐｉに近接すると、操作体Ｈに応じた容量が静電容量Ｃ_０に割り込んで結合し、電極交点Ｐｉから操作体Ｈを介して駆動信号Ｓａの電流の一部がグラウンドへ流出する。これにより、操作体Ｈが近接した位置の電極交点Ｐｉでは、受信電極Ｒｙに流れる電流が減少する。受信部２２３は、受信電極Ｒｙで生じた電流減少量（操作体Ｈに逃げた流出電流値）に応じた検出信号Ｓｄを出力する。つまり、タッチセンサ２２は、流出電流値が所定の閾値以上となる電極交点Ｐｉを、操作体Ｈが近接した位置として検出することが可能となる。

［制御回路部３の構成］
制御回路部３は、タッチパネル２の駆動を制御するパネル駆動基板や、メモリ等の記憶回路やロジック回路等により構成されたマザーボード等の、複数の回路基板を備える。これらの回路基板は、一点または多点で筐体１に接続されることで、筐体１を所定の基準電位（ＧＮＤ電位）に維持する。

また、制御回路部３は、コンピュータを形成する一般的なハードウェア構成を備え、図２に示すように、記憶部３１及び制御部３２等を含んで構成されている。
記憶部３１は、メモリ等の記憶回路、またはハードディスク等の記録媒体により構成された記録装置である。記憶部３１には、端末装置１００を制御するための情報処理プログラム（ソフトウェア）が記録されている。

制御部３２は、ＣＰＵ（Central Processing Unit）等の演算回路およびＲＡＭ（Random Access Memory）等の記録回路により構成される。制御部３２は、記憶部３１等に記録されている情報処理プログラムをＲＡＭに展開し、ＲＡＭに展開されたプログラムとの協働により各種処理を実行する。そして、制御部３２は、記憶部３１に記録された情報処理プログラムを読み込み実行することで、電流値取得部３２１、タッチ検出部３２２、待機判定部３２３、パラメータ算出部３２４、操作状態判定部３２５、及び表示変更部３２６等として機能する。

電流値取得部３２１は、受信部２２３から出力される検出信号Ｓｄを所定周期で取得する。上述したように、検出信号Ｓｄは、電極交点Ｐｉにおいて、操作体Ｈが近接した際の電流減少量に応じた信号であり、電流値取得部３２１は、検出信号Ｓｄに基づく、流出電流値（以降、電流値Ｉａと略す）を取得する。
タッチ検出部３２２は、電流値取得部３２１により取得された検出信号Ｓｄに基づいて、タッチパネル２に対する操作体Ｈのタッチ点を検出し、当該タッチ点の座標情報を算出する。例えば、タッチ検出部３２２は、検出信号Ｓｄに基づく電流値Ｉａが閾値以上である電極交点Ｐｉをタッチ点の位置座標として検出する。また、タッチ検出部３２２は、検出信号Ｓｄが閾値以上である電極交点Ｐｉが複数隣り合っている場合、これらの電極交点Ｐｉがある領域の重心をタッチ点の座標情報として検出する。

待機判定部３２３は、電流値Ｉａが増加を開始する時点（電流値Ｉａが閾値以上となる時点）を待機開始時点Ｐｗｓとして検出し、待機開始時点Ｐｗｓからの経過時間を計測することにより、待機開始時点Ｐｗｓから所定の待機時間Ｔｗが経過したか否かを判定する。
パラメータ算出部３２４は、待機判定部３２３により待機時間Ｔｗが経過したと判定された場合、待機時間Ｔｗの経過期間における電流値Ｉａの変化に関する判定パラメータを算出する。なお、判定パラメータの詳細は後述する。

操作状態判定部３２５は、パラメータ算出部３２４により算出された判定パラメータに基づいて、端末装置１００の操作状態を判定する。なお、本実施形態で、操作状態判定部３２５が判定する操作状態としては、両手操作、片手操作、及び据置操作を例示する。
図４は、本実施形態の操作状態判定部３２５が判定する操作状態の一例を示す図であり、（Ａ）が両手操作の例、（Ｂ）が片手操作の例、（Ｃ）が据置操作の例である。
両手操作とは、図４（Ａ）に示すように、ユーザが、一方の手で筐体１を保持し、他方の手でタッチ面２２０にタップ動作等の入力操作を行う操作状態である。
片手操作とは、図４（Ｂ）に示すように、ユーザが、片手で筐体１を保持し、かつ、筐体１を保持した片手で入力操作を行う操作状態である。
据置操作とは、図４（Ｃ）に示すように、筐体１をテーブル等の台に置いた状態で、ユーザが入力操作を行う操作状態である。

表示変更部３２６は、操作状態判定部３２５により判定された操作状態に応じて、タッチパネル２で表示させる画像の表示位置を変更する。

［操作体Ｈと、操作状態による検出信号の変化］
操作体Ｈは、タッチパネル２のタッチ面２２０に接触させる対象物であり、例えば人の指、人の手に保持された導体の操作器具（例えばタッチペン等）である。本実施形態では、操作体Ｈを人の指として、以下に説明する。

図５は、タッチ面２２０に操作体Ｈである指を接触させた場合に、電極交点Ｐｉに形成される等価回路を示す図である。なお、図５において、Ｚ_０～Ｚ_４，Ｚ_ｉは、電極交点Ｐｉの周囲に存在する物質のインピーダンスであり、抵抗とコンデンサからなる等価回路に相当する。Ｚ_ｉは、タッチ面２２０に接触した指からフレームグラウンドに至るまでの経路のインピーダンスであり、操作状態によってそれぞれ異なる。
例えば、図４（Ａ）のような両手操作では、筐体１を保持する一方の手（例えば左手）が筐体１の裏面１２や側面１３に接触し、他方の手（例えば右手）の指がタッチ面２２０に接触する。このため、タッチ面２２０の接触した右手の人差し指から、右手、右腕、胴、左腕、左手を経て筐体１に至る、インピーダンスＺ_５の経路となる。
図４（Ｂ）のような片手操作では、筐体１を保持する片手（例えば右手）が筐体１の裏面１２や側面１３に接触し、当該右手の指（例えば親指）がタッチ面２２０に接触する。このため、タッチ面２２０の接触した右手の親指から、右手の掌を経て筐体１に至る、インピーダンスＺ_６の経路となる。
図４（Ｃ）のような据置操作では、筐体１には人体が触れておらず、タッチ面２２０にのみ人体の例えば右手の指が接触する。このため、右手の指から、右手、右腕、胴等の人体を通り、さらに、椅子やテーブル等の周辺物体を経て筐体１に至るインピーダンスＺ_７の経路となる。
インピーダンスＺ_ｉは、経路の距離が長い程大きくなり、また、導電率が低い物体が介在する程大きくなるので、Ｚ_６＜Ｚ_５＜Ｚ_７となる。

図５に示すように、送信電極Ｔｘは、インピーダンスＺ_４を経由してグラウンディングされ、受信電極Ｒｙは、インピーダンスＺ_３を経由してグラウンディングされ、送信電極Ｔｘおよび受信電極Ｒｙは、インピーダンスＺ_０により相互に接続される。
ここで、操作体Ｈが電極交点Ｐｉにタッチしていない状態では、送信電極Ｔｘと受信電極Ｒｙとの電気的結合はインピーダンスＺ_０のみであり、送信電極Ｔｘから受信電極Ｒｙへ、インピーダンスＺ_０を介して駆動信号Ｓａが伝達される。

一方、操作体Ｈ（指）が、ある電極交点Ｐｉに近接すると，送信電極Ｔｘと受信電極Ｒｙとは、タッチ面２２０および指の表面などのインピーダンスＺ１，Ｚ２を介して接続されると共に、操作状態に応じた経路のインピーダンスＺ_ｉを経由してグラウンディングされる。
上述したように、Ｚ_６＜Ｚ_５＜Ｚ_７であるため、片手操作、両手操作、及び据置操作の順に、操作体Ｈを経てグラウンドに流出する電流量が増大する。つまり、片手操作、両手操作、及び据置操作の順に、受信部２２３から出力される電極交点Ｐｉの検出信号Ｓｄは増加する。

［情報処理方法］
図６は、端末装置１００による情報処理方法のフローチャートである。
図６に基づいて、端末装置１００による情報処理方法について説明する。なお、端末装置１００の動作中、電流値取得部３２１は、受信部２２３から出力される検出信号Ｓｄを所定周期で取得し、検出信号Ｓｄに基づく電流値Ｉａを算出して記憶部３１に記憶する、電流値取得ステップを常時行っているものとする。

まず、待機判定部３２３は、電流値Ｉａが閾値Ｔｈ以上になったか否かを判定することにより、待機開始時点Ｐｗｓを検出したか否かを判定する（ステップＳ１）。ここで、閾値Ｔｈは、ノイズによる誤判定を防ぎつつ、タッチパネル２に対する操作体Ｈの接触開始に応じて電流値Ｉａが増加を開始する時点を待機開始時点Ｐｗｓとして検出できるように設定される。

ステップＳ１でＹｅｓの場合、待機判定部３２３は待機開始時点Ｐｗｓを記憶部３１に記憶させる。また、待機判定部３２３は、待機開始時点Ｐｗｓからの経過時間を計測し、待機開始時点Ｐｗｓから所定の待機時間Ｔｗが経過したか否かを判定する（ステップＳ２）。なお、待機時間Ｔｗは、例えば６０～１００ｍｓｅｃの範囲の任意の時間、好ましくは６０ｍｓｅｃに設定されている。
待機判定部３２３は、待機時間Ｔｗが経過したと判定した場合（ステップＳ２；Ｙｅｓの場合）、待機時間Ｔｗの終了時点を待機終了時点Ｐｗｅとして記憶部３１に記憶させる。その後、フローはステップＳ４に進む。

なお、一般なシングルタップ操作のタッチ継続時間は１５０～２００ｍｓｅｃ程度である。よって、操作体Ｈがどのようなタッチ操作を行う場合であっても、タッチ継続時間内に待機時間Ｔｗ（６０～１００ｍｓｅｃ）が経過する可能性が高い。しかし、待機時間Ｔｗが経過するよりも早い時点でタッチが終了する可能性も存在する。

そこで、待機開始時点Ｐｗｓから待機時間Ｔｗが経過していない場合（ステップＳ２でＮｏの場合）、待機判定部３２３は、操作体Ｈのタッチが終了しているか否かを判定する（ステップＳ３）。操作体Ｈのタッチが終了している場合（ステップＳ３；Ｙｅｓの場合）、待機判定部３２３は、タッチが終了していると判定した時点を待機終了時点Ｐｗｅとして記憶部３１に記憶させる。その後、フローはステップＳ４に進む。
一方、操作体Ｈのタッチが終了していない場合（ステップＳ３；Ｎｏの場合）、フローはステップＳ２に戻る。
なお、待機判定部３２３は、電流値Ｉａが閾値Ｔｈ以上から閾値Ｔｈ未満になった場合、操作体Ｈのタッチが終了していると判定できる。

ステップＳ４において、パラメータ算出部３２４は、待機開始時点Ｐｗｓから待機終了時点Ｐｗｅまでの期間における電流値Ｉａに関する判定パラメータを算出する。
図７は、待機開始時点Ｐｗｓからの電流値Ｉａの時間変化の一例を示す図であり、待機時間Ｔｗが６０ｍｓｅｃである例を示している。図７において、Ａ１は両手操作の場合の電流値Ｉａの変化を示し、Ａ２は片手操作の場合の電流値Ｉａの変化を示し、Ａ３は据置操作の場合の電流値Ｉａの変化を示している。
図７に示すように、タッチパネル２に対して操作体Ｈが近接する近接段階（例えば待機開始時点Ｐｗｓから４０ｍｓｅｃ経過時点）では、操作状態による電流値Ｉａの差異が生じにくいが、タッチパネル２に対して操作体Ｈが接触し始めた接触初期段階（４０ｍｓｅｃ経過時点から６０ｍｓｅｃ経過時点）では、操作状態による電流値Ｉａの変化の様子が明らかに異なる。具体的には、片手操作の場合に電流値Ｉａの変化量が最も大きく、両手操作、据置操作の順に、電流値Ｉａの変化量が小さくなる。
したがって、パラメータ算出部３２４は、操作状態を判別可能な判定パラメータとして、待機時間Ｔｗにおける電流値Ｉａの最大値、待機時間Ｔｗ内での電流値Ｉａの最大変化率、または、待機時間Ｔｗでの電流値Ｉａの積分値の少なくともいずれかを算出する。

その後、操作状態判定部３２５は、パラメータ算出部３２４により算出された判定パラメータに基づいて、操作状態を判定する（ステップＳ５；操作状態判定ステップ）。
これには、例えば、記憶部３１に、各操作状態と、判定パラメータの数値範囲との関係を示す相関情報を予め記録しておく。そして、操作状態判定部３２５は、記憶部３１に記憶された相関情報に基づいて、ステップＳ４により算出された判定パラメータに対応した数値範囲の操作状態を、現在のユーザの操作状態であると判定する。

また、ステップＳ５で、操作状態が片手操作であると判定された場合、操作状態判定部３２５は、さらに、ユーザが端末装置１００を把持している手（把持手）が右手であるか左手であるかを判定する。
図８は、把持手が右手である場合の検出信号Ｓｄの信号値の分布を示す図であり、（Ａ）は、把持手が右手である場合に、タッチパネル２の中心から左端の間をタップした場合の検出信号Ｓｄであり、（Ｂ）は、把持手が右手である場合に、タッチパネル２の中心から右端の間をタップした場合の検出信号Ｓｄであり、（Ｃ）は、把持手が右手である場合に、タッチパネル２の右端近傍をタップした場合の検出信号Ｓｄである。なお、図８では、黒が検出信号Ｓｄの信号値が低い位置であり、白が検出信号Ｓｄの信号値が高い位置であることを示している。
例えば、把持手が右手である場合、操作体Ｈである親指の可動範囲は、タッチパネル２の右側が中心となるため、タップ位置は、タッチパネル２の右側に集中する。
また、タッチパネル２の左側をタップする場合、親指とタッチ面２２０との角度が浅くなるので、図８（Ａ）に示すように、タップ操作時に親指が接触する接触面積が大きくなる。一方、タッチパネル２の右端をタップする場合、親指とタッチ面２２０に対して角度が９０°に近くに立てる必要があり、図８（Ｃ）のように、タップ操作時に親指が接触する接触面積が小さくなる。
図８の例は、把持手が右手の場合であるが、左手の場合は、検出信号Ｓｄの分布が図８とは左右逆転する。また、端末装置１００を横向きで把持した場合も同様である。
したがって、操作状態判定部３２５は、操作状態が片手操作である場合、タップ点の位置座標と、タップ点を中心とした検出信号Ｓｄの分布に基づいて、把持手を判定することができる。

この後、制御部３２は、タッチ検出部３２２により検出されたタッチ点の座標情報に対応した所定処理を実施するか否かを判定する（ステップＳ６）。
図９は、タッチパネル２に表示される表示画面の一例である。
図９に示す画面例は、例えばスマートフォン等で表示されるホーム画面５０であり、例えば、複数のアイコン５１が、縦方向及び横方向に並んで配置される。通常、これらのアイコン５１は、予め設定された位置（第一操作領域）に等間隔で並んで配置される。各アイコン５１は、所定のアプリケーションを起動させる操作対象画像であり、それぞれ対応するアプリケーションが対応付けられている。
制御部３２は、タッチ点がアイコン５１の画像上であると判定した場合、ステップＳ６でＹｅｓと判定し、タップされたアイコン５１に対応するアプリケーションを起動させる等、所定の処理を実施する（ステップＳ７）。

また、ステップＳ６でＮｏと判定された場合、タッチ点がアイコン５１上ではないことを意味する。この場合、表示変更部３２６は、ステップＳ５で判定された操作状態に応じて、タッチパネル２で表示させる画像の表示位置を変更する（ステップＳ８）。つまり、本実施形態では、特定のアプリケーションに対応するアイコン５１がタップされず、空白部分がタップされることで、操作状態に応じた画面表示に変更される。

図１０は、片手操作時にタッチパネル２に表示される表示画像の一例を示す図である。
例えば、表示変更部３２６は、ステップＳ５で片手操作と判定され、さらに、把持手が右手であると判定された場合、図９に示すホーム画面５０を、図１０に示すように変化させる。つまり、ホーム画面５０に配置される各アイコン５１を、全体的に、把持手である右側に寄せて配置する。

また、図１０に示すような片手操作時の画面変更が実施されている際に、ステップＳ５で操作状態が両手操作と判定された場合、表示変更部３２６は、図９に示すような通常の画面表示に変更する。
さらに、表示変更部３２６は、ステップＳ５で操作状態が据置状態と判定された場合、特定の表示画面のみを表示させる。例えば、プッシュ通知の表示要求を受信した場合でも、表示変更部３２６は、据置操作時でのプッシュ通知の表示を行わず、他の操作状態に対する表示に変更した際に、受信したプッシュ通知を表示させる等の処理を行う。つまり、据置操作の場合、ユーザがナビゲーション用のアプリケーションや動画再生用のアプリケーション等、ユーザが所定の画像を常時表示させていたい、と望むことが多い。このため、プッシュ通知等の他の表示を行わないことで、ユーザの作業を中断させることがなく、利便性の向上を図れる。

なお、図９及び図１０は、ホーム画面５０の一例であるが、表示変更部３２６は、所定のアプリケーションに対応した別の画像が表示されている場合にも、上記のような表示変更を行ってもよい。例えば、タッチパネル２上に文字入力用のキーボードを表示させる文字入力アプリケーションが起動されており、操作状態が片手操作で、かつ、把持手が右手である場合に、当該キーボードをタッチパネル２の中央位置から右側に所定距離だけ寄せて表示させてもよい。

［本実施形態の作用効果］
本実施形態の端末装置１００は、基準電位（ＧＮＤ電位）に維持された筐体１、及び、指等の操作体Ｈが接触可能なタッチ面２２０を有するタッチセンサ２２を備える。タッチセンサ２２は、タッチ面２２０が筐体１の表示面１１から露出する状態で筐体１に収納されており、タッチ面２２０に操作体Ｈが近接した時に、タッチ面２２０から操作体Ｈを介してフレームグラウンドの筐体１に至る経路のインピーダンスＺ_ｉに応じた検出信号Ｓｄを出力する。
そして、この端末装置１００の制御部３２は、情報処理プログラムを読み込み実行することで、タッチパネル２のタッチセンサ２２から出力される検出信号Ｓｄに基づく電流値を取得する電流値取得部３２１、及び、電流値取得部３２１により取得された電流値に基づいて、ユーザの端末装置１００の操作状態を判定する操作状態判定部３２５として機能する。

タッチ面２２０に接触した操作体Ｈ（指）から筐体１のフレームグラウンドに至るまでの経路のインピーダンスＺ_ｉは、操作状態毎にそれぞれ異なるので、タッチパネル２を操作した際の検出信号Ｓｄに対応する電流値Ｉａも異なる値となる。したがって、操作状態判定部３２５は、電流値Ｉａに基づいて、操作状態を判定することができる。
ここで、操作状態の違いによる、操作体Ｈから筐体１に至る経路のインピーダンスの差は大きく、図７に示すように、操作状態による電流値Ｉａの差が顕著に表れる。よって、本実施形態では、例えばタッチ面２２０への指の接触面積を用いて操作状態を判定する場合に比べて、高精度に操作状態を判定することができる。また、ユーザの筐体１の把持状態を検出するために、タッチパネル２以外のセンサを筐体１に設ける必要がなく、簡素な構成で操作状態を判定することができる。例えば既存のスマートフォン等の端末装置１００に対しても、情報処理プログラムを導入することで、容易にユーザの操作状態を判定することが可能となる。

本実施形態の端末装置１００では、操作状態判定部３２５は、電流値Ｉａに基づいた判定パラメータと各操作状態との関係を示す相関情報と、電流値取得部３２１により取得される電流値Ｉａとを用いて操作状態を判定する。
このような相関情報を用いることで、操作状態判定部３２５は、ユーザの操作状態を容易に判定することができる。また、操作体Ｈから人体を経て筐体１に至る経路のインピーダンスには、ユーザの個人差がある。したがって、各個人に合わせた相関情報を用いることで、例えば、予め設定された閾値のみによって操作状態を判定する場合に比べて、精度よく操作状態を判定することができる。

本実施形態の端末装置１００の制御部３２は、さらに表示変更部３２６として機能する。表示変更部３２６は、タッチパネル２に表示させる表示画像を、操作状態判定部３２５により判定された操作状態に応じて変化させる。
例えば、表示変更部３２６は、操作状態が両手操作と判定された場合に、ユーザにより操作可能なアイコン５１を、均等に配置して表示させ、片手操作と判定された場合に、アイコン５１を、タッチパネル２の周縁に寄せて表示させる。
これにより、操作状態に応じて、ユーザがタップ操作を行いやすい位置に、各アイコン５１が配置され、ユーザが端末装置１００を操作する際の利便性を向上させることができる。

操作状態判定部３２５は、片手操作を判定された場合に、さらに、把持手が右手であるか左手であるかを判定し、表示変更部３２６は、右手と判定された場合に、アイコン５１をタッチパネル２の右に寄せ、左手と判定された場合にアイコン５１をタッチパネル２の左に寄せる。
このため、ユーザが端末装置１００を操作している手に応じてアイコン５１の配置が変更されるので、より利便性を向上させることができる。

［第二実施形態］
次に、第二実施形態について説明する。前述した第一実施形態では、操作状態判定部３２５は、記憶部３１に予め記憶されている相関情報に基づいて、判定パラメータに対する操作状態を判定した。これに対して、本実施形態では、操作状態を判定するための相関情報を、機械学習により学習する。

図１１は、第二実施形態の端末装置１００Ａの概略構成を示すブロック図である。
図１１に示すように、本実施形態の端末装置１００Ａの制御部３２は、第一実施形態と同様、電流値取得部３２１、タッチ検出部３２２、待機判定部３２３、パラメータ算出部３２４、操作状態判定部３２５、及び表示変更部３２６として機能するとともに、さらに、操作状態学習部３２７（学習部）としても機能する。
操作状態学習部３２７は、ユーザが各操作状態で入力操作を行った場合に検出された判定パラメータを学習データとして、判定パラメータに対するユーザの操作状態を機械学習する。

具体的には、操作状態学習部３２７は、例えば端末装置１００Ａの出荷後にユーザにより初めて端末装置１００Ａが操作される際、あるいは、ユーザが操作状態の再設定処理を要求した際に、学習データを取得する。
例えば、操作状態学習部３２７は、タッチパネル２に、片手操作での複数回のタップ操作を要求する通知を表示させる。ユーザが、端末装置１００Ａを片手で持って、当該片手の親指で画面をタップすると、第一実施形態のステップＳ１からステップＳ４の処理を実施し、タッチパネル２から出力される検出信号Ｓｄに基づいた判定パラメータを算出する。これにより、操作状態学習部３２７は、片手操作に対する複数回の判定パラメータを学習データとして取得し、記憶部３１に蓄積（記憶）する。
なお、片手操作として、把持手を右手とした場合と、把持手を左手とした場合のそれぞれの学習データを取得してもよい。

同様にして、操作状態学習部３２７は、タッチパネル２に、両手操作での複数回のタップ操作を要求する通知を表示させ、両手操作に対する複数の学習データを取得する。
さらに、操作状態学習部３２７は、タッチパネル２に、据置操作での複数回のタップ操作を要求する通知を表示させ、据置操作に対する複数の学習データを取得する。
なお、据置操作に対する学習データの取得では、操作状態学習部３２７は、端末装置１００Ａを載置する台座を、様々な素材に変更するよう、通知を表示してもよい。例えば、金属製（導体）の台座に端末装置１００Ａを載置した操作、樹脂製の台座に端末装置１００Ａを載置した操作、及び木製の台座に端末装置１００Ａを載置した操作をそれぞれ要求してもよい。
或いは、操作状態学習部３２７は、据置操作の頻度を入力するよう要求し、ユーザにより入力された頻度が所定頻度以上である場合に、ユーザの利用頻度が高い台座を用いた据置操作の学習データを取得してもよい。

また、学習データとして取得される判定パラメータが複数種であってもよい。例えば、電流値Ｉａの最大値、待機時間Ｔｗ内での電流値Ｉａの最大変化率、及び、待機時間Ｔｗでの電流値Ｉａの積分値のそれぞれを判定パラメータとして取得してもよい。また、ここでは、検出信号Ｓｄから算出される電流値Ｉａに基づいた判定パラメータを学習データとしているが、タッチパネル２からのローデータである検出信号Ｓｄの電流値Ｉａを学習データとして取得してもよい。

そして、操作状態学習部３２７は、取得した各学習データに基づいて、判定パラメータと操作状態との関係を示す相関情報を生成する。
相関情報の生成では、例えば、操作状態学習部３２７は、取得した学習データを、判定パラメータに応じて複数のクラス（操作状態）にクラスタリングし、各クラスに対応する操作情報を対応付けることで、相関情報を生成する。

或いは、操作状態学習部３２７は、学習データを用いて、判定パラメータ若しくは検出信号Ｓｄの電流値Ｉａを入力値とし、操作状態を出力値とした状態判定モデルを相関情報として生成してもよい。
検出信号Ｓｄが入力されることで、操作状態を出力する状態判定モデルを生成する場合、ステップＳ１～ステップＳ４で判定パラメータを算出することなく、操作状態判定部３２５は、所定周期でサンプリングされる検出信号Ｓｄの電流値Ｉａを、状態判定モデルに入力する。これにより、状態判定モデルから、操作状態が出力され、操作状態判定部３２５は、容易にユーザの操作状態を判定することができる。
なお、判定パラメータを入力として、操作状態を出力する状態判定モデルを生成した場合では、第一実施形態と同様に、ステップＳ１からステップＳ４の処理を実施し、ステップＳ５で、状態判定モデルに判定パラメータを入力すれば、操作状態を判定することができる。

［本実施形態の作用効果］
本実施形態の端末装置１００Ａでは、電流値取得部３２１により取得された電流値を記憶部３１に蓄積して記憶し、操作状態学習部３２７が蓄積された電流値Ｉａに基づいて、機械学習により、操作状態を電流値Ｉａとの関係を示す相関情報を生成する。例えば、検出信号Ｓｄに基づく電流値Ｉａ又は判定パラメータを入力として、操作状態を出力とする、状態判定モデルを相関情報として生成する。
これにより、個々のユーザに対応した相関情報を生成することができ、操作状態判定部３２５による操作状態の判定を、端末装置１００Ａを操作するユーザに最適化することができる。これにより、より精度よく操作状態を判定することができる。

［変形例］
なお、本発明は、上述した実施形態に限定されるものではなく、本発明の目的を達成できる範囲で、以下に示される変形をも含むものである。

［変形例１］
第二実施形態では、各操作状態でのタップ操作を入力させることで、操作状態の正解値と、検出信号Ｓｄや判定パラメータを学習データ（教師ありデータ）として取得したが、教師なしデータに基づいて、状態判定モデル等の相関情報を生成してもよい。
つまり、ユーザが端末装置１００Ａの操作のためにタッチパネル２をタップ操作した際の操作履歴として、タップ時の検出信号Ｓｄや判定パラメータを記憶部３１に記憶して蓄積する。そして、多数の教師なしデータである判定パラメータに基づいて、相関情報、又は、状態判定モデルを生成する。
人体を通ってフレームグラウンドに至る経路のインピーダンスＺｉは、ユーザ毎に大きく変動するものではなく、ユーザに限らず、Ｚ_６＜Ｚ_５＜Ｚ_７の関係は満たされる。したがって、各操作状態での判定パラメータの大小関係は、ユーザ毎に大きく変動するものではなく、上記のような教師なしデータであっても、多数の判定パラメータをクラスタリングして、各操作状態に対して判定パラメータの範囲がどの程度であるかを学習することが可能となる。

また、学習データに基づいて、相関情報を生成する場合、さらに、判定パラメータや検出信号Ｓｄの他、検出信号Ｓｄの分布を学習データとしてもよい。この場合、検出信号Ｓｄに基づいた電流値の変化を示す判定パラメータの他、操作体Ｈである指とタッチ面との接触面積を加味して、操作状態を判定する相関情報を生成することができる。

［変形例２］
上記第一実施形態及び第二実施形態では、判定パラメータに基づいて、操作状態を判定する例を示したが、操作状態として、端末装置１００，１００Ａを把持する手が左右どちらか、タッチパネル２に接触する手が左右どちらかといった操作方法の他、タッチパネル２に接触する操作体Ｈの種類を、さらに判定してもよい。
例えば、指による両手操作、爪による両手操作、タッチペンによる両手操作等で、それぞれ、タッチ点から人体を通りフレームグラウンドに至る経路のインピーダンスが異なる。したがって、両手操作、片手操作、及び据置操作に加え、さらに、操作体Ｈの種類（指、爪、タッチペン等）の操作状態をも判定してもよい。

［変形例３］
上記第一実施形態及び第二実施形態では、周期的にサンプリングされる検出信号Ｓｄに対応した電流値、又は、複数のタッチ点を中心とした複数の電極交点Ｐｉから出力される各検出信号Ｓｄの合計電流値を判定値とし、所定の待機期間での判定値の最大値、最大変化量、及び積分値の少なくともいずれかを判定パラメータとした。これに対して、所定期間での判定値のピーク値を判定パラメータとしてもよい。

［変形例４］
第一実施形態では、ステップＳ８で、表示変更部３２６は、操作状態に応じて画像の表示位置を変更する場合に、片手操作に対して、アイコン５１等の操作対象画像をタッチパネル２の周縁に寄せる例を示した。
これに対して、表示変更部３２６は、例えば、アイコン５１等の操作対象画像を画面中央部に凝集させるように、表示画像を変更してもよい。

また、第二実施形態のように、操作状態学習部３２７は、ユーザの片手操作でタップ操作を行った際の判定パラメータや、タッチ点を中心としたタッチ面積（指が接触した接触面積）を学習データとして取得する。この場合、タッチ面積に基づいて、ユーザがタッチ面２２０をタッチした際の平均面積を算出し、平均面積が得られるタッチ位置を、ユーザのタップ操作の最適位置として特定する。そして、表示変更部３２６は、このタップ操作の最適位置を中心に、アイコン５１等の操作対象画像を凝集させるように、表示画像を変更してもよい。

［変形例５］
上記第一実施形態及び第二実施形態では、本開示の情報処理装置である端末装置１００，１００Ａが、スマートフォン等の携帯型端末装置であり、入力装置としても機能する例を示した。これに対して、例えばパーソナルコンピュータ等の据置タイプの情報処理装置に対して、タッチセンサ及び筐体を備える入力装置が有線、又は無線で通信可能に接続される構成としてもよい。
また、この場合、入力装置に表示モジュール２１が設けられない構成としてもよい。

１…筐体、２…タッチパネル、３…制御回路部、２１…表示モジュール、２２…タッチセンサ、３１…記憶部、３２…制御部、５０…ホーム画面、５１…アイコン（操作対象画像）、１００，１００Ａ…端末装置（情報処理装置）、３２１…電流値取得部、３２２…タッチ検出部、３２３…待機判定部、３２４…パラメータ算出部、３２５…操作状態判定部、３２６…表示変更部、３２７…操作状態学習部（学習部）、Ｈ…操作体、Ｉａ…電流値。

Claims (9)

1. 所定の基準電位に維持された筐体、及び、操作体が接触可能なタッチ面を有するタッチセンサを備え、前記タッチ面が前記筐体の一部から露出する状態で前記タッチセンサが前記筐体に収納され、前記タッチ面に前記操作体が近接した時に、前記タッチ面から前記操作体を介して前記筐体に至る経路のインピーダンスに応じた電流値を出力する入力装置の操作状態を判定する情報処理装置であって、
   前記入力装置は、前記タッチ面に沿う第一方向に延びる複数の送信電極、及び前記タッチ面に沿いかつ前記第一方向に交差する第二方向に延びる受信電極を備え、前記送信電極及び前記受信電極が交差する電極交点には所定の静電容量が形成され、複数の前記送信電極に対して順に交流信号である駆動信号が送信され、前記操作体の近接によって、当該操作体の容量が前記静電容量に割り込んで結合することで前記受信電極での電流減少量を前記電流値として出力し、
   当該情報処理装置は、
   前記入力装置から出力される前記電流値を取得する電流値取得部と、
   前記電流値が増加を開始する時点を待機開始時点として検出し、前記待機開始時点から所定の待機時間が経過したか否かを判定する待機判定部と、
   前記待機開始時点から前記待機時間が経過したと判定された場合に、前記待機時間の経過期間における電流値の最大値、前記電流値の最大変化率、及び前記電流値の積分値の少なくともいずれかを判定パラメータとして算出するパラメータ算出部と、
   前記判定パラメータに基づいて、ユーザの前記入力装置の前記操作状態を判定する操作状態判定部と、
   を備えることを特徴とする情報処理装置。
2. 請求項１に記載の情報処理装置において、
   前記操作状態判定部は、前記操作状態と前記判定パラメータとの関係を示す相関情報と、前記パラメータ算出部により算出される前記判定パラメータとに基づいて、前記操作状態を判定する
   ことを特徴とする情報処理装置。
3. 請求項２に記載の情報処理装置において、
   前記パラメータ算出部により算出された前記判定パラメータを蓄積して記憶する記憶部と、
   蓄積された前記判定パラメータに基づいて、前記相関情報を機械学習する学習部と、
   を備えることを特徴とする情報処理装置。
4. 請求項１から請求項３のいずれか１項に記載の情報処理装置において、
   前記入力装置は、画像を表示させる表示モジュールと、前記タッチセンサとを組み合わせたタッチパネルを含み、
   前記タッチパネルに表示させる表示画像を、前記操作状態判定部により判定された前記操作状態に応じて変化させる表示変更部を備える
   ことを特徴とする情報処理装置。
5. 請求項４に記載の情報処理装置において、
   前記操作状態判定部は、前記操作状態として、前記ユーザが前記筐体を一方の片手で把持し、他方の片手又は前記他方の片手に保持された導体を前記操作体として前記タッチ面に接触させる操作である両手操作を行ったか、又は、前記ユーザが前記筐体を一方の片手で把持し、当該一方の片手の所定の指を前記操作体として前記タッチ面に接触させる操作である片手操作を行ったか、を判定し、
   前記表示変更部は、前記両手操作と判定された場合に、前記ユーザにより操作可能な操作対象画像を、予め設定された第一操作領域に表示させ、前記片手操作と判定された場合に、前記操作対象画像を、前記第一操作領域よりも前記タッチパネルの周縁に寄せて表示させる
   ことを特徴とする情報処理装置。
6. 請求項５に記載の情報処理装置において、
   前記操作状態判定部は、前記片手操作を判定された場合に、さらに、前記一方の片手が右手であるか左手であるかを判定し、
   前記表示変更部は、前記右手と判定された場合に、前記操作対象画像を前記タッチパネルの右に寄せ、前記左手と判定された場合に、前記操作対象画像を前記タッチパネルの左に寄せる
   ことを特徴とする情報処理装置。
7. 請求項１から請求項６のいずれか１項に記載の情報処理装置において、
   前記入力装置をさらに備える
   ことを特徴とする情報処理装置。
8. 所定の基準電位に維持された筐体、及び、操作体が接触可能なタッチ面を有するタッチパネルを備え、前記タッチ面が前記筐体の一部から露出する状態で前記筐体に収納され、前記タッチ面に前記操作体が接触した時に、前記タッチ面から前記操作体を介して前記筐体に至る経路のインピーダンスの差に応じた電流値を出力する入力装置の操作状態をコンピュータにより判定する情報処理方法であって、
   前記入力装置は、前記タッチ面に沿う第一方向に延びる複数の送信電極、及び前記タッチ面に沿いかつ前記第一方向に交差する第二方向に延びる受信電極を備え、前記送信電極及び前記受信電極が交差する電極交点には所定の静電容量が形成され、複数の前記送信電極に対して順に交流信号である駆動信号が送信され、前記操作体の近接によって、当該操作体の容量が前記静電容量に割り込んで結合することで前記受信電極での電流減少量を前記電流値として出力し、
   前記コンピュータは、電流値取得部、待機判定部、パラメータ算出部、及び操作状態判定部を備え、
   前記電流値取得部が、前記入力装置から出力される前記電流値を取得する電流値取得ステップと、
   前記待機判定部が、前記電流値が増加を開始する時点を待機開始時点として検出し、前記待機開始時点から所定の待機時間が経過したか否かを判定する待機判定ステップと、
   前記待機判定ステップで前記待機開始時点から前記待機時間が経過したと判定された場合に、前記パラメータ算出部が、前記待機時間の経過期間における前記電流値の最大値、前記電流値の最大変化率、及び前記電流値の積分値の少なくともいずれかを判定パラメータとして算出するパラメータ算出ステップと、
   前記操作状態判定部が、前記パラメータ算出ステップにより算出された前記判定パラメータに基づいて、ユーザの前記入力装置の前記操作状態を判定する操作状態判定ステップと、
   を実施することを特徴とする情報処理方法。
9. コンピュータにより読み取り実行される情報処理プログラムであって、
   前記コンピュータを、請求項１から請求項７のいずれか１項に記載の情報処理装置として機能させる
   ことを特徴とする情報処理プログラム。

Images