JP6560410B2

JP6560410B2 - 携帯端末及び制御方法

Info

Publication number: JP6560410B2
Application number: JP2018135343A
Authority: JP
Inventors: 晃徳和田
Original assignee: Kyocera Corp
Current assignee: Kyocera Corp
Priority date: 2018-07-18
Filing date: 2018-07-18
Publication date: 2019-08-14
Anticipated expiration: 2034-10-29
Also published as: JP2018185859A

Description

本出願は、携帯端末及び制御方法に関する。

従来、タッチスクリーンを備える電子機器では、タッチスクリーン上に表示されるインタフェースに対し、利用者が入力を誤ってしまう場合がある。このような問題に対して、タッチスクリーンに対して実際に感知されたタッチ入力点の位置の調整を行うことにより、データ入力の正確さを向上させる技術が知られている（特許文献１参照）。

特開平１０−９１３１８号公報

上記特許文献１に開示の技術は、利用者の入力に関する特定の傾向に応じて、タッチ入力点の位置を調整するものであるので、誤入力が特定の傾向によらないものである場合、特に振動に起因する場合にはタッチ入力点の位置の調整が難しいという問題がある。

上記のことから、ユーザ入力の位置をより正確に調整することができる携帯端末及び制御方法を提供する必要がある。

１つの態様に係る携帯端末は、表示部と、前記表示部に対応する接触位置を検出する接触位置検出部と、前記表示部に対する視線位置を検出する視線位置検出部と、前記表示部に対する接触位置と当該接触位置の検出が行われた際の前記表示部に対する視線位置との間に差分が生じた場合、当該接触位置の検出が行われた際の前記表示部に対する視線位置に基づいて前記表示部に対する接触位置を補正する制御部とを有する。

１つの態様に係る制御方法は、表示部を有する携帯端末に実行させる制御方法であって、表示部に対応する接触の位置を検出するステップと、前記表示部に対する視線の位置を検出するステップと、前記表示部に対する接触位置と当該接触位置の検出が行われた際の前記表示部に対する視線位置との間に差分が生じた場合、当該接触位置の検出が行われた際の前記表示部に対する視線位置に基づいて前記表示部に対する接触位置を補正するステップとを含む。

図１は、実施形態１に係るスマートフォンの機能構成を示すブロック図である。図２は、実施形態１に係るスマートフォンにより実行される処理の例を説明するための図である。図３は、実施形態１に係るスマートフォンにより実行される処理の例を説明するための図である。図４は、実施形態１に係るスマートフォンにより実行される処理の例を説明するための図である。図５は、実施形態１に係るスマートフォンによる処理の流れを示すフローチャートである。図６は、実施形態１に係るスマートフォンによる処理の流れを示すフローチャートである。図７は、実施形態１に係るスマートフォンによる処理の流れを示すフローチャートである。図８は、実施形態１に係るスマートフォンによる処理の流れを示すフローチャートである。図９は、実施形態２に係るスマートフォンの機能構成を示すブロック図である。図１０は、実施形態２に係るスマートフォンによる処理の流れを示すフローチャートである。

本発明を実施するための実施形態を、図面を参照しつつ詳細に説明する。以下では、本発明に係る携帯端末の一例として、スマートフォンについて説明する。

（実施形態１）
図１を参照しつつ、実施形態に係るスマートフォン１の機能構成の一例を説明する。図１は、実施形態１に係るスマートフォンの機能構成を示すブロック図である。以下の説明においては、同様の構成要素に同一の符号を付すことがある。さらに、重複する説明は省略することがある。

図１に示すように、スマートフォン１は、タッチスクリーンディスプレイ２と、ボタン３と、照度センサ４と、近接センサ５と、通信ユニット６と、レシーバ７と、マイク８と、ストレージ９と、コントローラ１０と、スピーカ１１と、カメラ１２と、赤外線照射部１３と、コネクタ１４と、加速度センサ１５と、方位センサ１６とを備える。

タッチスクリーンディスプレイ２は、ディスプレイ２Ａと、タッチスクリーン２Ｂとを有する。ディスプレイ２Ａ及びタッチスクリーン２Ｂは、例えば、重ねて配置されてもよいし、並べて配置されてもよいし、離して配置されてもよい。ディスプレイ２Ａとタッチスクリーン２Ｂとが重ねて配置される場合、例えば、ディスプレイ２Ａの１ないし複数の辺がタッチスクリーン２Ｂのいずれの辺とも沿っていなくてもよい。タッチスクリーンディスプレイ２は、表示部の一例である。

ディスプレイ２Ａは、液晶ディスプレイ（ＬＣＤ：ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ）、有機ＥＬディスプレイ（ＯＥＬＤ：ＯｒｇａｎｉｃＥｌｅｃｔｒｏ−ＬｕｍｉｎｅｓｃｅｎｃｅＤｉｓｐｌａｙ）、又は無機ＥＬディスプレイ（ＩＥＬＤ：ＩｎｏｒｇａｎｉｃＥｌｅｃｔｒｏ−ＬｕｍｉｎｅｓｃｅｎｃｅＤｉｓｐｌａｙ）等の表示デバイスを備える。ディスプレイ２Ａは、文字、画像、記号、及び図形等を表示する。ディスプレイ２Ａが表示する文字、画像、記号、及び図形等を含む画面には、ロック画面と呼ばれる画面、ホーム画面と呼ばれる画面、アプリケーションの実行中に表示されるアプリケーション画面が含まれる。ホーム画面は、デスクトップ、待受画面、アイドル画面、標準画面、アプリ一覧画面又はランチャー画面と呼ばれることもある。

タッチスクリーン２Ｂは、タッチスクリーン２Ｂに対する指、ペン、又はスタイラスペン等の接触を検出する。タッチスクリーン２Ｂは、複数の指、ペン、又はスタイラスペン等（以下、単に「指」という）がタッチスクリーン２Ｂ（タッチスクリーンディスプレイ２）に接触したときのタッチスクリーン２Ｂ上の位置（以下、接触位置と表記する）を検出することができる。タッチスクリーン２Ｂは、タッチスクリーン２Ｂに対する指の接触を、接触位置とともにコントローラ１０に通知する。タッチスクリーン２Ｂは、接触位置検出部の一例である。

タッチスクリーン２Ｂの検出方式は、静電容量方式、抵抗膜方式、表面弾性波方式（又は超音波方式）、赤外線方式、電磁誘導方式、及び荷重検出方式等の任意の方式でよい。以下の説明では、説明を簡単にするため、利用者はスマートフォン１を操作するために指を用いてタッチスクリーン２Ｂに接触するものと想定する。

コントローラ１０（スマートフォン１）は、タッチスクリーン２Ｂにより検出された接触、接触が検出された位置、接触が検出された位置の変化、接触が検出された間隔、及び接触が検出された回数の少なくとも１つに基づいて、ジェスチャの種別を判別する。ジェスチャは、指を用いて、タッチスクリーン２Ｂ（タッチスクリーンディスプレイ２）に対して行われる操作である。コントローラ１０（スマートフォン１）が、タッチスクリーン２Ｂを介して判別するジェスチャには、例えば、タッチ、ロングタッチ、リリース、スワイプ、タップ、ダブルタップ、ロングタップ、ドラッグ、フリック、ピンチイン、及びピンチアウトが含まれるが、これらに限定されない。

ボタン３は、利用者からの操作入力を受け付ける。ボタン３の数は、単数であっても、複数であってもよい。

照度センサ４は、照度を検出する。照度は、照度センサ４の測定面の単位面積に入射する光束の値である。照度センサ４は、例えば、ディスプレイ２Ａの輝度の調整に用いられる。

近接センサ５は、近隣の物体の存在を非接触で検出する。近接センサ５は、磁界の変化又は超音波の反射波の帰還時間の変化等に基づいて物体の存在を検出する。近接センサ５は、例えば、ディスプレイ２Ａが顔に近づけられたことを検出する。照度センサ４及び近接センサ５は、１つのセンサとして構成されていてもよい。照度センサ４は、近接センサとして用いられてもよい。

通信ユニット６は、無線により通信する。通信ユニット６によってサポートされる無線通信規格には、例えば、２Ｇ、３Ｇ、４Ｇ等のセルラーフォンの通信規格と、近距離無線の通信規格がある。セルラーフォンの通信規格としては、例えば、ＬＴＥ（ＬｏｎｇＴｅｒｍＥｖｏｌｕｔｉｏｎ）、Ｗ−ＣＤＭＡ（ＷｉｄｅｂａｎｄＣｏｄｅＤｉｖｉｓｉｏｎＭｕｌｔｉｐｌｅＡｃｃｅｓｓ）、ＷｉＭＡＸ（ＷｏｒｌｄｗｉｄｅＩｎｔｅｒｏｐｅｒａｂｉｌｉｔｙｆｏｒＭｉｃｒｏｗａｖｅＡｃｃｅｓｓ）、ＣＤＭＡ２０００、ＰＤＣ（ＰｅｒｓｏｎａｌＤｉｇｉｔａｌＣｅｌｌｕｌａｒ）、ＧＳＭ（登録商標）（ＧｌｏｂａｌＳｙｓｔｅｍｆｏｒＭｏｂｉｌｅＣｏｍｍｕｎｉｃａｔｉｏｎｓ）、ＰＨＳ（ＰｅｒｓｏｎａｌＨａｎｄｙ−ｐｈｏｎｅＳｙｓｔｅｍ）等がある。近距離無線の通信規格としては、例えば、ＩＥＥＥ８０２．１１、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩｒＤＡ（ＩｎｆｒａｒｅｄＤａｔａＡｓｓｏｃｉａｔｉｏｎ）、ＮＦＣ（ＮｅａｒＦｉｅｌｄＣｏｍｍｕｎｉｃａｔｉｏｎ）、ＷＰＡＮ（ＷｉｒｅｌｅｓｓＰｅｒｓｏｎａｌＡｒｅａＮｅｔｗｏｒｋ）等がある。ＷＰＡＮの通信規格には、例えば、ＺｉｇＢｅｅ（登録商標）がある。通信ユニット６は、上述した通信規格の１つ又は複数をサポートしていてもよい。

レシーバ７は、音出力部である。レシーバ７は、コントローラ１０から送信される音信号を音として出力する。レシーバ７は、例えば、通話時に相手の声を出力するために用いられる。マイク８は、音入力部である。マイク８は、利用者の音声等を音信号へ変換してコントローラ１０へ送信する。

ストレージ９は、プログラム及びデータを記憶する。ストレージ９は、コントローラ１０の処理結果を一時的に記憶する作業領域としても利用される。ストレージ９は、半導体記憶媒体、及び磁気記憶媒体等の任意の非一過的（ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ）な記憶媒体を含んでよい。ストレージ９は、複数の種類の記憶媒体を含んでよい。ストレージ９は、メモリカード、光ディスク、又は光磁気ディスク等の記憶媒体と、記憶媒体の読み取り装置との組み合わせを含んでよい。ストレージ９は、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）等の一時的な記憶領域として利用される記憶デバイスを含んでよい。

ストレージ９に記憶されるプログラムには、フォアグランド又はバックグランドで実行されるアプリケーションと、アプリケーションの動作を支援する制御プログラム（図示略）とが含まれる。フォアグランドで実行されるアプリケーションは、例えば、ディスプレイ２Ａに画面が表示される。制御プログラムには、例えば、ＯＳが含まれる。アプリケーション及び基本プログラムは、通信ユニット６による無線通信又は非一過的な記憶媒体を介してストレージ９にインストールされてもよい。

ストレージ９は、視線位置検出プログラム９Ａ、接触位置補正プログラム９Ｂ、電話アプリケーション９Ｃ、設定データ９Ｚなどを記憶する。

視線位置検出プログラム９Ａは、タッチスクリーンディスプレイ２に対する利用者の視線位置を検出するための機能を提供する。なお、視線位置は、利用者の眼球内にある瞳孔の中心位置を起点として直線的に延伸する視線がタッチスクリーンディスプレイ２と交差するときのタッチスクリーンディスプレイ２上の位置に該当する。

視線位置検出プログラム９Ａは、例えば、利用者の画像に対して角膜反射法に基づくアルゴリズムを適用することにより、上記視線位置を検出する。具体的には、視線位置検出プログラム９Ａは、利用者の画像を取得する際に、赤外線照射部１３から赤外線を照射させる。視線位置検出プログラム９Ａは、取得した利用者の画像から、瞳孔の位置と赤外線の角膜反射の位置をそれぞれ特定する。視線位置検出プログラム９Ａは、瞳孔の位置と赤外線の角膜反射の位置の位置関係に基づいて、利用者の視線の方向を特定する。視線位置検出プログラム９Ａは、瞳孔の位置が角膜反射の位置よりも目尻側にあれば、視線の方向は目尻側であると判定し、瞳孔の位置が角膜反射の位置よりも目頭側にあれば、視線の方向は目頭側であると判定する。視線位置検出プログラム９Ａは、例えば、虹彩の大きさに基づいて、利用者の眼球とタッチスクリーンディスプレイ２との距離を算出する。視線位置検出プログラム９Ａは、利用者の視線の方向と、利用者の眼球とタッチスクリーンディスプレイ２との距離とに基づいて、利用者の眼球内にある瞳孔の中心位置から、瞳孔を起点とする視線がタッチスクリーンディスプレイ２と交差するときのタッチスクリーンディスプレイ２上の位置である視線位置を検出する。

上記の例では、視線位置検出プログラム９Ａが、角膜反射法を利用した処理を実行することにより、利用者の視線位置を検出する場合を説明したが、この例には限られない。例えば、視線位置検出プログラム９Ａが、利用者の画像について画像認識処理を実行することにより、上記視線位置を検出するようにしてもよい。例えば、視線位置検出プログラム９Ａは、利用者の画像から、利用者の眼球を含む所定の領域を抽出し、目頭と虹彩との位置関係に基づいて視線方向を特定し、特定した視線方向と、利用者の眼球からタッチスクリーンディスプレイ２までの距離とに基づいて上記視線位置を検出する。あるいは、視線位置検出プログラム９Ａは、利用者がタッチスクリーンディスプレイ２上の表示領域各所を閲覧しているときの複数の眼球の画像を参照画像としてそれぞれ蓄積しておき、参照画像と、判定対象として取得される利用者の眼球の画像とを照合することにより、上記視線位置を検出する。視線位置検出プログラム９Ａは、接触位置検出部の一例である。

接触位置補正プログラム９Ｂは、タッチスクリーンディスプレイ２に対する接触位置と当該接触位置の検出が行われた際のタッチスクリーンディスプレイ２に対する視線位置との間に差分が生じた場合、当該接触位置の検出が行われた際のタッチスクリーンディスプレイ２に対する視線位置に基づいてタッチスクリーンディスプレイ２に対する接触位置を補正するための機能を提供する。

具体的に説明すると、接触位置補正プログラム９Ｂは、タッチスクリーンディスプレイ２に対する接触位置とタッチスクリーンディスプレイ２に対する視線位置とが完全一致しない場合には、接触位置と視線位置との間に差分が生じたと判定する。あるいは、接触位置補正プログラム９Ｂは、タッチスクリーンディスプレイ２に対する接触位置とタッチスクリーンディスプレイ２に対する視線位置とが一致しない場合、接触位置と視線位置との間の距離を検出し、検出した距離が閾値を超える場合には、接触位置と視線位置との間に差分が生じたと判定してもよい。

接触位置補正プログラム９Ｂは、接触位置と視線位置との間に差分が生じたと判定すると、接触位置の検出が行われた際のタッチスクリーンディスプレイ２に対する上記視線位置を、補正後の接触位置として決定する。あるいは、接触位置補正プログラム９Ｂは、接触位置と視線位置との間に差分が生じたと判定すると、タッチスクリーンディスプレイ２に対する接触位置と当該接触位置の検出が行われた際のタッチスクリーンディスプレイ２に対する上記視線位置とを結ぶ線上の所定位置を補正後の接触位置に決定する。あるいは、接触位置補正プログラム９Ｂは、接触位置と視線位置との間に差分が生じたと判定すると、タッチスクリーンディスプレイ２に表示される画面に含まれる複数の操作対象の中から、上記視線位置に対応する操作対象を１つ特定し、特定した操作対象がタッチスクリーンディスプレイ２に表示されている位置を補正後の上記接触位置として決定する。

電話アプリケーション９Ｃは、無線通信による通話のための通話機能を提供する。電話アプリケーション９Ｃにより提供される機能には、通話を実行するための画面をタッチスクリーンディスプレイ２に表示する機能が含まれる。

設定データ９Ｚは、制御プログラム、視線位置検出プログラム９Ａ及び接触位置補正プログラム９Ｂによる機能に基づいて実行される処理に用いられる各種データを含んで構成される。設定データ９Ｚは、例えば、利用者の眼球に関する各種データを含んでよい。設定データ９Ｚは、例えば、補正後の上記接触位置を決定するために用いるパラメータを含んでよい。

コントローラ１０は、演算処理装置である。演算処理装置は、例えば、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、ＳｏＣ（Ｓｙｓｔｅｍ−ｏｎ−ａ−Ｃｈｉｐ）、ＭＣＵ（ＭｉｃｒｏＣｏｎｔｒｏｌＵｎｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ−ＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）、およびコプロセッサを含むが、これらに限定されない。コントローラ１０は、スマートフォン１の動作を統括的に制御して各種の機能を実現する。コントローラ１０は、制御部の一例である。

具体的には、コントローラ１０は、ストレージ９に記憶されているデータを必要に応じて参照しつつ、ストレージ９に記憶されているプログラムに含まれる命令を実行する。そして、コントローラ１０は、データ及び命令に応じて機能部を制御し、それによって各種機能を実現する。機能部は、例えば、ディスプレイ２Ａ、通信ユニット６、マイク８、スピーカ１１、及び赤外線照射部１３を含むが、これらに限定されない。コントローラ１０は、検出部の検出結果に応じて、制御を変更することがある。検出部は、例えば、タッチスクリーン２Ｂ、ボタン３、照度センサ４、近接センサ５、マイク８、カメラ１２、加速度センサ１５、及び方位センサ１６を含むが、これらに限定されない。

コントローラ１０は、視線位置検出プログラム９Ａを実行することにより、上記視線位置を検出する処理を実行する。コントローラ１０は、接触位置補正プログラム９Ｂを実行することにより、次の処理を実行する。すなわち、コントローラ１０は、タッチスクリーンディスプレイ２に対する接触位置と当該接触位置の検出が行われた際のタッチスクリーンディスプレイ２に対する視線位置との間に差分が生じた場合、当該接触位置の検出が行われた際のタッチスクリーンディスプレイ２に対する視線位置に基づいてタッチスクリーンディスプレイ２に対する接触位置を補正する。

以下、図２〜図４を用いて、実施形態１に係るスマートフォン１により実行される処理の例を説明する。図２〜図４は、実施形態１に係るスマートフォン１により実行される処理の例を説明するための図である。図２及び図３に示す目１００は、スマートフォン１を操作する利用者の目に該当する。図２及び図３に示す指２００は、スマートフォン１を操作する利用者の指に該当する。

図２に示すように、スマートフォン１は、タッチスクリーンディスプレイ２に対する接触位置Ｐ１と、タッチスクリーンディスプレイ２に対する視線位置Ｐ２との間に差分があるかを判定する（ステップＳ１１）。視線位置Ｐ２は、タッチスクリーン２Ｂにより接触位置Ｐ１の検出が行われた際の利用者の視線位置に対応する。

スマートフォン１は、判定の結果、接触位置Ｐ１と視線位置Ｐ２との間に差分がある場合、接触位置Ｐ１の検出が行われた際のタッチスクリーンディスプレイ２に対する視線位置Ｐ２を、補正後の接触位置Ｐ３として決定する（ステップＳ１２）。スマートフォン１は、利用者によって実際に操作された接触位置Ｐ１に対応する処理を実行するのではなく、補正後の接触位置Ｐ３に対応する処理を実行する。

図３に示すように、スマートフォン１は、タッチスクリーンディスプレイ２に対する接触位置Ｐ１と、タッチスクリーンディスプレイ２に対する視線位置Ｐ２との間に差分があるかを判定する（ステップＳ２１）。

スマートフォン１は、判定の結果、接触位置Ｐ１と視線位置Ｐ２との間に差分がある場合、タッチスクリーンディスプレイ２に対する接触位置Ｐ１と当該接触位置Ｐ１の検出が行われた際のタッチスクリーンディスプレイ２に対する視線位置Ｐ２とを結ぶ線上の所定位置を、補正後の接触位置Ｐ３として決定する（ステップＳ２２）。図３に示す例では、スマートフォン１は、例えば、接触位置Ｐ１と視線位置Ｐ２とを結ぶ線分の中点を、補正後の接触位置Ｐ３に決定する。スマートフォン１は、利用者によって実際に操作された接触位置Ｐ１に対応する処理を実行するのではなく、補正後の接触位置Ｐ３に対応する処理を実行する。

図４に示すように、スマートフォン１は、タッチスクリーンディスプレイ２に電話アプリケーション９Ｃの画面５０を表示する（ステップＳ３１）。画面５０に含まれる複数のキーは、操作対象の一例である。

続いて、スマートフォン１は、タッチスクリーンディスプレイ２に表示される画面５０に対する接触位置Ｐ１と、タッチスクリーンディスプレイ２に対する視線位置Ｐ２との間に差分があるかを判定する（ステップＳ３２）。

スマートフォン１は、判定の結果、接触位置Ｐ１と視線位置Ｐ２との間に差分がある場合、複数の操作対象として画面５０に含まれる複数のキーの中から視線位置Ｐ２に対応するキーを１つ特定し、特定したキーがタッチスクリーンディスプレイ２に表示されている位置を補正後の接触位置Ｐ３として決定する（ステップＳ３３）。図４に示す例では、スマートフォン１は、視線位置Ｐ２に対応するキー５０ｋを特定し、特定したキー５０ｋが表示されている位置を補正後の接触位置Ｐ３に決定する。スマートフォン１は、利用者によって実際に操作された接触位置Ｐ１に対応する処理を実行するのではなく、補正後の接触位置Ｐ３に対応する処理を実行する。その結果、例えば、画面５０には数字の「５」が表示される。

スピーカ１１は、音出力部である。スピーカ１１は、コントローラ１０から送信される音信号を音として出力する。スピーカ１１は、例えば、着信音及び音楽を出力するために用いられる。レシーバ７及びスピーカ１１の一方が、他方の機能を兼ねてもよい。

カメラ１２は、撮影した画像を電気信号へ変換する。カメラ１２は、ディスプレイ２Ａに面している物体を撮影するインカメラである。カメラ１２は、例えば、タッチスクリーンディスプレイ２に視線を向ける利用者の眼球の画像を撮影する。カメラ１２は、インカメラ及びアウトカメラを切り換えて利用可能なカメラユニットとしてスマートフォン１に実装されてもよい。赤外線照射部１３は、カメラ１２により実行される撮影に同期して、赤外線を照射する。

コネクタ１４は、他の装置が接続される端子である。コネクタ１４は、ＵＳＢ（ＵｎｉｖｅｒｓａｌＳｅｒｉａｌＢｕｓ）、ＨＤＭＩ（登録商標）（Ｈｉｇｈ−ＤｅｆｉｎｉｔｉｏｎＭｕｌｔｉｍｅｄｉａＩｎｔｅｒｆａｃｅ）、ライトピーク（サンダーボルト（登録商標））、イヤホンマイクコネクタのような汎用的な端子であってもよい。コネクタ１４は、Ｄｏｃｋコネクタのような専用の端子でもよい。コネクタ１４に接続される装置は、例えば、外部ストレージ、スピーカ、及び通信装置を含むが、これらに限定されない。

加速度センサ１５は、スマートフォン１に作用する加速度の方向及び大きさを検出する。方位センサ１６は、例えば、地磁気の向きを検出し、地磁気の向きに基づいて、スマートフォン１の向き（方位）を検出する。

スマートフォン１は、上記の各機能部の他、ＧＰＳ受信機、及びバイブレータを備えてもよい。ＧＰＳ受信機は、ＧＰＳ衛星からの所定の周波数帯の電波信号を受信し、受信した電波信号の復調処理を行って、処理後の信号をコントローラ１０に送出する。バイブレータは、スマートフォン１の一部又は全体を振動させる。バイブレータは、振動を発生させるために、例えば、圧電素子、又は偏心モータなどを有する。図１には示していないが、バッテリなど、スマートフォン１の機能を維持するために当然に用いられる機能部はスマートフォン１に実装される。

図５〜図８を参照しつつ、実施形態１に係るスマートフォン１による処理の流れを説明する。図５〜図８は、実施形態１に係るスマートフォン１による処理の流れを示すフローチャートである。図５〜図８に示す処理は、コントローラ１０が、ストレージ９に記憶されている視線位置検出プログラム９Ａ、及び接触位置補正プログラム９Ｂなどを実行することにより実現される。

図５を用いて、実施形態１に係るスマートフォン１による基本的な処理の流れを説明する。図５に示すように、コントローラ１０は、タッチスクリーンディスプレイ２に対する視線位置が検出されたかを判定する（ステップＳ１０１）。コントローラ１０は、判定の結果、タッチスクリーンディスプレイ２に対する視線位置が検出されない場合には（ステップＳ１０１，Ｎｏ）、ステップＳ１０１の処理手順を繰り返す。

一方、コントローラ１０は、判定の結果、タッチスクリーンディスプレイ２に対する視線位置が検出された場合には（ステップＳ１０１，Ｙｅｓ）、タッチスクリーンディスプレイ２に対する接触位置が検出されたかを判定する（ステップＳ１０２）。コントローラ１０は、判定の結果、タッチスクリーンディスプレイ２に対する接触位置が検出されない場合には（ステップＳ１０２，Ｎｏ）、ステップＳ１０２の処理手順を繰り返す。

一方、コントローラ１０は、判定の結果、タッチスクリーンディスプレイ２に対する接触位置が検出された場合には（ステップＳ１０２，Ｙｅｓ）、ステップＳ１０１で検出された視線位置と、ステップＳ１０２で検出された接触位置との間に差分があるかを判定する（ステップＳ１０３）。

コントローラ１０は、判定の結果、ステップＳ１０１で検出された視線位置と、ステップＳ１０２で検出された接触位置との間に差分がある場合には（ステップＳ１０３，Ｙｅｓ）、ステップＳ１０１で検出された視線位置に基づいて、ステップＳ１０２で検出された接触位置の補正を実行する（ステップＳ１０４）。

続いて、コントローラ１０は、ステップＳ１０４における補正後の接触位置に基づく処理を実行し（ステップＳ１０５）、図５に示す処理を終了する。

上記ステップＳ１０３において、コントローラ１０は、判定の結果、ステップＳ１０１で検出された視線位置と、ステップＳ１０２で検出された接触位置との間に差分がない場合には（ステップＳ１０３，Ｎｏ）、ステップＳ１０２で検出された接触位置に基づく処理を実行し（ステップＳ１０６）、図５に示す処理を終了する。

上記図５に示す処理において、ステップＳ１０１の処理手順と、ステップＳ１０２の処理手順は、順序が逆であってもよい。また、上記図５に示す処理において、タッチスクリーンディスプレイ２に対する視線位置が検出されない状態で、接触位置だけが先に検出された場合には、接触位置に基づいて処理を実行するような設定に変更可能としてもよい。

図６を用いて、上記図２に対応するスマートフォン１による処理の流れを説明する。図６に示すように、コントローラ１０は、タッチスクリーンディスプレイ２に対する視線位置が検出されたかを判定する（ステップＳ２０１）。コントローラ１０は、判定の結果、タッチスクリーンディスプレイ２に対する視線位置が検出されない場合には（ステップＳ２０１，Ｎｏ）、ステップＳ２０１の処理手順を繰り返す。

一方、コントローラ１０は、判定の結果、タッチスクリーンディスプレイ２に対する視線位置が検出された場合には（ステップＳ２０１，Ｙｅｓ）、タッチスクリーンディスプレイ２に対する接触位置が検出されたかを判定する（ステップＳ２０２）。コントローラ１０は、判定の結果、タッチスクリーンディスプレイ２に対する接触位置が検出されない場合には（ステップＳ２０２，Ｎｏ）、ステップＳ２０２の処理手順を繰り返す。

一方、コントローラ１０は、判定の結果、タッチスクリーンディスプレイ２に対する接触位置が検出された場合には（ステップＳ２０２，Ｙｅｓ）、ステップＳ２０１で検出された視線位置と、ステップＳ２０２で検出された接触位置との間に差分があるかを判定する（ステップＳ２０３）。

コントローラ１０は、判定の結果、ステップＳ２０１で検出された視線位置と、ステップＳ２０２で検出された接触位置との間に差分がある場合には（ステップＳ２０３，Ｙｅｓ）、ステップＳ２０１で検出された視線位置を、補正後の接触位置として決定する（ステップＳ２０４）。これにより、例えば、指がキーボード上にある視線位置を遮らないように、視線位置から離れた箇所を接触位置とすることができる。

続いて、コントローラ１０は、ステップＳ２０４における補正後の接触位置に基づく処理を実行し（ステップＳ２０５）、図６に示す処理を終了する。

上記ステップＳ２０３において、コントローラ１０は、判定の結果、ステップＳ２０１で検出された視線位置と、ステップＳ２０２で検出された接触位置との間に差分がない場合には（ステップＳ２０３，Ｎｏ）、ステップＳ２０２で検出された接触位置に基づく処理を実行し（ステップＳ２０６）、図６に示す処理を終了する。

図７を用いて、上記図３に対応するスマートフォン１による処理の流れを説明する。図７に示すように、コントローラ１０は、タッチスクリーンディスプレイ２に対する視線位置が検出されたかを判定する（ステップＳ３０１）。コントローラ１０は、判定の結果、タッチスクリーンディスプレイ２に対する視線位置が検出されない場合には（ステップＳ３０１，Ｎｏ）、ステップＳ３０１の処理手順を繰り返す。

一方、コントローラ１０は、判定の結果、タッチスクリーンディスプレイ２に対する視線位置が検出された場合には（ステップＳ３０１，Ｙｅｓ）、タッチスクリーンディスプレイ２に対する接触位置が検出されたかを判定する（ステップＳ３０２）。コントローラ１０は、判定の結果、タッチスクリーンディスプレイ２に対する接触位置が検出されない場合には（ステップＳ３０２，Ｎｏ）、ステップＳ３０２の処理手順を繰り返す。

一方、コントローラ１０は、判定の結果、タッチスクリーンディスプレイ２に対する接触位置が検出された場合には（ステップＳ３０２，Ｙｅｓ）、ステップＳ３０１で検出された視線位置と、ステップＳ３０２で検出された接触位置との間に差分があるかを判定する（ステップＳ３０３）。

コントローラ１０は、判定の結果、ステップＳ３０１で検出された視線位置と、ステップＳ３０２で検出された接触位置との間に差分がある場合には（ステップＳ３０３，Ｙｅｓ）、ステップＳ３０１で検出された視線位置と、ステップＳ３０２で検出された接触位置とを結ぶ線上の所定位置を、補正後の接触位置として決定する（ステップＳ３０４）。

続いて、コントローラ１０は、ステップＳ３０４における補正後の接触位置に基づく処理を実行し（ステップＳ３０５）、図７に示す処理を終了する。

上記ステップＳ３０３において、コントローラ１０は、判定の結果、ステップＳ３０１で検出された視線位置と、ステップＳ３０２で検出された接触位置との間に差分がない場合には（ステップＳ３０３，Ｎｏ）、ステップＳ３０２で検出された接触位置に基づく処理を実行し（ステップＳ３０６）、図７に示す処理を終了する。

図８を用いて、上記図４に対応するスマートフォン１による処理の流れを説明する。図８に示すように、コントローラ１０は、タッチスクリーンディスプレイ２に対する視線位置が検出されたかを判定する（ステップＳ４０１）。コントローラ１０は、判定の結果、タッチスクリーンディスプレイ２に対する視線位置が検出されない場合には（ステップＳ４０１，Ｎｏ）、ステップＳ４０１の処理手順を繰り返す。

一方、コントローラ１０は、判定の結果、タッチスクリーンディスプレイ２に対する視線位置が検出された場合には（ステップＳ４０１，Ｙｅｓ）、タッチスクリーンディスプレイ２に対する接触位置が検出されたかを判定する（ステップＳ４０２）。コントローラ１０は、判定の結果、タッチスクリーンディスプレイ２に対する接触位置が検出されない場合には（ステップＳ４０２，Ｎｏ）、ステップＳ４０２の処理手順を繰り返す。

一方、コントローラ１０は、判定の結果、タッチスクリーンディスプレイ２に対する接触位置が検出された場合には（ステップＳ４０２，Ｙｅｓ）、ステップＳ４０１で検出された視線位置と、ステップＳ４０２で検出された接触位置との間に差分があるかを判定する（ステップＳ４０３）。

コントローラ１０は、判定の結果、ステップＳ４０１で検出された視線位置と、ステップＳ４０２で検出された接触位置との間に差分がある場合には（ステップＳ４０３，Ｙｅｓ）、タッチスクリーンディスプレイ２に表示される複数の操作対象の中から視線位置に対応する操作対象を１つ特定し、特定した操作対象の表示位置を補正後の接触位置として決定する（ステップＳ４０４）。

続いて、コントローラ１０は、ステップＳ４０４における補正後の接触位置に基づく処理を実行し（ステップＳ４０５）、図８に示す処理を終了する。

上記ステップＳ４０３において、コントローラ１０は、判定の結果、ステップＳ４０１で検出された視線位置と、ステップＳ４０２で検出された接触位置との間に差分がない場合には（ステップＳ４０３，Ｎｏ）、ステップＳ４０２で検出された接触位置に基づく処理を実行し（ステップＳ４０６）、図８に示す処理を終了する。

上記の実施形態１では、スマートフォン１は、タッチスクリーンディスプレイ２に対する接触位置と当該接触位置の検出が行われた際のタッチスクリーンディスプレイ２に対する視線位置との間に差分が生じた場合、当該接触位置の検出が行われた際のタッチスクリーンディスプレイ２に対する視線位置に基づいてタッチスクリーンディスプレイ２に対する接触位置を補正する。このため、実施形態１によれば、利用者による入力の位置をより正確に調整することができる。

（実施形態２）
図９を参照しつつ、実施形態２に係るスマートフォン１の機能構成の一例を説明する。
図９は、実施形態２に係るスマートフォン１の機能構成を示すブロック図である。実施形態２に係るスマートフォン１の機能構成は、以下に説明する点が実施形態１とは異なる。

ストレージ９は、閾値データ９Ｄをさらに記憶する。閾値データは、コントローラ１０により実行される処理に用いられる。閾値データ９Ｄは、スマートフォン１に作用する振動の大きさを判定するためのデータである。ここで、振動の大きさとは、単位時間内に発生した最大振幅のことである。

接触位置補正プログラム９Ｂは、タッチスクリーンディスプレイ２に対する接触位置と当該接触位置の検出が行われた際のタッチスクリーンディスプレイ２に対する視線位置との間に差分が生じた場合に、当該接触位置の検出が行われた際のスマートフォン１に作用する振動の大きさが所定の閾値以上であるかを判定する機能をさらに提供する。接触位置補正プログラム９Ｂは、判定の結果、スマートフォン１に作用する振動の大きさが所定の閾値以上である場合には上記接触位置を補正し、スマートフォン１に作用する振動の大きさが所定の閾値以上ではない場合には上記接触位置を補正しない機能をさらに提供する。

コントローラ１０は、接触位置補正プログラム９Ｂを実行することにより、以下の処理を実行する。コントローラ１０は、加速度センサ１５の検出結果に基づいて、スマートフォン１に作用する振動の大きさを計測する。コントローラ１０は、タッチスクリーンディスプレイ２に対する接触位置と当該接触位置の検出が行われた際のタッチスクリーンディスプレイ２に対する視線位置との間に差分が生じた場合、スマートフォン１に作用する振動の大きさが所定の閾値以上であるかを判定する。コントローラ１０は、判定の結果、スマートフォン１に作用する振動の大きさが所定の閾値以上である場合には上記接触位置を補正し、スマートフォン１に作用する振動の大きさが所定の閾値以上ではない場合には上記接触位置を補正しない。

図１０を参照しつつ、実施形態２に係るスマートフォン１による処理の流れを説明する。図１０は、実施形態２に係るスマートフォン１による処理の流れを示すフローチャートである。図１０に示す処理は、コントローラ１０が、ストレージ９に記憶されている視線位置検出プログラム９Ａ、及び接触位置補正プログラム９Ｂなどを実行することにより実現される。図１０に示す処理は、ステップＳ５０４及びステップＳ５０７の処理手順が、実施形態１に係るスマートフォン１による処理（例えば、図５に示す処理）とは異なる。

図１０に示すように、コントローラ１０は、タッチスクリーンディスプレイ２に対する視線位置が検出されたかを判定する（ステップＳ５０１）。コントローラ１０は、判定の結果、タッチスクリーンディスプレイ２に対する視線位置が検出されない場合には（ステップＳ５０１，Ｎｏ）、ステップＳ５０１の処理手順を繰り返す。

一方、コントローラ１０は、判定の結果、タッチスクリーンディスプレイ２に対する視線位置が検出された場合には（ステップＳ５０１，Ｙｅｓ）、タッチスクリーンディスプレイ２に対する接触位置が検出されたかを判定する（ステップＳ５０２）。コントローラ１０は、判定の結果、タッチスクリーンディスプレイ２に対する接触位置が検出されない場合には（ステップＳ５０２，Ｎｏ）、ステップＳ５０２の処理手順を繰り返す。

一方、コントローラ１０は、判定の結果、タッチスクリーンディスプレイ２に対する接触位置が検出された場合には（ステップＳ５０２，Ｙｅｓ）、ステップＳ５０１で検出された視線位置と、ステップＳ５０２で検出された接触位置との間に差分があるかを判定する（ステップＳ５０３）。

コントローラ１０は、判定の結果、ステップＳ５０１で検出された視線位置と、ステップＳ５０２で検出された接触位置との間に差分がある場合には（ステップＳ５０３，Ｙｅｓ）、スマートフォン１に作用する振動の大きさが閾値以上であるかを判定する（ステップＳ５０４）。

コントローラ１０は、判定の結果、スマートフォン１に作用する振動の大きさが閾値以上である場合には（ステップＳ５０４，Ｙｅｓ）、ステップＳ５０１で検出された視線位置に基づいて、ステップＳ５０２で検出された接触位置の補正を実行する（ステップＳ５０５）。

続いて、コントローラ１０は、ステップＳ５０５における補正後の接触位置に基づく処理を実行し（ステップＳ５０６）、図１０に示す処理を終了する。

上記ステップＳ５０４において、コントローラ１０は、判定の結果、スマートフォン１に作用する振動の大きさが閾値以上ではない場合には（ステップＳ５０４，Ｎｏ）、ステップＳ５０２で検出された接触位置に基づく処理を実行せずに（ステップＳ５０７）、図１０に示す処理を終了する。すなわち、コントローラ１０は、スマートフォン１に対して所定の大きさの振動が作用している場合には、視線位置と接触位置とのずれが利用者の誤操作によるものであると判定し、接触位置に基づく処理を行わない。

上記ステップＳ５０３において、コントローラ１０は、判定の結果、ステップＳ５０１で検出された視線位置と、ステップＳ５０２で検出された接触位置との間に差分がない場合には（ステップＳ５０３，Ｎｏ）、ステップＳ５０２で検出された接触位置に基づく処理を実行し（ステップＳ５０８）、図１０に示す処理を終了する。

実施形態２によれば、スマートフォン１は、自機に対して所定の大きさの振動が作用している場合には接触位置の補正を行って、補正後の接触位置に基づく処理を実行する。一方、スマートフォン１は、自機に対して所定の大きさの振動が作用していない場合には、接触位置に基づく処理を実行しない。このため、実施形態２によれば、振動などの環境要因に基づく利用者の誤操作と単なる誤操作と区別して、利用者による入力の位置調整を状況に応じて実行することができる。

上記の実施形態では、添付の請求項に係る装置の例として、スマートフォン１について説明したが、添付の請求項に係る装置は、スマートフォン１に限定されない。添付の請求項に係る装置は、タッチスクリーンを有する電子機器であれば、スマートフォン以外の装置であってもよい。

添付の請求項に係る技術を完全かつ明瞭に開示するために特徴的な実施形態に関し記載してきた。しかし、添付の請求項は、上記の実施形態に限定されるべきものでなく、本明細書に示した基礎的事項の範囲内で当該技術分野の当業者が創作しうるすべての変形例及び代替可能な構成により具現化されるべきである。

１スマートフォン
２タッチスクリーンディスプレイ
２Ａディスプレイ
２Ｂタッチスクリーン
３ボタン
４照度センサ
５近接センサ
６通信ユニット
７レシーバ
８マイク
９ストレージ
９Ａ視線位置検出プログラム
９Ｂ接触位置補正プログラム
９Ｃ電話アプリケーション
９Ｄ閾値データ
９Ｚ設定データ
１０コントローラ
１１スピーカ
１２カメラ
１３赤外線照射部
１４コネクタ
１５加速度センサ
１６方位センサ

Claims

表示部と、
画像を取得する画像取得部と、
前記表示部に対応する接触位置を検出する接触位置検出部と、
前記画像取得部により取得された画像に基づいて前記表示部に対する視線位置を検出する視線位置検出部と、
前記接触位置検出部により検出された接触位置と当該接触位置の検出が行われた際の前記表示部に対する視線位置との間に差分が生じた場合、当該接触位置に対応する処理を実行せず、当該接触位置の検出が行われた際の前記表示部に対する視線位置に基づいて前記表示部に対する接触位置として決定した補正後の接触位置に対応する処理を実行する制御部と
を有し、
前記制御部は、前記表示部に対する接触位置と当該接触位置の検出が行われた際の前記表示部に対する視線位置とを結ぶ線上の所定位置を、補正後の前記接触位置として決定する携帯端末。
前記制御部は、前記表示部に対する接触位置と当該接触位置の検出が行われた際の前記表示部に対する視線位置との間に差分が生じた場合に、当該接触位置の検出が行われた際の自機に作用する振動の大きさが所定の閾値以上であるかを判定し、
判定の結果、自機に作用する振動の大きさが所定の閾値以上である場合には前記表示部に対する接触位置を補正し、自機に作用する振動の大きさが所定の閾値以上ではない場合には前記表示部に対する接触位置を補正しない請求項１に記載の携帯端末。
表示部と画像取得部とを有する携帯端末に実行させる制御方法であって、
前記表示部に対応する接触位置を検出するステップと、
前記画像取得部により取得された画像に基づいて前記表示部に対する視線の位置を検出するステップと、
前記接触位置を検出するステップにより検出された接触位置と当該接触位置の検出が行われた際の前記表示部に対する視線位置との間に差分が生じた場合、当該接触位置に対応する処理を実行せず、当該接触位置の検出が行われた際の前記表示部に対する視線位置に基づいて前記表示部に対する接触位置として決定した補正後の接触位置に対応する処理を実行するステップと
を含み、
前記補正後の接触位置に対応する処理を実行するステップは、
前記表示部に対する接触位置と当該接触位置の検出が行われた際の前記表示部に対する視線位置とを結ぶ線上の所定位置を、補正後の前記接触位置として決定する
制御方法。