JP6183820B2 - 端末、及び端末制御方法 - Google Patents

Description

本発明は、端末、及び端末制御方法に関する。
本願は、２０１４年５月１６日に、日本に出願された特願２０１４−１０２５２１号に基づき優先権を主張し、その内容をここに援用する。

画面にタッチパネルが搭載されているスマートフォン等の携帯端末では、例えば５インチの比較的大きな画面サイズが実現されている。利用者が携帯端末を片手で保持し、保持した手の指でタッチパネルの操作を行う場合、指を伸ばしきっても画面に表示されるアイコンに届かないことがあった。このため、表示パネルに内蔵されたセンサによって検出された画像に基づいて表示パネルに接近または接触された利用者の指の向きを検出し、検出した指先にある表示対象物のアイコンを選択する。そして、利用者の指が届かない領域に表示されているアイコンに対して、利用者は、指をそのアイコン方向にスライドさせることで選択するアイコンを切り替えることが提案されている（例えば、特許文献１参照）。
また、端末をグリップしている手の親指が届く範囲を拡大操作エリアに設定し、拡大操作エリア内で現実のタッチ入力がタッチパネル全域への仮想的なタッチ入力となるように、タッチ点の座標を変換する。なお、拡大操作エリア上の操作と、その他の通常操作エリア上の操作とでモードを切り替えて、通常操作エリア上の操作ではタッチ点の変換を行わないことが提案されている（例えば、特許文献２参照）。

特開２０１０−１２２９７２号公報 特開２０１２−１３７８３７号公報

しかしながら、特許文献１及び特許文献２に記載の技術では、指が届かない領域に表示されているアイコンを選択するために、通常の操作とは異なる複数の操作を利用者が行う必要があった。特許文献１に記載の技術では、指の届かない領域に複数のアイコンが表示されている場合、その中のアイコンを選択するために、利用者が複数回指をスライドさせることが必要な場合があり、操作が煩雑であった。特許文献１に記載の技術では、アイコンの選択と、選択されたアイコンに対応する機能を実行することができても、指が届かない領域に表示されている画像に対して、ドラッグ操作やスワイプ操作ができなかった。
また、特許文献２に記載の技術では、拡大操作エリア上の操作において、このエリアから指がはみ出さないように気をつけて操作する必要があった。拡大操作エリアは、タッチパネル全体の内、利用者の指が届く範囲に設定される縮小されたエリアであるため、細かいドラッグ操作やタップ操作等が困難であった。特許文献２に記載の技術では、特別にこの領域を配置するため、既存のユーザーインターフェース上に重ねたり、特殊な領域を確保して既存の画面構成を修正する必要があった。
このように、特許文献１及び特許文献２に記載の技術では、片手で保持したときに指が届かないような大きな画面を有する端末において操作性が悪いという課題があった。

本発明の一態様は、上記の問題点に鑑みてなされたものであって、片手で保持したときに指が届かないような大きな画面であっても、片手による操作性を向上させることができる端末、及び端末制御方法を提供することを目的とする。

上記目的を達成するため、本発明の一態様に係る端末は、端末の表示部の所定の箇所に指の一部が接触していることを検出し、そして前記表示部上にかざされる前記指の形状を検出する検出部と、前記検出部によって検出された検出結果に基づいて、前記表示部上に表示されている画像を平行移動させる画像制御部と、を備える。

本発明の一態様によれば、端末は、片手で保持したときに指が届かないような大きな画面であっても、片手による操作性を向上させることができる。

第１実施形態に係る端末の外観の一例を示す斜視図である。 第１実施形態に係る端末の概略構成を説明するブロック図である。 利用者が端末を片手で保持している状態を説明する図である。 第１実施形態に係るタッチパネルの枠に予め設定されている領域の一例を説明する図である。 ホバリングについて説明する図である。 第１実施形態における所定の位置、表示部上の座標について説明する図である。 第１実施形態に係る処理手順のフローチャートである。 第１実施形態に係る処理の一例を説明する第１の図である。 第１実施形態に係る処理の一例を説明する第２の図である。 第１実施形態に係る処理の一例を説明する第３の図である。 第１実施形態に係る処理の一例を説明する第４の図である。 第１実施形態に係る処理の一例を説明する第５の図である。 第１実施形態に係る処理の一例を説明する第６の図である。 第２実施形態に係る処理手順のフローチャートである。 第２実施形態に係る処理の一例を説明する第１の図である。 第２実施形態に係る処理の一例を説明する第２の図である。 第２実施形態に係る処理の一例を説明する第３の図である。 第２実施形態に係る処理の一例を説明する第４の図である。 第２実施形態に係る処理の一例を説明する第１の図である。 第２実施形態に係る処理の一例を説明する第２の図である。 第２実施形態に係る処理の一例を説明する第３の図である。 第２実施形態に係る処理の一例を説明する第４の図である。

以下、図面を用いて本発明の実施形態について詳細に説明する。なお、本発明はかかる実施形態に限定されず、種々の変更が可能であり、それらの変更は全て本願の特許請求の範囲の技術的範囲に包含される。

＜第１実施形態＞
図１は、本実施形態に係る端末１の外観の一例を示す斜視図である。端末１は、扁平な矩形状の形状を有し、その一方の主要な面の大部分をタッチパネル１０が占有する。例えば、端末１の上端部にはスピーカー１１、カメラ１２、電源スイッチ１４が設けられ、下端部にはマイクロホン１３が設けられる。端末１の内部には、ＣＰＵ、コンピュータプログラムなどを格納する記憶装置、各種インターフェース、アンテナなどが設けられている。

図２は、本実施形態に係る端末１の概略構成を説明するブロック図である。
図２に示すように、端末１は、タッチパネル１０、検出部２０、表示部３０、判定部４０、通知部５０、タッチ情報処理部６０、画像制御部７０、記憶部８０、及びセンサ９０を主要なものとして備えている。また、判定部４０は、押圧判定部４１、位置判定部４２、及び、接触判定部４３及びを備えている。タッチ情報処理部６０は、タッチ情報変換部６１（変換部）及びタッチ情報反映部６２を備えている。端末１は、タッチパネルを有する機器であり、例えば携帯電話、タブレット端末、音楽再生装置、携帯型のカーナビゲーション、携帯型のルータ機能を有する無線通信端末、携帯型ゲーム機等である。

タッチパネル１０は、利用者のタッチ操作を受け付け、受け付けたタッチ操作を示すタッチ操作情報を検出部２０に出力する。タッチパネル１０は、表示部３０の画面上における接触を検出して、利用者からの操作入力を受け付ける。なお、タッチパネル１０のタッチ操作およびフローティングタッチ操作の両者の検出方式は、一例として投影型静電容量方式による。ただし、タッチ操作及びフローティングタッチ操作は、投影型静電容量方式での容量変化の程度により識別することができる。

検出部２０は、タッチ操作がされたことを検出する。例えば、タッチパネルが静電容量方式の場合、検出部２０は、タッチパネル１０に対するタッチ操作に応じて、タッチパネル１０が検出した静電容量の変化量を取得し、取得した静電容量の変化量に基づいてタッチ操作がされたことを検出する。以下の説明において、タッチパネル１０が検出した静電容量の変化量を「タッチ検出量」と称する。また、検出部２０には、押圧センサから入力された押圧検出値が入力される。なお、タッチ検出量及び押圧検出値には、タッチされた位置を示す情報が含まれている。ここで、位置情報とは、例えば、タッチパネル１０上に定められている座標である。検出部２０は、検出したタッチ検出量と押圧検出値とを検出結果として判定部４０に出力する。

表示部３０は、例えば液晶パネル、又は有機ＥＬディスプレイパネルを備え、画像制御部７０が出力したアイコン等を含む画像を表示する。なお、アイコンは、端末１の記憶部８０にインストールされている（または組み込まれている）アプリケーションを示す画像（記号表記）である。表示部３０に表示されるアイコンは、画像制御部７０が自動的にレイアウトしてもよく、または利用者がレイアウトするようにしてもよい。なお、タッチパネル１０と表示部３０とは薄型で略矩形状をした部材であって、両者は重ね合わせて一体として構成される。また、タッチパネル１０と表示部３０とは、一体に構成されていてもよい。
センサ９０は、端末１が利用者により縦長に保持されているか、横長に保持されているかを検出し。検出した結果を画像制御部７０に出力する。

押圧判定部４１は、検出部２０から入力された押圧検出値が予め定められている値以上であるか否かによって、タッチパネル１０が押下されたか否かを判定する。押圧判定部４１は、判定結果を接触判定部４３に出力する。なお、押圧判定部４１は、タッチパネル１０が静電容量方式の場合、タッチパネル１０が有する周囲等に配置された不図示の圧力センサによって、押圧を検出するようにしてもよい。または、タッチパネル１０が静電容量方式と抵抗膜方式のハイブリッド方式の場合、押圧判定部４１は、抵抗膜によって変化する抵抗値を検出することで、押圧を検出するようにしてもよい。
位置判定部４２は、押圧判定部４１によって押下されていると判定されたタッチパネル１０上における位置を検出する。位置判定部４２は、接触判定部４３によってタッチされていると判定したタッチパネル１０上における位置を検出する。位置判定部４２は、判定結果を接触判定部４３に出力する。

接触判定部４３は、タッチパネル１０の予め定められている周辺部（枠）に親指の付け根（拇指球）が接触しているか否かを判定する。接触判定部４３は、タッチパネル１０に指が接触した（タッチされた）か否かを判定する。接触判定部４３は、タッチパネル１０の枠に利用者の親指の付け根が接触し、かつ親指がタッチパネル１０上に接触せずにかざされている（ホバリング状態）であるか否かを判定する。接触判定部４３は、親指がホバリング状態のとき、かつ親指が伸ばされた状態である条件を満足するとき、親指の指先の位置の座標をホバー検出により検出する。接触判定部４３は、後述するように、表示部３０上の画像が移動された後、タッチパネル１０上が親指でタッチされたことを検出し、タッチされた位置を接触判定部４３の判定結果に基づいて検出する。ホバリング、ホバー検出については後述する。接触判定部４３は、親指の付け根の位置の座標を示す情報、親指の指先の位置を示す情報、及びタッチパネル１０上で親指が伸ばされている状態であることを示すトリガー情報、及び検出部２０から入力されたタッチ検出量を通知部５０に出力する。このトリガー情報が、表示部３０内の画像の移動開始のトリガーとなる。

ここで、接触判定部４３が行う判定を説明する。
接触判定部４３は、位置判定部４２の判定結果に基づいて、タッチパネル１０上でタッチされている位置がタッチパネル１０の枠であり、かつタッチされた位置を周知の手法でグルーピングしたとき所定の面積を有する場合に、タッチパネル１０の枠に親指の付け根が接触していると判定する。または、接触判定部４３は、押圧判定部４１によって押下されていると判定された位置がタッチパネル１０の枠であり、かつ押下された位置を周知の手法でグルーピングしたとき所定の面積を有する場合に、タッチパネル１０の枠に親指の付け根が接触していると判定する。なお、接触判定部４３は、押圧判定部４１によって検出された押圧された領域が所定の面積より大きい場合、また検出された押圧が所定の値より小さい場合、誤タッチであると判定する。誤タッチとは、利用者によってタッチパネル１０が意図されずにタッチされた場合であり、例えば、タッチパネル１０が掌に接するように利用者が端末１を保持した場合などの状態である。
接触判定部４３は、例えば記憶部８０に記憶されている親指の形状を示す情報に基づいて、タッチパネル１０上で親指がホバリング状態であるか否か、及び親指が伸ばされた状態であるか否かをホバー検出により判定する。
なお、指先の位置の判定、ホバリング状態の判定、及び親指が伸ばされている状態の判定は、カメラ１２によって撮像された画像を用いて行うようにしてもよい。

通知部５０には、親指の付け根の位置の座標を示す情報、親指の指先の位置を示す情報、トリガー情報、及びタッチ検出量が判定部４０から入力される。通知部５０は、トリガー情報が入力された場合、表示部３０内の画像の移動開始を示す移動開始情報を生成し、親指の付け根の位置の座標を示す情報、親指の指先の位置を示す情報、及び生成した移動開始情報を画像制御部７０に出力する。通知部５０は、後述するようにトリガー情報が入力された後、所定の処理が終了した場合、表示部３０内の画像の移動終了を示す移動終了情報を生成し、生成した移動終了情報を画像制御部７０に出力する。また、通知部５０は、移動開始情報及びタッチ検出量をタッチ情報処理部６０に出力する。

タッチ情報変換部６１は、通知部５０から移動開始情報が入力されていない場合、入力されたタッチ検出量に含まれる座標を変換せずにタッチ情報反映部６２に出力する。タッチ情報変換部６１は、通知部５０から移動開始情報が入力された場合、入力されたタッチ検出量に含まれる座標を変換し、変換した座標をタッチ情報反映部６２に出力する。

タッチ情報反映部６２は、タッチ情報変換部６１から入力された座標に基づいて、表示部３０内の画像に対する処理を行う。タッチ情報反映部６２は、所定の時間内に入力された座標が１つの場合、表示部３０上でタップ操作がされたと判定し、タップされたときに行う処理を行う。タッチ情報反映部６２は、所定の時間内に異なる座標が連続して入力された場合、指がスライドされたと判定し、画像のスライド処理を行う。タッチ情報反映部６２は、所定の時間内に同じ座標が入力された場合、表示部３０上が長押しされたと判定し、その座標に対応するメニューや選択画面等を表示させる。

画像制御部７０は、センサ９０から入力された検出結果に応じて、表示部３０上に画像を表示する。画像制御部７０は、センサ９０から入力された結果に応じて、座標の検出、画像を移動させるためのベクトルＶの計算、画像の移動を制御する。画像制御部７０は、通知部５０から移動開始情報が入力された場合、通知部５０から入力された親指の付け根の位置の座標を示す情報と、親指の指先の位置を示す情報とに基づいて、表示部３０上に表示されている画像を所定の位置に移動させる。なお、所定の位置とは、端末１を保持している利用者の親指が届く表示部３０上の領域である。画像制御部７０は、検出された親指の付け根の位置及び親指の指先の位置情報に基づいて、この所定の位置を算出する。画像制御部７０は、通知部５０から移動終了情報が入力された場合、所定の位置に移動させた画像を元の位置に戻す。
記憶部８０には、タッチパネル１０の枠に対して設定されている検出領域、親指の形状を示す情報等が記憶されている。

次に、本実施形態で行う処理について説明する。
図３は、利用者が端末１を片手で保持している状態を説明する図である。図３に示すように、本実施形態における端末１は、縦横の長さが、例えば利用者の親指の長さの２倍より短い。端末１は、例えば表示部３０が５インチ等のスマートフォンである。なお、以下では、右手で端末１を表示部３０が縦長になるように持って操作する場合の例について説明する。また、図３は、親指の指先がタッチパネル１０に接していない状態をタッチパネルの上から見た図である。図３において、表示部３０の長手方向をｘ軸、表示部３０の短手方向をｙ軸方向、端末１の厚み方向をｚ軸とする。なお、図３では、説明を簡単にするために、表示部３０上にアイコンが１つ表示されている場合を示している。

図３において、符号ｄが示す画像は、利用者の右手の親指を示す画像である。また、符号ｄｊが示す画像は、利用者の右手の親指の付け根（拇指球）を示す画像である。また、符号Ｉが示す画像は、表示部３０上に表示されるアイコンを示す画像である。また、符号３０１が示す領域は、右手の親指で操作可能な領域、符号３０２が示す領域は、右手の親指で操作できない領域を示している。端末１を片手で持って操作する場合、利用者は、図３に示すように、端末１を掌に載せて、親指の付け根と掌とで挟んで保持する。そして、利用者は、端末１を保持したまま、親指で表示部３０をタッチして操作する。図３に示す例では、表示部３０上に表示されているアイコンＩに、親指が届かない。
図４は、本実施形態に係るタッチパネル１０の枠に予め設定されている領域の一例を説明する図である。図４において、表示部３０の長手方向をｘ軸、表示部３０の短手方向をｙ軸方向とする。図４に示すように、タッチパネル１０の枠に端末１の端面からｘ軸方向に幅Ｌ１、ｙ軸方向に幅Ｌ２で囲まれる領域が、予め親指の付け根が接しているか否かの判定を行う位置として設定されている。この領域の情報は、記憶部８０または位置判定部４２に記憶されている。

図５は、ホバリングについて説明する図である。また、図５は、親指の指先がタッチパネル１０に接していない状態をタッチパネルの横から見た図である。図５において、表示部３０の短手方向をｙ軸、端末１の厚み方向をｚ軸とする。図５に示すように、指がタッチパネル１０から距離Ｌ１１離れて接していない状態をホバリング状態といい、この状態を検出することをホバー（ｈｏｖｅｒ）検出ともいう。ホバー検出では、タッチパネル１０が静電容量方式の場合、例えば、予め定められている静電容量の閾値に基づいて、指がタッチパネル１０上にタッチされている状態であるか、ホバリング状態であるか、タッチパネル１０上に指が無い状態であるかを検出する。

図６は、本実施形態における所定の位置、表示部３０上の座標について説明する図である。図６において、表示部３０の長手方向をｘ軸、表示部３０の短手方向をｙ軸方向とする。例えば、表示部３０の画素数がｙ１×ｘ１ドットの場合、表示部３０の左上の座標を（０，０）の原点とすると、右上の座標が（０、ｙ１）、左下の座標が（ｘ１、０）、右下の座標が（ｘ１，ｙ１）である。
また、図６において、符号３１１が示す領域は、表示部３０上に表示されている画像を移動させて表示させる領域であり、符号３１２が示す領域は、その他の領域である。図６に示すように、表示部３０上に表示されている画像を移動させて表示させる領域は、点（ｘ２、ｙ２）、（ｘ２、ｙ１）、（ｘ１，ｙ２）、及び（ｘ１，ｙ１）に囲まれた領域である。なお、図６に示す例では、親指の付け根の座標が（ｘ１，ｙ１）として検出され、親指の指先の座標が（ｘ２，ｙ２）として検出され、この２つの座標の延長線とタッチパネル１０の枠との接点が座標（０，０）であった例を示している。
ここで、図３のように利用者がタッチパネル１０の枠に親指の付け根を接触させ、親指をホバリング状態にして伸ばした状態にした場合、図６の矢印３２１に示すように表示部３０上に表示されている画像の左上が点（０，０）から点（ｘ２，ｙ２）の位置になるように画像制御部７０によって移動させられる。この結果、その他の領域に表示されていたアイコンＩは、画像の移動に伴って、中心の座標が（ｘ３，ｙ３）から（ｘ４，ｙ４）に移動させられる。

次に、親指の付け根が接触したことの検出、親指の指先の検出、及び画像の移動の処理手順を説明する。図７は、本実施形態に係る処理手順のフローチャートである。
（ステップＳ１）接触判定部４３と位置判定部４２とは、利用者の親指の付け根がタッチパネル１０枠の所定の領域で接触したか否かを判定する。親指の付け根がタッチパネル１０枠の所定の領域で接触したと判定された場合、位置判定部４２は、タッチパネル１０に接触している親指の付け根の座標（ｐＡ）を検出する。
（ステップＳ２）接触判定部４３は、利用者の親指がホバリング状態であるか否かを判定する。利用者の親指がホバリング状態であると判定された場合、位置判定部４２は、親指の先端の座標（ｐＢ）を検出し（ステップＳ２；ＹＥＳ）、トリガー信号を生成し、生成したトリガー信号を通知部５０に出力する。次に、通知部５０は、入力されたトリガー信号に応じて移動開始情報を画像制御部７０に出力し、処理をステップＳ３に進める。接触判定部４３は、利用者の親指がホバリング状態ではないと判定した場合（ステップＳ２；ＮＯ）、ステップＳ１０に進む。
（ステップＳ３）画像制御部７０は、センサ９０から入力された結果に応じて、端末１の表示部３０が縦長になるように保持されていると判別し、縦長に保持されている場合の処理に切り換える。次に、画像制御部７０は、座標ｐＡから座標ｐＢへの延長線と、タッチパネル１０枠との交点の座標（ｐＣ）を算出する。
（ステップＳ４）画像制御部７０は、ステップＳ３で算出した座標（ｐＣ）から座標（ｐＢ）へのベクトルＶを計算する。
（ステップＳ５）画像制御部７０は、座標（ｐＡ）から対角の位置にあるタッチパネル１０の角を基準として、算出したベクトルＶ分、表示部３０上の画像を平行移動させる。
（ステップＳ６）接触判定部４３は、タッチパネル１０への操作が行われたか否かを判定する。接触判定部４３は、タッチパネル１０への操作が行われたと判定した場合（ステップＳ６；ＹＥＳ）、ステップＳ８に進み、タッチパネル１０への操作が行われていないと判定した場合（ステップＳ６；ＮＯ）、ステップＳ７に進む。
（ステップＳ７）接触判定部４３は、予め定められている時間（一定時間）が経過したか否かを判定する。接触判定部４３は、一定時間が経過したと判定した場合（ステップＳ７；ＹＥＳ）、ステップＳ９に進み、一定時間が経過していないと判定した場合（ステップＳ７；ＮＯ）、ステップＳ６に戻る。
（ステップＳ８）タッチパネル情報変換部６１は、ステップＳ６で行われた操作によって検出された座標が所定の領域内の座標である場合に座標を変換し、検出された座標が所定の領域外の座標である場合に座標を変換しない。次に、タッチ情報反映部６２は、タッチパネル情報変換部７１から入力された座標に基づいて、所定の処理を行う。
（ステップＳ９）タッチ情報処理部６０は、ステップＳ８の所定の処理終了後、またはステップＳ７で一定時間が経過後、処理が終了したことを示す情報を通知部５０に出力する。次に、通知部５０は、入力された処理が終了したことを示す情報に応じて、移動終了情報を生成し、生成した移動終了情報を画像制御部７０に出力する。次に、画像制御部７０は、入力された移動終了情報に応じて、ステップＳ５で平行移動させた画像を元の位置に戻し、処理を終了する。
（ステップＳ１０）利用者の親指がホバリング状態ではないと判定された場合、接触判定部４３は、予め定められている時間（一定時間）が経過したか否かを判定する。なお、この一定時間は、ステップＳ７における一定時間と同じであっても異なっていてもよい。接触判定部４３は、一定時間が経過したと判定した場合（ステップＳ１０；ＹＥＳ）、ステップＳ１１に進み、一定時間が経過していないと判定した場合（ステップＳ１０；ＮＯ）、ステップＳ２に戻る。
（ステップＳ１１）接触判定部４３は、ステップＳ１で検出された座標（ｐＡ）への接触を無視し、処理を終了する。

次に、上述した処理の一例を、図８Ａ〜図８Ｆを用いて説明する。
図８Ａ〜図８Ｆは、本実施形態に係る処理の一例を説明する図である。図８Ａ〜図８Ｆにおいて、図３〜図６と同様に、表示部３０の長手方向をｘ軸方向、短手方向をｙ軸方向とする。また、アイコンＩは、アプリケーションに対応している。図８Ａ〜図８Ｆに示した例では、利用者は、符号Ｉに対応するアプリケーションを起動する場合を説明する図である。
図８Ａは、右手の親指で操作可能な領域４０１、画像を移動可能な最大ベクトル４０５を説明する図である。符号４０３及び４０４は、タッチパネル１０における対角線である。端末１では、片手で保持し、親指で操作可能な範囲がタッチパネル１０の縦幅と横幅より大きい領域を有している。利用者は、この領域４０１内に表示されている画像に対する操作を行いたいとき、操作したい箇所をタッチする。一方、利用者は、領域４０１外の領域４０２に表示されている画像に対する操作を行いたいとき、親指のホバリング状態を一定時間行う。この操作に応じて表示部３０上に表示されている画像が、ベクトルＶ分、平行移動される。移動可能な最大ベクトルＶが、対角線４０３と４０４との交点であるように設定されているので、一回の移動で全ての領域をカバーすることができる。この結果、親指が届かない領域の画像を一回の操作で引き寄せることができる。また、移動前に指が届かなかった範囲の画像が、画像の移動後に画面外に移動してしまうことがない。
図８Ｂは、親指の付け根の座標（ｐＡ）、親指の指先の座標（ｐＢ）を説明する図である。利用者は、端末１を右手で保持するので、右手の指の付け根をタッチパネル１０の枠に設定されている領域に接触されている。そして、利用者は、親指が届かないアイコンＩに親指の指先を向けて、ホバリング状態を一定時間継続する。この結果、判定部４０は、親指の付け根の座標（ｐＡ）と、親指の指先の座標（ｐＢ）を検出する。
図８Ｃは、座標ｐＡから座標ｐＢへの延長線と、タッチパネル１０枠との交点の座標（ｐＣ）を説明する図である。画像制御部７０は、検出された親指の付け根の座標（ｐＡ）から親指の指先の座標（ｐＢ）への延長線４０６と、タッチパネル１０枠との交点の座標（ｐＣ）を計算する。次に、画像制御部７０は、座標（ｐＣ）から座標（ｐＢ）へのベクトル４２０を計算する。なお、座標ｐＣ及びベクトルｖの算出は、判定部４０が行ってもよい。また、検出する座標は、所定の領域の重心等の座標であってもよい。
図８Ｄは、移動させるためのベクトル４３０を説明する図である。画像制御部７０は、持ち手の位置と対角線上の角を基準として、計算したベクトル４２０をベクトル４３０に変換する。これにより、座標（ｐＣ）が（ｐＣ’）に変換され、座標（ｐＢ）が（ｐＢ’）に変換される。そして、画像制御部７０は、座標（ｐＣ’）から（ｐＢ’）へのベクトル４３０分、表示部３０に表示されている画像を平行移動させる。この結果、表示部３０に表示されていた画像の左上の座標（ｐＣ’）が座標（ｐＢ’）に移動する。また、この移動に応じて、アイコンＩが親指の届く領域に移動する。
図８Ｅは、利用者によってアイコンＩがタップされたことを説明する図である。図８Ｄに示すように画像が移動された後、利用者は利用したいアイコンＩを選択するために親指の指先を移動させて、アイコンＩをタップする。
図８Ｆは、アイコンＩが選択されアプリケーションが起動したことを説明する図である。図８Ｅに示したようにアイコンＩが選択された場合、タッチ情報処理部６０は、選択されたアイコンＩに対応するアプリケーションを起動し、起動後に画像制御部７０がベクトル４３０分、平行移動させた画像を元の位置に戻す。この結果、表示部３０には、アプリケーション起動後の画像が表示される。一方、図８Ｄに示したように画像を移動させた後、一定時間経過後もタッチパネル１０上がタッチされなかった場合、画像制御部７０は、ベクトル４３０分、平行移動させた画像を元の位置に戻す。
なお、図８Ａ〜図８Ｆでは、利用者が表示部３０上に表示されているアイコンＩを選択する例を説明したが、これに限られない。例えば、利用者が移動後の画像に対してスワイプ、ダブルタップ等の操作を行った場合、タッチ情報処理部６０は行われた操作に応じた処理を行う。
また、本実施形態では、右手で端末１を保持して右手の親指で操作する例を説明したが、左手で保持して左手の親指で操作する場合も図７と同様の処理を行うことができる。
なお、タッチパネル１０と表示部３０とが一体型で赤外線光源が内蔵されている場合、指の形状及びホバー検出は、この光源からの反射光を含む信号と、指からの反射光を含まない外交のみによる信号を順に検出するバックライト差分法を用いて検出を行うようにしてもよい。この場合、タッチされた指の接触面積を解析することで、指の圧力を検出するようにしてもよい。また、タッチした指の画像解析を行うことで、タッチした指が親指であるか否か、また親指が伸びた状態であるかを検出するようにしてもよい。また、バックライト差分法によって検出されたシグナル光の強度を解析することで、指の高さを検出してホバー検出するようにしてもよい。
本発明の第１実施形態によれば、片手で保持したときに指が届かないような大きな画面の端末であっても、片手で把持しつつその片手の最小限の指先操作により所定の操作を行うことができるので、操作性を向上させることができる。なお、本実施形態では、表示部３０が縦長に保持された場合を説明したが、これに限られない。表示部３０の横の長さが、例えば利用者の親指の長さの２倍より短い端末１であれば、端末１が横長に保持した場合であっても、同様の処理を行うようにしてもよい。

＜第２実施形態＞
本実施形態では、端末の縦横の長さが利用者の親指の長さの２倍より長い例を説明する。このため、本実施形態では、表示部３０が横長になるように片手で保持して操作する例を説明する。なお、端末１の構成は、第１実施形態の図１で説明した構成と同様である。
本実施形態における端末１は、例えば表示部３０が１０インチ等のタブレット端末である。
図９は、本実施形態に係る処理手順のフローチャートである。
（ステップＳ１０１、Ｓ１０２）端末１は、ステップＳ１０１〜Ｓ１０２の処理をステップＳ１、Ｓ２（図７）と同様に行う。
（ステップＳ１０３）画像制御部７０は、センサ９０から入力された結果に応じて、端末１の表示部３０が横長になるように保持されていると判別し、横長に保持されている場合の処理に切り換える。次に、画像制御部７０は、座標（ｐＢ）から座標（ｐＡ）へのベクトルＶを計算する。
（ステップＳ１０４）画像処理部７０は、座標（ｐＡ）から対角の位置にあるタッチパネル１０の角を基準として、算出したベクトルＶ分、表示部３０上の画像を平行移動させる。
（ステップＳ１０５）接触判定部４３は、タッチパネル１０への操作が行われたか否かを判定する。接触判定部４３は、タッチパネル１０への操作が行われたと判定した場合（ステップＳ１０５；ＹＥＳ）、ステップＳ１１０に進み、タッチパネル１０への操作が行われていないと判定した場合（ステップＳ１０５；ＮＯ）、ステップＳ１０６に進む。
（ステップＳ１０６）画像制御部７０は、ステップＳ１０４でベクトルＶ分、平行移動させた後、平行移動の基準となる座標（例えば図１０Ｄの座標Ｋ１）が利用者の親指で操作可能な領域（例えば図１０Ｄの領域５０１）に入っているか否かを判別する。なお、平行移動の基準となる座標とは、利用者が端末１を右手で保持した場合、平行移動させた画像における左上の座標である。画像制御部７０は、平行移動の基準となる座標が利用者の親指で操作可能な領域に入っていると判別した場合（ステップＳ１０６；ＹＥＳ）、ステップＳ１０９に進み、平行移動の基準となる座標が利用者の親指で操作可能な領域に入っていないと判別した場合（ステップＳ１０６；ＮＯ）、ステップＳ１０７に進む。
（ステップＳ１０７）画像制御部７０は、利用者の親指の付け根の座標（ｐＡ）及び親指の指先の座標（ｐＢ）が変化していないか否かを判別する。なお、画像制御部７０は、座標（ｐＡ）と座標（ｐＢ）に加えて、親指のホバリング状態が保持されているか否か、親指が伸びた状態が継続しているか否かに基づいて、平行移動の基準となる画像が利用者の親指で操作可能な領域に入っているか否かを判別するようにしてもよい。画像制御部７０は、利用者の親指の付け根の座標（ｐＡ）及び親指の指先の座標（ｐＢ）が変化していないと判別した場合（ステップＳ１０７；ＹＥＳ）、ステップＳ１０８に進み、利用者の親指の付け根の座標（ｐＡ）及び親指の指先の座標（ｐＢ）が変化していると判別した場合（ステップＳ１０７；ＮＯ）、ステップＳ１０９に進む。なお、ステップＳ１０５〜Ｓ１０８を複数回繰り返しても、タッチパネル１０がステップＳ１０５で操作されたことが検出されない場合、利用者が親指を向ける向きを誤っていたため、画像の移動が適切ではなかったことが想定される。この場合、座標（ｐＡ）から対角線にある位置から画像が消失するまで、画像の移動を継続させた後に、画像を元の位置に戻すようにしてもよい。
（ステップＳ１０８）画像制御部７０は、前回、画像を移動させた位置から、さらにベクトルＶ分、画面を平行移動させる。画像制御部７０は、処理をステップＳ１０５に戻す。
（ステップＳ１０９）接触判定部４３は、予め定められている時間（一定時間）が経過したか否かを判定する。接触判定部４３は、一定時間が経過したと判定した場合（ステップＳ１０９；ＹＥＳ）、ステップＳ１１１に進み、一定時間が経過していないと判定した場合（ステップＳ１０９；ＮＯ）、ステップＳ１０５に戻る。なお、この一定時間は、ステップＳ１１２と同じであっても異なっていてもよい。
（ステップＳ１１０、Ｓ１１１）タッチ情報処理部６０は、ステップＳ１１０及びＳ１１１の処理を、ステップＳ８及びＳ９と同様に処理を行う。タッチ情報処理部６０は、ステップＳ１１１終了後、処理を終了する。
（ステップＳ１１２、Ｓ１１３）判定部４０は、ステップＳ１１２及びＳ１１３の処理を、ステップＳ１０及びＳ１１と同様に処理を行う。タッチ情報処理部６０は、ステップＳ１１３終了後、処理を終了する。

次に、上述した処理の一例を、図１０Ａ〜図１０Ｄ及び図１１Ａ〜図１１Ｄを用いて説明する。
図１０Ａ〜図１０Ｄ及び図１１Ａ〜図１１Ｄは、本実施形態に係る処理の一例を説明する図である。図１０Ａ〜図１０Ｄ及び図１１Ａ〜図１１Ｄにおいて、表示部３０の長手方向をｘ軸方向、短手方向をｙ軸方向とする。
図１０Ａは、親指で操作可能な領域５０１を説明する図である。図１０Ａ〜図１０Ｄ及び図１１Ａ〜図１１Ｄに示す例では、片手で保持された場合、端末１は、親指で操作可能な範囲がタッチパネル１０の縦幅と横幅より２倍以上大きい領域を有している。
図１０Ｂは、親指の付け根の座標（ｐＡ）、親指の指先の座標（ｐＢ）を説明する図である。図１０Ｂに示すように、利用者は、端末１を右手で保持するので、右手の指の付け根をタッチパネル１０の枠に設定されている領域に接触されている。利用者は、親指が届かないアイコンＩに親指の指先を向けて、ホバリング状態を一定時間継続する。
判定部４０は、親指の付け根の座標（ｐＡ）と、親指の指先の座標（ｐＢ）を検出する。
図１０Ｃは、座標ｐＢから座標ｐＡへのベクトル５２０を説明する図である。画像制御部７０は、座標（ｐＢ）から座標（ｐＡ）へのベクトル５２０を計算する。
図１０Ｄは、移動させるためのベクトル５３０を説明する図である。画像制御部７０は、持ち手の位置と対角線上の角を基準として、計算したベクトル５２０をベクトル５３０に変換する。そして、画像制御部７０は、ベクトル５３０分、表示部３０に表示されている画像を平行移動させる。この結果、表示部３０に表示されていた画像が移動する。
この平行移動により、表示部３０の左上の平行移動の基準となる座標が座標Ｋ１に移動する。図１０Ｄに示す例では、座標Ｋ１は、領域５０１外である。

図１１Ａは、二回目の画像の移動を説明する図である。一回目のベクトル５３０分の平行移動では基準となる座標Ｋ１が領域５０１外であり、アイコンＩが親指で操作できる領域に達していなかったため、画像制御部７０は、再度、ベクトル５３０分、画像を平行移動させる。ベクトル５３０の基点は、前回のベクトル５３０の終点Ｋ１と同じである。この平行移動により、平行移動の基準となる座標Ｋ１が座標Ｋ２に移動する。図１１Ａに示す例でも、座標Ｋ２は、領域５０１外である。
図１１Ｂは、三回目の画像の移動を説明する図である。二回目のベクトル５３０分の平行移動でも基準となる座標Ｋ２が領域５０１外であり、アイコンＩが親指で操作できる領域に達していなかったため、画像制御部７０は、再度、ベクトル５３０分、画像を平行移動させる。ベクトル５３０の基点は、前回のベクトル５３０の終点Ｋ２と同じである。画像制御部７０は、ベクトル５３０分の画像の平行移動を繰り返す。この平行移動により、平行移動の基準となる座標Ｋ３が領域５０１内に移動する。
図１１Ｃは、アイコンＩが選択されアプリケーションが起動したことを説明する図である。アイコンＩが選択された場合、タッチ情報処理部６０は、選択されたアイコンＩに対応するアプリケーションを起動し、起動後に画像制御部７０がベクトル５３０分、複数回、平行移動させた画像を元の位置に戻す。この結果、表示部３０には、アプリケーション起動後の画像が表示される。一方、画像を移動させた後、一定時間経過後もタッチパネル１０上がタッチされなかった場合、画像制御部７０は、ベクトル５３０分、平行移動させた画像を元の位置に戻す。
図１１Ｄは、アイコンＩが選択されない状態の一例を説明する図である。図１１Ｂに示す状態から利用者の指の状態が変えられ、タッチパネル１０に対する操作が行われずに一定時間が経過した場合、画像制御部７０は、移動させた画像を元の位置に戻す。
本発明の第２実施形態によれば、片手で保持したときに指が届かないような大きな横長の画面の端末であっても、片手で把持しつつその片手の最小限の指先操作により所定の操作を行うことができるので、操作性を向上させることができる。

以上のように、第１及び第２実施形態の端末１によれば、利用者は、端末１を片手で保持したのち、利用したい画像に向けて親指のホバリング状態を維持するだけで、自動的に指の届く範囲に使用したいアイコン等の画像が含まれた画像を引き寄せることができる。
この結果、第１及び第２実施形態によれば、片手で保持したときに指が届かないような大きな画面であっても、片手による操作性を向上させることができる。なお、親指の付け根がタッチパネル１０の所定の領域に接触していることを検出する例を説明したが、端末１が保持されていることを検出すればよく、検出は端末１の側面に取り付けられた不図示の圧力検出センサ等で行ってもよい。また、端末１は、センサ９０から入力された結果に応じて、表示部３０が縦長に保持された場合に第１実施形態で説明した処理を行い、表示部３０が横長に保持された場合に第２実施形態で説明した処理を行うようにしてもよい。この場合、判定部４０は、親指がホバリング状態のとき、上述した座標ｐＡ及び座標ｐＢと、予め記憶部８０に記憶されている表示部３０の大きさとに基づいて端末の縦横の長さが利用者の親指の長さの２倍より長いか否かを判定し、判定した結果に基づいて第１実施形態の処理または第２実施形態の処理を行うように選択するようにしてもよい。

なお、第１、第２実施形態の図１の端末１の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

本発明の一態様は、片手で保持したときに指が届かないような大きな画面であっても、片手による操作性を向上させることが必要な端末、及び端末制御方法などに適用することができる。

１…端末、１０…タッチパネル、２０…検出部、３０…表示部、４０…判定部、４１…押圧判定部、４２…位置判定部、４３…接触判定部、５０…通知部、６０…タッチ情報処理部、６１…タッチ情報変換部、６２…タッチ情報反映部、７０…画像制御部、８０…記憶部、９０…センサ、Ｉ…アイコン、Ｖ…ベクトル

Claims (5)

1. 端末の表示部の所定の箇所に指の一部が接触していることを検出し、そして前記表示部上にかざされる前記指の形状を検出する検出部と、
   前記検出部によって検出された検出結果に基づいて、前記表示部上に表示されている画像を平行移動させる画像制御部と、
   を備える端末。
2. 前記画像を移動させた後の表示部上の座標を変換する変換部、を備え、
   前記画像制御部は、前記変換部によって変換された座標に基づいて、前記表示部上で選択された画像に対する処理を行う請求項１に記載の端末。
3. 前記表示部の姿勢を検出するセンサ、を備え、
   前記画像制御部は、前記センサによって検出された結果に応じて、前記画像を移動させる量を決定する請求項１または請求項２に記載の端末。
4. 前記画像制御部は、
   前記表示部が縦長の場合、前記指の付け根の位置から前記指の指先の位置に延長した線と、前記表示部との交点を算出し、前記算出した交点から前記指の指先の位置へのベクトルに基づいて、前記画像を移動するように制御し、
   前記表示部が横長の場合、前記指の指先の位置から前記指の付け根の位置へのベクトルに基づいて、前記画像を移動するように制御する請求項１から請求項３のいずれか１項に記載の端末。
5. 検出部が、端末の表示部の所定の箇所に指の一部が接触していることを検出し、そして前記表示部上にかざされる前記指の形状を検出する検出手順と、
   画像制御部が、前記検出手順によって検出された検出結果に基づいて、前記表示部上に表示されている画像を平行移動させる画像制御手順と、
   を含む端末制御方法。