JP5798103B2 - 端末装置、画面表示方法、プログラム - Google Patents

端末装置、画面表示方法、プログラム Download PDF

Info

Publication number
JP5798103B2
JP5798103B2 JP2012243783A JP2012243783A JP5798103B2 JP 5798103 B2 JP5798103 B2 JP 5798103B2 JP 2012243783 A JP2012243783 A JP 2012243783A JP 2012243783 A JP2012243783 A JP 2012243783A JP 5798103 B2 JP5798103 B2 JP 5798103B2
Authority
JP
Japan
Prior art keywords
display
finger
physical quantity
target key
key
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012243783A
Other languages
English (en)
Other versions
JP2014092988A (ja
Inventor
昌志 多賀谷
昌志 多賀谷
小林 茂子
茂子 小林
昌克 塚本
昌克 塚本
禎矩 青柳
禎矩 青柳
森永 康夫
康夫 森永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Docomo Inc
Original Assignee
NTT Docomo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Docomo Inc filed Critical NTT Docomo Inc
Priority to JP2012243783A priority Critical patent/JP5798103B2/ja
Priority to US14/440,501 priority patent/US20150277760A1/en
Priority to PCT/JP2013/079356 priority patent/WO2014069504A1/ja
Priority to EP13851150.6A priority patent/EP2933713B1/en
Publication of JP2014092988A publication Critical patent/JP2014092988A/ja
Application granted granted Critical
Publication of JP5798103B2 publication Critical patent/JP5798103B2/ja
Priority to US16/122,550 priority patent/US20190004699A1/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233Character input methods
    • G06F3/0236Character input methods using selection techniques to select from displayed items
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412Digitisers structurally integrated in a display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0489Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using dedicated keyboard keys or combinations thereof
    • G06F3/04895Guidance during keyboard input operation, e.g. prompting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/02Constructional features of telephone sets
    • H04M1/23Construction or mounting of dials or of equivalent devices; Means for facilitating the use thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/041012.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04805Virtual magnifying lens, i.e. window or frame movable on top of displayed information to enlarge it for better reading or selection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/22Details of telephonic subscriber devices including a touch pad, a touch sensor or a touch detector

Description

本発明は主にタッチパネルを介して入力操作を行う端末装置、当該端末装置の画面表示方法、ホバー位置補正方法、プログラムに関する。
昨今、タッチパネル上に仮想キーボード等を表示し、ユーザの指の接触を静電容量の変化や、押圧力の変化により検知することにより、タッチパネルを介して入力操作を行うことができる端末装置(例えば、携帯端末、タブレット型コンピュータ、PDA、電子書籍端末、デジタルオーディオプレーヤー、ゲーム機など)が増えている。図1を参照して、従来のタッチパネル入力方式の携帯端末におけるキー入力について説明する。図1は従来の携帯端末の仮想キーボード表示とキー入力の様子を示した図である。図1に示すように、携帯端末などの小型の装置に仮想キーボードを表示する場合、画面サイズの制約上、仮想キーボードのひとつひとつのキーのサイズが指のサイズと比べ小さくなる傾向がある。このため、ユーザが仮想キーボードを使用してキー入力をする場合に、自身の指が邪魔になって、押そうとしているキーや、それに隣接するキーが見えなくなり、誤入力が発生することが問題であった。このような課題を解決するため、特許文献1の携帯電子機器は、指やスタイラスがタッチパネルに近づいたことを検知して、一定範囲内にあるキーを拡大表示する。図2を参照して特許文献1の携帯電子機器が行うキー拡大表示について補足する。図2は、特許文献1の携帯電子機器が行うキー拡大表示の態様を示す図であって、スタイラスまたは指の先端からタッチパネル面と垂直な方向に延びる仮想線と、タッチパネルとの交点(点Bという)が、キー「K」が表示される領域内に存在し、スタイラスや指の先端からタッチパネルまでの距離Dが所定の距離より短い状態である場合のキー拡大表示の態様を示すものである。この場合、特許文献1の携帯電子機器の制御部は、図2に示すように、キー「K」およびキー「K」近傍にあるキーの表示を拡大し、キー入力が行いやすい状態に仮想キーボードの表示を変更する。
特開2012−94008号公報
図3を参照して、特許文献1の携帯電子機器が行うキー拡大表示の問題点について説明する。図3は、特許文献1の携帯電子機器が行うキー拡大表示の問題点を表す図である。図3に示すように、特許文献1の携帯電子機器が対象となるキーおよびその近傍のキーの拡大表示を実行してもなお、対象となるキー「K」がユーザの操作指に完全に隠れて見えなくなる場合がある。この場合は、先ほどの場合と同様に、ユーザ自身の指が邪魔になり、押そうとしているキーが見えなくなり、誤入力が発生しやすくなる。これは携帯電話などの小型の端末装置の画面サイズが非常に小さく、多少キーを拡大表示したくらいでは、対象となるキーの表示が指のサイズより大きくはならないことが原因である。この問題を解決するために、対象となるキーが指で隠れない程度に、キー拡大率を増大させた場合、今度は、画面全体に占める拡大キーの割合が大きくなりすぎてしまい、ユーザが見ようとする他の情報も拡大キーによって隠されてしまい、かえってユーザの利便性を損なうということが課題であった。そこで本発明では、ユーザが入力しやすいキー表示をすることができる端末装置を提供することを目的とする。
本発明の端末装置は、ホバー位置検出部と、対象キー特定部と、ユーザ補助表示制御部と、ディスプレイとを備える。
ホバー位置検出部は、操作指のタッチパネルへの接近度合いを示す物理量の分布を計測し、当該物理量の分布からホバー位置を検出する。対象キー特定部は、ホバー位置の座標を含む表示領域に対応するキーを対象キーとして特定する。ユーザ補助表示制御部は、対象キーを表す補助表示を対象キーの表示位置と異なる位置に表示させる旨を示す表示制御信号を生成する。ディスプレイは、表示制御信号に従って画面表示を実行する。
本発明の端末装置によれば、ユーザが入力しやすいキー表示をすることができる。
従来の携帯端末の仮想キーボード表示とキー入力の様子を示した図。 特許文献1の携帯電子機器が行うキー拡大表示の態様を示す図。 特許文献1の携帯電子機器が行うキー拡大表示の問題点を表す図。 本発明の端末装置が行うキー表示の態様を示す図。 実施例1から実施例8の携帯端末の構成を示すブロック図。 実施例1から実施例8の携帯端末の動作を示すフローチャート。 実施例1のホバー位置補正部の構成を示すブロック図。 実施例1のホバー位置補正部の動作を示すフローチャート。 実施例1のホバー位置補正部の動作を例示する図。 実施例1のユーザ補助表示制御部の構成を示すブロック図。 実施例1のユーザ補助表示制御部の動作を示すフローチャート。 補助表示のバリエーションを例示する図。 補助表示のバリエーションを例示する図。 実施例2のホバー位置補正部の構成を示すブロック図。 実施例2のホバー位置補正部の動作を示すフローチャート。 静電容量分布と補正量の関係を例示する図。 静電容量分布と補正量の関係を例示する図。 実施例3のホバー位置補正部の構成を示すブロック図。 実施例3のホバー位置補正部の動作を示すフローチャート。 操作指が親指である場合の、補正量と補正方向について例示する図。 操作指が人差し指である場合の、補正量と補正方向について例示する図。 静電容量分布と指の幅、指の軸方向との関係について説明する図。 静電容量分布から指の幅、指の軸方向を検知する処理の例を説明する図。 実施例4のホバー位置補正部の構成を示すブロック図。 実施例4のホバー位置補正部の動作を示すフローチャート。 実施例4のホバー位置補正部に記憶される検出除外領域を例示する図。 実施例5のユーザ補助表示制御部の構成を示すブロック図。 実施例5のユーザ補助表示制御部の動作を示すフローチャート。 実施例5のユーザ補助表示制御部の動作例を示す図。 実施例6のユーザ補助表示制御部の構成を示すブロック図。 実施例6のユーザ補助表示制御部の動作を示すフローチャート。 ホバー高さと拡大率の関係を例示する図。 実施例7のユーザ補助表示制御部の構成を示すブロック図。 実施例7のユーザ補助表示制御部の動作を示すフローチャート。 透過度と移動速度(滞留時間)の関係について例示する図。 実施例8のユーザ補助表示制御部の構成を示すブロック図。 実施例8のユーザ補助表示制御部の動作を示すフローチャート。 静電容量分布と最適な補助表示の表示位置の関係について例示する図。 静電容量分布と最適な補助表示の表示位置の関係について例示する図。
以下、本発明の実施の形態について、詳細に説明する。なお、同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。
以下、図4を参照して本発明の端末装置が行うユーザ補助表示の概要について説明する。図4は本発明の端末装置が行うユーザ補助表示の態様を示す図である。本発明の端末装置は、図4に示すように、ユーザの指(スタイラス)の先端と、タッチパネルとの距離Dが、所定の距離以下に接近した場合に、ユーザの指(スタイラス)の先端から伸びるタッチパネル面と垂直な線分と、タッチパネル面との交点(点B)が所定のキー(図4ではキー「M」)の表示領域内に存在する場合、当該所定のキー(キー「M」)の当初の表示位置から所定の距離ずらした位置に補助表示(キー「M」)を表示させることを特徴とする。詳細は後述するが、距離D、点Bは、タッチパネル表面の静電容量や赤外線量により計測することができる。図4の例では、キー「M」が当初表示された位置より、画面上方向にずれた位置に表示されている。これによりユーザは、押そうとするキーが自身の指に隠れて見えにくくなること無く、キー入力を行うことが可能となるため、キーの誤入力を防ぐことができる。
<端末装置>
図4では、携帯端末を例示したが、本発明は、携帯端末に限らず、タッチパネルを介して入力操作を行うことができる電子機器(携帯端末、タブレット型コンピュータ、PDA、電子書籍端末、デジタルオーディオプレーヤー、ゲーム機など)であれば、どんなものにでも適用可能である。従って、本明細書において「端末装置」という場合、タッチパネルを介して入力操作を行うことができる電子機器全般を示すものとして用いる。なお、以下の実施例1〜実施例8では、端末装置の例として、携帯端末を示して説明を進める。
<操作指のタッチパネルへの接近度合いを示す物理情報>
本発明では、ユーザの操作指の先端とタッチパネルとの距離Dが所定の距離以下に接近した場合に所定のキーに対して補助表示を行う。ここで距離Dは、静電容量や赤外線量などの物理量の最大値から予測することができる。以下の実施例では、静電容量を用いた例を説明するが、指の接近を検知できる物理量であれば、必ずしも静電容量を用いなくても良く、任意の物理量に代替可能である。
以下、図5から図13を参照して、実施例1の携帯端末1について説明する。図5は実施例1から実施例8の携帯端末の構成を示すブロック図である。図6は実施例1から実施例8の携帯端末の動作を示すフローチャートである。図7は本実施例のホバー位置補正部12の構成を示すブロック図である。図8は本実施例のホバー位置補正部12の動作を示すフローチャートである。図9は本実施例のホバー位置補正部12の動作を例示する図である。図10は本実施例のユーザ補助表示制御部14の構成を示すブロック図である。図11は本実施例のユーザ補助表示制御部14の動作を示すフローチャートである。図12、図13は補助表示のバリエーションを例示する図である。
図5に示す通り、本実施例の携帯端末1は、ホバー位置検出部11と、ホバー位置補正部12と、対象キー特定部13と、ユーザ補助表示制御部14と、ディスプレイ15とを備える。なお、本実施例および後述する他の実施例の携帯端末は、これ以外にも通常の携帯端末が備えるアンテナ、送信機、受信機、スピーカ、レシーバ、データ処理回路、電源部、UIMなどを備えているが、本発明の説明と関係がないため、説明および図示を略する。
<ホバー位置検出部11>
ホバー位置検出部11は、操作指のタッチパネルへの接近度合いを示す物理量の分布を計測し、当該物理量が最大値となるタッチパネル上の位置(以下、ホバー位置という)を検出する(S11)。例えば、ホバー位置検出部11は、静電容量センサを備え、タッチパネル表面の静電容量を所定のピッチで計測することで静電容量分布を取得し、静電容量が最大となる点をホバー位置(点B)であるものとして検出する。この方法では、指の位置が遠くても、必ず静電容量が最大となる点がホバー位置として検出されるため、閾値を定めておき、静電容量の最大値が閾値を超過する場合に限り、静電容量が最大となる点をホバー位置として検出することとすればよい。ホバー位置検出部11は、静電容量以外の物理量(赤外線など)の分布を測定して、操作指のタッチパネルへの接近度合いを検知しても良い。
<ホバー位置補正部12>
図9に示すように、ホバー位置検出部11が検出したホバー位置(点B)と、ユーザが押そうと意識している点(点A)には若干のずれがある。これは人間がボタンやタッチパネルを指先で押下しようとするときに最初に接触する指の部分と、ボタンやタッチパネルが押される直前におけるタッチパネル上の操作指の接近度合いを示す物理量の分布におけるピーク位置を生じさせる指の部分が若干異なっていることが原因である。具体的には、タッチパネルなどに最初に接触する指の部分は指の腹の領域のうち、指先端に近い箇所であり、物理量の分布におけるピーク位置を発生させる指の部分は、指の腹の領域のうち、タッチパネルなどに最初に接触する指の部分よりも若干指の付け根側にシフトしている。従って図9に示すように、点Aよりも画面下側方向に1〜数ミリ程度シフトした位置に点Bが存在することが多い。そこで、ホバー位置補正部12は、ホバー位置検出部11が検出したホバー位置(点B)を予め定めた所定の距離補正して、補正済みホバー位置(点A)を出力する(S12)。より詳細には、図7に示すように、ホバー位置補正部12は、位置補正部121と、設定値記憶部122とを備える。設定値記憶部122には、座標補正量が記憶されている。例えば座標補正量はピクセル単位で指定することができ、12ピクセル等とすることができる。設定値記憶部122に記憶される座標補正量は、端末の工場出荷までにメーカー側が設定しておくこととしても良いし、座標補正量がユーザの操作感覚にフィットするまで都度校正されるようにするため、ユーザが適宜更新できることとしてもよい。位置補正部121は、座標補正量を用いてホバー位置(点B)を補正して、補正済みホバー位置(点A)を出力する(SS121)。
<対象キー特定部13>
対象キー特定部13は、補正済みホバー位置(点A)の座標と、各キーの表示座標領域とを比較して、補正済みホバー位置(点A)の座標を含む表示領域に対応するキーを対象キーとして特定する(S13)。
<ユーザ補助表示制御部14>
ユーザ補助表示制御部14は、対象キーを表す補助表示を対象キーの表示位置と異なる位置に表示させる旨を示す表示制御信号を生成、出力する(S14)。表示制御信号の内容は、例えば、図12Aに示すように、対象キーを画面上方にシフトさせた位置に補助表示を表示させるものであればよい。これに限られず、図12Bに示すように、対象キーを画面左上方にシフトさせた位置に補助表示を表示させても良いし、図12Cに示すように、対象キーを画面右上方にシフトさせた位置に補助表示を表示させても良い。シフトさせる方向は、手と画面の位置関係から考えれば、画面上方であることが好ましいが、例えば操作指が右手親指である場合には、右手親指の第一関節が視線を遮る場合があるため、図12Bのように対象キーを画面左上方にシフトさせた位置に補助表示を表示したほうがユーザにとって見やすい表示となる。反対に、操作指が左手親指である場合には、左手親指の第一関節が視線を遮る場合があるため、図12Cのように対象キーを画面右上方にシフトさせた位置に補助表示を表示したほうがユーザにとって見やすい表示となる。また、ユーザ補助表示制御部14は、特定された対象キーの表示のみを補助表示の内容とする表示制御信号を生成することに限られず、図13に示すように、対象キーに含まれるキー候補すべてを表示する補助表示としても良い。図13の例では、あ行、か行、さ行、た行、な行、…などの各行のキー候補の入力を受け付ける代表キーのみが表示されている場合に、例えば、な行の代表キーが対象キーとなった場合には、な行に含まれるキー候補である「な」「に」「ぬ」「ね」「の」を、「な」キーを中心として、「な」キーの左右上下方向に「に」「ぬ」「ね」「の」キーを表示させた補助表示全体を、上方向にシフトさせた位置に表示している。また、補助表示は対象キーと異なる位置に表示させるだけでなく、対象キーよりも大きく拡大させて表示しても良いし、色を変えたり、反転表示させたりして表示させても良い。従ってユーザ補助表示制御部14は、補助表示の表示位置座標、拡大率、色変更の有無、変更後の色の指定、反転表示の有無等に加え、対象キーが複数のキー候補を含む場合には、それらを全て含む補助表示を表示させる旨を示す表示制御信号を生成する。詳細には、ユーザ補助表示制御部14は、図10に示すように表示制御部141と、表示パラメータ記憶部142とを備える。表示パラメータ記憶部142には、表示パラメータ(補助表示の表示位置座標、拡大率、色変更の有無、変更後の色の指定、反転表示の有無、複数のキー候補を含む場合の補助表示の内容など)を記憶している。表示パラメータ記憶部142に記憶される表示パラメータは、端末の工場出荷までにメーカー側が設定しておくこととしても良いし、補助表示の内容をユーザの嗜好に合わせることができるように、ユーザが適宜更新できることとしてもよい。表示制御部141は、表示パラメータ記憶部142に記憶された表示パラメータを参照して、表示制御信号を生成、出力する(SS141)。
<ディスプレイ15>
ディスプレイ15は、ユーザ補助表示制御部14が出力した表示制御信号に従って画面表示を実行する。
<変形例1>
なおホバー位置補正部12はユーザの操作性を高めるために備えることが望ましいが、必須ではない。このため、本実施例の変形例として、ホバー位置補正部12を省略した携帯端末1’も実現可能である。図5に示すように本変形例の携帯端末1’は、ホバー位置検出部11と、対象キー特定部13’と、ユーザ補助表示制御部14と、ディスプレイ15とを備える。
この場合、ホバー位置検出部11は、操作指のタッチパネルへの接近度合いを示す物理量の分布を計測し、当該物理量が最大値となるタッチパネル上の位置(ホバー位置)を検出し(S11)、対象キー特定部13’は、ホバー位置(点B)の座標を含む表示領域に対応するキーを対象キーとして特定する(S13’)。ユーザ補助表示制御部14は、対象キーを表す補助表示を対象キーの表示位置と異なる位置に表示させる旨を示す表示制御信号を生成する(S14)。ディスプレイ15は、表示制御信号に従って画面表示を実行する。
<変形例2>
なお、実施例1、変形例1では、ユーザ補助表示制御部14は、表示パラメータとして予め設定された補助表示の表示位置座標に従って補助表示を表示させる旨を示す表示制御信号を生成することとしたが、これに限られず、例えば対象キーの当初の表示位置から指の軸方向に所定の距離シフトした位置に補助表示を表示することとしても良い。このような機能を実現するため、変形例1をさらに変形した変形例2として、ユーザ補助表示制御部14をユーザ補助表示制御部14’とした携帯端末1’’について説明する。本変形例の携帯端末1’’は、ホバー位置検出部11と、対象キー特定部13’と、ユーザ補助表示制御部14’と、ディスプレイ15とを備える。本変形例のユーザ補助表示制御部14’は、操作指のタッチパネルへの接近度合いを示す物理量の分布を取得し、当該分布から操作指の軸方向を予測して、当該予測した操作指の軸方向をシフト方向として、対象キーの表示位置をシフト方向に予め定めた所定の距離シフトさせた位置に補助表示を表示させる旨を示す表示制御信号を生成する(S14’)。操作指のタッチパネルへの接近度合いを示す物理量の分布から、操作指の軸方向を予測する具体的な方法については、実施例3において詳細に述べる。
このように本実施例の携帯端末1、変形例1の携帯端末1’および変形例2の携帯端末1’’によれば、ユーザ補助表示制御部14(14’)が、特定された対象キーを表す補助表示を対象キーの表示位置と異なる位置に表示させる旨を示す表示制御信号を生成、出力するため、ユーザの指によって、ユーザが押そうとするキーが隠れて見えなくなってしまうことを防ぎ、ユーザが入力しやすいキー表示をすることができる。
以下、図5および、図14から図17を参照して、実施例2の携帯端末2について説明する。図14は本実施例のホバー位置補正部22の構成を示すブロック図である。図15は本実施例のホバー位置補正部22の動作を示すフローチャートである。図16、図17は静電容量分布と補正量の関係を例示する図である。
図5に示す通り、本実施例の携帯端末2は、ホバー位置検出部11と、ホバー位置補正部22と、対象キー特定部13と、ユーザ補助表示制御部14と、ディスプレイ15とを備える。ホバー位置検出部11と、対象キー特定部13と、ユーザ補助表示制御部14と、ディスプレイ15は、実施例1の携帯端末1における同一番号を付した構成部と全く同じであるから説明を略する。以下、実施例1の携帯端末1と異なる処理を実行するホバー位置補正部22について説明する。
<ホバー位置補正部22>
実施例1で説明したように、ホバー位置検出部11が検出したホバー位置(点B)と、ユーザが押そうと意識している点(点A)には若干のずれがある。このずれは指の物理的形状を原因として生じるずれである。このずれは、操作指のタッチパネルに対する角度によって変化する。例えば、図16のように、ユーザの操作指の軸方向とタッチパネル面とのなす角が小さい場合には、点Aと点Bにはずれが生じている。一方、図17のように、ユーザの操作指の軸方向とタッチパネル面とのなす角が垂直に近づいてくると、点Aと点Bとのずれは小さくなる。ユーザの操作指の軸方向とタッチパネル面とのなす角については、例えば図16、17に示すように、静電容量や赤外線等、操作指のタッチパネルへの接近度合いを示す物理量の分布の形状に着目すれば、予測可能である。例えば図16のように、ユーザの操作指の軸方向とタッチパネル面とのなす角が小さい場合、物理量の分布が最大値を中心としてゆるやかな上に凸の曲線を形成するのに対し、図17のように、ユーザの操作指の軸方向とタッチパネル面とのなす角が垂直に近づいてくると、物理量の分布が最大値を中心として急峻な上に凸の曲線を形成する。従って、本実施例のホバー位置補正部22は、操作指のタッチパネルへの接近度合いを示す物理量の分布を取得し、当該分布の微分値を取得し、当該微分値と対応して予め定まる座標補正量を用いてホバー位置(点B)を補正して、補正済みホバー位置(点A)を出力する(S22)。詳細には、例えば図14に示す通り、ホバー位置補正部22は、位置補正部221と、補正パラメータ算出部222と、静電容量分布取得部223とを備える。静電容量分布取得部223は、静電容量分布を取得する(SS223)。補正パラメータ算出部222は、静電容量分布から座標補正量を算出する(SS222)。例えば、補正パラメータ算出部222は、予め微分値と座標補正量とを対にしてテーブルとして記憶しておき、静電容量分布の微分値を計算し、当該微分値とテーブルとを参照して、座標補正量を算出することとすればよい。位置補正部221は、当該座標補正量を用いてホバー位置(点B)を補正して、補正済みホバー位置(点A)を出力する(SS221)。
このように本実施例の携帯端末2によれば、実施例1の効果に加え、ホバー位置補正部22が、ユーザの操作指の軸方向とタッチパネル面とのなす角を考慮して、ホバー位置を補正するため、より高精度にユーザの押そうとするキーの特定をおこなうことができる。
以下、図5および、図18から図23を参照して、実施例3の携帯端末3について説明する。図18は本実施例のホバー位置補正部32の構成を示すブロック図である。図19は本実施例のホバー位置補正部32の動作を示すフローチャートである。図20は操作指が親指である場合の、補正量と補正方向について例示する図である。図21は操作指が人差し指である場合の、補正量と補正方向について例示する図である。図22は静電容量分布と指の幅、指の軸方向との関係について説明する図である。図23は静電容量分布から指の幅、指の軸方向を検知する処理の例を説明する図である。
図5に示す通り、本実施例の携帯端末3は、ホバー位置検出部11と、ホバー位置補正部32と、対象キー特定部13と、ユーザ補助表示制御部14と、ディスプレイ15とを備える。ホバー位置検出部11と、対象キー特定部13と、ユーザ補助表示制御部14と、ディスプレイ15は、実施例1の携帯端末1における同一番号を付した構成部と全く同じであるから説明を略する。以下、実施例1の携帯端末1と異なる処理を実行するホバー位置補正部32について説明する。
<ホバー位置補正部32>
実施例1で説明したように、ホバー位置検出部11が検出したホバー位置(点B)と、ユーザが押そうと意識している点(点A)には若干のずれがある。このずれは指の物理的形状を原因として生じるずれである。このずれは、実施例2のように指のタッチパネルに対する角度に影響されるだけでなく、指の大きさによっても影響を受ける。例えば操作指が親指のように大きな指であれば、ずれの量もこれに比例して大きくなる。操作指が小さくなればずれの量もこれに比例して小さくなる。従って、図20のように親指を操作指としている場合と、図21のように人差し指を操作指としている場合とでは、厳密にはずれ量は異なり、親指を操作指としている場合のずれ量dは人差し指を操作指としている場合のずれ量dよりも大きくなる。また、ずれが生じる向きは、厳密には指の軸方向である。従って、図21のように、人差し指を画面右上方向きにしている場合には、ずれが生じる向きもこれと同じく画面右上方向きとなる。図22に示すように、操作指の大きさ(指の幅)、操作指の向き(指の軸方向)は、静電容量や赤外線等、操作指のタッチパネルへの接近度合いを示す物理量の分布の形状に着目すれば、予測可能である。具体的には、例えば図23に示すように、タッチパネルをいくつかの方形領域に区切る(図23の例では、縦8×横5の40マス)。これらの方形領域内における静電容量などの物理量の平均値が所定の値を超える方形領域を検出する(図23では黒塗りの方形領域)。これらの検出された方形領域のうち、領域内平均値がもっとも大きくなる方形領域の中心座標(図23では点P)と、領域内平均値がもっとも小さくなる方形領域の中心座標(図23では点O)とを結ぶ線分の角度から、指の軸方向を求めることができる。次に、方形領域内における静電容量などの物理量の平均値が所定の値を超えるとして検出された方形領域(図23では黒塗りの方形領域)の個数を横方向に、行ごとにカウントする。図23の例では、上から5行目から下の行に向かって順に1マス、3マス、3マス、2マス検出されている。これら行ごとにカウントされた個数の最大値を指の幅(指の大きさ)を表すものと扱うことができる。より厳密には、前述の指の軸方向とされた角度(画面短手方向に対してなす角)をθとして、行ごとにカウントされた個数の最大値にsinθをかけたものを指の幅(指の大きさ)を表すものと扱えばよい。図23の例では、線分OPが画面短手方向に対してなす角は45度、行ごとにカウントされた個数の最大値は3であるから、3×sin45≒2.12を指の大きさを表す値とすることができる。従って、本実施例のホバー位置補正部32は、操作指のタッチパネルへの接近度合いを示す物理量の分布を取得し、当該分布から操作指の大きさ、および操作指の軸方向を予測して、当該予測した操作指の大きさに基づいて予め定まる座標補正量、および操作指の軸方向によって定まる補正方向を用いてホバー位置(点B)を補正して、補正済みホバー位置(点A)を出力する(S32)。詳細には、例えば図18に示す通り、ホバー位置補正部32は、位置補正部321と、補正パラメータ算出部322と、静電容量分布取得部323とを備える。静電容量分布取得部323は、静電容量分布を取得する(SS323)。補正パラメータ算出部322は、静電容量分布から座標補正量および補正方向を算出する(SS322)。例えば、補正パラメータ算出部322は、予め指の幅と座標補正量とを対にしてテーブルとして記憶しておき、例えば前述の方法で算出した指の幅とテーブルとを参照して、座標補正量を算出する。また、補正パラメータ算出部322は、例えば前述の方法で算出した指の軸方向をそのまま補正方向とする。位置補正部321は、当該座標補正量と、補正方向とを用いてホバー位置(点B)を補正して、補正済みホバー位置(点A)を出力する(SS321)。
このように本実施例の携帯端末3によれば、実施例1の効果に加え、ホバー位置補正部32が、ユーザの操作指の大きさや指の軸方向を考慮して、ホバー位置を補正するため、より高精度にユーザの押そうとするキーの特定をおこなうことができる。
以下、図5および、図24から図26を参照して、実施例4の携帯端末4について説明する。図24は本実施例のホバー位置補正部42の構成を示すブロック図である。図25は本実施例のホバー位置補正部42の動作を示すフローチャートである。図26は本実施例のホバー位置補正部42に記憶される検出除外領域を例示する図である。
図5に示す通り、本実施例の携帯端末4は、ホバー位置検出部11と、ホバー位置補正部42と、対象キー特定部13と、ユーザ補助表示制御部14と、ディスプレイ15とを備える。ホバー位置検出部11と、対象キー特定部13と、ユーザ補助表示制御部14と、ディスプレイ15は、実施例1の携帯端末1における同一番号を付した構成部と全く同じであるから説明を略する。以下、実施例1の携帯端末1と異なる処理を実行するホバー位置補正部42について説明する。
<ホバー位置補正部42>
携帯端末等、小型の端末装置の場合、ユーザの把持の仕方によっては、タッチパネルの有る領域に常に手指が接近した状態となる場合がある。例えば図26のようにユーザが左手で携帯端末を把持している場合、図中黒塗りで示した左手親指、薬指、小指付近のタッチパネル領域は、常に手指が接近した状態になる可能性がある。これらの常に手指が接近した領域は、実際にはホバー位置ではないにも関わらず、ホバー位置として誤認識される可能性がある。誤認識を防ぐためには、例えば画面の左右端の所定幅の領域を、検出除外領域と設定しておき、この検出除外領域における指の接近度合いを示す物理量の分布の変化に着目する。検出除外領域において、物理量の分布の変化量が大きくなければ、検出除外領域において検出されている物理量は、操作指の接近を意味するものでなく、把持する手指の接近を意味するものと捉えることができる。そこで、本実施例のホバー位置補正部42は、予め定めた検出除外領域内の指の接近度合いを示す物理量の分布の変化量を取得して、当該物理量の分布の変化量が予め定めた閾値未満であれば、検出除外領域内で検出されたホバー位置を削除する(S42)。詳細には、例えば図24に示す通り、ホバー位置補正部42は、位置補正部421と、領域内静電容量変化検出部422と、検出除外領域座標記憶部423とを備える。検出除外領域座標記憶部423には、例えば画面の左右端の所定幅の領域を予め検出除外領域座標として記憶しておく。領域内静電容量変化検出部422は、静電容量分布を取得し、検出除外領域座標記憶部423に記憶された検出除外領域座標を参照して、当該取得した静電容量分布の検出除外領域内での変化量を検出する(SS422a)。静電容量分布の検出除外領域内での変化量が所定の閾値未満であれば(SS422bY)、位置補正部421は、検出除外領域内でホバー位置が検出された場合、当該検出されたホバー位置を削除する(SS421a)。一方、静電容量分布の検出除外領域内での変化量が所定の閾値以上であれば(S422bN)、位置補正部421は、実施例1〜3の位置補正部と同様に、所定の座標補正量や、補正方向を用いてホバー位置(点B)を補正して、補正済みホバー位置(点A)を出力する(SS421b)。
このように本実施例の携帯端末4によれば、実施例1の効果に加え、ホバー位置補正部42が、検出除外領域を考慮して、ホバー位置を削除、補正するため、実際にはホバー位置ではない点の誤認識を防ぐことができる。
以下、図5および、図27から図29を参照して、実施例5の携帯端末5について説明する。図27は本実施例のユーザ補助表示制御部54の構成を示すブロック図である。図28は本実施例のユーザ補助表示制御部54の動作を示すフローチャートである。図29は本実施例のユーザ補助表示制御部54の動作例を示す図である。
図5に示す通り、本実施例の携帯端末5は、ホバー位置検出部11と、ホバー位置補正部12と、対象キー特定部13と、ユーザ補助表示制御部54と、ディスプレイ15とを備える。ホバー位置検出部11と、ホバー位置補正部12と、対象キー特定部13と、ディスプレイ15は、実施例1の携帯端末1における同一番号を付した構成部と全く同じであるから説明を略する。以下、実施例1の携帯端末1と異なる処理を実行するユーザ補助表示制御部54について説明する。
<ユーザ補助表示制御部54>
ユーザの操作指が大きくなればなるほど(携帯端末が小型化すればするほど)、ユーザの指に隠れるキーの数は増大する。従って、ユーザの操作指が端末と比較して大きい場合には、対象キーのみを補助表示の対象としても、対象キーの左右上下のキーがユーザの指に隠れてしまい、ユーザが入力しにくく感じる場合がある。この場合、例えば、図29に示すように、ユーザの指の大きさに応じて、対象キーの左右のキー等も補助表示の対象とすることで、ユーザが入力しにくく感じる場面を減らすことができる。そこで本実施例のユーザ補助表示制御部54は、静電容量や赤外線等、操作指のタッチパネルへの接近度合いを示す物理量の分布を取得して、当該物理量の分布から指の大きさ(指の幅)を検出し、当該検出された指の大きさ(指の幅)に応じて予め定まる表示キーの個数に応じて補助表示を決定し、当該補助表示を表示させる旨を示す表示制御信号を生成する(S54)。詳細には、図27に示す通り、ユーザ補助表示制御部54は、表示制御部541と、表示キー決定部542と、静電容量分布取得部543とを備える。静電容量分布取得部543は、静電容量分布を取得する(SS543)。表示キー決定部542は、取得された静電容量分布から指の大きさ(指の幅)を検出し、当該検出された指の大きさ(指の幅)に応じて予め定まる表示キーの個数に応じて補助表示を決定する(SS542)。静電容量分布から指の大きさ(指の幅)を検出する具体的方法については既に述べた。表示制御部541は、決定された補助表示を表示させる旨を示す表示制御信号を生成、出力する(SS541)。
このように本実施例の携帯端末5によれば、実施例1の効果に加え、ユーザ補助表示制御部54が、ユーザの指の大きさを考慮して、表示キーの個数を調整して補助表示を決定するため、より一層ユーザが入力しやすいキー表示をすることができる。
以下、図5および、図30から図32を参照して、実施例6の携帯端末6について説明する。図30は本実施例のユーザ補助表示制御部64の構成を示すブロック図である。図31は本実施例のユーザ補助表示制御部64の動作を示すフローチャートである。図32はホバー高さと拡大率の関係を例示する図である。
図5に示す通り、本実施例の携帯端末6は、ホバー位置検出部11と、ホバー位置補正部12と、対象キー特定部13と、ユーザ補助表示制御部64と、ディスプレイ15とを備える。ホバー位置検出部11と、ホバー位置補正部12と、対象キー特定部13と、ディスプレイ15は、実施例1の携帯端末1における同一番号を付した構成部と全く同じであるから説明を略する。以下、実施例1の携帯端末1と異なる処理を実行するユーザ補助表示制御部64について説明する。
<ユーザ補助表示制御部64>
ユーザが対象キーを既に見つけておりタッチパネルを押そうとする寸前の状態であるか、それともユーザが操作指をタッチパネル近傍で水平移動させて、押そうとするキーを模索している状態なのかは指の接近度合いで推し量ることができる。例えば、図32に示すように、高さH(高さHに対応する静電容量などの値)をホバー位置検出の限界高さ(値)とし、高さh(高さhに対応する静電容量などの値)をキー押下寸前の高さ(値)として設定する(ただし、H>h)。この場合、操作指先端が高さH以下かつ高さh以上の領域に侵入してきた場合、キー模索中であるものとみなし、操作指先端が高さh以下の領域に侵入してきた場合に、キー押下寸前であるものとみなす。このように設定すれば、例えば、操作指先端が高さH以下かつ高さh以上の領域に侵入してきた場合は、キー模索中であるから対象キーを等倍表示した補助表示を対象キーと同じ位置に表示したうえで、前述同様に、対象キーと異なる位置に補助表示を表示し、操作指先端が高さh以下の領域に侵入してきた場合は、キー押下寸前であるから対象キーを拡大表示した補助表示を対象キーと同じ位置に表示したうえで、前述同様に、対象キーと異なる位置に補助表示を表示するものとすればさらにユーザを適切に補助する補助表示を行うことができる。そこで、本実施例のユーザ補助表示制御部64は、静電容量や赤外線等、操作指のタッチパネルへの接近度合いを示す物理量の分布を取得して、当該物理量の分布から操作指先端のホバー高さを検出し、当該検出された操作指先端のホバー高さに応じて予め定まる表示キー拡大率に応じて対象キーを拡大表示して対象キーと同じ位置に表示させる第1の補助表示、および対象キーと異なる位置に表示する第2の補助表示を決定し、当該補助表示を表示させる旨を示す表示制御信号を生成する(S64)。詳細には、図30に示す通り、ユーザ補助表示制御部64は、表示制御部641と、拡大率決定部642と、静電容量分布取得部643とを備える。静電容量分布取得部643は、静電容量分布を取得する(SS643)。拡大率決定部642は、取得された静電容量分布から操作指先端のホバー高さを検出し、当該検出された操作指先端のホバー高さに応じて予め定まる表示キー拡大率に応じて対象キーを拡大表示して対象キーと同じ位置に表示させる第1の補助表示、および対象キーと異なる位置に表示する第2の補助表示を決定する(SS642)。表示制御部641は、決定された補助表示を表示させる旨を示す表示制御信号を生成、出力する(SS641)。
このように本実施例の携帯端末6によれば、実施例1の効果に加え、ユーザ補助表示制御部64が、操作指先端のホバー高さを考慮して、表示キーの拡大率を調整して補助表示を決定するため、より一層ユーザが入力しやすいキー表示をすることができる。
以下、図5および、図33から図35を参照して、実施例7の携帯端末7について説明する。図33は本実施例のユーザ補助表示制御部74の構成を示すブロック図である。図34は本実施例のユーザ補助表示制御部74の動作を示すフローチャートである。図35は透過度と移動速度(滞留時間)の関係について例示する図である。
図5に示す通り、本実施例の携帯端末7は、ホバー位置検出部11と、ホバー位置補正部12と、対象キー特定部13と、ユーザ補助表示制御部74と、ディスプレイ15とを備える。ホバー位置検出部11と、ホバー位置補正部12と、対象キー特定部13と、ディスプレイ15は、実施例1の携帯端末1における同一番号を付した構成部と全く同じであるから説明を略する。以下、実施例1の携帯端末1と異なる処理を実行するユーザ補助表示制御部74について説明する。
<ユーザ補助表示制御部74>
ユーザが対象キーを既に見つけておりタッチパネルを押そうとする寸前の状態であるか、それともユーザが操作指をタッチパネル近傍で水平移動させて、押そうとするキーを模索している状態なのかは、操作指の動く速度で推し量ることもできる。ユーザが比較的速く操作指を動かしている場合には、ユーザはキーを探索中であると考えられるし、操作指が殆ど停止している場合には、タッチパネルを押そうとする寸前の状態であると推定できる。そこで図35Aに示すように操作指の移動速度と透過度の関係を決めておき、移動速度が増大するに従って、補助表示の透過度を高くして、補助表示の後ろに表示されている画面表示を見やすくしておくことでユーザがキー探索を行いやすくすることができる。一方、移動速度が0に近づくにつれて補助表示の透過度を0に近づけ、より完全な状態の補助表示を表示して、押そうとするキーの判別を行いやすくしてユーザがキー操作を行いやすくすることができる。これ以外にも、例えば図35Bのように操作指の滞留時間と透過度の関係を決めておき、滞留時間が殆どない状態では、補助表示の透過度を高くして、補助表示の後ろに表示されている画面表示を見やすくしておくことでユーザがキー探索を行いやすくすることができる。滞留時間が蓄積するに従って、補助表示の透過度を0に近づけ、より完全な状態の補助表示を表示して、押そうとするキーの判別を行いやすくしてユーザがキー操作を行いやすくすることができる。そこで、本実施例のユーザ補助表示制御部74は、静電容量や赤外線等、操作指のタッチパネルへの接近度合いを示す物理量の分布の変化量を取得して、当該変化量から操作指の移動速度、または操作指の滞留時間を検出し、当該検出された操作指の移動速度、または操作指の滞留時間に応じて予め定まる表示キー透過度に応じて補助表示を決定し、当該補助表示を表示させる旨を示す表示制御信号を生成する(S74)。詳細には、図33に示す通り、ユーザ補助表示制御部74は、表示制御部741と、透過度決定部742と、静電容量変化量取得部743とを備える。静電容量変化量取得部743は、静電容量分布の変化量を取得する(SS743)。透過度決定部742は、取得された静電容量分布の変化量から操作指の移動速度、または操作指の滞留時間を検出し、当該検出された操作指の移動速度、または操作指の滞留時間に応じて予め定まる表示キー透過度に応じて補助表示を決定する(SS742)。表示制御部741は、決定された補助表示を表示させる旨を示す表示制御信号を生成、出力する(SS741)。
このように本実施例の携帯端末7によれば、実施例1の効果に加え、ユーザ補助表示制御部74が、操作指の移動速度や滞留時間を考慮して、表示キーの透過度を調整して補助表示を決定するため、より一層ユーザが入力しやすいキー表示をすることができる。
以下、図5および、図36から図39を参照して、実施例8の携帯端末8について説明する。図36は本実施例のユーザ補助表示制御部84の構成を示すブロック図である。図37は本実施例のユーザ補助表示制御部84の動作を示すフローチャートである。図38、図39は静電容量分布と最適な補助表示の表示位置の関係について例示する図である。
図5に示す通り、本実施例の携帯端末8は、ホバー位置検出部11と、ホバー位置補正部12と、対象キー特定部13と、ユーザ補助表示制御部84と、ディスプレイ15とを備える。ホバー位置検出部11と、ホバー位置補正部12と、対象キー特定部13と、ディスプレイ15は、実施例1の携帯端末1における同一番号を付した構成部と全く同じであるから説明を略する。以下、実施例1の携帯端末1と異なる処理を実行するユーザ補助表示制御部84について説明する。
<ユーザ補助表示制御部84>
前述した通り、ユーザがタッチパネルを押下しようとするとき、ユーザの手によって端末画面の一部が遮られ、画面表示が見づらくなる。このとき、画面の遮蔽度合いはユーザの手の状態によって変化する。例えば図38ではユーザは操作指の軸方向とタッチパネル面とのなす角を比較的浅い角度にしてタッチ操作を行っているのに対し、図39ではユーザは操作指の軸方向とタッチパネル面とのなす角を垂直に近い角度にしてタッチ操作を行っている。この場合、図39のユーザの手の甲は図38のユーザの手の甲と比較して、ユーザの視線を遮りやすい位置にある。例えば、図38の点Cの位置に補助表示を行った場合に、図38の手の状態であれば、補助表示がユーザの手に遮蔽されないが、図39の手の状態で、点Cの位置に補助表示を行ったとしても、補助表示がユーザの手の甲に隠れてしまい、見えなくなってしまうという事態が生じる。図39の場合は、さらに画面上方にシフトした点C’の位置に補助表示を行うべきである。ユーザの操作指の軸方向とタッチパネル面とのなす角については、前述したように、静電容量や赤外線等、操作指のタッチパネルへの接近度合いを示す物理量の分布の形状に着目すれば、予測可能である。図38のように、ユーザの操作指の軸方向とタッチパネル面とのなす角が小さい場合、物理量の分布が最大値を中心としてゆるやかな上に凸の曲線を形成するのに対し、図39のように、ユーザの操作指の軸方向とタッチパネル面とのなす角が垂直に近づいてくると、物理量の分布が最大値を中心として急峻な上に凸の曲線を形成する。そこで、本実施例のユーザ補助表示制御部84は、操作指のタッチパネルへの接近度合いを示す物理量の分布を取得し、当該分布における微分値を取得し、当該微分値と対応して予め定まる補助表示位置に応じて補助表示を決定し、当該補助表示を表示させる旨を示す表示制御信号を生成する(S84)。詳細には、図36に示す通り、ユーザ補助表示制御部84は、表示制御部841と、表示位置補正量決定部842と、静電容量分布取得部843とを備える。静電容量分布取得部843は、静電容量分布を取得する(SS843)。表示位置補正量決定部842は、取得された静電容量分布における微分値を取得し、当該微分値と対応して予め定まる補助表示位置に応じて補助表示を決定する(SS842)。表示制御部841は、決定された補助表示を表示させる旨を示す表示制御信号を生成、出力する(SS841)。
このように本実施例の携帯端末8によれば、実施例1の効果に加え、ユーザ補助表示制御部84が、ユーザの手が画面をどの程度遮っているかを考慮して、補助表示位置を調整するため、より一層ユーザが入力しやすいキー表示をすることができる。
以上のように、本発明の実施例として8つの例を記載したが、これ以外にも、例えば、変形例1の携帯端末1’のユーザ補助表示制御部14をユーザ補助表示制御部54、64、74、84のいずれかに置き換えた携帯端末も実施可能である。同様に、ホバー位置補正部22とユーザ補助表示制御部54、64,74、84のいずれかを組み合わせた携帯端末も実施可能である。同様に、ホバー位置補正部32とユーザ補助表示制御部54、64、74、84のいずれかを組み合わせた携帯端末も実施可能である。同様に、ホバー位置補正部42とユーザ補助表示制御部54、64、74、84のいずれかを組み合わせた携帯端末も実施可能である。
また、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。
また、上述の構成をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
また、このプログラムの流通は、例えば、そのプログラムを記録したDVD、CD−ROM等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるASP(Application Service Provider)型のサービスによって、上述の処理を実行する構成としてもよい。
なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの(コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等)を含むものとする。また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

Claims (7)

  1. 操作指のタッチパネルへの接近度合いを示す物理量の分布を計測し、当該物理量の分布からホバー位置を検出するホバー位置検出部と、
    前記ホバー位置の座標を含む表示領域に対応するキーを対象キーとして特定する対象キー特定部と、
    前記操作指のタッチパネルへの接近度合いを示す物理量の分布を取得して、当該物理量の分布から指の大きさを検出し、当該検出された指の大きさに応じて予め定まる表示キーの個数に応じて補助表示を決定し、当該補助表示を前記対象キーの表示位置と異なる位置に表示させる旨を示す表示制御信号を生成するユーザ補助表示制御部と、
    前記表示制御信号に従って画面表示を実行するディスプレイと、
    を備えることを特徴とする端末装置。
  2. 操作指のタッチパネルへの接近度合いを示す物理量の分布を計測し、当該物理量の分布からホバー位置を検出するホバー位置検出部と、
    前記ホバー位置の座標を含む表示領域に対応するキーを対象キーとして特定する対象キー特定部と、
    前記操作指のタッチパネルへの接近度合いを示す物理量の分布の変化量を取得して、当該変化量から操作指の移動速度、または操作指の滞留時間を検出し、当該検出された操作指の移動速度、または操作指の滞留時間に応じて予め定まる表示キー透過度に応じて補助表示を決定し、当該補助表示を前記対象キーの表示位置と異なる位置に表示させる旨を示す表示制御信号を生成するユーザ補助表示制御部と、
    前記表示制御信号に従って画面表示を実行するディスプレイと、
    を備えることを特徴とする端末装置。
  3. 操作指のタッチパネルへの接近度合いを示す物理量の分布を計測し、当該物理量の分布からホバー位置を検出するホバー位置検出部と、
    予め定めた検出除外領域内の指の接近度合いを示す物理量の分布の変化量を取得して、当該物理量の分布の変化量が予め定めた閾値未満であれば、検出除外領域内で検出されたホバー位置を削除するホバー位置補正部と、
    記ホバー位置の座標を含む表示領域に対応するキーを対象キーとして特定する対象キー特定部と、
    前記対象キーを表す補助表示を前記対象キーの表示位置と異なる位置に表示させる旨を示す表示制御信号を生成するユーザ補助表示制御部と、
    前記表示制御信号に従って画面表示を実行するディスプレイと、
    を備えることを特徴とする端末装置。
  4. 操作指のタッチパネルへの接近度合いを示す物理量の分布を計測し、当該物理量の分布からホバー位置を検出するホバー位置検出ステップと、
    前記ホバー位置の座標を含む表示領域に対応するキーを対象キーとして特定する対象キー特定ステップと、
    前記操作指のタッチパネルへの接近度合いを示す物理量の分布を取得して、当該物理量の分布から指の大きさを検出し、当該検出された指の大きさに応じて予め定まる表示キーの個数に応じて補助表示を決定し、当該補助表示を前記対象キーの表示位置と異なる位置に表示させる旨を示す表示制御信号を生成するユーザ補助表示制御ステップと、
    を有することを特徴とする画面表示方法。
  5. 操作指のタッチパネルへの接近度合いを示す物理量の分布を計測し、当該物理量の分布からホバー位置を検出するホバー位置検出ステップと、
    前記ホバー位置の座標を含む表示領域に対応するキーを対象キーとして特定する対象キー特定ステップと、
    前記操作指のタッチパネルへの接近度合いを示す物理量の分布の変化量を取得して、当該変化量から操作指の移動速度、または操作指の滞留時間を検出し、当該検出された操作
    指の移動速度、または操作指の滞留時間に応じて予め定まる表示キー透過度に応じて補助表示を決定し、当該補助表示を前記対象キーの表示位置と異なる位置に表示させる旨を示す表示制御信号を生成するユーザ補助表示制御ステップと、
    を有することを特徴とする画面表示方法。
  6. 操作指のタッチパネルへの接近度合いを示す物理量の分布を計測し、当該物理量の分布からホバー位置を検出するホバー位置検出ステップと、
    予め定めた検出除外領域内の指の接近度合いを示す物理量の分布の変化量を取得して、当該物理量の分布の変化量が予め定めた閾値未満であれば、検出除外領域内で検出されたホバー位置を削除するホバー位置補正ステップと、
    記ホバー位置の座標を含む表示領域に対応するキーを対象キーとして特定する対象キー特定ステップと、
    前記対象キーを表す補助表示を前記対象キーの表示位置と異なる位置に表示させる旨を示す表示制御信号を生成するユーザ補助表示制御ステップと、
    を有することを特徴とする画面表示方法。
  7. 端末装置を請求項1から3のいずれかに記載の端末装置として機能させるためのプログラム。
JP2012243783A 2012-11-05 2012-11-05 端末装置、画面表示方法、プログラム Expired - Fee Related JP5798103B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2012243783A JP5798103B2 (ja) 2012-11-05 2012-11-05 端末装置、画面表示方法、プログラム
US14/440,501 US20150277760A1 (en) 2012-11-05 2013-10-30 Terminal device, screen display method, hover position correction method, and recording medium
PCT/JP2013/079356 WO2014069504A1 (ja) 2012-11-05 2013-10-30 端末装置、画面表示方法、ホバー位置補正方法、記録媒体
EP13851150.6A EP2933713B1 (en) 2012-11-05 2013-10-30 Terminal device and recording medium for assisting the user with key input
US16/122,550 US20190004699A1 (en) 2012-11-05 2018-09-05 Terminal device, screen display method, hover position correction method, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012243783A JP5798103B2 (ja) 2012-11-05 2012-11-05 端末装置、画面表示方法、プログラム

Publications (2)

Publication Number Publication Date
JP2014092988A JP2014092988A (ja) 2014-05-19
JP5798103B2 true JP5798103B2 (ja) 2015-10-21

Family

ID=50627404

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012243783A Expired - Fee Related JP5798103B2 (ja) 2012-11-05 2012-11-05 端末装置、画面表示方法、プログラム

Country Status (4)

Country Link
US (2) US20150277760A1 (ja)
EP (1) EP2933713B1 (ja)
JP (1) JP5798103B2 (ja)
WO (1) WO2014069504A1 (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140282269A1 (en) * 2013-03-13 2014-09-18 Amazon Technologies, Inc. Non-occluded display for hover interactions
US9645651B2 (en) 2013-09-24 2017-05-09 Microsoft Technology Licensing, Llc Presentation of a control interface on a touch-enabled device based on a motion or absence thereof
US9501218B2 (en) * 2014-01-10 2016-11-22 Microsoft Technology Licensing, Llc Increasing touch and/or hover accuracy on a touch-enabled device
JP6370118B2 (ja) * 2014-06-06 2018-08-08 キヤノン株式会社 情報処理装置、情報処理方法、及びコンピュータプログラム
JP5971817B2 (ja) 2014-06-20 2016-08-17 インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation 情報処理装置、プログラム及び方法
WO2016017101A1 (ja) * 2014-07-30 2016-02-04 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US9594489B2 (en) * 2014-08-12 2017-03-14 Microsoft Technology Licensing, Llc Hover-based interaction with rendered content
JP6284459B2 (ja) * 2014-09-16 2018-02-28 シャープ株式会社 端末装置
US9808710B2 (en) * 2015-03-31 2017-11-07 King.Com Ltd. User interface
US9927974B2 (en) * 2015-09-22 2018-03-27 Qualcomm Incorporated Automatic customization of keypad key appearance
EP3182250B1 (en) * 2015-12-18 2019-10-30 Aptiv Technologies Limited System and method for monitoring 3d space in front of an output unit for the control of the output unit
JP6488251B2 (ja) * 2016-03-22 2019-03-20 株式会社トライフォース・マネジメント 物体センサ
JP6897010B2 (ja) * 2016-05-26 2021-06-30 富士フイルムビジネスイノベーション株式会社 復帰制御装置、画像処理装置及びプログラム
DE112019000880T5 (de) * 2018-02-20 2020-11-05 Sony Corporation Informationsverarbeitungseinrichtung, informationsverarbeitungsverfahren und programm
CN109710204B (zh) * 2018-12-14 2023-04-25 Oppo广东移动通信有限公司 一种显示控制方法、终端及存储介质
CN110186161B (zh) * 2019-06-03 2021-10-26 宁波奥克斯电气股份有限公司 默认参数更新方法、空调自学习控制方法以及空调器
CN111160097B (zh) * 2019-11-27 2023-05-26 云知声智能科技股份有限公司 一种内容识别方法及装置
JP7467391B2 (ja) 2021-06-18 2024-04-15 キヤノン株式会社 情報処理装置および情報処理装置の制御方法
WO2023095484A1 (ja) * 2021-11-29 2023-06-01 アルプスアルパイン株式会社 位置検出装置、入力装置、及び、位置検出方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8042044B2 (en) * 2002-11-29 2011-10-18 Koninklijke Philips Electronics N.V. User interface with displaced representation of touch area
JP2009026155A (ja) * 2007-07-20 2009-02-05 Toshiba Corp 入力表示装置および移動無線端末装置
JP2010019643A (ja) * 2008-07-09 2010-01-28 Toyota Motor Corp 情報端末、ナビゲーション装置、選択肢表示方法
JP4609557B2 (ja) * 2008-08-29 2011-01-12 ソニー株式会社 情報処理装置及び情報処理方法
US8237666B2 (en) * 2008-10-10 2012-08-07 At&T Intellectual Property I, L.P. Augmented I/O for limited form factor user-interfaces
JP2010102474A (ja) * 2008-10-23 2010-05-06 Sony Ericsson Mobile Communications Ab 情報表示装置、携帯情報端末、表示制御方法及び表示制御プログラム
JP4743267B2 (ja) * 2008-12-12 2011-08-10 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
WO2010073329A1 (ja) * 2008-12-25 2010-07-01 富士通株式会社 コンピュータプログラム、入力装置及び入力方法
JP5463934B2 (ja) * 2010-01-27 2014-04-09 富士通モバイルコミュニケーションズ株式会社 3次元入力装置
US9098138B2 (en) * 2010-08-27 2015-08-04 Apple Inc. Concurrent signal detection for touch and hover sensing
JP2012058838A (ja) * 2010-09-06 2012-03-22 Sony Corp 画像処理装置、プログラム及び画像処理方法
JP5569271B2 (ja) * 2010-09-07 2014-08-13 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP2012094008A (ja) 2010-10-27 2012-05-17 Kyocera Corp 携帯電子機器
US9898122B2 (en) * 2011-05-12 2018-02-20 Google Technology Holdings LLC Touch-screen device and method for detecting and ignoring false touch inputs near an edge of the touch-screen device
WO2012157272A1 (ja) * 2011-05-16 2012-11-22 パナソニック株式会社 表示装置、表示制御方法及び表示制御プログラム、並びに、入力装置、入力支援方法及びプログラム

Also Published As

Publication number Publication date
EP2933713B1 (en) 2019-04-10
WO2014069504A1 (ja) 2014-05-08
EP2933713A4 (en) 2016-10-19
EP2933713A1 (en) 2015-10-21
JP2014092988A (ja) 2014-05-19
US20190004699A1 (en) 2019-01-03
EP2933713A8 (en) 2016-01-06
US20150277760A1 (en) 2015-10-01

Similar Documents

Publication Publication Date Title
JP5798103B2 (ja) 端末装置、画面表示方法、プログラム
US10379733B2 (en) Causing display of a three dimensional graphical user interface with dynamic selectability of items
EP2631766B1 (en) Method and apparatus for moving contents in terminal
US8466934B2 (en) Touchscreen interface
JP5460679B2 (ja) 情報処理装置、情報処理方法、およびコンテンツファイルのデータ構造
KR101436226B1 (ko) 사용자 손가락 사이즈에 대해 가상 키보드 치수들을 동적으로 상관시키는 장치 및 방법
US8490013B2 (en) Method and apparatus for single touch zoom using spiral rotation
US8669947B2 (en) Information processing apparatus, information processing method and computer program
US20130215018A1 (en) Touch position locating method, text selecting method, device, and electronic equipment
US9430089B2 (en) Information processing apparatus and method for controlling the same
JP5912929B2 (ja) 表示装置、処理方法及びプログラム
US20150355819A1 (en) Information processing apparatus, input method, and recording medium
EP3427139B1 (en) Electronic device and input processing method thereof
JP2015141526A (ja) 情報処理装置、情報処理方法、及びプログラム
US20150324025A1 (en) User input device and method thereof
AU2015297289B2 (en) Wearable device and method of operating the same
WO2018159414A1 (ja) 端末装置及び操作制御プログラム
JP2015215840A (ja) 情報処理装置及び入力方法
JP5904062B2 (ja) 情報処理装置及びプログラム
JP2017162272A (ja) 情報処理装置、及びプログラム
CN105487806A (zh) 一种调节音量的方法及装置
JP6284459B2 (ja) 端末装置
US20130201159A1 (en) Information processing apparatus, information processing method, and program
WO2014034181A1 (ja) 情報処理装置、情報処理方法、およびプログラム
KR20140086805A (ko) 전자 장치, 그 제어 방법 및 컴퓨터 판독가능 기록매체

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150203

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150402

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150804

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150820

R150 Certificate of patent or registration of utility model

Ref document number: 5798103

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees