JP5876152B2 - 端末装置 - Google Patents

Description

本発明は、画像を表示する表示部と、表示部に重畳され接触によりユーザ入力を検出するタッチセンサとからなるタッチパネルディスプレイを備える端末装置に関する。

近年、画像を表示するディスプレイ（表示部）に、接触によりユーザ入力を検出するタッチセンサを重畳したタッチパネルディスプレイを搭載した端末装置の普及が加速している。このような端末装置では、操作時にユーザの手や指が接触することにより、ディスプレイの一部の領域が覆われてしまい、そこに表示されている画像を視認しづらくなってしまうという課題があった。そこで例えば日本国特許公開２００５−２３４９９３号公報では、画像表示装置において、画像表示面に表示されている画像を覆うように表示手段に接触した物体の位置を検出し、検出された物体の接触位置に応じて、表示手段の画像表示面に表示させる画像の表示領域を設定している。

しかしながら日本国特許公開２００５−２３４９９３号公報の構成では、ユーザの手や指が接触している領域を避けて表示しているだけであるため、ユーザの手や指が接触していないもののそれによって覆われている（隠れてしまう）領域については依然として視認困難であることに変わりがない。例えばフリック入力画面のように、特定のボタン（アイコン）を押下（接触）し、そのボタンの周囲に派生するボタンを選択する時、指が接触しているのは押下している特定のボタンのみであるが、その指の接触していない部分によって派生したボタンが隠れてしまうことがある。すると、本来選択したいはずのボタンが視認困難になり、誤入力が生じ易くなってしまう。

本発明は、このような課題に鑑み、ユーザの手や指の接触の有無によることなくディスプレイの表示範囲を設定することができ、ユーザの利便性を更に向上させることが可能な端末装置を提供することを一の目的とする。

本発明の一の態様にかかる端末装置は、画像を表示する表示部と、表示部に重畳され接触によりユーザ入力を検出するタッチセンサとからなるタッチパネルディスプレイと、ユーザが当該端末装置を把持している手である把持手が右手または左手のいずれであるかを判断する把持手判断部と、ユーザがタッチパネルディスプレイを操作している手である操作手が右手または左手のいずれであるかを判断する操作手判断部と、把持手判断部および操作手判断部の判断結果に基づき、前記表示部に表示する画像の位置または大きさを変更する画像変更部と、を備える。

当該端末装置は、前記把持手判断部および前記操作手判断部の判断結果を参照し、前記表示部の表示領域のうち前記ユーザが視認可能な範囲を表示範囲として設定する表示範囲設定部を更に備え、前記画像変更部は、前記表示範囲設定部によって設定された表示範囲内におさまるように、前記表示部に表示する画像の位置または大きさを変更するとよい。

当該端末装置は、筐体の両側面それぞれに、近接センサ、照度センサ、近接照度センサ、または物理キーのうち少なくとも１以上からなる把持手検出手段を更に備え、把持手判断部は、把持手検出手段からの出力結果を参照して把持手を判断するとよい。

当該端末装置は、筐体において表示部が設けられている面の背面に、接触によりユーザの手の接触を検出する第２タッチセンサを更に備え、把持手判断部は、第２タッチセンサからの出力結果を参照して把持手を判断するとよい。

当該端末装置は、筐体において表示部が設けられている面の背面に、画像を撮影する撮像部を更に備え、撮像部が撮影した画像を参照して把持手を判断するとよい。

当該端末装置は、加速度センサまたは地磁気センサのうち少なくとも１以上からなる把持手検出手段を更に備え、把持手判断部は、把持手検出手段からの出力結果を参照して把持手を判断するとよい。

当該端末装置は、筐体の下面の両端部近傍それぞれに、近接センサ、照度センサ、近接照度センサ、または物理キーのうち少なくとも１以上からなる把持手検出手段を更に備え、把持手判断部は、把持手検出手段からの出力結果を参照して把持手を判断するとよい。

上記把持手判断部は、タッチパネルディスプレイの下部において指より大きい面積での接触が検知されたときの接触位置によって把持手を判断するとよい。

当該端末装置は、筐体において表示部が設けられている面の下部の両端近傍それぞれに、近接センサ、照度センサ、近接照度センサ、または物理キーのうち少なくとも１以上からなる操作手検出手段を更に備え、操作手判断部は、操作手検出手段からの出力結果を参照して操作手を判断するとよい。

上記操作手判断部は、タッチパネルディスプレイの下部において指より大きい面積での接触が検知されたときの接触位置によって操作手を判断するとよい。

上記操作手判断部は、タッチパネルディスプレイにおいて指の接触が検知されたときの接触面の形状によって操作手を判断するとよい。

当該端末装置は、加速度センサまたは地磁気センサのうち少なくとも１以上からなる端末姿勢検出手段を更に備え、表示範囲設定部は、把持手判断部および操作手判断部の判断結果に加え、端末姿勢検出手段からの出力結果を参照して表示範囲を設定するとよい。

本発明の別の態様にかかる表示制御方法は、画像を表示する表示部と、該表示部に重畳され接触によりユーザ入力を検出するタッチセンサとからなるタッチパネルディスプレイを備える端末装置の表示制御方法であって、ユーザが当該端末装置を把持している手である把持手が右手または左手のいずれであるかを判断し、ユーザが前記タッチパネルディスプレイを操作している手である操作手が右手または左手のいずれであるかを判断し、把持手と操作手の判断結果に基づき、前記表示部に表示する画像の位置または大きさを変更することを含む。

本発明の別の態様にかかる端末装置は、画像を表示する表示部と、該表示部に重畳され接触によりユーザ入力を検出するタッチセンサとからなるタッチパネルディスプレイと、当該端末装置を把持しているユーザの把持手が右手または左手のいずれであるか、および前記タッチパネルディスプレイを操作しているユーザの操作手が右手または左手のいずれであるかに基づいて前記表示部に表示する画像の位置または大きさを変更する制御部と、を備える。

上記構成によれば、ユーザの手や指の接触の有無によることなくディスプレイの表示を変更することができ、ユーザの利便性を更に向上させることが可能な端末装置を提供することができる。

本実施形態にかかる携帯電話を説明する図である。 近接センサ以外のモジュールを把持手検出手段として用いる場合を例示する図である。 近接センサの配置の他の例、およびタッチパネルディスプレイへの指の接触を説明する図である。 表示範囲設定部によって設定される表示範囲を例示する図である。 表示部への画像の表示について例示する図である。 端末姿勢検出手段からの出力結果による表示範囲の設定について説明する図である。 携帯電話の姿勢による画像のキーの大きさの変更について説明する図である。

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書および図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。

また理解を容易にするために、以下に説明する実施形態では、端末装置として携帯電話（以下、携帯電話１００と称する）を例示するが、これに限定するものではない。本発明は、後述するように表示部１２２およびそれに重畳されるタッチセンサ１２４からなるタッチパネルディスプレイ１２０を備える端末装置であれば如何なるものにも適用可能である。端末装置は、例えばＰＨＳ端末、ノート型パーソナルコンピュータ、ＰＤＡ（Personal Digital Assistant）、ハンディＧＰＳ、ナビゲーション装置、ネットブック、デジタルカメラ等であってもよい。

図１は、本実施形態にかかる携帯電話１００を説明する図であり、図１（ａ）は本実施形態の携帯電話１００の機能ブロック図であり、図１（ｂ）は本実施形態の携帯電話１００の外観斜視図である。図１（ａ）に示すように、本実施形態の携帯電話１００は制御部１１０を有する。制御部１１０は、中央処理装置（ＣＰＵ）を含む半導体集積回路により携帯電話１００全体の機能を管理および制御し、例えば記憶部１７０に記憶されているプログラムを用いて通話機能やメール送受信機能等を実行する。また本実施形態では、制御部１１０は、把持手判断部１１２、操作手判断部１１４、表示範囲設定部１１６および画像変更部１１８としても機能する。これらの詳細については後に詳述する。

図１（ｂ）に示すように、表示部１２２は、筐体１０２の表面１０２ａに配設されたディスプレイである。表示部１２２は、液晶ディスプレイ（Liquid Crystal Display）、有機ＥＬ（Electro Luminescence）等で構成され、写真画像やアプリケーションの動作画面、通話における通話先や発信元などの情報をユーザに対して表示する。また本実施形態では、透明の素材で形成され、ユーザの指の接触を検出するタッチセンサ１２４（図１（ａ）参照）が、表示部１２２にそれを視認可能に重畳されている。これにより、表示部１２２およびタッチセンサ１２４によってタッチパネルディスプレイ１２０が構成され、それを、ユーザの指の接触によりユーザ入力を受け付ける入力部として機能させることができる。

なお、タッチセンサ１２４によるユーザ入力の検知方式としては、静電容量式でもよいし、感圧式であってもよい。また本実施形態においては、タッチセンサ１２４を含むタッチパネルディスプレイ１２０を入力部として例示したが、それに加えて、キーボード、十字キー、ジョイスティック等の可動スイッチを入力部として更に備えてもよい。例えば本実施形態では、筐体１０２の表面１０２ａにスイッチボタン１０４（物理キー）を設けている。

また図１（ｂ）に示すように、本実施形態の携帯電話１００には、筐体１０２の裏面１０２ｂ（表示部１２２が設けられている面の背面）に、第１撮像部１３０ａおよび第２撮像部１３０ｂからなる撮像部１３０が設けられている。撮像部１３０は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の映像素子で構成され、静止画や動画を撮影する。

近接センサ１４０は、超音波、ミリ波、マイクロ波、静電容量、磁気等を利用した素子からなり、携帯電話１００への物体（本実施形態ではユーザの手）の接近を検出する。なお、近接センサ１４０に代えて、照度センサ、近接照度センサ、物理キー等を採用することも可能である。加速度センサ１５０は、例えばピエゾ抵抗型ＭＥＭＳ（Micro Electroechanical System）等からなる３軸加速度センサであって、ＸＹＺ軸の３方向の加速度を検知し、検知した加速度によって携帯電話１００の重力方向、すなわち携帯電話１００の姿勢を検出する。

なお、加速度センサ１５０としては、静電容量型や熱検知型等の加速度センサを用いてよいし、携帯電話１００におけるＸＹ軸の２方向の加速度を検知する加速度センサを用いてもよい。また加速度センサ１５０に代えて地磁気センサやジャイロスコープセンサを採用することも可能である。第２タッチセンサ１６０は、筐体１０２の裏面１０２ｂ（図１（ｂ）参照）に配置され、かかる裏面１０２ｂにおけるユーザの手または指の接触を検出する。

上述したように、本実施形態の携帯電話１００において、制御部１１０は、把持手判断部１１２、操作手判断部１１４、表示範囲設定部１１６および画像変更部１１８としても機能する。詳細には、把持手判断部１１２は、ユーザが当該携帯電話１００（端末装置）を把持している手である把持手が右手または左手のいずれであるかを判断する。操作手判断部１１４は、ユーザがタッチパネルディスプレイ１２０を操作している手である操作手が右手または左手のいずれであるかを判断する。表示範囲設定部１１６は、把持手判断部１１２および操作手判断部１１４の判断結果を参照し、表示部１２２の表示領域のうちユーザが視認可能な範囲を表示範囲として設定する。画像変更部１１８は、表示範囲設定部１１６によって設定された表示範囲内におさまるように、表示部１２２に表示する画像の位置または大きさを変更する。

上記の把持手判断部１１２は、把持手検出手段からの出力結果を参照して、把持手が右手または左手のいずれであるかを判断するとよい。把持手検出手段としては、例えば上述した近接センサ１４０を利用することができる。本実施形態では、図１（ｂ）に示すように、上述した近接センサ１４０として、左側近接センサ１４０ａおよび右側近接センサ１４０ｂが筐体の側面１０２ｃ・１０２ｄ（両側面）それぞれに配設されている。これにより、把持手判断部１１２は、左側近接センサ１４０ａが物体の接近を検出したら、ユーザが左手で携帯電話１００を把持していると判断することができ、右側近接センサ１４０ｂが物体の接近を検出したら、ユーザが右手で携帯電話１００を把持していると判断することができる。

なお、把持手検出手段として、近接センサ１４０以外のモジュールを用いることも可能である。図２は、近接センサ１４０以外のモジュールを把持手検出手段として用いる場合を例示する図である。図２（ａ）および（ｂ）は、第２タッチセンサ１６０（図１（ａ）参照）を把持手検出手段として用いた場合を例示している。図２（ａ）に示すように、ユーザが左手１９０ａで携帯電話１００を把持している場合、筐体１０２の裏面１０２ｂに設けられた第２タッチセンサ１６０では、左側近傍において掌１９１ａによる面積の広い接触（ハッチングにて図示）が生じ、右側近傍において指１９３ａ・１９４ａ・１９５ａ・１９６ａによる複数の面積が狭い接触（ハッチングにて図示）が生じている。

一方、図２（ｂ）に示すように、ユーザが右手１９０ｂで携帯電話１００を把持している場合、第２タッチセンサ１６０では、右側近傍において掌１９１ｂによる面積の広い接触（ハッチングにて図示）が生じ、左側近傍において指１９３ｂ・１９４ｂ・１９５ｂ・１９６ｂによる複数の面積が狭い接触（ハッチングにて図示）が生じている。このように、ユーザが右手１９０ｂまたは左手１９０ａのいずれの手で携帯電話１００を把持するかによって第２タッチセンサ１６０における接触検出位置やその面積が異なる。このため、かかる第２タッチセンサ１６０を把持手検出手段として用い、その出力結果を参照することにより把持手判断部１１２が把持手を判断可能となる。

なお、本実施形態では第２タッチセンサ１６０がマルチタッチ（複数箇所での接触）を検出可能な場合を例示して説明したが、これに限定するものではない。第２タッチセンサ１６０はシングルタッチを検出するものであってもよく、この場合、把持手判断部１１２は、例えば一番面積の大きい接触が生じている位置が左右どちらであるかを判断することにより把持手を判断することが可能である。

図２（ｃ）および（ｄ）は、撮像部１３０を把持手検出手段として用いた場合を例示している。なお、撮像部１３０を構成する第１撮像部１３０ａおよび第２撮像部１３０ｂは筐体１０２の裏面１０２ｂに配設されているため本来であれば正面からは視認できないが、理解を容易にするために、図２（ｃ）および（ｄ）では第１撮像部１３０ａおよび第２撮像部１３０ｂを透過させた状態で図示している。

本実施形態では、筐体１０２の裏面１０２ｂにおいて左上に第１撮像部１３０ａが、右上に第２撮像部１３０ｂが配置されている。図２（ｃ）に示すように、ユーザが左手１９０ａで携帯電話１００を把持している場合、第２撮像部１３０ｂはユーザの指（本実施形態においては人差し指である指１９３ａ）によって塞がれてしまうため、第２撮像部１３０ｂによって撮影がされた画像は暗い（黒い）画像になる。

一方、図２（ｄ）に示すように、ユーザが右手１９０ｂで携帯電話１００を把持している場合、第１撮像部１３０ａはユーザの指（本実施形態においては人差し指である指１９３ｂ）によって塞がれてしまうため、第１撮像部１３０ａによって撮影された画像は暗い（黒い）画像になる。このように、ユーザが右手１９０ｂまたは左手１９０ａのいずれの手で携帯電話１００を把持するかによって撮像部１３０において撮影された画像の明るさが異なるため、かかる撮像部１３０による撮影画像を参照することにより把持手判断部１１２が把持手を判断可能となる。

なお、本実施形態では撮像部１３０において撮影された画像の明るさによって把持手を判断する場合を例示したが、これに限定するものではなく、例えば撮像部１３０のピント調節機能を用い、第１撮像部１３０ａおよび第２撮像部１３０ｂのいずれの撮像部１３０のピントが合うか否かを以って把持手を判断してもよい。また本実施形態では、撮像部１３０が第１撮像部１３０ａおよび第２撮像部１３０ｂの２つから構成される場合を例示したが、これにおいても限定されず、撮像部１３０は筐体１０２の背面に少なくとも１以上設けられていればよく、１つの撮像部１３０によっても同等の機能を実現することが可能である。

図２（ｅ）および（ｆ）は、加速度センサ１５０を把持手検出手段として用いた場合を例示している。一般に、携帯電話１００を把持するときユーザはそれを掌１９１ａ・１９１ｂに載置するように持つため、かかる掌１９１ａ・１９１ｂを意図的に視点側に向けない限り、携帯電話１００は視点に対して正対せず、傾いた状態になる。このため、図２（ｅ）に示すようにユーザが左手１９０ａで携帯電話１００を把持している場合、携帯電話１００は右下がりの状態になる。一方、図２（ｆ）に示すようにユーザが右手１９０ｂで携帯電話１００を把持している場合、携帯電話１００は左下がりの状態になる。特に携帯電話１００を手に持った瞬間は、携帯電話１００の傾き（姿勢）が、把持手に応じて図２（ｅ）または図２（ｆ）に示す状態になることが多い。したがって、加速度センサ１５０を把持手検出手段として用い、その出力結果（携帯電話１００の姿勢）を参照すれば、把持手判断部１１２が把持手を判断することが可能となる。

図３は、近接センサ１４０の配置の他の例、およびタッチパネルディスプレイ１２０への指の接触を説明する図である。図３（ａ）に示す携帯電話１００ａでは、筐体１０２の下面１０２ｅの両端部近傍それぞれに近接センサ１４０（左側近接センサ１４０ａおよび右側近接センサ１４０ｂ）を配置している。一般に、携帯電話１００を把持するときユーザは掌１９１ａ・１９１ｂ（図２参照）に携帯電話１００の角が当たるようにして持つことが多い。

したがって、上記構成によれば、ユーザが携帯電話１００を左手１９０ａに把持した場合には、下面１０２ｅの左端に配置された左側近接センサ１４０ａによって物体（把持手）の接近が検出され、ユーザが携帯電話１００を右手１９０ｂに把持した場合には、下面１０２ｅの右端に配置された右側近接センサ１４０ｂによって物体（把持手）の接近が検出される。これにより、左側近接センサ１４０ａおよび右側近接センサ１４０ｂの出力結果を参照することにより、把持手判断部１１２が把持手を判断することが可能となる。

図３（ｂ）は、携帯電話１００を把持した際におけるタッチパネルディスプレイ１２０へのユーザの手の接触状態を図示している。例えばユーザが右手１９０ｂで携帯電話１００を把持する場合、表示部１２２（厳密にはタッチパネルディスプレイ１２０）の下部の右側の領域にユーザの掌１９１ｂ（図２（ｂ）参照）が接触し、図３（ｂ）に示すように右下の領域での指より大きい面積の接触（ハッチングにて図示）がタッチセンサ１２４において検知される。

一方、図示はしていないが、ユーザが左手１９０ａで携帯電話１００を把持する場合には、表示部１２２（タッチパネルディスプレイ１２０）の下部の左側の領域へのユーザの掌１９１ａ（図２（ａ）参照）の接触により、左下の領域での指より大きい面積の接触がタッチセンサ１２４において検知される。したがって、タッチパネルディスプレイ１２０の下部において指より大きな面積での接触が検知されたときの接触位置（右側か左側か）を参照することにより、把持手判断部１１２が把持手を判断することが可能である。

また図３（ｂ）から明らかなように、タッチパネルディスプレイ１２０において、ユーザの掌１９１ｂが指より大きい面積で接触しているということは、すなわちその把持している側の手でタッチパネルディスプレイ１２０を操作しているということである。したがって、上記のようにタッチパネルディスプレイ１２０の下部において指より大きな面積での接触が検知されたときの接触位置を参照することにより、操作手判断部１１４が操作手を判断することも可能となる。

図３（ｃ）に示す携帯電話１００ｂでは、筐体１０２の表面１０２ａ（表示部１２２が設けられている面）の下部の両端近傍それぞれに近接センサ１４０（左側近接センサ１４０ａおよび右側近接センサ１４０ｂ）を配置している。これにより、ユーザが左手１９０ａでタッチパネルディスプレイ１２０を操作する際には、左端に配置された左側近接センサ１４０ａが左手１９０ａ（操作手）によって覆われ、かかる左側近接センサ１４０ａにおいて物体（操作手）の接近が検出される。

一方、ユーザが右手１９０ｂでタッチパネルディスプレイ１２０を操作する際には、右端に配置された右側近接センサ１４０ｂが右手１９０ｂ（操作手）によって覆われ、かかる右側近接センサ１４０ｂにおいて物体（操作手）の接近が検出される。これにより、操作手判断部１１４が、近接センサ１４０（左側近接センサ１４０ａおよび右側近接センサ１４０ｂ）の出力結果を参照して操作手を判断することが可能となる。

図３（ｄ）および（ｅ）は、携帯電話１００を操作する際におけるタッチパネルディスプレイ１２０へのユーザの手の接触状態を図示している。図３（ｄ）に示すようにユーザが左手１９０ａで操作している場合、タッチパネルディスプレイ１２０において指１９２ａの接触が検知されたときの接触面（矢印にて図示）は、かかるタッチパネルディスプレイ１２０の右上から左下に向かって斜めに延びる略楕円形状となる。

一方、図３（ｅ）に示すようにユーザが右手１９０ｂで操作している場合、タッチパネルディスプレイ１２０において指１９２ｂの接触が検知されたときの接触面（矢印にて図示）は、かかるタッチパネルディスプレイ１２０の左上から右下に向かって斜めに延びる略楕円形状となる。したがって、タッチパネルディスプレイ１２０において指の接触が検知されたときの接触面の形状を参照することにより、操作手判断部１１４が操作手を判断することが可能である。

なお、上記説明では、近接センサ１４０や第２タッチセンサ１６０、撮像部１３０、加速度センサ１５０、タッチパネルディスプレイ１２０等を把持手検出手段または操作手検出手段として機能させ、その出力結果を参照することにより把持手判断部１１２や操作手判断部１１４が把持手や操作手を判断する構成を例示したが、これに限定するものではない。例えば、把持手や操作手を右手１９０ｂまたは左手１９０ａのいずれの手にするかを事前にユーザ登録させる構成としてもよい。また把持手や操作手を事前登録する場合であっても、把持手検出手段や操作手検出手段によって検出された把持手や操作手が事前登録された手と異なる場合には、把持手判断部１１２や操作手判断部１１４は、把持手検出手段または操作手検出手段による検出結果を参照して事前登録された情報を更新することも可能である。

上述したように把持手判断部１１２および操作手判断部１１４によって把持手および操作手が判断されたら、表示範囲設定部１１６は、それらの判断結果を参照し、表示部１２２の表示領域のうちユーザが視認可能な範囲を表示範囲として設定する。図４は、表示範囲設定部１１６によって設定される表示範囲を例示する図である。

以下、図４（ａ）に示すように、表示部１２２の表示領域を左上から順に、領域Ａ・Ｂ・Ｃ・Ｄ・Ｅ・Ｆ・Ｇ・Ｈ・Ｉの９つの領域に分割した場合を例示して説明する。また図４（ｂ）〜図４（ｅ）では、表示部１２２において、操作手（の指）が接触している領域を黒塗りで示し、かかる操作手によって覆われることにより視認困難な（視認不可能な）領域をハッチングにて示している。なお、図４に示す表示部１２２の分割数や表示範囲は例示にすぎず、これに限定するものではない。

図４（ｂ）は、把持手および操作手がいずれも右手１９０ｂであった場合の表示範囲を例示する図である。すなわち、右手１９０ｂで携帯電話１００を把持し、右手１９０ｂの親指（指１９２ｂ）でタッチパネルディスプレイ１２０を操作する場合を例示している。図４（ｂ−１）に示すように、右手１９０ｂの親指で領域Ａをタッチする場合、領域Ｂ・Ｄ・Ｅ・Ｆ・Ｈ・Ｉが右手１９０ｂに覆われて視認困難となるため、表示範囲設定部１１６は領域Ｃ・Ｇを表示範囲として設定する。図４（ｂ−２）に示すように、右手１９０ｂの親指で領域Ｂをタッチする場合、領域Ｃ・Ｅ・Ｆ・Ｈ・Ｉが右手１９０ｂに覆われて視認困難となるため、表示範囲設定部１１６は領域Ａ・Ｄ・Ｇを表示範囲として設定する。

図４（ｂ−３）に示すように、右手１９０ｂの親指で領域Ｃをタッチする場合、領域Ｆ・Ｉが右手１９０ｂに覆われて視認困難となるため、表示範囲設定部１１６は領域Ａ・Ｂ・Ｄ・Ｅ・Ｇ・Ｈを表示範囲として設定する。図４（ｂ−４）に示すように、右手１９０ｂの親指で領域Ｄをタッチする場合、領域Ｅ・Ｇ〜Ｉが右手１９０ｂに覆われて視認困難となるため、表示範囲設定部１１６は領域Ａ〜Ｃ・Ｆを表示範囲として設定する。図４（ｂ−５）に示すように、右手１９０ｂの親指で領域Ｅをタッチする場合、領域Ｆ・Ｈ・Ｉが右手１９０ｂに覆われて視認困難となるため、表示範囲設定部１１６は領域Ａ〜Ｄ・Ｇを表示範囲として設定する。

図４（ｂ−６）に示すように、右手１９０ｂの親指で領域Ｆをタッチする場合、領域Ｉが右手１９０ｂに覆われて視認困難となるため、表示範囲設定部１１６は領域Ａ〜Ｅ・Ｇ・Ｈを表示範囲として設定する。図４（ｂ−７）に示すように、右手１９０ｂの親指で領域Ｇをタッチする場合、領域Ｈ・Ｉが右手１９０ｂに覆われて視認困難となるため、表示範囲設定部１１６は領域Ａ〜Ｆを表示範囲として設定する。図４（ｂ−８）に示すように、右手１９０ｂの親指で領域Ｈをタッチする場合、領域Ｉが右手１９０ｂに覆われて視認困難となるため、表示範囲設定部１１６は領域Ａ〜Ｇを表示範囲として設定する。図４（ｂ−９）に示すように、右手１９０ｂの親指で領域Ｉをタッチする場合、右手１９０ｂに覆われる領域はないため、表示範囲設定部１１６は領域Ｉ以外の領域Ａ〜Ｈを表示範囲として設定する。

図４（ｃ）は、把持手および操作手がいずれも左手１９０ａであった場合の表示範囲を例示する図である。すなわち、左手１９０ａで携帯電話１００を把持し、左手１９０ａの親指（指１９２ａ）でタッチパネルディスプレイ１２０を操作する場合を例示している。この場合、図４（ｃ−１）〜（ｃ−９）に示すように、左手１９０ａによって覆われる領域は図４（ｂ−１）〜（ｂ−９）と左右対称になるため、表示範囲も図４（ｂ−１）〜（ｂ−９）と左右対称に設定される。

図４（ｄ）は、把持手が左手１９０ａであり、操作手が右手１９０ｂであった場合の表示範囲を例示する図である。すなわち、左手１９０ａで携帯電話１００を把持し、右手１９０ｂの指でタッチパネルディスプレイ１２０を操作する場合を例示している。図４（ｄ−１）に示すように、携帯電話１００を左手１９０ａに把持した状態において右手１９０ｂの指で領域Ａをタッチする場合、右手１９０ｂによって覆われる領域は図４（ｂ−１）と同様である。したがって、表示範囲設定部１１６は、図４（ｂ−１）と同様に領域Ｃ・Ｇを表示範囲として設定する。図４（ｄ−２）に示すように、右手１９０ｂの指で領域Ｂをタッチする場合においても右手１９０ｂによって覆われる領域は図４（ｂ−２）と同じであるため、表示範囲設定部１１６は、図４（ｂ−２）と同様に領域Ａ・Ｄ・Ｇを表示範囲として設定する。

図４（ｄ−３）に示すように、右手１９０ｂの指で領域Ｃをタッチする場合、領域Ｃ以外の領域は右手１９０ｂによって覆われないため、表示範囲設定部１１６は、領域Ｃ以外の領域Ａ・Ｂ・Ｄ〜Ｉを表示範囲として設定する。図４（ｄ−４）〜図４（ｄ−９）に示すように、右手１９０ｂの指で領域Ｄ〜Ｉをタッチする場合、右手１９０ｂによって覆われる領域は図４（ｂ−４）〜図４（ｂ−９）と同じであるため、表示範囲設定部１１６は、図４（ｂ−４）〜図４（ｂ−９）と同様に表示範囲をそれぞれ設定する。

図４（ｅ）は、把持手が右手１９０ｂであり、操作手が左手１９０ａであった場合の表示範囲を例示する図である。すなわち、右手１９０ｂで携帯電話１００を把持し、左手１９０ａの指でタッチパネルディスプレイ１２０を操作する場合を例示している。この場合、図４（ｅ−１）〜（ｅ−９）に示すように、左手１９０ａによって覆われる領域は図４（ｄ−１）〜（ｄ−９）と左右対称になるため、表示範囲も図４（ｄ−１）〜（ｄ−９）と左右対称に設定される。

上述したように表示範囲設定部１１６によって表示範囲が設定されたら、画像変更部１１８は、表示範囲設定部１１６によって設定された表示範囲内におさまるように、表示部１２２に表示する画像の位置または大きさを変更する。すなわち画像変更部１１８は、文字数や絵のサイズ、選択候補数等の画像情報の位置や大きさを、表示範囲設定部１１６によって設定された表示範囲のサイズやエリア数に適するように変更する。

図５は、表示部１２２への画像の表示について例示する図である。なお、図５では、図４（ｂ−１）のように把持手および操作手がいずれも右手１９０ｂであった場合を例示している。また図５において破線にて囲われている表示範囲のうち、エリア１２２ａは図４（ｂ−１）の領域Ｃに相当するエリアであり、エリア１２２ｂは図４（ｂ−１）の領域Ｇに相当するエリアである。

把持手および操作手がいずれも右手１９０ｂであった場合、上述したように、表示範囲は、領域Ｃ・Ｇの２つ（複数）のエリア（エリア１２２ａ・１２２ｂ）に分割される。このように隣接しない複数のエリアが表示範囲に含まれる場合、図５（ａ）に示すようにエリア１２２ａ・１２２ｂ（領域Ｃ・Ｇ）の両方を利用して画像を表示してもよいし、図５（ｂ）に示すように一方のエリア（図５（ｂ）ではエリア１２２ｂを例示）のみに画像を表示してもよい。

例えば『契約する』という項目にたいして、『ＹＥＳ』および『ＮＯ』という判断の選択肢（アイコン）を表示する場合のように、押し間違いによる選択ミスを避ける必要がある場合には、図５（ａ）に示すように、隣接しない複数のエリア（エリア１２２ａ・１２２ｂ）のそれぞれに選択肢を分割して表示するとよい。一方、メールの送信ボックスアイコン、受信ボックスアイコン、新規メール作成アイコンのように、並べて表示するほうが便利なアイコンや、頻繁に使用するアイコン等については、図５（ｂ）に示すように複数のエリア（エリア１２２ａ・１２２ｂ）のうち、１つのエリアに並べて表示するとよい。

上記説明したように、本実施形態にかかる携帯電話１００によれば、タッチパネルディスプレイ１２０において、ユーザの手や指が接触していないものの、それによって覆われてしまう（隠れてしまう）領域を踏まえて表示範囲が設定される。すなわちユーザの手や指の接触の有無によることなく表示部の表示範囲を設定することができる。これにより、画像はユーザが視認可能な領域のみに表示されることになるため、操作性の向上を図ることができ、ユーザの利便性を更に高めることが可能となる。

ここで、上述したように本実施形態の携帯電話１００は、加速度を検知し、検知した検知した加速度によって携帯電話１００の重力方向、すなわち携帯電話１００の姿勢を検出する加速度センサ１５０を備える。この加速度センサ１５０を端末姿勢検出手段とし、表示範囲設定部１１６が、把持手判断部１１２および操作手判断部１１４の判断結果に加え、かかる端末姿勢検出手段からの出力結果を参照して表示範囲を設定することにより、上述した機能をより向上させることが可能である。

図６は、端末姿勢検出手段からの出力結果による表示範囲の設定について説明する図である。なお、図６では、図４（ｄ−１）のように把持手が左手１９０ａであり、操作手が右手１９０ｂであった場合を例示している。把持手が左手１９０ａであり、操作手が右手１９０ｂであった場合、上述したように、表示範囲は、領域Ｃ・Ｇの２つ（複数）のエリア（エリア１２２ａ・１２２ｂ）に分割される。このような場合、図６（ａ）に示すように携帯電話１００を垂直に近い状態で把持しているときにはエリア１２２ａ・１２２ｂの両方を視認可能である。しかしながら、図６（ｂ）に示すように携帯電話１００がユーザから離れる方向に傾けられて水平に近い状態になると、エリア１２２ａ・１２２ｂのうち、エリア１２２ａ（領域Ｃに相当）は、ユーザから遠ざかり、且つ指１９２ｂの背後に位置するため視認しづらくなる。

そこで表示範囲設定部１１６は、把持手判断部１１２および操作手判断部１１４の判断結果に加え、加速度センサ１５０からの出力結果を参照して表示範囲を設定する。例えば図６（ｂ）の例では、把持手判断部１１２および操作手判断部１１４の判断結果によって設定された表示範囲であるエリア１２２ａ・１２２ｂ（領域Ｃ・Ｇ）のうち、携帯電話１００が水平に近い状態になることにより視認しづらくなるエリア１２２ａを表示無効にする。これにより、ユーザが視認しづらいエリア１２２ａでは画像表示が行われず、エリア１２２ｂにおいてのみ画像が表示される。したがって、操作性の更なる向上を図ることができ、ユーザの利便性を一層高めることが可能となる。

また上記の端末姿勢検出手段（本実施形態においては加速度センサ１５０）を備えることにより、以下に説明するように、表示部１２２に表示される画像、特にキーボードのキーの大きさ変更に携帯電話１００の姿勢を反映することができる。図７は、携帯電話の姿勢による画像の大きさの変更について説明する図である。

なお、図７では「な行」のキー（キーボード）を配列した場合を例示しているが、これに限定するものでない。また以下に説明する制御は、キーボードに限定するものではなく、他の画像を表示する際にも適用可能である。また図７に示す「な行」のキーボードは、「な」のキーに接触したときにその周囲に「に」〜「の」のキーが表示されるフリック入力形式のキーボードであるが、理解を容易にするために、図７（ａ）〜（ｄ）では、「な」のキーに接触している指を不図示としている。

図７（ａ）に示すように、加速度センサ１５０（端末姿勢検出手段）によって検出された携帯電話１００の姿勢が垂直に近い状態であった場合、ユーザは表示部１２２のすべての領域を視認可能である。換言すれば表示部１２２において視認しづらい領域は存在しない。したがって、表示範囲設定部１１６は、表示部１２２のすべての表示領域を表示範囲として設定し、画像変更部１１８は、「な行」のキーボードのすべてのキー（「な」〜「の」のキー）を同じ大きさに設定する（標準時）。

図７（ｂ）に示すように、加速度センサ１５０によって検出された携帯電話１００の姿勢が水平に近い状態であった場合、上述したように表示部１２２においてユーザから離れた領域である上部の領域を視認しづらくなる。そこで、表示範囲設定部１１６は、表示部１２２の上部以外の領域を表示範囲として設定し、画像変更部１１８は、「な行」のキーボードの５つのキーのうち、表示範囲に配置されているキー（「な」、「に」、「ね」、「の」）は標準時の大きさとし、表示範囲外に配置されているキーである「ぬ」のキーを拡大表示する（大きさを変更する）。

図７（ｃ）に示すように、加速度センサ１５０によって検出された携帯電話１００の姿勢が右下に傾斜した状態であった場合、表示部１２２の右側の領域を視認しづらくなる。また図７（ｃ）では、携帯電話１００は水平側に傾いた状態であるため、表示部１２２の上部の領域も視認しづらくなる。したがって、表示範囲設定部１１６は、表示部１２２の上部および右側以外の領域を表示範囲として設定し、画像変更部１１８は、表示範囲に配置されているキー（「な」、「に」、「の」）は標準時の大きさとし、表示範囲外に配置されているキーである「ぬ」、「ね」のキーを拡大表示する（大きさを変更する）。一方、図７（ｄ）に示す携帯電話１００は、水平側に傾きつつ、図７（ｃ）とは反対に左下に傾斜した状態であるため、「に」、「ぬ」のキーが拡大表示される。

上記構成によれば、携帯電話１００が傾いた姿勢になることによりユーザの視点位置から距離が遠くなり、視認しづらくなってしまう領域において、そこに表示されるキー（画像）の視認性を高めることができ、より高い操作性を得ることが可能である。したがって、誤入力を防ぎ、利便性に優れた携帯電話１００を提供することが可能である。

なお、上述した構成以外にも、例えば図７（ｅ）に示すように、キーボードを構成するすべてのキーを、表示範囲内において可能な限り拡大することも可能である。そしてこの場合においても、図７（ｆ）に示すように携帯電話１００の姿勢に応じて特定のキーのみを拡大することも可能である。

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

本出願は、2012年6月15日出願の日本特許出願・出願番号2012-135364に基づくものであり、その内容はここに参照として取り込まれる。

本発明は、画像を表示する表示部と、表示部に重畳され接触によりユーザ入力を検出するタッチセンサとからなるタッチパネルディスプレイを備える端末装置として利用可能である。

１００・１００ａ・１００ｂ…携帯電話、１０２…筐体、１０２ａ…表面、１０２ｂ…裏面、１０２ｃ・１０２ｄ…側面、１０２ｅ…下面、１０４…スイッチボタン、１１０…制御部、１１２…把持手判断部、１１４…操作手判断部、１１６…表示範囲設定部、１１８…画像変更部、１２０…タッチパネルディスプレイ、１２２…表示部、１２２ａ・１２２ｂ…エリア、１２４…タッチセンサ、１３０…撮像部、１３０ａ…第１撮像部、１３０ｂ…第２撮像部、１４０…近接センサ、１４０ａ…左側近接センサ、１４０ｂ…右側近接センサ、１５０…加速度センサ、１６０…第２タッチセンサ、１９０ａ…左手、１９０ｂ…右手、１９１ａ・１９１ｂ…掌、１９２ａ・１９２ｂ・１９３ａ・１９３ｂ・１９４ａ・１９４ｂ・１９５ａ・１９５ｂ・１９６ａ・１９６ｂ…指

Claims (12)

1. 画像を表示する表示部と、該表示部に重畳され接触によりユーザ入力を検出するタッチセンサとからなるタッチパネルディスプレイと、
   ユーザが当該端末装置を把持している手である把持手が右手または左手のいずれであるかを判断する把持手判断部と、
   ユーザが前記タッチパネルディスプレイを操作している手である操作手が右手または左手のいずれであるかを判断する操作手判断部と、
   加速度センサまたは地磁気センサのうち少なくとも１以上からなる端末姿勢検出手段と、
   前記把持手判断部および前記操作手判断部の判断結果に加え、前記端末姿勢検出手段からの出力結果を参照して、前記表示部の表示領域のうち前記ユーザが視認可能な範囲を表示範囲として設定する表示範囲設定部と、
   前記表示範囲設定部によって設定された表示範囲内におさまるように、前記把持手判断部および前記操作手判断部の判断結果に基づき、前記表示部に表示する画像の位置または大きさを変更する画像変更部と、
   を備える端末装置。
2. 当該端末装置は、筐体の両側面それぞれに、近接センサ、照度センサ、近接照度センサ、または物理キーのうち少なくとも１以上からなる把持手検出手段を更に備え、
   前記把持手判断部は、前記把持手検出手段からの出力結果を参照して前記把持手を判断する請求項１に記載の端末装置。
3. 当該端末装置は、筐体において前記表示部が設けられている面の背面に、接触によりユーザの手の接触を検出する第２タッチセンサを更に備え、
   前記把持手判断部は、前記第２タッチセンサからの出力結果を参照して前記把持手を判断する請求項１に記載の端末装置。
4. 当該端末装置は、筐体において前記表示部が設けられている面の背面に、画像を撮影する撮像部を更に備え、
   前記撮像部が撮影した画像を参照して前記把持手を判断する請求項１に記載の端末装置。
5. 当該端末装置は、加速度センサまたは地磁気センサのうち少なくとも１以上からなる把持手検出手段を更に備え、
   前記把持手判断部は、前記把持手検出手段からの出力結果を参照して前記把持手を判断する請求項１に記載の端末装置。
6. 当該端末装置は、筐体の下面の両端部近傍それぞれに、近接センサ、照度センサ、近接照度センサ、または物理キーのうち少なくとも１以上からなる把持手検出手段を更に備え、
   前記把持手判断部は、前記把持手検出手段からの出力結果を参照して前記把持手を判断する請求項１に記載の端末装置。
7. 前記把持手判断部は、前記タッチパネルディスプレイの下部において指より大きい面積での接触が検知されたときの該接触位置によって前記把持手を判断する請求項１に記載の端末装置。
8. 当該端末装置は、筐体において前記表示部が設けられている面の下部の両端近傍それぞれに、近接センサ、照度センサ、近接照度センサ、または物理キーのうち少なくとも１以上からなる操作手検出手段を更に備え、
   前記操作手判断部は、前記操作手検出手段からの出力結果を参照して前記操作手を判断する請求項１に記載の端末装置。
9. 前記操作手判断部は、前記タッチパネルディスプレイの下部において指より大きい面積での接触が検知されたときの該接触位置によって前記操作手を判断する請求項１に記載の端末装置。
10. 前記操作手判断部は、前記タッチパネルディスプレイにおいて指の接触が検知されたときの該接触面の形状によって前記操作手を判断する請求項１に記載の端末装置。
11. 画像を表示する表示部と、該表示部に重畳され接触によりユーザ入力を検出するタッチセンサとからなるタッチパネルディスプレイと、加速度センサまたは地磁気センサのうち少なくとも１以上からなる端末姿勢検出手段と、を備える端末装置の表示制御方法であって、
    ユーザが当該端末装置を把持している手である把持手が右手または左手のいずれであるかを判断し、
    ユーザが前記タッチパネルディスプレイを操作している手である操作手が右手または左手のいずれであるかを判断し、
    把持手と操作手の判断結果に加え、前記端末姿勢検出手段からの出力結果を参照して、前記表示部の表示領域のうち前記ユーザが視認可能な範囲を表示範囲として設定し、
    設定された表示範囲内におさまるように、前記表示部に表示する画像の位置または大きさを変更することを含む、表示制御方法。
12. 画像を表示する表示部と、該表示部に重畳され接触によりユーザ入力を検出するタッチセンサとからなるタッチパネルディスプレイと、
    当該端末装置を把持しているユーザの把持手が右手または左手のいずれであるか、および前記タッチパネルディスプレイを操作しているユーザの操作手が右手または左手のいずれであるかに基づいて前記表示部に表示する画像の位置または大きさを変更する制御部と、
    加速度センサまたは地磁気センサのうち少なくとも１以上からなる端末姿勢検出手段と、
    を備え、
    前記制御部は、
    ユーザの把持手および操作手に基づく判断結果に加え、前記端末姿勢検出手段からの出力結果を参照して、前記表示部の表示領域のうち前記ユーザが視認可能な範囲を表示範囲として設定し、
    設定された前記表示範囲内におさまるように、前記表示部に表示する画像の位置または大きさを変更する端末装置。

Images