以下、本発明の第1実施形態に係る携帯端末装置及びその表示制御方法について図面を参照して説明する。
図1は、本発明の第1実施形態に係る携帯端末装置10の外観図である。携帯端末装置10は、縦長矩形の偏平な外観形状を有する筐体11、この筐体11に収容される後述する表示部12等を備え、片手で把持できる大きさの端末である。携帯端末装置10は、例えば高さ140mm前後、幅70mm前後、厚み7~8mm前後の大きさであり、一般にスマートフォンと呼ばれるが、これに限定されない。
携帯端末装置10の前面のほぼ全体をカバーするようにタッチパネル式の表示部12が配置されている。典型的には表示部12の画面の大きさは5~6インチ前後であるがこれに限定されない。なお、9インチ程度以上の大型画面の表示部12を有する端末は一般にタブレット端末と呼ばれる。
図2は、携帯端末装置10の内部構成の概略を示すブロック図である。携帯端末装置10は、表示部12と、タッチパネル13と、通信部14と、記憶部15と、センサー16と、ハードボタン17と、制御ユニット20とを備える。これらの構成要素は、互いにバスを通じてデータ又は信号の送受信が可能とされている。
なお、携帯端末装置10の外面には、カメラ、スピーカー、LED(Light Emitting Diode)等が配置されているが、便宜上、図1ではそのような部材の図示を省略している。
表示部12は、液晶ディスプレイ(LCD:Liquid Crystal Display)や有機EL(OLED:Organic Light-Emitting Diode)などから構成される。
タッチパネル13は、所謂抵抗膜方式や静電容量方式等のタッチパネルである。タッチパネル13は、表示部12の画面に配置され、表示部12の画面に対する指などの接触をその接触位置と共に検知する。タッチパネル13は、指などの接触を検知すると、その接触位置の座標を示す検知信号を制御ユニット20の制御部21などに出力する。従って、タッチパネル13は、表示部12の画面に対するユーザー操作が入力される操作部としての役割を果たす。これにより、表示部12は、その画面の任意の位置に様々なボタン等のオブジェクトを表示して当該ボタンがタッチ操作されたか否かをタッチパネル13により検知することができる。
また、携帯端末装置10は、ユーザー操作が入力される操作部として、上記のタッチパネル13に加えてハードキーを備えてもよい。
通信部14は、無線基地局や外部装置との無線通信を行う無線通信インターフェイスである。無線通信方式としてWi-Fi(登録商標)やBluetooth(登録商標)等を使用することができる。また、通信部14は3G通信やLTE(Long Term Evolution)等によるキャリア通信が可能である。
記憶部15は、例えば大容量のSSD(Solid State Drive)、HDD(Hard Disk Drive)などからなり、各種のデータやプログラムを記憶している。また、記憶部15は、アプリ実行時に制御ユニット20によって使用される一時的なデータ等を記憶する。
センサー16は、筐体11の傾きを検出するものであり、例えば、加速度センサー、ジャイロセンサー等である。
制御ユニット20は、プロセッサー、RAM(Random Access Memory)、及びROM(Read Only Memory)などから構成される。プロセッサーは、CPU(Central Processing Unit)、MPU、又はASIC等である。この制御ユニット20は、上記のROM又は記憶部15に記憶された制御プログラムが上記プロセッサーで実行されることにより、制御部21、表示制御部22、操作領域決定部23、特定傾き判定部24、表示変更部25、面積比較部26、表示復帰部27、判定部28及び第1特定部29として機能する。なお、制御ユニット20の上記の各構成要素は、前述の制御プログラムに基づく動作によらず、それぞれハード回路により構成されてもよい。
制御部21は、携帯端末装置10の全体的な動作制御を司る。また、制御部21は、表示部12、タッチパネル13、通信部14、記憶部15及びセンサー16などと接続されており、上記各構成要素の動作制御や、各構成要素との間での信号またはデータの送受信を行う。制御部21は、特に、携帯端末装置10にインストールされたアプリケーションプログラム(アプリ)を実行して、表示部12に対する画面表示制御を行い、また、表示部12の画面に対するタッチ操作に応じて動作する。例えば、制御部21が複合機のリモート操作用アプリを実行することで、携帯端末装置10の表示部12の画面に表示されたGUI(Graphical User Interface)を通じて複合機のコピー、プリント、スキャン、ファクシミリの各機能をリモート操作することができる。
表示制御部22は、表示部12の画面の予め定められた複数の配置位置(例えば図3(A)では、縦に2個、横に4個とする2行4列の配置位置)に、ユーザーによるタッチ操作により選択可能な複数のオブジェクト(「A」~「H」の8個のオブジェクトOJ)をそれぞれ表示させる。
操作領域決定部23は、ユーザーが片手で筐体11を把持している状態において、表示部12の画面に対する当該片手の操作指(例えば親指)によるタッチ位置の軌跡から当該表示部12の画面において操作指が届く操作領域を決定する。具体的には、操作領域決定部23は、図3(A)に示すように右手で筐体11を把持する場合には、表示部12の画面に対する右手の操作指Uによるタッチ位置の軌跡をタッチパネル13による検知信号により特定し、タッチ位置の軌跡を画面上の限界線BLとして特定し、表示部12の画面を限界線BLで二分した各分割領域のうちで限界線BL以外に表示部12の画面を触れた接触点T1が存する方の分割領域を操作領域ASとして決定する。これにより、筐体11を把持する片手の操作指Uのみで操作領域ASを決定することができ、操作性に優れる。
また、操作領域決定部23は、タッチ位置の軌跡についての始点及び終点のうち少なくとも一方が表示部12の画面の端部位置に届いていない場合には、タッチ位置の軌跡を当該軌跡の方向に沿って表示部12の画面の端部位置にまで延長することで限界線BLを特定する。これにより、タッチ位置の軌跡の端部が表示部12の画面の端部位置に届いていなくても、当該タッチ位置の軌跡を補足することができ、操作領域ASを適切に決定することができ、操作性に優れる。
記憶部15は、操作領域決定部23が決定した操作領域ASを示す領域データを記憶する操作領域記憶部151と、複数のオブジェクトごとにその使用頻度を記憶する使用頻度記憶部152とを備える。制御部21は、使用頻度として、例えば、直近の日から予め定められた過去の日数までの期間について、オブジェクト毎のタッチ操作の積算回数を、使用頻度記憶部152に記憶させている。なお、使用頻度は、使用時間、使用回数などであってもよい。
特定傾き判定部24は、操作領域記憶部151に領域データが記憶された後に、センサー16により検出された筐体11の傾きが、当該片手の操作指U側に向けて傾けられた特定傾き(例えば図5の左上に示す例では、右手側への横傾き)であるか否かを判定する。特定傾きは、後述する筐体11の基準姿勢から予め定められた角度(例えば30度)以上の傾きとする。これにより、特定傾きよりも小さい傾きによって特定傾きであると誤判定されることを防止できる。
表示変更部25は、特定傾き判定部24により特定傾きであると判定されると、操作領域AS内に複数の変更後位置を設定し、前記設定した複数の変更後位置に、複数のオブジェクトをそれぞれ移動させて表示する。表示変更部25は、図5の左下又は右下に示すように、操作領域AS内に複数の変更後位置を設定し、この複数の変更後位置に、「A」~「H」の8個のオブジェクトOJをそれぞれ表示させる。
面積比較部26は、図5の左下に示すように、表示部12の画面における操作領域ASの面積と、予め定められた複数の配置位置にそれぞれ配置された複数のオブジェクト(「A」~「H」の8個のオブジェクトOJ)を含む領域TAの面積である合計面積とを比較する。具体的には、制御部21は、予め記憶部15に記憶されている表示部12の画面の全画素数と、操作領域記憶部151に記憶した領域データ(限界線BL上の各画素の各座標データ)との関係から、操作領域ASの面積を算出する。例えば、表示部12の画面を限界線BLで二分した各分割領域のうち接触点T1が存する方の分割領域についての画素数を数えることで、操作領域ASの面積を算出する。また、制御部21は、表示部12の画面上の各オブジェクトの表示面積と各オブジェクト間の隙間面積とが画素単位で割り出されるので、全オブジェクトの表示面積と各オブジェクト間の隙間面積とを積算することで合計面積を算出する。面積比較部26は、操作領域ASの面積と合計面積とを比較する。
表示変更部25は、面積比較部26の比較結果が操作領域ASの面積よりも合計面積の方が大きい場合には、図5の左下に示すように、複数のオブジェクトが操作領域AS内に収まるように当該複数のオブジェクトをそれぞれ縮小した上で複数の変更後位置に移動させて表示させ、面積比較部26の比較結果が操作領域ASの面積よりも合計面積の方が小さい場合には、図5の右下に示すように、複数のオブジェクトを縮小せずに複数の変更後位置に移動させて表示させる。これにより、ユーザーが設定した操作領域ASの大きさに応じて、複数のオブジェクトを適切に表示することができる。
表示復帰部27は、図6の左上又は右上に示すように、表示変更部25により操作領域AS内における複数の変更後位置に複数のオブジェクトが表示されている状態において、センサー16により検出された筐体11の傾きが、当該片手の操作指Uとは反対側に向けて傾けられた戻し傾き(例えば図6では、右手の操作指U側とは反対側への横傾き)であると特定傾き判定部24で判定された場合、又は、表示部12の画面の操作領域AS内を触れた操作指Uを前記予め定められた複数の配置位置側に向けてスライドさせる操作(例えばフリック操作)がタッチパネル13により検出された場合、操作領域AS内における複数の変更後位置に表示された複数のオブジェクトを、図6の中央下に示すように、前記予め定められた複数の配置位置にそれぞれ戻して表示させる。これにより、ユーザーが片手の操作指Uとは反対側に傾けるだけで、複数のオブジェクトを元の配置に戻すことができ、操作性に優れる。
判定部28は、操作領域決定部23が決定した操作領域AS内に、前記予め定められた複数の配置位置のうちの少なくとも一つの配置位置が含まれているか否かを判定する。例えば図7の左上に示す例では、判定部28は、操作領域AS内に、「A」~「P」の16個のオブジェクトOJの配置位置のうちの少なくとも一つの配置位置(「K」、「L」、「O」及び「P」の4個のオブジェクトOJの配置位置)が含まれていると判定する。
表示変更部25は、判定部28が操作領域AS内にオブジェクトの配置位置が含まれていないと判定した場合に、特定傾き判定部24により特定傾きであると判定されると、図5の左下又は右下に示すように、操作領域記憶部151が記憶した領域データが示す操作領域AS内における複数の変更後位置に、複数のオブジェクトをそれぞれ移動させて表示する。また、表示変更部25は、判定部28が操作領域ASに前記少なくとも一つの配置位置が含まれていると判定した場合に、特定傾き判定部24により特定傾きであると判定されると、図7の左下又は右下に示すように、当該少なくとも一つの配置位置にかかるオブジェクトと、操作領域AS外のオブジェクトとを入れ替えて表示する。これにより、ユーザーが設定した操作領域AS内にオブジェクトOJが含まれている場合、つまり、操作領域ASが空白領域でない場合あっても、操作領域AS内のオブジェクトOJと操作領域AS外のオブジェクトOJとを入れ替えて表示することができる。
表示変更部25は、判定部28が、操作領域ASに前記複数のオブジェクトのうちの一部のオブジェクトが配置されていると判定した場合に、特定傾き判定部24により特定傾きであると判定されると、前記一部のオブジェクトと、操作領域AS外において当該特定傾きの傾斜方向の上流側に位置する予め定められた範囲内のオブジェクトとを入れ替えて表示する。これにより、特定傾きの傾斜方向と、移動元のオブジェクトが操作領域ASに移動する方向とを一致させることができ、ユーザーによる特定傾きの操作に連動したオブジェクトの移動を実現することができる。
また、特定傾き判定部24は、特定傾きとして、表示部12の画面を当該画面の横辺方向に向けて傾けられた第1特定傾き(後述する図10(A)に示す横傾き)と、当該画面の対角線方向に向けて傾けられた第2特定傾き(図10(B)に示す斜め傾き)と、当該画面の縦辺方向に向けて傾けられた第3特定傾き(図10(C)に示す縦傾き)とを判定する。表示変更部25は、判定部28が操作領域ASに複数のオブジェクトのうちの一部のオブジェクトが配置されていると判定した場合に、特定傾き判定部24により第1特定傾きであると判定されると、図10(A)に示すように、前記一部のオブジェクトと、操作領域AS外において当該第1特定傾きの傾斜方向の上流側に位置する予め定められた範囲としての横端側範囲内のオブジェクトとを入れ替えて表示し、特定傾き判定部24により第2特定傾きであると判定されると、図10(B)に示すように、前記一部のオブジェクトと、操作領域AS外において当該第2特定傾きの傾斜方向の上流側に位置する予め定められた範囲としての対角線端側範囲内のオブジェクトとを入れ替えて表示し、特定傾き判定部24により第3特定傾きであると判定されると、図10(C)に示すように、前記一部のオブジェクトと、操作領域AS外において当該第3特定傾きの傾斜方向の上流側に位置する予め定められた範囲としての縦端側範囲内のオブジェクトとを入れ替えて表示する。これにより、操作領域ASに移動させたいオブジェクトの配置位置に応じて、第1~第3特定傾き(横傾き、斜め傾き、縦傾き)を選択するだけで、目的のオブジェクトを操作領域ASに移動させることができ、操作性に優れる。
第1特定部29は、前記一部のオブジェクトのうちで使用頻度が最も低いオブジェクトと、操作領域AS外において当該特定傾きの傾斜方向の上流側に位置する予め定められた範囲内のオブジェクトのうち使用頻度が最も高いオブジェクトとを、使用頻度記憶部152が記憶する複数のオブジェクトごとの使用頻度を用いて特定する。表示変更部25は、判定部28が、操作領域ASに複数のオブジェクトのうちの一部のオブジェクトが配置されていると判定した場合に、特定傾き判定部24により特定傾きであると判定されると、使用頻度が最も低いオブジェクトと、使用頻度が最も高いオブジェクトとを入れ替えて表示する。これにより、操作領域AS内の使用頻度が最も低いオブジェクトと、操作領域AS外の使用頻度が最も高いオブジェクトとが入れ替えて表示されるので、ユーザーにより使用される可能性が最も高いオブジェクトを操作領域ASに移動させることができ、操作性に優れる。
なお、携帯端末装置10には上記の構成要素以外にスピーカー、マイクロフォン、LED、バイブレーター等が搭載されているが、便宜上、図2ではそのような構成要素の図示を省略している。
上述したように、携帯端末装置10では起動されたアプリによって表示部12の画面に様々なボタン等のオブジェクト(画面画像)が表示される。携帯端末装置10を片手で操作する場合、操作指U(親指)以外で携帯端末装置10を支持してフリーになった操作指Uを動かして画面画像を操作することとなる。このとき、概ね5インチ以上の大型画面の表示部12を備えた携帯端末装置10では、図3(A)及び図3(B)に示すように、操作指Uが表示部12の画面の端まで届かないことがある。そのような操作指Uが届かない位置に配置されたオブジェクト(ボタン)はもう片方の手を使って操作する必要がある。この問題に対して、本第1実施形態では、後述する図5に示すように、携帯端末装置10を把持する片手の操作指U(親指)側に当該携帯端末装置10を少し傾けるだけで当該操作指Uが届く操作領域ASにオブジェクトOJが移動し、表示部12の画面サイズが比較的大きくても片手での操作を可能にしている。
次に、第1実施形態の携帯端末装置10におけるオブジェクト移動表示処理を、図4に示すフローチャートを参照して説明する。図4は、第1実施形態のオブジェクト移動表示処理の一例を示すフローチャートである。
携帯端末装置10の電源投入により、携帯端末装置10が起動する(S11)。そして、表示制御部22は、表示部12の画面の予め定められた複数の配置位置に、ユーザーによるタッチ操作により選択可能な複数のオブジェクトをそれぞれ表示させる(S12:表示制御ステップ)。例えば、図3(A)及び図3(B)に示すように、表示部12の画面上部側における、縦に2個、横に4個とする2行4列の配置位置に、「A」~「H」の8個のオブジェクトOJが表示されている。図3(A)に示すように右手で携帯端末装置10を把持した状態では、当該右手の操作指Uが届く操作領域ASの外側に8個のオブジェクトOJが配置されているため、当該右手の操作指UでオブジェクトOJをタッチ操作することができない。また、図3(B)に示すように左手で携帯端末装置10を把持した状態でも、前記右手の場合と同様に、当該左手の操作指UでオブジェクトOJをタッチ操作することができない。
制御部21は、操作領域ASの指示の有無を判定する(S13)。例えば、制御部21は、ハードボタン17に対する指定操作(例えばダブルタップ)があれば、操作領域ASの指示ありと判定する(S13でYES)。制御部21が操作領域ASの指示ありと判定すると(S13でYES)、操作領域決定部23は、ユーザーが片手で筐体11を把持している状態において、表示部12の画面に対する操作指Uによるタッチ位置の軌跡から当該表示部12の画面において操作指Uが届く操作領域ASを決定する(S14:操作領域決定ステップ)。
具体的には、操作領域決定部23は、図3(A)に示すようにユーザーが右手で筐体11を把持している状態において、表示部12の画面に対する当該右手の操作指Uによるタッチ位置の軌跡から画面上の限界線BLを特定し、表示部12の画面を限界線BLで二分した各分割領域のうちで限界線BL以外に表示部12の画面を触れた接触点T1が存する方の分割領域を操作領域ASとして決定する。例えば、右手の操作指Uで画面上を円弧状にタッチ操作するときに、当該操作指Uの付け根部分などが画面上に離散的に触れ易く、これらの少なくとも1点以上の接触点T1がタッチパネル13により検出される。なお、もし仮に接触点T1が検出されなかった場合には、制御部21は、限界線BLよりも操作指Uに近い側の任意の画面上位置を当該操作指Uにてタッチするように促す促進表示を表示部12の画面に表示させる。促進表示を見た当該ユーザーが前記画面上位置を触れると、かかる接触点T1がタッチパネル13により検出される。操作領域決定部23は、限界線BLと接触点T1とにより、操作領域ASを決定する。
制御部21は、操作領域決定部23が決定した操作領域ASを示す領域データを操作領域記憶部151に記憶させる(S15:操作領域記憶ステップ)。
特定傾き判定部24は、操作領域記憶部151に領域データが記憶された後に、センサー16により検出された筐体11の傾きが、当該片手の操作指側に向けて傾けられた特定傾きであるか否かを判定する(S16:特定傾き判定ステップ)。センサー16により検出された筐体11の傾きが特定傾きであると特定傾き判定部24が判定すると(S16でYES)、判定部28は、操作領域決定部23が決定した操作領域AS内に、前記予め定められた複数の配置位置のうちの少なくとも一つの配置位置が含まれているか否かを判定する(S17)。例えば、判定部28は、図3に示すように操作領域AS内にオブジェクトが位置していない場合には、配置位置が含まれていないと判定し(S17でNO)、図7に示すように操作領域AS内にオブジェクトが位置している場合には、配置位置が含まれていると判定する(S17でYES)。
判定部28が操作領域AS内にオブジェクトの配置位置が含まれていないと判定すると(S17でNO)、面積比較部26は、表示部12の画面における操作領域ASの面積と、予め定められた複数の配置位置にそれぞれ配置された複数のオブジェクトを含む合計面積とを比較する(S18)。
面積比較部26の比較結果が操作領域ASの面積よりも合計面積の方が大きい場合(S18でYES)には、表示変更部25は、図5の左下に示すように全てのオブジェクトが操作領域AS内に収まるようにオブジェクトをそれぞれ縮小した上で複数の変更後位置に移動させて表示させる(S19:表示変更ステップ)。一方、面積比較部26の比較結果が操作領域ASの面積よりも合計面積の方が小さい場合(S18でNO)には、表示変更部25は、図5の右下に示すように、オブジェクトを縮小せずに変更後位置に移動させて表示させる(S20:表示変更ステップ)。
すなわち、表示変更部25は、特定傾き判定部24により特定傾きであると判定されると、操作領域AS内に複数の変更後位置を設定し、この設定した複数の変更後位置に、複数のオブジェクトをそれぞれ移動させて表示する。
なお、表示復帰部27は、図6の左上又は右上に示すように、表示変更部25により操作領域AS内における複数の変更後位置に複数のオブジェクトが表示されている状態において、センサー16により検出された筐体11の傾きが、当該片手の操作指とは反対側に向けて傾けられた戻し傾きであると特定傾き判定部24で判定された場合、又は、表示部12の画面の操作領域AS内を触れた操作指を前記予め定められた複数の配置位置側に向けてスライドさせる操作(例えばフリック操作)がタッチパネル13により検出された場合、図6の中央下に示すように、操作領域AS内における複数の変更後位置に表示された複数のオブジェクトを、前記予め定められた複数の配置位置にそれぞれ戻して表示させる。
一方、判定部28が操作領域AS内に少なくとも一つのオブジェクトの配置位置が含まれていると判定した場合(S17でYES)、特定傾き判定部24により特定傾きであると判定されると、表示変更部25は、当該少なくとも一つの配置位置にかかるオブジェクトと、操作領域AS外のオブジェクトとを入れ替えて表示する(S21:表示変更ステップ)。表示変更部25は、例えば図7の右下に示すように、一部のオブジェクト(「K」、「L」、「O」及び「P」の4個のオブジェクトOJ)と、操作領域AS外において当該特定傾きの傾斜方向の上流側に位置する予め定められた範囲内のオブジェクト(「A」、「B」、「E」及び「F」の4個のオブジェクトOJ)とを入れ替えて表示する。なお、前記のように操作領域AS内の複数のオブジェクトを同時に入れ替えるのではなく、表示変更部25は、例えば図7の左下に示すように、一部のオブジェクト(「P」のオブジェクトOJ)と、操作領域AS外において当該特定傾きの傾斜方向の上流側に位置する予め定められた範囲内のオブジェクト(「A」のオブジェクトOJ)とを入れ替えて表示するようにしてもよい。
ここで、特定傾き判定部24により判定される携帯端末装置10(筐体11)の特定傾き判定について、図8、図9を用いて説明する。図8(A)に示すように、携帯端末装置10の右下角部、右上角部、左上角部及び左下角部の4点C1~C4の3軸座標値がセンサー16により取得され、特定傾き判定部24は、図8(B)に示すようにユーザーが片手で筐体11を把持している姿勢を基準姿勢として設定し、この基準姿勢からの傾きが、図9(A)~(C)に示すように特定傾きであるか否かを判定する。
(1)まず、特定傾き判定部24は、ユーザーが片手の操作指で操作領域ASを決定するときの携帯端末装置10の傾き角度を基準姿勢に設定する。すなわち、特定傾き判定部24は、基準の傾き座標をセットする。例えば、特定傾き判定部24は、筐体11の上記4点C1~C4の3軸座標値を3軸座標系のX-Y軸平面に投影し、この状態を基準姿勢に設定する。
(2)特定傾き判定部24は、上記基準姿勢の状態から、さらにどの向きに傾いたのかを、センサー16により取得された4点の3軸座標値を用いて検知する。例えば、特定傾き判定部24は、図9に示すように、上記X-Y軸平面に投影された4点C1~C4の3軸座標値と、筐体11が傾いた際のその4点C1~C4の3軸座標値から、座標毎の傾きベクトルを検知して、各座標の傾きベクトルの大きさによってどの向きに傾いたのかを識別する。例えば、図9(A)に示す横傾きの場合は、点C3、C4の傾きベクトルが点C1、C2に比べて大きくなる。これにより、横傾きであることが検出される。なお、傾きベクトル値が、予め定められた値以上の場合に検知として扱い、予め定められた値未満であれば、誤差として検知されないようにしている。
また、図10(A)に示すように、特定傾き判定部24が、表示部12の画面を当該画面の横辺方向に向けて傾けられた第1特定傾き(横傾き)と判定すると、表示変更部25は、一部のオブジェクト(「K」、「L」、「O」及び「P」の4個のオブジェクトOJ)と、操作領域AS外において当該第1特定傾きの傾斜方向の上流側に位置する予め定められた範囲としての横端側範囲内のオブジェクト(「A」、「E」、「I」及び「M」の4個のオブジェクトOJ)とを入れ替えて表示する。
また、図10(B)に示すように、特定傾き判定部24が、当該画面の対角線方向に向けて傾けられた第2特定傾き(斜め傾き)と判定すると、表示変更部25は、一部のオブジェクト(「K」、「L」、「O」及び「P」の4個のオブジェクトOJ)と、操作領域AS外において当該第2特定傾きの傾斜方向の上流側に位置する予め定められた範囲としての対角線端側範囲内のオブジェクト(「A」、「B」、「E」及び「F」の4個のオブジェクトOJ)とを入れ替えて表示する。
また、図10(C)に示すように、特定傾き判定部24が、当該画面の縦辺方向に向けて傾けられた第3特定傾き(縦傾き)と判定すると、表示変更部25は、一部のオブジェクト(「K」、「L」、「O」及び「P」の4個のオブジェクトOJ)と、操作領域AS外において当該第3特定傾きの傾斜方向の上流側に位置する予め定められた範囲としての縦端側範囲内のオブジェクト(「A」、「B」、「C」及び「D」の4個のオブジェクトOJ)とを入れ替えて表示する。
図4に戻って、制御部21は、操作領域ASの指示なしと判定した場合(S13でNO)、S19、S20、又は、S21の後、本処理を終了する。なお、操作領域AS内に移動されたオブジェクトのタッチ操作がタッチパネル13により検出されると、制御部21は、当該タッチ操作がされたオブジェクトによる動作制御を行う。すなわち、タッチ操作がされたオブジェクトにかかるアプリが起動される。
以上のように本第1実施形態によれば、ユーザーが片手で携帯端末装置10を把持する状態において、表示部12の画面に対する当該片手の操作指Uによるタッチ位置の軌跡から当該操作指Uが届く操作領域ASを決定するので、ユーザーの特徴に応じて適切な操作領域ASを設定することができる。例えば、子供や女性などのように手の小さいユーザーに対しても、適切な操作領域ASを設定することができる。そして、操作領域ASの決定後、携帯端末装置10を操作指U側に傾けるだけで、表示部12の画面上のオブジェクトOJが操作領域AS内に移動して表示されるので、当該操作指Uで操作領域AS内のオブジェクトOJをタッチ操作することができる。例えば、大型の携帯端末装置の場合、保護ケースが装着された携帯端末装置の場合であっても、携帯端末装置10を操作指U側に傾けるだけで、表示部12の画面上のオブジェクトOJが操作領域AS内に移動して表示されるので、オブジェクトOJを操作指Uが届く位置に確実に寄せることができる。これにより、携帯端末装置10の片手での操作性を向上させることができる。
次に、第2実施形態に係る携帯端末装置10について、図11~図14を用いて説明する。図11は、第2実施形態に係る携帯端末装置10の構成を示すブロック図である。なお、図11に示した構成のうち、前述の第1実施形態の図2に示した構成と同じ構成については同符号を付して説明を略する。
図11に示す制御ユニット20は、空白領域形成部31と、引出線表示制御部32と、数値判定部33と、距離判定部34と、個別復帰部35と、第2特定部36と、変則移動部37とを備える。
空白領域形成部31は、特定傾き判定部24により特定傾きであると判定され、かつ、判定部28が操作領域ASに少なくとも一つの配置位置が含まれていると判定した場合に、図13(B)に示すように操作領域AS内に空白領域BAを形成する。
引出線表示制御部32は、操作領域AS外の全てのオブジェクト(図13(A)では、「A」~「N」の12個のオブジェクトOJ)から空白領域BAに向かう複数の引出線(図13(C)では、2本の引出線L1と10本の引出線L2)を表示させる。
表示変更部25は、複数の引出線のうちの一つの引出線(図13(C)では、「A」のオブジェクトOJの引出線L1)を右手の操作指Uで触れた状態で空白領域BAに向けて移動させる操作(手繰り寄せ操作)がタッチパネル13により検出されると、当該一つの引出線に繋がれたオブジェクト(図13(D)では、「A」のオブジェクトOJ)を当該空白領域BAに移動させて表示する。これにより、手繰り寄せ操作という、新たな面白味のある移動操作を提供することができる。
数値判定部33は、使用頻度記憶部152が記憶する複数のオブジェクトごとの使用頻度を用いて、引出線(図13(C)では、2本の引出線L1と10本の引出線L2)が繋がれたオブジェクト(図13(A)では、「A」~「N」の12個のオブジェクトOJ)の使用頻度が予め定められた数値以上であるか否かを判定する。
引出線表示制御部32は、引出線が繋がれたオブジェクト(図13(A)では、「A」~「N」の12個のオブジェクトOJ)の使用頻度が前記予め定められた数値以上であると数値判定部33にて判定されると、当該引出線(図13(C)では2本の引出線L1)を第1表示態様(例えば、太線)で表示させ、前記予め定められた数値未満であると数値判定部33にて判定された場合に、当該引出線(図13(C)では10本の引出線L2)を第1表示態様とは異なる第2表示態様(例えば、細線)で表示させる。これにより、オブジェクトの使用頻度に応じて引出線の表示態様が異なるので、ユーザーは使用頻度を考慮してオブジェクトを手繰り寄せることができる。
なお上記では、オブジェクトOJの使用頻度に応じて引出線の表示態様を異ならせるようにしているが、オブジェクトから空白領域BAまでの距離に応じて引出線の表示態様を異ならせるようにしてもよい。例えば、記憶部15は、複数のオブジェクトごとに空白領域BAまでの距離を記憶する距離記憶部153を備える。距離判定部34は、距離記憶部153が記憶する複数のオブジェクト(図13(A)では、「A」~「N」の12個のオブジェクトOJ)ごとの距離を用いて、引出線が繋がれたオブジェクトの距離が予め定められた基準距離以上であるか否かを判定する。引出線表示制御部32は、引出線が繋がれたオブジェクトの距離が前記基準距離以上であると距離判定部34にて判定されると、当該引出線を第1表示態様(例えば、太線)で表示させ、基準距離未満であると距離判定部34にて判定された場合に、当該引出線を第1表示態様とは異なる第2表示態様(例えば、細線)で表示させる。これにより、オブジェクトから空白領域BAまでの距離に応じて引出線の表示態様が異なるので、ユーザーが手繰り寄せようとするオブジェクトを識別し易くなる。
個別復帰部35は、表示変更部25により、図14(A)に示すように引出線に繋がれたオブジェクトが空白領域BAに移動させて表示されているときに、図14(B)に示すように一つの引出線(「C」のオブジェクトOJの引出線L1)を操作指Uで横切るタッチ操作であるカット操作CTがタッチパネル13により検出されると、当該空白領域BAに移動されて表示されていたオブジェクト(図14(C)では、「C」のオブジェクトOJ)を操作領域AS外の元の配置位置に戻して表示させる。これにより、オブジェクトを手繰り寄せる操作と、引出線に対するカット操作CTとを別操作とすることができ、オブジェクトの移動操作を分かり易くすることができる。
なお上記では、図14(C)に示すように、引出線がカットされたオブジェクトOJを操作領域AS外に移動させているが、図14(D)に示すように、使用頻度の低いオブジェクトを操作領域AS外に移動させるようにしてもよい。例えば、第2特定部36は、使用頻度記憶部152が記憶する複数のオブジェクトごとの使用頻度を用いて、操作領域AS内の使用頻度が最も低いオブジェクトを特定する。引出線表示制御部32は、引出線に繋がれたオブジェクトが空白領域BAに移動されると、当該一つの引出線L1を第3表示態様(例えば、赤色線)で表示させ、第2特定部36が特定した操作領域AS内の使用頻度が最も低いオブジェクトの引出線L2を第3表示態様とは異なる第4表示態様(例えば、黒線)で表示させる。
変則移動部37は、引出線表示制御部32により、第3表示態様で表示された一つの引出線L1を当該片手の操作指で横切るタッチ操作であるカット操作CTがタッチパネル13により検出されると、第3表示態様の引出線L1に繋がれているオブジェクトOJではなく、第4表示態様の引出線L2に繋がれている操作領域AS内の使用頻度が最も低いオブジェクトOJを操作領域AS外の配置位置に移動させて表示させる。これにより、使用頻度の低いオブジェクトOJが操作領域ASから排除され、より使用頻度の高いオブジェクトOJを操作領域ASに構築することができる。
次に、第2実施形態の携帯端末装置10におけるオブジェクト移動表示処理を、図12に示すフローチャートを参照して説明する。図12は、第2実施形態のオブジェクト移動表示処理の一例を示すフローチャートである。S11~S16までは、図4に示す第1実施形態の場合と同じであるため、S21以降について説明する。
判定部28は、操作領域AS内にオブジェクトの配置位置が含まれているか否かを判定する(S21:判定ステップ)。判定部28は、図13(A)に示すように操作領域AS内にオブジェクトが位置している場合には、配置位置が含まれていると判定し(S21でYES)、操作領域AS内にオブジェクトが位置していない場合には、配置位置が含まれていないと判定する(S21でNO)。
空白領域形成部31は、特定傾き判定部24により特定傾きであると判定され(S16でYES)、かつ、判定部28が操作領域ASに少なくとも一つの配置位置が含まれていると判定した場合(S21でYES)に、図13(B)に示すように操作領域AS内に空白領域BAを形成する(S22:空白領域形成ステップ)。
引出線表示制御部32は、空白領域BAを形成した場合(S22)、又は、操作領域AS内にオブジェクトが位置していない場合(S21でNO)、操作領域AS外の全てのオブジェクト(図13(A)では、「A」~「N」の12個のオブジェクトOJ)から空白領域BAに向かう複数の引出線(図13(C)では、2本の引出線L1と10本の引出線L2)を表示させる(S23:引出線表示ステップ)。
制御部21は、タッチパネル13からの検知信号に基づいて、手繰り寄せ操作の有無を判定する(S24)。表示変更部25は、複数の引出線のうちの一つの引出線(図13(C)では、「A」のオブジェクトOJの引出線L1)を右手の操作指Uで触れた状態で空白領域BAに向けて移動させる操作(手繰り寄せ操作)がタッチパネル13により検出されると(S24でYES)、当該一つの引出線に繋がれたオブジェクト(図13(D)では、「A」のオブジェクトOJ)を当該空白領域BAに移動させて表示する(S25:表示変更ステップ)。一方、制御部21は手繰り寄せ操作がない場合(S24でNO)は、本処理を終了する。
制御部21は、操作領域ASの指示なしと判定した場合(S13でNO)、又は、S25の後、本処理を終了する。
以上のように本第2実施形態によれば、前述の第1実施形態と同様に適切な操作領域ASを設定することができる。また、携帯端末装置10を操作指U側に傾けると、操作領域AS外の全てのオブジェクトOJから操作領域AS内の空白領域BAに向かう複数の引出線L1、L2が表示され、引出線L1を操作指Uで触れて手繰り寄せる操作を行うことで、この引出線L1に繋がれたオブジェクトOJが空白領域BAに移動されるので、オブジェクトOJを操作指Uが届く位置に確実に寄せることができる。これにより、携帯端末装置10の片手での操作性を向上させることができる。また、手繰り寄せ操作という、新たな面白味のある移動操作を提供することができる。
次に、第3実施形態に係る携帯端末装置10について、図15~図17を用いて説明する。図15は、第3実施形態に係る携帯端末装置10の構成を示すブロック図である。なお、図15に示した構成のうち、前述の第1実施形態の図2に示した構成と同じ構成については同符号を付して説明を略する。
図15に示す制御ユニット20は、グループ設定部41と、表示画面変更部42と、表示画面復帰部43と、優先配置部44とを備える。
グループ設定部41は、使用頻度記憶部152が記憶する複数のオブジェクトごとの使用頻度を用いて、当該複数のオブジェクトを使用頻度の順番に並べて当該使用頻度の上位から予め定められた数ごとに区切った複数のグループを設定する。例えば、使用頻度が最も高い第1グループに属する予め定められた数(例えば4個)のオブジェクトとしては、図17(B)では、「A」、「B」、「M」、「H」の4個のオブジェクトOJである。その次に使用頻度が高い第2グループに属する予め定められた数(例えば4個)のオブジェクトとしては、図17(C)では、「E」、「F」、「I」、「J」の4個のオブジェクトOJである。その次に使用頻度が高い第3グループに属する予め定められた数(例えば4個)のオブジェクトとしては、図17(D)では、「C」、「D」、「G」、「N」の4個のオブジェクトOJである。
表示画面変更部42は、図17(A)に示すように、特定傾き判定部24により特定傾きであると判定されると、図17(B)に示すように、表示部12の画面の表示を次画面であるグループ画面としての第1グループ画面の表示に切り替え、第1グループ画面における操作領域AS内に、グループ設定部41が設定した使用頻度が最も高い第1グループに属する前記予め定められた数のオブジェクト(図17(B)では、「A」、「B」、「M」、「H」の4個のオブジェクトOJ)を表示させる。これにより、操作領域AS外のオブジェクトをその使用頻度に応じてグループ分けし、使用頻度が最も高い第1グループに属するオブジェクトを操作領域ASに移動させた第1グループ画面を次画面として表示でき、通常の表示画面とは異なるグループ画面であることをユーザーに意識させることができる。
表示画面変更部42は、図17(B)に示す第1グループ画面が表示されている状態において、特定傾き判定部24により特定傾きであると判定されると、表示部12の第1グループ画面の表示を、図17(C)に示す次画面である第2グループ画面の表示に切り替え、第2グループ画面における操作領域AS内に、グループ設定部41が設定した第1グループの次に使用頻度が高い第2グループに属する前記予め定められた数のオブジェクト(図17(C)では、「E」、「F」、「I」、「J」の4個のオブジェクトOJ)を表示させる。これにより、次に使用頻度の高い第2グループに属するオブジェクトを操作領域ASに移動させた第2グループ画面を次画面として表示でき、第2グループのオブジェクトについても、操作指Uで選択できる。
表示画面復帰部43は、表示画面変更部42により、図17(B)~図17(D)に示す各グループ画面が表示されている状態において、センサー16により検出された筐体11の傾きが、右手の操作指Uとは反対側に向けて傾けられた戻し傾きであると特定傾き判定部24で判定された場合、図17(B)~図17(D)に示す各グループ画面の表示から、図17(A)に示すように前記予め定められた複数の配置位置に複数のオブジェクトがそれぞれ表示された元の画面の表示に戻す。これにより、ユーザーが筐体11を戻し傾きするだけで、すなわち、一度の戻し傾き操作をするだけで、元の画面の表示に戻すことができる。なお、表示画面復帰部43は、戻し傾きが判定される毎に、図17(D)、図17(C)、図17(B)、図17(A)の順に戻していくようにしてもよい。
表示画面変更部42は、図17(B)~図17(D)に示す各グループ画面に関する情報を示す情報表示を、表示部12の画面に表示させるようにしてもよい。例えば、図17(B)に示す第1グループ画面に関する情報を示す情報表示としては、「最上位使用頻度グループ」、「第1グループ」などがある。図17(C)に示す第2グループ画面に関する情報を示す情報表示としては、「上位2番目使用頻度グループ」、「第2グループ」などがある。これにより、グループ画面に関する情報を見ることで、何れのグループ画面が表示されているのかを把握でき、グループ画面であることをユーザーにより意識させることができる。
優先配置部44は、グループ画面の操作領域ASにおけるタッチ位置の軌跡に沿う位置に優先的に使用頻度の高いオブジェクトを配置する。例えば、図17(B)では、「B」、「A」、「M」、「H」の4個のオブジェクトOJがその順に使用頻度が高い場合(使用頻度が「B」>「A」>「M」>「H」である場合)に、図17(B)に示すように限界線BLに沿って「B」、「A」、「M」の3個のオブジェクトOJが配置され、限界線BLから離れた位置に「H」のオブジェクトOJが配置される。これにより、限界線BLの付近は、操作指Uの第1関節又は第2関節を曲げずに当該操作指Uが触れることができる位置であることから、操作指Uで最も操作し易い位置であるため、この位置に優先的に使用頻度の高いオブジェクトを配置することで、操作性を更に高めることができる。
次に、第3実施形態の携帯端末装置10におけるオブジェクト移動表示処理を、図16に示すフローチャートを参照して説明する。図16は、第6実施形態のオブジェクト移動表示処理の一例を示すフローチャートである。S11~S16までは、図4に示す第1実施形態の場合と同じであるため、S31以降について説明する。
S12の後、制御部21は、複数のオブジェクトごとにその使用頻度を使用頻度記憶部152に記憶させる(S31:使用頻度記憶ステップ)。例えば、制御部21は、直近の日から予め定められた過去の日数までの期間について、オブジェクト毎のタッチ操作の積算回数(使用頻度)を、使用頻度記憶部152に記憶させている。
グループ設定部41は、使用頻度記憶部152が記憶する複数のオブジェクトごとの使用頻度を用いて、当該複数のオブジェクトを使用頻度の順番に並べて当該使用頻度の上位から予め定められた数ごとに区切った複数のグループを設定する(S32:グループ設定ステップ)。
表示画面変更部42は、特定傾き判定部24により特定傾きであると判定されると(S16でYES)、図17(B)に示すように、表示部12の画面の表示を次画面であるグループ画面としての第1グループ画面の表示に切り替え、第1グループ画面における操作領域AS内に、グループ設定部41が設定した使用頻度が最も高い第1グループに属する前記予め定められた数のオブジェクト(図17(B)では、「A」、「B」、「M」、「H」の4個のオブジェクトOJ)を表示させる(S33:表示画面変更ステップ)。
更に、特定傾き判定部24により特定傾きであると判定されると(S34でYES)、表示部12の第1グループ画面の表示を、図17(C)に示す次画面である第2グループ画面の表示に切り替え、第2グループ画面における操作領域AS内に、グループ設定部41が設定した第1グループの次に使用頻度が高い第2グループに属する前記予め定められた数のオブジェクト(図17(C)では、「E」、「F」、「I」、「J」の4個のオブジェクトOJ)を表示させる(S35)。S35の後、S34に戻る。
一方、特定傾き判定部24により特定傾きでないと判定されると(S34でNO)、特定傾き判定部24は、図17(B)~図17(D)に示す各グループ画面が表示されている状態において、センサー16により検出された筐体11の傾きが、右手の操作指Uとは反対側に向けて傾けられた戻し傾きであるか否かを判定する(S36)。表示画面復帰部43は、戻し傾きであると特定傾き判定部24で判定された場合(S36でYES)、図17(B)~図17(D)に示す各グループ画面の表示から、図17(A)に示すように前記予め定められた複数の配置位置に複数のオブジェクトがそれぞれ表示された元の画面の表示に戻す(S37)。
制御部21は、操作領域ASの指示なしと判定した場合(S13でNO)、又は、S37の後、本処理を終了する。
以上のように本第3実施形態によれば、前述の第1実施形態と同様に携帯端末装置10の片手での操作性を向上させることができる。更に、操作領域AS外のオブジェクトをその使用頻度に応じてグループ分けし、使用頻度が最も高い第1グループに属するオブジェクトを操作領域ASに移動させた第1グループ画面を次画面として表示でき、通常の表示画面とは異なるグループ画面であることをユーザーに意識させることができる。
なお、上記各実施形態では、携帯端末装置10として、携帯電話機能を有するスマートフォンを例にして説明したが、これに限定されない。タッチパネル付きの表示部を備えた電子機器であって、片手操作を行う必要がある電子機器であればよく、たとえば、ゲーム機、タブレット型パーソナルコンピューター、ノート型パーソナルコンピューター、電子辞書、電子書籍端末などであってもよい。
なお、図1乃至図17を用いて上記実施形態および各変形例により示した構成及び処理は、本発明の一実施形態に過ぎず、本発明を当該構成及び処理に限定する趣旨ではない。また、上記の実施形態で示した構成および上記の各変形例で示した構成を組み合わせてもよい。