本発明の実施形態における表示制御装置、電子機器、表示制御方法、およびプログラムについて、図面を参照しながら以下に説明する。
本発明の実施形態における表示制御装置としては、携帯電話端末、携帯情報端末(PDA)、PC、デジタルカメラ、デジタルビデオカメラなど様々な装置が考えられるが、図1に示す例では携帯電話端末を想定している。
図1に示す携帯電話端末1は、入出力装置部10と、拡大表示入力支援部20と、アプリ部30とを有して構成される。なお、図1おいては、本発明と直接の関連がある要素を除いて図示を省略してあり、実際には一般的な携帯電話端末と同様に他にも様々な構成要素を備えている。例えば、電子機器の一例である携帯電話端末1は、構成要素10、20、30に加え、更に、画像データ等のデータを構成する信号を送受信するアンテナ、アンテナを制御し、外部装置との通信を行うための通信制御を行う通信制御部、画像データ等の各種データを記憶する記憶部等を有して構成されることが可能である。携帯電話端末1のような電子機器により、外部装置から取得した画像データを操作する場合であっても、拡大表示等について所望の表示制御を行うことが可能であり、操作性が改善される。
入出力装置部10は、ユーザからの入力操作を受け付ける入力部11と、ユーザに対して可視情報を提供する表示部12とを備えた電気回路のハードウェアである。尚、入力部11は、表示画面内の入力位置を検出する位置検出部としての機能を有する。
表示部12は、例えば図10の表示画面100aに示すように、多数の文字情報や図形や画像などの情報を可視情報として平面上に表示する機能を有している。また、この例では表示部12の画面上にタッチパネルが配置されている。
入力部11は、一般的な携帯電話端末の操作部と同様に多数の操作可能なキー(図示せず)を備え、更に表示部12の画面上に配置されたタッチパネルも含んでいる。このタッチパネルをユーザが直接指で押下するか、あるいはスタイラスペン等の器具を用いて画面上に触れることにより、画面上の位置座標を指定したり、所定の入力指示を与えることができる。
拡大表示入力支援部20は、表示部12の画面上に表示する情報を部分的に拡大表示する場合に特別な制御を実施するための制御部である。拡大表示入力支援部20については、専用の電子回路のハードウェアで構成することもできるが、コンピュータのハードウェアとそれによって実行されるプログラムとの組み合わせにより構成することも可能である。
アプリ部30は、携帯電話端末1で実現可能な各種動作を行うための様々な機能を提供する複数のアプリケーションプログラムを保持している。例えば、携帯電話端末1が通信回線を経由してインターネットに接続可能な状態では、Webブラウザのアプリケーションプログラムを実行することにより、インターネット上に存在する様々なポータルサイト等にアクセスし、そのページから入手した情報を表示部12の画面上に可視情報として表示することが可能になる。アプリ部30のWebブラウザのアプリケーションプログラムには、拡大画面生成部31が含まれている。
拡大表示入力支援部20は、入力座標検出部21、座標移動検出部22、拡大画面表示制御部23、拡大画面非表示制御部24、拡大画面リサイズ制御部25、拡大画面移動制御部26、拡大画面出力部27、アプリ連携部28、および記憶部29を有して構成される。尚、拡大表示入力支援部20は、後述する拡大対象枠101に関する拡大対象情報を生成する拡大対象情報生成部、後述する拡大表示領域102に関する拡大表示情報を生成する拡大表示情報生成部としての機能を有する。
入力座標検出部21は、表示部12の画面上のタッチパネル(入力部11)に対する入力操作に対して、入力された位置座標を検出する。
座標移動検出部22は、入力座標検出部21によって検出された入力座標の変化からドラッグ操作のような移動を検出する。
拡大画面表示制御部23は、拡大画面を表示するための制御を実施する。
拡大画面非表示制御部24は、拡大画面を非表示にするための制御を実施する。
拡大画面リサイズ制御部25は、拡大画面の大きさを変更するための制御を実施する。
拡大画面移動制御部26は、拡大画面を移動するための制御を実施する。
拡大画面出力部27は、拡大画面に関する様々な処理の結果を表示部12の画面に表示させるための処理を実施する。
アプリ連携部28は、拡大表示入力支援部20の動作とアプリ部30における各拡大画面生成部31の機能とを連携させるための処理を実施する。
記憶部29は、図8(a)〜(d)に示す各種パラメータを記憶する。これらのパラメタは、拡大表示入力支援部20が拡大表示に関する様々な処理を行う際に、適宜参照される。
図8(a)に示すパラメータ群は、拡大設定に関する様々な機能のオン/オフ(yes/no)を表す情報であり、ユーザの入力操作によって事前にそれぞれの状態を変更することができる。この拡大設定情報の要素の一例としては、例えば、利き手設定の情報(ユーザの利き手を示す情報)、優先エリア設定の情報、アプリ連携拡大の情報(アプリと連携して拡大するか否かを示す情報)、拡大対象枠縮小の情報(拡大対象枠101を縮小させるか否かを示す情報)、拡大画面倍率縮小の情報(拡大表示領域102の倍率を縮小するか否かを示す情報)、拡大画面隠滅の情報(拡大表示領域102を隠滅するか否かを示す情報)などがある。
図8(b)に示すパラメータ群は、拡大対象枠101の状態を表す情報であり、画面サイズ(l,w)と表示座標(x,y)とを含んでいる。
図8(c)に示すパラメータ群は、拡大表示領域102の状態を表す情報であり、表示状態(表示中/非表示/隠蔽中)と画面サイズ(L,W)と表示座標(X,Y)と拡大率(R)と拡大閾値(e)とを含んでいる。
図8(d)に示すパラメータ群は、拡大表示領域102の構成要素に関する情報を表しており、利き手(右/左)に関する情報と、画面エリア構成に関する情報(表示画面における領域毎の優先度)と、拡大対象枠101と拡大表示領域102との間のオフセット量(α,β)とを含んでいる。
図8(b)に示す各パラメータ(l,w,x,y)と、図8(c)に示す各パラメータ(L,W,X,Y,R,e)と、図8(d)に示す各パラメータ(α,β)のそれぞれは、具体的には図9の情報を示している。すなわち、画面サイズ(l,w)は矩形である拡大対象枠101の縦方向の長さおよび横方向の長さを表し、表示座標(x,y)は拡大対象枠101の中央位置の座標を表し、画面サイズ(L,W)は矩形である拡大表示領域102の縦方向の長さおよび横方向の長さを表し、表示座標(X,Y)は拡大表示領域102の中央位置の座標を表し、領域間オフセット量(α,β)は、拡大対象枠101と拡大表示領域102との横方向および縦方向の相対的な距離を表している。
次に、携帯電話端末1の動作の一例について説明する。
図2は、携帯電話端末1の動作の一例を示すフローチャートである。
まず、ステップS11では、入力部11が、例えば図10の表示画面100aの内容を表示している状態で、この画面上に重なっているタッチパネルのある領域を指103などで押下したり、あるいはタッピング(短い時間間隔で押下を繰り返す)の操作をしたりすることによって入力を行う。そして、ステップS12の処理に進む。
ステップS12では、拡大表示入力支援部20が、拡大表示領域102の状態に関するパラメータ(図8(c)の要素の「表示」に対応)の内容を参照し、拡大表示領域102を表示中か非表示中かを識別する。非表示中であればステップS13に進み、表示中であればステップS15に進む。
ステップS13では、拡大表示入力支援部20が、拡大画面表示制御部23によって拡大表示領域102の表示に関する処理(拡大画面表示制御処理)を実施する。この処理の詳細については後で説明する。そして、ステップS14の処理に進む。
ステップS14では、拡大表示入力支援部20が、拡大表示領域102の状態が「表示中」に切り替わったことを記憶するために、該当するパラメータ(図8(c)の要素の「表示」に対応)の内容を「表示中」に変更する。そして、ステップS15の処理に進む。
ステップS15では、拡大表示入力支援部20が、画面上でユーザが押下した位置の座標を入力座標検出部21により検出し、この座標を拡大表示領域102の範囲と比較する。そして、ユーザが押下した位置の座標が拡大表示領域102の範囲の内側であればステップS16に進み、外側であればステップS17の処理に進む。
ステップS16では、拡大表示入力支援部20が、拡大表示領域102内の座標をこの領域と対応関係にある元領域(拡大対象枠101で囲まれている部分)内の座標に変換する。そして、ステップS19の処理に進む。
ステップS17では、拡大表示入力支援部20が、座標移動検出部22によってユーザの入力位置の移動(ドラッグ操作)を検出したかどうかを識別する。移動を検出した場合には、ステップS18に進み、入力位置の変化がない場合には、指103がタッチパネルから離れたことを入力部11によってステップS21で検出された後でステップS23に進む。尚、指103がタッチパネルから離れたことは、例えば、圧力センサを用いて、表示画面への圧力を感知しなくなったことにより検出可能である。
ステップS18では、拡大表示入力支援部20が、拡大画面移動制御部26によって拡大表示領域102を移動するための処理(拡大画面移動制御処理)を実施する。この処理の詳細については後で説明する。その後、指103がタッチパネルから離れたことを入力部11によってステップS21で検出された後でステップS23に進む。
ステップS19では、拡大表示入力支援部20が、座標移動検出部22によってユーザの入力位置の移動(ドラッグ操作)を検出したかどうかを識別する。移動を検出した場合にはステップS20に進み、入力位置の変化がない場合には指103がタッチパネルから離れたことをステップS21で検出した後でステップS22に進む。
ステップS20では、拡大表示入力支援部20が、拡大画面リサイズ制御部25によって拡大表示領域102のサイズを変更するための処理(拡大画面リサイズ制御処理)を実施する。この処理の詳細については後で説明する。その後、指103がタッチパネルから離れたことを入力部11によってステップS21で検出された後でステップS23に進む。
ステップS22では、入力部11および拡大表示入力支援部20が、ユーザからの入力操作(タッチパネルのタッピング)に対する処理を実施する。すなわち、拡大表示領域102の内側の位置(P2:不図示)をユーザが押下し、その後にタッピングの操作を行う場合には、入力位置(P2)に対応する拡大対象枠101内の位置座標(P1:不図示)がステップS16で得られているので、この位置座標(P1)の箇所に対して入力操作を行うことで入力部11が入力した(例えば表示中のある要素をクリックした)ものとみなして該当する処理を行う。そして、ステップS23の処理に進む。
ステップS23では、拡大表示入力支援部20が、拡大画面非表示制御部24によって拡大表示領域102を非表示にするための処理(拡大画面非表示制御処理)を実施する。この処理の詳細については後で説明する。
ステップS23の処理の終了後、携帯電話端末1は図2の処理を終了し、次の入力操作があるまで待機する。
図2の処理を行う携帯電話端末1によれば、表示画面100上の所望の領域(例えば、拡大対象枠101内)の内容を別の場所(例えば、拡大表示領域102)に拡大して表示する場合に、ユーザの入力操作や表示内容の読み取りに関する操作性を改善することが可能である。
次に、拡大画面表示制御処理における携帯電話端末1の詳細な動作の一例について説明する。図3は、拡大画面表示制御処理における携帯電話端末1の詳細な動作の一例を示すフローチャートである。
表示画面上に拡大画面(例えば、図10に示す拡大表示領域102に相当)が表示されていない状態で、ユーザの指示による入力(タッチパネルの押下)が検出されると、拡大画面表示制御処理が開始される。
まず、ステップS31では、入力座標検出部21が、ユーザのタッチパネル押下によって入力された位置の座標(x,y:これが拡大対象枠101の表示位置(x,y)になる)を取得すると共に、拡大画面表示制御部23が、図8に示す様々なパラメータの内容(保存されている情報)を取得する。そして、ステップS32の処理に進む。
尚、図3の処理を行うことが可能であれば、図8に示すパラメータの一部を取得するようにしてもよい。
ステップS32では、拡大画面表示制御部23が、ステップS31で取得したパラメータの中で、「利き手」に関する機能(図8(a)の「利き手設定」の内容)がオン(yes)になっているかどうかを識別し、オンであればステップS33に進み、オフ(no)であればステップS34に進む。
ステップS33では、拡大画面表示制御部23が、拡大表示領域102を表示する座標(図8(c)に示す「表示座標」のX,Y)のパラメータを以下のように決定する。なお、右利きか左利きかを表す情報(図8(d)に示す「利き手」の内容)については事前にユーザが決定した内容を保存してある。
右利きの場合:X←x−α
左利きの場合:X←x+α
yが画面の上半分側に属する場合:Y←y−β
yが画面の下半分側に属する場合:Y←y+β
そして、ステップS37の処理に進む。
ステップS34では、拡大画面表示制御部23が、拡大設定に関するパラメータのうち、優先エリア指定機能を表すパラメータ(図8(a)の「優先エリア設定」の内容に相当)がオン(yes)になっているかどうかを確認する。これがオンであればステップS35に進み、オフであればステップS36に進む。
ステップS35では、拡大画面表示制御部23が、拡大表示領域102を表示する座標(図8(c)に示す「表示座標」のX,Y)のパラメータの内容を予め決定した画面上の優先度に応じて決定する。すなわち、画面上の領域毎に決定した優先度のパラメータが図8(d)の「画面エリア構成」の内容として存在しているので、この中から優先度の高い順番で選択したエリア番号(AreaNo)に割り当てられた座標を、拡大表示領域102の表示座標(X,Y)に決定する。そして、ステップS37の処理に進む。
ステップS36では、拡大画面表示制御部23が、拡大表示領域102を表示する座標(図8(c)に示す「表示座標」のX,Y)のパラメータを以下のように決定する。
X←x+α
Y←y+β
そして、ステップS37の処理に進む。
ステップS37では、拡大画面表示制御部23が、ステップS33,S35,S36のいずれかで決定した座標(X,Y)によって定まる拡大表示領域102の表示領域の全体が、表示画面の表示可能な範囲(例えば、図9に示す表示画面100の範囲)からはみ出すかどうかを調べ、はみ出す場合にはステップS38に進み、はみ出さない場合はステップS39に進む。
ステップS38では、拡大画面表示制御部23が、拡大表示領域102の表示領域の全体が、画面の表示可能な範囲からはみ出さないように、座標(X,Y)のX,Yの少なくとも一方を予め定めた値(固定値)に変更する。そして、ステップS39の処理に進む。
ステップS39では、拡大画面表示制御部23が、ステップS31で取得したパラメータの中で、「拡大設定アプリ連携」に関する機能(図8(a)の「アプリ連携拡大」の内容)がオン(yes)になっているかどうかを識別し、オンであればステップS40に進み、オフであればステップS41に進む。
ステップS40では、携帯電話端末1が、後述の図7に示すアプリ連携拡大表示制御処理を行う。すなわち、アプリ連携部28が使用中のアプリケーションプログラム(アプリ)に対して拡大画面に関する情報を要求し、このアプリケーションプログラムから取得した情報に基づいて、独自の拡大画面の情報を作成する。そして、ステップS41の処理に進む。
ステップS41では、拡大画面出力部27および表示部12が、ユーザが押下した座標(x,y)を中心とする位置に、例えば図9、図10に示すような矩形の拡大対象枠101を表示する。また、上記の処理によって決定された座標(X,Y)を中心とする位置に、例えば図9、図10に示すような矩形の拡大表示領域102を表示し、拡大表示領域102の中に、例えば図10の表示画面100aに示すように拡大画像を可視表示する。拡大画像とは、拡大対象枠101の内側に含まれる矩形の領域全体の可視情報(文字列等の画像)を拡大率Rに従って拡大した結果である。
図3の処理を行う携帯電話端末1によれば、拡大対象となる画像と拡大対象の画像を拡大した拡大画像とを表示画面100上の異なる位置に表示させることが可能となる。さらに、利き手設定やエリア設定など、各種パラメータを考慮して利用者がより見やすい表示を行うことが可能である。
尚、拡大対象枠101を表示するのは、表示画面の中で拡大対象になる矩形領域の全体の範囲をユーザが容易に把握できるようにするためである。この拡大対象枠101は、具体的には拡大対象になる矩形領域の全体を囲む矩形の輪郭に相当する4辺の線分の組み合わせで構成され、この矩形の内側は拡大対象の文字等が見えるように例えば透明になっている。なお、拡大対象枠101については、他の表示形態に置き換えても良い。例えば、矩形領域の全体に含まれている可視情報の階調を白黒反転することによりその内部と外側とを区別することができるようにしてもよい。また、矩形領域の全体に含まれている可視情報の表示色を違う色に置き換えることによりその内部と外側とを区別することができるようにしてもよい。
次に、拡大画面移動制御処理における携帯電話端末1の詳細な動作の一例について説明する。図4は、拡大画面移動制御処理における携帯電話端末1の詳細な動作の一例を示すフローチャートである。
ユーザが拡大表示領域102の内部とは別の位置でタッチパネルを押下したまま指を画面上で移動(ドラッグ操作:drag)することが検出されると、拡大画面移動制御処理が開始される。
まず、ステップS51では、拡大画面移動制御部26が、拡大画面のパラメータであるサイズおよび倍率(図8(c)の画面サイズLおよびW、拡大率R)の内容を保存する。また、拡大画面移動制御部26が、図8に示す様々なパラメータの内容(保存されている情報)を取得する。そして、ステップS52の処理に進む。
ステップS52では、座標移動検出部22が、入力座標の移動(変化)を検出することで、移動操作を検出する。そして、ステップS53の処理に進む。
ステップS53では、拡大画面移動制御部26が、拡大設定の「拡大対象枠サイズ縮小」に関する機能(図8(a)に示すパラメータの「拡大対象枠縮小」の内容)がオン(yes)になっているかどうかを識別し、オンであればステップS54に進み、オフであればステップS55に進む。
ステップS54では、拡大画面移動制御部26が、入力位置の変化に関する移動速度(単位時間あたりの移動距離)を検出し、拡大対象枠101のサイズを定めるパラメータ(図8(b)の「画面サイズ」(l,w)に相当)および拡大表示領域102のサイズを定めるパラメータ(図8(c)の「画面サイズ」(L,W)に相当)を移動速度に応じて縮小する。なお、移動速度の代わりに移動加速度を用いても良い。そして、ステップS60の処理に進む。
ステップS55では、拡大画面移動制御部26が、拡大設定の「拡大画面倍率縮小」に関する機能(図8(a)に示すパラメータの「拡大画面倍率縮小」の内容)がオン(yes)になっているかどうかを識別し、オンであればステップS56に進み、オフであればステップS57に進む。
ステップS56では、拡大画面移動制御部26が、入力位置の変化に関する移動速度(単位時間あたりの移動距離)を検出し、拡大表示領域102の拡大倍率とサイズを定めるパラメータ(図8(c)の拡大率(R)、「画面サイズ」(L,W)に相当)を移動速度に応じて縮小する。なお、移動速度の代わりに移動加速度を用いても良い。そして、ステップS60の処理に進む。
ステップS57では、拡大画面移動制御部26が、拡大設定の「拡大画面隠蔽」に関する機能(図8(a)に示すパラメータの「拡大画面隠蔽」の内容)がオン(yes)になっているかどうかを識別し、オンであればステップS58に進み、オフであればステップS60に進む。
ステップS58では、拡大画面移動制御部26が、表示画面に表示する拡大表示領域102に関する表示を一時的に消去(隠蔽)する。そして、ステップS59の処理に進む。
ステップS59では、拡大画面移動制御部26が、拡大表示領域102の表示状態を表すパラメータ(図8(c)の「表示」の内容)を「隠蔽中」に切り替える。そして、ステップS60の処理に進む。
ステップS60では、携帯電話端末1が、既に図3で説明した拡大画面表示制御処理を実行する。そして、ステップS61の処理に進む。
ステップS61では、拡大画面移動制御部26が、拡大対象枠101および拡大表示領域102を移動するためのユーザの入力位置の移動が継続しているかどうかを識別する。移動が継続しているかどうかは、例えば、座標移動検出部22によって所定期間に入力位置の移動検出がされるか否かによって判断する。継続している場合はステップS52に戻り、移動が終了した場合はステップS62に進む。
ステップS62では、拡大画面移動制御部26が、拡大表示領域102の表示状態を表すパラメータ(図8(c)の「表示」の内容)を「表示中」に戻す。
図4の処理を行う携帯電話端末1によれば、拡大対象となる領域(例えば拡大対象枠101)を移動した場合であっても、拡大対象となる画像と拡大対象の画像を拡大した拡大画像とを表示画面100上の異なる位置に表示させることが可能である。移動に伴い、例えば拡大対象領域102を移動させるだけでは拡大対象枠101と拡大対象領域102とが重複してしまう場合であっても、拡大対象枠101や拡大対象領域102のサイズを縮小したり、拡大の倍率を低下させることで、利用者がより見やすい表示を行うことが可能である。
次に、拡大画面非表示制御処理における携帯電話端末1の詳細な動作の一例について説明する。図5は、拡大画面非表示制御処理における携帯電話端末1の詳細な動作の一例を示すフローチャートである。
まず、ステップS71では、携帯電話端末1内に備える不図示のタイマーにより、時間計測を開始する。そして、ステップS72の処理に進む。
ステップS72では、拡大画面非表示制御部24が、タイマーによる時間計測開始から所定期間内に、入力部11による入力が検出されたか否かを判定する。所定期間内に入力が検出された場合にはステップS73に進み、検出されなかった場合には図5の処理を終了する。
ステップS73では、所定期間内に入力が検出されなかった場合、拡大画面非表示制御部24が、拡大表示領域102による表示を消去する。そして、ステップS74の処理に進む。
ステップS74では、拡大画面非表示制御部24が、拡大表示領域102の表示状態を表すパラメータ(図8(c)の「表示」の内容)を「非表示」に切り替える。
図5の処理を行う携帯電話端末1によれば、利用者による画面操作が終了した場合には、拡大画面を消去することで、必要のない画面を表示しないようにすることが可能である。
次に、拡大画面リサイズ制御処理における携帯電話端末1の詳細な動作の一例について説明する。図6は、拡大画面リサイズ制御処理における携帯電話端末1の詳細な動作の一例を示すフローチャートである。
ユーザの入力位置が拡大画面の内側であり、その入力位置の移動(ドラッグ操作)が検出された場合に、拡大画面リサイズ制御処理が開始される。
まず、ステップS81では、拡大画面リサイズ制御部25が、ユーザが押下している最新の位置の座標(ポイント座標)と、表示されている拡大表示領域102の矩形の各辺との距離を算出し、これらの距離がパラメータの拡大閾値e(図8(c)に示すパラメータの「拡大閾値」の内容)以下であるか否かを判定する。拡大閾値e以下である場合にはステップS82の処理に進み、拡大閾値eより大きい場合には図6の処理を終了する。
ステップS82では、拡大画面リサイズ制御部25が、拡大表示領域102のサイズ(図8(c)に示すパラメータの「画面サイズ(L,W)」に相当)を入力位置の移動に伴って拡大する。
図6の処理を行う携帯電話端末1によれば、例えば、ポイントされた位置と拡大対象領域102との距離が所定長未満となった場合には、拡大対象領域102を拡張することができ、拡大対象枠101内の操作によらずに文字等を読み進めることが可能となるため、利用者の利便性が飛躍的に向上する。
次に、アプリ連携拡大表示制御処理における携帯電話端末1の詳細な動作の一例について説明する。図7は、アプリ連携拡大表示制御処理における携帯電話端末1の詳細な動作の一例を示すフローチャートである。
図3で説明した拡大画面表示制御処理において、「拡大設定アプリ連携」に関する機能(図8(a)の「アプリ連携拡大」の内容)がオン(yes)になっている場合、かつ、アプリケーションプログラムが実行中である場合、アプリ連携拡大表示制御処理が開始される。
まず、ステップS91では、アプリ連携部28が、アプリ部30へ拡大画面生成部31による拡大画面の生成を要求する。そして、ステップS92の処理に進む。
ステップS92では、アプリ連携部28が、アプリ部30から拡大画面生成部31によって生成された拡大画面を取得し、取得した拡大画面をアプリ独自の拡大画面として設定する。
図7の処理を行う携帯電話端末1によれば、実行するアプリケーションプログラムに合せて、拡大対象枠101の画像および拡大表示領域102の画像を柔軟に選択して表示することが可能である。例えば、拡大表示領域102の画像を拡大対象枠101内の画像よりも詳細な情報まで表示することにより、ユーザが理解しやすいように階層的に情報を表示することが可能となる。また、例えば、拡大対象枠101内の画像に関して拡大表示領域102の画像に識別子を含ませて表示を行うことにより、タップ(表示画面の押下)操作によらずにキー操作等によって選択情報を選択することが可能となる。
次に、携帯電話端末1における表示画面100の具体例について説明する。この具体例では、携帯電話端末1が、インターネットを経由してあるポータルサイトのサーバと接続し、入手した1ページのコンテンツを表示画面100に表示し、この表示に対してユーザの指示により処理を行う場合を想定している。
まず、拡大画面表示制御処理、拡大画面移動制御処理における表示画面100の具体例について説明する。
図10では、例えば文字等が小さくて見づらい場合に、表示画面100aに表示されている内容の一部分を拡大表示するために、ユーザが自分の指103を使って表示画面100a上に重なっているタッチパネルを押下した状態を表している。この時、拡大表示領域102aが「非表示」状態であれば、拡大画面表示制御処理が行われるため、拡大対象枠101aおよび拡大表示領域102aが表示画面100a上に表示される。拡大表示領域102aの内側には、拡大対象枠101aで囲まれた領域の内容が拡大された状態で図10の表示画面100aのように表示される。
ここで、拡大対象枠101と拡大表示領域102との相対的な位置関係については、例えば図9に示すように定数(α,β)に従って決定される(図3のS36の処理を実行した場合)。従って、拡大対象枠101と拡大表示領域102とが重なることはなく、ユーザは両方の範囲の全体を同時に見ることができる。また、拡大対象枠101が表示されるので、表示画面100上のどの部分が拡大されるのかをユーザは容易に認識できる。更に、拡大対象枠101と拡大表示領域102とが互いに近い位置に存在するのでユーザは視点を大きく移動することなく両方の内容を容易に確認できる。
拡大対象の箇所を変更するために、図10の表示画面100aの状態から表示画面100bの状態にユーザの指103が移動(ドラッグ)されると、図4で説明した拡大画面移動制御処理が実行される。
従って、指103の移動に伴って拡大対象枠101aの表示位置および拡大表示領域102aの表示位置が、例えば拡大対象枠101b、101cおよび拡大表示領域102b、102cの位置へ自動的に変更される。この際、拡大対象枠101を移動してもこれと拡大表示領域102とが重なることはない。また、例えば移動先で拡大表示領域102の一部分又は全体が表示画面100からはみ出してしまうと予想される場合には、図10の表示画面100cに示すように、はみ出さない位置に拡大表示領域102cが自動的に位置決めされる。
また、図8に示す各パラメータの設定状況に基づいて、以下の処理が行われる。
図8(a)に示すパラメータの「拡大画面隠蔽」がオン(yes)になっている場合には、拡大表示領域102の表示は一時的に消去され、移動が終了すると再び拡大表示領域102が表示画面100に表示される。
図8(a)に示すパラメータの「拡大対象枠縮小」がオン(yes)になっている場合には、拡大対象枠101のサイズおよび拡大表示領域102のサイズが移動速度に応じて一時的に縮小される。例えば、図11に示す表示画面100aを表示している状態から指103を移動(ドラッグ)する時に、表示画面100bのように拡大対象枠101bの大きさは通常の拡大対象枠101aの大きさよりも小さくなる。同時に、拡大表示領域102bの大きさも通常の拡大表示領域102aの大きさよりも小さくなる。この場合の拡大率(R)は移動中も変化しない。移動が終了すると、表示画面100dに示すように移動前と同じサイズで拡大対象枠101dおよび拡大表示領域102dが表示される。
図8(a)に示すパラメータの「拡大画面倍率縮小」がオン(yes)になっている場合には、拡大表示領域102の拡大倍率(R)およびサイズ(L,W)が移動速度に応じて一時的に縮小される。例えば、図11に示す表示画面100aを表示している状態から指103を移動(ドラッグ)する時に、表示画面100cのように拡大表示領域102cに関する拡大倍率は通常よりも小さく(この例では等倍に)なり、サイズも通常より小さく(この例では拡大対象枠101と同じサイズに)なる。この場合の拡大対象領域およびそれを囲む拡大対象枠101cのサイズについては移動前と同じであり変化しない。移動が終了すると、表示画面100dに示すように拡大表示領域102dのサイズおよび拡大倍率は元の状態に戻る。
図8(a)に示すパラメータの「利き手設定」がオン(yes)になっている場合には、表示する拡大対象枠101と拡大表示領域102との相対的な位置関係が「右利き」か「左利き」かに応じて自動的に変化する。「右利き」か「左利き」かを示すパラメータ(図8(d)に示す「利き手」の内容)については事前にユーザが決定できる。そして、「利き手設定」がオン(yes)の場合は、拡大表示領域102を表示する座標を決定するパラメータ(X,Y)が、「右利き」の場合と「左利き」の場合とで異なる値になる。
図12は、「左利き」が選択されている場合の表示画面100上の拡大対象枠101および拡大表示領域102の位置関係の具体例を表している。また、図13は、「右利き」が選択されている場合の表示画面100上の拡大対象枠101および拡大表示領域102の位置関係の具体例を表している。尚、図12、13、拡大対象枠101を画面左上から中央、右下へ移動させた場合の例である。
「左利き」の場合には、図12に示す表示画面100aのように、拡大表示領域102aが表示される位置は、拡大対象枠101aに対して右下にずれた位置になる。従って、表示される拡大表示領域102の全域が指103や手によって隠れないように位置決めされる。そして、拡大対象枠101aの位置を拡大対象枠101b、101cの位置へ移動すると、図12の表示画面100b、100cのように、拡大表示領域102aの位置が拡大表示領域102b、102cの位置に移動する。
「右利き」の場合には、図13に示す表示画面100aのように、拡大表示領域102aが表示される位置は、拡大対象枠101aに対して左下にずれた位置になる。従って、表示される拡大表示領域102の全域が指103や手によって隠れないように位置決めされる。そして、拡大対象枠101aの位置を拡大対象枠101b、101cの位置へ移動すると、図13の表示画面100b、100cのように、拡大表示領域102aの位置が拡大表示領域102b、102cの位置に移動する。
図8(a)に示すパラメータの「優先エリア指定」がオン(yes)になっている場合には、拡大表示領域102の表示位置が表示画面上の優先度の高い箇所に位置決めされる。この場合には、拡大表示領域102の表示位置を決定するパラメータ(X,Y)の値には、図8(d)に示すパラメータの画面エリア構成の中にある優先度の高い領域の座標が割り当てられる。
例えば、図14に示す表示画面100aにおいては、表示するコンテンツの1ページが複数の独立したフレームF1,F2,F3で構成されている場合を想定している。そして、この例では、拡大対象の範囲および拡大対象枠101aがフレームF1の領域に存在しているので、これと別の領域であるフレームF2の領域や、広告の情報が存在するフレームF3の領域に拡大表示領域102aを配置するように優先的に位置を決定する。広告が存在する領域については、より高い優先度を割り当てることが可能である。領域毎の優先度の違いや、各領域の範囲および座標については、図8(d)に示すパラメータの「画面エリア構成」の中に割り当てておくことができるので、このパラメータを参照して拡大表示領域102aを配置する座標を決定する。
図14に示した表示画面100bにおいては、拡大表示領域102bの大きさを表示画面100bの全幅に相当する範囲まで拡張した場合を想定している。この場合は、拡大対象の領域の横幅を優先して拡大画面を表示している。
また、図15に示す例では、表示対象のコンテンツが地図である場合を想定している。この地図には、表示画面100aに示すように、市街地の領域MA1や海の領域MA2が含まれている。この場合、ユーザにとって海の領域MA2の表示内容が必要になる可能性は比較的小さい。そこで、表示画面100bに示すように、拡大表示枠101内の可視情報を拡大した拡大表示領域102bを海の領域MA2の中に優先的に配置する。この場合、地図データを圧縮する際の領域毎の圧縮率の違いや情報の密度分布を調べることにより、例えば海の領域と市街地の領域とを自動的に区別できるので、その区別結果を反映した優先度の情報を図8(d)に示すパラメータの中に保存しておけばよい。従って、海のようにデータの圧縮率が高い領域、あるいは単位面積あたりの情報量が小さい領域に優先的に拡大表示領域102を位置決めすることができる。
続いて、拡大画面リサイズ制御処理における表示画面100の具体例について説明する。
図16に示すように、表示画面100aの中に表示された拡大表示領域102aの内側の位置をユーザが指103で押下し、移動することなく押下の操作を繰り返すと、所定のイベントを発生することができる。例えば、該当する位置に表示された文字列などにリンク情報が割り当てられている場合には、当該リンクを例えばクリックするイベントを発生させることができる。なお、図2のステップS16の処理の変換結果を用いることにより、拡大表示領域102内の入力位置を拡大対象枠101の各座標と対応付けることができる。
表示画面100aの中に表示された拡大表示領域102aの内側の位置でユーザの指103を移動(ドラッグ)すると、図6で説明した拡大画面リサイズ制御処理を実施する。例えば、図16に示す表示画面100aのように、表示画面100a中に表示されている拡大表示領域102aの範囲内を指103で押下しながら、この指103の位置を表示画面100bのように右側に向かって移動(ドラッグ)すると、指103で押下した位置の座標が拡大表示領域102aの輪郭の右辺に近づく。そして、指103の座標と拡大表示領域102aの右辺の座標との距離が拡大閾値e以下になると、図16に示す表示画面100bのように、拡大表示領域102bの右辺も指103の位置の変化に伴って移動し、拡大表示領域102bの左辺の位置は変化しないので拡大表示領域102bのサイズ(この場合は図9のWに対応)が自動的に拡大される。また、拡大表示領域102bのサイズの拡大に伴って、拡大対象の領域およびそれを囲む拡大対象枠101bのサイズも拡大されるので、図16の表示画面100bに示されているように、拡大表示領域102bの内側にはより多くの情報が拡大されて表示される。なお、拡大表示領域102bのサイズを調整する代わりに、拡大表示領域102bの位置(表示座標:X、Y)を調整しても良い。
続いて、アプリ連携拡大表示制御処理における表示画面100の具体例について説明する。
例えば地図や電車の路線図のコンテンツを表示しようとする場合には、縮尺の異なる複数のデータが用意されている場合が多い。先に説明したように、拡大対象枠101の中に含まれるイメージ等の可視情報をそのまま拡大して拡大表示領域102に表示する場合には、比較的サイズの大きな文字等が拡大表示領域102に表示されるので、ユーザが拡大対象枠101の内容を読み取るのに役立つ。この場合、拡大表示領域102に表示される可視情報の情報量自体は拡大対象枠101の内部と同様である。そこで、縮尺の異なる複数のデータが用意されているコンテンツを表示する場合には、拡大表示領域102に拡大表示するデータとして、拡大対象枠101等に表示するデータとは縮尺が異なるデータを選択するようにする。これにより、拡大表示領域102でユーザが読み取り可能な情報の量を増やすことができる。このような複数の縮尺が異なるデータは、例えばアプリ部30がサーバからWebサイトを介して取得するようにしてもよいし、アプリ部30の図示しない記憶部にあらかじめ記憶されていてもよい。
携帯電話装置1においては、図8(a)に示すパラメータの「アプリ連携拡大」がオン(yes)になっている場合に、アプリ連携拡大表示制御処理を行い、この際に縮尺の異なるデータの内容を拡大表示領域102に表示する。アプリ連携拡大表示制御処理では、地図等の表示対象のコンテンツを扱う特定のアプリケーションプログラムの動作と連携するようにアプリ連携部28が処理を行い、縮尺が異なるコンテンツのデータを取得し、取得したデータを拡大表示領域102に拡大情報として表示する。
例えば、図17に示す表示画面100にはコンテンツとして電車の路線図が表示されているが、この路線図のデータとして、縮尺の異なる複数のデータが予め用意されている。これにより、図17に示す表示画面100の拡大表示領域102に表示するデータについては、拡大対象枠101の内部等に表示されている路線図とは縮尺が異なるデータを使用することが可能である。
つまり、図17に示す表示画面100の拡大対象枠101の中には、例えば縮尺の関係で駅として「渋谷」だけが現れているが、これと同じ領域の内容を表す拡大表示領域102の内部には、駅として「渋谷」と「恵比寿」と「目黒」との3つが現れているので、ユーザは拡大表示領域102で内容を確認することで、拡大対象枠101の内部よりも多くの情報を得ることができる。
また、例えば拡大対象枠101の中に含まれるイメージ等の可視情報をそのまま拡大して拡大表示領域102に表示する場合には、拡大表示領域102の中に選択可能な様々な候補情報が含まれている場合であっても、それぞれの候補情報の内容の一部が欠落して表示される可能性が高いので、ユーザにとって候補情報の読み取りが困難になるばかりでなく、選択の操作は座標の指定(タッチパネルの押下等)でしか行うことができない。
例えば、図18に示す表示画面100には、あるポータルサイトのページの内容が表示されており、この中にはリンク情報を含む多数の文字列が選択候補の情報として含まれている。また、図18の表示画面100の中に表示された拡大対象枠101の内部には、「転職」、「アルバイト」、「オークション」、「コミュニケーション」、「掲示板」の5つの選択候補となりうる情報が含まれているが、拡大対象枠101の表示内容を仮にそのまま拡大して拡大表示領域102に表示すると、それぞれの選択候補の文字列の一部分が欠落して表示されることになり、各々の文字列の読み取りはユーザにとって容易ではない。
そこで、所定の動作モードが指定された場合には、例えば、図18に示す拡大表示領域102の内部に現れているように、拡大対象枠101の内容を選択可能な文字列毎に抽出して整形し、並べて配置すると共に、それぞれの選択候補に番号を割り当てて番号と共にそれぞれの選択候補を拡大表示領域102に表示する。この処理により、選択可能な候補である「転職」、「アルバイト」、「オークション」、「コミュニケーション」、「掲示板」の5つの文字列の全体をユーザは読み取ることができる。
また、それぞれの選択候補に番号が割り当ててあり、ユーザの入力操作による入力座標の検出だけでなく、例えば数字等が割り当てられた操作ボタンの押下による番号の入力も受け付け、該当する番号が割り当てられた選択候補を選択し、所定のイベントを発生させることも可能である。例えば、図18に示すように、表示画面100の拡大表示領域102の内容として、「1.転職」、「2.アルバイト」、「3.オークション」、「4.コミュニケーション」、「5.掲示板」の5つの選択候補が表示されている状態で、例えば数字の「3」が割り当てられたボタンをユーザが押下することにより入力部11が入力すると、選択候補の中の「3.オークション」が選択され、この文字列に割り当てられているリンク情報をクリックした場合と同様のイベントを発生させることが可能である。
このような携帯電話端末1によれば、表示画面上の一部分を拡大表示する場合のユーザの操作性を大幅に改善することができる。携帯電話端末1の備える機能については、コンピュータが実行可能なプログラムとして提供することもできる。
尚、拡大表示を行う領域を拡大表示領域102、拡大表示を行う対象となる領域を拡大対象枠101内の領域とし、主にこれらの領域は矩形であることを説明してきたが、これらの領域は矩形以外の形状であってもよい。