JP4533943B2

JP4533943B2 - 情報処理装置、表示制御方法およびプログラム

Info

Publication number: JP4533943B2
Application number: JP2008117782A
Authority: JP
Inventors: 立義野間
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2008-04-28
Filing date: 2008-04-28
Publication date: 2010-09-01
Anticipated expiration: 2028-04-28
Also published as: US20090267907A1; JP2009266127A

Description

本発明は、タッチセンサを備えた情報処理装置の制御技術に係り、特に表示されたオブジェクトデータを容易に閲覧および利用することが可能な情報処理装置、表示制御方法およびプログラムに関する。

一般に、ディスプレイにタッチセンサを内蔵したＰＤＡにおいては、ディスプレイの表示領域が小さい機器が多い。このような機器においては、ディスプレイに多くの情報を表示する場合に、視認性の向上が課題となっている。例えば、特許文献１では、ディスプレイにタッチ操作を行い、タッチした近傍を別ウィンドウで拡大することにより、視認性を向上させ、指によるタッチ操作を容易にする技術が開示されている。
特開２００４−１５２２１７号公報

しかしながら、特許文献１に記載された技術では、拡大されたオブジェクトを操作するためには、拡大されていない通常の画面を操作する必要がある。また拡大する範囲を指定することはできない。

そこで、本発明は、所望の範囲を拡大することができ、拡大されたオブジェクトにおいても操作可能にすることができる情報処理装置、表示制御方法およびプログラムを提供することを目的とする。

上述した課題を解決するために、本発明の一態様によれば、表示面にタッチセンサを備えた表示部と、前記表示部の表示面にタッチした位置と、タッチしたまま前記表示面を移動後、離した位置とにより囲まれる範囲を検出する検出手段と、前記検出手段によって前記範囲が検出された場合、該範囲以外の表示を行った状態、かつ前記範囲のオブジェクトを操作可能な状態として前記表示部に拡大表示する拡大表示手段とを具備し、前記範囲が複数存在し、複数の前記範囲同士が重なった場合は、それら前記範囲を該範囲それぞれの拡大率でさらに拡大して表示することを特徴とする情報処理装置が提供される。

また、本発明の別の一態様によれば、表示面にタッチセンサを備えた表示部を有する情報処理装置で用いられる表示制御方法であって、前記表示部の表示面にタッチした位置と、タッチしたまま前記表示面を移動後、離した位置とにより囲まれる範囲を検出し、前記範囲が検出された場合、該範囲以外の表示を行った状態、かつ前記範囲のオブジェクトを操作可能な状態として前記表示部に拡大表示するとともに、前記範囲が複数存在し、複数の前記範囲同士が重なった場合は、それら前記範囲を該範囲それぞれの拡大率でさらに拡大して表示することを特徴とする表示制御方法が提供される。

以下、本発明の実施形態について図面を参照しながら説明する。

（第１実施形態）
まず、図１を参照して、本発明の第１実施形態に係る情報処理装置の構成について説明する。

図１は本発明の制御方法を適用する情報処理装置の実施形態の外観を示す図である。なお、本実施形態では、情報処理装置は、タッチセンサを内蔵したディスプレイ（タッチディスプレイ）を備えたＰＤＡ（Personal Digital Assistants）として実現されている。

図１に示すように、ＰＤＡ１０は、タッチセンサを内蔵したディスプレイ（表示部）１５を備えている。このディスプレイ１５は、指１２やタッチペン等で表面をタッチすることにより、表示されている画面の内容を選択したり、範囲を指定したりすることができるものである。なお、ディスプレイ１５は、マルチタッチに対応しているものとする。マルチタッチとは、例えば、指１２でディスプレイ１５を押下する場合、２本以上の指を同時にタッチする動作のことをいう。

図２は、本実施形態の情報処理装置であるＰＤＡの主な構成を示したブロック図である。

図２に示すように、ＰＤＡ１０は、ＣＰＵ（検出手段、拡大表示手段）１４、ディスプレイ１５、メモリ１６、通信部１７等を有している。

ＣＰＵ１４は、ＰＤＡ１０の各種デバイスを総合的に制御する制御装置である。記憶媒体１８に記憶されているＯＳ（オペレーティングシステム）や表示制御アプリケーション１００等の各種アプリケーションをメモリ１６にロードして制御を行う。メモリ１６は、データを一時的に記憶しておくフラッシュメモリ等の記憶媒体である。ディスプレイ１５は、タッチセンサを内蔵した表示装置である。ユーザの指やタッチペン等の押下に反応してディスプレイ上の所定の領域を選択する等の処理を行うことができる。記憶媒体１８は、ＯＳや各種アプリケーション等を記憶しており、ＨＤＤやフラッシュメモリ等のメモリ１６よりも大容量の記憶媒体である。通信部１７は、インターネット等に接続するための接続インターフェースであり、無線ＬＡＮ機能や携帯電話等の３Ｇモジュール等である。

次に、表示制御アプリケーション１００の機能構成について、図３のブロック図を参照して説明する。

表示制御アプリケーション１００は、検出制御部１０１、表示選択部１０２、実行部１０３、記憶部１０４を備えている。検出制御部１０１は、ユーザの指１２やタッチペン等の押下を検出する。この押下の検出は、タッチ入力により押下された押下開始点（始点）と、押下がディスプレイ１５より解離される押下解離点（終点）とが所定の範囲を囲むように形成する動作を検出する（ディスプレイ１５の表示面にタッチした位置と、タッチしたまま表示面を移動後、離した位置とにより囲まれる範囲）。拡大縮小実行部１０２は、囲まれた範囲のオブジェクト（画像データ等）を拡大する処理を行う。拡大されたオブジェクトは、オブジェクトが本来備えている操作を行うことができる。例えば、拡大されたオブジェクトがアイコンであった場合は、クリックしてアイコンに関連づけられているアプリケーション等を実行することができる。記憶部１０４は、ユーザの指１２やタッチペン等の押下を検出する検出情報等を記憶する。検出情報とは、例えば、どのようなディスプレイ１５へのタッチ入力が囲む動作として定義する等の定義ファイル等である。

次に、本実施形態の情報処理装置を適用した表示制御方法について、図４のフローチャートを参照して説明する。

まず、ＰＤＡ１０のＣＰＵ１４によって記憶媒体１８から表示制御アプリケーション１００がメモリ１６に読み込まれ起動される。そしてディスプレイ１５に任意の画面を表示する（ステップＳ１０１：図５参照）。なお、表示制御アプリケーション１００は起動後はＰＤＡ１０のオペレーティングシステム上に常駐するものとする。表示制御アプリケーション１００は、ユーザによるディスプレイ１５への押下（タッチ操作）により、所定の範囲を囲むように形成する動作を監視する（ステップＳ１０２）。なお、所定の範囲を囲むように形成する動作とは、例えば、図１０に示すように、押下開始点（押下を開始した点、始点：図１０のａ）および押下解離点（ディスプレイ１５から押下を離した点、終点：図１０のｂ）の距離が一定距離以下の場合、例えば、１０ドット以内等であれば、囲まれていると認識する。なお、マルチタッチによる範囲指定も可能である。

次に表示制御アプリケーション１００により所定の範囲を囲むように形成する動作が検出されると（ステップＳ１０２のＹＥＳ：図６参照）、囲まれた範囲のオブジェクトを拡大表示する（ステップＳ１０３）。囲まれた範囲のオブジェクトを拡大表示する場合、拡大範囲は例えば以下のように決定する。囲まれた範囲が、例えば図１０に示すような範囲だった場合、ディスプレイ１５の左上を基準として横軸にＸ、縦軸にＹとして座標を取ると、各ＸＹの最小値α、最大値βを求める。そしてαとβを対角にして矩形領域Ａを抽出する。この矩形領域Ａが拡大される領域となる。例えば、図６に示すように領域を囲んだ場合、拡大領域は、図７に示す領域Ｂとなる。同様に、図８に示すように、領域を囲んだ場合、拡大領域は、図９に示す領域Ｃとなる。なお、図８に示すように、領域を囲んだ場合は、始点ｄおよび終点ｅ、そしてディスプレイ１５の外枠１１を含めて囲まれた領域として認識される（囲まれる範囲に外枠１１の一部が架かる場合には、該外枠１１を含めた範囲として検出する）。この場合も同様に、各ＸＹの最小値α、最大値βを求める。そしてαとβを対角にして矩形領域Ｃを抽出する。この矩形領域Ｃが拡大される領域となる（図９参照）。なお、外枠１１を含める場合は、各ＸＹの最小値α、最大値βが、外枠１１から所定の距離内にあることが条件（例えば外枠１１の長さの１／４以下等）となる。あまり外枠１１から離れすぎていると、囲む動作として意図しない動作も含まれるので、これを防止するためである。

拡大表示された状態では、表示制御アプリケーション１００により拡大表示された範囲内にあるオブジェクトは、オブジェクト本来が備える操作を行うことができる。例えば、図９に示すように、表示された操作パネルを押下することができる。また、拡大表示された範囲内にアイコンが表示されていれば、クリックして実行させることが可能である。さらに、図７に示すように、拡大表示された範囲Ｂ内の表示をタッチ操作等でスクロールして領域Ｂ’（図１１参照）を表示するように移動することができる。

また、表示制御アプリケーション１００により所定のアクションを検出した場合は（ステップＳ１０４のＹＥＳ）、拡大表示が解除（縮小表示：拡大前の表示まで縮小して再表示）される（ステップＳ１０５）。所定のアクションとしては、例えば、ユーザにより拡大された範囲内の操作とは異なる別の操作がされた場合、すなわち、拡大されていない範囲の操作等を行った場合が挙げられる。他には、拡大したときとは逆の動作を行う場合、すなわち、図１０に示すように、終点ｂを始点として始点ａを終点とする囲む動作を行った場合が挙げられる。さらに、図８に示すように、終点ｅを始点として始点ｄを終点とする囲む動作を行った場合が挙げられる。なお、マルチタッチによる動作においても、逆の動作を行うことにより拡大表示が解除（縮小表示）される。

一方、ステップＳ１０４で、表示制御アプリケーション１００により所定のアクションを検出しなかった場合は（ステップＳ１０４のＮＯ）、ステップＳ１０２に遷移する。さらに、ステップＳ１０２で、表示制御アプリケーション１００により所定の範囲を囲むように形成する動作が検出されると（ステップＳ１０２のＹＥＳ）、囲まれた範囲のオブジェクトを再度拡大表示する。再度拡大表示された範囲内のオブジェクトにおいても上述したオブジェクトの操作や再度拡大表示された範囲内のスクロールは可能である。この状態で、ステップＳ１０４で、表示制御アプリケーション１００により所定のアクションを検出した場合は（ステップＳ１０４のＹＥＳ）、拡大表示が１つ前の拡大表示の状態に戻ることになる。なお、拡大表示は、２回まで等の設定を行うようにしてもよい。さらに、ステップＳ１０４で、表示制御アプリケーション１００により所定のアクションを検出した場合は、一度に拡大表示なしの標準の表示に戻るようにしてもよい。

さらに、動画像を表している範囲を拡大した場合は、動画像のスクリーンショットを複数個取得し、取得した複数個のスクリーンショットを切り替えて、パラパラ動画のように表示するようにしてもよい。

また、拡大表示される範囲は２箇所以上でもよい。この場合、拡大表示された範囲が重なった場合、例えば、図１２に示すように、拡大された範囲（拡大率２倍）２００および拡大された範囲（拡大率２倍）２０１との拡大された範囲が重なった場合は、重なった範囲３００内の表示される拡大率は、例えば双方の積である２＊２＝４倍となる。なお、拡大率はこれに限定されることなく、例えば双方の和等を用いることもできる。

さらに、拡大表示された範囲は、移動可能である。例えば、図１３に示すように、拡大表示された範囲Ｂを閲覧の邪魔にならないように、ディスプレイ１５の端に移動することができる。また、拡大表示された範囲は、拡大表示された範囲外の操作によって自動的に拡大が解除されないように、拡大表示された範囲を固定することができる。

上述した第１実施形態によれば、所望の範囲を拡大することができ、拡大されたオブジェクトにおいても操作可能にすることができる。また、動画像等を拡大表示したまま、音楽等の別のアプリケーションを操作することができる。

（第２実施形態）
また上述した実施形態以外にも、例えば、以下のようにして範囲を指定することができる。

図１４は、別の実施形態である表示制御方法について、説明したフローチャートである。ＣＰＵ１４は、ユーザの指１２等の囲む動作（Closedされたジェスチャ）を検出した場合（ディスプレイ１５の表示面にタッチした位置と、タッチしたまま表示面を移動後、離した位置とにより囲む動作を検出した場合）、検出した軌跡の点（ｘ、ｙ）を連続して取得する（ステップＳ２０１）。ステップＳ２０２で、ＣＰＵ１４によって、始点(x0, y0)と終点(xf, yf)がそれぞれディスプレイ１５の外側であると判別された場合は（ステップＳ２０２のＹＥＳ）、連続した軌跡の点(x, y)のそれぞれ、Xの最大値(Xmax)、Xの最小値(Xmin)、Yの最大値(Ymax)、Yの最小値(Ymin)を取得する（ステップＳ２０３）。ＣＰＵ１４は、取得した(Xmin, Ymin)および(Xmax, Ymax) に基づいて、(Xmin, Ymin)と(Xmax, Ymax)との対角線からなる四角形（拡大表示さる範囲）を描画する（ステップＳ２０４）。一方、ステップＳ２０２で、ＣＰＵ１４によって、始点(x0, y0)と終点(xf, yf)がそれぞれディスプレイ１５の外側でないと判別された場合は（ステップＳ２０２のＮＯ）、ＣＰＵ１４は始点と終点の距離Ｄを計算する（ステップＳ２０５）。ステップ２０６で、ＣＰＵ１４は、始点と終点の距離Ｄが既定の数値Dmaxより小さいか否かを判別する（ステップＳ２０６）。ステップ２０６で、ＣＰＵ１４により、始点と終点の距離Ｄが既定の数値Dmaxより大きいと判別された場合は（ステップＳ２０６のＮＯ）、何も処理を行わずに終了する（ステップＳ２０８）。一方、ステップ２０６で、ＣＰＵ１４により、始点と終点の距離Ｄが既定の数値Dmaxより小さいと判別された場合は（ステップＳ２０６のＹＥＳ）、ＣＰＵ１４は連続した軌跡の点(x, y)のそれぞれ、Xの最大値(Xmax)、Xの最小値(Xmin)、Yの最大値(Ymax)、Yの最小値(Ymin)を取得する（ステップＳ２０７）。次に、取得したXの最大値(Xmax)、Xの最小値(Xmin)、Yの最大値(Ymax)、Yの最小値(Ymin)に基づいて、以下の条件を満たすか否かを判別する（ステップＳ２０９）。

(x0,y0)==(Xmin, Ymin) or (x0,y0)==(Xmin, Ymax) or (x0,y0)==(Xmax, Ymin) or (x0,y0)==(Xmax, Ymax)・・・（条件１）
すなわち、x0およびXmin、y0およびYmin同士が一致する、または、x0およびXmin、y0およびYmax同士が一致する、x0およびXmax、y0およびYmin同士が一致する、x0およびXmax、y0およびYmax同士が一致する、の４つの条件のうち、１つ以上の条件を満たすか否かを判別する。

ステップＳ２０９で、（条件１）を満たしていないと判別された場合は（ステップＳ２０９のＮＯ）、(Xmin, Ymin)と(Xmax, Ymax)の対角線からなる四角形（拡大表示さる範囲）を描画する（ステップＳ２１２）。一方、ステップＳ２０９で、（条件１）を満たしていると判別された場合は（ステップＳ２０９のＹＥＳ）、取得したXの最大値(Xmax)、Xの最小値(Xmin)、Yの最大値(Ymax)、Yの最小値(Ymin)に基づいて、以下の数式を満たすか否かを判別する（ステップＳ２１０）。

(xf,yf)==(Xmin, Ymin) or (xf,yf)==(Xmin, Ymax) or (xf,yf)==(Xmax, Ymin) or (xf,yf)==(Xmax, Ymax)・・・（条件２）
すなわち、xfおよびXmin、yfおよびYmin同士が一致する、または、xfおよびXmin、yfおよびYmax同士が一致する、xfおよびXmax、yfおよびYmin同士が一致する、xfおよびXmax、yfおよびYmax同士が一致する、の４つの条件のうち、１つ以上の条件を満たすか否かを判別する。

ステップＳ２１０で、（条件２）を満たしていないと判別された場合は（ステップＳ２１０のＮＯ）、(Xmin, Ymin)と(Xmax, Ymax)の対角線からなる四角形（拡大表示さる範囲）を描画する（ステップＳ２１２）。一方、ステップＳ２１０で、（条件２）を満たしていると判別された場合は（ステップＳ２１０のＹＥＳ）、何も処理を行わずに終了する（ステップＳ２１１）。

上述した第２実施形態おいても第１実施形態と同様の効果を奏することができる。なお、これらの実施形態に限らず、タッチパネルにより範囲を指定することができる方法であれば、上述した実施形態と同様に適用することができる。

なお、本発明は、上述した実施形態そのままに限定されるものではない。本発明は、実施段階では、その要旨を逸脱しない範囲で構成要素を変更して具現化できる。

また、上述した実施形態に開示されている複数の構成要素を適宜に組み合わせることで、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

本発明の一実施形態に係る情報処理装置の外観を示す図。同実施形態に係る情報処理装置の主要な構成を示すブロック図。表示制御アプリケーションの機能構成を示すブロック図。同実施形態に係る情報処理装置を適用した表示制御方法について示したフローチャート。同実施形態に係る情報処理装置のディスプレイ上で所定の画面が表示された状態を示す概念図。同実施形態に係る情報処理装置のディスプレイ上で囲むように形成された範囲が認識される状態を示す概念図。同実施形態に係る情報処理装置のディスプレイ上で拡大表示された状態を示す概念図。同実施形態に係る情報処理装置のディスプレイ上で囲むように形成された範囲が認識される状態を示す概念図。同実施形態に係る情報処理装置のディスプレイ上で拡大表示された状態を示す概念図。認識された範囲から拡大表示の範囲を抽出する方法を示した図。同実施形態に係る情報処理装置のディスプレイ上でスクロール表示された状態を示す概念図。同実施形態に係る情報処理装置のディスプレイ上で拡大表示された範囲が重なった状態を示す概念図。同実施形態に係る情報処理装置のディスプレイ上で拡大表示された範囲を移動した状態を示す概念図。第２実施形態に係る情報処理装置のディスプレイ上で拡大表示された範囲を指定する方法を示したフローチャート。

符号の説明

１０…ＰＤＡ、１１…外枠、１２…指、１５…ディスプレイ、１６…メモリ、１７…通信部、１８…記憶媒体、１００…表示制御アプリケーション、１０１…検出制御部、１０２…拡大縮小実行部、１０３…記憶部、Ａ、Ｂ、Ｂ’、Ｃ、２００、２０１…拡大表示された範囲、３００…拡大表示された範囲同士が重なった範囲

Claims

表示面にタッチセンサを備えた表示部と、
前記表示部の表示面にタッチした位置と、タッチしたまま前記表示面を移動後、離した位置とにより囲まれる範囲を検出する検出手段と、
前記検出手段によって前記範囲が検出された場合、前記表示面に表示している画面の一部に前記範囲のオブジェクトを操作可能、かつ移動可能な状態で前記表示部に拡大表示する拡大表示手段とを具備し、
前記範囲が複数存在し、複数の前記範囲同士が重なった場合は、それら前記範囲を該範囲それぞれの拡大率でさらに拡大して表示することを特徴とする情報処理装置。
表示面にタッチセンサを備えた表示部を有する情報処理装置で用いられる表示制御方法であって、
前記表示部の表示面にタッチした位置と、タッチしたまま前記表示面を移動後、離した位置とにより囲まれる範囲を検出し、前記範囲が検出された場合、該範囲以外の表示を行った状態、かつ前記範囲のオブジェクトを操作可能な状態として前記表示部に拡大表示するとともに、
前記範囲が複数存在し、複数の前記範囲同士が重なった場合は、それら前記範囲を該範囲それぞれの拡大率でさらに拡大して表示することを特徴とする表示制御方法。