JP6018996B2 - 情報処理装置 - Google Patents

情報処理装置 Download PDF

Info

Publication number
JP6018996B2
JP6018996B2 JP2013183431A JP2013183431A JP6018996B2 JP 6018996 B2 JP6018996 B2 JP 6018996B2 JP 2013183431 A JP2013183431 A JP 2013183431A JP 2013183431 A JP2013183431 A JP 2013183431A JP 6018996 B2 JP6018996 B2 JP 6018996B2
Authority
JP
Japan
Prior art keywords
superimposed
display
layer
unit
displayed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013183431A
Other languages
English (en)
Other versions
JP2015049858A (ja
Inventor
弘靖 岩附
弘靖 岩附
招良 佐藤
招良 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2013183431A priority Critical patent/JP6018996B2/ja
Priority to PCT/JP2014/073089 priority patent/WO2015033937A1/ja
Priority to CN201480048485.XA priority patent/CN105518600A/zh
Priority to US14/915,701 priority patent/US20160196049A1/en
Publication of JP2015049858A publication Critical patent/JP2015049858A/ja
Application granted granted Critical
Publication of JP6018996B2 publication Critical patent/JP6018996B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/06Arrangements for sorting, selecting, merging, or comparing data on individual record carriers
    • G06F7/08Sorting, i.e. grouping record carriers in numerical or other ordered sequence according to the classification of at least some of the information they carry
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04805Virtual magnifying lens, i.e. window or frame movable on top of displayed information to enlarge it for better reading or selection

Description

本発明は、コンテンツの閲覧に使用する情報処理装置に関する。
従来から、ウェブページを快適に閲覧するためのユーザインターフェースの開発が進められている。例えば、複数のウェブページをタブで切り替えて表示させることのできるブラウザが開発され、広く利用されるようになっている。
また、情報処理装置をより快適に使用するためのユーザインターフェースの開発も進められている。例えば、下記の特許文献1の技術では、タッチパネルを備えた情報処理装置において、タッチ操作が行われた位置の画像を拡大し、その操作位置に重畳表示することによって、タッチ操作を快適に行うことができるようにしている。また、下記の特許文献2の技術では、コピーまたは移動の対象として指定された領域の画像を選択オブジェクトとして表示し、この選択オブジェクトを所望のページに移動させることによって、上記領域の画像をコピーまたは移動することができるようにしている。
特開2012−043452号公報(2012年3月1日公開) 特開2012−088807号公報(2012年5月10日公開)
ここで、1つのウェブページには様々な情報が含まれていることが通常であり、このため、ユーザが着目した情報が、1つのウェブページ上で分散して配置された状態となることも多い。そして、上記従来のブラウザでウェブページを表示した場合、ユーザは着目した各情報を閲覧するために、表示画面上の離れた位置に目線を移動させる必要があり、また、各情報が一画面に表示されていない場合には、表示のスクロールを繰り返す必要が生じる。
このような問題を解決する方法として、表示画面上に表示されているコンテンツにおいて指定された範囲の画像を含み、上記表示画面上で移動可能な重畳オブジェクトを、コンテンツに重畳して表示させる方法が考えられる。また、この方法では重畳オブジェクトでコンテンツの一部が隠れるため、コンテンツの閲覧性を確保するために、重畳オブジェクトを一時的に非表示とすることができるようにすることが好ましい。
しかしながら、重畳オブジェクトを非表示とした場合、その重畳オブジェクトが一時的に非表示とされているが再表示が可能であるか、再表示が不能であるかをユーザは判断できない。また、非表示とした後でコンテンツの何れの位置に対応する重畳オブジェクトを表示させていたかを忘れてしまうことも考えられる。これにより、ユーザは、重畳オブジェクトを再表示させることができるにもかかわらず、再度範囲指定して新たに重畳オブジェクトを表示させるといった無駄な処理を行ってしまう恐れがある。
本発明は上記問題を鑑みてなされたものであり、その目的は、コンテンツに重畳して表示させた重畳オブジェクトを一時的に非表示とした状態において、コンテンツの何れの位置に対応する重畳オブジェクトが存在しているかをユーザに認識させることのできる情報処理装置等を提供することにある。
上記の課題を解決するために、本発明の一態様に係る情報処理装置は、コンテンツを表示させる情報処理装置であって、表示されている上記コンテンツから指定された範囲の画像を含む重畳オブジェクトを当該コンテンツに重畳して表示させる重畳表示手段と、上記重畳オブジェクトが一時的に非表示となっている状態において、上記コンテンツ上における上記範囲の位置を示す通知情報を表示させる情報表示手段とを備える。
本発明の一態様によれば、重畳オブジェクトを一時的に非表示とした状態において、コンテンツの何れの位置に対応する重畳オブジェクトが存在しているかをユーザに認識させることができるという効果を奏する。
本発明の一実施形態に係る情報処理装置の要部構成の一例を示すブロック図である。 上記情報処理装置による重畳表示の態様を示す図であり、同図(a)は範囲指定された状態における画面例を示す図であり、同図(b)は同図(a)において指定された範囲の画像を重畳表示した状態における画面例を示す。 上記情報処理装置において重畳オブジェクトを非表示とするときの表示態様を示す図であり、同図(a)は重畳オブジェクトを表示画面外へドラッグする操作である画面外ドラッグの態様を示し、同図(b)は重畳オブジェクトが非表示状態となったことにより紐画像が表示されたときの画面例を示す。 重畳オブジェクト間で紐付けを行った状態の画面例を示す図である。 同図(a)(b)は、重畳オブジェクト間で紐付けを行うためのユーザの操作の例を示す図である。 紐付けされた重畳オブジェクトの画面キャプチャに関する図であり、同図(a)は画面キャプチャを実行させる操作の例を示し、同図(b)はキャプチャされた画像の例を示す。 紐付けされた重畳オブジェクトのコピーに関する図であり、同図(a)はコピーを実行させる操作の例を示し、同図(b)はコピーされたテキストの例を示し、同図(c)は紐付けによりコピーされたテキストの例を示す。 紐付けされた重畳オブジェクトのプライオリティ設定に関する図であり、同図(a)はプライオリティ設定を実行させる操作の例を示し、同図(b)はプライオリティが設定された後の画面例を示す。 紐付けされた重畳オブジェクトの並び替えの例を示す図であり、同図(a)は並び替えを実行させる操作の例を示し、同図(b)は並び替え後の画面例を示す。 重畳オブジェクトのキーワード表示に関する図であり、同図(a)は詳細表示とキーワード表示の切り替えを実行させる操作の例を示し、同図(b)はキーワード表示状態となった重畳オブジェクトの例を示す。 重畳オブジェクトのキーワード表示への切り替えの一例を示す図であり、同図(a)は詳細表示とキーワード表示の切り替えを実行させる操作の例を示し、同図(b)はキーワード表示への切り替え後の画面例を示す。 背景レイヤー管理テーブルの具体例を示す図である。 重畳レイヤー管理テーブルの具体例を示す図である。 プライオリティリストテーブルの具体例を示す図である。 マップを説明する図であり、同図(a)はマップの設定例を示し、同図(b)は同図(a)のマップに基づくレイヤー表示の例を示している。 基準座標から重畳レイヤー上のタッチ位置を特定する方法の一例を示す図である。 オブジェクト表示処理の一例を示すフローチャートである。 重畳設定処理の一例を示すフローチャートである。 表示更新処理の一例を示すフローチャートである。 タッチ操作対応処理の一例を示すフローチャートである。 2本指タッチ操作対応処理の一例の前半部分を示すフローチャートである。 2本指タッチ操作対応処理の一例の後半部分を示すフローチャートである。 画面外ドラッグ処理の一例を示すフローチャートである。 属性変更処理の一例を示すフローチャートである。 レイヤー間紐付け処理の一例を示すフローチャートである。 紐画像設定・解除処理の一例を示すフローチャートである。 キーワード表示処理の一例を示すフローチャートである。 キーワード取得処理の一例を示すフローチャートである。 詳細表示処理の一例を示すフローチャートである。 プライオリティ設定処理の一例を示すフローチャートである。 並替え処理の一例を示すフローチャートである。 紐付けレイヤー消去処理の一例を示すフローチャートである。
〔実施形態1〕
本実施形態に係る情報処理装置1は、ウェブページを表示するブラウザ機能を有する装置であり、表示したウェブページにおいて指定された範囲の画像を、そのウェブページに重畳して拡大表示する。なお、ウェブページとは、ネットワーク上のコンテンツであり、ブラウザによって一度に表示されるデータのまとまりである。
情報処理装置1の表示について図2に基づいて説明する。図2は、重畳表示の態様を示す図であり、同図(a)は範囲指定された状態における画面例を示す図であり、同図(b)は同図(a)において指定された範囲の画像を重畳表示した状態における画面例を示す。
同図(a)では、表示されているウェブページ上においてカーソルAを移動させることにより、線Bで囲まれる範囲を指定した状態を示している。範囲が指定されると、情報処理装置1は、同図(b)に示すように、指定された範囲の画像を元のウェブページに重畳して表示する。以下では、重畳表示するこの画像を重畳オブジェクトと呼ぶ。図示の重畳オブジェクトCは、指定範囲の画像を拡大した画像を含む。つまり、重畳オブジェクトCは、表示されているウェブページ(コンテンツ)から指定された範囲(線Bで囲まれる範囲)の画像を含むオブジェクトである。
重畳オブジェクトCは、元のウェブページと独立して動作する。また、重畳オブジェクトCは、表示画面上の任意の位置に移動させることができる。なお、重畳オブジェクトCに対してダブルタップ操作(表示画面に対して2回続けて短時間触れる操作)が行われた場合、情報処理装置1は、重畳オブジェクトCに対応するウェブページ(この例では元のウェブページ)を全画面表示する。
続いて、重畳オブジェクトを一時的に非表示状態とする操作について図3に基づいて説明する。同図(a)は、重畳オブジェクトCを表示画面外へドラッグする操作である画面外ドラッグが行われていることを示す図であり、同図(b)は重畳オブジェクトCが非表示状態となったことにより紐画像Eが表示された画面例を示す図である。
同図(a)に示すように、カーソルAを重畳オブジェクトCに合わせてタッチした状態で、重畳オブジェクトCを表示画面外までドラッグする操作を行ったときには、情報処理装置1は、同図(b)に示すように、重畳オブジェクトCの代わりに紐画像Eを表示する。これにより、非表示状態となっている重畳オブジェクトCの存在が視覚的に示される。また、カーソルAを紐画像Eに合わせてタッチした状態でドラッグされた場合、紐画像Eの代わりに重畳オブジェクトCを再表示する。
また、紐画像Eの端点Dは、重畳オブジェクトCが生成される際の指定範囲内に位置するように表示される。これにより、同図(b)の表示状態において、紐画像Eをドラッグすることにより、端点Dの位置の画像を拡大表示した画像、すなわち重畳オブジェクトCを表示させることができることをユーザに視覚的に認識させることができる。
さらに、紐画像Eの他端は、重畳オブジェクトCを非表示とするために該重畳オブジェクトを移動させた位置(表示画面の端部)に表示されている。つまり、紐画像Eは、端点Dの位置で表示させた重畳オブジェクトを表示画面の端部まで移動させることによって非表示としたことをユーザに想起させる画像となっている。これにより、ユーザは、紐の端から端を辿ると共に、自らの記憶を辿ることができ、どのような重畳オブジェクトを表示させたかを思い出すことが容易になる。
以上のように、情報処理装置1によれば、ユーザは実際に重畳オブジェクトに紐を付け、不要なときはこれを払いのける感覚でコンテンツ上から追い出し、必要なときには紐を手繰って重畳オブジェクトを引っ張り出すような感覚で再表示させることができる。つまり、ユーザは直感的な操作で重畳オブジェクトの表示/非表示を切り替えることができる。
重畳オブジェクトと他の重畳オブジェクトとが紐付けされた状態における画面表示について、図4に基づき説明する。同図において重畳オブジェクトC1と重畳オブジェクトC2とが紐付けされており、重畳オブジェクトC1と重畳オブジェクトC2とを結ぶ紐画像Fが表示されている。詳細は後述するが、重畳オブジェクト同士を紐付けることにより、複数の重畳オブジェクトについてまとめて処理を行うことが可能になる。また、同図の例では、一時的に非表示となっている他の重畳オブジェクトの存在を示す紐画像E(その指定範囲内に端点Cを有する)も表示されている。
重畳オブジェクト同士の紐付けおよび解除の操作の例を図5に示している。同図(a)は2点タッチを用いた操作を示しており、同図(b)は重畳オブジェクト同士を重ね合わせる操作を示している。同図(a)に示すように、カーソルA1を重畳オブジェクトC1に合わせてタッチしており、かつ、カーソルA2を重畳オブジェクトC2に合わせてタッチした状態で、いわゆるピンチイン操作が行われた場合、各重畳オブジェクトを結ぶ紐画像Fが表示される。また、この各重畳オブジェクトが情報処理装置1の内部において対応付けられる。また、紐付けられた重畳オブジェクトのそれぞれがタッチされている状態で、いわゆるピンチアウト操作が行われた場合、紐付けは解除され、紐画像Fの表示は終了される。
また、同図(b)に示すように、カーソルA1を重畳オブジェクトC1に合わせてタッチした状態で、重畳オブジェクトC2に重ね合わせるようにドラッグする操作が行われた場合に、各重畳オブジェクトを紐付けてもよい。なお、重畳オブジェクト同士を紐付けるための操作は特に限定されないが、図示の例のように、直感的な操作で紐付けがなされるようにすることが好ましい。
重畳オブジェクトの画面キャプチャおよびコピーに関する操作について図6および図7に基づき説明する。図6の(a)は重畳オブジェクトC2に対して画像キャプチャ操作が行われている状態を示している。
図示のように、画面キャプチャの対象とする重畳オブジェクトC2にメニューGを表示させ、その中に含まれる「画面キャプチャ」の項目を選択することにより、重畳オブジェクトC2の画像がキャプチャされる。なお、重畳オブジェクトに対する操作を行うためのメニューGは、例えば重畳オブジェクトに対して一定時間以上タッチし続ける長押し操作によって表示されるようにしてもよい。
ここで、重畳オブジェクトC2には、重畳オブジェクトC1が紐付けられている。このため、同図の(b)に示すように、重畳オブジェクトC2の画像と共に、重畳オブジェクトC1の画像および紐画像もキャプチャされる。なお、紐画像のキャプチャは必須ではないが、紐画像もキャプチャした方が、紐付けの効果として重畳オブジェクトC1およびC2の両方がキャプチャされたことをユーザに認識させることができるので好ましい。
このように、重畳オブジェクト同士を紐付けることによって、複数のオブジェクトに対する処理を一括して行うことが可能になる。例えば、重畳オブジェクトに含まれる文字列をコピーする処理についても一括して行うことができる。これについて、図7に基づいて説明する。
図7(a)は重畳オブジェクトC2に対してコピー操作が行われている状態を示している。この場合、重畳オブジェクトC1に含まれるテキストが同図(b)に示すようなテキストデータとしてコピーされると共に、重畳オブジェクトC2に含まれるテキストが同図(c)に示すようなテキストデータとしてコピーされる。
プライオリティの設定について、図8に基づいて説明する。図8は、紐付けされた重畳オブジェクトのプライオリティ設定に関する図である。同図(a)の例では、紐付けられた重畳オブジェクトC1〜C4のうち、一つの重畳オブジェクトが選択され、メニューGからプライオリティ設定が選択されている。これにより、各重畳オブジェクトにそれぞれプライオリティ値を設定することができる。
より詳細には、同図(a)では、重畳オブジェクトC3が選択され、メニューGが表示されている。この状態においてメニューGのプライオリティ設定の項目がカーソルAにて選択された場合、重畳オブジェクトC3のプライオリティ値を設定するための設定ウィンドウ(図示せず)が表示される。そして、設定ウィンドウから所望のプライオリティ値を選択または入力することにより、重畳オブジェクトC3のプライオリティ値を設定することができる。この操作を各重畳オブジェクトについて行うことにより、同図(b)に示すように、紐付けられた重畳オブジェクトC2〜C4のプライオリティ値が設定され、設定されたプライオリティ値がH1〜H3のように表示される。
続いて、紐付けされた重畳オブジェクトのプライオリティ値に基づく並べ替えについて図9に基づいて説明する。図9は紐付けされた重畳オブジェクトの並び替えの例を示す図である。
同図(a)では、重畳オブジェクトC3が選択され、メニューGが表示されている。この状態においてメニューGの並べ替えの項目がカーソルAで選択された場合、紐付けられた重畳オブジェクトC1〜C4は、それぞれに設定されたプライオリティ値H1〜H3に基づき並べ替えられ、同図(b)に示す状態となる。同図(b)では、重畳オブジェクトC2〜C4が、プライオリティ値の小さい順に左から並んでいる。また、プライオリティ値が設定されていない重畳オブジェクトC1については、並べ替えの対象とはされないが、紐付けられた重畳オブジェクトC2の移動に伴い、表示位置が変わっている。なお、同図(a)では重畳オブジェクトC3とC4とが紐画像F3で結ばれているが、同図(b)では重畳オブジェクトC2とC4とが紐画像F3で結ばれている。このように、紐画像は、紐付けられた重畳オブジェクトをユーザが認識できるように表示されていればよく、並び替えに伴って、互いに紐付けられた重畳オブジェクトのグループ内で紐画像の表示位置を変更してもよい。
重畳オブジェクトのキーワード設定およびキーワード表示について、図10および図11に基づき説明する。図10(a)は重畳オブジェクトに対してキーワードを設定し、設定したキーワード表示させる操作を示し、同図(b)はキーワード表示状態となった重畳オブジェクトを示す。
同図(a)では、重畳オブジェクトCに表示されている“人権宣言”という文字列を選択して反転表示させた状態でメニューGが表示されている。この状態において、メニューGの“キーワード表示/詳細表示”がカーソルAにより選択された場合に、重畳オブジェクトCは選択された文字列をキーワードとしたキーワード表示状態となる。具体的には、同図(b)に示すように、重畳オブジェクトCの代わりに、選択されていた“人権宣言”という文字を含む重畳オブジェクト(以下、キーワードオブジェクトと呼ぶ)Jが表示される。
キーワードオブジェクトJは、重畳オブジェクトCよりも表示サイズが小さいので、利用可能な表示画面上の空間が広がる。また、キーワードオブジェクトJに表示される文字列は、重畳オブジェクトCに含まれていた文字列であるから、ユーザはキーワードオブジェクトJが重畳オブジェクトCに対応していることを容易に認識することができる。
図11(a)の例では、重畳オブジェクトC1とキーワードオブジェクトJ1〜J4とがそれぞれ紐画像F1〜F4にて結ばれている。また、重畳オブジェクトC1とC2とが紐画像F5で結ばれ、重畳オブジェクトC2とC3とが紐画像F6で結ばれ、重畳オブジェクトC3とC4とが紐画像F7で結ばれている。つまり、図示の重畳オブジェクトC1〜C4およびキーワードオブジェクトJ1〜J4は何れも相互に紐付けられている。
この状態において、図示のように重畳オブジェクトC4においてメニューGを表示させ、キーワード表示と詳細表示とを切り替えるための項目である“キーワード表示/詳細表示”を選択する。これにより、同図(b)に示すように、重畳オブジェクトC4がキーワードオブジェクトJ7に置換される。このとき、同図に示すように、重畳オブジェクトC4に紐付けられている重畳オブジェクトC2およびC3についても、キーワードオブジェクトJ5およびJ6にそれぞれ置換してもよい。また、重畳オブジェクトC1のように、紐付けられている重畳オブジェクトであっても、キーワードオブジェクトへの置換は行わないようにしてもよい。この他、キーワードオブジェクトが紐付けられた重畳オブジェクトはキーワードオブジェクトに置換しない、あるいは紐付けられた複数の重畳オブジェクトのうち1つは重畳オブジェクトとして残るようにする、等の条件に基づいて置換の可否を判断してもよい。
また、このようにして表示されたキーワードオブジェクトについて、同図(a)と同様にメニューGを表示させ、“キーワード表示/詳細表示”を選択することにより、同図(a)の表示状態に戻すことができる。
〔装置構成〕
続いて、情報処理装置1の構成を図1に基づいて説明する。図1は、情報処理装置1の要部構成の一例を示すブロック図である。図示のように、情報処理装置1は、制御部100、記憶部200、表示部300、入力部400、および通信部500を備えている。
制御部100は、情報処理装置1の機能を統括して制御するものであり、操作判定部10、ページ表示処理部11、重畳表示処理部(重畳表示手段)12、タッチ処理部13、スクロール処理部14、変形部15、移動処理部16、倍率変更部17、表示制御部18、ページ保存部19、コピー部20、キャプチャ部21、ブックマーク制御部22、背景紐付け部(情報表示手段)23、レイヤー間紐付け部24、キーワード表示部(キーワード表示手段、キーワード設定手段)25、および優先表示処理部(並替手段)26を含む。
操作判定部10は、入力部400が受け付けた入力操作に応じた入力信号を受け付け、該入力信号の内容と、表示部300に表示させている画像の内容とに基づいて、ユーザが行った操作を特定する。そして、特定した操作に応じた処理を、制御部100の各部に実行させる。
ページ表示処理部11は、ウェブページを表示させる処理を行う。また、重畳表示処理部12は、重畳オブジェクトを表示させる処理を行う(図2参照)。これらの処理の詳細は後述する。
タッチ処理部13は、タッチ操作に対応する処理を行う。具体的には、タッチ処理部13は、タップ操作が行われた位置にウェブサイトのリンクが表示されている場合に、その位置の画像を、リンク先の画像に更新する。また、タップ操作が行われた位置にボタンが表示されている場合には、そのボタンに予め対応付けられた処理(例えば所定のプログラムを起動する等)を行う。
スクロール処理部14は、スクロール操作に対応する処理を行う。具体的には、スクロール処理部14は、スクロール操作(例えばドラッグ操作やフリック操作等の予め定められた操作)が行われたときに、該操作が行われた位置に表示されている画像をスクロール表示させる。つまり、重畳オブジェクト上でスクロール操作がなされた場合には、重畳オブジェクトの画像をスクロール表示させ、背景に表示されているウェブページ上でスクロール操作がなされた場合には、そのウェブページの画像をスクロール表示させる。
変形部15は、重畳オブジェクトを変形させる入力操作が行われたときに、その入力操作に応じて重畳オブジェクトを変形させる。なお、重畳オブジェクトを変形することにより、重畳オブジェクトに表示される画像の範囲が変更されるので、変形部15は、重畳オブジェクトの範囲を変更しているとも言える。
移動処理部16は、重畳オブジェクトを移動させる入力操作が行われたときに、その入力操作に応じた位置に重畳オブジェクトを移動させる。また、移動処理部16は、重畳オブジェクトを回転させる入力操作が行われたときに、その入力操作に応じた向きおよび回転角度で重畳オブジェクトを回転させ、表示面上における重畳オブジェクトの向きを変更する。
倍率変更部17は、表示倍率を変更する入力操作が行われたときに、その入力操作が行われた位置に表示されている画像の表示倍率を、その入力操作の内容に応じて変更する。具体的には、重畳オブジェクト上で表示倍率を変更する入力操作が行われたときには、重畳オブジェクトの画像の表示倍率を変更し、背景に表示されているウェブページ上で表示倍率を変更する入力操作が行われたときには、そのウェブページの表示倍率を変更する。
表示制御部18は、表示部300に画像を表示させる制御を行う。具体的には、表示制御部18は、後述の表示データ格納部35に格納されたデータを表示部300に送信して表示させる。
ページ保存部19は、ウェブページをファイルとして保存する処理を行い、コピー部20は、重畳オブジェクトのテキストを記憶する処理を行う(図7(b)(c)参照)。また、キャプチャ部21は、重畳オブジェクトを画像として記憶する処理を行う(図6(b)参照)。そして、ブックマーク制御部22は、ウェブページのブックマークに関する処理を行う。これらの処理は、例えば図6〜図11に示したメニューGに対する操作によって実行させることができる。
背景紐付け部23は、重畳オブジェクトが一時的に非表示となっている状態において、当該重畳オブジェクトの元になった画像が表示されているウェブページ上の位置を示す通知情報をコンテンツに重畳して表示させる。具体的には、背景紐付け部23は、重畳オブジェクトをその背景に表示されているウェブページ(その重畳オブジェクトの元になったウェブページ)と対応付ける。そして、重畳オブジェクトが画面端までドラッグされたときに、その重畳オブジェクトの代わりに、その重畳オブジェクトの元になったウェブページの箇所(重畳オブジェクトを表示させる際に範囲指定した位置)と、その重畳オブジェクトが最後に表示されていた箇所(重畳オブジェクトを一時的に非表示とするために移動させた位置)を結ぶ紐画像(通知情報)を表示する(図3(b)参照)。
レイヤー間紐付け部24は、複数の重畳オブジェクトが表示されている場合に、重畳オブジェクト同士を対応付けし、対応付けがなされていることを示す情報として、対応付けられた重畳オブジェクト間を結ぶ紐画像を表示する(図4参照)。これらの処理を重畳オブジェクト(重畳レイヤー)間の紐付けと呼ぶ。紐付けられた重畳オブジェクトの1つに対して特定の処理が行われたときには、その重畳オブジェクトに紐付けられた他の重畳オブジェクトについても同じ特定の処理が行われる。つまり、紐付けられた重畳オブジェクトに対する処理は一括して行うことができる。また、紐付けられた重畳オブジェクトは、後述の並替え処理の対象となる。
ここで、紐付けられた重畳オブジェクトに対する一括処理について説明する。図6(a)に示したように、紐付けられた重畳オブジェクトの一方に対して画面キャプチャの処理を行う旨の操作が行われた場合、キャプチャ部21は、その重畳オブジェクトに紐付けられた他の重畳オブジェクトが存在するか確認する。そして、存在する場合には、当該他の重畳オブジェクトについてもキャプチャの対象とする。また、この場合、これらの重畳オブジェクト間に表示されている紐画像もキャプチャの対象としてもよい。
同様に、図7(a)に示したように、紐付けられた重畳オブジェクトの一方に対してコピーの処理を行う旨の操作が行われた場合、コピー部20は、その重畳オブジェクトに紐付けられた他の重畳オブジェクトが存在するか確認する。そして、存在する場合には、当該他の重畳オブジェクトについてもコピーの対象とし、各重畳オブジェクトに含まれる文字列をそれぞれコピーしてもよい。
なお、一括処理の対象とする処理は上記の例に限られず、例えばブックマーク制御部22によるブックマーク登録処理、ページ保存部19によるウェブページをファイルとして保存する処理、スクロール処理部14による表示のスクロール処理、変形部15による変形処理、移動処理部16による重畳オブジェクトの表示位置の移動処理、倍率変更部17による倍率変更処理等、任意の処理を一括処理の対象とすることができる。つまり、これらの構成要素は、何れも一括処理手段として機能し得る。
キーワード表示部25は、重畳オブジェクトについてキーワードを設定する処理を行う(図10(a)参照)。また、重畳オブジェクトをキーワード表示状態に切り替える(重畳オブジェクトの代わりにキーワードオブジェクトを表示する)処理を行う(図10(b)参照)。なお、キーワードの設定と、表示切替とを個別のブロックで実行するように構成してもよいことは言うまでもない。
優先表示処理部26は、重畳オブジェクトについてプライオリティ値を設定する処理(図8(a)(b)参照)、およびプライオリティ値に基づき複数の重畳オブジェクトを並べ替える並替え処理(図9(a)(b)参照)を行う。これらの処理は、例えば図6〜図11に示したメニューGに対する操作によって実行させることができる。なお、プライオリティ値の設定と、並べ替えとを個別のブロックで実行するように構成してもよいことは言うまでもない。
記憶部200は、情報処理装置1が使用する各種データを格納する記憶装置であり、背景レイヤー管理テーブル30、重畳レイヤー管理テーブル31、マップ32、ページデータ格納部33、重畳データ格納部34、表示データ格納部35、コピーテキスト格納部36、キャプチャ画像格納部37、ブックマークテーブル38、およびプライオリティリストテーブル39を含む。
背景レイヤー管理テーブル30は、ページ表示処理部11がウェブページを表示させるために使用する情報であり、重畳レイヤー管理テーブル31は、重畳表示処理部12が重畳オブジェクトを表示させるために使用する情報である。なお、ページ表示処理部11がウェブページを表示させるレイヤーと、重畳表示処理部12が重畳オブジェクトを表示させるレイヤーとは異なっている。以下では、ページ表示処理部11が処理の対象とするレイヤーを背景レイヤーと呼び、重畳表示処理部12が処理の対象とするレイヤーを重畳レイヤーと呼ぶ。重畳オブジェクトは、重畳レイヤーに基づいて表示されるものであるから、重畳オブジェクトの紐付けは重畳レイヤーの紐付けと表現することもできる。
マップ32は、背景レイヤーのデータおよび重畳レイヤーのデータの何れを表示部300に表示するかを示す情報である。マップ32の詳細は後述する。
ページデータ格納部33は、背景レイヤーに表示させる画像データを格納するものであり、重畳データ格納部34は、重畳レイヤーに表示させる画像データを格納するものである。そして、表示データ格納部35は、表示部300に表示させる画像データを格納するものである。ページデータ格納部33に格納されたデータと、重畳データ格納部34に格納されたデータとを、マップ32に従って表示データ格納部35に格納することにより、重畳オブジェクトがウェブページに重畳して表示される。これらの格納部は、例えばVRAM(Video RAM)で構成することもできる。
コピーテキスト格納部36は、コピー部20がコピー対象としたテキストデータを格納するものである。また、キャプチャ画像格納部37は、キャプチャ部21がキャプチャした画像データを格納するものである。そして、ブックマークテーブル38は、ブックマーク制御部22がブックマークの管理に使用する情報である。
プライオリティリストテーブル39は、重畳オブジェクトの並替え処理を行う際の表示順を指定する情報である。プライオリティリストテーブル39の詳細は後述する。
表示部300は、制御部100制御に従って画像を表示する表示装置である。また、入力部400は、情報処理装置1のユーザの入力操作を受け付けて制御部100に出力する入力装置である。ここでは、表示部300の表示面が入力部400の入力面となるように表示部300および入力部400を構成した例を説明する。つまり、ここでは、情報処理装置1がタッチパネルを備えている例を説明する。無論、表示部300は画像を表示する機能を有していればよく、また入力部400は入力操作の受け付け機能を有していればよく、この例に限られない。さらに、表示部300および入力部400は、情報処理装置1に外付けされた外部の装置であってもよい。
通信部500は、情報処理装置1が外部の機器と通信するための通信装置である。具体的には、情報処理装置1は、通信部500を用いることにより、インターネット等のネットワークを介してウェブページ等のコンテンツを受信する。
〔テーブルの具体例〕
図12は、背景レイヤー管理テーブル30の具体例を示す図である。図示の背景レイヤー管理テーブル30は、ブラウザ動作用パラメータ、表示更新領域パラメータ、およびデータ格納先が対応付けられたテーブルである。
ブラウザ動作用パラメータは、背景レイヤーにウェブページを表示し、該ウェブページを動作させるために必要なパラメータである。また、表示更新領域パラメータは、表示画面上において更新の対象となる領域を示すパラメータであり、背景レイヤーの表示を更新する際に使用される。図示の例では、更新の対象となる矩形領域が、その左上隅の座標(x,y)と幅(1200ピクセル)および高さ(800ピクセル)とで示されている。そして、データ格納先は、背景レイヤーに表示させるウェブページのページデータ格納部33における格納先アドレスを示す。
図13は、重畳レイヤー管理テーブル31の具体例を示す図である。図示の重畳レイヤー管理テーブル31は、ブラウザ動作用パラメータ、外形データ、基準座標、表示倍率、回転角度、表示更新領域パラメータ、データ格納先、背景レイヤーとの紐付け、復帰用表示更新パラメータ、紐付けGr(グループ)、紐付けされたレイヤー、プライオリティ値、および表示キーワードが対応付けられたテーブルである。
ブラウザ動作用パラメータは、重畳レイヤーにウェブページを表示し、該ウェブページを動作させるために必要なパラメータである。また、外形データは、重畳オブジェクトの外形形状を示すデータである。図示の例では、重畳オブジェクトの範囲を指定する操作の軌跡を構成する全座標が外形データとして格納されている。そして、基準座標は、表示画面上におけるタッチ位置の座標を、重畳レイヤー上のタッチ位置の座標に変換するときの基準となる座標である。基準座標の詳細は後述する。また、表示倍率は、重畳オブジェクトに表示させる画像を、元のウェブページの画像に対して何倍に表示するかを示すパラメータであり、回転角度は、重畳オブジェクトに表示させる画像を、元のウェブページの画像に対してどれだけ回転させて表示するかを示すパラメータである。そして、表示更新領域パラメータは、表示画面上において更新の対象となる領域を示すパラメータであり、重畳レイヤーの表示を更新する際に使用される。図示の例では、更新の対象となる矩形領域が、その左上隅の座標(x2,y2)と幅(300ピクセル)および高さ(400ピクセル)とで示されている。また、データ格納先は、重畳レイヤーに表示させるコンテンツの、重畳データ格納部34における格納先アドレスを示す。
背景レイヤーとの紐付けは、重畳レイヤーと背景レイヤーとが紐付けられているか否かを示す。図示の例では、当該パラメータは“無し”となっており、当該重畳レイヤーが背景レイヤーと紐付けられていないことを示している。ここでは、重畳オブジェクトを画面外にドラッグしたときに、このパラメータを“有り”に更新して、その重畳オブジェクトの代わりに紐画像を表示する。よって、このパラメータの値から、当該重畳レイヤーに表示される画像が重畳オブジェクトであるか紐画像であるかを判断することができる。
復帰用表示更新パラメータは、紐画像の代わりに重畳オブジェクトを再表示する際に使用される。図示の例では、再表示する際に更新の対象となる矩形領域が、その左上隅の座標(x3,y3)と幅(300ピクセル)および高さ(400ピクセル)とで示されている。
紐付けグループは、紐付けされている複数の重畳オブジェクトを1つのグループとして識別するためのパラメータであり、互いに紐付けられた重畳オブジェクトについては、同じグループに属するものとして、紐付けグループのパラメータが同一に設定される。図示の例では、紐付けグループが2となっており、これにより紐付けグループが2である他の重畳レイヤーと紐付けられていることを示している。また、紐付けされたレイヤーは、紐付けされている他の重畳レイヤー(重畳オブジェクト)を示す。
プライオリティ値は、重畳オブジェクトの表示の優先順を示すパラメータであり、重畳オブジェクトを並び替える際に用いられる。また、表示キーワードは、重畳オブジェクトをキーワード表示する際に表示するキーワードを示している。
図14は、プライオリティリストテーブル39の具体例を示す図である。図示のプライオリティリストテーブル39は、プライオリティリストNO.(ナンバー)、状態、およびソート順が対応付けられたテーブルである。なお、プライオリティリストナンバー、状態、およびソート順の組み合わせをプライオリティリストと呼ぶ。
プライオリティリストナンバーは、重畳レイヤー管理テーブル31の紐付けグループと関連付けられた値であり、紐付けグループからプライオリティリストナンバーを特定することができる。ここでは、紐付けグループと、その紐付けグループの並べ替えに使用するプライオリティリストのプライオリティリストナンバーとを同じ値としている。
つまり、ある紐付けグループについて並べ替えを行うときには、その紐付けグループと同じ番号のプライオリティリストナンバーで特定されるプライオリティリストのソート順で並べ替える。例えば、図13の重畳レイヤー(1)について並べ替えを行う場合、紐付けグループが2であるから、図14のナンバー2のプライオリティリストのソート順に従い、重畳レイヤー(3)−(5)−(1)の順に並べ替えられる。
〔マップ〕
マップ32について、図15に基づいて説明する。図15は、マップ32を説明する図であり、同図(a)はマップ32の設定例を示し、同図(b)は同図(a)のマップ32に基づくレイヤー表示の例を示している。また、同図(a)では、重畳データ格納部34にデータが格納されるピクセルの範囲を破線で示している。
マップ32では、表示させる画像を構成する各ピクセルについて、背景レイヤーのデータを表示させる属性である「透過」、または重畳レイヤーのデータを表示させる属性である「重畳」を設定している。より詳細には、透過属性のピクセルの値を「0」に設定し、重畳属性のピクセルの値をn(nは1以上の整数)に設定している。同図(a)の例では、「0」、「1」、または「2」の値が各ピクセルに設定されている。そして、情報処理装置1は、同じ値が設定されているピクセルには、同じレイヤーのデータを表示する。
つまり、同図(a)のマップ32を用いることにより、同図(b)に示すように、「0」の値が設定されたピクセルには背景レイヤーの画像L1が表示される。そして、重畳データ格納部34にデータが格納されたピクセルのうち、「1」の値が設定されたピクセルのデータに基づいて表示が行われる結果、重畳レイヤーの画像L2が表示される。同様に、「2」の値が設定されたピクセルには他の重畳レイヤーの画像L3が表示される。
以上のように、マップ32は重畳レイヤーのピクセルのデータを表示すべき領域を示すものであるから、マップ32を参照することにより、重畳レイヤーのウェブページの一部分のみを背景レイヤーのウェブページに重畳して表示することができる。つまり、情報処理装置1では、ウェブページの範囲を指定する操作が行われたときに、そのウェブページを新たなレイヤー(重畳レイヤー)で開く。そして、マップ32に従って、新たに開いたウェブページの、指定された範囲に対応する部分のみを画面表示することによって、重畳オブジェクトの表示を実現している。
また、上記以外の属性として、紐画像を表示させる属性である「紐画像」、および重畳レイヤー同士の重畳関係を示す「重畳されるレイヤー」がマップ32に設定される。これらの属性の設定については後述する。
〔基準座標から重畳レイヤー上のタッチ位置を特定する方法〕
基準座標から重畳レイヤー上のタッチ位置を特定する方法について、図16に基づいて説明する。図16は、基準座標から重畳レイヤー上のタッチ位置を特定する方法を示す図である。同図では、重畳レイヤーをL4で示し、背景レイヤーをL5で示している。
重畳レイヤーL4には、背景レイヤーL5のウェブページが拡大表示されるため、重畳レイヤーL4の方が背景レイヤーL5よりも大きくなっている。ただし、重畳レイヤーL4の画像のうち、表示の対象となるのは、背景レイヤーL5の内側の、マップ32において重畳属性のピクセルに対応する部分の画像のみである。つまり、重畳レイヤーL4の画像のうち、重畳属性のピクセルに対応する部分のみが重畳オブジェクトとして表示される。
同図では、重畳オブジェクトを含む矩形領域を破線で示している。この矩形領域の左上隅の座標が基準座標である。つまり、重畳オブジェクトの外形データから上記の矩形領域を特定することによって、基準座標を求めることができる。基準座標は、重畳レイヤーL4では、重畳レイヤーL4の左上隅の原点を基準として(x1,y1)と表され、背景レイヤーL5では、背景レイヤーL5の左上隅の原点を基準として(x2,y2)と表される。
ここで、重畳オブジェクト上の点xに対してタッチ操作が行われたとする。このタッチ操作が行われた位置の座標(背景レイヤーL5の左上隅の原点を基準とする)を(x,y)とすると、重畳レイヤー上のタッチ位置の座標は、(x1−x2+x,y1−y2+y)と表される。この座標値を用いることにより、重畳レイヤーに対してどのような操作が行われたか(例えば何れのリンクが選択されたか)を特定することができる。
〔オブジェクト表示処理〕
続いて、重畳オブジェクトを表示させる処理であるオブジェクト表示処理(表示制御方法)の流れを図17に基づいて説明する。図17は、オブジェクト表示処理の一例を示すフローチャートである。
まず、操作判定部10は、入力部400から通知される情報から、表示中のウェブページに対するタッチ操作が行われたことを検出する(S1)。そして、操作判定部10は、タッチ操作が長押しであるか(同じ位置が所定時間以上タッチされているか)判定する(S2)。
ここで、タッチ操作が長押しではないと判定した場合(S2でNO)、操作判定部10は、通常のタッチ操作が行われたと判断し、タッチ処理部13にタッチ位置の座標を通知して、通常タッチ処理を行わせる(S3)。通常タッチ処理では、タッチ処理部13は、タッチされた位置に応じた処理を行う。例えば、タッチされた位置にリンクが表示されている場合には、そのリンク先のコンテンツを表示させる処理を行い、ボタンが表示されている場合にはそのボタンに対応する処理を行う。通常タッチ処理を行った場合、情報処理装置1は、オブジェクト表示処理を終了する。
一方、タッチ操作が長押しであると判定した場合(S2でYES)、操作判定部10は、その旨を重畳表示処理部12に通知する。この通知を受信した重畳表示処理部12は、範囲指定モードに移行する(S4)。範囲指定モードに移行した重畳表示処理部12は、それまでに表示されていたカーソルの代わりに、範囲指定モード用に予め記憶されたカーソルを表示させる。そして、重畳表示処理部12は、入力部400に入力されたタッチ位置の座標値を、操作判定部10を介して取得する(S5、受付ステップ)。続いて、重畳表示処理部12は、取得した座標値から選択範囲の外形(範囲指定モードにおけるタッチ位置の軌跡)を示す外形データを生成し(S6)、タッチ操作が終了したか判定する(S7)。
ここで、タッチ操作が終了していないと判定した場合(S7でNO)、処理はS5に戻る。一方、タッチ操作が終了したと判定した場合(S7でYES)、重畳表示処理部12は、生成した外形データを元に基準座標を設定する(S8)。そして、重畳表示処理部12は、範囲指定モードを解除して(S9)、重畳設定処理を行う(S10、重畳表示ステップ)。この後、表示制御部18が表示更新処理を行い(S11)、これにより重畳オブジェクトが表示され、オブジェクト表示処理は終了する。
なお、S10の処理が行われるまでに、範囲指定された背景レイヤーのコンテンツデータ(ウェブページを構成するデータであり、例えばHTMLファイルおよび画像データ)をページデータ格納部33へ格納し、重畳レイヤー管理テーブル31に格納先アドレスを設定しておく。
〔重畳設定処理〕
続いて、図17のS10で行われる重畳設定処理の詳細を図18に基づいて説明する。図18は、重畳設定処理の一例を示すフローチャートである。重畳設定処理は、重畳オブジェクトをウェブページに重畳して表示させるための処理である。
まず、重畳表示処理部12は、重畳レイヤー管理テーブル31の重畳レイヤーブラウザ動作用のパラメータを初期化する(S20)。また、重畳表示処理部12は、重畳レイヤー管理テーブル31が含む格納先アドレスが示すコンテンツデータをデコード(または解析)し(S21)、デコードによって得た文字列および画像を所定の拡大率で拡大し、重畳データ格納部34にレイアウトする(S22)。なお、拡大の必要がない場合には、拡大率を1倍としてもよい。
続いて、重畳表示処理部12は、図17のS6で生成した外形データに基づき、マップ32において、範囲指定された座標(範囲指定する操作の軌跡を構成する座標)を重畳属性に設定する(S23)。また、重畳表示処理部12は、マップ32において、指定された範囲の内側(範囲指定する操作の軌跡で囲まれた領域)を重畳属性に設定する(S24)。そして、重畳表示処理部12は、表示を更新する領域を示す表示更新領域パラメータ(例えば基準座標と、外形データを含む矩形領域の幅および高さとを示すパラメータ)を設定し(S25)、重畳レイヤー管理テーブル31に格納する。また、重畳表示処理部12は、表示更新領域パラメータを更新した旨を表示制御部18に通知し、これにより、重畳設定処理は終了する。
〔表示更新処理〕
続いて、図17のS11で行われる表示更新処理の詳細を図19に基づいて説明する。図19は、表示更新処理の一例を示すフローチャートである。表示更新領域パラメータを更新した旨の通知を受信した表示制御部18は、表示更新領域内の全座標について、LP1からLP2の処理を行う。まず、表示制御部18は、表示更新領域パラメータから、更新する座標を決定する(S30)。具体的には、表示制御部18は、表示更新領域パラメータの示す領域内から1つの座標を決定する。続いて、表示制御部18は、マップ32を参照して、決定した座標の属性が「透過」であるか判定する(S31)。
ここで、「透過」であると判定した場合(S31でYES)、表示制御部18は、ページデータ格納部33から、S30で決定した座標に対応するピクセルのデータを読み出し(S32)、S35の処理に進む。一方、「透過」ではない(「重畳」である)と判定した場合(S31でNO)、表示制御部18は、重畳データ格納部34から、S30で決定した座標に対応するピクセルのデータを読み出す(S33)。また、表示制御部18は、重畳レイヤーの回転角度と基準座標とを元に、当該座標を回転後の座標に変換し(S34)、S35の処理に進む。
S35では、表示制御部18は、表示データ格納部35における、上記座標(S30で決定した座標、またはS34で変換を行っている場合には変換後の座標)に応じた書き込み先アドレスを算出する。そして、表示制御部18は、S32またはS33で読み出したピクセルのデータを表示データ格納部35に設定する(S36)。以上説明したS30からS36の処理を、表示更新領域パラメータの示す領域内の全座標について行った後、表示制御部18は、表示データ格納部35のデータを表示部300に転送する(S37)。これにより、表示部300に表示される画像が更新され、表示更新処理は終了する。
〔タッチ操作対応処理〕
続いて、タッチ操作が行われたときに実行されるタッチ操作対応処理について図20に基づいて説明する。図20は、タッチ操作対応処理の一例を示すフローチャートである。なお、タッチ操作とは、表示面に対して1本指で触れることによって行う操作である。
まず、操作判定部10は、入力部400から通知される情報から、表示中のウェブページに対するタッチ操作が行われたことを検出すると、タッチ位置の座標を取得する(S40)。この後、操作判定部10は、マップ32を参照してタッチされている重畳レイヤーを検索し、重畳レイヤーの検索が終了するまでLP3からLP4の処理を繰り返す。
LP3からLP4の処理では、操作判定部10は、まず、検出した重畳レイヤーの回転角度および基準座標を重畳レイヤー管理テーブル31から読み出し、S40で取得した座標を、基準座標を中心として、上記回転角度だけ逆回転する座標変換を行う(S41)。なお、検出した重畳レイヤーが回転されていない場合には、回転角度を0としてS41の処理を行う。この場合、S41で座標は変化しないが、このような構成とすることにより、回転の有無によらず処理の手順を共通化することができる。
次に、操作判定部10は、マップ32を参照して、S41の変換にて得た座標の属性が透過であるか判定する(S42)。ここで、属性が透過ではない(重畳である)と判定した場合(S42でNO)、操作判定部10は、その旨を背景紐付け部23に通知する。その通知を受けた背景紐付け部23は、検出した重畳レイヤーが紐表示状態であるかを判定する(S49a)。具体的には、重畳レイヤー管理テーブル31から検出した重畳レイヤーに関する情報を読み出し、背景レイヤーとの紐付けが“有り”である場合に、当該重畳レイヤーが紐表示状態であると判定する。
ここで、検出した重畳レイヤーが紐表示状態であると判定した場合(S49aでYES)、背景紐付け部23は、その旨を重畳表示処理部12へ通知する。重畳表示処理部12は、その通知を受けて、重畳レイヤー管理テーブル31の復帰用表示更新パラメータで表示更新領域パラメータを更新し(S49b)、表示更新領域パラメータの更新を表示制御部18に通知する。表示制御部18は、その通知を受けて表示更新処理を行い(S11)、タッチ操作対応処理は終了する。これにより、表示されていた紐画像の代わりに、検出した重畳レイヤーに対応する重畳オブジェクトが再表示される。なお、重畳オブジェクトを再表示するための操作は、紐画像をドラッグする操作としてもよいし、これ以外の操作としてもよい。
一方、検出した重畳レイヤーが紐表示状態ではないと判定した場合(S49aでNO)、背景紐付け部23は操作判定部10にその旨を通知する。その通知を受けた操作判定部10は、重畳レイヤーのフチ(外縁部)がタッチされたか判定する(S43)。具体的には、操作判定部10は、マップ32を参照して、S40で取得した座標が、上記重畳レイヤーの外形を規定するピクセル(最も外側のピクセル)上、または該ピクセルから所定範囲内の重畳レイヤーのピクセル上に存在した場合に、フチがタッチされたと判定する。
ここで、フチがタッチされたと判定した場合(S43でYES)、操作判定部10は、変形処理が行われたと判定し、変形部15にその旨を通知する。この通知を受信した変形部15は、タッチ操作に応じて変形処理を行って重畳オブジェクトを変形し(S44)、これによりタッチ操作対応処理は終了する。
一方、フチはタッチされていない(重畳オブジェクト外縁部の内側の領域がタッチされた)と判定した場合(S43でNO)、重畳レイヤーについて、タッチ処理またはスクロール処理が行われる(S45)。具体的には、タッチ位置が変化せず、かつ所定時間以内にタッチが終了した場合、操作判定部10は、そのタッチ位置の座標と、操作の対象となった重畳レイヤーとをタッチ処理部13に通知して、タッチ処理を行わせる。タッチ処理では、タッチ処理部13は、タッチ位置にリンクがある場合に、そのリンク先のコンテンツをダウンロードし、デコードして、当該コンテンツデータに含まれる文字列、画像を所定の拡大率で重畳データ格納部34にレイアウトする。また、所定時間以内にタッチ位置が変化した場合、操作判定部10は、変化の前後のタッチ位置と、操作の対象となった重畳レイヤーとをスクロール処理部14に通知して、スクロール処理を行わせる。スクロール処理では、タッチ位置の座標値の変化の大きさに応じて重畳データ格納部34に格納するデータを変化させる。そして、タッチ処理部13またはスクロール処理部14は、操作の対象となった重畳レイヤーを含む領域を示す表示更新領域パラメータを設定し(S46)、表示更新領域パラメータの更新を表示制御部18に通知する。この後、表示制御部18が上述の表示更新処理を行い(S11)、これにより表示部300に表示される画像が更新され、タッチ操作対応処理は終了する。
ここで、操作判定部10がS42において座標の属性が透過であると判定したとき(S42でYES)に、重畳レイヤーの検索が全て終了していた場合には、背景レイヤーについて、タッチ処理またはスクロール処理が行われる(S47)。なお、背景レイヤーにおけるタッチ処理およびスクロール処理は、処理対象となるレイヤーが異なるだけで処理の内容はS45と同様であるから、ここでは詳細な説明を省略する。そして、タッチ処理部13またはスクロール処理部14は、背景レイヤーの領域を示す表示更新領域パラメータを設定し(S48)、これを表示制御部18に通知する。この後、表示制御部18が表示更新処理を行い(S11)、これにより表示部300に表示される画像が更新され、タッチ操作対応処理は終了する。
〔2本指タッチ操作対応処理〕
続いて、2本指タッチ操作対応処理について図21および図22に基づいて説明する。図21および図22は、2本指タッチ操作対応処理の一例を示すフローチャートであり、図21のAと図22のAとは接続されている。なお、上記2本指タッチ操作とは、表示面に対して2本の指で同時に触れることによって行う操作である。上述のように、1本指によるタッチ操作では、タッチ処理またはスクロール処理が行われる。これに対し、2本指タッチ操作では、オブジェクトの移動または回転が行われる。このように、情報処理装置1では、操作に使う指の本数に応じて異なる処理が行われるようになっている。
まず、操作判定部10は、入力部400から通知される情報から、タッチされた2点の座標を取得し、これらの座標を「以前に取得した座標」に設定する(S60)。次に、操作判定部10は、マップ32を参照して、2本の指で同一のレイヤーがタッチされているか判定する(S61)。
ここで、同一レイヤーがタッチされていないと判定した場合(S61でNO)、操作判定部10は、背景レイヤー管理テーブル30を参照して、2本の指でタッチされているレイヤーの一方が背景レイヤーであるか判定する(S75)。そして、一方が背景レイヤーであると判定した場合(S75でYES)、操作判定部10は、通常のタッチ操作が行われたと判断し、タッチ処理部13にタッチ位置の座標を通知して、上述の通常タッチ処理を行わせる(S3)。これにより、2本指タッチ操作対応処理は終了する。一方、2本の指でタッチされているレイヤーの一方が背景レイヤーではないと判定した場合(S75でNO)、すなわち、2本の指がそれぞれ異なる重畳レイヤーにタッチしている場合、操作判定部10は、レイヤー間紐付け部24にその旨を通知する。また、この通知の後、2本の指がそれぞれ異なる重畳レイヤーにタッチしている状態が継続している期間中、2点のタッチ位置をレイヤー間紐付け部24に通知する。これにより、レイヤー間紐付け部24によってレイヤー間紐付け処理が行われる(S76)。レイヤー間紐付け処理の詳細については後述する。
一方、同一レイヤーがタッチされていると判定した場合(S61でYES)、操作判定部10は、タッチが所定時間継続しているか判定する(S62)。ここで、所定時間経過前にタッチが解消された場合(S62でNO)、操作判定部10は、タッチが解消されるまでのタッチ位置の座標と、操作の対象となったレイヤーとを倍率変更部17に通知して、倍率変更処理を行わせる(S63)。倍率変更処理では、倍率変更部17は、通知された上記座標に応じた表示倍率で表示が行われるように、操作の対象となったレイヤーのデータ(ページデータ格納部33または重畳データ格納部34に格納するデータ)を更新する。具体的には、いわゆるピンチイン操作が行われたときには表示画像が縮小するように更新し、ピンチアウト操作が行われたときには拡大するように更新する。そして、倍率変更部17は、更新した領域を含む表示更新領域パラメータを設定して、その旨を表示制御部18に通知する。この後、表示制御部18が上述の表示更新処理を行い、これにより表示部300に表示される画像が更新され、2本指タッチ操作対応処理は終了する。
一方、S62において、タッチが所定時間継続していると判定した場合(S62でYES)、操作判定部10は、その旨およびS60で設定した座標を移動処理部16に通知する。この通知を受信した移動処理部16は、回転/移動モードに移行する(S64)。回転/移動モードに移行した移動処理部16は、それまでに表示されていたカーソルの代わりに、回転/移動モード用に予め記憶されたカーソルを表示させる。
続いて、移動処理部16は、現時点のタッチ位置の座標を、操作判定部10を介して取得し、これらの座標を「新しく取得した座標」に設定する(S65)。次に、操作判定部10は、「新しく取得した座標」の中点、すなわち現時点で表示面にタッチしている2本の指の位置を示す座標の中点を決定する。続いて、操作判定部10は、背景レイヤー管理テーブルを参照し、背景レイヤーの表示更新領域の外周とその内側数ピクセルである背景レイヤーのフチ領域(背景レイヤーの外縁領域)に、当該中点が達しているか否かを判定する。これにより、操作判定部10は、重畳レイヤーが画面外へドラッグされたか否かの判定する(S66)。
重畳レイヤーが画面外へドラッグされたと判定した場合(S66でYES)、操作判定部10は、背景紐付け部23へその旨を通知する。背景紐付け部23は、その通知を受けて画面外ドラッグ処理を実行する(S67)。画面外ドラッグ処理の詳細については後述する。
一方、重畳レイヤーが画面外へドラッグされていないと判定した場合(S66でNO)、移動処理部16は、操作判定部10から通知された「以前に取得した座標」と、上記「新しく取得した座標」とから、重畳オブジェクトを回転させる角度を求める(S68)。具体的には、移動処理部16は、「以前に取得した座標」と「新しく取得した座標」とで同一(値の差異が所定範囲以内の座標を同一の座標とみなしてもよい)の座標が存在する場合、この座標を中心座標と特定する。そして、この中心座標と「以前に取得した座標」の他の座標とを結ぶ線分と、該中心座標と「新しく取得した座標」の他の座標とを結ぶ線分とがなす角度を求める。一方、中心座標が存在しない場合、移動処理部16は、「以前に取得した座標」と、「新しく取得した座標」とから、重畳オブジェクトの移動量を求める(S69)。具体的には、移動処理部16は、2つの「以前に取得した座標」の中間の位置の座標と、2つの「新しく取得した座標」の中間の位置の座標とを算出し、これらの座標間の距離を算出する。そして、算出した距離に応じた移動量を算出し、またこれらの座標間の位置関係から移動方向を特定する。例えば、タッチ位置に追従して重畳オブジェクトが移動するような移動量および移動方向を特定してもよい。
次に、移動処理部16は、求めた移動量に基づいて属性変更処理を実行し、マップ32の属性を更新する(S70)。属性変更処理の詳細については後述する。そして、移動処理部16は、移動前後の当該重畳レイヤーを含む領域を指定した表示更新領域パラメータを設定し(S71)、その旨を表示制御部18に通知して、上述の表示更新処理を実行させる(S11)。
ここで、タッチ操作が継続されている場合(S72でNO)、移動処理部16は、それまでの「新しく取得した座標」を、「以前に取得した座標」に設定し(S73)、S65の処理に戻る。一方、タッチ操作が終了している場合(S72でYES)、移動処理部16は、回転/移動モードを解除し、カーソルを元に戻す(S74)。これにより、2本指タッチ操作対応処理は終了する。上記の2本指タッチ操作対応処理によれば、ユーザは、表示面に触れた2本の指をスライドさせながら、一方の指を始点として他方の指で弧を描くことにより、移動と回転とを同時に行わせることもできる。よって、重畳オブジェクトを所望の位置に所望の向きで表示させるための入力を、直感的な操作で迅速かつスムーズに行うことができる。
なお、画面外にドラッグされたか否かの判定方法は上記の例に限られない。例えば、移動処理部16は、重畳オブジェクトの外形データに含まれる少なくとも1つの座標が背景レイヤーの表示更新領域に含まれない状態となっている場合(重畳オブジェクトの少なくとも一部が表示されない状態となっている場合)に、画面外にドラッグされたと判定してもよい。
〔画面外ドラッグ処理〕
続いて図22のS67で行われる画面外ドラッグ処理について、図23に基づき説明する。図23は画面外ドラッグ処理の一例を示すフローチャートである。なお、画面外へのドラッグとは、タッチ位置が表示画面の端部に達するまで行うドラッグ操作であり、重畳オブジェクトを画面外にドラッグすることにより、この重畳オブジェクトは表示画面の端部まで移動した後、非表示となる。
まず、重畳レイヤーが画面外へドラッグされた旨の通知を受けた背景紐付け部23は、重畳レイヤー管理テーブル31において、ドラッグされた重畳オブジェクトに対応する重畳レイヤーの背景レイヤーとの紐付けを有りに設定する(S80)。続いて、背景紐付け部23は、この重畳レイヤーに係るピクセルのマップ属性を「透過」に変更する(S81)。さらに、背景紐付け部23は、初期座標を基に、当該重畳レイヤーの外形データの形状の代わりに紐の形状を設定し、当該紐の形状に対応するピクセルのマップ属性を「紐画像」に変更する(S82)。「紐画像」は、重畳属性の一種であり、この属性のピクセルには所定の色が表示される。なお、初期座標は、当該重畳レイヤーが生成された時点における基準座標であり、予め記憶しておく。また、紐の形状は、上記重畳レイヤーに対応する重畳オブジェクトを生成するときに範囲指定された位置を一端とし、重畳オブジェクトが最後に表示されていた位置(画面端)を他端とした形状とする。これにより、範囲指定された位置から重畳オブジェクトが非表示となった位置までが上記所定の色で表示され、これが紐画像と認識される。
また、背景紐付け部23は、重畳オブジェクトが最後に表示されていた位置の表示更新領域パラメータを復帰用表示更新パラメータに保存する(S83)。さらに、背景紐付け部23は、S82にて紐の形状を設定した領域を示す表示更新領域パラメータを設定し(S84)、表示更新領域パラメータの更新を表示制御部18に通知して、表示更新処理を行わせる(S11)。これにより、重畳オブジェクトの代わりに紐画像が表示される。また、背景紐付け部23は移動処理部16へ処理の完了を通知し、この通知を受信した移動処理部16は回転/移動モードを解除し、カーソルを元に戻す(S85)。これにより、画面外ドラッグ処理は終了する。
以上の処理により、画面外にドラッグされた重畳オブジェクトが非表示となっていることを示す紐画像が初期座標を基に表示される。また、非表示となる直前の重畳オブジェクトの位置を示す表示更新領域パラメータが、復帰用表示更新パラメータに記録される。これにより、当該位置に重畳オブジェクトを再表示させることができる。なお、重畳オブジェクトを再表示させる位置は、非表示となる直前の位置に限られない。例えば、重畳オブジェクトを非表示にする操作(この例ではドラッグ操作)が行われる直前の表示更新領域パラメータを復帰用表示更新パラメータに記録しておいてもよい。この場合、重畳オブジェクトをドラッグ操作を行う直前の位置に再表示させることができる。また例えば、重畳オブジェクトの初期表示位置(重畳オブジェクトが生成され、表示された時点の表示位置)における表示更新領域パラメータを復帰用表示更新パラメータに記録しておいてもよい。この場合、重畳オブジェクトを初期表示位置に再表示させることができる。
〔属性変更処理〕
続いて、図22のS70で行われる属性変更処理について図24に基づき説明する。図24は属性変更処理の一例を示すフローチャートである。
重畳オブジェクトの移動量を算出した移動処理部16は、当該重畳オブジェクトの移動先となる全ピクセルについてLP5からLP6の処理を行う。まず、移動処理部16は、移動先のピクセルのマップ属性が透過であるか、または移動中の重畳レイヤーと同じ重畳レイヤーに含まれるピクセルであるかを判定する(S90)。移動先のピクセルのマップ属性が透過であるか、または移動中の重畳レイヤーと同じ重畳レイヤーに含まれるピクセルである場合(S90でYES)、移動処理部16は、当該移動先のピクセルのマップ属性を重畳属性に変更し(S91)、次のピクセルについて処理を行う。
一方、移動先のピクセルのマップ属性が透過ではなく、かつ移動中の重畳レイヤーと異なる重畳レイヤーに含まれるピクセルであった場合(S90でNO)、移動処理部16は、その旨をレイヤー間紐付け部24へ通知する。その通知を受けたレイヤー間紐付け部24は、移動先のピクセルに表示されている重畳レイヤーのマップ属性を「重畳されるレイヤー」に設定する(S92)。
続いて、レイヤー間紐付け部24は、重畳レイヤー管理テーブル31を参照し、移動中の重畳レイヤーの「紐付けされたレイヤー」に、重畳されるレイヤーが登録されているかを判定する(S93)。
ここで、移動中の重畳レイヤーの「紐付けされたレイヤー」に、重畳されるレイヤーが登録されていた場合(S93でYES)、その旨を移動処理部16へ通知する。その通知を受けた移動処理部16は、当該移動先のマップ属性を、移動中の重畳レイヤーに対応する重畳属性に変更し(S91)、次のピクセルについて処理を行う。
一方、移動中の重畳レイヤーの紐付けされたレイヤーに、重畳されるレイヤーが登録されていなかった場合(S93でNO)、レイヤー間紐付け部24は、重畳レイヤー管理テーブル31に含まれる移動中の重畳レイヤーについての「紐付けされたレイヤー」に、重畳されるレイヤーを登録する(S94)。同様に、レイヤー間紐付け部24は、重畳レイヤー管理テーブル31に含まれる重畳されるレイヤーについての「紐付けされたレイヤー」に、移動中の重畳レイヤーを登録し(S95)、その旨を移動処理部16へ通知する。その通知を受けた移動処理部16は、当該移動先のピクセルのマップ属性を、移動中の重畳レイヤーに対応する重畳属性に変更し(S91)、次のピクセルについて処理を行う。
以上の処理により、重畳オブジェクトが他の重畳オブジェクトと重なるように移動された場合に、これらの重畳オブジェクトが紐付けられる。すなわち、ユーザは、図5(b)に示したように、重畳オブジェクト同士を重ねる操作を行うことで、当該重畳オブジェクト同士を紐付けることができる。
〔レイヤー間紐付け処理〕
次に、図21のS76で行われるレイヤー間紐付け処理について、図25に基づいて説明する。図25はレイヤー間紐付け処理の一例を示すフローチャートである。
操作判定部10から2本の指がそれぞれ異なる重畳レイヤーにタッチしている旨の通知を受け取ったレイヤー間紐付け部24は、操作判定部10が2本の指がそれぞれ異なる重畳レイヤーにタッチしている状態が継続していると判定している間、LP7からLP8の処理を繰り返す。なお、ここでは、一方の指がタッチしている重畳レイヤーをレイヤーA、他方の指がタッチしている重畳レイヤーをレイヤーBとする。
まず、レイヤー間紐付け部24は、操作判定部10の出力するタッチ位置を示す情報に基づき、いわゆるピンチイン動作が行われたかを判定する(S100)。ピンチイン動作が行われたと判定した場合(S100でYES)、レイヤー間紐付け部24は、レイヤーAおよびBの紐付けグループが等しいか判定する(S101)。紐付けグループが等しいと判定した場合(S101でYES)、2本の指がそれぞれ異なる重畳レイヤーにタッチしている状態が継続していれば、再度LP7からLP8の処理が繰り返される。
一方、紐付けグループが異なると判定した場合(S101でNO)、レイヤー間紐付け部24は、重畳レイヤー管理テーブル31に含まれるレイヤーAの「紐付けされたレイヤー」にレイヤーBを設定する(S102)。同様に、レイヤー間紐付け部24は、重畳レイヤー管理テーブル31に含まれるレイヤーBの「紐付けされたレイヤー」にレイヤーAを設定する(S103)。
続いて、レイヤー間紐付け部24は、紐付けグループを設定し(S104)、紐画像設定処理を行う(S105)。紐付けグループを設定する手順、および紐画像設定処理については後述する。また、S105の処理が行われたのちに、2本の指がそれぞれ異なる重畳レイヤーにタッチしている状態が継続していれば、再度LP7からLP8の処理が繰り返される。
S100においてピンチイン動作が行われたと判定されなかった場合(S100でNO)、レイヤー間紐付け部24は、操作判定部10の出力する情報に基づき、いわゆるピンチアウト動作が行われたかを判定する(S106)。ピンチアウト動作が行われたと判定した場合(S106でYES)、レイヤーAおよびBの紐付けグループが異なるか判定する(S107)。
ここで、紐付けグループが異なる場合(S107でYES)、2本の指がそれぞれ異なる重畳レイヤーにタッチしている状態が継続していれば、再度LP7からLP8の処理が繰り返される。一方、紐付けグループが同じである場合(S107でNO)、レイヤー間紐付け部24は、重畳レイヤー管理テーブル31に含まれるレイヤーAの「紐付けされたレイヤー」からレイヤーBを削除する(S108)。同様に、レイヤー間紐付け部24は、重畳レイヤー管理テーブル31に含まれるレイヤーBの「紐付けされたレイヤー」からレイヤーAを削除する(S109)。続いて、レイヤー間紐付け部24は、重畳レイヤー管理テーブル31に含まれるレイヤーA及びレイヤーBの紐付けグループをなし(値:0)に設定し(S110)、その後に、紐画像解除処理を行う(S111)。S111の処理が行われたのちに、2本の指がそれぞれ異なる重畳レイヤーにタッチしている状態が継続していれば、再度LP7からLP8の処理が繰り返される。
S106においてピンチアウト動作が行われたと判定されなかった場合(S106でNO)、2本の指がそれぞれ異なる重畳レイヤーにタッチしている状態が継続していれば、再度LP7からLP8の処理が繰り返される。
以上の処理により、図5(a)に示したように、紐付けられていない二つの重畳オブジェクトにタッチしてピンチイン動作が行われた場合、当該二つの重畳オブジェクトは紐付けられる。また、紐付けられた二つの重畳オブジェクトにタッチしたまま、ピンチアウト動作が行われた場合、当該二つの重畳オブジェクトの紐付けは解除される。
〔紐付けグループの設定〕
図25のS104で行われる紐付けグループの設定の手順について以下説明する。レイヤーAおよびBの双方に紐付けグループが設定されている場合、小さい値の紐付けグループに統一する。つまり、二つの紐付けグループのうち、値が大きい方の紐付けグループの値を、小さい方の紐付けグループの値で更新する。また、紐付けグループの変更に合わせて、プライオリティリストも更新する。すなわち、使用されなくなった紐付けグループ(値が大きい方の紐付けグループ)に対応するプライオリティリストの状態を未使用に更新する。
一方、レイヤーAおよびBの何れにも紐付けグループが設定されていない場合、プライオリティリストテーブル39から未使用のプライオリティリストナンバーを取得する。そして、このナンバーをレイヤーAおよびBについての紐付けグループとして、それぞれの重畳レイヤー管理テーブル31に設定する。
また、レイヤーAまたはBの一方のみに紐付けグループが設定されている場合、紐付けグループが設定されていない重畳レイヤーの紐付けグループに、紐付けグループが設定されている重畳レイヤーの紐付けグループの値を設定する。
〔紐画像設定・解除処理〕
図25のS105、S111で行われる紐画像設定処理および紐画像解除処理について、図26に基づき説明する。図26は、紐画像設定・解除処理の一例を示すフローチャートである。
まず、レイヤー間紐付け部24は、2本の指によりそれぞれタッチされている重畳レイヤーであるレイヤーAおよびBの中心座標をそれぞれ取得する(S120)。なお、中心座標は、重畳レイヤーに対応する重畳オブジェクトを囲む矩形の中心座標であり、重畳レイヤー管理テーブル31の表示更新領域パラメータを参照することで特定することができる。続いて、レイヤー間紐付け部24は、取得されたそれぞれの中心座標をつなぐ直線上の座標を特定する(S121)。
次に、レイヤー間紐付け部24は、特定した各座標を対象としてLP9からLP10の処理を行う。まず、レイヤー間紐付け部24は、処理の対象となっている座標のマップ属性がレイヤーAまたはBに等しいか、すなわち、その値がレイヤーAまたはBを示す値であるかを判定する(S122)。当該マップ属性がレイヤーAまたはBの属性と一致する場合(S122でYES)、次の座標について、LP9からLP10の処理を行う。
一方、当該マップ属性がレイヤーAおよびBの何れの属性とも一致しない場合(S122でNO)、レイヤー間紐付け部24は、紐画像の設定であるかを判定する(S123)。すなわち、紐画像設定処理であるか、紐画像解除処理であるかを判定する。紐画像の設定であると判定した場合(S123でYES)、すなわち、紐画像設定処理である場合、処理の対象となっている座標のマップ属性を「紐画像」に設定し(S124)、次の座標について、LP9からLP10の処理を行う。
一方、紐画像の設定ではないと判定した場合(S123でNO)、すなわち、紐画像解除処理である場合、処理の対象となっている座標のマップ属性を「透過」に設定し(S124)、次の座標について、LP9からLP10の処理を行う。
以上のように、紐画像設定処理によれば、レイヤーAとBとをつなぐように紐画像が表示される。また、紐画像解除処理によれば、レイヤーAとBとをつなぐ紐画像が消去される。なお、S120、S121の処理により決定される直線(紐画像を表示する座標を示す直線)は、曲線で置き換えてもよい。また、当該直線または曲線の端点は、レイヤーAに含まれる重畳オブジェクトおよびレイヤーBに含まれる重畳オブジェクトそれぞれに含まれる何れかの点であってもよい。
〔キーワード表示処理〕
重畳オブジェクトの代わりにキーワードオブジェクトを表示させる処理であるキーワード表示処理について、図27に基づき説明する。図27はキーワード表示処理の一例を示すフローチャートである。
操作判定部10は、特定の重畳オブジェクトのメニューからキーワード表示を選択する操作が行われたと判定した場合(S130)、その旨をキーワード表示部25に通知して、キーワード選択モードに移行させる(S131)。キーワード選択モードにおいて、キーワード表示部25は、操作判定部10から送信されるタッチ位置の座標から、タッチ開始位置の座標を取得し(S132)、タッチの終了を待ち受ける(S133)。
タッチが終了したと判定した場合(S133でYES)、キーワード表示部25は、タッチ終了位置の座標(操作判定部10から最後に受信した座標)を取得する(S134)。続いて、キーワード表示部25は、取得したタッチ開始位置および終了位置の座標に基づいてキーワード取得処理を行う(S135)。キーワード取得処理の詳細については後述する。
次に、キーワード表示部25は、キーワード表示の対象とする重畳オブジェクトについて、重畳データ格納部34に格納されたデータをクリアする(S136)。続いて、キーワード表示部25は、キーワード表示ウィンドウを生成し、重畳データ格納部34に描画し(S137)、S135で取得したキーワードを上記キーワード表示ウィンドウ内に描画する(S138)。さらに、キーワード表示部25は、当該重畳レイヤーの各ピクセルに対応するマップ属性を「透過」に設定し(S139)、続いて、描画されたキーワード表示ウィンドウと対応する各ピクセルに対応するマップ属性を「重畳」に設定する(S140)。
また、キーワード表示部25は、重畳レイヤー管理テーブル31において、当該重畳レイヤーの表示更新領域パラメータを復帰用表示更新パラメータに設定し(S141)、その後に、キーワード表示ウィンドウを含む矩形領域を表示更新領域パラメータに設定する(S142)。その後、キーワード表示部25は、キーワード選択モードを解除し(S143)、表示更新領域パラメータの更新を表示制御部18に通知し、表示制御部18は表示更新処理を行う(S11)。これにより、キーワード表示処理は終了する。
以上の処理により、ユーザは、重畳オブジェクトをキーワード表示に変更することができる。また、重畳オブジェクトの表示位置が復帰用表示更新パラメータに保存されているので、このパラメータを参照することにより、キーワード表示への変更前の位置に重畳オブジェクトを再表示することができる。
なお、上述の例では、メニューからキーワード表示を選択する操作が行われた場合に、キーワード取得処理を行っているが、キーワード取得処理はこのような操作が行われる前に行われてもよい。この場合、S131〜S135の処理が省略される。また、キーワード表示の対象とする重畳オブジェクトには、メニューが表示されていた重畳オブジェクトのみが含まれていてもよいし、この重畳オブジェクトに紐付けられた他の重畳オブジェクトも含まれていてもよい。
〔キーワード取得処理〕
続いて、図27のS135で行われるキーワード取得処理について、図28に基づいて説明する。図28はキーワード取得処理の一例を示すフローチャートである。ここでは、座標のx成分を座標(x)と表し、座標のy成分を座標(y)と表す。
まず、キーワード表示部25は、タッチ開始位置のy座標であるタッチ開始座標(y)と、タッチ終了位置のy座標であるタッチ終了座標(y)との中点の座標を求める(S150)。そして、求めた中点の座標をコピーの開始および終了の基準とするy座標に設定する(S151)。
また、キーワード表示部25は、タッチ開始位置のx座標をコピー開始座標(x)に設定する(S152)。S151およびS152の処理により、コピー開始位置のxおよびy座標が決定される。そして、キーワード表示部25は、このコピー開始座標のマップ属性が重畳であるかを判定する(S153)。コピー開始座標のマップ属性が重畳ではないと判定した場合(S153でNO)、キーワード表示部25は、コピー開始座標(x)を一定値(例えば1)増やし(S154)、再度、コピー開始座標のマップ属性が重畳であるかを判定する(S153)。
一方、コピー開始座標のマップ属性が重畳であると判定した場合(S153でYES)、キーワード表示部25は、現在のコピー開始座標(x)をコピー開始座標(x)として決定し(S155)、さらに、このコピー開始座標(x)をコピー終了座標(x)の初期値に設定する。
続いて、操作判定部10は、コピー終了座標(x)を一定値(例えば1)増やし(S156)、コピー終了座標のマップ属性が透過であるかを判定する(S157)。コピー終了座標のマップ属性が透過でないと判定した場合(S157でNO)、S156の処理に戻る。
一方、コピー終了座標のマップ属性が透過であると判定した場合(S157でYES)、キーワード表示部25は、コピー終了座標(x)がタッチ終了座標(x)以下であるかを判定する(S158)。コピー終了座標(x)がタッチ終了座標(x)以下であった場合(S158でYES)、S156の処理に戻る。
一方、コピー終了座標(x)がタッチ終了座標(x)以下でなかった場合、つまりコピー終了座標(x)とタッチ終了座標(x)とが一致した場合(S158でNO)、キーワード表示部25は、現在のコピー終了座標(x)を最終的なコピー終了座標(x)として決定する(S159)。
続いて、キーワード表示部25は、コピー開始座標からコピー終了座標までの範囲にコピーの対象となる文字列があるかを判定する(S160)。コピーの対象となる文字列があった場合(S160でYES)、重畳レイヤー管理テーブル31において、表示キーワードとして当該文字列を設定し(S161)、キーワード取得処理を終了する。
一方、コピー開始座標とコピー終了座標とが示す範囲にコピーの対象となる文字列が無かった場合(S160でNO)、キーワード表示部25は、キーワード選択モードを解除し(S162)、キーワード表示処理を終了する。
以上の処理により、キーワード選択モードにおいて、タッチ開始位置とタッチ終了位置とにはさまれる重畳オブジェクト上の文字列がキーワードとして設定される。また、コピー開始座標(y)とコピー終了座標(y)が等しいため、重畳オブジェクト上の文字列のうち、該重畳オブジェクト上の指定された位置に対応する一つの行に含まれる文字列のみがキーワード設定の対象となる。
〔詳細表示処理〕
次に、キーワード表示状態となっている重畳オブジェクトを詳細表示状態に戻す処理である詳細表示処理について、図29に基づいて説明する。図29は詳細表示処理の一例を示すフローチャートである。
まず、操作判定部10が、メニューより詳細表示を選択する操作(キーワードオブジェクトに表示させたメニューから“キーワード表示/詳細表示”の項目を選択する操作)が行われたと判定した場合(S170)、その旨をキーワード表示部25に通知する。その通知を受けたキーワード表示部25は、当該キーワードオブジェクトに対応する重畳データ格納部34に格納されているデータをクリアする(S171)。続いて、キーワード表示部25は、表示更新領域パラメータに基づいてマップ属性を「透過」に設定する(S172)。これにより、キーワード表示ウィンドウが非表示となる。また、キーワード表示部25は、上記キーワードオブジェクトに対応する重畳オブジェクトを再表示するように重畳表示処理部12に通知する。
この後、重畳表示処理部12により上記重畳オブジェクトの重畳設定処理が行われ(S10)、続いて表示制御部18により表示更新処理が行われる(S11)。これにより、重畳オブジェクトが再表示され、詳細表示処理は終了する。
〔プライオリティ設定処理〕
重畳オブジェクトの並べ替えのためのプライオリティを設定するプライオリティ設定処理について、図30に基づいて説明する。図30はプライオリティ設定処理の一例を示すフローチャートである。
操作判定部10は、メニューからプライオリティ設定が選択されたと判定した場合(S180)、その旨を優先表示処理部26へ通知する。この通知を受信した優先表示処理部26は、設定ウィンドウを表示する(S181)。設定ウィンドウとは、選択されている重畳レイヤー(メニューが表示された重畳オブジェクトに対応する重畳レイヤー)のプライオリティ値を設定するためのユーザインターフェースである。次に、優先表示処理部26は、選択されている重畳レイヤーのプライオリティ値の重畳レイヤー管理テーブル31からの読み出しを試行し(S182)、プライオリティ値の設定があるかを判定する(S183)。
ここで、プライオリティ値の設定がないと判定した場合(S183でNO)、優先表示処理部26は、設定ウィンドウによってプライオリティ値が設定されたかを判定する(S184)。プライオリティ値が設定されなかった場合(S184でNO)、プライオリティ設定処理を終了する。一方、プライオリティ値が設定された場合(S184でYES)、優先表示処理部26は、選択されている重畳レイヤーの紐付けグループに対応するプライオリティリストをプライオリティリストテーブル39から取得する(S185)。
続いて、優先表示処理部26は、設定されたプライオリティ値に基づき、取得したプライオリティリストに選択された重畳レイヤーを登録する(S186)。より詳細には、取得したプライオリティリストのソート順を、プライオリティ値の順となるように登録する。また、優先表示処理部26は、設定されたプライオリティ値を重畳レイヤー管理テーブル31に設定し(S187)、プライオリティ設定処理を終了する。
ここで、S183においてプライオリティ値の設定有りと判定した場合(S183でYES)には、優先表示処理部26は、設定ウィンドウによってプライオリティ値が設定されたかを判定する(S188)。プライオリティ値が設定されていなかった場合(S188でNO)、優先表示処理部26は、選択された重畳レイヤーをプライオリティリストから削除する(S189)。続いて、S187からの処理が実行される。
S188においてプライオリティ値が設定されていた場合(S188でYES)、優先表示処理部26は、設定されたプライオリティ値が現在の値(S182で読み出した値)と同じであるかを判定する(S190)。同じと判定した場合(S190でYES)、優先表示処理部26は、プライオリティ設定処理を終了する。一方、異なると判定した場合(S190でNO)、優先表示処理部26は、設定されたプライオリティ値に基づきプライオリティリストをソートする(S191)。この後S187以降の処理が実行される。
以上の処理により、設定されたプライオリティ値が重畳レイヤー管理テーブル31に設定される。また、プライオリティリストテーブル39に含まれるソート順は、重畳レイヤー管理テーブル31のプライオリティ値に基づくものであることが維持される。
〔並び替え処理〕
プライオリティリストに従って重畳オブジェクト(重畳レイヤー)を並び替える並び替え処理について、図31に基づいて説明する。図31は並び替え処理の一例を示すフローチャートである。なお、並び替え処理は、選択されている重畳オブジェクト(重畳レイヤー)に対するメニューにおいて並び替えが選択されたことを操作判定部10が優先表示処理部26へ通知したときに実行される。
まず、優先表示処理部26は、選択されている重畳レイヤーの紐付けグループと対応するプライオリティリストをプライオリティリストテーブル39から取得し(S200)、紐付けレイヤー消去処理を行う(S201)。紐付けレイヤー消去処理の詳細は後述する。
紐付けレイヤー消去処理の完了後、優先表示処理部26は、プライオリティリストのソート順において先頭となっている重畳レイヤーを取得する(S202)。続いて、優先表示処理部26は、並べ替えの対象となる重畳レイヤーの基準座標から、並替え基準座標を設定する(S203)。例えば、プライオリティリストのソート順に含まれる重畳レイヤーのうち、x座標およびy座標が共に最小の重畳レイヤー(画面の左上隅に最も近い重畳オブジェクトに対応する重畳レイヤー)の基準座標を並替え基準座標としてもよい。
続いて、優先表示処理部26は、プライオリティリストに含まれる重畳レイヤーをソート順で取得し、取得した重畳レイヤーを対象としてLP11からLP12の処理を行う。まず、優先表示処理部26は、並替え基準座標を基に対象となる重畳レイヤーのマップ属性を更新する(S204)。具体的には、並替え基準座標を、対象となる重畳レイヤーの基準座標に設定し、この基準座標を基準とした表示更新領域パラメータに示される領域のマップ属性を更新する。また、優先表示処理部26は、並替え基準座標を更新する(S205)。例えば、プライオリティリストのソート順に含まれる重畳レイヤーのうち、画面の左上隅に2番目に近い重畳オブジェクトに対応する重畳レイヤーの基準座標を並替え基準座標としてもよい。また、例えば、重畳オブジェクトが画面左端から順に整列するように、並替え基準座標のx成分に、対象となる重畳レイヤーの幅と、予め定めた値とを足すことにより、並替え基準座標を更新してもよい。その後、優先表示処理部26は、プライオリティリストの次の順の重畳レイヤーを対象となる重畳レイヤーとして、LP11からLP12の処理を行う。
以上の処理により、紐付けられた重畳レイヤーが、設定されたプライオリティ値の順に配列する。なお、配列の方向は適宜変更してもよい。また、図9(b)の例のように、近接する重畳オブジェクト間に紐画像が表示されるように、紐画像の表示についても更新してもよい。
〔紐付けレイヤー消去処理〕
続いて、図31のS201で行われる紐付けレイヤー消去処理について、図32に基づいて説明する。図32は紐付けレイヤー消去処理の一例を示すフローチャートである。
プライオリティリストを取得した優先表示処理部26は、当該プライオリティリストに含まれる重畳レイヤーを対象として、ソート順の先頭から順にLP15からLP16の処理を行う。まず、優先表示処理部26は、対象となる重畳レイヤーの外形データに含まれる座標に対応するピクセルのマップ属性を透過に設定する(S210)。
続いて、優先表示処理部26は、対象となる重畳レイヤーに紐付けされた重畳レイヤーを重畳レイヤー管理テーブル31から読み出し、読み出した各重畳レイヤーを対象として、LP17からLP18の処理を行う。すなわち、優先表示処理部26は、対象となる重畳レイヤーと紐付けされた重畳レイヤーの外形データに含まれる座標に対応するピクセルのマップ属性を透過に設定する(S211)という処理を、読み出した重畳レイヤーのそれぞれについて行う。その後、優先表示処理部26は、プライオリティリストに登録された他の重畳レイヤーが存在すれば、その重畳レイヤーを対象としてS210からの処理を行う。
以上の処理により、選択された重畳レイヤーおよび選択された重畳レイヤーと直接または間接に紐付けられた重畳レイヤーがすべて非表示となる。
〔実施形態2〕
上記実施形態では、非表示となった重畳オブジェクトの元になった背景レイヤー上の位置を示す通知情報として紐画像を表示する例を示したが、通知情報はその重畳オブジェクトの元になった背景レイヤー上の位置をユーザが認識できる情報であればよく、この例に限られない。例えば、文字や記号等によって非表示となった重畳オブジェクトの存在およびその重畳オブジェクトに対応するコンテンツ上の位置(指定範囲上の位置)を示してもよい。ただし、紐画像のような線状の画像であれば、その重畳オブジェクトの元になったコンテンツ(背景レイヤー)上の位置と、その重畳オブジェクトが画面外にドラッグされた位置とを併せてユーザに認識させることができる。また、表示画面上で占有する面積が小さく、背景のウェブページの閲覧の妨げになりにくいので、通知情報は線状の画像とすることが好ましい。重畳オブジェクト間で紐付けが行われていることを示す情報についても同様であり、紐画像のような線状の画像が好ましいが、この例に限定されない。
上記実施形態では、重畳オブジェクトが画面外にドラッグされたときに、その重畳オブジェクトに対応する重畳レイヤー管理テーブル31の“背景レイヤーとの紐付け”のパラメータを“有り”に更新する例を示したが、更新の契機はこの例に限られない。例えば、ユーザが所定の操作(例えば重畳オブジェクトと背景のウェブページとを同時にタッチする操作)を行ったときに、このパラメータを“有り”に更新してもよい。この場合、重畳オブジェクトが画面外にドラッグされる等して非表示となったときに、このパラメータが“有り”であれば紐画像を表示し、“無し”であれば紐画像を表示せずにその重畳オブジェクトの表示を終了してもよい。これにより、ユーザが再確認したい重畳オブジェクトのみを対象に紐画像の表示への切り換えを行うことができる。
情報処理装置1において、入力操作をどのように規定するかは、装置の仕様等に応じて決定すればよく、上述の例に限られない。例えば、上述の例では2本の指を用いて移動・回転を行っているが、1本の指による操作でこれらの処理を行うようにしてもよい。
また、上記では、ウェブページに重畳オブジェクトを表示する例を示したが、重畳オブジェクトの表示の対象とするコンテンツは、ページ単位で表示するコンテンツであればよく、ウェブページに限られない。例えば、情報処理装置1を電子辞書とした場合には、XMDF等の形式のデータに基づいて画像を表示し、表示した画像中において指定された範囲に対応する重畳オブジェクトを重畳表示してもよい。また、情報処理装置1を電子書籍の表示が可能な装置とした場合、EPUB等の形式のデータに基づいて画像を表示し、表示した画像中において指定された範囲に対応する重畳オブジェクトを重畳表示してもよい。このようなデータには、HTMLのコンテンツと同様に、コンテンツを構成する各要素(テキストや画像、あるいはその参照先)、およびこれらの要素を画面上に配置するための配置情報や、リンクを示すタグ等が含まれている。このため、上記実施形態と同様の処理により、元のページとは独立にユーザの入力操作を受け付け、その入力操作の結果が表示に反映される重畳オブジェクトを表示することができる。
また、ウェブページ以外のコンテンツについても、上述のブックマーク処理と同様の処理を行い、重畳オブジェクトの元になったコンテンツにアクセスするための情報と、指定された範囲を示す情報とを対応付けて記憶することにより、重畳オブジェクトが表示された表示状態を再現することができる。例えば、電子書籍や電子辞書を表示させる装置には、読みかけのページから表示させるための「しおり」を挿入する機能を有するものがある。このような装置において、重畳オブジェクトが表示されている状態で「しおり」を挿入する操作が行われたときに、表示されている重畳オブジェクトの元になったページを示す情報と、その重畳オブジェクトの範囲を示す情報とを対応付けて記憶してもよい。そして、その「しおり」のページを開く操作が行われたときに、記憶した上記情報を用いて、「しおり」が挿入されたページを表示すると共に、そのページに重畳して上記重畳オブジェクトを表示してもよい。
なお、情報処理装置1では、基本的に、コンテンツをユーザに閲覧させることを想定しており、編集させることは想定していないため、表示させるコンテンツは、編集の対象となっていないコンテンツ(閲覧専用のコンテンツ)であってもよい。
そして、上記では、通信ネットワークを介して取得したコンテンツ(ウェブページ)を表示する例を示したが、コンテンツの取得先は特に限定されない。例えば、記憶部200に格納されたコンテンツを表示してもよいし、コンテンツが格納されたメモリカードなどの記録媒体を情報処理装置1に接続し、その記録媒体から取得したコンテンツを表示してもよい。
〔実施形態3〕
情報処理装置1の制御ブロック(特に制御部100)は、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、CPU(Central Processing Unit)を用いてソフトウェアによって実現してもよい。
後者の場合、情報処理装置1は、各機能を実現するソフトウェアであるプログラムの命令を実行するCPU、上記プログラムおよび各種データがコンピュータ(またはCPU)で読み取り可能に記録されたROM(Read Only Memory)または記憶装置(これらを「記録媒体」と称する)、上記プログラムを展開するRAM(Random Access Memory)などを備えている。そして、コンピュータ(またはCPU)が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波等)を介して上記コンピュータに供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
〔まとめ〕
本発明の態様1に係る情報処理装置(1)は、コンテンツを表示させる情報処理装置であって、表示されている上記コンテンツから指定された範囲の画像を含む重畳オブジェクトを当該コンテンツに重畳して表示させる重畳表示手段(重畳表示処理部12)と、上記重畳オブジェクトが一時的に非表示となっている状態において、上記コンテンツ上における上記範囲の位置を示す通知情報を表示させる情報表示手段(背景紐付け部23)とを備えている。
上記の構成によれば、重畳オブジェクトをコンテンツに重畳して表示させる。そして、この重畳オブジェクトが非表示となった状態おいて、上記コンテンツ上における上記範囲(当該重畳オブジェクトが含む画像が表示されている範囲)の位置を示す通知情報をコンテンツに重畳して表示させる。
よって、重畳オブジェクトを一時的に非表示とした状態においても、ユーザは、通知情報が示す位置に対応する重畳オブジェクトの存在を認識することができる。これにより、ユーザは、非表示状態においてもコンテンツの何れの位置に対応する重畳オブジェクトが存在しているかを考慮してコンテンツを閲覧することができ、必要となったタイミングで必要な位置に対応する重畳オブジェクトを再表示させることも可能になる。
なお、重畳オブジェクトが一時的に非表示となっている状態において、通知情報を常に表示させる必要はない。例えば、画面のスクロールなどにより上記重畳オブジェクトが非表示となった場合には、例外的に通知情報を表示させないようにしてもよい。また、重畳オブジェクトが一時的に非表示となっている期間中、常に通知情報を表示させる必要もない。そして、一時的に非表示となっている状態とは、その状態においては非表示であるが、再表示させることができる状態を指す。
本発明の態様2に係る情報処理装置は、上記態様1において、上記重畳表示手段は、上記通知情報に対する操作に応じて上記重畳オブジェクトを再度表示させてもよい。
上記の構成によれば、通知情報に対する操作に応じて重畳オブジェクトを再表示する。これにより、ユーザは、通知情報によって重畳オブジェクトの存在を認識し、その通知情報に対して操作を行うという直感的かつスムーズな操作によって重畳オブジェクトを再表示させることができる。
本発明の態様3に係る情報処理装置では、上記態様1または2において、上記重畳表示手段は、上記重畳オブジェクトが表示画面の端部まで移動されたときに該重畳オブジェクトを一時的に非表示とし、上記通知情報は、上記重畳オブジェクトが移動された上記端部の位置をさらに示すものであってもよい。
これにより、ユーザは、表示画面の端部まで重畳オブジェクトを移動させるという直感的な操作によってその重畳オブジェクトを一時的に非表示とすることができる。そして、通知情報が、その重畳オブジェクトを一時的に非表示とするために移動させた位置をさらに示しているため、その重畳オブジェクトを表示させてから一時的に非表示とするまでの一連の操作をユーザに想起させやすい。
また、上記通知情報は、上記範囲内の点と上記端部とを結ぶ線状の画像であり、重畳オブジェクトを再表示させる操作は、上記線状の画像をドラッグする操作であってもよい。これにより、ユーザは画面外に追い出された重畳オブジェクトを引っ張り出す感覚で直感的に非表示となっている重畳オブジェクトを再表示させることができる。
本発明の態様4に係る情報処理装置は、上記態様1から3の何れかにおいて、上記重畳表示手段が上記重畳オブジェクトを複数表示させている場合に、一つの上記重畳オブジェクトを対象として特定の処理を実行するときに、当該重畳オブジェクトに対応付けられた他の重畳オブジェクトがあれば、該他の重畳オブジェクトについても当該特定の処理を実行する一括処理手段(コピー部20等)を備える構成であってもよい。
上記の構成によれば、複数の重畳オブジェクトを対応付け、そのうちの1つの重畳オブジェクトを対象として特定の処理を実行させることにより、その重畳オブジェクトに対応付けられている他の重畳オブジェクトについても同じ特定の処理を実行させることができる。つまり、複数の重畳オブジェクトについて一括して特定の処理を実行させることができる。上記特定の処理としては、例えば表示位置の移動、ブックマークの登録、画像の記録、テキストのコピー等が挙げられる。
なお、上記特定の処理が画像の記録である場合、対応付けられた複数の重畳オブジェクトの画像と共に、それら重畳オブジェクトが対応付けられていることを示す情報も記録することが好ましい。これにより、重畳オブジェクトがそれぞれ対応付けられていたことを記録された画像から認識することが可能になる。
本発明の態様5に係る情報処理装置は、上記態様1から4の何れかにおいて、上記重畳オブジェクトと対応付けられた文字列を該重畳オブジェクトの代わりに表示するキーワード表示手段(キーワード表示部25)を備えていてもよい。
上記の構成によれば、重畳オブジェクトの代わりに文字列を表示するので、コンテンツに重畳される情報量を削減して、コンテンツの閲覧性を向上させることが可能になる。また、表示する文字列は、重畳オブジェクトと対応付けられた文字列であるから、その文字列からどのような重畳オブジェクトが表示されていたのかをユーザに認識させることも可能である。
本発明の態様6に係る情報処理装置は、上記態様5において、上記重畳オブジェクトと対応付ける文字列を、上記重畳オブジェクト上で指定された一行から取得するキーワード設定手段(キーワード表示部25)を備えていてもよい。
上記の構成によれば、重畳オブジェクトと対応付ける文字列を、その重畳オブジェクト上の指定された一行から取得する。この構成では、複数行にまたがる文字列は取得されないので、ユーザが誤って複数行にまたがる位置を指定した場合であっても、1つの行から文字列を取得することができる。これは、特に位置の指定を小さい表示画面(小さい文字)に対するタッチ操作で行う場合に有用である。
本発明の態様7に係る情報処理装置は、上記態様1から6の何れかにおいて、上記重畳表示手段が上記重畳オブジェクトを複数表示させている場合に、表示させている複数の重畳オブジェクトのうち対応付けがなされている2以上の重畳オブジェクトを予め定められた優先順に並び替える並替手段(優先表示処理部26)を備えていてもよい。この構成によれば、対応付けた重畳オブジェクトを優先順に並び替えるので、複数の重畳オブジェクトの並び順を整理することが容易になる。
本発明の各態様に係る情報処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記情報処理装置が備える各部として動作させることにより上記情報処理装置をコンピュータにて実現させる情報処理装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
また、本発明の情報処理装置の制御方法は、コンテンツを表示させる情報処理装置の制御方法であって、表示されている上記コンテンツから指定された範囲の画像を含む重畳オブジェクトを当該コンテンツに重畳して表示させる重畳表示ステップ(S10)と、上記重畳オブジェクトが一時的に非表示となっている状態において、上記コンテンツ上における上記範囲の位置を示す通知情報を表示させる情報表示ステップ(S67)とを含むことを特徴としている。この構成によれば、上記態様1の情報処理装置と同様の作用効果を奏する。
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
本発明は、特にウェブブラウザを備えたスマートフォン、タブレット端末、PC(Personal Computer)などに好適に利用することができる。
1 情報処理装置
12 重畳表示処理部(重畳表示手段)
23 背景紐付け部(情報表示手段)
25 キーワード表示部(キーワード表示手段、キーワード設定手段)
26 優先表示処理部(並替手段)

Claims (5)

  1. コンテンツを表示させる情報処理装置であって、
    表示されている上記コンテンツから指定された範囲の画像を含む重畳オブジェクトを当該コンテンツに重畳して表示させる重畳表示手段と、
    上記重畳オブジェクトが一時的に非表示となっている状態において、上記コンテンツ上における上記範囲の位置を示す通知情報を表示させる情報表示手段とを備えることを特徴とする情報処理装置。
  2. 上記重畳表示手段は、上記通知情報に対する操作に応じて上記重畳オブジェクトを再度表示させることを特徴とする請求項1に記載の情報処理装置。
  3. 上記重畳表示手段は、上記重畳オブジェクトが表示画面の端部まで移動されたときに該重畳オブジェクトを一時的に非表示とし、
    上記通知情報は、上記重畳オブジェクトが移動された上記端部の位置をさらに示すことを特徴とする請求項1または2に記載の情報処理装置。
  4. 上記重畳表示手段が上記重畳オブジェクトを複数表示させている場合に、一つの上記重畳オブジェクトを対象として特定の処理を実行するときに、当該重畳オブジェクトに対応付けられた他の重畳オブジェクトがあれば、該他の重畳オブジェクトについても当該特定の処理を実行する一括処理手段を備えることを特徴とする請求項1から3の何れか1項に記載の情報処理装置。
  5. 上記重畳オブジェクトと対応付けられた文字列を該重畳オブジェクトの代わりに表示するキーワード表示手段を備えることを特徴とする請求項1から4の何れか1項に記載の情報処理装置。
JP2013183431A 2013-09-04 2013-09-04 情報処理装置 Active JP6018996B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2013183431A JP6018996B2 (ja) 2013-09-04 2013-09-04 情報処理装置
PCT/JP2014/073089 WO2015033937A1 (ja) 2013-09-04 2014-09-02 情報処理装置、情報処理装置の制御方法、プログラム、および記録媒体
CN201480048485.XA CN105518600A (zh) 2013-09-04 2014-09-02 信息处理装置、信息处理装置的控制方法、程序和记录介质
US14/915,701 US20160196049A1 (en) 2013-09-04 2014-09-02 Information processing device, control method for information processing device, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013183431A JP6018996B2 (ja) 2013-09-04 2013-09-04 情報処理装置

Publications (2)

Publication Number Publication Date
JP2015049858A JP2015049858A (ja) 2015-03-16
JP6018996B2 true JP6018996B2 (ja) 2016-11-02

Family

ID=52628411

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013183431A Active JP6018996B2 (ja) 2013-09-04 2013-09-04 情報処理装置

Country Status (4)

Country Link
US (1) US20160196049A1 (ja)
JP (1) JP6018996B2 (ja)
CN (1) CN105518600A (ja)
WO (1) WO2015033937A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014222439A (ja) * 2013-05-14 2014-11-27 ソニー株式会社 情報処理装置、パーツ生成利用方法及びプログラム
JP6696737B2 (ja) * 2015-06-26 2020-05-20 シャープ株式会社 コンテンツ表示装置及びプログラム
JP6723749B2 (ja) * 2016-01-25 2020-07-15 キヤノン株式会社 画像表示装置、画像表示方法、およびプログラム
CN105912209B (zh) * 2016-04-11 2019-04-12 珠海市魅族科技有限公司 图像显示方法及装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0863314A (ja) * 1994-08-26 1996-03-08 Canon Inc 編集装置および方法
JP4389090B2 (ja) * 2007-10-03 2009-12-24 シャープ株式会社 情報表示装置
US8584031B2 (en) * 2008-11-19 2013-11-12 Apple Inc. Portable touch screen device, method, and graphical user interface for using emoji characters
US8661362B2 (en) * 2009-03-16 2014-02-25 Apple Inc. Methods and graphical user interfaces for editing on a multifunction device with a touch screen display
JP4843696B2 (ja) * 2009-06-30 2011-12-21 株式会社東芝 情報処理装置およびタッチ操作支援プログラム
JP5027905B2 (ja) * 2009-09-30 2012-09-19 楽天株式会社 情報表示装置、情報表示方法、情報表示プログラム、記録媒体及び情報表示システム
JP5829390B2 (ja) * 2010-09-07 2015-12-09 ソニー株式会社 情報処理装置、および情報処理方法
JP2012073809A (ja) * 2010-09-29 2012-04-12 Brother Ind Ltd 表示端末および制御プログラム
JP5666239B2 (ja) * 2010-10-15 2015-02-12 シャープ株式会社 情報処理装置、情報処理装置の制御方法、プログラム、および記録媒体
US20130017526A1 (en) * 2011-07-11 2013-01-17 Learning Center Of The Future, Inc. Method and apparatus for sharing a tablet computer during a learning session
KR101834987B1 (ko) * 2011-08-08 2018-03-06 삼성전자주식회사 휴대용 단말기에서 화면 캡쳐를 위한 장치 및 방법
JP2013054591A (ja) * 2011-09-05 2013-03-21 Toshiba Tec Corp 棚割支援装置及び棚割支援プログラム
CN102663056B (zh) * 2012-03-29 2014-05-28 北京奇虎科技有限公司 一种图片元素显示方法和装置

Also Published As

Publication number Publication date
JP2015049858A (ja) 2015-03-16
WO2015033937A1 (ja) 2015-03-12
US20160196049A1 (en) 2016-07-07
CN105518600A (zh) 2016-04-20

Similar Documents

Publication Publication Date Title
JP6263247B2 (ja) 画像表示装置、画像表示方法およびプログラム
JP5752572B2 (ja) 表示制御装置、表示方法、制御プログラム、および記録媒体
TWI516962B (zh) 巡覽一瀏覽器中之複數個內容項目的方法、電腦系統及電腦程式產品
JP5572843B2 (ja) 制御方法、プログラム、制御装置
JP7342208B2 (ja) 画像処理装置、画像処理装置の制御方法及びプログラム
US20110138313A1 (en) Visually rich tab representation in user interface
JP5527521B2 (ja) 階層構造表示装置、階層構造表示方法および階層構造表示制御プログラム
JP2014229224A (ja) オブジェクト選択装置
US20150082211A1 (en) Terminal and method for editing user interface
JP6018996B2 (ja) 情報処理装置
US11126337B2 (en) Picture display control device, and operating program and operating method of picture display control device
WO2013080586A1 (ja) 表示制御装置、表示方法、制御プログラム、および記録媒体
JP2006293477A (ja) 入力座標処理プログラムおよび入力座標処理装置
JP2012008686A (ja) 情報処理装置および方法、並びにプログラム
WO2014196639A1 (ja) 情報処理装置および制御プログラム
JP6131072B2 (ja) 表示制御装置
WO2015005383A1 (ja) 情報処理装置および制御プログラム
JP5875262B2 (ja) 表示制御装置
WO2019155853A1 (ja) 電子アルバム装置とその作動方法および作動プログラム
US20170038953A1 (en) Display apparatus and display method for displaying main data and data related to that main data, and a memory medium
JP2022179604A (ja) 情報処理装置、情報処理方法、及びプログラム
US11436776B2 (en) Information processing apparatus and control method thereof
JP7337520B2 (ja) 情報処理装置、情報処理装置の制御方法、プログラム、および記憶媒体
JP2009283014A (ja) 入力座標処理プログラムおよび入力座標処理装置
JP2015162120A (ja) 情報端末およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160927

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161003

R150 Certificate of patent or registration of utility model

Ref document number: 6018996

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150