JP6087608B2 - 携帯可能な装置、携帯可能な装置を制御する方法およびプログラム - Google Patents

携帯可能な装置、携帯可能な装置を制御する方法およびプログラム Download PDF

Info

Publication number
JP6087608B2
JP6087608B2 JP2012269782A JP2012269782A JP6087608B2 JP 6087608 B2 JP6087608 B2 JP 6087608B2 JP 2012269782 A JP2012269782 A JP 2012269782A JP 2012269782 A JP2012269782 A JP 2012269782A JP 6087608 B2 JP6087608 B2 JP 6087608B2
Authority
JP
Japan
Prior art keywords
image
hierarchy
touch panel
management table
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012269782A
Other languages
English (en)
Other versions
JP2014115850A (ja
JP2014115850A5 (ja
Inventor
淳一 合田
淳一 合田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2012269782A priority Critical patent/JP6087608B2/ja
Priority to US14/081,151 priority patent/US20140165011A1/en
Publication of JP2014115850A publication Critical patent/JP2014115850A/ja
Publication of JP2014115850A5 publication Critical patent/JP2014115850A5/ja
Application granted granted Critical
Publication of JP6087608B2 publication Critical patent/JP6087608B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text

Description

本発明は、例えば表示部に表示された複数の画像をレイアウトする技術等に関し、特に情報処理装置及び制御プログラムと情報処理方法に関する。
従来、携帯端末のような情報処理装置においては、タッチパネルを備えた操作部からユーザの操作により指定される処理を受け付けている。タッチパネルを備えた情報処理装置においては、タッチパネル上におけるタッチ座標とスライド操作の軌跡とを検出して入力するフリック入力が可能にもなっている。さらに昨今は、同時に複数の指によるタッチ座標と指の軌跡とを検出可能な、すなわち同時に複数の位置の接触を検出可能なマルチタッチセンサを備えるものがある。ユーザは、このマルチタッチセンサによるタッチのポイント数とフリック動作の軌跡のバリエーションに予め割り当てられた操作を実行可能であり、操作性が高まっている。
ユーザは、このような高い操作性を用い、たとえば複数の画像が表示された画面上でレイアウト作業を行う場合、画像を選択し、選択した画像に対し移動、拡大・縮小、回転処理を行うことができる。レイアウト作業とは、複数の画像を1ページ中のユーザの所望する位置やサイズに配置する作業である。このレイアウト作業中に複数の画像が重なってしまう場合がある。画像が重なる事により、ある画像の下に隠れてしまった画像を選択する事は困難である。
そこで、表裏両面にタッチセンサーを設け、さらに裏面には圧力センサーをも設け、裏面から押下された指の位置と圧力とに応じて、表面に配置された画像を移動し、裏面に隠れていた画像を選択可能とする技術が提案されている(特許文献1)。
特開2010−140417号公報
表面の画像を移動する事により、裏面に隠れた画像の選択は可能となるが、表面の画像のもともと置位置が変わってしまう。そのため、裏面に隠れていた画像に対して処理を行った後、移動してしまった表面の画像を元々あった位置に戻すなどレイアウト処理を行う必要があり、ユーザの利便性を損なってしまう。
本発明は上記従来例に鑑みてなされたもので、レイアウトを維持したまま所望の画像に対する操作を可能ならしめることを提供することを目的とする。
上記目的を達成するために本発明は以下の構成を有する。
携帯可能な装置であって、
前記装置の第1面に備えられた、複数の画像オブジェクトを表示するタッチスクリーンと、
前記第1面とは異なる前記装置の第2面に備えられたタッチセンサーと、
前記複数の画像オブジェクトのうちから少なくとも1つの画像オブジェクトを選択するための前記タッチスクリーンへのユーザーのタッチ操作にしたがって、前記タッチスクリーンに表示されている前記少なくとも1つの画像オブジェクトを選択する選択手段と、
前記タッチスクリーンへのユーザーの前記タッチ操作が終わった後での前記タッチセンサーへのユーザーのタッチ操作にしたがって、前記選択された少なくとも1つの画像オブジェクトに対する所定の処理を実行する処理手段と、
を有することを特徴とする装置。
本発明によれば、レイアウトされた画像の位置を維持したまま、所望の画像に対する操作が可能となり、ユーザの利便性を向上する事ができる
情報処理装置の外観を示す図 情報処理装置のハードウェア構成例を示す図 画像管理テーブル300を示す図 液晶ディスプレイ1009上に複数の画像が表示されている例を示す図 第1タッチパネル操作を検知した場合の処理フローを示す図 第1タッチパネル操作を検知した場合の液晶ディスプレイ1009と画像管理テーブル300の状態を示す図 階層移動処理フローを示す図 階層移動手段を示す図 画像管理テーブル300の階層情報302の更新方法について説明する図 階層移動手段が、選択された画像を最前面もしくは最背面に移動するモードの場合の液晶ディスプレイ1009と画像管理テーブル300の状態を示す図 階層移動手段が、選択された画像の階層を1階層ずつ移動するモードの場合の液晶ディスプレイ1009と画像管理テーブル300の状態を示す図 階層移動手段が、ダブルタップされた指の本数に応じて選択された画像の階層を移動するモードの液晶ディスプレイ1009と画像管理テーブル300の状態を示す図 複数の画像が選択されている場合の液晶ディスプレイ1009と画像管理テーブル300の状態を示す図 タップ位置に応じ画像の階層を下げる処理フローを示す図 タップ位置に応じ画像の階層を下げる処理を実行した場合の、液晶ディスプレイ1009と画像管理テーブル300の状態を示す図 重階層管理テーブル500を示す図 複数の画像が重なった場合の液晶ディスプレイ1009の状態を示す図 画像管理テーブル300のある状態を示す図 背面に隠れた画像を液晶ディスプレイ1009の前面に移動する処理フローを示す図 階層変更処理を示す図 第2タッチパネル1008をダブルタップした場合の画像管理テーブル300と重階層管理テーブル500更新及び制御方法を示す図 第2タッチパネル1008をダブルタップした場合の画像管理テーブル300と重階層管理テーブル500更新及び制御方法を示す図
[第1の実施形態]
以下、本実施形態を実施するための第1の実施形態について図面を用いて説明する。
<情報処理装置の外観>
図1は、本実施形態の情報処理装置の外観を示す図である。情報処理装置100はスマートフォン等の携帯情報端末やタブレット等の携帯可能な情報処理装置を示す。また、図示しない複合機の着脱可能な操作部であっても良い。情報処理装置100は、無線回線103を介してインターネットとの間で文書や画像のデータの授受を行ったり、図示しない複合機や記憶デバイスと通信可能である。情報処理装置100は、表面部101には透明な材質で形成された第1タッチパネル1007とその下部に液晶ディスプレイ1009を合わせて2層構造で構成される。また、情報処理装置100の裏面部102には、第2タッチパネル1008を有する。第2タッチパネルは第1タッチパネルの裏面側に対向して配置されている。情報処理装置100は、第1タッチパネル1007と第2タッチパネル1008からユーザ操作を受け付け動作する。
第1タッチパネル1007と第2タッチパネル1008の操作はそれぞれ独立しており、動作モードの選択、各種機能の設定、動作指示等の処理を個別に割り当てることが可能である。第1タッチパネル1007は、液晶ディスプレイ1009上に表示された画像に対し、タップ、ドラッグ、ピンチ、フリックといった操作によって、画像の変倍や移動などのレイアウト処理が可能である。
本実施形態を説明する上で特徴的な、第1タッチパネル1007と第2タッチパネル1008に割り当られる処理を説明する。第1タッチパネル1007でシングルタップ操作がユーザにより行われた事を検知すると、液晶ディスプレイ1008に表示された画像の選択・解除処理を行う。ここでシングルタップとは、第1タッチパネル1007に或る短い時間指で触れ、すぐに指を離す操作の事である。また選択・解除処理とは、たとえば未選択の画像をタップすると当該画像が選択状態となり、選択済みの画像をタップすると選択が解除されるような操作である。
第1タッチパネル1007と第2タッチパネル1008の少なくともいずれかでダブルタップ操作がユーザにより行われた事を検知すると、液晶ディスプレイ1008に表示された画像の階層変更処理を行う。ここでダブルタップとは、第1タッチパネル1007もしくは第2タッチパネル1008に或る短い時間内に指で2回連続で触れる処理の事である。詳細については、後述する。
<情報処理装置のハードウェア構成>
図2は、本実施形態の情報処理装置のハードウェア構成例を詳細に示すブロック図である。
情報処理装置100は、それぞれシステムバス1107で相互に接続されているCPU1001、RAM1002、ROM1003、SSD1004、操作制御部1006、ネットワーク部1010、操作制御部1006を有している。さらに第1タッチパネル1007と第2タッチパネル1008と液晶ディスプレイ1009を有し、操作制御部1006に接続されるように構成される。
第1タッチパネル1007は、利用者による操作入力のために、図示しないマルチタッチ検出可能な静電容量式タッチパネルで構成されている。第2タッチパネル1008は、第1タッチパネル1007と同様マルチタッチ検出可能なタッチパネルで構成されている、いわば第2の入力手段である。
CPU1001は、情報処理装置100の内部で行われる各種処理について統括的に制御する。RAM1002は、CPU1001が動作するためのシステムワークメモリであり、画像データなどを一時記憶するための画像メモリでもある。ROM1002は、ブートROMであり、システムのブートプログラムを格納する。SSD1004はソリッドステートドライブで、主に、コンピュータを起動・動作させるために必要な情報(システムソフトウェア)や画像データを格納する。また、SSD1004は、以下に記載のフローチャートをCPU1001が実行するためのプログラムを記憶する。これらのデータは、SSD1004に限らず、電源が切れても記憶保持可能な記録媒体に格納してもよい。ネットワーク部1010は無線回線103に接続され、インターネットや図示しない画像形成装置などの外部機器と通信(送受信)を行う。
第1タッチパネル1007、第2タッチパネル1008、液晶ディスプレイ1009はそれぞれ操作制御部1006に接続され、それぞれに必要なデータや情報および制御信号を送受信する。液晶ディスプレイ1009は第1タッチパネル1007の下に重ねて配置されて表示面と座標系を共有しており、表示される画像は第1タッチパネル1007を通して外部から見ることができる。
操作制御部1006は、第1タッチパネル1007と第2タッチパネル1008の夫々に対し、どの位置がタッチされているかの位置情報をCPU1001に通知する。CPU1001は、どの位置がタッチされているかを随時確認する事で、第1タッチパネル1007及び第2タッチパネル1008上でどのような操作がユーザによって行われたかを知る事が可能となる。また、CPU1001は、何本の指で第1タッチパネル1007と第2タッチパネル1008がタップされたかも検知する事が可能となる。
また、操作制御部1006は、CPU1009の指示に基づき、液晶ディスプレイ1009に表示対象画像を送信する。表示対象画像は、後述する画像管理テーブル300の情報を元にCPU1001が生成する。
なお、本実施形態のようなシステムにおいても、入出力制御やプロセスのスケジューリングなどのリソース管理を行うオペレーティングシステム(OS)が用意されており、画像のレイアウトなどのアプリケーションはOSが提供する機能を利用して実現される。たとえばタッチパネルの操作はOSにより処理され、操作がシングルタップであるか、ダブルタップであるか、あるいはフリックやピンチであるか、また操作された位置はどこであるかなどの情報は、OSが提供するインターフェースを介してアプリケーションが獲得することができる。もちろん操作されたデバイスが表面側の第1タッチパネル1007か裏面側の第2タッチパネル1008かを示す情報もOSから引き渡される。
本実施形態は、複数の画像をレイアウトする場合に有効となる。そこで、まず、本実施形態における、液晶ディスプレイ1009に表示される複数の画像の例と、表示される画像の管理方法について説明し、その後、詳細な処理フローを説明する。
<画像管理テーブル>
図3は、画像管理テーブル300を示す図である。画像管理テーブル300は本実施形態における画像の操作を実現するために必要なテーブルであり、CPU1001により管理及び更新される。画像管理テーブル300を、図3の画像管理テーブル300に登録された画像が表示された画面を示す図4を使用しながら説明する。なお情報処理の観点からはSSD等に保存された画像は「画像オブジェクト」あるいは「画像データ」などと呼ぶべきであろうが、画像データとそれを視覚的に表示した画像とは不可分であるので、本実施形態では画像データを単に画像と呼ぶ場合もある。また個々の画像をレイアウトして構成される画面もまた画像であるので、混同を避けるために、個々の成分画像を画像オブジェクトと呼ぶこともある。また本例では画像データはたとえばフルカラーの画素から構成されており、画素を格子状に配列した矩形の画像として表示される。なお図3の画像管理テーブルは、例えば画像レイアウト機能を提供するアプリケーション等により、レイアウト対象とする新たな画像が選択され、レイアウトされる都度、当該画像に係るレコードが追加される。そして追加されたレコードの位置情報が、レイアウトに応じて更新される。もちろん後述の通り階層情報も、その階層移動操作に応じて変更される。
図4は、液晶ディスプレイ1009上に、図3の画像管理テーブル300で管理されている複数の画像が表示されている例を示す図である。液晶ディスプレイ1009上に画像401から画像405の5つの画像が表示されている。
図3の説明に戻る。画像名301の列は、液晶ディスプレイ1009上に表示されている画像をユニークな名前で管理する項目である。図3の例では、液晶ディスプレイ1009上に表示されている画像401の画像名を画像A、画像402の画像名を画像B、画像403の画像名を画像C、画像404の画像名を画像D、画像405の画像名を画像Eとして管理している事を示している。以降の説明においては、画像401から画像405の画像を画像A、画像B、画像C、画像D、画像Eとして説明する。
階層情報302の列は、液晶ディスプレイ1009の表示されている画像の階層を示す項目である。値は1から整数で順番に各画像に振られており、値が小さい方が上の階層に位置する事を示す。本例では、画像Cの階層情報302の値が'1'なので、一番上の階層にあり、画像Aの階層情報302の値が'5'なので、一番下の階層に位置する事を示している。階層の上下は、表示の優先順位と言い替えることもできる。上の階層の画像と下の階層の画像とは重複している場合には、重複した部分では上の階層の画像がそのまま表示され、下の階層の画像は覆い隠される。なお本例では、各階層に属する画像は1つであり、2つの画像の属するそれぞれの階層は必ず上位と下位という関係にある。
位置情報303の列は、液晶ディスプレイ1009の表示されている画像の位置を示す項目である。位置情報は、各画像の左上隅が液晶ディスプレイのどの位置にあるかを示すsp(start point)、画像の横方向のサイズを示すxsize、画像の縦方向のサイズを示すysizeの3つの値で管理されている。本例においては、図3に示す液晶ディスプレイ1009の左上隅の位置を(0,0)、右上隅の位置を(150,0)、左下隅の位置を(0,100)、右下隅の位置を(150,100)として説明する。すなわち、左上隅を原点として、右側に向けてX軸が、下側に向けてY軸が延びた座標系で画面上の位置が示される。本例において、画像Aのspの値が(12,9)であり、液晶ディスプレイ1009上の左上から、横方向に「12」の縦方向に「9」の位置に画像Aの左上が位置する事を示している。また、xsizeの値が「23」でありysizeの値が「34」なので、spの座標から横方向に23、縦方向に34のサイズの画像Aがある事を示す。
選択フラグ304の列は、液晶ディスプレイ1009上に表示されている画像が現在選択されているかを示す項目である。画像が選択中であればONになり、画像が選択されていなければOFFとなる。選択フラグ304のON、OFFの切り替えは、第1タッチパネル1007が押下され、押下がシングルタップであり、押下された位置に応じてCPU1001が対応する画像の選択フラグ304のフラグの値を更新する。画像の選択と階層とは独立しており、ある画像を選択しても、選択操作のみによってその画像の属する階層は変化しない。
<通常操作処理フロー>
図5は、本実施形態において、ユーザにより第1タッチパネル1007もしくは第2タッチパネル1008が操作された場合の処理フローを示す図である。特に、複数の画像が液晶ディスプレイ1009に表示され、ユーザによりレイアウト処理が行われる事を想定し説明していく。
図5に示すフローチャートは、SSD1004に格納されたプログラムをCPU1001がRAM1002に展開してCPU1001が実行する事で実現される。本処理フローの動作主体は特に説明しない限りCPU1001であるため、本処理フローの説明の主語は割愛して記載する。以降に記載の全ての処理フロー(図7、図8、図9、図14、図19、図20)も、CPU1001が同様に実行する。これら手順は、画像管理テーブル300により管理され、液晶ディスプレイ1009に表示された画像を対象として実行される。
レイアウト編集中は、S101からS107が繰り返しループ実行される。S101で、第1タッチパネル1007もしくは第2タッチパネル1008上で操作があるかを検知する。操作された事を検知しない場合は、そのまま操作検知を待つ。操作を検知した場合は、S102で階層移動指示であるか判定する。本実施形態において、階層移動指示は、第1タッチパネル1007もしくは第2タッチパネル1008に対するダブルタップ操作である。
階層移動指示であると判定すると、本実施形態に特徴的な処理である、S107の階層移動処理を実行する。階層移動処理は、画像管理テーブル300の階層情報302の値を制御する処理である。S107の詳細な処理フローについては図7を用いて後述する。
S102で階層移動指示でないと判定した場合はS103に移行する。S103で画像選択指示であるかを判定する。本実施形態において、画像選択指示は、第1タッチパネル1007に対するシングルタップ操作である。画像選択指示であると判定した場合、S105で画像管理テーブル300の選択フラグの値を更新する。更新方法は、タップされた位置に画像がある場合は、タップされた画像の選択フラグ304を反転する。タップされる前の状態がOFFであればONとし、タップされる前の状態がONであればOFFとする。また、タップされた位置に画像が無ければ、画像管理テーブル300に登録された全ての画像の選択フラグ304をOFFにする。タップされた位置で複数の画像が重なっている場合には、階層情報302の状態を参照し、最上位階層に位置する画像に対して画像選択(あるいは選択解除)処理を行う。
S103で画像選択指示でない場合は、S104で通常処理を行う。ここで通常処理とは、画像が選択されている状態であれば画像に対する移動や変倍処理を、画像が選択されていない状態であれば、液晶ディスプレイ1009に表示されている画面に対する移動や変倍処理を行う事である。もう少し詳細な内部動作は、画像が選択されている状態であれば、たとえばユーザが第1タッチパネル1007上でのフリックやピンチ操作を行った事を検知し、画像管理テーブル300の位置情報303やサイズ情報を操作に応じて更新する。
S106で、S104,S105,S107で更新した画像管理テーブル300の状態に従い、位置情報303で指定されるサイズに画像を変倍し、また指定される位置に配置して、液晶ディスプレイ1009に表示画面に対応した画像データを生成し、操作制御部1006を介して液晶ディスプレイ1009に表示する画面全体の画像データを送信する。
ここで、S104の通常処理がウィンドウに対する操作である場合の液晶ディスプレイ1008への表示方法についての詳細は記載していないが、表示ウィンドウの状態に応じて、画像管理テーブル300の位置情報303もCPU1001が更新する。
<通常操作処理フローにおける画像管理テーブルの状態と液晶表示画像>
図6は、ユーザが第1タッチパネル1007を操作した場合の一例を示す図である。特に、図5で示したフローチャートのS101からS106の処理を行った場合の状態を示す図である。各図において、右側に画像管理テーブル300の状態を示し、左側にその状態に対応した液晶ディスプレイ1009の表示を示す。
図6(A)及び図6(B)は、5つの画像のレイアウトのある状態を示す図である。図6(A)においては、画像Aから画像Eが重複することなく表示されており、いずれの画像も選択されていない。図6(A)の状態で、ユーザが画像Eの位置で第1タッチパネル1007をシングルタップし、画像Eを選択した場合の処理手順は以下のとおりである。
CPU1001は、S101で第1タッチパネル1007操作を検知し、S102で階層移動処理でないと判定し、S103で画像選択指示であると判定し、S105にて画像選択・解除処理を行っている。画像Eの選択フラグ304の状態がOFFだったので、ON状態に変更する。その結果、図6(D)に示す画像管理テーブル300の状態となる。画像管理テーブル300がそのように更新された後、ステップS106により、図6(C)のように画面が表示される。選択された画像が分かるように、選択した画像の枠を点線表示している。
図6(C)の状態で、ユーザが画像Eを斜め下にスライドさせた際の処理手順は以下のとおりである。
S101,S102は図6(C)で説明したフローと同じなる。CPU1001は、S103で、画像選択指示でないと判定し、S104で通常処理を行う。ここでCPU1001は、画像Eの位置から左下に指をスライドさせた事を検知し、フリック操作の始点と終点とで定義されるベクトルに従って、画像Eの位置情報303を更新している。その結果図6(F)に示す画像管理テーブル300の状態となる。画像管理テーブル300がそのように更新された後、ステップS106により、図6(E)のように画面が表示される。ここで、画像Eと画像C、画像Dが重なっている。画像が重なった場合、CPU1001はS106で各画像の階層情報302を参照し、階層が下の画像から順に上書き表示する。図6(F)の例では、画像Cの階層が1、画像Dの階層が4、画像Eの階層が2であり、値が小さいほど上位の階層として上に表示される。その結果、下から画像D,画像E,画像Cの順に重ねて表示される。
図6(E)の状態で、ユーザが画像Eの位置で第1タッチパネル1007をシングルタップし、画像選択を解除した場合の処理手順は以下のとおりである。
S101、S102、S103の処理は図6(C)で説明したフローと同じなる。S105で、画像Eの選択フラグ304の状態がONだったので、OFF状態に変更されている。その結果、図6(H)に示す画像管理テーブル300の状態となる。画像管理テーブル300がそのように更新された後、ステップS106により、図6(G)のように画面が表示される。ここで、選択されていた画像Eが選択解除され、画像Eの枠が点線から元の線に戻っている。
本実施形態において、画像の選択を第1タッチパネル1007のみで記載している理由は、画像の選択は情報処理装置100の裏面に配置された第2タッチパネル1008では、指の位置が分からず、画像の選択が難しいと考えているからである。
また、第2タッチパネル1008から受け付ける操作は、第2タッチパネル1008に対するダブルタップ操作である階層移動処理としている。その理由は、情報処理装置100をユーザが持つ場合、どうしても裏面に配置された第2タッチパネル1008に指や手のひらが触れてしまい、誤動作を引き起こしてしまいユーザの利便性を損なう事を考慮したためである。
本実施形態では上記のように記述しているが、決してこれに限られるものではないことに留意すべきである。所定の時間内にほぼ同じ個所を続けて二回タップするダブルタップ操作は、シングルタップやフリック操作に比べて誤って行われにくいと考えられるため、裏面の操作に関してはダブルタップを本例では許しているが、また誤操作の可能性を考慮しないなら、裏面からのシングルタップで画像選択を可能としてもよい。また表面のタッチパネルと同様にフリックやピンチ等の他の操作を許すことも可能である。
<階層移動処理フロー>
図7は、図5のフローチャートのS107の階層移動処理フローを示す図である。本処理フローの動作主体は特に説明しない限りCPU1001であるため、本処理フローの説明の主語は割愛して記載する。本フローは、図5で説明したように、情報処理装置100の表面に位置する第1タッチパネル1007もしくは裏面に位置する第2タッチパネル1008のいずれかがダブルタップされた場合に、階層移動処理であると判定し、実行するフローである。
S201で、画像管理テーブル300の選択フラグ304の状態を確認し、いずれかの画像が選択されているかを判定する。いずれかの画像が選択されている場合は、S202に進む。
S202で、情報処理装置100の表面に位置する第1タッチパネル1007がダブルタップされたのか、裏面に位置する第2タッチパネル1008がダブルタップされたのかを判定する。ダブルタップされたのが表面の第1タッチパネルである場合には、選択されている画像の階層をS203で下げる。ダブルタップされたのが裏面の第2タッチパネルである場合には、選択されている画像の階層をS204で上げる。S203及びS204での階層移動手段については、図8、図9のフロー及び、図10から図13の図を用いて後述する。
S201で、いずれの画像も選択されていない場合はS205に進む。S205で、情報処理装置100の表面に位置する第1タッチパネル1007がダブルタップされたのか、裏面に位置する第2タッチパネル1008がダブルタップされたのかを判定する。
表面の第1タッチパネルがダブルタップされた場合には、ダブルタップされた位置に画像がある場合に、ダブルタップされた位置の画像の階層を下げる処理を行うS206に移行する。S206の詳細なフローについては図14を用いて後述する。
裏面の第2タッチパネルがダブルタップされた場合には、背面に隠れた画像を液晶ディスプレイ1009に表示するように画像管理テーブル300の階層情報302を変更する処理をS207で行う。S207の詳細な処理フローについては図19を用いて後述する。
S201で、画像選択ありと判定し動作するS202からS204の処理フローは、液晶ディスプレイ1009上にユーザが選択可能な状態で画像が表示されており、その中から画像が選択された上で動作する事を想定している。
一方、S201で、画像選択なしと判定して動作するS205、S206の処理フローは、操作対象の画像が表示上見えていることを前提としており、図5のS103及びS105で画像選択処理が行われていなくても、ダブルタップを行った位置にある画像の階層を下げる事で、ユーザの画像選択処理を省く事を可能とする。詳細は、図14等を参照して説明する。
S201で、画像選択なしと判定し動作するS205、S207の処理フローは、液晶ディスプレイ1009上に複数の画像が重なり、ある画像の全体が別の画像の背面に隠れてしまっている場合を想定している。例えば、ある画像Aの下に別の画像Bの全面が隠れてしまい、そのままでは画像Bを選択できない場合である。詳細は、図16等を参照して説明する。
ここで、第1タッチパネル1007のダブルタップ処理を画像の階層を下げる処理に割り当てた理由は、表面から画像を裏面に押し込むイメージであり、画像の階層を下げる直観的処理であるためである。また、第2タッチパネル1008のダブルタップ処理を階層を上げる処理に割り当てた理由は、裏面から画像を表面に押し上げるイメージであり、画像の階層を上げる直観的処理であるためである。すなわち、画像の階層の移動方向とタップの方向が一致している。このジェスチャ操作と画像の操作との対応は操作性の向上のために決めているが、もちろんこの限りではない。
<階層移動手段>
図8は、図7のフローチャートのS203及びS204の階層移動手段を示す図である。本処理フローの動作主体は特に説明しない限りCPU1001であるため、本処理フローの説明の主語は割愛して記載する。
本実施形態において、階層移動手段として、選択された画像の階層を移動するモードを3つ持っている。第1のモードは選択された画像の階層を最前面もしくは最背面に移動するモード、第2のモードはダブルタップされた指の本数に応じて選択された画像の階層を移動するモード、第3のモードは選択された画像の階層を1階層ずつ移動するモードである。同じ操作であっても、選択されているモードに応じて画像に対する処理は異なる。なお第2のモードを実現するには、第1タッチパネルは、同時に複数の位置の接触を検出可能なマルチタッチ操作が可能である必要がある。これら3つのモードのうち、どのモードで動作するかは、ユーザの使用方法に合わせて予め設定されており、どのモードで動作するかをRAM1002に記憶しておく。また、モードの設定は、レイアウト処理を行う前に、ユーザが第1タッチパネル1007を介してどのモードで動作するかを設定する事も可能である。
本フローの説明においては、情報処理装置100の第2タッチパネル1008がダブルタップされ、選択された画像の階層を上げる場合について説明する。
S301で、現在のモードが最前面に階層を移動する第1のモードであるか判定する。現在のモードが第1のモードであると判定すると、S302に進む。S302で、選択された画像の階層を最前面に移動し、選択されていない画像の階層も、最前面に移動した画像の階層に合わせて変更する。
S301で、現在のモードが第1のモードでないと判定すると、S303に進む。S303で、現在のモードが、ダブルタップされた指の本数に応じて選択された画像の階層を移動する第2のモードであるか判定する。現在のモードが第2のモードであると判定すると、S304に進む。S304で、ダブルタップされた指の本数に応じ、選択された画像の階層を上げる。例えば、ダブルタップされた指の本数が3本の場合は、選択された画像を現在いる階層から3階層上げる。選択されていない画像の階層も、前面に移動した画像の階層に合わせて変更する。なお指定された階層数上げると最上位の階層を超える場合には、移動後の階層は最上位の階層とする。
S303で、現在のモードが第2のモードでないと判定すると、現在のモードは、選択された画像の階層を1階層ずつ移動する第3のモードであると判定してS305に進む。S305で、選択された画像の階層を1階層上げる。選択されていない画像の階層も、前面に移動した画像の階層に合わせて変更する。
図8の説明では、情報処理装置100の第2タッチパネル1008がダブルタップされ、選択された画像の階層を上げる場合について説明したが、第1タッチパネル1007がダブルタップされた場合には、選択された画像の階層を下げる処理が、図8と同様の処理フローで実行される。違いは、第1タッチパネルの操作により、S302においては、選択された画像を最前面ではなく最背面に移動する点である。またS304においては、指の本数に応じて選択された画像の階層を下げる点である。またS305においては、選択された画像の階層を1階層下げる点である。
S302、S304、S305の処理は、CPU1001が画像管理テーブル300の階層情報302を更新する事で実現する。画像管理テーブル300の階層情報302の更新方法については、図9の処理フローを用いて説明する。
<画像管理テーブル更新方法>
図9は、図8のフローチャートのS302及びS304及びS305で選択された画像の階層を移動する場合の、画像管理テーブル300の階層情報302の更新方法について説明する図である。本処理フローの動作主体は特に説明しない限りCPU1001であるため、本処理フローの説明の主語は割愛して記載する。
S401で、選択されている画像の移動先の階層をまず決定する。移動先の階層は、現在いる階層を基準とし、図8で説明した3つのモードに応じて決定される。移動先の階層が最前面もしくは最背面を超えた階層の場合は、最前面もしくは最背面に移動する。また、複数の画像が選択され、かつ、最前面もしくは最背面に移動する場合は、移動前のこれら選択された複数の画像間のもともとの階層の上下関係を維持したまま最前面もしくは最背面に階層を移動する。
次に、S402で、選択されていない画像の階層を、選択されていない画像間のもともとの階層の上下関係を維持したまま、S401で決定した選択画像の階層以外の階層に順次割り当てる。
以下、図10から図13を用いて、各モードにおける画像管理テーブル300の階層情報302の更新方法を、液晶ディスプレイ1009に表示する画面と一緒に説明する。図10から図13の説明において、画像管理テーブル300の更新及び、液晶ディスプレイ1009に表示する画面は全てCPU1001が更新する事は言うまでもない。よって、図10から図13の説明ないで、主語となるCPU1001は割愛して記述する。
<画像管理テーブルの更新例(第1のモード)>
図10は、図8のフローで、選択された画像を最前面もしくは最背面に移動する第1のモードの場合の画像管理テーブル300の階層情報302の更新方法についての一例を示す図である。もう少し詳細には、画像が選択されていない状態からユーザが画像の選択を行い、選択した画像の階層を移動し、選択した画像を選択状態から解除する場合についての一例を示す図である。図10から図13の各図において、右側に画像管理テーブル300の状態を示し、左側にその状態に対応した液晶ディスプレイ1009の表示を示す。
図10(A)、図10(B)は、画像が何も選択されていない、ある表示状態を示す図である。このときの各画像の階層は図10(B)の通りである。
図10(C)、図10(D)は、図10(A)、図10(B)の状態で、ユーザが画像Dの位置で第1タッチパネル1007をシングルタップし、画像を選択した場合の状態を示す図である。画像Dの選択フラグ304がON状態になり、液晶ディスプレイ1009の画像Dの枠が点線になり、画像選択している事を示す。
図10(E)、図10(F)は、図10(C)、図10(D)の状態で、ユーザが第2タッチパネル1008をダブルタップした場合の状態を示す図である。本例は第1のモードにおける動作例であり、この操作は、ユーザが画像Dを最前面に階層を移動しようとしている事を示す。
ここで、図9のフローで説明した、画像管理テーブル300の階層情報302の更新方法に基づきこの例を説明する。まず、選択されている画像すなわち画像Dを最前面の階層に移動するため、画像Dの階層情報302の値を、最上位の階層を示す値すなわち'1'に更新する。ここまでが、図9のS401の処理に対応する。
次に、選択されていない画像A、画像B、画像C、画像Eの階層情報302の変更方法について説明する。以下の説明が、図9の処理フローでS402に相当する処理である。S401で決定した画像Dの階層を示す階層情報302の値が'1'なので、選択されていない画像である画像A,画像B、画像C、画像Eには'1'以外の'2'から'5'の値を、階層の上下関係を維持したまま割り当てる。図10(C)、図10(D)のとき、各画像の階層は上の階層から順に、画像C、画像E、画像B、画像Aである。よって、この上下関係を維持したまま、各画像に対して階層2から5を割り当てる。したがって、各画像の階層情報302は、画像Cが'2'、画像Eが'3'、画像Bが'4'、画像Aが'5'となる。
図10(G)、図10(H)は、図10(E)、図10(F)の状態で、ユーザが画像Dの位置で第1タッチパネル1007をシングルタップし、画像の選択を解除した場合の状態を示す図である。
<画像管理テーブルの更新例(第3のモード)>
図11は、図8のフローで、選択された画像の階層を1階層ずつ移動する第3のモードの場合の画像管理テーブル300の階層情報302の更新方法について一例を説明する図である。
図11(A)、図11(B)は、画像Dが選択された状態を示し、図10(C)、図10(D)の状態と同様である。図11(C)、図11(D)は、図11(A)、図11(B)の状態で、ユーザが第2タッチパネル1008をダブルタップした場合の状態を示す図である。つまり、ユーザが選択されている画像Dの階層を1階層上げようとしようとしている事を示す。以下より、画像管理テーブル300の階層情報302の更新方法について説明する。基本的な画像管理テーブル300の階層情報302の更新方法の考え方は図9及び図10を用いて説明したので、詳細な説明は割愛する。
まず、画像Dの階層を1階層上げる。図11(A)、図11(B)の状態の画像Dの階層情報302の値は'4'なので、画像Dの階層情報302の値を1上げて'3'に更新する。次に、画像Dの階層を示す階層情報302の値が'3'なので、選択されていない画像である画像A,画像B、画像C、画像Eには'3'以外の'1'から'2'及び'4'から'5'の値を、階層の上下関係を維持したまま割り当てる。よって、各画像の階層情報302は、画像Cが'1'、画像Eが'2'、画像Bが'4'、画像Aが'5'となる。この操作により画像管理テーブル300においては画像Dと画像Bの階層が入れ替わったが、画像Dと画像Bとは重複がないため、図11(A)と図11(C)とで表示は変わっていない。
図11(E)、図11(F)は、図11(C)、図11(D)の状態で、ユーザが第2タッチパネル1008をダブルタップした場合の状態を示す図である。つまり、ユーザが画像Dの階層をもう1階層上げようとしようとしている事を示す。画像管理テーブル300の階層情報302の更新方法は、ここまでに説明したので、結果のみ説明する。選択画像である画像Dの階層情報302の値を'2'に上げる。選択されていない画像A、画像B、画像C、画像Eには'2'以外の値を、階層構成を維持したまま割り当てる。よって、各画像の階層情報302は、画像Cが'1'、画像Eが'3'、画像Bが'4'、画像Aが'5'となる。この操作により画像管理テーブル300においては画像Dと画像Eの階層が入れ替わった。画像Dと画像Eとは一部が重複しているため、図11(E)では、画像Dが画像Eの上に表示されている。
次に図11(A)から図11(F)までと違い、選択した画像の階層を下げる場合の例についても説明する。
図11(G)、図11(H)は、図10(A)、図10(B)の状態で画像Eが選択された状態を示す。図11(I)、図11(J)は、図11(G)、図11(H)の状態で、ユーザが第1タッチパネル1007をダブルタップした場合の状態を示す図である。つまり、ユーザが画像Eの階層を1階層下げようとしようとしている事を示す。画像Eの階層情報302の値は'2'から1下げた'3'に更新され、画像A、画像B、画像C、画像Dには'3'以外の値を、階層の上下関係を維持したまま割り当てる。よって、各画像の階層情報302は、画像Cが'1'、画像Bが'2'、画像Dが'4'、画像Aが'5'となる。
図11(K)、図11(L)は、図11(I)、図11(J)の状態で、ユーザが第1タッチパネル1007をさらにダブルタップした場合の状態を示す図である。画像Eの階層情報302の値は'3'から'4'に変更され、画像A、画像B、画像C、画像Dには'4'以外の値を、階層の上下関係を維持したまま割り当てる。よって、各画像の階層情報302は、画像Cが'1'、画像Bが'2'、画像Dが'3'、画像Aが'5'となる。
図11(A)から図11(F)で行った処理は、画像Dを他のどの画像にも隠れる事なく表示したいために行った処理とすると、図11(G)から図11(L)で行った画像Eの階層を下げる事でも、画像Dを前面に表示する事は可能となる。すなわち、対象画像と、それと重複する重複画像とがある場合、対象画像の階層を重複画像の階層よりも上に上げる操作をするか、あるいは重複画像の階層を対象画像の階層よりも下に下げる操作をすることで、この目的を達成することができる。
<画像管理テーブルの更新例(第2のモード)>
図12は、図8のフローで、ダブルタップされた指の本数に応じて選択された画像の階層を移動する第2のモードの場合の画像管理テーブル300の階層情報302の更新方法について一例を説明する図である。
図12(A)、図12(B)は、画像Dが選択された状態を示す。図12(C)、図12(D)は、図12(A)、図12(B)の状態で、ユーザが第2タッチパネル1008を2本指でダブルタップした場合の状態を示す図である。つまり、ユーザが画像Dの階層を2階層上げようとしようとしている事を示す。基本的な画像管理テーブル300の階層情報302の更新方法の考え方は図9から図11を用いて説明したので、詳細な説明は割愛する。
画像Dの階層を2階層上げるため、画像Dの階層テーブル302の値を現在の階層'4'から2を引いた'2'に更新し、画像A、画像B、画像C、画像Eには'2'以外の値を、階層の上下関係を維持したまま割り当てる。よって、各画像の階層情報302は、画像Eが'1'、画像Cが'3'、画像Aが'4'、画像Bが'5'となる。
図12(E)、図12(F)は、図12(C)、図12(D)の状態で、ユーザが第2タッチパネル1008を2本指でさらにダブルタップした場合の状態を示す図である。つまり、ユーザが画像Dの階層をさらに2階層上げようとしようとしている事を示す。
画像Dの階層を2階層上げようとるすが、既に画像Dの階層情報302の値は'2'であり、2階層上げようとすると、最前面の階層'1'を超えてしまう。よって、図9のS401で説明したように、画像Dの階層情報302の値を最前面の階層である'1'に更新する。そして、選択されていない画像である画像A、画像B、画像C、画像Eの階層情報302には'1'以外の値を、階層構成を維持したまま割り当てる。よって、各画像の階層情報302は、画像Eが'2'、画像Cが'3'、画像Aが'4'、画像Bが'5'となる。
図12(A)、図12(B)の状態で、ユーザが第2タッチパネル1008を3本指でダブルタップした場合は、画像Dの階層が3階層あがり、図12(E)、図12(F)に示す状態に一気に遷移する。
図13は、さらに、複数の画像が選択されている場合に、画像管理テーブル300の階層情報302の更新方法について一例を説明する図である。図13は、図8の処理フローで選択された画像を最前面もしくは最背面に移動する第1のモードの場合の画像管理テーブル300の階層情報302の更新方法についての一例を示す図である。
図13(A)、図13(B)は、画像Aと画像Eが選択された状態を示す。図13(C)、図13(D)は、図13(A)、図13(B)の状態で、ユーザが第1タッチパネル1007をダブルタップした場合の状態を示す図である。つまり、ユーザが画像Aと画像Eの階層を最背面に下げようとしようとしている事を示す。基本的な画像管理テーブル300の階層情報302の更新方法の考え方は図9から図12を用いて説明したので、本階層移動方法に特徴的な部分のみ詳細な説明を行う。
まず、図9のS401で、選択されている画像の移動先の階層を決定する。ここで、図13(B)の例では画像Aと画像Eの2つの画像が選択されている。複数の画像が選択されており、最背面に階層を移動する場合には、選択されている画像間の移動前の階層の上下関係を維持したまま、最背面に選択された画像を移動する。つまり、階層を下げる場合には、選択されている画像のうち最低の階層の画像を特定し、特定した画像の階層を、モード及び操作に応じた階層に変更し、選択されている画像のうち、残りの画像の階層も、選択されている画像のうち最低の階層の画像から順次高くなるように変更する。階層を上げる場合には、選択されている画像のうち最高の階層の画像を特定し、特定した画像の階層を、モード及び操作に応じた階層に変更し、選択されている画像のうち、残りの画像の階層も、選択されている画像のうち最高の階層の画像が順次低くなるよう変更する。その後、選択されていない画像に対して、階層移動前のそれらの上限関係を維持しつつ、いまだ割り当てられていない残りの階層を割り当てる。
図13(A)、図13(B)のとき、画像Aの階層情報302の値が'3'で、画像Eの階層302の値が'1'であり、画像Aの方が下の階層に位置している。よって、画像Aの階層情報302の値を'3'から'5'に更新し、画像Eの階層情報302の値を'1'から'4'に更新する。
次に、選択されていない画像である画像B,画像C、画像Dには'4'及び'5'以外の'1'から'3'の値を、階層の移動前の階層の上下関係を維持したまま割り当てる。よって、各画像の階層情報302は画像Bが'1'、画像Dが'2'、画像Cが'3となる。
以上、図10から図13の方法において、いずれの方法でも、ユーザの所望する画像の階層移動、すなわち指定した画像の属する階層を別の階層へ変更することを実現する事が可能となる。これにより、複数の画像を1ページ内にレイアウトする場合、特に、複数の画像を重ねてレイアウトしたい場合のレイアウト作業を簡単に実現する事ができる。また階層の変更を、変更後の階層を所定の階層として行うか、あるいは、所定の数又は指定した数の階層を上げる或いは下げることで行うかを選択することもできる。
また、本実施形態においては、ある指定した画像の階層を上げる手段を第2タッチパネルのダブルタップにより実現しているが、第2のタッチパネルがない場合には、第1のタッチパネルに階層を上げる手段を準備しても実現する事ができる。例えば、第1のタッチパネルに対するトリプルタップ操作を画像の階層を上げる処理に割り当て、実現する事も可能である。また、情報処理装置100に図示しない固定タブがあり、画像の階層を上げる処理を固定タブに割り当てる事で、階層を上げる処理で実現する事も可能である。
また、階層を上げる処理がない場合も、何度も選択した画像に対し画像の階層を下げる処理を行う事で、画像の階層を上げる処理が無くても、画像の階層を考慮した画像のレイアウトを実現する事が可能である。
また、前面に表示されている画像の階層を下げる事で、背面に隠れてしまった画像を、レイアウトされた位置を維持したまま選択可能となる。
<選択された画像がない場合の画像の階層移動>
図7のステップS206の処理は、画像の選択を必要とせずに、画像の階層を直観的に下げる事を目的とする。ステップS203、S204の処理では、必ず液晶ディスプレイ1009に表示された画像を選択する必要があったが、S206においては、画像の選択を必要としないため、ユーザの手間を減らす事が可能となる。
<ダブルタップされた位置に応じ画像の階層を下げる処理フロー>
図14は、図7のフローチャートのS206のタップ位置に応じ画像の階層を下げる処理フローを示す図である。本処理フローの動作主体は特に説明しない限りCPU1001であるため、本処理フローの説明の主語は割愛して記載する。
S501で、画像管理テーブル300の位置情報303を参照し、第1タッチパネル1007上でダブルタップされた位置に画像があるかを判定する。画像がない場合には、そのまま終了する。S501で画像があると判定された場合は、S502に移行し、対応する画像の階層を下げる。S502の処理フローは、図8及び図9で示した階層移動手段と同じ処理を実行する。処理フローは同じであるが、実施形態1では選択されている画像に対して処理を行うが、S502では、S501でダブルタップされた位置にある画像に対して処理を行う点で、S204とは異なる。なおS502では階層は下げられるので、この点は、図7のS203で呼び出す図8の手順と同様である。なお、S501で、ダブルタップした位置で複数の画像が重なっている場合は、階層情報302の状態を参照し、最上位の階層に属する画像に対してその階層を下げる処理を行う。
<画像管理テーブルの更新方法>
図15は、図7のS206の処理における画像管理テーブル300の階層情報302の更新方法についての一例を示す図である。もう少し詳細には、画像が選択されていない状態で、ユーザが画像Eの位置で、第1タッチパネル1007をダブルタップした場合の例を示す図である。本例において、図14のS502の階層を下げる手順は、図8のフローで、選択された画像を最背面に移動するモード(すなわちS302)である場合で説明する。
図15は、左側に液晶ディスプレイ1009の表示を、右側に画像管理テーブル300の状態を示す図を記載している。図15(A)、図15(B)は、画像が何も選択されていない状態を示す図である。図15(C)、図15(D)は、図15(A)、図15(B)の状態で、ユーザが、画像Eの位置で第1タッチパネル1007をダブルタップした場合の状態を示す図である。CPU1001は、図14のS501で画像管理テーブル300の位置情報303を参照し、ダブルタップされた位置にある画像を判定する。図15(A)の例では、画像Eの上でダブルタップすれば、その位置には画像Eのみか或いは画像D及び画像Eがある。画像D(階層は4)と画像E(階層は2)とが重複している位置がダブルタップされた場合には、より上の階層に属する画像Eが、移動の対象となる。したがっていずれにしても画像Eが階層移動の対象となる。
次に図14のS502で画像Eの階層を最背面に移動する処理を実行する。画像管理テーブル300の階層情報302の更新方法については、既に述べているので詳細は割愛する。このとき、各画像Aから画像Eの選択フラグ304はOFF状態を維持し、階層情報302のみ更新される。階層移動により、画像Eの階層は、変更前の階層である2から最低の階層である5に変更される。これにより変更前の階層が画像Eより上の画像、本例では階層1の画像Cは、画像Eの階層移動による影響を受けない。また、変更後の階層が画像Eより下の画像も画像Eの階層移動による影響を受けないが、本例では画像Eは最低階層に移動するから該当する画像はない。したがって、変更前の階層が、変更前後の画像Eの階層に挟まれた画像、本例では画像A,B,Dの階層が、それぞれ1階層ずつ上がる。
選択した画像の階層を変更する場合には、まず画像を選択するため第1タッチパネル1007をシングルタップし、次に選択した画像の階層を下げるため第1タッチパネル1007をダブルタップしていた。しかし、本例では、画像を選択する必要がない。以上のように、画像の選択を必要としないため、ユーザの手間を減らす事が可能となる。
<背面に隠れた画像の階層移動>
図7のステップS207は、ある画像Aの背面に別の画像Bが全て、もしくは大半が隠れてしまい、画像Bを選択できない場合、ある画像の背面に隠れた別の画像を前面に持ってくる操作及び処理を目的とする。例えば、以下のような場合に有効となる。例えばユーザがレイアウト処理中にある画像の拡大を行い、他の画像が拡大した画像の背面に隠れてしまった場合や、拡大した画像の位置を維持したまま、拡大した画像の背面に隠れている画像を前面に移動し選択あるいは移動といった操作をしたい場合などである。
<重階層管理テーブル>
図16は、重階層管理テーブル500を示す図である。重階層管理テーブル500は背面に隠れた画像の階層移動を実現するために必要なテーブルであり、CPU1001により管理及び更新される。重階層管理テーブル500は、画像の重なりを示すテーブルであり、複数の画像が重なっている場合に生成されるテーブルである。すなわち、重階層管理テーブル500は、本例では図19のS601で作成されるが、画像管理テーブル300に新たな画像のレコードが追加されたり、あるいは既存の画像の位置やサイズが変更された場合に、各画像の位置及びサイズに基づいて互いに重複する画像を検出し、作成あるいは更新されてもよい。重階層管理テーブル500を説明するため、図17及び図18を使用しながら説明する。
図17は、画像管理テーブル300が図18に示す状態の場合の、液晶ディスプレイ1009上に表示されている画像を示す図である。図17(A)は、液晶ディスプレイ1009上に表示されている画面そのものである。図17(B)は、画像Cの下に隠れている画像A、画像B、画像Dを見えるようにした図である。あくまでも、実際に液晶ディスプレイ1009上に表示されている画像は図17(A)である。画像Cの背面には、画像Bが全て隠れている。さらに、画像Bの下に画像Aが全て隠れている。また、画像Cの下には、画像Dの一部が隠れている。
図16の重階層管理テーブル500の説明に戻る。リスト番号501の列は、重階層管理テーブル500で管理されるリストを管理する番号である。リスト番号501は、整数で1から順にインクリメントして生成される。表面画像名502の列は、ある画像の背面に一部でもある画像が隠れている画像を示す。例えば画像の識別子が格納される。裏面画像名503の列は、対応する表面画像名502の下に一部でも隠れている画像を示す。ここも例えば画像の識別子が格納される。
図16の重階層管理テーブル500の状態は、画像管理テーブル300が図18の場合に生成されたものを示す図である。画像Cの背面に画像B、画像D、画像Aが一部でも位置している事を示している。また、次に、画像Bの背面に、画像Aが一部でも位置している事を示している。
次に、重階層管理テーブル500の生成方法について説明する。生成方法については、図18の画像管理テーブル300の状態を例に説明する。まず、階層情報302を参照し、階層が高い画像から順に基準画像として着目し、位置情報303を参照して、基準画像より階層が低く、かつ重複する画像を特定する。その特定のためには、基準画像より階層が低い画像に対して、階層が高い順に参照画像として着目し、基準画像の範囲と参照画像の範囲との重複を判定する。重複があれば、基準画像の下に参照画像が重複しているので、参照画像は基準画像と重複する画像として特定することができる。重複が見つかり、かつそのときの基準画像が表面画像名502に登録されていないなら、重階層管理テーブル500に新たなリストを追加してリスト番号を付与し、そのときの基準画像を当該リストの表面画像名502に登録する。そしてそのときの参照画像を裏面画像名503に登録する。これを、参照画像の階層を順次下げつつ繰り返し行う。最低階層の画像を参照画像として判定を終えたなら、次に基準画像の階層を下げて同様の判定を繰り返す。下から2層目の階層の画像を基準画像として上記処理を完了するまで繰り返す。これは一例であるが、このような手順により画像管理テーブル300に基づいて重階層管理テーブル500を作成することができる。
図18の画像管理テーブル300の場合は、階層情報302で最も上の階層に位置する画像Cの背面に重複する画像があるか判定する。詳細には階層情報302と位置情報303とを参照し、画像Cの背面に重複する画像があるかを判定する。ここで、画像Cの下に、階層の順に画像B、画像D、画像Aがあるので、表面画像名502に画像Cを、裏面画像名503に画像B、画像D、画像Aを登録する。
次に、2番目に階層の高い画像Eについて同様に判定する。画像Eの背面には重複する画像がないので、そのまま終了する。
次に、3番目に階層の高い画像Bについて同様に確認する。画像Bの背面には重複する画像Aがあるので、表面画像名502に画像Bを、裏面画像名503に画像Aを登録する。
以上のように、階層情302で一番階層の低い画像まで同様に確認し、重階層管理テーブル500を生成する。
<背面に隠れた画像を液晶ディスプレイ1009の前面に表示す処理フロー>
図19は、図7のフローチャートのS207の背面に隠れた画像を液晶ディスプレイ1009の前面に移動する処理フローを示す図である。本処理フローの動作主体は特に説明しない限りCPU1001であるため、本処理フローの説明の主語は割愛して記載する。
S601で、図16で説明した重階層管理テーブル500を生成する。重階層管理テーブル500は、本タイミングではなく、画像がレイアウトされ重なった時点で生成してもよい。
S602で、重階層管理テーブル500のリスト番号501を参照し、リストがあるか判定する。リストがない場合は、そのまま終了する。S602でリストがあると判定すると、S603に移行する。
S603で、重階層管理テーブル500の中で、未選択のリストのうち、最も背面にある(すなわちもっとも低階層の)画像を表面画像名502として含むリストを選択する。詳細には、上述した作成手順から明らかであるが、最も大きいリスト番号を持つリストの表面画像名502に対応する画像が、全リストの表面画像名に対応する画像のなかで最も低い階層にある。したがって重階層テーブル500のリスト番号501を参照し、リスト番号501の値のもっとも大きい方(表面画像名502に対応する画像で階層が下にある画像)から順に選択する。
次に、S604で、S603で選択されたリスト番号501に対応する表面画像名502に対応する画像と裏面画像名503に対応する画像の階層を条件に応じて更新する。詳細には、それら画像の画像管理テーブル300の階層情報302の値を更新する。S604の詳細な処理フローは後述する。
次に、S605で、S603で選択されたリスト番号501を削除し、S602に移行する。
<画像管理テーブル階層変更フロー>
図20は、図19のフローチャートのS604の階層変更処理を示す図である。本処理フローの動作主体は特に説明しない限りCPU1001であるため、本処理フローの説明の主語は割愛して記載する。なお以下の説明では、表面画像名502に対応する画像を表面画像と呼び、裏面画像名503に対応する画像を裏面画像と呼ぶこととする。
S701で、表面画像と裏面画像の位置を参照する。S702で、表面画像の背面に隠れている裏面画像の、画像全体に対する隠されている部分の割合を算出し、別途設定される閾値と比較して、所定率以上隠れているかどうか判定する。例えば、設定された閾値が100%であるとすると、表面画像の背面に全て隠れている裏面画像を前面(すなわち表面画像より上の階層)に階層移動するよう、S703からS705で制御する。設定された値が70%であるとすると、表面画像の背面に70%以上隠れている裏面画像を前面に階層移動するよう、S703からS705で制御する。
S702で、設定された閾値(割合)を超える裏面画像がない場合はそのまま終了する。S702で、設定された閾値を超える割合で表面画像に覆われた裏面画像がある場合はS703に移行する。
S703で、前面に階層を移動する画像を決定する。すなわち、表面画像より上の階層に所属階層を変更する裏面画像を決定する。階層を前面に移動される画像は、裏面画像のうち、S702で判定した別途設定された割合以上が隠れている画像である。このため対象となる画像は複数となることもあり得る。
次にS704で、S703で決定した画像の、移動後の階層を決定する。移動後の階層の決定の仕方は、現在処理中のリスト番号501の表面画像と裏面画像のそれぞれの階層情報302の値の中で最も高い階層から順に、S703で決定した画像に対して割り当てるというものである。このとき、移動後にも移動前の階層の順序が維持されるよう、上の階層から順に階層情報302に、移動対象の画像の階層情報に値を割り当てる。
次にS705で、現在処理中のリスト番号501のうち、S703で前面に移動する画像として決定されなかった残りの画像の階層を決定する。残りの画像に対しても、移動前のそれら画像間の階層の順序を維持するよう、S703で前面に移動する画像に対して割り当てた階層の残りの階層を、残りの画像の階層情報302として割り当てる。
S703からS705において、現在処理中のリスト番号501に含まれない画像は、現状の階層を維持する事になる。
以下、図21と図22を用いて、画像管理テーブル300の階層情報302の更新方法と重階層管理テーブル500の制御方法を、液晶ディスプレイ1009に表示する画面と一緒に説明する。
<画像管理テーブルと重階層管理テーブルの更新>
図21は、図20の手順において、第2タッチパネル1008をダブルタップした場合の画像管理テーブル300と重階層管理テーブル500の更新及び制御方法を示す図である。ユースケースとして、ユーザがレイアウト作業を行い、画像Cを拡大した時に、画像A、画像B、画像Dが画像Cの背面に隠れてしまった場合に、画像Cの位置を移動する事なく背面に隠れた画像を前面に表示する場合を説明する。
図21及び図22の各図において、左側に液晶ディスプレイ1009の表示を、真ん中に画像管理テーブル300の状態を、右側に重階層管理テーブル500の状態を示す図を記載している。
図21(A)(B)(C)は、画像Cが選択されている状態を示す図である。重階層管理テーブル500は生成されていない状態である。
図21(D)(E)(F)は、図21(A)(B)(C)の状態でユーザが第1タッチパネル1007上でピンチ操作を行い、画像Cを拡大した場合の状態を示す図である。ここまでの処理は、図5のS101からS106の処理フローにより実現される処理である。当然、画像Cの位置情報303は拡大後の位置及びサイズにより更新されている。
ここで、画像Cの階層は階層情報302にあるとおり、5つの画像の中で最上位の階層'1'にあるため、画像A、画像B、画像Dが画像Cの背面に隠れてしまう。
図21(G)(H)(I)は、図21(D)(E)(F)の状態でユーザが第1タッチパネル1007上で画像の表示されていない箇所をシングルタップし、画像の選択を解除した状態を示す図である。ここまで、重階層管理テーブル500は生成されていない状態である。
図21(J)(K)(L)から、図20の処理を行った場合の画像管理テーブル300と重階層管理テーブル500の状態を示す図である。図21(J)(K)(L)及び図21(M)(N)(O)は、図20のS702で判定する設定された割合が100%の場合について説明する。図21(P)(Q)(R)は、図20のS702で判定する設定された割合が70%の場合について説明する。
図21(J)(K)(L)は、図21(G)(H)(I)の状態でユーザが第2タッチパネル1008をダブルタップした場合の状態を示す図である。この操作によりCPU1001は、図19のS601で重階層管理テーブル500を生成する(図21(L))。次に、CPU1001は、S602で重階層管理テーブル500にリストが含まれていると判定し、S603で、リスト中、表面画像の階層が最も下位であるリストを選択する。ここで、リスト番号501にはリストは1つしかないので、リスト番号501の'1'を選択する。次にS701からS704の処理を行うS604で階層変更処理を行う。
図20のS701で、CPU1001は、表面画像である画像Cと、裏面画像である画像B、画像D、画像Aとの画像の位置を参照し、S702で、画像Aと画像Bとが、閾値以上の割合で画像Cの背面に隠れていると判定し、S703に移行する。
S703で、CPU1001は、画像Aと画像Bとを前面に移動する画像として決定する。
次にS704で、CPU1001は表面画像である画像Cと、裏面画像である画像B、画像D、画像Aの階層情報302を参照(図21(H)の階層情報302参照)する。上記4つの画像の階層情報302の値がそれぞれ順に'1''3''4''5'であるので、画像Aと画像Bとを前面に移動するため、移動前の階層の順序に従ってまず画像Bの階層情報302に'1'を、次に画像Aの階層情報302に'3'を割り当てる。図21(G)(H)(I)のとき、画像Bは画像Aより上の階層にいるため、画像Bに'1'を割り当てている。
次にS705で、CPU1001は、残りの画像である画像Cと画像Dとに対し、残りの階層である'4''5'のうち、移動前の階層の順序を維持するよう、まず画像Cの階層情報302に'4'を、次に画像Dの階層情報302に'5'を割り当てる。図21(G)(H)(I)の時、画像Cは画像Dより上の階層にいるため、画像Cに'4'を割り当てている。
図21(M)(N)(O)は、図19のS605で処理中のリスト番号501の'1'を、重階層管理テーブル500から削除した状態を示す図である。
図21(P)(Q)(R)は、図21(G)(H)(I)の状態でユーザが第2タッチパネル1008をダブルタップした場合の別の例を示す図である。図21(M)(N)(O)との違いは、図20のS702で判定の閾値として設定された割合が70%に設定されていることである。そのため、画像Dも前面に移動する画像となっている。処理フローは、図21(J)(K)(L)で説明した処理フローと同じであるため説明は割愛し、最終結果のみ図21(P)(Q)(R)に示す。
図22は、図21と同様に、第2タッチパネル1008をダブルタップした場合の画像管理テーブル300と重階層管理テーブル500更新及び制御方法を示す図である。
図21(A)(B)(C)と比べ、画像Cの下に画像A、画像B、画像Dが隠れている点は同じであるが、画像Bの下に、さらに画像Aが隠れている点で異なる。また、以下で説明する例において、図20のS702で判定する設定された割合は100%に設定された場合で説明する。
図22(A)(B)(C)は、画像が何も選択されていない、ある状態を示す図である。重階層管理テーブル500は生成されていない状態である。
図22(D)の液晶ディスプレイ1009には、図22(A)に示す画像を透過させ、各画像の階層と位置を示している。細かい点線枠で記載した画像B及び画像Dは、画像Cの下に隠れている事を示す。少し荒い点線の画像Aは、画像Cの下に隠れ、かつ、画像Bの下に隠れている事を示している。当然、図22(B)(C)と図22(E)(F)の画像管理テーブル300と重階層管理テーブル500は同じ状態である。
図22(G)(H)(I)以降は、図22(A)(B)(C)の状態でユーザが第2タッチパネル1008をダブルタップした場合の状態を示す図である。CPU1001は、図19のS601で重階層管理テーブル500を生成する。ここで、図21と違い、画像Aと画像Bとの重複関係を表すリストもあるため、2つのリスト番号501を生成する。次に、CPU1001は、S602でリストがある事を確認し、S603で最も背面にある表面リストを選択する。ここで、リスト番号501のうち、背面にあるリスト番号501の'2'を選択する。以下、S604で、画像Aと画像Bに対して階層変更処理を実行し、結果、画像Aと画像Bの階層情報302がCPU1001により更新される。
図22(J)(K)(L)では、図22(G)(H)(I)で図19のS604の階層変更処理が終了し、更新後は画像Aと画像Bの階層が入れ替わっている。CPU1001は図19のS605で、処理中のリスト番号501の'2'を、重階層管理テーブル500から削除している。次に、PU1001は、S602に戻り、再度リストがある事を確認する。ここで、リスト番号501に'1'のリストがあるので、リスト番号1のリストについて、CPU1001は図19のS603からS604の処理を実行する。結果、画像管理テーブル300と液晶ディスプレイ1009に表示される画像は図22(J)のように更新される。更新後には、画像Aと画像Bが選択され、それら間の階層の順序は維持されたまま、画像Aと画像Bの階層は、画像Cの階層の上位に移動される。
図22(M)(N)(O)は、図19のS605で処理中のリスト番号501の'1'を、重階層管理テーブル500から削除した状態を示す図である。
以上のように、ユーザが画像Cをピンチ操作により拡大した直後であれば、画像Cを最背面に移動する操作を行うことで、隠された画像を前面に移動させることができる。しかし、ユーザがさまざまなレイアウト処理を行っており、いつの間にかある画像が他の画像の背面に隠れてしまった場合、どこに画像が隠れてしまったのか分からなくなってしまう。その場合、図7のS203,S204,S206の操作及び処理では、何度も前面の画像(すなわち上位階層の画像)を背面に移動する事になる可能性がある。そのような場合に、図19の手順が効果を発揮する。
以上説明したように本実施形態によれば、画像にユニークな階層を割り当て、階層に対応した優先度で画像が表示される画像レイアウトシステムにおいて、画像の選択操作から独立した階層移動操作により画像の階層を変更することができる。また、階層を変更する画像を明示的に選択することも、また暗黙裡に選択することもできる。さらに、階層の変更を、階層を上げる方向でおこなうことも、逆に下げる方向で行うこともできる。さらに、レイアウトに元いるデバイスとして、画像の表面に対応したタッチパネルに加えて、裏面に対応したタッチパネルを用いることで、階層の変更をより容易かつ直観的に行うことができ、操作性を大幅に向上することができる。
また以上で説明した本実施形態によれば、圧力センサーを備えない情報処理装置であっても、タッチセンサーを備えていれば本発明を適用することができる。
なお、図7においてはS203,S204,S206,S207で説明した階層移動操作をすべて可能としたシステムを説明した。しかし、このうちの例えば、選択した画像の階層を変更するS203,S204のみを実装したシステムや、第1タッチパネルのみで実現可能なS205のみを実装したシステム、あるいは、第2タッチパネルのみで実現可能なS207のみを実装したシステムなども実現できる。さらにこれらの機能を任意に組み合わせたシステムを実現することも可能である。また第2タッチパネルは上記実施形態では座標入力のために使用されていないことから、位置を検出せずとも接触があったことを検出でき、望ましくはマルチタッチを検出できるデバイスであれは十分である。
また、上記例では、画像を「押す」という操作のアナロジーから、表面の第1タッチパネルを階層の下げる操作に、裏面の第2タッチパネルを階層の上げる操作に割り当てているが、これを逆に割り当てることももちろん可能である。すなわち、一方のタッチパネルを階層の上昇に、他方を階層の下降に割り当てる。
また上記実施形態で用いたタッチパネルは、座標入力のための他のデバイスで代用することもできる。たとえば静電容量方式や抵抗膜方式など通常のタッチパネルのほか、超音波振動を断続的に発するペンにより座標を入力する弾性表面波を用いたデバイスや、電磁誘導を利用したデバイス等を用いてもよい。さらに、表示の座標系と入力の座標系が共通であれば上記実施形態は実施可能であるので、たとえばマウスやタッチパッド等の座標入力装置を持つパーソナルコンピュータなどで実現することもできる。さらに、タッチパネルを持つパーソナルコンピュータであれば、裏面用の第2タッチパネルは画像の選択のためには利用されないことから、キーボード上に設けたタッチパッドなどを第2タッチパネルに代えて利用することもできる。
[その他の実施例]
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。

Claims (9)

  1. 携帯可能な装置であって、
    前記装置の第1面に備えられた、複数の画像オブジェクトを表示するタッチスクリーンと、
    前記第1面とは異なる前記装置の第2面に備えられたタッチセンサーと、
    前記複数の画像オブジェクトのうちから少なくとも1つの画像オブジェクトを選択するための前記タッチスクリーンへのユーザーのタッチ操作にしたがって、前記タッチスクリーンに表示されている前記少なくとも1つの画像オブジェクトを選択する選択手段と、
    前記タッチスクリーンへのユーザーの前記タッチ操作が終わった後での前記タッチセンサーへのユーザーのタッチ操作にしたがって、前記選択された少なくとも1つの画像オブジェクトに対する所定の処理を実行する処理手段と、
    を有することを特徴とする装置。
  2. 前記タッチスクリーンへのユーザーの前記タッチ操作が終わったとは、ユーザーが前記タッチスクリーンへの接触を終えたことであることを特徴とする請求項に記載の装置。
  3. 前記所定の処理とは、画像オブジェクトの階層を上げる処理であることを特徴とする請求項またはに記載の装置。
  4. 前記第1面および前記第2面は、互いに背向していることを特徴とする請求項1乃至の何れか1項に記載の装置。
  5. 携帯可能な装置を制御する方法であって、
    前記装置の第1面に備えられたタッチスクリーンに複数の画像オブジェクトを表示する表示工程と、
    前記タッチスクリーンに表示されている複数の画像オブジェクトのうちから少なくとも1つの画像オブジェクトを選択するための前記タッチスクリーンへのユーザーのタッチ操作にしたがって、前記タッチスクリーンに表示されている前記少なくとも1つの画像オブジェクトを選択する選択工程と、
    前記タッチスクリーンへのユーザーの前記タッチ操作が終わった後での、前記第1面とは異なる前記装置の第2面に備えられたタッチセンサーへのユーザーのタッチ操作にしたがって、前記選択された少なくとも1つの画像オブジェクトに対する所定の処理を実行する処理工程と、
    を有することを特徴とする方法。
  6. 前記タッチスクリーンへのユーザーの前記タッチ操作が終わったとは、ユーザーが前記タッチスクリーンへの接触を終えたことであることを特徴とする請求項5に記載の方法。
  7. 前記所定の処理とは、画像オブジェクトの階層を上げる処理であることを特徴とする請求項5または6に記載の方法。
  8. 前記第1面および前記第2面は、互いに背向していることを特徴とする請求項5乃至7の何れか1項に記載の方法。
  9. 請求項5乃至8の何れか1項に記載の方法をコンピューターに行わせるためのプログラム。
JP2012269782A 2012-12-10 2012-12-10 携帯可能な装置、携帯可能な装置を制御する方法およびプログラム Expired - Fee Related JP6087608B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2012269782A JP6087608B2 (ja) 2012-12-10 2012-12-10 携帯可能な装置、携帯可能な装置を制御する方法およびプログラム
US14/081,151 US20140165011A1 (en) 2012-12-10 2013-11-15 Information processing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012269782A JP6087608B2 (ja) 2012-12-10 2012-12-10 携帯可能な装置、携帯可能な装置を制御する方法およびプログラム

Publications (3)

Publication Number Publication Date
JP2014115850A JP2014115850A (ja) 2014-06-26
JP2014115850A5 JP2014115850A5 (ja) 2016-02-04
JP6087608B2 true JP6087608B2 (ja) 2017-03-01

Family

ID=50882476

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012269782A Expired - Fee Related JP6087608B2 (ja) 2012-12-10 2012-12-10 携帯可能な装置、携帯可能な装置を制御する方法およびプログラム

Country Status (2)

Country Link
US (1) US20140165011A1 (ja)
JP (1) JP6087608B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5599959B1 (ja) * 2013-05-20 2014-10-01 楽天株式会社 情報処理装置
JP6351315B2 (ja) 2014-03-13 2018-07-04 キヤノン株式会社 画像処理装置、その制御方法及びプログラム
JP6400466B2 (ja) * 2014-12-25 2018-10-03 シャープ株式会社 情報処理装置、表示システム、情報処理方法、及びコンピュータプログラム
USD886833S1 (en) * 2017-08-22 2020-06-09 Samsung Electronics Co., Ltd. Display screen or portion thereof with transitional graphical user interface

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6275935B1 (en) * 1998-04-17 2001-08-14 Thingworld.Com, Llc Systems and methods for locking interactive objects
JP2001236051A (ja) * 1999-11-30 2001-08-31 Nokia Corp 背面対話式ハンドヘルド・ディスプレイ装置
JP2005141488A (ja) * 2003-11-06 2005-06-02 Matsushita Electric Ind Co Ltd 電子書籍装置
JP2006053605A (ja) * 2004-08-09 2006-02-23 Sharp Corp 情報表示装置及び電子書籍装置
JP2008129905A (ja) * 2006-11-22 2008-06-05 Fujifilm Corp スクラップ・ブック・サーバならびにその制御方法およびその制御プログラム
JP2010026985A (ja) * 2008-07-24 2010-02-04 Sony Corp 情報処理装置及び情報処理方法
US20100080491A1 (en) * 2008-09-26 2010-04-01 Nintendo Co., Ltd. Storage medium storing image processing program for implementing controlled image display according to input coordinate, information processing device and method for image processing
JP2011128962A (ja) * 2009-12-18 2011-06-30 Canon Inc 画像処理装置、画像処理方法、及びコンピュータプログラム
EP2341419A1 (en) * 2009-12-31 2011-07-06 Sony Computer Entertainment Europe Limited Device and method of control
JP5768347B2 (ja) * 2010-09-07 2015-08-26 ソニー株式会社 情報処理装置、情報処理方法およびコンピュータプログラム
KR101766332B1 (ko) * 2011-01-27 2017-08-08 삼성전자주식회사 복수의 컨텐츠 레이어를 디스플레이하는 3d 모바일 기기 및 그 디스플레이 방법
US20120206471A1 (en) * 2011-02-11 2012-08-16 Apple Inc. Systems, methods, and computer-readable media for managing layers of graphical object data
JP5694867B2 (ja) * 2011-06-27 2015-04-01 京セラ株式会社 携帯端末装置、プログラムおよび表示制御方法

Also Published As

Publication number Publication date
US20140165011A1 (en) 2014-06-12
JP2014115850A (ja) 2014-06-26

Similar Documents

Publication Publication Date Title
US11307745B2 (en) Operating method for multiple windows and electronic device supporting the same
JP6328947B2 (ja) マルチタスキング運用のための画面表示方法及びこれをサポートする端末機
KR102188097B1 (ko) 페이지 운용 방법 및 그 전자 장치
US10282081B2 (en) Input and output method in touch screen terminal and apparatus therefor
EP2325740A2 (en) User interface apparatus and method
US20150143285A1 (en) Method for Controlling Position of Floating Window and Terminal
EP2701044A1 (en) Information processing device, information processing method, and computer-readable recording medium which records program
JP2017526054A (ja) アプリケーションウィンドウの動的ジョイントディバイダ
JP5664147B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2017527882A (ja) アプリケーションウィンドウの補助的表示
JP2012118796A (ja) 情報処理装置、情報処理方法及びプログラム
JP6053332B2 (ja) 情報処理装置、情報処理装置の制御方法、及びプログラム
JP2011134278A (ja) 情報処理装置およびポインティング制御方法
KR102205283B1 (ko) 적어도 하나의 어플리케이션을 실행하는 전자 장치 및 그 제어 방법
JP6191567B2 (ja) 操作画面表示装置、画像形成装置および表示プログラム
KR20200125558A (ko) 디스플레이 장치 및 그 제어 방법
JP6087608B2 (ja) 携帯可能な装置、携帯可能な装置を制御する方法およびプログラム
KR20160031397A (ko) 어플리케이션 선택 화면을 통해 어플리케이션들을 실행하는 방법 및 장치
JP5875262B2 (ja) 表示制御装置
JP5737380B1 (ja) 情報処理装置、及びプログラム
JP5995206B2 (ja) 情報処理装置
JP2014182652A (ja) 情報処理装置およびその制御方法、ならびにプログラム
JP6365529B2 (ja) 端末装置、情報表示方法及びプログラム
JP2014203202A (ja) 情報処理装置、情報処理装置の制御方法、およびプログラム
US20180173362A1 (en) Display device, display method used in the same, and non-transitory computer readable recording medium

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151209

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151209

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160914

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160926

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161102

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170106

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170202

R151 Written notification of patent or utility model registration

Ref document number: 6087608

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees