JP5621866B2 - Information processing apparatus, information processing method, and program thereof - Google Patents

Information processing apparatus, information processing method, and program thereof Download PDF

Info

Publication number
JP5621866B2
JP5621866B2 JP2013049010A JP2013049010A JP5621866B2 JP 5621866 B2 JP5621866 B2 JP 5621866B2 JP 2013049010 A JP2013049010 A JP 2013049010A JP 2013049010 A JP2013049010 A JP 2013049010A JP 5621866 B2 JP5621866 B2 JP 5621866B2
Authority
JP
Japan
Prior art keywords
information
area
copy
touch
touched
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013049010A
Other languages
Japanese (ja)
Other versions
JP2013109785A (en
JP2013109785A5 (en
Inventor
達也 宮野
達也 宮野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Marketing Japan Inc
Original Assignee
Canon Marketing Japan Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Marketing Japan Inc filed Critical Canon Marketing Japan Inc
Priority to JP2013049010A priority Critical patent/JP5621866B2/en
Publication of JP2013109785A publication Critical patent/JP2013109785A/en
Publication of JP2013109785A5 publication Critical patent/JP2013109785A5/ja
Application granted granted Critical
Publication of JP5621866B2 publication Critical patent/JP5621866B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

情報処理装置、情報処理方法、およびそのプログラムに関し、特に、複数個所のタッチが可能なタッチパネル表示部を有するユーザインタフェース操作を行う情報処理装置、情報処理方法、およびそのプログラムに関する。   The present invention relates to an information processing device, an information processing method, and a program thereof, and more particularly, to an information processing device, an information processing method, and a program thereof that perform a user interface operation having a touch panel display unit capable of touching a plurality of places.

近年、タッチパネル液晶上に文書等を表示し編集を行うことのできる機器およびシステムが多く販売されるようになってきている。このような機器では、タッチパネルに多彩でユーザフレンドリーな操作メニューを表示する、いわゆるリッチコンテンツ化されたユーザインターフェイス(以下、UIという)が考えられている。   In recent years, many devices and systems that can display and edit documents on a touch panel liquid crystal have been sold. In such a device, a so-called rich content user interface (hereinafter referred to as UI) that displays a variety of user-friendly operation menus on a touch panel is considered.

このようなUIでは、物理的なキーボードがなく、小さい画面にソフトウェアキーボードを表示して操作しづらいため、いかに直感的なタッチパネルの操作で作業を行わせるかが重要となってきている。   In such a UI, since there is no physical keyboard and it is difficult to display and operate a software keyboard on a small screen, it is important how to perform an operation with an intuitive touch panel operation.

特に、文書を表示して、一部分をコピーし、別の文書にコピーした部分を貼り付ける(ペーストする)作業(コピー&ペーストと呼ばれる)は多く行われる。そのため、このコピー&ペーストの作業を直感的な操作で実現することで作業を効率化するための仕組み(例えば、特許文献1、特許文献2および特許文献3)が考えられている。   In particular, there is a lot of work (called copy and paste) in which a document is displayed, a part is copied, and the copied part is pasted (pasted) into another document. Therefore, a mechanism (for example, Patent Document 1, Patent Document 2, and Patent Document 3) for improving the efficiency of the work by realizing the copy and paste work by an intuitive operation is considered.

特開2002−304256号公報JP 2002-304256 A 特開2010−055207号公報JP 2010-055207 A 特開2010−176568号公報JP 2010-176568 A

特許文献1には、人差し指と親指で文字列をつまみ、貼り付けたいところまでドラッグして離すことで、コピーまたは移動を行う仕組みが開示されている。   Patent Document 1 discloses a mechanism for performing copying or moving by pinching a character string with an index finger and a thumb, dragging the character string to a desired place, and releasing it.

特許文献2には、左手で「コピー」を押下しながら、右手で入力ボックス33の文字を「なぞる」ことで、なぞった文字をコピーすることができる仕組みが開示されている。   Japanese Patent Application Laid-Open No. 2004-228561 discloses a mechanism that allows a user to copy a traced character by “tracing” the character in the input box 33 with the right hand while pressing “copy” with the left hand.

また、特許文献3には、タッチパネル400の入力検出面への人差し指300による第1のタッチ動作によりタッチされた状態で、親指301による第2のタッチ動作を検出した場合、人差し指によるタッチで選択された情報を親指によりタッチ動作が検出された指示部に貼り付ける仕組みが開示されている。   Further, in Patent Document 3, when the second touch operation with the thumb 301 is detected while the first touch operation with the index finger 300 is touched on the input detection surface of the touch panel 400, the touch is selected by the touch with the index finger. A mechanism is disclosed in which the information is pasted on the pointing unit in which the touch operation is detected with the thumb.

しかしながら、特許文献1および特許文献2は、1つの情報についてのコピー&ペーストの操作を簡便にすることは考えられているが、複数の情報をコピーし、必要な情報を必要な場所にペーストする場合の操作については考慮されていない。   However, although Patent Document 1 and Patent Document 2 are considered to simplify the copy and paste operation for one piece of information, a plurality of pieces of information are copied and necessary information is pasted to a necessary place. If the operation is not considered.

例えば、文書Aのうち、3ヶ所に分かれた情報を、文書Bの別々の場所に貼り付けたい場合、文書Aの1ヶ所目をコピーし、文書Bに画面を移して場所を指定して貼り付ける。次に2ヶ所目、3ヶ所目とそれぞれ文書を切り替えながら、コピーと貼り付け操作を行わなければならない。パーソナルコンピュータのようにキーボードやマウスで操作が行えるのであれば、このような作業を繰り返すことに苦労はない。しかしながら、タッチパネル上で指のタッチだけで操作する場合、文書の表示を切り替えて、コピー&ペースト作業を繰り返すことは、操作性が悪いため効率が悪くなってしまう。   For example, if you want to paste information divided into three locations in document A to different locations in document B, copy the first location in document A, move the screen to document B, specify the location, and paste it. wear. Next, copy and paste operations must be performed while switching between the second and third places. If the operation can be performed with a keyboard or a mouse like a personal computer, there is no difficulty in repeating such operations. However, when an operation is performed only with the touch of a finger on the touch panel, switching the document display and repeating the copy and paste operation is inefficient, resulting in poor efficiency.

また、複数個所のコピーすべき情報をコピーしてしまうと、最初にコピーされた情報が上書きされてしまうという問題もある。また、コピーされた情報をメモリにスタックしておくことができる仕組みも考えられるが、その場合、スタックした順番を自分で覚えておかなければならず、忘れてしまうと貼り付ける順序を誤り、違う場所にペーストしてしまう。   In addition, when information to be copied at a plurality of locations is copied, there is a problem that the information copied first is overwritten. Also, there is a mechanism that can stack the copied information in the memory, but in that case you have to remember the stacking order yourself, and if you forget it, the pasting order is wrong and different Paste in place.

また、その他の解決策として、ペースト時にコピーしている情報の一覧を表示するという手法も考えられる。これは確かに1つの解決策ではあるが、一覧を表示することになるため、コピーした対象の情報が多くなると、リストも多く表示しなければならず、スマートフォンのような携帯端末は画面が小さいため、リストを表示しきれなくなるという問題がでてくる。特に、先にコピーした情報はリストの下位に位置されてしまうため、小さい画面では、一覧が表示しきれなくなり、選択できなくなったり、選択できたとしても一覧部分のページめくりをしなければならなくなり、操作性が悪くなるという問題がある。   Another possible solution is to display a list of information copied at the time of pasting. This is certainly one solution, but it will display a list, so if the information to be copied increases, the list must also be displayed, and a mobile device like a smartphone has a small screen Therefore, the problem that the list cannot be displayed appears. In particular, because the information copied earlier is positioned at the bottom of the list, the list cannot be displayed on a small screen and cannot be selected, or even if it can be selected, the page of the list must be turned. There is a problem that the operability is deteriorated.

そこで、本発明は、複数個所のタッチを同時検出可能なタッチパネル表示部を用いて、コピーすべき情報を識別して記憶でき、当該識別して記憶されたコピーすべき情報があるか否かにより、操作できない指示部の表示によるユーザの誤操作を防止する仕組みを提供することを目的とする。 Therefore, the present invention can identify and store information to be copied using a touch panel display unit capable of simultaneously detecting touches at a plurality of locations, and whether or not there is information to be copied that has been identified and stored. An object of the present invention is to provide a mechanism for preventing a user's erroneous operation due to display of an inoperable instruction unit .

本発明は、多点入力が可能なマルチタッチ表示部を搭載した情報処理装置であって、マルチタッチ表示部のタッチ位置の位置情報を取得する取得手段と、前記取得手段により取得したタッチ位置の位置情報に従って、データが表示される表示領域に貼り付けるデータを、コピー情報として対応付ける領域であるホールド領域がタッチされた状態で、前記表示領域がタッチされていることを検出する検出手段と、前記検出手段により、前記ホールド領域がタッチされている状態で前記表示領域がタッチされていること検出され、前記ホールド領域にコピー情報が対応付けられていない場合に、前記表示領域上のタッチがされた位置のデータを、コピー情報として前記タッチされているホールド領域に対応付けるコピー指示が可能なコピー指示部を表示し、前記検出手段により、前記ホールド領域がタッチされている状態で前記表示領域がタッチされていること検出され、前記ホールド領域にコピー情報が対応付けられている場合に、前記タッチされているホールド領域に対応付けられたコピー情報を、前記表示領域上のタッチがされた位置に貼り付けるペースト指示が可能なペースト指示部を表示する表示制御手段とを備えることを特徴とする。 The present invention is an information processing apparatus equipped with multi-point input is multi-touch display unit capable, an acquisition unit for acquiring position information of the touch position of the multi-touch display unit, a touch that I Ri acquired the acquisition unit according to the position information of the position detection for detecting that the data to be pasted to the display area data is displayed in a state where the hold area which is an area that associates the copy information is touched, the display area is touched means, by said detecting means, said holding region is detected that the display area in a state of being touched is touched, when said copy information in the hold area is not associated with, the display region touch the data of position, copy instruction capable copy instruction that associates to the hold region being the touch as copy information Displays, by the detection means, the display area in a state where the holding area is touched is detected to have been touched, if the copy information is associated with the holding area, is the touch a copy information associated with it are held area, characterized by comprising a display control means for displaying the display paste instruction pastes instruction unit touch that stuck to the position of the region .

前記コピー指示は、前記表示領域に表示されたデータのカットの指示であるカット指示を含むことを特徴とする。The copy instruction includes a cut instruction which is an instruction to cut data displayed in the display area.

本発明は、前記表示制御手段で表示されたペースト指示部において、前記ペースト指示を受け付けた場合、前記表示領域上のタッチがされた位置に貼り付けるコピー情報を選択するための一覧表示する一覧表示手段を更に備え、前記一覧表示手段は、前記タッチされているホールド領域に対応付けられたコピー情報を、他のホールド領域に対応付けられたコピー情報に優先して、当該他のホールド領域に対応付けられたコピー情報と合わせて、一覧表示することを特徴とする。 The present invention provides a list display for displaying a list for selecting copy information to be pasted at a touched position on the display area when the paste instruction is received in the paste instruction section displayed by the display control means. The list display means prioritizes the copy information associated with the touched hold area over the copy information associated with the other hold area. A list is displayed together with the attached copy information .

本発明は、重力方向を検出することにより、本情報処理装置の向きが縦向きであるか横向きであるかを判定する判定手段と、前記判定手段により本情報処理装置が縦向きであると判定された場合に当該縦向きの場合のホールド領域の位置情報と、前記取得手段により取得したタッチ位置とから、タッチされているホールド領域を特定し、前記判定手段により本情報処理装置が横向きであると判定された場合に当該横向きの場合のホールド領域の位置情報と、前記取得手段により取得したタッチ位置とから、タッチされているホールド領域を特定する特定手段と、前記コピー指示を受け付けた場合に、前記特定手段で特定された前記ホールド領域に、前記表示領域上のタッチがされた位置のデータを、コピー情報として対応付けて記憶するコピー情報記憶手段と、前記ペースト指示を受け付けた場合に、前記特定手段で特定されたホールド領域に対応付けられたコピー情報を、前記表示領域上のタッチがされた位置に貼り付けるペースト手段と、を備えることを特徴とする。 According to the present invention, by detecting the direction of gravity, a determination unit that determines whether the direction of the information processing apparatus is vertical or horizontal is determined, and the determination unit determines that the information processing apparatus is vertical. If it is determined that the touched hold area is identified from the position information of the hold area in the portrait orientation and the touch position acquired by the acquisition unit, the information processing apparatus is turned sideways by the determination unit. Is determined from the position information of the hold area in the landscape orientation and the touch position acquired by the acquisition means, the specifying means for specifying the hold area being touched, and the copy instruction When accepted, the data of the touched position on the display area is stored in association with the hold area specified by the specifying means as copy information. Copy information storage means, and paste means for pasting copy information associated with the hold area specified by the specifying means to a touched position on the display area when the paste instruction is received. , characterized in that it comprises a.

本発明は、多点入力が可能なマルチタッチ表示部を搭載した情報処理装置における情報処理方法であって、マルチタッチ表示部のタッチ位置の位置情報を取得する取得工程と、前記取得工程により取得したタッチ位置の位置情報に従って、データが表示される表示領域に貼り付けるデータを、コピー情報として対応付ける領域であるホールド領域がタッチされた状態で、前記表示領域がタッチされていることを検出する検出工程と、前記検出工程により、前記ホールド領域がタッチされている状態で前記表示領域がタッチされていること検出され、前記ホールド領域にコピー情報が対応付けられていない場合に、前記表示領域上のタッチがされた位置のデータを、コピー情報として前記タッチされているホールド領域に対応付けるコピー指示が可能なコピー指示部を表示し、前記検出工程により、前記ホールド領域がタッチされている状態で前記表示領域がタッチされていること検出され、前記ホールド領域にコピー情報が対応付けられている場合に、前記タッチされているホールド領域に対応付けられたコピー情報を、前記表示領域上のタッチがされた位置に貼り付けるペースト指示が可能なペースト指示部を表示する表示制御工程とを含むことを特徴とする。 The present invention relates to an information processing method in an information processing apparatus equipped with a multi-touch display unit capable of multipoint input, the acquisition step for acquiring position information of the touch position of the multi-touch display unit, and the acquisition step. according to the obtained position information of the touch position Ri, the data to be pasted to the display area data is displayed in a state where the hold area which is an area that associates the copy information is touched, that the display region is touched a detection step of detecting, by the detection step, the display area in a state where the holding area is touched is detected to have been touched, if the copy information has not been associated with the hold area, copy finger data of touch position on the display area, that associates to the hold region being the touch as copy information Display copy instruction unit capable, by the detection step, the display area in a state where the holding area is touched is detected to have been touched, the copy information is associated with the holding area when the copy information associated with the holding region being the touch, and a display control step of displaying the display paste instruction pastes instruction unit touch that stuck to the position of the region It is characterized by including.

本発明は、多点入力が可能なマルチタッチ表示部を搭載した情報処理装置で読み取り実行されるプログラムであって、前記情報処理装置を、マルチタッチ表示部のタッチ位置の位置情報を取得する取得手段と、前記取得手段により取得したタッチ位置の位置情報に従って、データが表示される表示領域に貼り付けるデータを、コピー情報として対応付ける領域であるホールド領域がタッチされた状態で、前記表示領域がタッチされていることを検出する検出手段と、前記検出手段により、前記ホールド領域がタッチされている状態で前記表示領域がタッチされていること検出され、前記ホールド領域にコピー情報が対応付けられていない場合に、前記表示領域上のタッチがされた位置のデータを、コピー情報として前記タッチされているホールド領域に対応付けるコピー指示が可能なコピー指示部を表示し、前記検出手段により、前記ホールド領域がタッチされている状態で前記表示領域がタッチされていること検出され、前記ホールド領域にコピー情報が対応付けられている場合に、前記タッチされているホールド領域に対応付けられたコピー情報を、前記表示領域上のタッチがされた位置に貼り付けるペースト指示が可能なペースト指示部を表示する表示制御手段として機能させることを特徴とする。 The present invention is a program that is read and executed by an information processing apparatus equipped with a multi-touch display unit capable of multipoint input, and acquires the information processing apparatus to acquire position information of a touch position of the multi-touch display unit means, according to the position information by Ri acquired touch position in said obtaining means, the data to be pasted to the display area data is displayed in a state where the hold area which is an area that associates the copy information is touched, the detecting means for detecting that the display region is touched by the detecting means, wherein said display area in a state where the hold area is touched is detected to have been touched, copy information in the hold area If not associated, the data of the touch position on the display area, and is the touch as copy information ho Display copy instruction unit capable copy instruction that associates a field region by said detection means, said display area in a state where the holding area is touched is detected to have been touched, the hold area If the copy information is associated, said copy information associated with the holding region being touched, the display touch region stuck to the position that the paste instruction pastes instruction unit characterized in that to function as a display control means for displaying.

本願発明によれば、複数個所のタッチを同時検出可能なタッチパネル表示部を用いて、コピーすべき情報を識別して記憶でき、当該識別して記憶されたコピーすべき情報があるか否かにより、操作できない指示部の表示によるユーザの誤操作を防止することが可能と
なる。
According to the present invention, it is possible to identify and store information to be copied by using a touch panel display unit capable of simultaneously detecting touches at a plurality of places, and whether or not there is information to be copied that has been identified and stored. Thus, it is possible to prevent an erroneous operation of the user due to the display of the instruction unit that cannot be operated .

本発明に係る情報処理装置の外観の一例を示す外観図である。It is an external view which shows an example of the external appearance of the information processing apparatus which concerns on this invention. 情報処理装置100のハードウェア構成の一例を示すブロック図である。2 is a block diagram illustrating an example of a hardware configuration of an information processing apparatus 100. FIG. 情報処理装置100の機能構成の一例を示す機能構成図である。3 is a functional configuration diagram illustrating an example of a functional configuration of the information processing apparatus 100. FIG. 本発明の実施の形態のコピー操作の概念図である。It is a conceptual diagram of copy operation of embodiment of this invention. 本発明の実施の形態のペースト操作の概要図である。It is a schematic diagram of paste operation of embodiment of this invention. 本発明の情報処理装置のホールドエリアに関する図である。It is a figure regarding the hold area of the information processing apparatus of this invention. 本発明の情報処理装置のクリップボード情報テーブルを表す構成図である。It is a block diagram showing the clipboard information table of the information processing apparatus of this invention. 本発明のクリップボード用共有メモリの構成図である。It is a block diagram of the shared memory for clipboards of this invention. 本発明の情報処理装置の向きを変えたときのホールドエリア(ホールド領域)に関する図である。It is a figure regarding the hold area (hold area | region) when changing the direction of the information processing apparatus of this invention. 本発明の実施の形態における情報処理装置の向きを変えたときのペースト操作の概念図である。It is a conceptual diagram of paste operation when the direction of the information processing apparatus in embodiment of this invention is changed. 本発明の主要操作が行われたときの制御の一例を示すフローチャートである。It is a flowchart which shows an example of control when main operation of this invention is performed. 本発明のタップ確定判定処理の一例を示すフローチャートである。It is a flowchart which shows an example of the tap decision determination process of this invention. 本発明のコピー処理の一例を示すフローチャートである。It is a flowchart which shows an example of the copy process of this invention. 本発明の第一のペースト処理の一例を示すフローチャートである。It is a flowchart which shows an example of the 1st paste process of this invention. 本発明の第二のペースト処理の一例を示すフローチャートである。It is a flowchart which shows an example of the 2nd paste process of this invention. 本発明の実施の形態のペースト操作時にリストを表示する処理の概要図である。It is an outline figure of processing which displays a list at the time of paste operation of an embodiment of the invention. 本発明のホールド判定処理の一例を示すフローチャートである。It is a flowchart which shows an example of the hold determination process of this invention. ホールド識別情報とホールド領域を定義しているホールド領域情報の一例を示す図である。It is a figure which shows an example of hold area information which defines hold identification information and a hold area. 本発明のコピー情報検索処理の一例を示すフローチャートである。It is a flowchart which shows an example of the copy information search process of this invention.

以下、添付図面を参照しながら、本発明に係る情報処理装置の実施形態について詳細に説明する。   Hereinafter, embodiments of an information processing apparatus according to the present invention will be described in detail with reference to the accompanying drawings.

図1は、本発明に係る情報処理装置の外観の一例を示す外観図である。本発明の情報処理装置100は、例えば、携帯情報端末(PDA)や、スマートフォンのように、タッチパネル機能を持つ表示部101と、ボタン102を備えている。表示部101は、液晶パネルのような表示制御部と、タッチパッドのような位置入力制御部とを組み合わせた電子部品であり、タッチパネルとも呼ばれる。   FIG. 1 is an external view showing an example of the external appearance of an information processing apparatus according to the present invention. The information processing apparatus 100 of the present invention includes a display unit 101 having a touch panel function and a button 102 like a personal digital assistant (PDA) or a smartphone, for example. The display unit 101 is an electronic component that combines a display control unit such as a liquid crystal panel and a position input control unit such as a touch pad, and is also called a touch panel.

表示部101のタッチパネルは、指先と電導膜との間での静電容量の変化をとらえて位置を検出する静電容量方式の投影型であり、複数の位置検出が可能なマルチタッチ機能を備えているマルチタッチスクリーンである。なお、2本の指の位置検出ができるマルチタッチ機能は、既知の技術であるため詳細な説明は省略する。   The touch panel of the display unit 101 is a capacitive projection type that detects a position by detecting a change in capacitance between a fingertip and a conductive film, and has a multi-touch function capable of detecting a plurality of positions. Is a multi-touch screen. Since the multi-touch function that can detect the position of two fingers is a known technique, a detailed description thereof is omitted.

ボタン102は、情報処理装置で実行されているアプリケーションプログラム(以下、単にアプリケーションと呼ぶ)を終了させるためのボタンである。なお、アプリケーショの起動は、表示部101のタッチパネル機能を用いて、画面に表示されるアプリケーションのアイコンをダブルクリック(2度続けて触る)ことにより実行される。
情報処理装置100は、他にも通信機能等を備えていてもよいが、本発明とは直接関係がないため説明は省略する。
図2は、情報処理装置100のハードウェア構成を示す図である。
The button 102 is a button for ending an application program (hereinafter simply referred to as an application) being executed by the information processing apparatus. The application is started by double-clicking (touching twice) an application icon displayed on the screen using the touch panel function of the display unit 101.
The information processing apparatus 100 may have other communication functions and the like, but will not be described because it is not directly related to the present invention.
FIG. 2 is a diagram illustrating a hardware configuration of the information processing apparatus 100.

図2に示すように、情報処理装置100では、システムバス207を介してCPU(Central Processing Unit)201、RAM(Random Access Memory)203、ROM(Read Only Memory)202、記憶装置204、入出力インタフェース205、マルチタッチスクリーン206が接続される。
CPU201は、システムバス207に接続される各デバイスやコントローラを統括的に制御する。
2, in the information processing apparatus 100, a central processing unit (CPU) 201, a random access memory (RAM) 203, a read only memory (ROM) 202, a storage device 204, and an input / output interface are connected via a system bus 207. 205, a multi-touch screen 206 is connected.
The CPU 201 comprehensively controls each device and controller connected to the system bus 207.

ROM202あるいは記憶装置204は、CPU201が実行する制御プログラムであるBIOS(Basic Input/Output System)やOS(Operating System)や、本情報処理方法を実現するためのコンピュータ読み取り実行可能なプログラムおよび必要な各種データ(データテーブルを含む)を保持している。   The ROM 202 or the storage device 204 is a control program executed by the CPU 201 such as a basic input / output system (BIOS) or an operating system (OS), a computer-readable program for realizing this information processing method, and various necessary programs. Holds data (including data table).

RAM203は、CPU201の主メモリ、ワークエリア等として機能する。CPU201は、処理の実行に際して必要なプログラム等をROM202あるいは記憶装置204からRAM203にロードし、ロードしたプログラムを実行することで各種動作を実現する。   The RAM 203 functions as a main memory, work area, and the like for the CPU 201. The CPU 201 implements various operations by loading a program or the like necessary for executing the processing from the ROM 202 or the storage device 204 to the RAM 203 and executing the loaded program.

入出力インタフェース205は、マルチタッチスクリーン206からの入力を制御する。マルチタッチスクリーンは、複数の指でタッチされた位置を検出することが可能なタッチパネルであり、前述したように、既知の技術を利用可能である。ユーザがタッチパネルに表示されたアイコンやカーソルやボタンに合わせて押下(指等でタッチ)することにより、各種の指示を行うことができる。   The input / output interface 205 controls input from the multi-touch screen 206. The multi-touch screen is a touch panel that can detect a position touched by a plurality of fingers, and a known technique can be used as described above. Various instructions can be performed when the user presses (touches with a finger or the like) in accordance with an icon, a cursor, or a button displayed on the touch panel.

なお、記憶装置204には、図4で後述するクリップボード情報、図7で後述するクリップボード情報テーブル、および、図18で後述するホールド領域情報が格納されており、かつ、図8で後述するクリップボード用共有メモリの領域も備えている。なお、クリップボード情報(図4)は、RAM203に一時的に保存するように構成してもよい。   The storage device 204 stores clipboard information to be described later in FIG. 4, a clipboard information table to be described later in FIG. 7, and hold area information to be described later in FIG. It also has a shared memory area. The clipboard information (FIG. 4) may be configured to be temporarily stored in the RAM 203.

なお、記憶装置204は情報を永続的に記憶するための媒体であって、その形態をハードディスク等の記憶装置に限定するものではない。例えば、SSD(Solid State Drive)などの媒体であってもよい。
図3は本発明の情報処理装置100が備える機能構成の一例を示す機能構成図である。
801は、入出力制御部であり、図2のマルチタッチスクリーン206と入出力インタフェース205により構成され、マルチタッチの検出機能を備えている。
The storage device 204 is a medium for permanently storing information, and the form is not limited to a storage device such as a hard disk. For example, a medium such as SSD (Solid State Drive) may be used.
FIG. 3 is a functional configuration diagram illustrating an example of a functional configuration included in the information processing apparatus 100 of the present invention.
Reference numeral 801 denotes an input / output control unit, which includes the multi-touch screen 206 and the input / output interface 205 in FIG. 2 and has a multi-touch detection function.

802は、入力操作識別部であり、本発明のプログラムを図2のCPU201が実行することにより実現される機能構成である。具体的には、入出力制御部801で検出された表示領域上の物理的な位置から、入力指示の内容を判断する。例えば、タッチされた部分にカーソルを移動させたり、ダブルタッチ(ダブルクリック)された場合に、その位置にあるアイコンに対応するアプリケーションを起動させたりする必要があることを判断する。また、マルチタッチの場合には、マルチタッチされた場合に、それぞれどの位置がタッチされたのかにより、後述するマルチタッチのコピー&ペースト処理が必要であるかを判断する。   Reference numeral 802 denotes an input operation identification unit, which is a functional configuration realized by the CPU 201 of FIG. 2 executing the program of the present invention. Specifically, the content of the input instruction is determined from the physical position on the display area detected by the input / output control unit 801. For example, when the cursor is moved to the touched portion or double-touched (double-clicked), it is determined that it is necessary to start an application corresponding to the icon at that position. In the case of multi-touch, it is determined whether multi-touch copy and paste processing described later is necessary depending on which position is touched when multi-touch is performed.

803は、表示処理部であり、本発明のプログラムを図2のCPU201が実行して、マルチタッチスクリーン206に情報を表示するための機能を備えている。   Reference numeral 803 denotes a display processing unit having a function for displaying information on the multi-touch screen 206 by the CPU 201 of FIG. 2 executing the program of the present invention.

804は、オブジェクト処理部であり、本発明のプログラムを図2のCPU201が実行することにより、入力操作識別部802によって判断された処理を実行する。具体的には、アプリケーションを起動させたり、文字を入力したり、データファイルを記憶装置に保存させたり、ある範囲の文字列を選択させてコピー処理したり、あるいは指定された位置に対してクリップボードに記憶されているコピー情報をペースト処理したりする。   Reference numeral 804 denotes an object processing unit, which executes processing determined by the input operation identification unit 802 when the CPU 201 in FIG. 2 executes the program of the present invention. Specifically, you can start an application, input characters, save a data file in a storage device, select a range of character strings to copy, or clip the specified position to the clipboard Or paste the copy information stored in.

805は、重力制御部であり、重力を検知することにより上下(天地)方向を求めることができ、求められた天地方向に従って、本情報処理装置の本体がどの方向を向いているのか、縦向きなのか、横向きなのかを判断することができる。そして、表示処理部803は、重力制御部805により判断された縦向きか横向きかにより、表示部101に表示される画面を回転させることができる。
次に図4を参照して、本発明のコピー操作処理について説明する。
Reference numeral 805 denotes a gravity control unit, which can determine the vertical (top / bottom) direction by detecting gravity, and in accordance with the determined top / bottom direction, indicates which direction the main body of the information processing apparatus is facing vertically It can be judged whether it is sideways or sideways. The display processing unit 803 can rotate the screen displayed on the display unit 101 depending on whether the gravity control unit 805 determines the portrait orientation or the landscape orientation.
Next, the copy operation processing of the present invention will be described with reference to FIG.

図4の左上図は、本情報処理装置100の表示部101に表示される画面を表している。まずユーザが領域301にタッチしている状態で、別の指で文字列302をタッチすることにより選択する。すると、タッチにより選択された文字列の領域が選択状態の表示となり、編集バルーン304が表示される。   The upper left diagram of FIG. 4 represents a screen displayed on the display unit 101 of the information processing apparatus 100. First, the user touches the character string 302 with another finger while the user is touching the area 301 to select the area. Then, the area of the character string selected by touch is displayed in a selected state, and an edit balloon 304 is displayed.

選択状態の文字列302は、タッチされた位置の文字を含む単語が選択されるが、選択されるのは1文字であってもよい。どの単語まで選択するかは既知の技術として存在しており、本発明の主要部でないため詳細な説明は省略するが、一般的には、単語が登録されている辞書が記憶装置204に記憶されており、選択された文字の前後の文字が単語登録されているかを判断することにより文字列の長さを求めている。なお、ユーザが所望とする文字列範囲が選択されていない場合には、ユーザは選択領域の前後にある範囲選択指示部303をつまんでドラッグ操作することにより、文字列を選択する範囲を増やしたり減らしたりすることができる。   In the selected character string 302, a word including the character at the touched position is selected, but one character may be selected. The word to be selected exists as a known technique and is not a main part of the present invention, and thus a detailed description is omitted. Generally, a dictionary in which words are registered is stored in the storage device 204. The length of the character string is obtained by determining whether the characters before and after the selected character are registered as words. When the character string range desired by the user is not selected, the user can increase the range for selecting the character string by dragging the range selection instruction unit 303 before and after the selection area. It can be reduced.

編集バルーン304には、選択されている文字列をクリップボードにコピーするための「コピー」指示、クリップボードに保持されているコピー情報を選択されている位置に貼り付ける「ペースト」指示、選択されている文字列をクリップボードにコピーし、かつ編集対象の文書から削除する「カット」指示が含まれる。この「コピー」(および「カット」も)の処理を行うときに、本発明では、ホールドされている(指で押さえられている)領域に応じて、識別情報を付与してクリップボードにコピー情報が追加記録される。
具体的には、左上図の操作を行った場合には、「Hold ID」に「1」が記録され、「コピー情報」に「対象文字列A」が記録される。
In the editing balloon 304, a “copy” instruction for copying the selected character string to the clipboard, a “paste” instruction for pasting the copy information held on the clipboard to the selected position, and the selection are selected. A “cut” instruction to copy the character string to the clipboard and delete it from the document to be edited is included. When performing this "copy" (and also "cut") processing, according to the present invention, identification information is given according to the held area (pressed with a finger) and the copy information is displayed on the clipboard. Additional records are made.
Specifically, when the operation in the upper left diagram is performed, “1” is recorded in “Hold ID”, and “target character string A” is recorded in “Copy information”.

次に、右上図について説明する。ユーザが領域305にタッチしている状態で、別の指で文字列306をタッチすることにより選択する。すると、タッチされた選択された文字列の領域が選択状態となる。この編集バルーン307で「コピー」(および「カット」も)の処理を行うと、ホールドされている(指で押さえられている)領域に応じて識別情報を付与してクリップボードにコピー情報が追加記録される。
具体的には、右上図の操作を行った場合には、「Hold ID」に「2」が記録され、「コピー情報」に「対象文字列B」が記録される。
Next, the upper right view will be described. Selection is made by touching the character string 306 with another finger while the user is touching the area 305. Then, the touched selected character string area is selected. When the “copy” (and “cut”) process is performed with the editing balloon 307, identification information is added according to the held area (pressed with a finger) and the copy information is additionally recorded on the clipboard. Is done.
Specifically, when the operation in the upper right diagram is performed, “2” is recorded in “Hold ID”, and “target character string B” is recorded in “Copy information”.

このような操作処理が行われることにより、図4の下図では、クリップボード情報に、「Hold ID」(ホールド識別情報)とコピー情報とが対応づけて保存される。
次に図5を参照して、本発明のペースト操作処理について説明する。
By performing such an operation process, in the lower diagram of FIG. 4, “Hold ID” (hold identification information) and copy information are stored in association with the clipboard information.
Next, the paste operation process of the present invention will be described with reference to FIG.

図5もまた、本情報処理装置100の表示部101に表示される画面を表している。まずユーザが領域401にタッチしている状態で、別の指で文字列を貼り付けたい位置をタッチすることにより選択すると、選択された位置にカーソルが移動し、編集バルーン402が表示される。   FIG. 5 also shows a screen displayed on the display unit 101 of the information processing apparatus 100. First, when the user touches the area 401 and selects a position where the character string is to be pasted with another finger, the cursor moves to the selected position, and an edit balloon 402 is displayed.

編集バルーン402で「ペースト」指示されると、ホールドされている(指で押さえられている)領域に対応づけられている識別情報(Hold ID)に対応するコピー情報がクリップボードから読みだされて、もう一方の指で選択されていた位置に、読みだしたコピー情報を貼り付けて表示する。   When “paste” is instructed by the edit balloon 402, copy information corresponding to the identification information (Hold ID) associated with the held area (held by the finger) is read from the clipboard, The read copy information is pasted and displayed at the position selected with the other finger.

具体的には、図5で「ペースト」の操作を行った場合には、「Hold ID」が「1」に対応する「コピー情報」である「対象文字列A」が読みだされて、文字列403として挿入されて(貼り付けられて)表示される。   Specifically, when the “paste” operation is performed in FIG. 5, “target character string A” that is “copy information” corresponding to “Hold ID” corresponding to “1” is read out and the character is read. It is inserted and pasted as a column 403.

次に、図6を参照して、本情報処理装置のマルチタッチスクリーンである表示部101の表示画面において、ホールド領域と識別情報(ホールドID)との関係を説明する。   Next, the relationship between the hold area and the identification information (hold ID) on the display screen of the display unit 101 that is a multi-touch screen of the information processing apparatus will be described with reference to FIG.

図4および図5の概念図で説明したように、表示画面には、「メモ」という名称のアプリケーションが起動されて表示されている。この「メモ」アプリケーションでは、短辺の上部の「メモ」が記載されているメニューと、長辺の左端のバインダ領域とは、ユーザが文字列を記録したり、編集したりする領域ではない。そのため、本発明では、この文書編集で操作しない領域を、ホールド領域として利用している。具体的には、長辺の左端のバインダ領域は、ホールド領域501(Hold ID=1)、ホールド領域502(Hold ID=2)、ホールド領域503(Hold ID=3)に領域分割されている。
また、短辺の上部のメニュー領域は、ホールド領域504(Hold ID=4)、ホールド領域505(Hold ID=5)に領域分割されている。
As described in the conceptual diagrams of FIGS. 4 and 5, an application named “memo” is activated and displayed on the display screen. In this “memo” application, the menu in which “memo” at the top of the short side is written and the binder area at the left end of the long side are not areas in which the user records or edits character strings. Therefore, in the present invention, the area that is not operated in the document editing is used as a hold area. Specifically, the binder region at the left end of the long side is divided into a hold region 501 (Hold ID = 1), a hold region 502 (Hold ID = 2), and a hold region 503 (Hold ID = 3).
The menu area on the upper side of the short side is divided into a hold area 504 (Hold ID = 4) and a hold area 505 (Hold ID = 5).

図7は、本発明の情報処理装置のクリップボード情報テーブルを表す構成図である。なお、図7の「Hold ID=0(Defalut)」は、ホールド領域が指でタッチされていない状態でコピーされた場合にコピー情報を記憶する際の識別情報である。   FIG. 7 is a configuration diagram showing a clipboard information table of the information processing apparatus of the present invention. Note that “Hold ID = 0 (Default)” in FIG. 7 is identification information for storing copy information when the hold area is copied without being touched with a finger.

このクリップボード情報テーブルには、各ホールドIDに対応して、クリップボード用共有メモリの先頭アドレスおよびクリップボード用共有メモリの使用サイズが定義されている。   In this clipboard information table, the start address of the clipboard shared memory and the used size of the clipboard shared memory are defined corresponding to each hold ID.

図8は、本発明のクリップボード用共有メモリの構成図である。図7のクリップボード情報テーブルに従って、クリップボード用共有メモリには図8のように各データが記憶されることになる。   FIG. 8 is a block diagram of the clipboard shared memory of the present invention. According to the clipboard information table of FIG. 7, each data is stored in the clipboard shared memory as shown in FIG.

次に図9を参照して、マルチタッチスクリーンである表示部101の表示画面において、横向きで表示される場合のホールド領域と識別情報(ホールドID)との関係を説明する。   Next, with reference to FIG. 9, the relationship between the hold area and the identification information (hold ID) when displayed in landscape orientation on the display screen of the display unit 101 that is a multi-touch screen will be described.

横向きの場合には、短辺の左端のバインダ領域は、ホールド領域501(Hold ID=1)、ホールド領域502(Hold ID=2)、ホールド領域503(Hold ID=3)に領域分割されている。
また、長辺の上部のメニュー領域は、ホールド領域504(Hold ID=4)、ホールド領域505(Hold ID=5)に領域分割されている。
このように、ユーザが利用するときの直感的な位置、方向は縦向きと横向きで変えることをせずに、内部的にホールド領域の位置とサイズを変更している。
In the case of landscape orientation, the binder area at the left end of the short side is divided into a hold area 501 (Hold ID = 1), a hold area 502 (Hold ID = 2), and a hold area 503 (Hold ID = 3). .
The menu area at the upper part of the long side is divided into a hold area 504 (Hold ID = 4) and a hold area 505 (Hold ID = 5).
In this way, the position and size of the hold area are internally changed without changing the intuitive position and direction when used by the user between the vertical and horizontal directions.

なお、前述したように、重力制御部805が重力を検知することにより上下(天地)方向を求めることができ、求められた天地方向に従って、本情報処理装置の本体がどの方向を向いているのか、縦向きなのか、横向きなのかを判断することができる。そして、重力制御部805により判断された縦向きか横向きかにより、表示部101に表示される画面が縦向き表示と横向き表示が切り換えられる。
次に図10を参照して、本発明のペースト操作処理について説明する。
As described above, the gravity control unit 805 can determine the vertical (top / bottom) direction by detecting gravity, and according to the determined top / bottom direction, which direction the main body of the information processing apparatus is facing. , It can be determined whether it is in portrait orientation or landscape orientation. The screen displayed on the display unit 101 is switched between portrait display and landscape display depending on whether the screen is displayed in the portrait or landscape orientation determined by the gravity control unit 805.
Next, the paste operation process of the present invention will be described with reference to FIG.

図10も図5と同様に、本情報処理装置100の表示部101に表示される画面を表している。まずユーザが領域1001にタッチしている状態で、別の指で文字列を貼り付けたい位置をタッチすることにより選択すると、選択された位置にカーソルが移動し、編集バルーン1002が表示される。   FIG. 10 also shows a screen displayed on the display unit 101 of the information processing apparatus 100 as in FIG. First, when the user is touching the area 1001 and selects a position where the character string is to be pasted with another finger, the cursor moves to the selected position and an editing balloon 1002 is displayed.

編集バルーン1002で「ペースト」指示されると、ホールドされている(指で押さえられている)領域に対応づけられている識別情報(Hold ID)に対応するコピー情報がクリップボードから読みだされて、もう一方の指で選択されていた位置に、読みだしたコピー情報を貼り付けて表示する。   When “paste” is instructed by the editing balloon 1002, copy information corresponding to the identification information (Hold ID) associated with the held area (held by the finger) is read from the clipboard, The read copy information is pasted and displayed at the position selected with the other finger.

具体的には、図10で「ペースト」の操作を行った場合には、「Hold ID」が「2」に対応する「コピー情報」である「対象文字列B」が読みだされて、文字列1003として挿入されて(貼り付けられて)表示される。
次に、図11、12、13、14、15、17、19のフローチャートを参照しながら、本発明に係る情報処理装置の詳細な処理について説明する。
Specifically, when the “paste” operation is performed in FIG. 10, “target character string B” that is “copy information” corresponding to “Hold ID” corresponding to “2” is read and the character is read. The column 1003 is inserted (pasted) and displayed.
Next, detailed processing of the information processing apparatus according to the present invention will be described with reference to the flowcharts of FIGS. 11, 12, 13, 14, 15, 17, and 19.

図11は、情報処理装置の主要操作が行われたときの制御の一例を示すフローチャートである。本フローチャートは、記憶装置204に格納された本発明のプログラムがRAM203をワークエリアとしてCPU201が実行することにより実現される。   FIG. 11 is a flowchart illustrating an example of control when a main operation of the information processing apparatus is performed. This flowchart is realized by the CPU 201 executing the program of the present invention stored in the storage device 204 using the RAM 203 as a work area.

まずステップS1101では、タップ確定判定を行う。タップ確定判定処理については、図12で後述するが、要はマルチタッチスクリーン206にタッチされて所定時間を経過したかを判定する処理である。タッチした状態で所定時間が経過することで、ユーザの操作の意思が確定するので、これをタップ(1回押し)と呼んでいる。   First, in step S1101, tap determination is performed. The tap decision determination process will be described later with reference to FIG. 12, but in essence, it is a process for determining whether a predetermined time has elapsed after touching the multi-touch screen 206. When a predetermined time elapses in the touched state, the user's intention to operate is confirmed. This is called a tap (pressed once).

次にステップS1102では、ステップS1101の判定結果として、タップが確定したか否かが判定される。タップが確定されている場合には、ステップS1103に処理が進み、タップが未確定であれば、処理を抜ける。また、タップが未確定の場合には、ステップS1101に処理を戻してもよい。   Next, in step S1102, whether or not the tap has been determined is determined as the determination result in step S1101. If the tap is confirmed, the process proceeds to step S1103. If the tap is not confirmed, the process is exited. If the tap has not been determined, the process may be returned to step S1101.

ステップS1103では、コピー情報検索処理を行う。コピー情報検索処理については、図19で後述するが、要はクリップボードにコピー情報があるかを判定する処理である。   In step S1103, copy information search processing is performed. The copy information search process will be described later with reference to FIG.

ステップS1104では、ステップS1103の判定結果として、コピー情報が検索されたかが判定される。コピー情報が検索されなかった場合には、ステップS1105に処理が進み、コピー情報が検索されなかった場合には、ステップS1107に処理が進む。   In step S1104, it is determined whether copy information has been searched as a determination result in step S1103. If the copy information has not been searched, the process proceeds to step S1105. If the copy information has not been searched, the process proceeds to step S1107.

ステップS1105では、コピー情報がない、すなわち貼り付け処理をすることがないため、「コピー」の指示部を持ち、「ペースト」の指示部を持たない編集バルーンを表示する。そして、ステップS1106では、マルチタッチスクリーン206からユーザの操作として、編集バルーンの「コピー」の指示を受け付けたか否かを判定する。コピー指示を受け付けた場合には、ステップS1109に処理を進め、コピー指示を受け付けていない場合には、処理を抜ける。   In step S1105, since there is no copy information, that is, no pasting processing is performed, an editing balloon having a “copy” instruction portion and no “paste” instruction portion is displayed. In step S1106, it is determined whether an instruction of “copy” of the editing balloon has been received from the multi-touch screen 206 as a user operation. If a copy instruction has been accepted, the process proceeds to step S1109. If a copy instruction has not been accepted, the process is exited.

一方、ステップS1107では、コピー情報がある、すなわち貼り付け処理をする可能性もあるため、「コピー/ペースト」の両方の指示部を含む編集バルーンを表示する。そして、ステップS1108では、マルチタッチスクリーン206からユーザの操作として、編集バルーンの「コピー」の指示を受け付けたか否かを判定する。コピー指示を受け付けた場合には、ステップS1109に処理を進め、コピー指示を受け付けていない場合には、ステップS1111に処理を進める。   On the other hand, in step S1107, since there is copy information, that is, there is a possibility of performing paste processing, an edit balloon including both “copy / paste” instruction sections is displayed. In step S1108, it is determined whether an instruction of “copy” of the editing balloon has been received from the multi-touch screen 206 as a user operation. If a copy instruction is accepted, the process proceeds to step S1109. If a copy instruction is not accepted, the process proceeds to step S1111.

ステップS1109では、コピー範囲を選択する処理を実行する。具体的には、図4で説明したように、コピーの対象となる文字列を自動またはユーザの手動操作により選択してもらう。この文字列の範囲選択については既知の技術であるため、詳細な説明は省略する。   In step S1109, processing for selecting a copy range is executed. Specifically, as described with reference to FIG. 4, a character string to be copied is selected automatically or by a user's manual operation. Since this character string range selection is a known technique, a detailed description thereof will be omitted.

ステップS1110では、ステップS1109で選択されたコピー範囲の文字列のデータをコピー処理する。このコピー処理の詳細については、図13で後述する。   In step S1110, the character string data in the copy range selected in step S1109 is copied. Details of this copy processing will be described later with reference to FIG.

一方、ステップS1111では、マルチタッチスクリーン206からユーザの操作として、編集バルーンの「ペースト」の指示を受け付けたか否かを判定する。ペースト指示を受け付けた場合には、ステップS1112に処理を進め、ペースト指示を受け付けていない場合には、処理を抜ける。   On the other hand, in step S <b> 1111, it is determined whether an instruction of “paste” of the editing balloon has been received from the multi-touch screen 206 as a user operation. If a paste instruction is accepted, the process proceeds to step S1112. If a paste instruction is not accepted, the process is exited.

ステップS1112では、ペースト処理を実行する。このペースト処理については、図14および図15で後述するが、要は、図5で説明したように、クリップボードに記憶されているコピー情報を貼りつける処理である。
次に、図12のフローチャートを参照しながら、本発明に係る情報処理装置におけるタップ確定判定処理の詳細について説明する。
In step S1112, paste processing is executed. This paste process will be described later with reference to FIGS. 14 and 15, but the main point is the process of pasting copy information stored in the clipboard as described with reference to FIG.
Next, details of the tap determination process in the information processing apparatus according to the present invention will be described with reference to the flowchart of FIG.

図12は、情報処理装置におけるタップ確定判定処理の一例を示すフローチャートである。本フローチャートは、記憶装置204に格納された本発明のプログラムがRAM203をワークエリアとしてCPU201が実行することにより実現される。   FIG. 12 is a flowchart illustrating an example of tap determination processing in the information processing apparatus. This flowchart is realized by the CPU 201 executing the program of the present invention stored in the storage device 204 using the RAM 203 as a work area.

まずステップS1201では、マルチタッチスクリーン206が、表示領域101中の編集領域にタッチされたか否か判断する。編集領域とは、図6および図9で説明した、画面領域からメニュー領域とバインダ領域を除いた、編集対象の文書が表示される領域である。例えば、図4の例では、「コピー対象文字列A」「コピー対象文字列B」「コピー対象文字列C」が表示されている領域である。   First, in step S <b> 1201, it is determined whether the multi-touch screen 206 has been touched on the editing area in the display area 101. The edit area is an area where the document to be edited is displayed, which is described with reference to FIGS. 6 and 9, excluding the menu area and the binder area from the screen area. For example, in the example of FIG. 4, “Copy target character string A”, “Copy target character string B”, and “Copy target character string C” are displayed.

編集領域にタッチされたことが検出された場合には、ステップS1202では、タイマーをスタートさせる。図2のハードウェア構成図では図示省略したが、本情報処理装置は、時間を計測できるタイマーを備えている。   If it is detected that the editing area has been touched, a timer is started in step S1202. Although not shown in the hardware configuration diagram of FIG. 2, the information processing apparatus includes a timer capable of measuring time.

ステップS1203では、ステップS1202で計測を開始したカウント値である時間が、所定時間を越えたか否かを判断する。所定時間は、例えば「0.5秒」として予め設定されて記憶装置204に保存されている。なお、この所定時間は、ユーザにより任意に設定可能にしてもよい。所定時間を越えていない場合はステップS1204に処理を進め、所定時間を越えた場合にはステップS1206に処理を進める。   In step S1203, it is determined whether or not the time, which is the count value started in step S1202, exceeds a predetermined time. The predetermined time is preset as, for example, “0.5 seconds” and stored in the storage device 204. The predetermined time may be arbitrarily set by the user. If the predetermined time has not been exceeded, the process proceeds to step S1204. If the predetermined time has been exceeded, the process proceeds to step S1206.

ステップS1204では、マルチタッチスクリーン206がユーザの指のタッチが離されたことを検出するか判定する。タッチが離されたことが検出された場合には、ステップS1205に処理を進め、タッチが離されていない場合にはステップS1203に処理を戻してタイマーのカウント値が所定時間を越えるまでループを続ける。   In step S1204, it is determined whether the multi-touch screen 206 detects that the user's finger touch has been released. If it is detected that the touch has been released, the process proceeds to step S1205. If the touch has not been released, the process returns to step S1203 to continue the loop until the count value of the timer exceeds a predetermined time. .

ステップS1205では、所定時間内にタッチが離さされたため、タップは未確定と決定し、タップ確定判定処理を終了する。一方、ステップS1206では、タッチされた状態で所定時間が経過したため、タップを確定と決定して、タップ確定判定処理を終了する。
次に、図13のフローチャートを参照しながら、本発明に係る情報処理装置におけるコピー処理の詳細について説明する。
In step S1205, since the touch is released within a predetermined time, the tap is determined to be indeterminate, and the tap determination process is terminated. On the other hand, in step S1206, since the predetermined time has passed in the touched state, it is determined that the tap is determined, and the tap determination process ends.
Next, details of the copy processing in the information processing apparatus according to the present invention will be described with reference to the flowchart of FIG.

図13は、情報処理装置におけるコピー処理の一例を示すフローチャートである。本フローチャートは、記憶装置204に格納された本発明のプログラムがRAM203をワークエリアとしてCPU201が実行することにより実現される。   FIG. 13 is a flowchart illustrating an example of copy processing in the information processing apparatus. This flowchart is realized by the CPU 201 executing the program of the present invention stored in the storage device 204 using the RAM 203 as a work area.

まずステップS1301では、ホールド判定処理を行う。ホールド判定処理については、図17で後述するが、要はコピーやペーストを行う指ではない別の指でホール領域(ホールドエリア)内でタップされているかを判定する処理である。   First, in step S1301, hold determination processing is performed. The hold determination process will be described later with reference to FIG. 17. In short, the hold determination process is a process of determining whether or not the finger is tapped in the hole area (hold area) with another finger that is not a finger for copying or pasting.

ステップS1302では、ステップS1301で判定されたホールド状態が「ON」であるか「OFF」であるかを判断する。ホールド状態が「ON」であれば、ステップS1303に処理を進め、ホールド状態が「OFF」であれば、ステップS1304に処理を進める。   In step S1302, it is determined whether the hold state determined in step S1301 is “ON” or “OFF”. If the hold state is “ON”, the process proceeds to step S1303. If the hold state is “OFF”, the process proceeds to step S1304.

ステップS1303では、タップされているホールド領域の識別情報(ホールドID)をホールド領域情報(図18)から取得し、取得した識別情報に紐づけてコピー情報(選択領域のデータ)をクリップボードにコピー(記憶)する。   In step S1303, identification information (hold ID) of the tapped hold area is acquired from the hold area information (FIG. 18), and copy information (selected area data) is copied to the clipboard in association with the acquired identification information ( Remember.

また、ステップS1304では、ホールドされていないため、選択領域のデータであるコピー情報を、デフォルトの識別情報(ホールドID=「0」)でクリップボードにコピー(記憶)する。
次に、図14のフローチャートを参照しながら、本発明に係る情報処理装置におけるペースト処理(第一のペースト処理)の詳細について説明する。
In step S1304, since it is not held, copy information that is data of the selected area is copied (stored) to the clipboard with default identification information (hold ID = “0”).
Next, the details of the paste process (first paste process) in the information processing apparatus according to the present invention will be described with reference to the flowchart of FIG.

図14は、情報処理装置におけるペースト処理の一例を示すフローチャートである。本フローチャートは、記憶装置204に格納された本発明のプログラムがRAM203をワークエリアとしてCPU201が実行することにより実現される。   FIG. 14 is a flowchart illustrating an example of paste processing in the information processing apparatus. This flowchart is realized by the CPU 201 executing the program of the present invention stored in the storage device 204 using the RAM 203 as a work area.

まずステップS1401では、ホールド判定処理を行う。ホールド判定処理については、図17で後述するが、要はコピーやペーストを行う指ではない別の指でホール領域(ホールドエリア)内でタップされているかを判定する処理である。   First, in step S1401, hold determination processing is performed. The hold determination process will be described later with reference to FIG. 17. In short, the hold determination process is a process of determining whether or not the finger is tapped in the hole area (hold area) with another finger that is not a finger for copying or pasting.

ステップS1402では、ステップS1401で判定されたホールド状態が「ON」であるか「OFF」であるかを判断する。ホールド状態が「ON」であれば、ステップS1403に処理を進め、ホールド状態が「OFF」であれば、ステップS1404に処理を進める。   In step S1402, it is determined whether the hold state determined in step S1401 is “ON” or “OFF”. If the hold state is “ON”, the process proceeds to step S1403. If the hold state is “OFF”, the process proceeds to step S1404.

ステップS1403では、タップされているホールド領域の識別情報(ホールドID)をホールド領域情報(図18)から取得し、取得した識別情報に紐づけてクリップボードに記憶されているコピー情報(コピー対象のデータ)を取得する。   In step S1403, identification information (hold ID) of the tapped hold area is acquired from the hold area information (FIG. 18), and the copy information (data to be copied is stored in the clipboard in association with the acquired identification information. ) To get.

また、ステップS1404では、ホールドされていないため、デフォルトの識別情報(ホールドID=「0」)でクリップボードに記憶されているコピー情報(コピー対象のデータ)を取得する。   In step S1404, since it is not held, copy information (data to be copied) stored in the clipboard with default identification information (hold ID = “0”) is acquired.

そして、ステップS1405では、ステップS1403またはステップS1404で取得されたコピー情報を、タップに応じて表示されたカーソルで指定された挿入位置に、貼り付けて、表示部101に表示する。これにより、図5で説明したように、文字列データのペースト処理が行われる。
次に、図15のフローチャートを参照しながら、本発明に係る情報処理装置におけるペースト処理(第二のペースト処理)の詳細について説明する。
In step S1405, the copy information acquired in step S1403 or step S1404 is pasted at the insertion position designated by the cursor displayed in response to the tap and displayed on the display unit 101. Thereby, as described in FIG. 5, the paste processing of the character string data is performed.
Next, details of the paste process (second paste process) in the information processing apparatus according to the present invention will be described with reference to the flowchart of FIG.

図15は、情報処理装置におけるペースト処理の一例を示すフローチャートである。本フローチャートは、記憶装置204に格納された本発明のプログラムがRAM203をワークエリアとしてCPU201が実行することにより実現される。なお、第二のペースト処理は、貼り付ける(ペースト)前に貼り付け対象のデータを一覧表示してユーザに選択させる点が、第一のペースト処理との違いとなる。   FIG. 15 is a flowchart illustrating an example of paste processing in the information processing apparatus. This flowchart is realized by the CPU 201 executing the program of the present invention stored in the storage device 204 using the RAM 203 as a work area. The second paste process is different from the first paste process in that the data to be pasted is displayed in a list before being pasted (paste) and the user selects the data.

まずステップS1501では、ホールド判定処理を行う。ホールド判定処理については、図17で後述するが、要はコピーやペーストを行う指ではない別の指でホール領域(ホールドエリア)内でタップされているかを判定する処理である。   First, in step S1501, hold determination processing is performed. The hold determination process will be described later with reference to FIG. 17. In short, the hold determination process is a process of determining whether or not the finger is tapped in the hole area (hold area) with another finger that is not a finger for copying or pasting.

ステップS1502では、ステップS1501で判定されたホールド状態が「ON」であるか「OFF」であるかを判断する。ホールド状態が「ON」であれば、ステップS1503に処理を進め、ホールド状態が「OFF」であれば、ステップS1504に処理を進める。   In step S1502, it is determined whether the hold state determined in step S1501 is “ON” or “OFF”. If the hold state is “ON”, the process proceeds to step S1503. If the hold state is “OFF”, the process proceeds to step S1504.

ステップS1503では、タップされているホールド領域の識別情報(ホールドID)をホールド領域情報(図18)から取得し、取得した識別情報に紐づけてクリップボードに記憶されているコピー情報(コピー対象のデータ)を取得する。そして、次にホールドID順に順次データを取得する。具体的には、タップされているホールド領域の識別情報が「2」である場合、最初に「ホールドID=2」のコピー情報を取得し、続いて、「ホールドID=0」のコピー情報を取得し、続けて、「ホールドID=1」のコピー情報を取得する。以降は、順次ホールドIDを増やしてコピー情報を取得する。なお、「ホールドID=0」のコピー情報は、図16では表示されていないが、これは、ホールド領域をタップしてコピーしなければクリップボードに登録されないためである。   In step S1503, the identification information (hold ID) of the tapped hold area is acquired from the hold area information (FIG. 18), and the copy information (data to be copied) stored in the clipboard in association with the acquired identification information. ) To get. Then, data is sequentially acquired in the order of hold IDs. Specifically, when the identification information of the tapped hold area is “2”, first copy information of “hold ID = 2” is acquired, and subsequently, copy information of “hold ID = 0” is acquired. Subsequently, copy information of “hold ID = 1” is acquired. Thereafter, copy information is acquired by sequentially increasing the hold ID. Note that the copy information of “hold ID = 0” is not displayed in FIG. 16 because it is not registered in the clipboard unless the hold area is tapped to copy.

また、ステップS1504では、ホールドされていないため、デフォルトの識別情報(ホールドID=「0」)でクリップボードに記憶されているコピー情報(コピー対象のデータ)を取得する。そして、以降順次ホールドIDを増やしてコピー情報を取得する。   In step S1504, since it is not held, copy information (data to be copied) stored in the clipboard is acquired with default identification information (hold ID = “0”). Thereafter, the copy ID is acquired by sequentially increasing the hold ID.

そして、ステップS1505では、ステップS1503またはステップS1504で取得された複数のコピー情報を、タップに応じて表示されたカーソルで指定された挿入位置の近傍に表示される編集バルーンにペースト対象データとして一覧表示する。この一覧表示の順番は、ステップS1503またはステップS1504で複数のコピー情報を取得した順序になる。これにより、ホールドしている領域に対応する識別番号に対応するコピー情報が第一優先で表示され、ペースト対象として選択しやすくなる。   In step S1505, a plurality of pieces of copy information acquired in step S1503 or step S1504 are displayed as a list of paste target data in an edit balloon displayed in the vicinity of the insertion position designated by the cursor displayed in response to the tap. To do. This list display order is the order in which a plurality of pieces of copy information are acquired in step S1503 or step S1504. As a result, the copy information corresponding to the identification number corresponding to the held area is displayed with the first priority, and can be easily selected as the paste target.

つづいてステップS1506では、マルチタッチスクリーン206へのユーザのタッチ操作により、ペースト対象の一覧が表示されている編集バルーン領域から、ペースト処理するデータが選択されたかを判断する。
ペースト処理(貼り付け処理)するデータが選択されるまでは処理をループし、ペースト処理するデータが選択されるとステップS1507へ処理を進める。
ステップS1507では、選択指示されたコピー情報を、タップに応じて表示されたカーソルで指定された挿入位置に、貼り付けて、表示部101に表示する。
図16は、図15で説明したペースト対象のデータを一覧表示してユーザに選択させる形態のペースト操作処理を説明する図である。
In step S1506, it is determined whether data to be pasted is selected from the editing balloon area in which the list of paste targets is displayed by the user's touch operation on the multi-touch screen 206.
The process loops until the data to be pasted (pasted) is selected. When the data to be pasted is selected, the process proceeds to step S1507.
In step S1507, the copy information instructed to be selected is pasted at the insertion position designated by the cursor displayed in response to the tap and displayed on the display unit 101.
FIG. 16 is a diagram illustrating a paste operation process in which the paste target data described in FIG.

図16の例では、図5と同様に、本情報処理装置100の表示部101に表示される画面を表している。まずユーザが領域1601にタッチしている状態で、別の指で文字列を貼り付けたい位置をタッチすることにより選択すると、選択された位置にカーソルが移動し、編集バルーン1602が表示される。   The example of FIG. 16 represents a screen displayed on the display unit 101 of the information processing apparatus 100 as in FIG. First, when the user touches the area 1601 and selects the position where the character string is to be pasted with another finger, the cursor moves to the selected position and an editing balloon 1602 is displayed.

この編集バルーン1602で「ペースト」指示されると、ホールドされている(指で押さえられている)領域に対応づけられている識別情報(Hold ID)に対応するコピー情報がクリップボードから最初に読みだされて、順次デフォルトの識別情報に対応するコピー情報から順に識別情報が大きいコピー情報を読み出して、一覧1603を表示する。そして、ユーザがマルチタッチスクリーン206上でペースト対象のデータを選択すると、貼り付け位置、選択されたコピー情報を貼り付けて表示する。   When “paste” is instructed by the editing balloon 1602, firstly, the copy information corresponding to the identification information (Hold ID) associated with the held area (held by the finger) is read from the clipboard. Then, the copy information having the larger identification information is sequentially read from the copy information corresponding to the default identification information, and the list 1603 is displayed. When the user selects data to be pasted on the multi-touch screen 206, the pasting position and the selected copy information are pasted and displayed.

具体的には、図16で「ペースト」の操作を行った場合には、「Hold ID」が「2」に対応する「コピー情報」である「対象文字列B」が読みだされて、一覧の先頭に表示される。
次に、図17のフローチャートを参照しながら、本発明に係る情報処理装置におけるホールド判定処理の詳細について説明する。
Specifically, when the “paste” operation is performed in FIG. 16, “target character string B” that is “copy information” corresponding to “Hold ID” of “2” is read out, and the list is displayed. Is displayed at the beginning of
Next, details of the hold determination process in the information processing apparatus according to the present invention will be described with reference to the flowchart of FIG.

図17は、情報処理装置におけるホールド判定処理の一例を示すフローチャートである。本フローチャートは、記憶装置204に格納された本発明のプログラムがRAM203をワークエリアとしてCPU201が実行することにより実現される。   FIG. 17 is a flowchart illustrating an example of hold determination processing in the information processing apparatus. This flowchart is realized by the CPU 201 executing the program of the present invention stored in the storage device 204 using the RAM 203 as a work area.

まずステップS1701では、現在のホールド状態が「OFF」であるか判定する。図13のコピー処理、図14のペースト処理、図15のペースト処理のステップから呼び出されるのであれば、一度もホールド判定されていない場合になるため、ホールド状態が「OFF」となっており、図17のフローチャートで後述する「ON」に状態を変えなければ、このステップでは「YES」の判定がなされることになる。もし「ON」になっているのであれば、処理を抜ける。   First, in step S1701, it is determined whether the current hold state is “OFF”. If called from the steps of the copy process in FIG. 13, the paste process in FIG. 14, and the paste process in FIG. 15, since the hold determination has never been made, the hold state is “OFF”. If the state is not changed to “ON” which will be described later in the flowchart of FIG. 17, “YES” is determined in this step. If it is “ON”, the process is exited.

ホールド状態が「OFF」と判定された場合には、次のステップS1702で、マルチタッチスクリーン206で検出されたユーザの指のタッチ位置がホールド領域内であるかを判定する。ホールド領域内であると判定された場合には次のステップS1703に処理を進める。一方、ホールド領域外であると判定された場合、すなわち編集領域でタッチが検出された場合には、別の処理を行うことになるが、本発明では関係性が低いため他の説明は省略し、図17の処理を抜けることにする。   If it is determined that the hold state is “OFF”, it is determined in next step S1702 whether the touch position of the user's finger detected by the multi-touch screen 206 is within the hold area. If it is determined that it is within the hold area, the process proceeds to the next step S1703. On the other hand, when it is determined that it is outside the hold area, that is, when a touch is detected in the editing area, another process is performed. However, in the present invention, since the relationship is low, other explanation is omitted. Then, the processing of FIG.

ステップS1702でホールド領域内であると判定された場合には、ステップS1703で、タップ確定判定処理を行う。このタップ確定判定処理は、図12で説明した処理に相当する。ただし、図17のステップS1703から呼び出しているため、図12の処理で「Return」されると、ステップS1704に戻ることになる。   If it is determined in step S1702 that the current position is within the hold area, a tap confirmation process is performed in step S1703. This tap confirmation determination process corresponds to the process described with reference to FIG. However, since the call is made from step S1703 in FIG. 17, when “Return” is made in the process of FIG. 12, the process returns to step S1704.

ステップS1704では、ステップS1703のタップ確定判定処理の結果、タップが確定したか否かを判断する。タップが確定した場合にはステップS1705に処理を進め、タップが未確定で「Return」されたきた場合にはステップS1707へ処理を進める。
ステップS1705では、ホールド状態を「ON」に設定する。なお、ホールド状態のフラグは記憶装置204に記憶されるものとする。
In step S1704, it is determined whether or not the tap is confirmed as a result of the tap confirmation process in step S1703. If the tap is confirmed, the process proceeds to step S1705, and if the tap is not confirmed and “Return” is performed, the process proceeds to step S1707.
In step S1705, the hold state is set to “ON”. Note that the flag in the hold state is stored in the storage device 204.

そして、ステップS1706で、ホールドエリアに対応した識別情報を図18のホールド領域情報から特定し、特定された識別情報(ホールドID)を保持して、処理を抜ける。   In step S1706, identification information corresponding to the hold area is specified from the hold area information shown in FIG. 18, the specified identification information (hold ID) is held, and the process is exited.

ステップS1707では、ホールド状態を「OFF」に設定し、ステップS1708では、デフォルトの識別情報である「ホールドID=0」を保持して処理を抜ける。
このように保持された識別情報は、図13のステップS1303、図14のステップS1403、図15のステップS1503で用いられることになる。
In step S1707, the hold state is set to “OFF”, and in step S1708, the default identification information “hold ID = 0” is held and the process is exited.
The identification information held in this way is used in step S1303 in FIG. 13, step S1403 in FIG. 14, and step S1503 in FIG.

なお、本実施の形態では、ホールド判定処理は、図13のコピー処理、図14のペースト処理、図15のペースト処理から呼び出されるものとして説明したがこれに限るものではない。すなわち、図12のタップ確定判定処理で、タップ確定(ステップS1206)およびタップ未確定(ステップS1205)の後に、「A」で示される位置に処理を移してもよい。この場合、図12でタップが確定/未確定になると、S1704で、タップが確定されたかにより処理を分岐させ、ステップS1705およびステップS1707でホールド状態を設定してもよい。このように構成することで、最初のタッチ検出のときに、ホールド領域でタップを確定してホールド状態を設定することができ、最初の指でホールドさせて、別の指でコピーまたはペーストの指示を行う操作手順を実現することが可能となる。
図18は、識別情報とホールド領域を定義しているホールド領域情報の一例を示す図である。
In the present embodiment, the hold determination process is described as being called from the copy process of FIG. 13, the paste process of FIG. 14, and the paste process of FIG. 15, but the present invention is not limited to this. That is, in the tap confirmation process of FIG. 12, after the tap confirmation (step S1206) and the tap unconfirmed (step S1205), the process may be moved to the position indicated by “A”. In this case, when the tap is confirmed / unconfirmed in FIG. 12, the process may be branched depending on whether the tap is confirmed in S1704, and the hold state may be set in steps S1705 and S1707. With this configuration, when the first touch is detected, the tap can be confirmed in the hold area and the hold state can be set. The first finger can be held, and another finger can be used to copy or paste. It is possible to realize an operation procedure for performing the above.
FIG. 18 is a diagram illustrating an example of hold area information defining identification information and a hold area.

図18に示されるように、識別情報であるホールドIDに対応するホールド領域が定義されている。ホールド領域は、矩形領域となっており、対角点の座標情報が記憶されている。そして、縦長フラグは、重力制御部805により検出された天地方向により判断される、情報処理装置100が縦向きに表示されているか、横向きに表示されているかにより、いずれのホールド領域が適用されるかを判断するためのフラグである。具体的には、情報処理装置が縦向きに表示されている場合には、縦長フラグが「1」となっているホールド領域が選択される。一方、情報処理装置が横向きに表示されている場合には、縦長フラグが「0」となっているホールド領域が選択される。
次に、図19のフローチャートを参照しながら、本発明に係る情報処理装置におけるコピー情報検索処理の詳細について説明する。
As shown in FIG. 18, a hold area corresponding to a hold ID that is identification information is defined. The hold area is a rectangular area and stores coordinate information of diagonal points. The vertically long flag is determined based on the vertical direction detected by the gravity control unit 805, and which hold area is applied depending on whether the information processing apparatus 100 is displayed vertically or horizontally. It is a flag for determining whether or not. Specifically, when the information processing apparatus is displayed in the portrait orientation, the hold area whose portrait flag is “1” is selected. On the other hand, when the information processing apparatus is displayed in the landscape orientation, the hold area whose portrait flag is “0” is selected.
Next, details of the copy information search process in the information processing apparatus according to the present invention will be described with reference to the flowchart of FIG.

図19は、情報処理装置におけるコピー情報検索処理の一例を示すフローチャートである。本フローチャートは、記憶装置204に格納された本発明のプログラムがRAM203をワークエリアとしてCPU201が実行することにより実現される。なお、この処理は、図11のステップS1103の詳細処理に相当する。   FIG. 19 is a flowchart illustrating an example of copy information search processing in the information processing apparatus. This flowchart is realized by the CPU 201 executing the program of the present invention stored in the storage device 204 using the RAM 203 as a work area. This process corresponds to the detailed process of step S1103 in FIG.

まずステップS1901では、ホールド状態が「ON」であるか判定される。ホールド状態が「ON」であれば、ステップS1902に処理を進め、ホールド状態が「OFF」であれば、ステップS1903に処理を進める。   First, in step S1901, it is determined whether the hold state is “ON”. If the hold state is “ON”, the process proceeds to step S1902. If the hold state is “OFF”, the process proceeds to step S1903.

ステップS1902では、ホールドされていることになるため、識別情報であるホールドIDに応じて、クリップボード中のコピー情報を検索し、検索結果を保持して処理を終了する。   In step S1902, since it is held, the copy information in the clipboard is searched according to the hold ID that is identification information, the search result is held, and the process is terminated.

ステップS1903では、ホールドされていないことになるため、デフォルトの識別情報に対応するコピー情報がクリップボード中に存在するか検索する。また、ここでは、識別情報順に検索してもよい。   In step S1903, it is determined that the copy information corresponding to the default identification information exists in the clipboard because it is not held. Here, the search may be performed in the order of the identification information.

このようにコピー情報を検索することにより、図11のステップS1105やステップS1107では、コピー情報があるか否かにより、表示する編集バルーンの指示部の種別を切り替えることができ、操作できない指示部を表示してユーザの誤操作を防止することができる。   By searching for copy information in this way, in step S1105 or step S1107 in FIG. 11, the type of instruction part of the editing balloon to be displayed can be switched depending on whether or not there is copy information. It is possible to prevent erroneous operation by the user.

以上説明したように、本実施の形態によれば、複数個所のタッチを同時検出可能なタッチパネル表示部を用いて、コピーすべき情報を識別して記憶でき、任意の順序で読みだして貼り付けることが可能となる。
なお、上述した各種データの構成及びその内容はこれに限定されるものではなく、用途や目的に応じて、様々な構成や内容で構成されることは言うまでもない。
As described above, according to the present embodiment, information to be copied can be identified and stored using a touch panel display unit capable of simultaneously detecting a plurality of touches, and read and pasted in an arbitrary order. It becomes possible.
It should be noted that the configuration and contents of the various data described above are not limited to this, and it goes without saying that the various data and configurations are configured according to the application and purpose.

また、本発明におけるプログラムは、図11〜図15、図17、図19に示すフローチャートの処理方法をコンピュータが実行可能なプログラムであり、本発明の記憶媒体は図11〜図15、図17、図19の処理方法をコンピュータが実行可能なプログラムが記憶されている。なお、本発明におけるプログラムは図11〜図15、図17、図19の各装置の処理方法ごとのプログラムであってもよい。   The program according to the present invention is a program that allows a computer to execute the processing methods of the flowcharts shown in FIGS. 11 to 15, 17, and 19, and the storage medium according to the present invention includes FIGS. 11 to 15, 17, and 17. A program capable of executing the processing method of FIG. 19 by a computer is stored. The program in the present invention may be a program for each processing method of each device in FIGS. 11 to 15, 17, and 19.

以上のように、前述した実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記録媒体に格納されたプログラムを読出し実行することによっても、本発明の目的が達成されることは言うまでもない。   As described above, a recording medium that records a program that implements the functions of the above-described embodiments is supplied to a system or apparatus, and a computer (or CPU or MPU) of the system or apparatus stores the program stored in the recording medium. It goes without saying that the object of the present invention can also be achieved by executing the reading.

この場合、記録媒体から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記憶した記録媒体は本発明を構成することになる。   In this case, the program itself read from the recording medium realizes the novel function of the present invention, and the recording medium storing the program constitutes the present invention.

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、CD−ROM、CD−R、DVD−ROM、磁気テープ、不揮発性のメモリカード、ROM、EEPROM、シリコンディスク、ソリッドステートドライブ等を用いることができる。   As a recording medium for supplying the program, for example, a flexible disk, hard disk, optical disk, magneto-optical disk, CD-ROM, CD-R, DVD-ROM, magnetic tape, nonvolatile memory card, ROM, EEPROM, silicon A disk, solid state drive, or the like can be used.

また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータ上で稼働しているOS(オペレーティングシステム)等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。   Further, by executing the program read by the computer, not only the functions of the above-described embodiments are realized, but also an OS (operating system) operating on the computer based on an instruction of the program is actually It goes without saying that a case where the function of the above-described embodiment is realized by performing part or all of the processing and the processing is included.

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPU等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。   Furthermore, after the program read from the recording medium is written to the memory provided in the function expansion board inserted into the computer or the function expansion unit connected to the computer, the function expansion board is based on the instructions of the program code. It goes without saying that the case where the CPU or the like provided in the function expansion unit performs part or all of the actual processing and the functions of the above-described embodiments are realized by the processing.

さらに、本発明を達成するためのプログラムをネットワーク上のサーバ、データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。
なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。
Furthermore, by downloading and reading a program for achieving the present invention from a server, database, etc. on a network using a communication program, the system or apparatus can enjoy the effects of the present invention.
In addition, all the structures which combined each embodiment mentioned above and its modification are also included in this invention.

100 情報処理装置
801 入出力制御部
802 入力操作識別部
803 表示処理部
804 オブジェクト処理部
805 重力制御部
DESCRIPTION OF SYMBOLS 100 Information processing apparatus 801 Input / output control part 802 Input operation identification part 803 Display processing part 804 Object processing part 805 Gravity control part

Claims (6)

多点入力が可能なマルチタッチ表示部を搭載した情報処理装置であって、
マルチタッチ表示部のタッチ位置の位置情報を取得する取得手段と、
前記取得手段により取得したタッチ位置の位置情報に従って、データが表示される表示領域に貼り付けるデータを、コピー情報として対応付ける領域であるホールド領域がタッチされた状態で、前記表示領域がタッチされていることを検出する検出手段と、
前記検出手段により、前記ホールド領域がタッチされている状態で前記表示領域がタッチされていること検出され、前記ホールド領域にコピー情報が対応付けられていない場合に、前記表示領域上のタッチがされた位置のデータを、コピー情報として前記タッチされているホールド領域に対応付けるコピー指示が可能なコピー指示部を表示し、
前記検出手段により、前記ホールド領域がタッチされている状態で前記表示領域がタッチされていること検出され、前記ホールド領域にコピー情報が対応付けられている場合に、前記タッチされているホールド領域に対応付けられたコピー情報を、前記表示領域上のタッチがされた位置に貼り付けるペースト指示が可能なペースト指示部を表示する表示制御手段と
備えることを特徴とする情報処理装置。
An information processing apparatus equipped with a multi-touch display unit capable of multipoint input,
Obtaining means for obtaining position information of a touch position of the multi-touch display unit;
According to the position information on the touch position Ri acquired by the acquiring unit, the data to be pasted to the display area data is displayed in a state where the hold area which is an area that associates the copy information is touched, the display area detecting means for detecting that it is touched,
By the detecting means, wherein said display area in a state in which the hold area is touched is detected to have been touched, if the copy information in the hold area is not associated with a touch on the display region is the data of the positions, displays the copy instruction copy instructions are part capable that associates to the hold region being the touch as copy information,
By the detector, the hold area it is detected that the said display area in a state of being touched is touched, if the copy information is associated with the holding area, the hold area is the touch copy information associated with the information processing apparatus characterized by comprising a display control means for displaying the display paste instruction pastes instruction unit touch that stuck to the position of the region.
前記コピー指示は、前記表示領域に表示されたデータのカットの指示であるカット指示を含むことを特徴とする請求項1に記載の情報処置装置。The information processing apparatus according to claim 1, wherein the copy instruction includes a cut instruction that is an instruction to cut data displayed in the display area. 前記表示制御手段で表示されたペースト指示部において、前記ペースト指示を受け付けた場合、前記表示領域上のタッチがされた位置に貼り付けるコピー情報を選択するための一覧表示する一覧表示手段
を更に備え、
前記一覧表示手段は、前記タッチされているホールド領域に対応付けられたコピー情報を他のホールド領域に対応付けられたコピー情報に優先して表示するように、前記タッチされているホールド領域に対応付けられたコピー情報と当該他のホールド領域に対応付けられたコピー情報とを合わせて、一覧表示することを特徴とする請求項1又は2に記載の情報処理装置。
In the display paste instruction unit displayed in the control unit, when receiving the paste instruction, further comprising a list display means for listing for selecting the display area on the copy information to paste the touch position ,
The list display means corresponds to the touched hold area so that the copy information associated with the touched hold area is displayed with priority over the copy information associated with another hold area. Tagged by combining the copy information and the copy information associated with the other holding areas, the information processing apparatus according to claim 1 or 2, characterized in that list.
重力方向を検出することにより、本情報処理装置の向きが縦向きであるか横向きであるかを判定する判定手段と、
前記判定手段により本情報処理装置が縦向きであると判定された場合に当該縦向きの場合のホールド領域の位置情報と、前記取得手段により取得したタッチ位置に基づいて、タッチされているホールド領域を特定し、前記判定手段により本情報処理装置が横向きであると判定された場合に当該横向きの場合のホールド領域の位置情報と、前記取得手段により取得したタッチ位置に基づいて、タッチされているホールド領域を特定する特定手段と、
前記コピー指示部でコピー指示を受け付けた場合に、前記特定手段で特定された前記ホールド領域に、前記表示領域上のタッチがされた位置のデータを、コピー情報として対応付けて記憶するコピー情報記憶手段と、
前記ペースト指示部でペースト指示を受け付けた場合に、前記特定手段で特定されたホールド領域に対応付けられたコピー情報を、前記表示領域上のタッチがされた位置に貼り付けるペースト手段と、
を備えることを特徴とする請求項1乃至3のいずれか1項に記載の情報処理装置。
Determining means for determining whether the direction of the information processing apparatus is vertical or horizontal by detecting the direction of gravity;
When the information processing apparatus is determined to be vertical by said determining means, the position information of the holding region when the said vertical, based on the touch position acquired by the acquisition unit is touched identifying the hold area, when the information processing apparatus is determined to be horizontal by the determination unit, the position information of the holding region when the said lateral, based on the touch position acquired by the acquisition unit, A specifying means for specifying the hold area being touched;
Copy information storage for storing, as copy information, data of a position touched on the display area in the hold area specified by the specifying means when a copy instruction is received by the copy instruction unit Means,
A paste unit that pastes the copy information associated with the hold area specified by the specifying unit to the touched position on the display area when the paste instruction is received by the paste instruction unit;
The information processing apparatus according to any one of claims 1 to 3, further comprising:
多点入力が可能なマルチタッチ表示部を搭載した情報処理装置における情報処理方法であって、
マルチタッチ表示部のタッチ位置の位置情報を取得する取得工程と、
前記取得工程により取得したタッチ位置の位置情報に従って、データが表示される表示領域に貼り付けるデータを、コピー情報として対応付ける領域であるホールド領域がタッチされた状態で、前記表示領域がタッチされていることを検出する検出工程と、
前記検出工程により、前記ホールド領域がタッチされている状態で前記表示領域がタッチされていること検出され、前記ホールド領域にコピー情報が対応付けられていない場合に、前記表示領域上のタッチがされた位置のデータを、コピー情報として前記タッチされているホールド領域に対応付けるコピー指示が可能なコピー指示部を表示し、
前記検出工程により、前記ホールド領域がタッチされている状態で前記表示領域がタッチされていること検出され、前記ホールド領域にコピー情報が対応付けられている場合に、前記タッチされているホールド領域に対応付けられたコピー情報を、前記表示領域上のタッチがされた位置に貼り付けるペースト指示が可能なペースト指示部を表示する表示制御工程と
を含むことを特徴とする情報処理方法。
An information processing method in an information processing apparatus equipped with a multi-touch display unit capable of multipoint input,
An acquisition step of acquiring position information of a touch position of the multi-touch display unit;
According to the position information on the touch position acquired Ri by said acquisition step, the data to be pasted to the display area data is displayed in a state where the hold area which is an area that associates the copy information is touched, the display area a detection step of detecting that it is touched,
By the detecting step, wherein the display area in a state where the hold area is touched is detected to have been touched, if the copy information in the hold area is not associated with a touch on the display region is the data of the positions, displays the copy instruction copy instructions are part capable that associates to the hold region being the touch as copy information,
By the detecting step, wherein the hold area it is detected that the said display area in a state of being touched is touched, if the copy information is associated with the holding area, the hold area is the touch the information processing method characterized by the copy information associated with, and a display control step of displaying said display touch can paste that the paste instruction to the position paste instruction section on the region.
多点入力が可能なマルチタッチ表示部を搭載した情報処理装置で読み取り実行されるプログラムであって、
前記情報処理装置を、
マルチタッチ表示部のタッチ位置の位置情報を取得する取得手段と、
前記取得手段により取得したタッチ位置の位置情報に従って、データが表示される表示領域に貼り付けるデータを、コピー情報として対応付ける領域であるホールド領域がタッチされた状態で、前記表示領域がタッチされていることを検出する検出手段と、
前記検出手段により、前記ホールド領域がタッチされている状態で前記表示領域がタッチされていること検出され、前記ホールド領域にコピー情報が対応付けられていない場合に、前記表示領域上のタッチがされた位置のデータを、コピー情報として前記タッチされているホールド領域に対応付けるコピー指示が可能なコピー指示部を表示し、
前記検出手段により、前記ホールド領域がタッチされている状態で前記表示領域がタッチされていること検出され、前記ホールド領域にコピー情報が対応付けられている場合に、前記タッチされているホールド領域に対応付けられたコピー情報を、前記表示領域上のタッチがされた位置に貼り付けるペースト指示が可能なペースト指示部を表示する表示制御手段と
して機能させることを特徴とするプログラム。
A program that is read and executed by an information processing apparatus equipped with a multi-touch display unit capable of multipoint input,
The information processing apparatus;
Obtaining means for obtaining position information of a touch position of the multi-touch display unit;
According to the position information on the touch position Ri acquired by the acquiring unit, the data to be pasted to the display area data is displayed in a state where the hold area which is an area that associates the copy information is touched, the display area detecting means for detecting that it is touched,
By the detecting means, wherein said display area in a state in which the hold area is touched is detected to have been touched, if the copy information in the hold area is not associated with a touch on the display region is the data of the positions, displays the copy instruction copy instructions are part capable that associates to the hold region being the touch as copy information,
By the detector, the hold area it is detected that the said display area in a state of being touched is touched, if the copy information is associated with the holding area, the hold area is the touch program copies information associated, characterized in that to function as a display control means for paste instructions that stuck to the touch position on the display area to display the paste instruction unit capable to.
JP2013049010A 2013-03-12 2013-03-12 Information processing apparatus, information processing method, and program thereof Expired - Fee Related JP5621866B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013049010A JP5621866B2 (en) 2013-03-12 2013-03-12 Information processing apparatus, information processing method, and program thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013049010A JP5621866B2 (en) 2013-03-12 2013-03-12 Information processing apparatus, information processing method, and program thereof

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2010244771A Division JP5229750B2 (en) 2010-10-29 2010-10-29 Information processing apparatus, information processing method, and program thereof

Publications (3)

Publication Number Publication Date
JP2013109785A JP2013109785A (en) 2013-06-06
JP2013109785A5 JP2013109785A5 (en) 2014-05-01
JP5621866B2 true JP5621866B2 (en) 2014-11-12

Family

ID=48706408

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013049010A Expired - Fee Related JP5621866B2 (en) 2013-03-12 2013-03-12 Information processing apparatus, information processing method, and program thereof

Country Status (1)

Country Link
JP (1) JP5621866B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6451225B2 (en) * 2014-11-06 2019-01-16 セイコーエプソン株式会社 Display device, projector, and display control method

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005250896A (en) * 2004-03-04 2005-09-15 Sanyo Electric Co Ltd Data input support device, data input support method, and program
CN101932992A (en) * 2008-01-25 2010-12-29 传感器公司 Touch sensitive panel
JP2010055207A (en) * 2008-08-26 2010-03-11 Ricoh Co Ltd Character input device, character input method, program, and storage medium
KR101593598B1 (en) * 2009-04-03 2016-02-12 삼성전자주식회사 Method for activating function of portable terminal using user gesture in portable terminal

Also Published As

Publication number Publication date
JP2013109785A (en) 2013-06-06

Similar Documents

Publication Publication Date Title
JP5229750B2 (en) Information processing apparatus, information processing method, and program thereof
US11556241B2 (en) Apparatus and method of copying and pasting content in a computing device
JP6506347B2 (en) Electronic device and home screen editing method thereof
EP3008575B1 (en) Natural quick function gestures
JP5982369B2 (en) Folder operation method and apparatus in touch-sensitive device
US20120144293A1 (en) Display apparatus and method of providing user interface thereof
EP2437151B1 (en) Apparatus and method for turning e-book pages in portable terminal
US10019154B2 (en) Method, apparatus and computer program product for operating items with multiple fingers
US10282219B2 (en) Consolidated orthogonal guide creation
CN104285200B (en) Method and apparatus for controlling the menu in media apparatus
KR20150070282A (en) Thumbnail and document map based navigation in a document
EP2764427A1 (en) Method and electronic device for manipulating a first or a second user interface object
US20130246975A1 (en) Gesture group selection
KR20140069943A (en) Apparatus and method for processing a contents of portable terminal
JP6048408B2 (en) Electronic sticky note information processing apparatus and method
CN103279263A (en) Method and system for rapidly creating and editing folders
JP5621866B2 (en) Information processing apparatus, information processing method, and program thereof
JP2018005521A (en) Information processing apparatus, information processing method, and program therefor
US20150046855A1 (en) Electronic apparatus, control method for electronic apparatus, and program
JP2014127159A (en) Electronic apparatus and input method
JP5749245B2 (en) Electronic device, display method, and display program
JP2015109116A (en) Electronic apparatus, display method and display program

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20130531

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20130531

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131028

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140318

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140826

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140908

R150 Certificate of patent or registration of utility model

Ref document number: 5621866

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313115

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313115

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees