JP6466527B2 - Display device, display method, and program - Google Patents

Display device, display method, and program Download PDF

Info

Publication number
JP6466527B2
JP6466527B2 JP2017149904A JP2017149904A JP6466527B2 JP 6466527 B2 JP6466527 B2 JP 6466527B2 JP 2017149904 A JP2017149904 A JP 2017149904A JP 2017149904 A JP2017149904 A JP 2017149904A JP 6466527 B2 JP6466527 B2 JP 6466527B2
Authority
JP
Japan
Prior art keywords
icon
content
displayed
display
partial image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2017149904A
Other languages
Japanese (ja)
Other versions
JP2017212005A (en
Inventor
康二 佐藤
康二 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2017149904A priority Critical patent/JP6466527B2/en
Publication of JP2017212005A publication Critical patent/JP2017212005A/en
Application granted granted Critical
Publication of JP6466527B2 publication Critical patent/JP6466527B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、表示装置等に関する。   The present invention relates to a display device and the like.

近年、スマートフォン及びタブレット等の携帯型の情報処理装置が普及している。そのユーザインターフェイス装置として、画像表示面上にタッチパネルが配置されたディスプレイ(以下、タッチパネルディスプレイという)が採用されている。ユーザは、タッチパネルディスプレイに表示された対象を直接タッチ操作することができる。   In recent years, portable information processing devices such as smartphones and tablets have become widespread. As the user interface device, a display in which a touch panel is arranged on an image display surface (hereinafter referred to as a touch panel display) is employed. The user can directly touch the target displayed on the touch panel display.

この影響もあり、コンピュータにおいてもタッチパネルディスプレイが搭載され、従来のコンピュータ用キーボード(以下、単にキーボードという)及びコンピュータ用マウス(以下、単にマウスという)の代りに、タッチ操作が採用されるようになってきた。タッチ操作を想定したユーザインターフェイスを採用したオペレーティングシステム(以下、OSという)も提供されている。   Due to this influence, a touch panel display is also installed in a computer, and a touch operation is adopted instead of a conventional computer keyboard (hereinafter simply referred to as a keyboard) and a computer mouse (hereinafter simply referred to as a mouse). I came. An operating system (hereinafter referred to as an OS) that employs a user interface that assumes a touch operation is also provided.

タッチパネルディスプレイに関しては、その大画面化が進展しており、今後、タッチパネルディスプレイが種々の用途に使用されることが予想される。例えば、電子黒板等の用途は元より、画像表示面を水平に配置して、タッチ操作可能なテーブル(事務用テーブル又は会議用テーブル等)として使用することが提案されている。   Regarding the touch panel display, the enlargement of the screen has progressed, and it is expected that the touch panel display will be used for various purposes in the future. For example, it has been proposed to use an electronic blackboard or the like as a table (such as an office table or a conference table) in which an image display surface is horizontally arranged and can be touched.

このようなタッチ操作可能な画像表示装置の普及に伴い、ユーザインターフェイスの改善が要望されている。例えば、下記特許文献1には、ノート型のパーソナルコンピュータにおいて、本体部に対して表示部を閉状態から開方向に180度回動させて、液晶パネルに表示される画像情報をユーザ以外の他の人に見せる場合、他の人には、画像情報が逆さまに見えるために視認性が損なわれるという問題を解決するための技術が開示されている。   With the widespread use of such touch-operable image display devices, improvements in user interfaces are desired. For example, in Patent Document 1 below, in a notebook personal computer, the display unit is rotated 180 degrees from the closed state to the open direction with respect to the main body unit, and the image information displayed on the liquid crystal panel is displayed by a user other than the user. A technique for solving the problem that visibility is impaired because image information looks upside down is disclosed to other people.

特許文献1に開示されたノート型パーソナルコンピュータは、カーソルを操作するためのタッチパッドを備えており、アプリケーションプログラムを起動し、対応するウィンドウを表示すると、回転表示プログラムを起動する。表示された各ウィンドウ内には、そのウィンドウを回転させるための表示方向を矢印で示した3種類の個別表示方向指定ボタンが設けられている。個別表示方向指定ボタンが、タッチパッドによりクリックされると、そのウィンドウの対角線の交点を中心にして、そのウィンドウが、指示された方向に回転する。また、特許文献1には、表示されている複数のウィンドウ方向を一括して変更するための一括表示方向指定ボタン、及び、選択されたウィンドウを任意の角度回転させるための自由回転指定ボタンを、画面の右下隅に表示することを開示している。   The notebook personal computer disclosed in Patent Document 1 includes a touch pad for operating a cursor, and starts a rotation display program when an application program is started and a corresponding window is displayed. Within each displayed window, there are provided three types of individual display direction designating buttons whose arrows indicate the display direction for rotating the window. When the individual display direction designation button is clicked by the touch pad, the window rotates in the designated direction around the intersection of the diagonal lines of the window. Patent Document 1 includes a batch display direction designation button for collectively changing a plurality of displayed window directions, and a free rotation designation button for rotating the selected window at an arbitrary angle. The display in the lower right corner of the screen is disclosed.

特開2000−305693号公報JP 2000-305893 A

しかし、大画面のタッチパネルディスプレイについては操作性向上に関して依然として課題がある。特に、大画面のタッチパネルディスプレイを、画像表示面を水平に配置して、テーブルとして使用したインターフェイス装置(以下、テーブル型インターフェイス装置ともいう)においては、画面の特定の方向が基準方向として設計されていることにより問題が生じ得る。テーブル型インターフェイス装置に限らないが、通常、表示画面の4つの辺のうち、特定の1つの辺から表示画面の中心を見た場合に、表示された画像が正立した画像として視認できる方向(特定の辺から画面の中心に向かう方向)が基準方向として設定されている。   However, a large-screen touch panel display still has a problem with respect to improving operability. In particular, in an interface device using a large-screen touch panel display as a table with an image display surface arranged horizontally (hereinafter also referred to as a table-type interface device), a specific direction of the screen is designed as a reference direction. Can cause problems. Although not limited to the table type interface device, the direction in which the displayed image can be visually recognized as an upright image when the center of the display screen is viewed from one specific side of the four sides of the display screen ( The direction from the specific side toward the center of the screen is set as the reference direction.

テーブル型インターフェイス装置を複数のユーザで共有し、画面に配置されたコンテンツ(ファイル)及びショートカットを表すアイコンを操作して、種々のアプリケーションプログラム(以下、単にアプリケーションともいう)を実行しながら共同作業を行なう場合、画面に表示される部分画像(アイコン及びウィンドウ等)は、基準方向と同じ方向で見るユーザ(特定の辺の付近にいるユーザ)には正立画像として視認される。しかし、他の3辺の付近にいるユーザは、部分画像を横方向から見る、又は倒立方向から見ることになるので、部分画像を容易に把握できない場合がある。アイコンには、対応するコンテンツを特定する情報(例えば、ファイル名)がテキストで表示される。このテキスト情報は、基準方向以外の3方向から見るユーザには、特に把握が難しい場合がある。   A table-type interface device is shared by a plurality of users, and collaborative work is performed while operating various application programs (hereinafter also simply referred to as applications) by operating contents (files) arranged on the screen and icons representing shortcuts. When performing, the partial image (icon, window, etc.) displayed on the screen is visually recognized as an erect image by a user (a user near a specific side) viewing in the same direction as the reference direction. However, since the user near the other three sides sees the partial image from the lateral direction or from the inverted direction, the partial image may not be easily grasped. In the icon, information (for example, a file name) specifying the corresponding content is displayed in text. This text information may be particularly difficult to grasp for a user viewing from three directions other than the reference direction.

この問題は、テーブル型インターフェイス装置に限らず、表示部を略水平に配置することができるノート型コンピュータ、及びタブレット型コンピュータ等においても、生じ得る。   This problem may occur not only in the table type interface device but also in a notebook computer, a tablet computer, or the like in which the display unit can be arranged substantially horizontally.

特許文献1に開示された、表示されたウィンドウを回転させる技術により、基準方向以外の方向からもウィンドウを正立画像として視認可能になる。しかし、画面の基準方向以外の方向からアイコンの把握が容易ではないというこの問題は、特許文献1に開示された技術によっても解決することはできない。また、一旦、基準方向に沿って表示されたウィンドウを、ユーザが回転させる操作を行なうことが必要であり、煩雑である問題がある。   With the technique of rotating the displayed window disclosed in Patent Document 1, the window can be viewed as an upright image from a direction other than the reference direction. However, this problem that it is not easy to grasp an icon from a direction other than the reference direction of the screen cannot be solved even by the technique disclosed in Patent Document 1. Moreover, it is necessary for the user to perform an operation to rotate the window once displayed along the reference direction, which is complicated.

したがって、本発明は、ユーザにとって、画面に表示されたコンテンツの把握を容易にすることができる表示装置等を提供することを目的とする。   Therefore, an object of the present invention is to provide a display device and the like that can make it easy for a user to grasp content displayed on a screen.

上述した課題を解決するために、本発明の表示装置は、
対応するコンテンツを特定する部分画像を画面に表示する部分画像表示手段と、
部分画像毎に、少なくとも向きの属性を割り当てて管理する属性管理手段と、
前記部分画像が指定された場合に、コンテンツを表示するコンテンツ表示手段と
を備え、
前記コンテンツ表示手段は、前記コンテンツを表示するときに、当該コンテンツを特定する部分画像の属性を読み出し、前記部分画像と前記コンテンツとの正立方向とが一致するように前記コンテンツを表示させることを特徴とする。
In order to solve the above-described problems, the display device of the present invention includes:
Partial image display means for displaying a partial image for identifying the corresponding content on the screen;
Attribute management means for assigning and managing at least an orientation attribute for each partial image;
Content display means for displaying content when the partial image is designated,
The content display means reads the attribute of a partial image that identifies the content when displaying the content, and displays the content so that the erect direction of the partial image and the content match. Features.

本発明の表示方法は、
対応するコンテンツを特定する部分画像を表示装置の画面に表示する部分画像表示ステップと、
部分画像毎に、少なくとも向きの属性を割り当てて管理する属性管理ステップと、
前記部分画像が指定された場合に、コンテンツを表示するコンテンツ表示ステップと
を含み、
前記コンテンツ表示ステップは、前記コンテンツを表示するときに、当該コンテンツを特定する部分画像の属性を読み出し、前記部分画像と前記コンテンツとの正立方向とが一致するように前記コンテンツを表示させることを特徴とする。
The display method of the present invention includes:
A partial image display step for displaying a partial image for identifying the corresponding content on the screen of the display device;
An attribute management step for assigning and managing at least an orientation attribute for each partial image,
A content display step of displaying content when the partial image is designated, and
In the content display step, when the content is displayed, the attribute of the partial image that specifies the content is read, and the content is displayed so that the erect direction of the partial image and the content matches. Features.

本発明のプログラムは、
コンピュータに、
対応するコンテンツを特定する部分画像を画面に表示する部分画像表示機能と、
部分画像毎に、少なくとも向きの属性を割り当てて管理する属性管理機能と、
前記部分画像が指定された場合に、コンテンツを表示するコンテンツ表示機能と
を実現させるプログラムであって、
前記コンテンツ表示機能は、前記コンテンツを表示するときに、当該コンテンツを特定する部分画像の属性を読み出し、前記部分画像と前記コンテンツとの正立方向とが一致するように前記コンテンツを表示させることを特徴とする。
The program of the present invention
On the computer,
A partial image display function for displaying a partial image for identifying the corresponding content on the screen;
An attribute management function that assigns and manages at least an orientation attribute for each partial image,
A program for realizing a content display function for displaying content when the partial image is designated,
The content display function reads the attribute of a partial image that identifies the content when displaying the content, and causes the content to be displayed so that the erect direction of the partial image and the content match. Features.

本発明によれば、対応するコンテンツを特定する部分画像を画面に表示し、この部分画像毎に、少なくとも向きの属性を割り当てて管理している。ここで、部分画像が指定された場合に、コンテンツを表示することとなるが、コンテンツを表示するときに、コンテンツを特定する部分画像の属性を読み出し、部分画像と前記コンテンツとの正立方向とが一致するようにコンテンツを表示させることができるようになる。   According to the present invention, a partial image for specifying the corresponding content is displayed on the screen, and at least an orientation attribute is assigned and managed for each partial image. Here, when a partial image is designated, the content is displayed. When the content is displayed, the attribute of the partial image specifying the content is read, and the erecting direction between the partial image and the content is determined. The content can be displayed so as to match.

本発明の第1の実施の形態に係るインターフェイス装置の構成の概略を示すブロック図である。It is a block diagram which shows the outline of a structure of the interface apparatus which concerns on the 1st Embodiment of this invention. タッチ入力の検出方法の一例を示す図である。It is a figure which shows an example of the detection method of a touch input. 表示画面の周囲に位置するユーザに部分画像の把握を容易にするためのプログラムの制御構造を示すフローチャートである。It is a flowchart which shows the control structure of the program for making the user located around the display screen easy to grasp | ascertain a partial image. インターフェイス装置の表示部の表示画面を示す平面図である。It is a top view which shows the display screen of the display part of an interface apparatus. アイコンに対する指示を選択するためのメニューが表示された状態の表示画面を示す平面図である。It is a top view which shows the display screen of the state by which the menu for selecting the instruction | indication with respect to an icon was displayed. アイコンデータベースの構造を示す図である。It is a figure which shows the structure of an icon database. アイコンと座標軸の関係を示す図である。It is a figure which shows the relationship between an icon and a coordinate axis. 図4に示された状態からショートカットが追加された状態の表示画面を示す平面図である。FIG. 5 is a plan view showing a display screen in a state where a shortcut is added from the state shown in FIG. 4. 図8に示されたアイコンに関する情報を含むアイコンデータベースを示す図である。It is a figure which shows the icon database containing the information regarding the icon shown by FIG. アイコンの回転角度を選択するためのメニューが表示された状態の表示画面を示す平面図である。It is a top view which shows the display screen of the state by which the menu for selecting the rotation angle of an icon was displayed. 図8に示された状態からショートカットアイコンが回転された状態の表示画面を示す平面図である。It is a top view which shows the display screen of the state which the shortcut icon rotated from the state shown by FIG. 図11に示されたアイコンに関する情報を含むアイコンデータベースを示す図である。It is a figure which shows the icon database containing the information regarding the icon shown by FIG. 図3におけるアプリケーション処理を示すフローチャートである。It is a flowchart which shows the application process in FIG. 回転後のアイコンに対する指示を選択するためのメニューが表示された状態を示す図である。It is a figure which shows the state by which the menu for selecting the instruction | indication with respect to the icon after rotation was displayed. 4つのアイコンが表示された状態の表示画面を示す平面図である。It is a top view which shows the display screen of the state in which four icons are displayed. 図15に示されたアイコンに関する情報を含むアイコンデータベースを示す図である。It is a figure which shows the icon database containing the information regarding the icon shown by FIG. 1つのアイコンに対して実行指示がなされて対応するウィンドウが表示された状態の表示面を示す平面図である。It is a top view which shows the display surface of the state in which execution instruction was made | formed with respect to one icon, and the corresponding window was displayed. 1つのアイコンに対して実行指示がなされて対応するウィンドウが表示された状態の表示面を示す平面図である。It is a top view which shows the display surface of the state in which execution instruction was made | formed with respect to one icon, and the corresponding window was displayed. 1つのアイコンに対して実行指示がなされて対応するウィンドウが表示された状態の表示面を示す平面図である。It is a top view which shows the display surface of the state in which execution instruction was made | formed with respect to one icon, and the corresponding window was displayed. 1つのアイコンに対して実行指示がなされて対応するウィンドウが表示された状態の表示面を示す平面図である。It is a top view which shows the display surface of the state in which execution instruction was made | formed with respect to one icon, and the corresponding window was displayed. 第2の実施の形態に係るインターフェイス装置における機能モジュールを示すブロック図である。It is a block diagram which shows the functional module in the interface apparatus which concerns on 2nd Embodiment. 第3の実施の形態に係るインターフェイス装置において実行されるプログラムの制御構造を示すフローチャートである。It is a flowchart which shows the control structure of the program performed in the interface apparatus which concerns on 3rd Embodiment. 図22における回転処理を示すフローチャートである。It is a flowchart which shows the rotation process in FIG. アイコンの回転操作を示す図である。It is a figure which shows rotation operation of an icon.

以下の実施の形態では、同一の部品には同一の参照番号を付してある。それらの名称及び機能も同一である。したがって、それらについての詳細な説明は繰返さない。   In the following embodiments, the same parts are denoted by the same reference numerals. Their names and functions are also the same. Therefore, detailed description thereof will not be repeated.

以下において、「タッチ」とは入力位置の検出装置が位置を検出可能な状態になることを意味し、検出装置に接触して押圧する場合、押圧せずに接触する場合、及び、接触せずに近接する場合を含む。入力位置の検出装置には、接触型に限らず非接触型の装置を用いることもできる。非接触型の検出装置の場合には「タッチ」とは、入力位置を検出可能な距離まで検出装置に近接した状態を意味する。   In the following, “touch” means that the detection device for the input position is in a state in which the position can be detected. When touching and pressing the detection device, when touching without pressing, and without touching In the case of proximity to The input position detection device is not limited to a contact type, and a non-contact type device can also be used. In the case of a non-contact type detection device, “touch” means a state in which the input position is close to the detection device up to a detectable distance.

(第1の実施の形態)
図1を参照して、本発明の第1の実施の形態に係るインターフェイス装置100は、演算処理部(以下、CPUという)102、読出専用メモリ(以下、ROMという)104、書換可能メモリ(以下、RAMという)106、記録部108、接続部110、タッチ検出部112、表示部114、表示制御部116、ビデオメモリ(以下、VRAMという)118、及びバス120を備えている。CPU102は、インターフェイス装置100全体を制御する。
(First embodiment)
Referring to FIG. 1, an interface apparatus 100 according to a first embodiment of the present invention includes an arithmetic processing unit (hereinafter referred to as a CPU) 102, a read-only memory (hereinafter referred to as a ROM) 104, a rewritable memory (hereinafter referred to as a rewritable memory). , RAM 106), recording unit 108, connection unit 110, touch detection unit 112, display unit 114, display control unit 116, video memory (hereinafter referred to as VRAM) 118, and bus 120. The CPU 102 controls the entire interface device 100.

インターフェイス装置100はテーブル型インターフェイス装置である。即ち、後述するように、タッチ検出部112及び表示部114がタッチパネルディスプレイを構成し、タッチパネルディスプレイの画像表示面が水平に配置され、インターフェイス装置100はテーブルとして使用される。   The interface device 100 is a table type interface device. That is, as will be described later, the touch detection unit 112 and the display unit 114 constitute a touch panel display, the image display surface of the touch panel display is horizontally disposed, and the interface device 100 is used as a table.

ROM104は不揮発性の記憶装置であり、インターフェイス装置100の動作を制御するために必要なプログラム及びデータを記憶している。RAM106は、通電が遮断された場合にデータが消去される揮発性の記憶装置である。記録部108は、通電が遮断された場合にもデータを保持する不揮発性記憶装置であり、例えば、ハードディスクドライブ、又はフラッシュメモリ等である。記録部108は着脱可能に構成されていてもよい。CPU102は、バス120を介してROM104からプログラムをRAM106上に読出して、RAM106の一部を作業領域としてプログラムを実行する。CPU102は、ROM104に格納されているプログラムにしたがってインターフェイス装置100を構成する各部の制御を行なう。   The ROM 104 is a non-volatile storage device, and stores programs and data necessary for controlling the operation of the interface device 100. The RAM 106 is a volatile storage device from which data is erased when power is turned off. The recording unit 108 is a non-volatile storage device that retains data even when power is cut off, and is, for example, a hard disk drive or a flash memory. The recording unit 108 may be configured to be detachable. The CPU 102 reads a program from the ROM 104 onto the RAM 106 via the bus 120 and executes the program using a part of the RAM 106 as a work area. The CPU 102 controls each unit constituting the interface device 100 according to a program stored in the ROM 104.

バス120には、CPU102、ROM104、RAM106、記録部108、接続部110、タッチ検出部112、表示制御部116、及びVRAM118が接続されている。各部間のデータ(制御情報を含む)交換は、バス120を介して行なわれる。   Connected to the bus 120 are the CPU 102, ROM 104, RAM 106, recording unit 108, connection unit 110, touch detection unit 112, display control unit 116, and VRAM 118. Data (including control information) is exchanged between the units via the bus 120.

接続部110は、外部装置との接続インターフェイスである。例えば、キーボード、マウス等とのインターフェイスである。また、接続部110は、インターフェイス装置100をネットワークに接続するためのNIC(Network Interface Card)を含んでいてもよい。   The connection unit 110 is a connection interface with an external device. For example, an interface with a keyboard, a mouse or the like. Further, the connection unit 110 may include a NIC (Network Interface Card) for connecting the interface device 100 to a network.

表示部114は、画像を表示するための表示パネル(液晶パネル等)である。表示制御部116は、表示部114を駆動するための駆動部を備え、VRAM118に記憶された画像データを所定のタイミングで読出し、表示部114に画像として表示するための信号を生成して、表示部114に出力する。表示される画像データは、CPU102が記録部108から読出して、VRAM118に伝送する。   The display unit 114 is a display panel (liquid crystal panel or the like) for displaying an image. The display control unit 116 includes a drive unit for driving the display unit 114, reads out image data stored in the VRAM 118 at a predetermined timing, generates a signal for display as an image on the display unit 114, and displays it. Output to the unit 114. The image data to be displayed is read from the recording unit 108 by the CPU 102 and transmitted to the VRAM 118.

タッチ検出部112は、タッチパネルであり、ユーザによるタッチ操作を検出する。タッチ検出部112は、表示部114の表示画面に重畳して配置される。タッチ検出部112へのタッチは、タッチ位置に対応する、表示画面に表示された画像の点を指定する操作である。したがって、本願明細書においては、記載の冗長性を排除するために、表示部114に表示された画像へのタッチと記載されている場合、この記載は、対応するタッチ検出部112上の位置へのタッチを意味する。タッチ検出部112にタッチパネルを用いる場合のタッチ操作の検出について、図2を参照して説明する。   The touch detection unit 112 is a touch panel and detects a touch operation by the user. The touch detection unit 112 is arranged so as to be superimposed on the display screen of the display unit 114. The touch on the touch detection unit 112 is an operation of designating a point of the image displayed on the display screen corresponding to the touch position. Therefore, in the present specification, in order to eliminate the redundancy of the description, in the case where it is described as a touch on the image displayed on the display unit 114, this description is to the position on the corresponding touch detection unit 112. Means touch. Detection of a touch operation when a touch panel is used for the touch detection unit 112 will be described with reference to FIG.

図2は、赤外線遮断検出方式のタッチパネル(タッチ検出部112)を示す。タッチパネルは、長方形の書込面の隣接する2辺にそれぞれ一列に配置された発光ダイオード列(以下、LED列と記す)200、202と、それぞれのLED列200、202に対向させて一列に配置された2つのフォトダイオード列(以下、PD列と記す)210、212とを備えている。LED列200、202の各LEDから赤外線を発光し、この赤外線を対向するPD列210、212の各PDが検出する。図2において、LED列200、202の各LEDから赤外線を上向き及び左向きの矢印で示す。   FIG. 2 shows an infrared cut-off detection type touch panel (touch detection unit 112). The touch panel is arranged in a row so as to face the LED rows 200 and 202, and the light emitting diode rows (hereinafter referred to as LED rows) 200 and 202 arranged in a row on two adjacent sides of the rectangular writing surface. The two photodiode arrays (hereinafter referred to as PD arrays) 210 and 212 are provided. Infrared light is emitted from each LED of the LED rows 200 and 202, and each PD of the PD rows 210 and 212 facing each other detects the infrared light. In FIG. 2, infrared rays are indicated by upward and leftward arrows from the LEDs of the LED rows 200 and 202.

タッチパネルは、例えばマイクロコンピュータ(以下、マイコンという)(CPU、メモリ、及び入出力回路等を含む素子)を備え、各LEDの発光を制御する。各PDは、受光した光の強度に応じた電圧を出力する。PDの出力電圧は、アンプによって増幅される。また、各PD列210、212の複数のPDからは同時に信号が出力されるので、出力信号は一旦バッファに保存された後、PDの配列順序に応じたシリアル信号として出力され、マイコンに伝送される。PD列210から出力されるシリアル信号の順序は、X座標を表す。PD列212から出力されるシリアル信号の順序は、Y座標を表す。   The touch panel includes, for example, a microcomputer (hereinafter referred to as a microcomputer) (an element including a CPU, a memory, an input / output circuit, and the like), and controls the light emission of each LED. Each PD outputs a voltage corresponding to the intensity of the received light. The output voltage of the PD is amplified by an amplifier. Further, since signals are simultaneously output from a plurality of PDs in each of the PD columns 210 and 212, the output signals are temporarily stored in a buffer and then output as serial signals according to the arrangement order of the PDs and transmitted to the microcomputer. The The order of the serial signals output from the PD column 210 represents the X coordinate. The order of the serial signals output from the PD column 212 represents the Y coordinate.

ユーザ(図2において破線で示す)220が指でタッチパネル上にタッチすると、タッチされた位置で赤外線が遮断される。したがって、遮断される前まで、その赤外線を受光していたPDの出力電圧は減少する。タッチされた位置(XY座標)に対応するPDからの信号部分が減少するので、マイコンは、受信した2つのシリアル信号の信号レベルが低下している部分を検出し、タッチされた位置座標を求める。マイコンは、決定した位置座標をCPU102に伝送する。このタッチ位置を検出する処理は、所定の検出周期で繰返されるので、同じ点が検出周期よりも長い時間タッチされていると、同じ座標データが繰返し出力される。どこにもタッチされていなければ、マイコンは位置座標を伝送しない。   When a user (indicated by a broken line in FIG. 2) 220 touches the touch panel with a finger, infrared rays are blocked at the touched position. Therefore, the output voltage of the PD that has received the infrared light before being cut off decreases. Since the signal portion from the PD corresponding to the touched position (XY coordinate) is decreased, the microcomputer detects the portion where the signal level of the two received serial signals is lowered and obtains the touched position coordinate. . The microcomputer transmits the determined position coordinates to the CPU 102. Since the process of detecting the touch position is repeated at a predetermined detection cycle, if the same point is touched for a longer time than the detection cycle, the same coordinate data is repeatedly output. If it is not touched anywhere, the microcomputer will not transmit the position coordinates.

上記したタッチされた位置の検出技術は公知であるので、これ以上の説明は繰返さない。また、タッチ検出部112には、赤外線遮断方式以外のタッチパネル(静電容量方式、表面弾性波方式、抵抗膜方式等)を用いてもよい。なお、静電容量方式では、センサに近接していれば非接触でも位置を検出することができる。   Since the touched position detection technique described above is well known, further description will not be repeated. The touch detection unit 112 may be a touch panel (capacitance method, surface acoustic wave method, resistance film method, or the like) other than the infrared blocking method. In the capacitance method, the position can be detected without contact as long as the sensor is close to the sensor.

インターフェイス装置100は上記のように構成されており、ユーザはインターフェイス装置100をコンピュータと同様に操作することができる。即ち、ユーザは、表示部114に表示された画面上のユーザインターフェイス(操作ボタン、アイコン等の部分画像)を、タッチ検出部112を介してタッチ操作し、アプリケーションを起動すること、及び、起動したアプリケーションによって表示されるウィンドウ内の操作を、タッチ検出部112を介して行なうことができる。そのような状態で、タッチパネルディスプレイの周囲にいる複数のユーザが、部分画像(アイコン及びウィンドウ等)を操作する場合に、各ユーザが部分画像の把握を容易にするための処理に関して説明する。   The interface device 100 is configured as described above, and the user can operate the interface device 100 in the same manner as a computer. That is, the user touches the user interface (partial images such as operation buttons and icons) displayed on the display unit 114 via the touch detection unit 112 to start the application and start the application. Operations in the window displayed by the application can be performed via the touch detection unit 112. In such a state, when a plurality of users around the touch panel display operate a partial image (such as an icon and a window), processing for facilitating the grasping of the partial image by each user will be described.

この処理は、図3に示すプログラムによって実現される。即ち、インターフェイス装置100において、タッチパネルディスプレイの周囲に位置する各ユーザに、部分画像の把握を容易にするためのプログラムは、インターフェイス装置100の電源がオンされたときに、OSの起動に引続き、例えばROM104から読出されて実行される。   This process is realized by the program shown in FIG. That is, in the interface device 100, a program for facilitating grasping of the partial image for each user located around the touch panel display follows the OS startup when the power of the interface device 100 is turned on. It is read from the ROM 104 and executed.

本プログラムの実行に必要な初期設定が行なわれた後、ステップ400において、CPU102は、「画面操作」がなされたか否かを判定する。具体的には、CPU102は、タッチ検出部112がタッチされ、且つ、そのタッチ操作が、画面操作に対応する操作であるか否かを判定する。上記したように、CPU102は、タッチ検出部112から位置座標を受信したか否かを判定する。タッチ検出部112は、タッチされていなければ位置座標を出力せず、タッチされると、タッチされた点の位置座標(X座標,Y座標)を出力する。   After the initial setting necessary for execution of the program is performed, in step 400, the CPU 102 determines whether or not “screen operation” has been performed. Specifically, the CPU 102 determines whether or not the touch detection unit 112 is touched and the touch operation is an operation corresponding to the screen operation. As described above, the CPU 102 determines whether or not the position coordinates are received from the touch detection unit 112. The touch detection unit 112 does not output the position coordinates unless touched, and outputs the position coordinates (X coordinate, Y coordinate) of the touched point when touched.

ここで、画面操作とは、タッチパネルディスプレイへのタッチ操作の結果、インターフェイス装置100に対して何らかの指示がなされる操作を意味する。例えば、タッチされた位置が、ボタン又はアイコン等の操作対象を表す部分画像上にある場合、そのタッチ操作は、画面操作と判定される。例えば、アイコンへのタップ操作(短時間の1回のタッチ)は、アイコンを選択する操作である。また、タッチされた位置が部分画像外であっても、タッチ操作が、インターフェイス装置100への指示が割当てられている特殊なタッチ操作(例えば、同じ位置で所定の時間以上タッチを維持する長押し操作)であった場合には、画面操作と判定される。例えば、部分画像が表示されていない背景領域へのタッチは、画面操作ではないが、長押し操作は、メニューを表示させる指示が割当てられており、画面操作と判定される。なお、部分画像が特殊なタッチ操作された場合には、当然に画面操作と判定される。画面操作であると判定された場合、制御はステップ402に移行する。そうでなければ、ステップ400が繰返される。   Here, the screen operation means an operation in which some instruction is given to the interface apparatus 100 as a result of the touch operation on the touch panel display. For example, when the touched position is on a partial image representing an operation target such as a button or an icon, the touch operation is determined as a screen operation. For example, a tap operation (one touch for a short time) on an icon is an operation for selecting an icon. In addition, even when the touched position is outside the partial image, the touch operation is a special touch operation to which an instruction to the interface device 100 is assigned (for example, a long press for maintaining a touch for a predetermined time or more at the same position) Operation), it is determined as a screen operation. For example, a touch on a background area in which a partial image is not displayed is not a screen operation, but an instruction to display a menu is assigned to a long press operation, and is determined as a screen operation. When the partial image is subjected to a special touch operation, it is naturally determined as a screen operation. If it is determined that the operation is a screen operation, the control proceeds to step 402. Otherwise, step 400 is repeated.

ステップ402において、CPU102は、「アイコン操作」であるか否かを判定する。アイコン操作とは、アイコン自体に対する操作を意味する。具体的には、CPU102は、ステップ400で受信した位置座標(タッチ位置座標)がアイコン上に位置し、タッチ操作が長押し操作であった場合、アイコン操作であると判定する。タッチ位置がアイコン上にあっても、タップ、又はダブルタップ(短時間内の連続2回タッチ)であれば、アイコン操作ではないと判定される。アイコン操作であると判定された場合、制御はステップ404に移行する。そうでなければ、制御はステップ426に移行する。   In step 402, the CPU 102 determines whether or not it is “icon operation”. Icon operation means an operation on the icon itself. Specifically, the CPU 102 determines that the operation is an icon operation when the position coordinates (touch position coordinates) received in step 400 are located on the icon and the touch operation is a long press operation. Even if the touch position is on the icon, if it is a tap or a double tap (two consecutive touches within a short time), it is determined that the operation is not an icon operation. If it is determined that the operation is an icon operation, the control proceeds to step 404. Otherwise, control passes to step 426.

ステップ404において、CPU102は、タッチされたアイコンの向きに応じて、所定のメニューを表示し、ユーザの操作を待受ける。例えば、図4に示すように、表示部114の表示画面300にアイコン302が表示され、表示画面300の周囲に4人のユーザ222〜228がいる状況で、何れかのユーザがアイコン302を長押し操作した場合、タッチ位置の近傍に図5に示すように、アイコン302と同じ向きにメニュー304が表示される。その後、タッチ操作があれば、制御はステップ406に移行する。   In step 404, the CPU 102 displays a predetermined menu according to the direction of the touched icon and waits for a user operation. For example, as shown in FIG. 4, when the icon 302 is displayed on the display screen 300 of the display unit 114 and there are four users 222 to 228 around the display screen 300, any one of the users can set the icon 302 to be long. When the push operation is performed, a menu 304 is displayed in the same direction as the icon 302 as shown in FIG. Thereafter, if there is a touch operation, the control proceeds to step 406.

表示部114に表示されるアイコンに関する情報は、記録部108にデータベース(以下「アイコンデータベース」という)として記憶されている。図面においては、データベースをDBと略記する。アイコンデータベースは、例えば、図6に示すように、アイコン302を特定するためのID(ここでは“1”)に対応付けられて、記録部108に記憶されている。アイコンに関する情報は、アイコンのID、アイコンが表すファイル種類(拡張子)、そのファイルを作成したアプリケーション名(実行プログラム名)、ハンドル、ファイルの場所を表すリンク、アイコンの作成日(年月日及び時刻)、アイコンの形状、アイコンの表示位置及び大きさ、及び、アイコンの位相を含む。図4に示されたアイコン302は、図6の情報にしたがって表示されている。なお、図6に示したアイコンデータベースは、主として、アイコンの向きを回転させる機能に必要な情報を示しており、アイコン画像の情報(アプリケーション毎のアイコン画像、及びアイコン画像と共に表示されるテキスト)等は、例えばアイコンIDに対応させて記録部108に記憶されている。   Information about icons displayed on the display unit 114 is stored in the recording unit 108 as a database (hereinafter referred to as “icon database”). In the drawings, the database is abbreviated as DB. For example, as shown in FIG. 6, the icon database is stored in the recording unit 108 in association with an ID (here, “1”) for specifying the icon 302. Information about the icon includes the icon ID, the file type (extension) represented by the icon, the name of the application that created the file (execution program name), the handle, the link that represents the location of the file, the creation date (year / month / day and date) of the icon Time), icon shape, icon display position and size, and icon phase. The icon 302 shown in FIG. 4 is displayed according to the information of FIG. Note that the icon database shown in FIG. 6 mainly shows information necessary for the function of rotating the direction of the icon, such as icon image information (icon image for each application and text displayed together with the icon image), etc. Is stored in the recording unit 108 in association with the icon ID, for example.

アイコンの形状は、例えば、図7の点線で囲まれた領域であり、アイコン画像及びテキスト画像を含む領域(以下、アイコン領域ともいう)の形状を意味し、“rectangle”は矩形を意味する。また、図7に示すように、表示画面300(図4)の右方向(ユーザ224がいる方向)及び下方向(ユーザ222がいる方向)をそれぞれX軸及びY軸の正方向とし、アイコン領域の表示位置及び大きさは、矩形のアイコン領域の左上の位置座標(x1,y1)及び右下の位置座標(x2,y2)によって表される。Y軸の負方向が、表示画面300の基準方向である。CPU102は、(x1,y1)及び(x2,y2)から、タッチ位置がアイコン領域内であるか否かを判定することができる。図6では、ID=1のアイコンの大きさは、X軸方向150画素、Y軸方向100画素である。   The shape of the icon is, for example, an area surrounded by a dotted line in FIG. 7, which means the shape of an area including an icon image and a text image (hereinafter also referred to as an icon area), and “rectangle” means a rectangle. Further, as shown in FIG. 7, the right direction (the direction in which the user 224 is present) and the lower direction (the direction in which the user 222 is present) of the display screen 300 (FIG. 4) are the positive directions of the X axis and the Y axis, respectively. Is represented by the upper left position coordinates (x1, y1) and the lower right position coordinates (x2, y2) of the rectangular icon area. The negative direction of the Y axis is the reference direction of the display screen 300. The CPU 102 can determine whether or not the touch position is within the icon area from (x1, y1) and (x2, y2). In FIG. 6, the size of the icon with ID = 1 is 150 pixels in the X-axis direction and 100 pixels in the Y-axis direction.

アイコンの位相とは、アイコン画像の正立方向(以下、アイコンの向きともいう)を表す情報であり、表示部114に表示されたアイコン画像の正立方向と基準方向(Y軸の負方向)との成す角度であって、時計の回転方向の角度である。部分画像(アイコン画像及びウィンドウ画像等)の正立方向とは、倒立せずに正立して見える部分画像の下部から上部に向かう方向であり、表示される文字の下から上に向かう方向でもある。ここでは、アイコンの位相には“0”、“90”、“180”又は“270”の離散的値が設定され、それぞれ、アイコンの向きが、基準方向(Y軸の負方向、即ち画面300の上方向)、X軸の正方向(画面300の右方向)、Y軸の正方向(画面300の下方向)、X軸の負方向(画面300の左方向)であることを表す。例えば、図4のアイコン302(アイコン画像)は、ユーザ222から見て正立しており、このアイコン画像の正立方向は基準方向と一致している。   The icon phase is information representing the erect direction of the icon image (hereinafter also referred to as the icon direction), and the erect direction and the reference direction of the icon image displayed on the display unit 114 (the negative direction of the Y axis). And the angle in the rotation direction of the watch. The upright direction of a partial image (icon image, window image, etc.) is a direction from the lower part to the upper part of the partial image that appears to be upright without being inverted. is there. Here, a discrete value of “0”, “90”, “180”, or “270” is set for the phase of the icon, and the direction of the icon is the reference direction (the negative direction of the Y axis, that is, the screen 300). ), The positive direction of the X axis (right direction of the screen 300), the positive direction of the Y axis (downward direction of the screen 300), and the negative direction of the X axis (left direction of the screen 300). For example, the icon 302 (icon image) in FIG. 4 is upright when viewed from the user 222, and the upright direction of the icon image matches the reference direction.

CPU102は、アイコンの位相(図6では0度)に基づいて、アイコンの向きにメニュー304(図5)を表示する。即ち、メニュー304の文字画像の正立方向とアイコンの向きとが一致するようにメニュー304が表示される。   The CPU 102 displays a menu 304 (FIG. 5) in the direction of the icon based on the phase of the icon (0 degree in FIG. 6). That is, the menu 304 is displayed so that the erect direction of the character image of the menu 304 matches the direction of the icon.

ハンドルは、コンテンツ(ファイル)に1対1に対応して設定される。例えば、1つのファイルに対して、複数のショートカットアイコンを作成することができ、その場合には、ショートカットアイコン毎に異なるIDが付与され、別のデータがアイコンデータベースに登録され得る。しかし、ハンドルには、同じ1つのファイルを特定する同じデータが設定される。ハンドルにより、マルチウィンドウ環境におけるファイル操作における整合性を保つことは、公知の技術である。   Handles are set in one-to-one correspondence with content (files). For example, a plurality of shortcut icons can be created for one file. In this case, a different ID can be assigned to each shortcut icon, and other data can be registered in the icon database. However, the same data specifying the same one file is set in the handle. It is a well-known technique to maintain consistency in file operations in a multi-window environment by using a handle.

ステップ406において、CPU102は、ステップ404で表示したメニューのうち、アイコンを生成する指示が選択されたか否かを判定する。具体的には、図5に示したメニュー304の「ショートカットの作成」がタッチされたか否かを判定する。「ショートカットの作成」がタッチされたと判定された場合、制御はステップ408に移行する。そうでなければ、制御はステップ410に移行する。   In step 406, the CPU 102 determines whether or not an instruction for generating an icon is selected from the menu displayed in step 404. Specifically, it is determined whether or not “Create shortcut” in the menu 304 shown in FIG. 5 is touched. If it is determined that “Create Shortcut” has been touched, control proceeds to step 408. Otherwise control passes to step 410.

ステップ408において、CPU102は、タッチされたアイコンのショートカットアイコンを生成して、所定の向きで表示部114に表示し、生成したアイコンに関する情報を、記録部108のアイコンデータベースに記憶する。その後、制御はステップ400に戻る。   In step 408, the CPU 102 generates a shortcut icon of the touched icon, displays it on the display unit 114 in a predetermined orientation, and stores information on the generated icon in the icon database of the recording unit 108. Control then returns to step 400.

例えば、図8に示すように、ショートカットアイコン310が、その向き(アイコン画像の正立方向)が基準方向になるように表示される。ショートカットアイコン310の画像は、ファイルを表すアイコン302の画像に、矢印及び「へのショートカット」の文字の画像が付加されている。記録部108のアイコンデータベースには、図9に示すように、ID=2に対応させて、ショートカットアイコン310に関する情報が記憶される。ファィル種類には、コンテンツ自体ではなくコンテンツへのショートカットであることを表す“shortcut”が記憶される。   For example, as shown in FIG. 8, the shortcut icon 310 is displayed such that its direction (the upright direction of the icon image) is the reference direction. In the image of the shortcut icon 310, an image of an arrow and a character of “shortcut to” is added to the image of the icon 302 representing a file. In the icon database of the recording unit 108, information on the shortcut icon 310 is stored in association with ID = 2 as shown in FIG. In the file type, “shortcut” indicating not a content itself but a shortcut to the content is stored.

ステップ410において、CPU102は、ステップ404で表示したメニューのうち、アイコンの向きを回転させる指示が選択されたか否かを判定する。具体的には、図5に示したメニュー304の「回転」がタッチされたか否かを判定する。「回転」がタッチされたと判定された場合、制御はステップ412に移行する。そうでなければ、制御はステップ418に移行する。   In step 410, the CPU 102 determines whether an instruction to rotate the direction of the icon is selected from the menu displayed in step 404. Specifically, it is determined whether or not “Rotation” in the menu 304 shown in FIG. 5 has been touched. If it is determined that “Rotate” has been touched, control proceeds to step 412. Otherwise control passes to step 418.

ステップ412において、CPU102は、角度選択メニューを表示する。具体的には、CPU102は、図10に示すように、項目「回転」の右側に、3種類の回転方向の項目を含む角度選択メニュー306を表示する。項目「回転」の右端に示されている三角形は、下位のメニューがあることを表している。図10では、ショートカットアイコン310が長押し操作されてメニュー304が表示され、「回転」がタッチされて角度選択メニュー306が表示された状態を示す。   In step 412, the CPU 102 displays an angle selection menu. Specifically, as shown in FIG. 10, the CPU 102 displays an angle selection menu 306 including items of three types of rotation directions on the right side of the item “rotation”. The triangle shown at the right end of the item “Rotation” indicates that there is a subordinate menu. FIG. 10 shows a state in which the shortcut icon 310 is pressed and operated to display the menu 304, and “Rotate” is touched to display the angle selection menu 306.

ステップ414において、CPU102は、回転方向のメニュー項目の何れかが選択されたか否かを判定する。回転方向のメニュー項目の何れかが選択されたと判定された場合、制御はステップ416に移行する。そうでなければ、即ち回転方向のメニュー以外の領域がタッチされたと判定された場合には、キャンセルされたと判定され、制御はステップ400に戻る。   In step 414, the CPU 102 determines whether any menu item in the rotation direction has been selected. If it is determined that any of the menu items in the rotation direction has been selected, control proceeds to step 416. Otherwise, that is, if it is determined that an area other than the menu in the rotation direction has been touched, it is determined that the area has been canceled, and the control returns to step 400.

ステップ416において、CPU102は、ステップ414で選択された項目にしたがって、アイコンの向きを回転させて表示部114に表示し、記録部108のアイコンデータベースに記憶された情報のうち、対応するアイコンの情報を変更する。具体的には、指定された回転により新たに設定されるアイコンの位相は、回転前のアイコンの位相を、時計の回転方向に、項目に対応する角度だけ回転させて得られる。例えば、図8に示されたショートカットアイコン310上で長押し操作されることにより表示されるメニューの「回転」(図10参照)がタッチされ、表示されるメニューの「90度左回転」がタッチされると、図11に示すように、ショートカットアイコン312が表示される。ショートカットアイコン312は、図8に示されたショートカットアイコン310が、反時計回りに90度回転(即ち、時計回りに270度回転)されたものである。なお、回転の前後においてアイコン領域の左上の点の位置座標は維持される。   In step 416, the CPU 102 rotates the direction of the icon according to the item selected in step 414, displays it on the display unit 114, and information on the corresponding icon among the information stored in the icon database of the recording unit 108. To change. Specifically, the phase of the icon newly set by the designated rotation is obtained by rotating the phase of the icon before rotation by an angle corresponding to the item in the rotation direction of the timepiece. For example, the menu “Rotate” (see FIG. 10) displayed by touching and holding the shortcut icon 310 shown in FIG. 8 is touched, and the menu “Turn left 90 degrees” is touched. Then, a shortcut icon 312 is displayed as shown in FIG. The shortcut icon 312 is obtained by rotating the shortcut icon 310 shown in FIG. 8 by 90 degrees counterclockwise (that is, rotating 270 degrees clockwise). Note that the position coordinates of the upper left point of the icon area are maintained before and after the rotation.

記録部108のアイコンデータベースには、図12に示すように、回転処理の対象であったショートカットアイコン310を特定するID=2に対応する情報が、回転後のショートカットアイコン312に応じて変更される。具体的には、アイコンの位相及び(x2,y2)が、回転の指示に応じて変更される。図12では、アイコンの位相が“0”から“270”に変更されている。上記したように、回転の前後においてアイコン領域の左上の点の位置座標は維持されるので、(x1,y1)は変更されない。回転されるアイコンの形状が長方形であれば、(x2,y2)が変更される。図9に示されたショートカットアイコン310の形状(アイコン領域の形状)は、X軸方向150画素、Y軸方向100画素の長方形であり、図12の回転後のショートカットアイコン312は、X軸方向100画素、Y軸方向150画素であるので、ショートカットアイコン312の右下の点の位置座標(x2,y2)は、(249,149)に変更されている。アイコン形状が正方形であれば、回転の前後で(x2,y2)は変更されない。   In the icon database of the recording unit 108, as shown in FIG. 12, information corresponding to ID = 2 for specifying the shortcut icon 310 that is the target of the rotation process is changed according to the shortcut icon 312 after the rotation. . Specifically, the phase of the icon and (x2, y2) are changed according to the rotation instruction. In FIG. 12, the phase of the icon is changed from “0” to “270”. As described above, since the position coordinates of the upper left point of the icon area are maintained before and after the rotation, (x1, y1) is not changed. If the shape of the rotated icon is a rectangle, (x2, y2) is changed. The shape of the shortcut icon 310 (the shape of the icon area) shown in FIG. 9 is a rectangle with 150 pixels in the X-axis direction and 100 pixels in the Y-axis direction, and the shortcut icon 312 after rotation in FIG. Since the pixel is 150 pixels in the Y-axis direction, the position coordinate (x2, y2) of the lower right point of the shortcut icon 312 is changed to (249, 149). If the icon shape is a square, (x2, y2) is not changed before and after the rotation.

ステップ418において、CPU102は、ステップ404で表示したメニュー304のうち、アイコンを実行する項目が選択されたか否かを判定する。具体的には、図5に示したメニューの「開く」がタッチされたか否かを判定する。「開く」がタッチされたと判定された場合、制御はステップ420に移行する。そうでなければ、制御はステップ424に移行する。   In step 418, the CPU 102 determines whether an item for executing an icon is selected from the menu 304 displayed in step 404. Specifically, it is determined whether or not “Open” in the menu shown in FIG. 5 has been touched. If it is determined that “Open” has been touched, control proceeds to step 420. Otherwise, control passes to step 424.

ステップ420において、CPU102は、該当するファイルを指定して、該当するアプリケーションを起動する。具体的には、CPU102は、記録部108のアイコンデータベースに記憶されているアイコンに関する情報の中から、ステップ402で特定されたアイコン(アイコンID)に関する情報のうちアプリケーション名及びリンク情報を読出し、対応するアプリケーションを起動し、起動したアプリケーションにリンク情報を渡す。具体的には、CPU102は、図6の“application1.exe”を起動して、リンク情報“c:¥user¥d.aaa”に基づき、ウィンドウ画像を生成する。   In step 420, the CPU 102 designates the corresponding file and starts the corresponding application. Specifically, the CPU 102 reads the application name and link information from the information related to the icon (icon ID) identified in step 402 from the information related to the icon stored in the icon database of the recording unit 108, and handles The application to be started is started, and link information is passed to the started application. Specifically, the CPU 102 activates “application1.exe” in FIG. 6 and generates a window image based on the link information “c: \ user \ d.aaa”.

ステップ422において、CPU102は、記録部108のアイコンデータベースから、ステップ402で選択されたアイコンに対応するアイコンの位相を読出し、ウィンドウの正立方向がアイコンの位相と一致するように、起動したアプリケーションによって生成されたウィンドウを表示部114に表示する。即ち、アイコンの正立方向と、ウィンドウの正立方向とが一致するように、ウィンドウが表示される。   In step 422, the CPU 102 reads the phase of the icon corresponding to the icon selected in step 402 from the icon database of the recording unit 108, and depends on the activated application so that the upright direction of the window matches the phase of the icon. The generated window is displayed on the display unit 114. That is, the window is displayed so that the icon erecting direction matches the window erecting direction.

ステップ424において、CPU102は、ステップ404で選択された指示に該当する処理を実行する。例えば、図5のメニュー304のうち、「削除」が選択された場合、CPU102は、アイコン302を画面300から削除し、アイコンデータベースから該当する情報を削除する。図5のメニュー304のうち、「名前の変更」が選択された場合、CPU102は、アイコン302のテキストを反転表示し、ユーザによる変更を受付ける。   In step 424, the CPU 102 executes processing corresponding to the instruction selected in step 404. For example, when “delete” is selected from the menu 304 in FIG. 5, the CPU 102 deletes the icon 302 from the screen 300 and deletes the corresponding information from the icon database. When “change name” is selected from the menu 304 in FIG. 5, the CPU 102 highlights the text of the icon 302 and accepts the change by the user.

ステップ402での判定の結果、アイコン操作であると判定されなかった場合、ステップ426において、CPU102は、アイコンの実行指示であるか否かを判定する。具体的には、CPU102は、アイコンがダブルタップされた場合に、アイコンの実行指示であると判定する。実行指示であると判定された場合、制御はステップ420に移行する。ぞうでなければ、制御はステップ428に移行する。   As a result of the determination in step 402, if it is not determined that the operation is an icon operation, in step 426, the CPU 102 determines whether or not it is an icon execution instruction. Specifically, when the icon is double-tapped, the CPU 102 determines that the instruction is an icon execution instruction. If it is determined that the instruction is an execution instruction, the control proceeds to step 420. Otherwise, control passes to step 428.

ステップ428において、CPU102は、ステップ400で指定された画面操作が、アプリケーションを起動する指示であるか否かを判定する。画面300(図4参照)には、インストールされている実行可能な各アプリケーションを起動するためのショートカットボタン330〜334が表示されており、ボタン330〜334がタッチされた場合、CPU102は、アプリケーションの起動指示と判定する。アプリケーションの起動指示と判定された場合、制御はステップ430に移行する。そうでなければ、制御はステップ432に移行する。   In step 428, the CPU 102 determines whether or not the screen operation designated in step 400 is an instruction to start an application. On the screen 300 (see FIG. 4), shortcut buttons 330 to 334 for starting each installed executable application are displayed. When the buttons 330 to 334 are touched, the CPU 102 displays It is determined as a start instruction. If it is determined that the instruction is to start the application, the control proceeds to step 430. Otherwise, control passes to step 432.

ステップ430において、CPU102は、ステップ428で指定されたアプリケーションを起動する。その後、制御はステップ400に戻る。ステップ430では、ステップ420とは異なり、アプリケーションの処理対象であるファイルが指定されずに、アプリケーションが起動される。また、アイコンが選択された状態での実行ではないので、CPU102は、アプリケーションが生成したウィンドウ画像をそのまま、即ち、ウィンドウ画像の正立方向が、基準方向と一致するようにウィンドウを表示する。   In step 430, the CPU 102 activates the application designated in step 428. Control then returns to step 400. In step 430, unlike step 420, the application is started without specifying a file to be processed by the application. Further, since execution is not performed in a state where the icon is selected, the CPU 102 displays the window image generated by the application as it is, that is, the window image so that the erecting direction of the window image matches the reference direction.

ステップ432において、CPU102は、ステップ400で指定された画面操作が、本プログラムの終了の指示であるか否かを判定する。例えば、インターフェイス装置のOSを終了する指示がなされた場合、終了指示と判定される。終了指示と判定された場合、本プログラムを終了する。そうでなければ、制御はステップ434に移行する。   In step 432, the CPU 102 determines whether or not the screen operation designated in step 400 is an instruction to end the program. For example, when an instruction to end the OS of the interface device is given, it is determined as an end instruction. If it is determined to be an end instruction, the program ends. Otherwise, control passes to step 434.

ステップ434では、起動中のアプリケーションに対する処理、即ち表示されているウィンドウがタッチ操作された場合の処理が実行される。ステップ434の具体的処理を、図13に示す。図13には、主として、アイコンが新規に生成される処理を示している。   In step 434, a process for a running application, that is, a process when a displayed window is touched is executed. The specific processing of step 434 is shown in FIG. FIG. 13 mainly shows processing for generating a new icon.

ステップ500において、CPU102は、ステップ400で検出された操作が、ファイル保存であるか否かを判定する。具体的には、ウィンドウ内のツールバーがタッチされて表示されるプルダウンメニューにおいて、例えば「名前を付けて保存」がタッチされた場合に、CPU102はファイル保存であると判定する。ファイル保存であると判定された場合、制御はステップ502に移行する。そうでなければ、制御はステップ522に移行する。   In step 500, the CPU 102 determines whether or not the operation detected in step 400 is file saving. Specifically, in the pull-down menu displayed when the toolbar in the window is touched, for example, when “Save As” is touched, the CPU 102 determines that the file is saved. If it is determined that the file is stored, the control proceeds to step 502. Otherwise, control passes to step 522.

ステップ502において、CPU102は、ファイル保存のためのダイアログボックス(ウィンドウ)を表示する。   In step 502, the CPU 102 displays a dialog box (window) for saving a file.

ステップ504において、CPU102は、ダイアログボックスに対して操作がなされたか否かを判定する。具体的には、CPU102は、ダイアログボックスに表示されたボタンへのタッチ、又は、テキスト入力がなされたか否かを判定する。操作がなされたと判定された場合、制御はステップ506に移行する。そうでなければ、ステップ504が繰返される。   In step 504, the CPU 102 determines whether or not an operation has been performed on the dialog box. Specifically, the CPU 102 determines whether or not a touch on a button displayed in the dialog box or a text input has been made. If it is determined that an operation has been performed, control proceeds to step 506. Otherwise, step 504 is repeated.

後述するように、ユーザは、ダイアログボックスに表示されたテキスト入力セルにファイル名を入力し、ファイルを保存する場所(ディレクトリ)を指定することができる。テキスト入力は、例えば、接続部110に接続されたキーボードにより行なうことができる。タッチパネルディスプレイにソフトウェアキーボードを表示し、これによってテキスト入力を行なってもよい。   As will be described later, the user can input a file name in a text input cell displayed in the dialog box and specify a location (directory) in which the file is stored. The text input can be performed by a keyboard connected to the connection unit 110, for example. A software keyboard may be displayed on the touch panel display to input text.

ステップ506において、CPU102は、ダイアログボックスに表示された保存ボタンがタッチされたか否かを判定する。保存ボタンは、例えば「OK」ボタンである。保存ボタンがタッチされたと判定された場合、制御はステップ508に移行する。そうでなければ、制御はステップ516に移行する。   In step 506, the CPU 102 determines whether or not the save button displayed in the dialog box has been touched. The save button is, for example, an “OK” button. If it is determined that the save button has been touched, control proceeds to step 508. Otherwise control passes to step 516.

ステップ508において、CPU102は、表示されているダイアログボックスを消去する。   In step 508, the CPU 102 deletes the displayed dialog box.

ステップ510において、CPU102は、入力されたファイル名で、記録部108の指定されたディレクトリにファイルを保存する。CPU102は、OSによって提供される公知のディレクトリの階層構造と、公知のファイル管理プログラムとを利用する。なお、ファイル名、及びファイルを保存するディレクトリの情報は、後述するステップ520で入力され、RAM106に一時的に記憶される。   In step 510, the CPU 102 saves the file in the designated directory of the recording unit 108 with the input file name. The CPU 102 uses a known directory hierarchical structure provided by the OS and a known file management program. Note that the file name and information on the directory in which the file is stored are input in step 520 described later and temporarily stored in the RAM 106.

ステップ512において、CPU102は、ステップ510で保存したファイルのアイコンを生成すべきか否かを判定する。具体的には、CPU102は、ファイルを保存したディレクトリが所定のディレクトリであるか否かを判定する。所定のディレクトリとは、そのディレクトリに保存されたファイルが、タッチパネルディスプレイにアイコンとして表示されるように予め定められているディレクトリである。アイコンを生成すべきと判定された場合、制御はステップ514に移行する。そうでなければ、制御は図3のステップ400に戻る。   In step 512, the CPU 102 determines whether or not to generate an icon for the file saved in step 510. Specifically, the CPU 102 determines whether or not the directory in which the file is stored is a predetermined directory. The predetermined directory is a directory determined in advance so that files stored in the directory are displayed as icons on the touch panel display. If it is determined that an icon should be generated, control passes to step 514. Otherwise, control returns to step 400 of FIG.

ステップ514において、CPU102は、保存したファイルに対応するアイコンを生成して表示部114に表示し、アイコンに関する情報をアイコンデータベースに追加する。例えば、図4に示したようにアイコン302が表示され、図5に示したアイコン情報がアイコンデータベースに追加される。その後、制御はステップ400に戻る。   In step 514, the CPU 102 generates an icon corresponding to the saved file, displays the icon on the display unit 114, and adds information about the icon to the icon database. For example, the icon 302 is displayed as shown in FIG. 4, and the icon information shown in FIG. 5 is added to the icon database. Control then returns to step 400.

ステップ516において、CPU102は、キャンセル指示を受けたか否かを判定する。例えば、CPU102は、ダイアログボックスに表示された「キャンセル」ボタンがタッチされたか否かを判定する。「キャンセル」ボタンがタッチされて、キャンセルされたと判定された場合、制御はステップ518に移行する。そうでなければ、制御はステップ520に移行する。   In step 516, the CPU 102 determines whether or not a cancel instruction has been received. For example, the CPU 102 determines whether or not a “cancel” button displayed in the dialog box has been touched. If it is determined that the “cancel” button has been touched and the control has been canceled, the control proceeds to step 518. Otherwise, control passes to step 520.

ステップ518において、CPU102は、表示されているダイアログボックスを消去する。その後、制御はステップ400に戻る。このとき、後述する入力処理(ステップ520)で受付けたデータ(ファイル名、及び保存ディレクトリへの経路情報)は破棄される。   In step 518, the CPU 102 deletes the displayed dialog box. Control then returns to step 400. At this time, the data (file name and path information to the storage directory) received in the input process (step 520) described later is discarded.

ステップ520において、CPU102は、入力処理を実行する。例えば、保存するファイル名の入力を受付ける処理、又は、ファイルの保存ディレクトリの指定(経路情報)を受付ける処理を実行する。受付けた情報は、一時的にRAM106に記憶される。   In step 520, the CPU 102 executes input processing. For example, a process of accepting input of a file name to be saved or a process of accepting designation of a file saving directory (path information) is executed. The received information is temporarily stored in the RAM 106.

一方、ステップ500でファイル保存であると判定されなければ、ステップ522において、CPU102は、ステップ400で検出された操作に該当する処理を実行する。具体的には、CPU102は、ツールバープルダウンメニューからファイル保存以外の項目(例えば、「新規作成」、「開く」、「上書保存」又は「印刷」等)が選択された場合、該当する処理を実行する。その後、制御はステップ400(図3)に戻る。   On the other hand, if it is not determined in step 500 that the file is stored, in step 522, the CPU 102 executes processing corresponding to the operation detected in step 400. Specifically, when an item other than file saving (for example, “new creation”, “open”, “save overwrite”, “print”, etc.) is selected from the toolbar pull-down menu, the CPU 102 performs a corresponding process. Run. Control then returns to step 400 (FIG. 3).

以上により、ユーザは、タッチパネルディスプレイ上に、アイコン(ファイルアイコン、及びショートカットアイコン)を作成し、表示されたアイコンを所望の方向に回転させて表示することができる。ユーザが、アイコンに対して所定のアプリケーションを実行する指示をした場合には、指定されたアイコンの向きと同じ向きに、ウィンドウを表示することができる。   As described above, the user can create icons (file icons and shortcut icons) on the touch panel display, and display the displayed icons by rotating them in a desired direction. When the user instructs the icon to execute a predetermined application, the window can be displayed in the same orientation as the designated icon.

新規にアイコンを生成する場合には、ユーザは、例えばボタン330(図4)にタッチしてアプリケーションを起動し(ステップ400→・・・→ステップ430)、起動したアプリケーションにより作成したファイルを、所定のディレクトリに保存する(ステップ400→・・・→ステップ434→ステップ500→・・・→ステップ510)。これによって、対応するアイコンが生成されて、図4のように画面300(表示部114)に新規に表示される(ステップ514)。   When a new icon is generated, the user activates an application by touching, for example, the button 330 (FIG. 4) (step 400 →... → step 430), and a file created by the activated application is determined in advance. (Step 400 →... → step 434 → step 500 →... → step 510). As a result, a corresponding icon is generated and newly displayed on the screen 300 (display unit 114) as shown in FIG. 4 (step 514).

また、既に表示されているファイルアイコン302(図4)をダブルタッチして、アプリケーケーションを起動し(ステップ400→・・・→ステップ426→ステップ420)、別のファイル名で、所定のディレクトリに保存してもよい(ステップ400→・・・→ステップ434→ステップ500→・・・→ステップ510)。この場合には、別のファイル名のアイコンが、表示部114に新規に表示される(ステップ514)。   Also, double-touch the file icon 302 (FIG. 4) that is already displayed to start the application (step 400 →... → step 426 → step 420), and enter a predetermined directory with another file name. It may be stored (step 400 →... → step 434 → step 500 →... → step 510). In this case, another file name icon is newly displayed on the display unit 114 (step 514).

新規にショートカットアイコンを生成する場合には、ユーザは、例えば、既存のアイコン302(図4)を長押し操作し、表示されるメニュー中の項目「ショートカットの作成」をタッチする(ステップ400→・・・→ステップ408)。これによって、図8のように画面300に新規にショートカットアイコン310が表示される。   In the case of newly generating a shortcut icon, for example, the user performs a long press operation on the existing icon 302 (FIG. 4), and touches the item “Create shortcut” in the displayed menu (step 400 →. -> Step 408). As a result, a shortcut icon 310 is newly displayed on the screen 300 as shown in FIG.

表示されているアイコンの向きを回転させる場合には、ユーザは、表示されているアイコン、例えば図8のアイコン310を長押し操作して、表示されたメニュー中の項目「回転」をタッチし、これによって表示されたメニューの所望の項目をタッチする(ステップ400→・・・→ステップ416)。図10において「90度左回転」がタッチされると、図11のように、ショートカットアイコン310が回転されたショートカットアイコン312が表示される。   When rotating the direction of the displayed icon, the user performs a long press operation on the displayed icon, for example, the icon 310 in FIG. 8, and touches the item “Rotate” in the displayed menu. The desired item of the displayed menu is touched (step 400 →... → step 416). When “90 degree left rotation” is touched in FIG. 10, a shortcut icon 312 in which the shortcut icon 310 is rotated is displayed as shown in FIG.

図11に示されたショートカットアイコン312の向きを回転させるために、ユーザが、ショートカットアイコン312を長押し操作すると、図14のようにメニュー314が、アイコン312の向き(図12の位相“270”)に表示される。即ち、メニュー(メニュー画像)は、メニュー画像の正立方向が、アイコンの正立方向と一致するように表示される。さらに、「回転」がタッチされた場合に表示されるメニュー316も、アイコン312の向き(図12の位相“270”)に表示される。   In order to rotate the direction of the shortcut icon 312 shown in FIG. 11, when the user performs a long press operation on the shortcut icon 312, the menu 314 displays the direction of the icon 312 (phase “270” in FIG. 12). ) Is displayed. That is, the menu (menu image) is displayed such that the erect direction of the menu image matches the erect direction of the icon. Further, a menu 316 displayed when “Rotate” is touched is also displayed in the direction of the icon 312 (phase “270” in FIG. 12).

以上のようにして、ユーザは、例えば図15に示すように、アイコン302、312、320及び322を、各アイコンの正立方向が所望の方向になるように表示させることができる。ショートカットアイコン312は、上記したように、アイコン302から生成されたショートカットを、90度左回転させたものである。アイコン320は、アプリケーションで作成したファイルを保存することにより作成され表示されたアイコンを、90度右回転させたものである。アイコン322(アイコンの位相が“180”)は、例えば、アイコン320を選択して、基準方向を向いたショートカットアイコン(アイコンの位相が“0”)を生成して表示し、表示されたショートカットアイコンを180度回転させたものである。   As described above, for example, as shown in FIG. 15, the user can display the icons 302, 312, 320, and 322 so that the upright direction of each icon is a desired direction. As described above, the shortcut icon 312 is obtained by rotating the shortcut generated from the icon 302 counterclockwise by 90 degrees. The icon 320 is obtained by rotating an icon created and displayed by saving a file created by the application by 90 degrees to the right. For example, the icon 322 (the phase of the icon is “180”) is generated by selecting the icon 320 and generating and displaying a shortcut icon (the phase of the icon is “0”) facing the reference direction. Is rotated 180 degrees.

図15に対応するアイコンデータベースの情報を、図16に示す。アイコンの大きさは全て同じであり、X軸方向150画素、Y軸方向100画素である。アイコン302、312、320及び322の位相は、各アイコンの向きに対応して“0”、“270”、“90”及び“180”となっている。   FIG. 16 shows icon database information corresponding to FIG. The icons are all the same size, 150 pixels in the X-axis direction and 100 pixels in the Y-axis direction. The phases of the icons 302, 312, 320, and 322 are “0”, “270”, “90”, and “180” corresponding to the direction of each icon.

図15において、アイコン302が指定されて対応するアプリケーションが実行された場合(例えば、アイコン302がダブルタップされた場合)、ステップ420及びステップ422の処理により、図17に示すようにウィンドウ340が表示される。即ち、ウィンドウ340の正立方向は、アイコン302の正立方向と一致している。ウィンドウ340には、ファイル名「d.aaa」及びそれを作成したアプリケーション名「アプリケーション1」が表示されている。ウィンドウ340は、ユーザ222がその表示内容を、他の3人のユーザよりも容易に視認可能な向きに表示されている。   In FIG. 15, when the icon 302 is designated and the corresponding application is executed (for example, when the icon 302 is double-tapped), a window 340 is displayed as shown in FIG. Is done. That is, the upright direction of the window 340 matches the upright direction of the icon 302. In the window 340, a file name “d.aaa” and an application name “application 1” that created the file name are displayed. The window 340 is displayed in a direction in which the user 222 can easily view the display content more easily than the other three users.

図15において、アイコン312が指定されて対応するアプリケーションが実行された場合(例えば、アイコン312がダブルタップされた場合)、ステップ420及びステップ422の処理により、図18に示すようにウィンドウ342が表示される。即ち、ウィンドウ342の正立方向は、アイコン312の正立方向と一致している。ウィンドウ342には、ファイル名「d.aaa」及びそれを作成したアプリケーション名「アプリケーション1」が表示されている。ウィンドウ342は、ユーザ224がその表示内容を、他の3人のユーザよりも容易に視認可能な向きに表示されている。   In FIG. 15, when the icon 312 is specified and the corresponding application is executed (for example, when the icon 312 is double-tapped), the window 342 is displayed as shown in FIG. Is done. That is, the upright direction of the window 342 matches the upright direction of the icon 312. In the window 342, a file name “d.aaa” and an application name “application 1” that created the file name are displayed. In the window 342, the display content of the user 224 is displayed in an orientation in which the display content can be more easily seen than the other three users.

図15において、アイコン320が指定されて対応するアプリケーションが実行された場合(例えば、アイコン320がダブルタップされた場合)、ステップ420及びステップ422の処理により、図19に示すようにウィンドウ344が表示される。即ち、ウィンドウ344の正立方向は、アイコン320の正立方向と一致している。ウィンドウ344には、ファイル名「f.bbb」及びそれを作成したアプリケーション名「アプリケーション2」が表示されている。ウィンドウ344は、ユーザ228がその表示内容を、他の3人のユーザよりも容易に視認可能な向きに表示されている。   In FIG. 15, when the icon 320 is designated and the corresponding application is executed (for example, when the icon 320 is double-tapped), a window 344 is displayed as shown in FIG. 19 by the processing of step 420 and step 422. Is done. That is, the upright direction of the window 344 matches the upright direction of the icon 320. The window 344 displays the file name “f.bbb” and the application name “application 2” that created it. The window 344 is displayed in a direction in which the user 228 can easily view the display content of the window 344 as compared with the other three users.

図15において、アイコン322が指定されて対応するアプリケーションが実行された場合(例えば、アイコン322がダブルタップされた場合)、ステップ420及びステップ422の処理により、図20に示すようにウィンドウ346が表示される。即ち、ウィンドウ346の正立方向は、アイコン322の正立方向と一致している。ウィンドウ346には、ファイル名「f.bbb」及びそれを作成したアプリケーション名「アプリケーション2」が表示されている。ウィンドウ346は、ユーザ226がその表示内容を、他の3人のユーザよりも容易に視認可能な向きに表示されている。   In FIG. 15, when the icon 322 is designated and the corresponding application is executed (for example, when the icon 322 is double-tapped), a window 346 is displayed as shown in FIG. 20 by the processing of step 420 and step 422. Is done. That is, the upright direction of the window 346 coincides with the upright direction of the icon 322. In the window 346, a file name “f.bbb” and an application name “application 2” that created the file name are displayed. The window 346 is displayed in a direction in which the user 226 can easily view the display content more easily than the other three users.

上記では、ステップ408において、新規にショートカットアイコンが生成されて表示される場合、その正立方向が基準方向と一致するように表示される場合を説明したが、これに限定されない。例えば、画面に表示されているアイコンを選択して、そのショートカットアイコンを生成する場合、選択されたアイコンの位相をアイコンデータベースから取得し、正立方向が、取得した位相と一致するようにショートカットアイコンを表示してもよい。例えば、図15のアイコン320(位相が“90”)を選択してショートカットアイコンの作成を指示した場合、その正立方向が右向きとなるようにショートカットアイコン(位相が“90”)を表示する。   In the above description, in the case where a new shortcut icon is generated and displayed in step 408, the case where the upright direction is displayed so as to coincide with the reference direction has been described. However, the present invention is not limited to this. For example, when selecting an icon displayed on the screen and generating its shortcut icon, the phase of the selected icon is acquired from the icon database, and the shortcut icon is set so that the upright direction matches the acquired phase. May be displayed. For example, when the icon 320 (phase is “90”) in FIG. 15 is selected and creation of a shortcut icon is instructed, the shortcut icon (phase is “90”) is displayed so that the upright direction is rightward.

また、新規にアイコンを作成するときに、アイコンの向きを指定できるようにしてもよい。例えば、図5に示したメニュー304の「ショートカットの作成」が選択された場合に、「回転なし」、「90度右回転」、「90度左回転」、「180度回転」の項目を表示し、作成したショートカットアイコンの向きを、アイコン302の向きを基準として選択可能にしてもよい。このようにすれば、複数のユーザがタッチパネルディスプレイを取り囲んで見ている状況において、あるユーザが、自分から見て正立しているアイコンのショートカットアイコンを、自分と異なる位置にいる別のユーザのために作成する場合、その別のユーザから見て正立するようにショートカットアイコンを表示させることができる。   In addition, when creating a new icon, the direction of the icon may be designated. For example, when “Create shortcut” in the menu 304 shown in FIG. 5 is selected, the items “No rotation”, “90 degree right rotation”, “90 degree left rotation”, and “180 degree rotation” are displayed. Then, the orientation of the created shortcut icon may be selectable based on the orientation of the icon 302. In this way, in a situation where a plurality of users surround and view the touch panel display, one user can set a shortcut icon of an icon that is upright when viewed from the other user's shortcut icon. For this purpose, a shortcut icon can be displayed so as to stand upright when viewed from another user.

なお、新規にショートカットアイコンを作成するときの、アイコンの向きの指定は、選択されたアイコンの向きを基準とせずに、基準方向に対して指定されてもよい。   The direction of the icon when creating a new shortcut icon may be specified with respect to the reference direction without using the direction of the selected icon as a reference.

上記では、アイコン毎に回転操作を行なう場合を説明したがこれに限定されない。複数のアイコンを選択して、それらを同時に回転させてもよい。例えば、複数のアイコンを選択する操作に続き、選択された状態の何れかのアイコン上で長押し操作がなされた場合、図3のステップ404と同様に選択メニューを表示し、ステップ410〜ステップ416と同様に、「回転」が選択された場合に、選択されたアイコンを全て回転表示し、対応するアイコンデータベースの情報を更新すればよい。   In the above description, the case where the rotation operation is performed for each icon has been described, but the present invention is not limited to this. Multiple icons may be selected and rotated simultaneously. For example, when a long press operation is performed on any icon in the selected state following the operation of selecting a plurality of icons, a selection menu is displayed as in step 404 of FIG. Similarly, when “Rotate” is selected, all the selected icons are rotated and the corresponding icon database information is updated.

上記では、アイコンに対応するアプリケーションが実行されたときに、そのアイコンの向きと同じ向きにウィンドウを表示する場合を説明したが、別のアプリケーションを実行するときにも同様に表示してもよい。例えば、ファイルアイコンが長押し操作されて表示されるメニューで「プログラムから開く」又は「送る」等の項目が選択されて、長押し操作されたアイコンに対応するアプリケーション以外のアプリケーションを実行することができる。その場合にも、アイコンの位相に基づいて、アイコンの向きと同じ向きにウィンドウを表示してもよい。   In the above description, the window is displayed in the same direction as the icon when the application corresponding to the icon is executed. However, the window may be displayed in the same manner when another application is executed. For example, when an item such as “Open from program” or “Send” is selected in a menu displayed when a file icon is pressed and held, an application other than the application corresponding to the icon that is pressed and pressed is executed. it can. Even in this case, the window may be displayed in the same direction as the direction of the icon based on the phase of the icon.

上記では、1つのアイコンが指定されて、アプリケーションが実行される場合を説明したが、これに限定されない。複数のアイコンを選択して、アプリケーションを実行する場合に、各アイコンの向きに、対応するウィンドウを表示してもよい。例えば、アイコン等の操作対象が表示されていない画面上でタッチし、ドラッグ(タッチを維持したままタッチ点を移動させる操作)した後、タッチを止めると、タッチされた軌跡の始点及び終点を対角の頂点とする長方形領域内にあるアイコンが全て選択された状態にすることができる。したがって、例えば、複数のアイコンを選択する操作に続き、選択された状態の何れかのアイコン上で長押し操作がなされた場合、図3のステップ404と同様に選択メニューを表示し、ステップ418〜ステップ422と同様に、「開く」が選択された場合に、選択されている各アイコンの位相から、対応するウィンドウの向きを決定すればよい。   In the above description, the case where one icon is designated and the application is executed has been described. However, the present invention is not limited to this. When selecting a plurality of icons and executing the application, a corresponding window may be displayed in the direction of each icon. For example, touching on a screen that does not display an operation target such as an icon, dragging (an operation to move the touch point while maintaining the touch), and then stopping the touch, the start point and end point of the touched locus are matched. All the icons in the rectangular area as the corner apexes can be selected. Therefore, for example, when a long press operation is performed on any of the selected icons following the operation of selecting a plurality of icons, a selection menu is displayed in the same manner as in step 404 of FIG. Similar to step 422, when “Open” is selected, the orientation of the corresponding window may be determined from the phase of each selected icon.

本発明においては、表示されているアイコンに対する回転操作、及び、アイコンを指定してアプリケーションを起動した場合に、アイコンの向きに応じてウィンドウが表示される点に特徴がある。したがって、アイコンを生成する方法、アプリケーションを起動する方法等に関しては、上記した方法以外の方法であってもよい。例えば、インストールされているアプリケーションをリスト表示するボタンを画面に設け、そのボタンがタッチされた場合に表示されるリストから、タッチ操作により選択して、アプリケーションを実行するようにしてもよい。また、ショートカットアイコン310と同様に、デフォルトのファイルを指定してアプリケーションを起動するためのショートカットアイコンを画面に表示してもよい。   The present invention is characterized in that a window is displayed in accordance with the direction of an icon when a rotation operation is performed on the displayed icon and an application is started by specifying the icon. Therefore, a method other than the method described above may be used as a method for generating an icon, a method for starting an application, and the like. For example, a button for displaying a list of installed applications may be provided on the screen, and the application may be executed by selecting from a list displayed when the button is touched by a touch operation. Similarly to the shortcut icon 310, a shortcut icon for designating a default file and starting an application may be displayed on the screen.

上記では、インターフェイス装置100が、タッチパネルディスプレイを備え、タッチ操作により指示が入力される場合を説明したが、これに限定されない。接続部110に、有線又は無線によって接続されたマウスにより、アイコンが操作(回転等)されてもよい。マウス操作によるアイコンの操作方法は、公知の方法を採用すればよい。   In the above description, the interface device 100 includes a touch panel display and an instruction is input by a touch operation. However, the present invention is not limited to this. An icon may be operated (rotated or the like) by a mouse connected to the connection unit 110 by wire or wirelessly. A known method may be adopted as a method of operating the icon by the mouse operation.

上記では、テーブル型インターフェイス装置である場合を説明したが、これに限定されない。ノート型のパーソナルコンピュータ、又はタブレットコンピュータ等の、表示画面を略水平に配置することができる装置であればよい。そのような装置に本発明を適用すれば、表示画面の周りの複数のユーザにとって、表示画面に表示されたアイコン及びウィンドウ等の視認及び操作が容易になる。   In the above description, the table type interface device has been described. However, the present invention is not limited to this. Any device that can arrange the display screen substantially horizontally, such as a notebook personal computer or a tablet computer, may be used. When the present invention is applied to such an apparatus, it is easy for a plurality of users around the display screen to visually recognize and operate icons and windows displayed on the display screen.

(第2の実施の形態)
第1の実施の形態では、アイコン及びウィンドウの向きを回転して表示するプログラムが、1つのプログラムとして構成されていたが、第2の実施の形態では、機能毎のプログラムモジュールから構成される。図21は、第2の実施の形態に係るインターフェイス装置の機能を、機能毎のモジュールとして示すブロック図である。第2の実施の形態に係るインターフェイス装置は、第1の実施の形態に係るインターフェイス装置100(図1参照)と同様に構成される。したがって、重複する説明は繰返さない。
(Second Embodiment)
In the first embodiment, the program for rotating and displaying the icons and windows is configured as one program. In the second embodiment, the program is configured from program modules for each function. FIG. 21 is a block diagram illustrating functions of the interface device according to the second embodiment as modules for each function. The interface device according to the second embodiment is configured similarly to the interface device 100 (see FIG. 1) according to the first embodiment. Therefore, repeated description will not be repeated.

位相判定部140は、タッチ検出部112からタッチ位置座標を入力され、タッチ点及びタッチ点の軌跡等から、既存のアイコンに対するタッチ操作であることを検出すると、位相データベース(アイコンデータベースに対応)150から、該当するアイコンの情報を取得する。位相判定部140は、取得したアイコンの情報の中の位相データを位相処理部142に出力する。位相判定部140は、新規にアイコンを作成する操作を検出した場合には、位相データベース150に、作成するアイコンの情報を新たに記憶する。   When the touch position coordinates are input from the touch detection unit 112 and the phase determination unit 140 detects a touch operation with respect to an existing icon from the touch point and the locus of the touch point, the phase determination unit 140 corresponds to the phase database 150 (corresponding to the icon database). To obtain the information of the corresponding icon. The phase determination unit 140 outputs the phase data in the acquired icon information to the phase processing unit 142. When the phase determination unit 140 detects an operation for creating a new icon, the phase determination unit 140 newly stores information on the icon to be created in the phase database 150.

操作判定部144は、位相判定部140からタッチ位置座標とアイコンの情報を入力され、それらに基づいて画面操作を判定し、判定結果に応じた指示を処理部146に出力する。   The operation determination unit 144 receives touch position coordinates and icon information from the phase determination unit 140, determines a screen operation based on them, and outputs an instruction according to the determination result to the processing unit 146.

処理部146は、操作判定部144から入力される指示及びアイコンの情報にしたがって、OSの機能を利用し、又はアプリケーションを実行し、表示部114に表示する画像(アイコン、メニュー及びウィンドウ等)を生成する。処理部146は、生成した部分画像(アイコン、メニュー及びウィンドウ等)を、位相処理部142に出力する。   The processing unit 146 uses an OS function or executes an application according to the instruction and icon information input from the operation determination unit 144, and displays an image (icon, menu, window, or the like) displayed on the display unit 114. Generate. The processing unit 146 outputs the generated partial image (icon, menu, window, etc.) to the phase processing unit 142.

位相処理部142は、処理部146から入力される部分画像の向きを、位相判定部140から入力される位相データにしたがって回転させて、表示部114に出力する。具体的には、位相処理部142が、入力される画像の向きを回転した画像を生成して、図1に示したVRAM118に記憶すると、表示制御部116により、表示部114に表示される。   The phase processing unit 142 rotates the orientation of the partial image input from the processing unit 146 according to the phase data input from the phase determination unit 140 and outputs the rotated image to the display unit 114. Specifically, when the phase processing unit 142 generates an image in which the direction of the input image is rotated and stores the image in the VRAM 118 illustrated in FIG. 1, the display control unit 116 displays the image on the display unit 114.

例えば、表示されているアイコンが長押し操作されたことが検出されると、位相判定部140は、位相データベース150から該当するアイコンの情報を取得し、その中の位相を位相処理部142に出力する。また、操作判定部144が、メニューを表示する指示を処理部146に出力し、これを受けた処理部146は、従来のメニュー画像(正立方向が基準方向に一致)を生成して、位相処理部142に出力する。位相処理部142は、処理部146から入力されたメニュー画像を、位相判定部140から入力された位相データにしたがって回転させて、表示部114に出力する。これによって、長押し操作されたアイコンの向きと同じ向きにメニューが表示される(図5参照)。   For example, when it is detected that the displayed icon has been pressed for a long time, the phase determination unit 140 acquires information on the corresponding icon from the phase database 150 and outputs the phase in the information to the phase processing unit 142. To do. In addition, the operation determination unit 144 outputs an instruction to display a menu to the processing unit 146, and the processing unit 146 that receives the instruction generates a conventional menu image (the erecting direction matches the reference direction), and the phase The data is output to the processing unit 142. The phase processing unit 142 rotates the menu image input from the processing unit 146 according to the phase data input from the phase determination unit 140 and outputs the rotated menu image to the display unit 114. As a result, the menu is displayed in the same direction as the direction of the long-pressed icon (see FIG. 5).

表示されたメニューの項目「回転」がタッチされて選択されたことが検出されると、上記と同様にして、角度選択メニュー306(図10参照)が表示される。   When it is detected that the item “Rotation” in the displayed menu is touched and selected, the angle selection menu 306 (see FIG. 10) is displayed in the same manner as described above.

さらに、表示された角度選択メニュー306の項目がタッチされて選択されたことが検出されると、位相判定部140は、位相データベース150から取得したアイコン情報を、選択されたメニュー項目に対応する角度に応じて変更する。位相は、選択されたメニュー項目に対応する角度だけ変更されて、位相処理部142に出力される。位相判定部140は、変更後のアイコン情報で、該当するアイコン情報を更新する(「90度左回転」が選択された場合を示す図12参照)。位相処理部142は、処理部146から入力されたアイコン画像を、位相判定部140から入力された変更後の位相にしたがって回転させて、表示部114に出力する。これによって、長押しされたアイコンが、選択された角度選択メニューの項目に応じて回転されて表示される(図11参照)。   Further, when it is detected that the item of the displayed angle selection menu 306 is touched and selected, the phase determination unit 140 displays the icon information acquired from the phase database 150 as an angle corresponding to the selected menu item. Change according to. The phase is changed by an angle corresponding to the selected menu item and output to the phase processing unit 142. The phase determination unit 140 updates the corresponding icon information with the changed icon information (see FIG. 12 showing a case where “90 degree left rotation” is selected). The phase processing unit 142 rotates the icon image input from the processing unit 146 according to the changed phase input from the phase determination unit 140 and outputs the rotated image to the display unit 114. As a result, the long-pressed icon is rotated and displayed in accordance with the item of the selected angle selection menu (see FIG. 11).

表示されたメニューの項目「作成」がタッチされたことが検出されると、位相判定部140は、アイコンデータベースに記憶されているIDと重複しないように、新たに作成するショートカットアイコンのIDを決定し、位相データベース150から取得した既存のアイコン情報の一部(図9のアプリケーション名、ハンドル、リンク、及び位相等)を、決定したIDに対応させて、アイコンデータベースに記憶する。ファイル種類、形状、(x1,y1)、(x2,y2)は、ショートカットアイコンに対応して予め設定されているデータが記憶される。但し、(x1,y1)、(x2,y2)は、元のアイコンと重ならないように、シフトした値が記憶される。また、位相判定部140は、元のアイコン情報の位相を、位相処理部142に出力する。また、操作判定部144が、ショートカットアイコンを生成する指示を処理部146に出力し、これを受けた処理部146は、従来のショートカットアイコン画像(正立方向が基準方向に一致)を生成して、位相処理部142に出力する。位相処理部142は、処理部146から入力されたショートカットアイコン画像を、位相判定部140から入力された位相データにしたがって回転させて、表示部114に出力する。これによって、長押し操作されたアイコンの向きと同じ向きに、ショートカットアイコンが表示される(図8参照)。   When it is detected that the item “Create” in the displayed menu is touched, the phase determination unit 140 determines the ID of the shortcut icon to be newly created so as not to overlap with the ID stored in the icon database. Then, a part of the existing icon information acquired from the phase database 150 (application name, handle, link, phase, etc. in FIG. 9) is stored in the icon database in association with the determined ID. The file type, shape, (x1, y1), and (x2, y2) store data set in advance corresponding to the shortcut icon. However, shifted values are stored in (x1, y1) and (x2, y2) so as not to overlap the original icon. Further, the phase determination unit 140 outputs the phase of the original icon information to the phase processing unit 142. In addition, the operation determination unit 144 outputs an instruction to generate a shortcut icon to the processing unit 146, and the processing unit 146 that receives the instruction generates a conventional shortcut icon image (the erecting direction matches the reference direction). And output to the phase processing unit 142. The phase processing unit 142 rotates the shortcut icon image input from the processing unit 146 according to the phase data input from the phase determination unit 140 and outputs the rotated icon image to the display unit 114. As a result, the shortcut icon is displayed in the same direction as the direction of the long-pressed icon (see FIG. 8).

また、例えば、表示されているアイコンが指定されて、アプリケーションの実行が指示された(アイコンがダブルタップされた)ことが検出されると、位相判定部140は、位相データベース150から該当するアイコンの情報を取得し、その中の位相を位相処理部142に出力する。また、操作判定部144が、アイコン情報に含まれるリンク(位相判定部140から入力される)と、アプリケーションの実行指示を処理部146に出力し、これを受けた処理部146は、アプリケーションを起動し、リンクにより特定されるファイルを用いて、従来のウィンドウ画像(正立方向が基準方向に一致)を生成して、位相処理部142に出力する。位相処理部142は、処理部146から入力されたウィンドウ画像を、位相判定部140から入力された位相データにしたがって回転させて、表示部114に出力する。これによって、ダブルタップされたアイコンの向きと同じ向きに、ウィンドウが表示される(図17〜図20参照)。   Further, for example, when it is detected that the displayed icon is designated and the execution of the application is instructed (the icon is double-tapped), the phase determination unit 140 selects the corresponding icon from the phase database 150. Information is acquired and the phase in the information is output to the phase processing unit 142. In addition, the operation determination unit 144 outputs a link (input from the phase determination unit 140) included in the icon information and an execution instruction of the application to the processing unit 146, and the processing unit 146 that receives the link starts the application. Then, using the file specified by the link, a conventional window image (the erecting direction matches the reference direction) is generated and output to the phase processing unit 142. The phase processing unit 142 rotates the window image input from the processing unit 146 according to the phase data input from the phase determination unit 140 and outputs the rotated image to the display unit 114. As a result, the window is displayed in the same direction as the double-tapped icon (see FIGS. 17 to 20).

以上のように、第2の実施の形態においても、第1の実施の形態と同様に、アイコンを回転させて表示することができ、アイコンが選択されて処理が指示された場合に、メニュー及びウィンドウを、選択されたアイコンの向きと同じ向きに表示することができる。   As described above, also in the second embodiment, as in the first embodiment, the icon can be rotated and displayed. When the icon is selected and processing is instructed, the menu and The window can be displayed in the same orientation as the selected icon.

(第3の実施の形態)
第1及び第2の実施の形態では、アイコンを回転させる角度をメニューから選択して行なう方法を採用したが、第3の実施の形態では、異なるアイコンの回転方法を採用する。第3の実施の形態に係るインターフェイス装置は、第1の実施の形態に係るインターフェイス装置100(図1参照)と同様に構成され、図3と同様のプログラムが実行される。したがって、重複する説明は繰返さない。
(Third embodiment)
In the first and second embodiments, the method of selecting the angle for rotating the icon from the menu is adopted, but in the third embodiment, a different icon rotation method is adopted. The interface device according to the third embodiment is configured in the same manner as the interface device 100 (see FIG. 1) according to the first embodiment, and the same program as that in FIG. 3 is executed. Therefore, repeated description will not be repeated.

第3の実施の形態において実行されるプログラムの制御構造を示す図22が、図3と異なるのは、図3のステップ412〜ステップ414が、ステップ600に置換えられている点だけである。   FIG. 22 showing the control structure of the program executed in the third embodiment is different from FIG. 3 only in that steps 412 to 414 in FIG.

ステップ410において、アイコンの向きを回転させる指示が選択されたと判定された場合、例えば、図5に示したメニュー304の「回転」がタッチされたと判定された場合、ステップ600においてアイコンの向きの回転処理が実行される。ステップ600の回転処理を、図23に示す。   If it is determined in step 410 that an instruction to rotate the direction of the icon has been selected, for example, if it is determined that “Rotation” in the menu 304 shown in FIG. Processing is executed. The rotation process of step 600 is shown in FIG.

ステップ602において、CPU102は、回転用バー(部分画像)をアイコンに重畳して表示し、操作を待受ける。回転用バーは、例えば、回転用バーの長手方向が基準方向に一致するように表示される。後述するように、ユーザは回転用バーにタッチしてドラッグ操作をすることにより、アイコンの回転角度を指定することができる。   In step 602, the CPU 102 displays a rotation bar (partial image) superimposed on the icon, and waits for an operation. For example, the rotation bar is displayed so that the longitudinal direction of the rotation bar matches the reference direction. As will be described later, the user can specify the rotation angle of the icon by touching the rotation bar and performing a drag operation.

ステップ604において、CPU102は、タッチ検出部112へのタッチ操作がなされたか否かを判定する。具体的には、CPU102は、タッチ検出部112から位置座標を受信したか否かを判定する。位置座標を受信した場合、即ちタッチ操作されたと判定された場合、制御はステップ606に移行する。そうでなければ、ステップ604が繰返される。   In step 604, the CPU 102 determines whether a touch operation has been performed on the touch detection unit 112. Specifically, the CPU 102 determines whether or not position coordinates are received from the touch detection unit 112. When the position coordinates are received, that is, when it is determined that the touch operation is performed, the control proceeds to step 606. Otherwise, step 604 is repeated.

ステップ606において、CPU102は、回転用バーへのタッチ操作であるか否かを判定する。具体的には、CPU102は、ステップ604で受信した位置座標が、回転用バーの画像上の位置座標であるか否かを判定する。受信した位置座標が回転用バーの画像上の位置座標である場合、即ち回転用バーへのタッチ操作であると判定された場合、制御はステップ608に移行する。そうでなければ、即ち回転用バー以外の領域へのタッチであると判定された場合、制御はステップ610に移行する。   In step 606, the CPU 102 determines whether or not the touch operation is on the rotation bar. Specifically, the CPU 102 determines whether or not the position coordinates received in step 604 are position coordinates on the image of the rotation bar. If the received position coordinates are position coordinates on the image of the rotation bar, that is, if it is determined that the operation is a touch operation on the rotation bar, the control proceeds to step 608. Otherwise, that is, if it is determined that the touch is on an area other than the rotation bar, the control proceeds to step 610.

ステップ608において、CPU102は、ドラッグ操作がなされたことに応じて、アイコンを回転させて表示する。具体的には、CPU102は、ドラッグ操作の軌跡から、回転方向及び回転角度を計算し、計算値を用いて回転後のアイコン及び回転用バーの画像を生成し、VRAM118に記憶する。このとき、CPU102は、基準方向からの回転角度(例えば、時計の回転方向の角度)を所定の角度単位(例えば1度単位)で計算し、RAM106に上書する。これによって、回転されたアイコンが表示部114に表示され、最新の角度が維持される。例えば、図24に示すように、アイコンが点線で示された状態で、ユーザが回転用バー350にタッチして、矢印で示すように右回りにドラッグすると、実線で示すように回転されたアイコン及び回転用バーが表示される。   In step 608, the CPU 102 rotates and displays the icon in response to the drag operation. Specifically, the CPU 102 calculates a rotation direction and a rotation angle from the trajectory of the drag operation, generates a rotated icon and a rotation bar image using the calculated values, and stores them in the VRAM 118. At this time, the CPU 102 calculates a rotation angle from the reference direction (for example, an angle in the rotation direction of the timepiece) in a predetermined angle unit (for example, 1 degree unit) and overwrites it in the RAM 106. As a result, the rotated icon is displayed on the display unit 114, and the latest angle is maintained. For example, as shown in FIG. 24, when the user touches the rotation bar 350 and drags clockwise as indicated by an arrow in a state where the icon is indicated by a dotted line, the icon rotated as indicated by a solid line is displayed. And a rotation bar is displayed.

ステップ610において、CPU102は、回転用バーへのタッチが維持されなくなったか否かを判定する。具体的には、CPU102は、タッチ検出部112から、所定の時間以上、位置座標を受信しなければ、タッチが維持されなくなったと判定する。タッチが維持されなくなったと判定された場合、制御はステップ612に移行する。そうでなければ、制御はステップ608に移行する。ステップ608及びステップ610によって、タッチが維持されたままドラッグされていれば、ステップ608が繰返されるので、回転操作中のアイコンを表示することができる。   In step 610, the CPU 102 determines whether or not the touch on the rotation bar is no longer maintained. Specifically, the CPU 102 determines that the touch is no longer maintained unless position coordinates are received from the touch detection unit 112 for a predetermined time or longer. If it is determined that the touch is no longer maintained, control passes to step 612. Otherwise, control passes to step 608. In step 608 and step 610, if dragging while maintaining the touch, step 608 is repeated, so that the icon during the rotation operation can be displayed.

タッチが維持されなくなると、ステップ612において、CPU102は、RAM106から現在のアイコンの回転角度を読出し、アイコンデータベースにおいて、対応するアイコンの位相を更新する。なお、アイコンデータベースは、(x1,y1)及び(x2,y2)の代りに、アイコンの大きさ(縦の画素数及び横の画素数)、アイコンの回転の中心の位置座標を含み、その位置座標は変更されない。その後、制御はステップ604に移行する。これによって、一旦ドラッグ操作を止めた場合にも、回転されたアイコン及び回転用バーが表示されたままになるので、ユーザは、回転用バーのドラッグ操作を繰返し、アイコンをさらに回転させることができる。   When the touch is no longer maintained, in step 612, the CPU 102 reads the current icon rotation angle from the RAM 106 and updates the phase of the corresponding icon in the icon database. The icon database includes the size of the icon (the number of vertical pixels and the number of horizontal pixels) and the position coordinates of the rotation center of the icon instead of (x1, y1) and (x2, y2). The coordinates are not changed. Thereafter, control proceeds to step 604. Thus, even after the drag operation is stopped, the rotated icon and the rotation bar remain displayed, so that the user can repeat the drag operation of the rotation bar and further rotate the icon. .

ステップ606で、回転用バーの操作でないと判定された場合、ステップ610において、CPU102は、表示されている回転用バーを消去する。その後、制御は図22のステップ400に戻る。したがって、ユーザは、回転用バー以外の領域にタッチすることにより、回転用バーを消去して、アイコンの回転操作を終了することができる。   If it is determined in step 606 that the rotation bar is not operated, in step 610, the CPU 102 deletes the displayed rotation bar. Control then returns to step 400 of FIG. Therefore, the user can erase the rotation bar and end the icon rotation operation by touching an area other than the rotation bar.

このように、第3の実施の形態においては、第1の実施の形態とは異なり、ユーザは、アイコンの正立方向(アイコンの位相)を、所定の角度単位(例えば1度単位)で任意の方向に設定することができる。アイコンが選択されてアプリケーションが実行された場合には、ステップ422(図22)により、アイコンデータベースからアイコンの位相を読出し、ウィンドウの正立方向が、アイコンの正立方向に一致するようにウィンドウを表示する。これによって、選択されたアイコンと同じ方向にウィンドウを表示することができる。したがって、矩形のタッチパネルディスプレイの辺の中央付近に位置するユーザ以外のユーザ、例えば、矩形のタッチパネルディスプレイの角付近に位置するユーザから見て正立して見えるように、アイコン及びウィンドウを表示することができる。   As described above, in the third embodiment, unlike the first embodiment, the user arbitrarily sets the icon erecting direction (icon phase) in a predetermined angle unit (for example, 1 degree unit). The direction can be set. If the icon is selected and the application is executed, step 422 (FIG. 22) reads the phase of the icon from the icon database and opens the window so that the upright direction of the window matches the upright direction of the icon. indicate. As a result, the window can be displayed in the same direction as the selected icon. Therefore, displaying icons and windows so that they appear upright when viewed from a user other than the user located near the center of the side of the rectangular touch panel display, for example, a user located near the corner of the rectangular touch panel display. Can do.

上記では、回転用の部分画像(回転用バー)をアイコンに重ねて表示する場合を説明したがこれに限定されない。回転用の部分画像を表示せず、アイコンを直接タッチ操作してもよい。例えば、アイコンがタッチされて選択された状態で、アイコン付近の2点が同時にタッチされて、タッチされたまま2点がアイコンの周りに回転移動された場合に、上記と同様に回転角度を決定してもよい。   In the above description, the case where the partial image for rotation (rotation bar) is displayed over the icon has been described, but the present invention is not limited to this. The icon may be directly touched without displaying the partial image for rotation. For example, when the icon is touched and selected, two points near the icon are touched at the same time, and when the two points are touched and rotated around the icon, the rotation angle is determined in the same manner as described above. May be.

上記では、画面上で回転されたアイコンの角度をそのまま、アイコンの位相としてアイコンデータベースに記憶する場合を説明したが、これに限定されない。回転中のアイコンはドラッグに応じて回転されて表示されるが、最終的に確定されるアイコンの向き(位相)は、上下左右方向に限定してもよい。例えば、ユーザのドラッグ操作によって決定された回転角度αが、45≦α<135であれば位相θ=90とし、135≦α<225であれば位相θ=180とし、225≦α<315であれば位相θ=270とし、0≦α<45又は275≦α<0であれば位相θ=0とする。   In the above description, the angle of the icon rotated on the screen is stored as it is in the icon database as the icon phase. However, the present invention is not limited to this. Although the rotating icon is rotated and displayed in response to the drag, the finally determined icon direction (phase) may be limited to the vertical and horizontal directions. For example, if the rotation angle α determined by the user's drag operation is 45 ≦ α <135, the phase θ = 90, and if 135 ≦ α <225, the phase θ = 180 and 225 ≦ α <315. For example, the phase θ = 270, and if 0 ≦ α <45 or 275 ≦ α <0, the phase θ = 0.

以上、実施の形態を説明することにより本発明を説明したが、上記した実施の形態は例示であって、本発明は上記した実施の形態に限定されるものではなく、種々変更して実施することができる。   The present invention has been described above by describing the embodiment. However, the above-described embodiment is an exemplification, and the present invention is not limited to the above-described embodiment, and is implemented with various modifications. be able to.

また、上述した発明の一側面としては、水平に配置され得る表示画面を備えた装置において、基準方向以外の方向から画面を見るユーザにとって、画面に表示された部分画像の把握を容易にすることができるインターフェイス装置、インターフェイス方法、インターフェイスプログラム、及びそのプログラムを記憶したコンピュータ読取可能な記録媒体を提供することを目的としている。   In addition, as one aspect of the invention described above, in a device having a display screen that can be arranged horizontally, it is easy for a user who views the screen from a direction other than the reference direction to grasp a partial image displayed on the screen. It is an object to provide an interface device, an interface method, an interface program, and a computer-readable recording medium storing the program.

これにより、上述した発明の効果としては、テーブル型インターフェイス装置等の、水平に配置され得る表示画面を備えた装置において、表示画面の周囲に位置するユーザは、自分に適した方向、又は他のユーザに適した方向に、アイコン及びウィンドウを表示することができる。したがって、1つの表示画面を用いて行なう共同作業の効率を向上することができる。   Accordingly, as an effect of the above-described invention, in a device having a display screen that can be arranged horizontally, such as a table-type interface device, a user positioned around the display screen can select a direction suitable for him or other Icons and windows can be displayed in a direction suitable for the user. Therefore, the efficiency of collaborative work performed using a single display screen can be improved.

また、異なる方向を向いた複数のアイコンを選択して、アプリケーションの実行が指示された場合には、各アイコンの方向と同じ方向に、対応するウィンドウを表示するので、表示画面を異なる方向から見ている各ユーザに適切な方向にアイコンが表示されていれば、各ユーザが把握が容易な方向に各ウィンドウを、一度に表示することが可能になる。   In addition, when multiple applications are selected in different directions and the application is instructed to run, the corresponding window is displayed in the same direction as each icon, so the display screen can be viewed from different directions. If an icon is displayed in an appropriate direction for each user, it is possible to display each window at once in a direction that is easy for each user to grasp.

また、発明の一態様としては、画面にアイコンを表示する表示手段と、
ユーザにより指定された前記アイコンの向きの変更を、ユーザが指示するための回転指示手段と、
前記アイコンを指定して、アプリケーションプログラムの実行を指示する実行手段とを含み、
前記表示手段は、
前記回転指示手段によりアイコンの向きの変更が指示されたことに応じて、当該アイコンの向きを変更して表示する手段と、
前記実行手段により、アイコンが指定されてアプリケーションプログラムの実行が指示されたことを受けて、当該アイコンの向きと一致するようにウィンドウを表示する手段とを含むことを特徴とするインターフェイス装置であってもよい。
Moreover, as one aspect of the invention, display means for displaying an icon on the screen;
Rotation instruction means for the user to instruct a change in the orientation of the icon designated by the user;
Execution means for designating the icon and instructing execution of the application program,
The display means includes
Means for changing and displaying the orientation of the icon in response to an instruction to change the orientation of the icon by the rotation instruction means;
An interface device comprising: means for displaying a window so as to coincide with the direction of the icon in response to an instruction for execution of an application program specified by the execution means. Also good.

このとき、前記画面に対して設定された基準方向に対する前記アイコンの向きを表す位相情報を記憶する記憶手段をさらに含み、
前記記憶手段は、前記回転指示手段によりアイコンの向きの変更が指示されたことに応じて、当該アイコンの前記位相情報を変更し、
前記表示手段は、前記実行手段により、アイコンが指定されてアプリケーションプログラムの実行が指示されたことを受けて、当該アイコンの前記位相情報により決定される向きに前記ウィンドウを表示することを特徴としてもよい。
At this time, it further includes storage means for storing phase information representing the orientation of the icon with respect to a reference direction set for the screen,
The storage means changes the phase information of the icon in response to an instruction to change the orientation of the icon by the rotation instruction means,
The display means may display the window in a direction determined by the phase information of the icon in response to the execution means specifying an icon and instructing execution of the application program. Good.

このとき、前記回転指示手段は、アイコン毎に、当該アイコンの向きを任意の方向に変更することを特徴としてもよい。   At this time, the rotation instruction unit may change the direction of the icon to an arbitrary direction for each icon.

このとき、前記アイコンの向きは、前記アイコンの中央から前記画面の4辺に向かう4方向の何れかの方向であることを特徴としてもよい。   At this time, the direction of the icon may be any one of four directions from the center of the icon toward the four sides of the screen.

このとき、前記表示手段は、前記実行手段により、複数のアイコンが指定されてアプリケーションプログラムの実行が指示されたことを受けて、選択された各アイコンの向きと一致するように、対応するウィンドウを表示することとしてもよい。   At this time, in response to the execution unit specifying the plurality of icons and instructing the execution of the application program, the display unit displays a corresponding window so as to match the direction of each selected icon. It may be displayed.

100 インターフェイス装置
102 演算処理部(CPU)
104 読出専用メモリ(ROM)
106 書換可能メモリ(RAM)
108 記録部
112 タッチ検出部
114 表示部
116 表示制御部
118 ビデオメモリ(VRAM)
110 接続部
120 バス
100 interface device 102 arithmetic processing unit (CPU)
104 Read-only memory (ROM)
106 Rewritable memory (RAM)
108 Recording unit 112 Touch detection unit 114 Display unit 116 Display control unit 118 Video memory (VRAM)
110 connection 120 bus

Claims (5)

対応するコンテンツを特定する1又は複数の部分画像を画面に表示する部分画像表示手段と、
部分画像毎に、少なくとも向きの属性を割り当てて管理する属性管理手段と、
前記部分画像が指定された場合に、コンテンツを表示するコンテンツ表示手段と
を備え、
前記コンテンツ表示手段は、前記コンテンツを表示するときに、当該コンテンツを特定する部分画像の属性を読み出し、前記部分画像と前記コンテンツとの正立方向とが一致するように前記コンテンツを表示させることを特徴とする表示装置。
Partial image display means for displaying on the screen one or more partial images for specifying the corresponding content;
Attribute management means for assigning and managing at least an orientation attribute for each partial image;
Content display means for displaying content when the partial image is designated,
The content display means reads the attribute of a partial image that identifies the content when displaying the content, and displays the content so that the erect direction of the partial image and the content match. Characteristic display device.
前記コンテンツ表示手段は、前記コンテンツを表示するときに、前記コンテンツを回転させて表示することを特徴とする請求項1に記載の表示装置。   The display device according to claim 1, wherein the content display unit rotates and displays the content when the content is displayed. 前記属性管理手段は、前記部分画像の属性として位相情報を記憶しており、
前記コンテンツ表示手段は、前記位相情報に基づいて、前記コンテンツを表示させることを特徴とする請求項1又は2に記載の表示装置。
The attribute management means stores phase information as an attribute of the partial image,
The display device according to claim 1, wherein the content display unit displays the content based on the phase information.
対応するコンテンツを特定する1又は複数の部分画像を表示装置の画面に表示する部分画像表示ステップと、
部分画像毎に、少なくとも向きの属性を割り当てて管理する属性管理ステップと、
前記部分画像が指定された場合に、コンテンツを表示するコンテンツ表示ステップと
を含み、
前記コンテンツ表示ステップは、前記コンテンツを表示するときに、当該コンテンツを特定する部分画像の属性を読み出し、前記部分画像と前記コンテンツとの正立方向とが一致するように前記コンテンツを表示させることを特徴とする表示方法。
A partial image display step of displaying on the screen of the display device one or more partial images that specify corresponding content;
An attribute management step for assigning and managing at least an orientation attribute for each partial image,
A content display step of displaying content when the partial image is designated, and
In the content display step, when the content is displayed, the attribute of the partial image that specifies the content is read, and the content is displayed so that the erect direction of the partial image and the content matches. Characteristic display method.
コンピュータに、
対応するコンテンツを特定する1又は複数の部分画像を画面に表示する部分画像表示機能と、
部分画像毎に、少なくとも向きの属性を割り当てて管理する属性管理機能と、
前記部分画像が指定された場合に、コンテンツを表示するコンテンツ表示機能と
を実現させるプログラムであって、
前記コンテンツ表示機能は、前記コンテンツを表示するときに、当該コンテンツを特定する部分画像の属性を読み出し、前記部分画像と前記コンテンツとの正立方向とが一致するように前記コンテンツを表示させることを特徴とするプログラム。
On the computer,
A partial image display function for displaying on the screen one or more partial images for specifying corresponding content;
An attribute management function that assigns and manages at least an orientation attribute for each partial image,
A program for realizing a content display function for displaying content when the partial image is designated,
The content display function reads the attribute of a partial image that identifies the content when displaying the content, and causes the content to be displayed so that the erect direction of the partial image and the content match. A featured program.
JP2017149904A 2017-08-02 2017-08-02 Display device, display method, and program Expired - Fee Related JP6466527B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017149904A JP6466527B2 (en) 2017-08-02 2017-08-02 Display device, display method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017149904A JP6466527B2 (en) 2017-08-02 2017-08-02 Display device, display method, and program

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2013173325A Division JP6189680B2 (en) 2013-08-23 2013-08-23 Interface device, interface method, interface program, and computer-readable recording medium storing the program

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2019001647A Division JP6600423B2 (en) 2019-01-09 2019-01-09 Display device, display method, and program

Publications (2)

Publication Number Publication Date
JP2017212005A JP2017212005A (en) 2017-11-30
JP6466527B2 true JP6466527B2 (en) 2019-02-06

Family

ID=60476210

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017149904A Expired - Fee Related JP6466527B2 (en) 2017-08-02 2017-08-02 Display device, display method, and program

Country Status (1)

Country Link
JP (1) JP6466527B2 (en)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005074626A (en) * 2003-08-29 2005-03-24 Canon Inc Image processing method, image processor, and image processing program
JP4273332B2 (en) * 2004-06-02 2009-06-03 富士フイルム株式会社 Image display control table, image top and bottom control method, and image top and bottom control program
JP2007207084A (en) * 2006-02-03 2007-08-16 Sharp Corp Mobile terminal device and control program
KR101651859B1 (en) * 2009-06-05 2016-09-12 삼성전자주식회사 Method for providing UI for each user, and device applying the same
JP5580694B2 (en) * 2010-08-24 2014-08-27 キヤノン株式会社 Information processing apparatus, control method therefor, program, and storage medium
JP2012174112A (en) * 2011-02-23 2012-09-10 Nec Casio Mobile Communications Ltd Image display device, image display method, and program
JP5661726B2 (en) * 2011-12-15 2015-01-28 株式会社東芝 Information processing apparatus and display program

Also Published As

Publication number Publication date
JP2017212005A (en) 2017-11-30

Similar Documents

Publication Publication Date Title
JP6189680B2 (en) Interface device, interface method, interface program, and computer-readable recording medium storing the program
JP5977768B2 (en) Image display apparatus and operation method thereof
US9250789B2 (en) Information processing apparatus, information processing apparatus control method and storage medium
JP2006179006A (en) Input control method for controlling input using cursor
JP5905783B2 (en) Image display system
JP5875262B2 (en) Display control device
JP4786292B2 (en) Information processing apparatus, hierarchical information output method, and program
JP5809202B2 (en) Image display device capable of screen operation and operation method thereof
JP2009098990A (en) Display device
JP6219100B2 (en) Image display device capable of displaying software keyboard and control method thereof
JP6600423B2 (en) Display device, display method, and program
JP6466527B2 (en) Display device, display method, and program
JP6130583B1 (en) Computer program for controlling objects in virtual space and computer-implemented method
JP6253945B2 (en) Image display device
JP6654722B2 (en) Image display device and image display method
JP5767378B1 (en) Computer program for controlling objects in virtual space and computer-implemented method
JP6522719B2 (en) Image display method
JP6434594B2 (en) Image display device, control method for image display device, and image display method
KR101136327B1 (en) A touch and cursor control method for portable terminal and portable terminal using the same
JP6130550B2 (en) Computer program
JP6068428B2 (en) Image display system control method and control apparatus
JPH0713683A (en) Multiwindow display device
JP2015072561A (en) Information processor
JP2001282405A (en) Coordinate input device
JP2019040623A (en) Image display device and control method of image display device

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180425

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180605

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180802

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181211

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190109

R150 Certificate of patent or registration of utility model

Ref document number: 6466527

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees