JP5212640B2 - Interface device and GUI configuration method - Google Patents

Interface device and GUI configuration method Download PDF

Info

Publication number
JP5212640B2
JP5212640B2 JP2008322949A JP2008322949A JP5212640B2 JP 5212640 B2 JP5212640 B2 JP 5212640B2 JP 2008322949 A JP2008322949 A JP 2008322949A JP 2008322949 A JP2008322949 A JP 2008322949A JP 5212640 B2 JP5212640 B2 JP 5212640B2
Authority
JP
Japan
Prior art keywords
gui
information
display
form information
configuration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008322949A
Other languages
Japanese (ja)
Other versions
JP2010146301A (en
Inventor
正幸 江藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2008322949A priority Critical patent/JP5212640B2/en
Publication of JP2010146301A publication Critical patent/JP2010146301A/en
Application granted granted Critical
Publication of JP5212640B2 publication Critical patent/JP5212640B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、タッチパネル付き液晶等をタッチした時の接触面積等に応じてGUIが構成されるインターフェイス装置の技術に関するものである。   The present invention relates to a technology of an interface device in which a GUI is configured according to a contact area or the like when a liquid crystal with a touch panel is touched.

現在ではタッチパネル付き液晶でGUI(グラフィカルユーザインターフェイス)の操作が広く一般的に行われている。GUIの表示形式は様々であるが、複数のメニュー項目が表示されると各メニューの選択ボタンが必然的に小さくなり、指の操作が困難になる場合がある。また、メニュー項目を絞りすぎると情報量が少なくなり、場合によってはユーザに不便になることがある。   At present, GUI (graphical user interface) operations are widely performed on a liquid crystal with a touch panel. There are various GUI display formats, but when a plurality of menu items are displayed, the selection button of each menu is inevitably small, and finger operation may be difficult. Also, if the menu items are narrowed down too much, the amount of information is reduced, which may be inconvenient for the user in some cases.

このような場合、例えば特許文献1に開示されている発明により、ユーザが設定ボタンを押して自ら文字の大きさ等を設定する構成とすることが考えられる。
特開2006−93992
In such a case, for example, according to the invention disclosed in Patent Document 1, it can be considered that the user presses the setting button and sets the character size and the like by himself / herself.
JP 2006-93992 A

しかし、ユーザが文字の大きさ等をその都度設定するのは面倒であり、ユーザに過度の操作負担を与えることになってしまう。   However, it is troublesome for the user to set the character size and the like each time, and an excessive operation burden is imposed on the user.

以上の課題を解決するため、本発明は、タッチパネルに接触した対象(指やスタイラスペン等)の接触面の面積等に応じてGUIの構成が自動的に決定されるインターフェイス装置を提案する。具体的には、GUIを表示するためのディスプレイと、ディスプレイに備えられ、GUIを利用した入力のためにディスプレイに接触している対象の接触面の大きさ、形、色のいずれか一以上の情報である形態情報を検知して出力する形態情報出力手段を備えたタッチセンサー部と、形態情報と、GUIの表示形態を示す情報であるGUI表示形態情報とを関連付けた第一GUI表示形態情報テーブルを保持するテーブル保持部と、前記タッチセンサーから出力される形態情報に応じたGUI表示形態情報をテーブル保持部から取得し、これに従ってGUIを構成するGUI構成部と、を有するインターフェイス装置を提案する。   In order to solve the above problems, the present invention proposes an interface device in which the configuration of the GUI is automatically determined according to the area of the contact surface of an object (finger, stylus pen, etc.) in contact with the touch panel. Specifically, a display for displaying a GUI, and at least one of the size, shape, and color of the contact surface of the target that is provided in the display and is in contact with the display for input using the GUI First GUI display form information in which a touch sensor unit having form information output means for detecting and outputting form information that is information, form information, and GUI display form information that is information indicating a GUI display form are associated with each other. Proposal of an interface device having a table holding unit for holding a table, and a GUI configuration unit for acquiring GUI display form information corresponding to the form information output from the touch sensor from the table holding unit and configuring the GUI according to the GUI display form information To do.

以上のような構成をとる本発明によって、タッチパネル付き液晶等でGUIを操作する場合に、その操作をする対象(指やスタイラスペン等)の大きさ等によってGUIの構成が自動的に決定されるので、任意のユーザに、快適な操作環境を提供することが可能になる。   According to the present invention having the above-described configuration, when the GUI is operated with a liquid crystal with a touch panel or the like, the configuration of the GUI is automatically determined depending on the size of a target (finger, stylus pen, etc.) to be operated. Therefore, it becomes possible to provide a comfortable operation environment to any user.

以下に、図を用いて本発明の実施の形態を説明する。なお、本発明はこれら実施例に何ら限定されるものではなく、その要旨を逸脱しない範囲内において、様々な態様で実施しうる。実施例と請求項の相互の関係は、以下のとおりである。実施例1は主に請求項1、請求項4などに関し、実施例2は主に請求項2などに関し、実施例3は主に請求項3などに関する。   Hereinafter, embodiments of the present invention will be described with reference to the drawings. In addition, this invention is not limited to these Examples at all, and can be implemented in various modes without departing from the gist thereof. The relationship between the embodiments and the claims is as follows. The first embodiment mainly relates to claims 1 and 4, the second embodiment mainly relates to claim 2, and the third embodiment mainly relates to claim 3.

<概要>
図1は、本実施例のインターフェイス装置が組み込まれたタッチパネル付きディスプレイにおけるGUIの表示形式の一例を表す図である。図に示すように、指でディスプレイをタッチすると指での操作に適した大きいボタン及び文字からなる少項目の番組リストが表示され、また、逆にスタイラスペン(以下、ペンという)でディスプレイをタッチすると、ペンでの操作に適した小さなボタン等からなる多項目の番組リストが表示される、といったものである。
<Overview>
FIG. 1 is a diagram illustrating an example of a GUI display format in a display with a touch panel in which the interface device according to the present embodiment is incorporated. As shown in the figure, when you touch the display with your finger, a small program list consisting of large buttons and characters suitable for operation with your finger is displayed, and conversely, touch the display with a stylus pen (hereinafter referred to as a pen). Then, a multi-item program list including small buttons suitable for operation with a pen is displayed.

<構成>
図2は、本実施例のインターフェイス装置の機能ブロックの一例を示す図である。図2において、本実施例の「インターフェイス装置」0200は、「ディスプレイ」0201と、「タッチセンサー部」0202と、「テーブル保持部」0203と、「GUI構成部」0204とからなる。また、本発明は、装置として実現できるのみでなく、方法としても実現可能である。(本明細書の全体を通して同様である。)
<Configuration>
FIG. 2 is a diagram illustrating an example of functional blocks of the interface apparatus according to the present embodiment. In FIG. 2, the “interface device” 0200 of this embodiment includes a “display” 0201, a “touch sensor unit” 0202, a “table holding unit” 0203, and a “GUI configuration unit” 0204. In addition, the present invention can be realized not only as an apparatus but also as a method. (The same applies throughout the specification.)

なお、以下に記載するインターフェイス装置の機能ブロックは、ハードウェア、ソフトウェア、又はハードウェア及びソフトウェアの両方として実現され得る。具体的には、コンピュータを利用するものであれば、CPUやメインメモリ、バス、あるいは二次記憶装置(ハードディスクや不揮発性メモリ、CDやDVDなどの記憶メディアとそれらメディアの読取ドライブなど)、情報入力に利用される入力デバイス、印刷機器や表示装置、その他の外部周辺装置などのハードウェア構成部、またその外部周辺装置用のインターフェイス、通信用インターフェイス、それらハードウェアを制御するためのドライバプログラムやその他アプリケーションプログラム、ユーザーインターフェイス用アプリケーションなどが挙げられる。そしてメインメモリ上に展開したプログラムに従ったCPUの演算処理によって、入力デバイスやその他インターフェイスなどから入力されメモリやハードディスク上に保持されているデータなどが加工、蓄積されたり、上記各ハードウェアやソフトウェアを制御するための命令が生成されたりする。また、この発明は装置として実現できるのみでなく、方法としても実現可能である。   Note that the functional blocks of the interface device described below can be realized as hardware, software, or both hardware and software. Specifically, if a computer is used, a CPU, a main memory, a bus, or a secondary storage device (a hard disk, a non-volatile memory, a storage medium such as a CD or a DVD, a read drive for the medium, etc.), information Input devices used for input, printing equipment, display devices, other hardware components such as external peripheral devices, interfaces for external peripheral devices, communication interfaces, driver programs for controlling these hardware, Other examples include application programs and user interface applications. Then, through the arithmetic processing of the CPU according to the program developed on the main memory, the data input from the input device and other interfaces etc. and stored in the memory and hard disk are processed and stored, and the above hardware and software An instruction for controlling the above is generated. The present invention can be realized not only as an apparatus but also as a method.

また、このような発明の一部をソフトウェアとして構成することができる。さらに、そのようなソフトウェアをコンピュータに実行させるために用いるソフトウェア製品、及び同製品を記録媒体に固定した記録媒体も、当然にこの発明の技術的な範囲に含まれる(本明細書の全体を通じて同様である)。また、この発明のインターフェイス装置(または方法、プログラム)は、各種コンテンツ再生装置に組み込まれ、下記構成要件の作用によってディスプレイ上にGUIを表示するが、組み込まれるべきコンテンツ再生装置は特段限定しない。   A part of the invention can be configured as software. Furthermore, a software product used for causing a computer to execute such software and a recording medium in which the product is fixed to a recording medium are naturally included in the technical scope of the present invention (the same applies throughout the present specification). Is). In addition, the interface device (or method or program) of the present invention is incorporated in various content reproduction devices and displays a GUI on the display by the action of the following configuration requirements, but the content reproduction device to be incorporated is not particularly limited.

「ディスプレイ」は、GUIを表示する機能を有する。ディスプレイとはコンピュータなどの機器から出力される静止画または動画の映像信号を表示する機器である。ここで、ディスプレイとしては、例えば、液晶ディスプレイやプラズマディスプレイ、ELディスプレイ、ビデオプロジェクタなどが挙げられる。なお、本実施例のディスプレイは、以下説明するタッチセンサー部にあたるタッチセンサー等の機能を内蔵させる構成とすることが可能である。例えばタッチセンサー付き液晶パネルはそれ自体で両者の機能を発揮することができる。   The “display” has a function of displaying a GUI. A display is a device that displays a video signal of a still image or a moving image output from a device such as a computer. Here, examples of the display include a liquid crystal display, a plasma display, an EL display, and a video projector. The display of this embodiment can be configured to incorporate functions such as a touch sensor corresponding to a touch sensor unit described below. For example, a liquid crystal panel with a touch sensor can perform both functions by itself.

「タッチセンサー部」は、ディスプレイに備えられ、GUIを利用した入力のためにディスプレイに接触している対象の接触面の大きさ、形、色のいずれか一以上の情報である形態情報を検知して出力する形態情報出力手段を備える。
ここで、ディスプレイに接触しているとは、一般的にディスプレイの前面の画面に接触している状況が想定されるが、ディスプレイの背面に接触している状況も同様に考えられる。特に薄く、かつ、小型のディスプレイにおいては、そのような構成も現実的である。
また、ディスプレイに対する接触において、必ずしも圧力をかける必要はなく、タッチセンサーが入力を行っている対象(指やペン等)の存在を、認識することが可能な状態であれば足りる。例えば、特開2005−275644に示されている技術により、対象が画面に強く接触していない状態でも、光センサーで対象の存在を検出することが可能である。特開2005−275644の技術を要約すると、接触している対象に反射した光を検出するセンサーと赤・青・緑のカラーフィルタを画素に設けることで、接触している対象の大きさや形、色を検出することが可能になる、というものである。
つまり、本実施例においても、これらの周知技術を用いることで、タッチセンサーがディスプレイに接触している対象の接触面の大きさ、形、色の情報を取得可能な構成とすることが可能である。なお、ディスプレイの背面にタッチセンサーを備える場合は、上記光センサー等も背面に設けることで対処可能である。
The “touch sensor unit” is provided in the display and detects morphological information that is at least one of the size, shape, and color of the contact surface of the target that is in contact with the display for input using a GUI. The form information output means to output is provided.
Here, the state of being in contact with the display is generally assumed to be in contact with the screen on the front surface of the display, but the situation of being in contact with the back surface of the display is also conceivable. Such a configuration is also practical for particularly thin and small displays.
In addition, it is not always necessary to apply pressure when touching the display, as long as it is possible to recognize the presence of an object (such as a finger or a pen) that the touch sensor is inputting. For example, with the technique disclosed in Japanese Patent Application Laid-Open No. 2005-275644, it is possible to detect the presence of an object with an optical sensor even when the object is not in strong contact with the screen. Summarizing the technology of Japanese Patent Application Laid-Open No. 2005-275644, by providing a pixel with a sensor for detecting light reflected on a contacted object and a color filter of red, blue, and green, the size and shape of the contacted object, The color can be detected.
That is, also in the present embodiment, by using these well-known techniques, it is possible to obtain a configuration in which the touch sensor can acquire information on the size, shape, and color of the contact surface of the target that is in contact with the display. is there. Note that in the case where a touch sensor is provided on the back of the display, the above-described optical sensor or the like can be provided on the back.

「テーブル保持部」は、形態情報と、GUIの表示形態を示す情報であるGUI表示形態情報とを関連付けた第一GUI表示形態情報テーブルを保持する機能を有する。
ここで、GUIの表示形態としては、例えばGUIを構成する文字やボタン等のサイズ、一画面で表示される文字数やメニュー項目数、内容、GUIの背景色などを組み合わせたものとすることが考えられる(実施例3にて詳述する)。当該テーブル保持部としては、例えば、メモリカードやHDD等の記憶装置がその機能を果たすといえる。
The “table holding unit” has a function of holding a first GUI display form information table in which form information is associated with GUI display form information that is information indicating a GUI display form.
Here, as a display form of the GUI, for example, it is considered that the size of characters and buttons constituting the GUI, the number of characters and menu items displayed on one screen, the content, the background color of the GUI, and the like are combined. (Detailed in Example 3). As the table holding unit, for example, it can be said that a storage device such as a memory card or HDD fulfills its function.

第一GUI表示形態情報テーブルとしては、例えば図3に示すようなものが考えられる。この図に示すように、例えば接触面の大きさに応じて画面の文字やボタン等のサイズを選択することが可能である。これにより、GUIのボタン等が指に比べて小さくて操作しにくいといったことが少なくなる。また、接触している対象の色に応じてGUIの背景色を変更させ、接触している対象とGUIの色が重ならないようにすることも可能である。また、接触している対象が楕円形の形であるならば表示されるボタンも楕円形にしたり、対象が四角形に近い場合はボタンも四角形にしたりするといったことも可能である。また、GUIの構成を決定する各要素(文字のサイズやメニュー項目の数等)は相互に関連付けておくことも可能である。例えば、文字のサイズを大きくする場合はメニュー項目の数を少なめにし、文字のサイズを小さくした場合は、メニュー項目の数を多めにする、といった具合である。ここで、メニュー項目が一画面に表示されない場合はスクロールバーを設ける構成とすることや、次ページに移るための操作ボタンを設ける構成とすることも考えられる。   As the first GUI display form information table, for example, the one shown in FIG. 3 can be considered. As shown in this figure, it is possible to select the size of characters and buttons on the screen according to the size of the contact surface, for example. As a result, it is less likely that the GUI buttons are smaller than the fingers and difficult to operate. It is also possible to change the background color of the GUI according to the color of the object in contact so that the object in contact with the color of the GUI does not overlap. Further, if the object in contact has an elliptical shape, the displayed button may be an elliptical shape, or if the target is close to a rectangular shape, the button may be rectangular. In addition, each element (such as the character size and the number of menu items) that determines the configuration of the GUI can be associated with each other. For example, when the character size is increased, the number of menu items is decreased, and when the character size is decreased, the number of menu items is increased. Here, when the menu item is not displayed on one screen, a configuration in which a scroll bar is provided or an operation button for moving to the next page may be considered.

「GUI構成部」は、前記タッチセンサー部から出力される形態情報に応じたGUI表示形態情報をテーブル保持部から取得し、これに従ってGUIを構成する機能を有する。テーブル保持部に保持されている図3の第一GUI表示形態情報テーブルに基づいてGUI構成部がGUIを構成する様子を図4に示した。この図の処理は主にメインメモリとCPUにて行われる。ステップS0401において形態情報と第一GUI表示形態情報テーブルを取得する。ステップS0402において、上記形態情報に基づいて接触している対象の接触面の大きさを判定する。そして、当該判定の結果に基づいてステップS0403A/Bにおいて文字サイズとボタンサイズを設定する。ステップS0404において、上記形態情報に基づいて接触している対象の形を判定する。そして、当該判定の結果に基づいてステップS0405A/B/Cにおいてボタンの形を設定する。ステップS0406において、上記形態情報に基づいて接触している対象の色を判定する。そして、当該判定の結果に基づいてステップS0407A/B/Cにおいて背景色、文字色、ボタン色を設定する。そして、ステップS0408では上記のステップで設定した各要素を統合してGUIの全体を構成する処理を行う。
なお、この例ではタッチセンサーから出力される接触対象の大きさ、形、色の情報を利用してGUIの構成を行ったが、例えば、接触対象の大きさのみを利用してGUIを構成することも可能であるし、形又は色のみの情報を利用して構成することも可能である。さらに、接触対象の他の情報(画面を押す強さや押している時間等)を利用して構成することも同様に可能である。
The “GUI configuration unit” has a function of acquiring GUI display form information corresponding to the form information output from the touch sensor unit from the table holding unit and configuring the GUI according to the GUI display form information. FIG. 4 shows how the GUI configuration unit configures the GUI based on the first GUI display form information table of FIG. 3 held in the table holding unit. The processing in this figure is mainly performed by the main memory and the CPU. In step S0401, the form information and the first GUI display form information table are acquired. In step S0402, the size of the contact surface of the object in contact is determined based on the form information. Based on the result of the determination, a character size and a button size are set in step S0403A / B. In step S0404, the shape of the object in contact is determined based on the form information. Based on the result of the determination, a button shape is set in step S0405A / B / C. In step S0406, the color of the object in contact is determined based on the form information. Based on the result of the determination, a background color, a character color, and a button color are set in step S0407A / B / C. In step S0408, the elements set in the above steps are integrated to configure the entire GUI.
In this example, the GUI is configured using the size, shape, and color information of the contact target output from the touch sensor. For example, the GUI is configured using only the size of the touch target. It is also possible to make use of information of only the shape or color. Furthermore, it is also possible to configure using other information (such as the strength of pressing the screen and the time during which the screen is pressed).

<具体的な構成>
次に、本実施例のインターフェイス装置のそれぞれのハードウェア構成部の働きについて説明する。図5は、本実施例のインターフェイス装置のハードウェア構成の一例を示す概略図である。「テーブル保持部」は「記憶装置(記憶媒体)」0501などから構成される。「GUI構成部」は「CPU」0502と「メインメモリ」0503と「記憶装置(記憶媒体)」などから構成される。また、「タッチセンサー部」は「CPU」と「メインメモリ」と「記憶装置(記憶媒体)」と「タッチセンサー」0504などから構成される。さらに、インターフェイス装置はGUIを表示するための「ディスプレイ」0505を備える。また、インターフェイス装置は外部との信号の入出力を受け付ける「I/O」0506を備える。上記の構成は、「システムバス」0507のデータ通信経路によって相互に接続され、情報の送受信や処理を行う。
<Specific configuration>
Next, the operation of each hardware component of the interface device of this embodiment will be described. FIG. 5 is a schematic diagram illustrating an example of a hardware configuration of the interface apparatus according to the present embodiment. The “table holding unit” includes “storage device (storage medium)” 0501 and the like. The “GUI configuration unit” includes a “CPU” 0502, a “main memory” 0503, a “storage device (storage medium)”, and the like. The “touch sensor unit” includes a “CPU”, “main memory”, “storage device (storage medium)”, “touch sensor” 0504, and the like. Further, the interface device includes a “display” 0505 for displaying the GUI. The interface device also includes an “I / O” 0506 that accepts input / output of signals from / to the outside. The above configuration is mutually connected by a data communication path of “system bus” 0507, and performs transmission / reception and processing of information.

記憶装置はCPUによって実行される各種プログラムなどを記憶している。またメインメモリは、プログラムがCPUによって実行される際の作業領域であるワーク領域を提供する。また、このメインメモリや記憶装置にはそれぞれ複数のメモリアドレスが割り当てられており、CPUで実行されるプログラムは、そのメモリアドレスを特定しアクセスすることで相互にデータのやりとりを行い、処理を行うことが可能になっている。   The storage device stores various programs executed by the CPU. The main memory provides a work area which is a work area when the program is executed by the CPU. A plurality of memory addresses are assigned to the main memory and the storage device, respectively, and a program executed by the CPU performs processing by exchanging data with each other by specifying and accessing the memory address. It is possible.

まず、「タッチセンサー部」で形態情報を検出して出力する処理について説明する。記憶装置には予めタッチセンサープログラムが記憶されている。タッチセンサーがディプレイに接触している対象が存在するとの信号を出力した場合、CPUは、メインメモリに展開された当該プログラムを実行して、形態情報を検出する。これは、例えば何個のタッチセンサー要素から有意信号を受信したかによって、接触している対象の大きさの情報を検出することが可能である。ここで、タッチセンサーには赤・青・緑のカラーフィルタが組み込まれている構成とすると、各タッチセンサー要素からの信号に基づいて接触している対象の色を検出することができる。また、いずれのタッチセンサー要素から有意信号を受信したかによって接触している対象の形を検出することも可能である。タッチセンサープログラムは当該検出処理の結果をメインメモリの所定のアドレスに格納する処理(出力処理)を行う。   First, a process of detecting and outputting form information by the “touch sensor unit” will be described. A touch sensor program is stored in the storage device in advance. When the touch sensor outputs a signal indicating that there is an object in contact with the display, the CPU executes the program developed in the main memory to detect the form information. For example, it is possible to detect information on the size of the object that is in contact with the touch sensor element depending on how many significant sensor signals are received. Here, if the touch sensor has a configuration in which color filters of red, blue, and green are incorporated, it is possible to detect the color of the object in contact based on the signal from each touch sensor element. It is also possible to detect the shape of the touched object depending on which touch sensor element has received a significant signal. The touch sensor program performs processing (output processing) for storing the result of the detection processing at a predetermined address in the main memory.

次に、「GUI構成部」でGUIを構成する処理について説明する。記憶装置には予めGUI構成プログラムが記憶されている。CPUはメインメモリに展開されたGUI構成プログラムを実行して、記憶装置に保持されている第一GUI表示形態情報テーブルを取得し、メインメモリの所定のアドレスに格納する。続いて、CPUは、メインメモリに格納された形態情報と上記テーブルに基づいて表示するGUIを構成する処理を行う。具体的な処理としては、例えば形態情報を示す形態情報IDを検索キーとして上記テーブルから該当するGUIの構成を検索する処理を行うことが考えられる。ここで、対象の接触面の形や色のみに基づいてGUIの構成を決定することも可能であるし、またこれらの組み合わせに基づいてGUIの構成を決定することも可能である。
<処理の流れ>
Next, the process of configuring the GUI with the “GUI configuration unit” will be described. A GUI configuration program is stored in the storage device in advance. The CPU executes the GUI configuration program expanded in the main memory, acquires the first GUI display form information table held in the storage device, and stores it at a predetermined address in the main memory. Subsequently, the CPU performs processing for configuring a GUI to be displayed based on the form information stored in the main memory and the table. As a specific process, for example, it is conceivable to perform a process of searching for a corresponding GUI configuration from the table using a form information ID indicating form information as a search key. Here, it is possible to determine the GUI configuration based only on the shape and color of the target contact surface, and it is also possible to determine the GUI configuration based on a combination thereof.
<Process flow>

図6は本実施例のインターフェイス装置(またはGUI構成方法)における処理の流れの一例を示す図である。同図の処理の流れは以下のステップからなる。最初に、ステップS0601では、タッチセンサーによりディスプレイに接触している対象が認識されたか否か判断される。ここでの判断が、認識されたとの判断であった場合は、ステップS0602に移行する。ここでの判断が、認識されないとの判断であった場合は、待機する。次にステップS0602では、ディスプレイに接触している対象の接触面の大きさ、形、色のいずれか一以上の情報である形態情報を取得する。ステップS0603では、形態情報と、GUIの表示形態を示す情報であるGUI表示形態情報とを関連付けた第一GUI表示形態情報テーブルを取得する。ステップS0604では、ステップS0602において取得された形態情報に応じたGUI表示形態情報を第一GUI表示形態情報テーブルから取得し、これに従ってGUIを構成する。   FIG. 6 is a diagram illustrating an example of a processing flow in the interface device (or GUI configuration method) of the present embodiment. The flow of processing in the figure consists of the following steps. First, in step S0601, it is determined whether an object touching the display is recognized by the touch sensor. If the determination here is that it has been recognized, the process proceeds to step S0602. If the determination here is that it is not recognized, the process waits. Next, in step S0602, morphological information that is one or more of the size, shape, and color of the contact surface of the target that is in contact with the display is acquired. In step S0603, a first GUI display form information table in which form information is associated with GUI display form information that is information indicating a GUI display form is acquired. In step S0604, GUI display form information corresponding to the form information acquired in step S0602 is acquired from the first GUI display form information table, and the GUI is configured accordingly.

以上の処理は、計算機に実行させるためのプログラムで実行することができ、また、このプログラムを計算機によって読取り可能な記録媒体に記録することができる。(本明細書の全体を通して同様である。)   The above processing can be executed by a program for causing a computer to execute, and the program can be recorded on a recording medium readable by the computer. (The same applies throughout the specification.)

<効果>
本実施例のインターフェイス装置により、タッチパネル付き液晶等においてGUIを使用した操作を行う場合、ディスプレイに接触した対象(指やペン等)の接触面積等に応じてGUIの文字サイズなどの構成を機動的に変化させることができるため、ユーザが自らGUIの表示形式の選択をしなくても、ユーザに適したGUIを表示することが可能になる。
<Effect>
When an operation using a GUI is performed on a liquid crystal with a touch panel or the like by the interface device of the present embodiment, the configuration such as the character size of the GUI is flexibly according to the contact area of a target (finger, pen, etc.) that touches the display. Therefore, even if the user does not select the GUI display format himself, it is possible to display a GUI suitable for the user.

<概要>
本実施例のインターフェイス装置は、基本的に実施例1の装置と共通する。しかし、本実施例のインターフェイス装置は、ディスプレイをタッチした対象(指やペン等)の大きさ、形、色のみならず、タッチしたGUI内の位置の情報を利用してGUIを構成することができる。例えば、図7に示すように、多くのメニュー項目を含む番組リスト(ペン等の細い接触対象でタッチ操作をするのに適したリスト)が表示されている場合に、メニュー項目が表示されてない余白部分を指でタッチすると大きなメニュー項目からなる番組リストに変更されるが、メニュー項目が表示されている部分を指でタッチすると、メニュー項目の選択操作とみなして、現在のGUIの表示形態を継承し、選択項目に係る内容をGUIで表示する、ということになる。つまり、指でタッチしたからといって、大きめのメニュー項目からなる番組リストの表示を常にユーザが求めているわけではなく、かかる状況にも適切に対応するインターフェイス装置を提案するものである。
<Overview>
The interface device of this embodiment is basically the same as that of the first embodiment. However, the interface apparatus according to the present embodiment can configure the GUI by using not only the size, shape, and color of the target (finger, pen, etc.) touching the display but also the position information in the touched GUI. it can. For example, as shown in FIG. 7, when a program list including many menu items (a list suitable for touch operation with a thin contact object such as a pen) is displayed, no menu items are displayed. If you touch the blank area with your finger, the program list will be changed to a large menu item. If you touch the area where the menu item is displayed with your finger, it will be regarded as a menu item selection operation, and the current GUI display mode will change. It is inherited and the content related to the selected item is displayed on the GUI. That is, just because a finger is touched, the user does not always request display of a program list including large menu items, and an interface device that appropriately responds to such a situation is proposed.

<構成>
図8は、本実施例のインターフェイス装置の機能ブロックの一例を示す図である。本実施例の「インターフェイス装置」0800は、「ディスプレイ」0801と、「タッチセンサー部」0802と、「テーブル保持部」0803と、「GUI構成部」0804とからなり、「タッチセンサー部」は、「位置検出手段」0805を有し、「テーブル保持部」は第一GUI表示形態情報テーブルの他に第二GUI表示形態情報テーブルを保持し、「GUI構成部」は「位置別GUI構成手段」0806を有する。
<Configuration>
FIG. 8 is a diagram illustrating an example of functional blocks of the interface apparatus according to the present embodiment. The “interface device” 0800 of this embodiment includes a “display” 0801, a “touch sensor unit” 0802, a “table holding unit” 0803, and a “GUI configuration unit” 0804. The “touch sensor unit” “Position detection unit” 0805, “Table holding unit” holds a second GUI display mode information table in addition to the first GUI display mode information table, and “GUI configuration unit” is “positional GUI configuration unit”. 0806.

「タッチセンサー部」は、ディスプレイに接触している対象のGUI内の接触位置を示す情報である接触位置情報を検出する位置検出手段を有する。ここでGUI内の接触位置の情報としては、GUI内における絶対的な位置の情報(座標情報等)の他、GUIを構成する各要素(メニュー項目やアイコンの要素、それ以外の余白の要素など)に対する相対的な位置情報も含む。つまり、GUI内の接触位置の情報には「メニュー項目1の要素の位置に存在する。」といった情報や、「余白の要素の位置に存在する。」といった情報を含むことになる。上記の相対的な位置を検出する機能は、GUI内の各要素の座標情報と接触位置の座標情報を取得し、比較する処理を行うことで果たされる。   The “touch sensor unit” includes position detection means for detecting contact position information that is information indicating a contact position in the GUI of a target that is in contact with the display. Here, as information on the contact position in the GUI, in addition to absolute position information (coordinate information, etc.) in the GUI, each element (menu item, icon element, other margin element, etc.) constituting the GUI ) Relative position information. That is, the information on the contact position in the GUI includes information such as “present at the position of the element of menu item 1” and information such as “present at the position of the margin element”. The function of detecting the relative position described above is achieved by performing processing for acquiring and comparing the coordinate information of each element in the GUI and the coordinate information of the contact position.

「テーブル保持部」は、GUI表示形態情報を形態情報および接触位置情報と関連付けた第二GUI表示形態情報テーブルを保持する。ここで、GUIの表示形態としては、実施例1と同様、例えばGUIを構成する文字やボタン等のサイズ、一画面で表示される文字数やメニュー項目数、GUIの背景色などを組み合わせたものが考えられる(実施例3にて詳述する)。当該テーブル保持部としては、例えば、メモリカードやHDD等の記憶装置がその機能を果たすことが考えられる。   The “table holding unit” holds a second GUI display form information table in which GUI display form information is associated with form information and contact position information. Here, as in the first embodiment, the GUI display form is a combination of the size of characters and buttons constituting the GUI, the number of characters and menu items displayed on one screen, the background color of the GUI, and the like. Possible (detailed in Example 3). As the table holding unit, for example, it is conceivable that a storage device such as a memory card or HDD fulfills its function.

第二GUI表示形態情報テーブルとしては、例えば図9に示すようなものが考えられる。この図に示すように、例えば、ディスプレイに接触している指やペン等がメニュー項目等の選択可能な部分の位置(選択項目位置)であるか、また選択不可能な余白部分の位置(非選択項目位置)であるかに応じてGUIの表示形態を変化させることが考えられる。この図の例では、ユーザが非選択項目位置に接触した場合は、実施例1と同様に、接触対象の形態情報に基づいてGUIの表示形態を再構成することになる。しかし、ユーザが選択項目に接触した場合は、接触対象の形態情報に関係なく、現在のGUIの表示形態情報を継承して、選択項目に係る内容をGUIで表示することになる。これにより、ユーザが単なるメニュー項目等の選択を行いたい場合は、当該選択処理を可能にし、また、メニュー項目等が小さくてGUIの操作がしにくい場合は余白部分等のタッチ操作をすることによりメニュー項目等が大きいGUIの表示形態に変更させる、といった構成が可能になる。
なお、実施例1で示した第一GUI表示形態情報テーブルと第二GUI表示形態情報テーブルは同一のテーブルデータとして記憶装置に格納する構成とすることも可能であるし、また別々のテーブルデータとして記憶装置に格納しておくことも可能である。
As the second GUI display form information table, for example, the one shown in FIG. 9 can be considered. As shown in this figure, for example, a finger or a pen that is in contact with the display is a position of a selectable part (selection item position) such as a menu item, or a position of a blank part that cannot be selected (non-selection) It is conceivable to change the display form of the GUI depending on whether the selection item position). In the example of this figure, when the user touches the non-selected item position, the GUI display form is reconfigured based on the form information of the contact target as in the first embodiment. However, when the user touches the selection item, the display mode information of the current GUI is inherited and the content related to the selection item is displayed on the GUI regardless of the contact target configuration information. Thus, when the user simply wants to select a menu item or the like, the selection process can be performed, and when the menu item or the like is small and it is difficult to operate the GUI, a touch operation such as a blank portion is performed. A configuration in which the display mode is changed to a GUI display mode with a large menu item or the like becomes possible.
The first GUI display form information table and the second GUI display form information table shown in the first embodiment may be stored in the storage device as the same table data, or as separate table data. It can also be stored in a storage device.

「GUI構成部」は、前記タッチセンサー部から出力される形態情報と接触位置情報に応じたGUI表示形態情報をテーブル保持部から取得し、これに従ってGUIを構成する位置別GUI構成手段を有する。テーブル保持部に保持されている図9の第二GUI表示形態情報に基づいて位置別GUI構成手段がGUIを構成する様子を図10に示した。この図の処理は主にメインメモリとCPUにて行われる。ステップS1001において形態情報と接触位置情報と第二GUI表示形態情報テーブルを取得する。ステップS1002において、上記接触位置情報に基づいて接触している対象のGUI内の接触位置を判定する。ここで、接触位置が選択項目部分である場合は、ステップS1003Xに進む。また、接触位置が非選択項目部分である場合は、ステップS1003に進む。ステップS1003Xでは、現在表示されているGUIの表示形態情報を継承して、選択項目に係る内容をGUIで表示する。ステップS1003では、上記形態情報に基づいて接触している対象の接触面の大きさを判定する。そして、当該判定の結果に基づいてステップS1004A/Bにおいて文字サイズとボタンサイズを設定する。ステップS1005において、上記形態情報に基づいて接触している対象の形を判定する。そして、当該判定の結果に基づいてステップS1006A/B/Cにおいてボタンの形を設定する。ステップS1007において、上記形態情報に基づいて接触している対象の色を判定する。そして、当該判定の結果に基づいてステップS1008A/B/Cにおいて背景色、文字色、ボタン色を設定する。そして、ステップS1009では上記のステップで設定した各要素を統合してGUIの全体を構成する処理を行う。
なお、この例ではタッチセンサーから出力される接触対象の接触位置、大きさ、形、色の情報を利用してGUIの構成を行ったが、例えば、接触対象の接触位置及び大きさのみの情報を利用して構成することも可能であるし、接触対象の接触位置及び形又は色のみの情報を利用して構成することも可能である。
The “GUI configuration unit” has position-specific GUI configuration means for acquiring GUI display configuration information corresponding to the configuration information output from the touch sensor unit and the contact position information from the table holding unit and configuring the GUI according to the GUI display configuration information. FIG. 10 shows how the position-specific GUI constructing means configures the GUI based on the second GUI display form information of FIG. 9 held in the table holding unit. The processing in this figure is mainly performed by the main memory and the CPU. In step S1001, form information, contact position information, and a second GUI display form information table are acquired. In step S <b> 1002, the contact position in the target GUI in contact is determined based on the contact position information. Here, if the contact position is the selection item portion, the process proceeds to step S1003X. If the contact position is a non-selected item portion, the process proceeds to step S1003. In step S1003X, the display mode information of the currently displayed GUI is inherited, and the content related to the selection item is displayed on the GUI. In step S1003, the size of the contact surface of the target in contact is determined based on the form information. Based on the result of the determination, a character size and a button size are set in step S1004A / B. In step S1005, the shape of the object in contact is determined based on the form information. Based on the result of the determination, the button shape is set in step S1006A / B / C. In step S1007, the color of the object in contact is determined based on the form information. Based on the determination result, a background color, a character color, and a button color are set in step S1008A / B / C. In step S1009, the elements set in the above steps are integrated to perform processing for configuring the entire GUI.
In this example, the GUI configuration is performed using information on the contact position, size, shape, and color of the contact target output from the touch sensor. For example, information on only the contact position and size of the contact target is used. It is also possible to configure by using information on the contact position and shape or color of the contact object.

<具体的な構成>
図11は、本実施例のインターフェイス装置のハードウェア構成の一例を示す概略図である。その構成は、基本的に図5を用いて説明した実施例1の装置のハードウェア構成と共通する。ただし、本実施例のインターフェイス装置のタッチセンサー及びタッチセンサープログラムは、さらにディスプレイに接触している対象のGUI内の接触位置を示す情報をも検出することが可能である。また、記憶装置には、第一GUI表示形態情報テーブルの他に、第二GUI表示形態情報テーブルが保持されている。さらに、GUI構成プログラムは、形態情報と接触位置情報に応じたGUI表示形態情報に従ってGUIを構成することが可能である。以下実施例1と異なる点について詳しく説明する。
<Specific configuration>
FIG. 11 is a schematic diagram illustrating an example of a hardware configuration of the interface apparatus according to the present embodiment. The configuration is basically the same as the hardware configuration of the apparatus according to the first embodiment described with reference to FIG. However, the touch sensor and the touch sensor program of the interface device according to the present embodiment can also detect information indicating the contact position in the target GUI that is in contact with the display. In addition to the first GUI display form information table, the storage device holds a second GUI display form information table. Furthermore, the GUI configuration program can configure the GUI according to the GUI display form information corresponding to the form information and the contact position information. Hereinafter, differences from the first embodiment will be described in detail.

まず、「タッチセンサー部」の「位置検出手段」による、ディスプレイに接触している対象のGUI内の接触位置を示す情報である接触位置情報を検出する処理について説明する。記憶装置には予めタッチセンサープログラムが記憶されている。ディプレイに接触している対象が存在するとの信号がタッチセンサーから出力された場合、CPUは、メインメモリに展開されたタッチセンサープログラムを実行して、形態情報及び接触位置情報を検出する。形態情報の検出する処理は、実施例1に示したように、例えば何個のタッチセンサー要素から有意信号を受信したかによって、接触している対象の大きさの情報を検出すること等が可能である。
また、接触位置情報を検出する処理としては、いずれの位置に配置されたタッチセンサー要素から有意信号を受信したかによって、検出することが可能である。タッチセンサープログラムは当該検出処理の結果をメインメモリの所定のアドレスに格納する処理を行う。
First, a process of detecting contact position information, which is information indicating a contact position in a target GUI that is in contact with the display, by the “position detection unit” of the “touch sensor unit” will be described. A touch sensor program is stored in the storage device in advance. When a signal indicating that there is an object in contact with the display is output from the touch sensor, the CPU executes the touch sensor program developed in the main memory to detect form information and contact position information. As shown in the first embodiment, the process for detecting the morphological information can detect, for example, information on the size of the object in contact depending on how many touch sensor elements have received significant signals. It is.
Further, the process for detecting the contact position information can be detected depending on whether a significant signal is received from the touch sensor element arranged at any position. The touch sensor program performs a process of storing the result of the detection process at a predetermined address in the main memory.

次に、「GUI構成部」の「位置別GUI構成手段」によりGUIを構成する処理について説明する。記憶装置には予めGUI構成プログラムが記憶されている。CPUは、メインメモリに展開されたGUI構成プログラムを実行して、記憶装置に保持されている第二GUI表示形態情報テーブルを取得し、メインメモリの所定のアドレスに格納する。続いて、メインメモリに格納された形態情報及び接触位置情報と第二GUI表示形態情報テーブルに基づいてGUIを決定する処理を行う。具体的には、形態情報を示す形態情報IDと接触位置情報を示す接触位置情報IDを検索キーとして上記テーブルから該当するGUIの構成を検索する処理が考えられる。
その他の具体的な構成は実施例1のインターフェイス装置の具体的な構成と同じであるから説明は省略する。
Next, the process of configuring the GUI by the “positional GUI configuration unit” of the “GUI configuration unit” will be described. A GUI configuration program is stored in the storage device in advance. The CPU executes the GUI configuration program expanded in the main memory, acquires the second GUI display form information table held in the storage device, and stores it at a predetermined address in the main memory. Subsequently, a process of determining a GUI based on the form information and contact position information stored in the main memory and the second GUI display form information table is performed. Specifically, a process for searching the corresponding GUI configuration from the above table using the form information ID indicating the form information and the contact position information ID indicating the contact position information as a search key can be considered.
The other specific configuration is the same as the specific configuration of the interface device according to the first embodiment, and thus the description thereof is omitted.

<処理の流れ>
図12は本実施例のインターフェイス装置における処理の流れの一例を示す図である。同図の処理の流れは以下のステップからなる。最初に、ステップS1201では、タッチセンサーによりディスプレイに接触している対象が認識されたか否か判断される。ここでの判断が、認識されたとの判断であった場合は、ステップS1202に移行する。ここでの判断が、認識されないとの判断であった場合は、待機する。次にステップS1202では、ディスプレイに接触している対象の接触面の大きさ、形、色のいずれか一以上の情報である形態情報を取得する。ステップS1203では、さらにディスプレイに接触している対象のGUI内の接触位置を示す情報である接触位置情報を取得する。なお、ステップS1202とステップS1203は、一つの処理としてまとめて行うことも可能である。ステップS1204では、GUI表示形態情報を形態情報および接触位置情報と関連付けた第二GUI表示形態情報テーブルを取得する。ステップS1205では、ステップS1202及びステップS1203において取得された形態情報及び接触位置情報に応じたGUI表示形態情報を第二GUI表示形態情報テーブルから取得し、これに従ってGUIを構成する。
<Process flow>
FIG. 12 is a diagram illustrating an example of a processing flow in the interface apparatus of the present embodiment. The flow of processing in the figure consists of the following steps. First, in step S1201, it is determined whether or not an object touching the display is recognized by the touch sensor. If the determination here is that it is recognized, the process proceeds to step S1202. If the determination here is that it is not recognized, the process waits. Next, in step S1202, morphological information that is one or more of the size, shape, and color of the contact surface of the target that is in contact with the display is acquired. In step S1203, contact position information that is information indicating the contact position in the GUI of the target that is in contact with the display is further acquired. Note that step S1202 and step S1203 can be performed together as one process. In step S1204, a second GUI display form information table in which the GUI display form information is associated with the form information and the contact position information is acquired. In step S1205, GUI display form information corresponding to the form information and contact position information acquired in step S1202 and step S1203 is acquired from the second GUI display form information table, and the GUI is configured accordingly.

<効果>
実施例1と同様に、本実施例のインターフェイス装置は、タッチパネル付き液晶等においてGUIを使用した操作を行う場合、ディスプレイに接触した対象(指やペン等)の接触面の大きさ、形、色に応じてGUIの文字サイズなどの構成を機動的に変化させることができるため、ユーザに適したGUIを容易に表示することが可能になる。さらに、本実施例のインターフェイス装置は、ディスプレイをタッチした対象の接触面の大きさ等の情報の他に、タッチしたGUI内の位置情報を利用して表示しているGUIを構成することができるため、よりユーザの希望に沿ったGUIの表示を行うことが可能になる。
<Effect>
Similar to the first embodiment, the interface device of the present embodiment, when performing an operation using a GUI on a liquid crystal with a touch panel, etc., the size, shape, and color of the contact surface of an object (finger, pen, etc.) that touches the display Since the configuration such as the character size of the GUI can be changed flexibly according to the GUI, it is possible to easily display the GUI suitable for the user. Furthermore, the interface device according to the present embodiment can configure a GUI that is displayed using position information in the touched GUI in addition to information such as the size of the contact surface of the target touched on the display. Therefore, it is possible to display the GUI more in line with the user's wishes.

<概要>
本実施例のインターフェイス装置は、基本的に実施例1又は実施例2の装置と共通する。しかし、本実施例のインターフェイス装置は、GUIの表示形態情報として、文字数やボタンサイズ等を組み合わせたデータを予め保持しておくことが可能であり、ディスプレイに接触した対象(指やペン等)の形態情報や位置情報に応じて適切なGUIの表示形態を表示することが可能になる。つまり、予めある程度構成された状態のGUIのデータを保持することで、少ない処理過程でユーザに対して適切なGUIを提示することが可能になる。
<Overview>
The interface device of this embodiment is basically the same as that of the first or second embodiment. However, the interface apparatus according to the present embodiment can hold in advance data combining the number of characters, button size, and the like as GUI display form information, and the object (finger, pen, etc.) touching the display An appropriate GUI display form can be displayed in accordance with the form information and the position information. That is, it is possible to present an appropriate GUI to the user with a small number of processing steps by holding GUI data in a state configured to some extent in advance.

<構成>
図13は、本実施例のインターフェイス装置の機能ブロックの一例を示す図である。本実施例の「インターフェイス装置」1300は、「ディスプレイ」1301と、「タッチセンサー部」1302と、「テーブル保持部」1303と、「GUI構成部」1304とからなり、「テーブル保持部」は、「文字サイズ別表示形態情報保持手段」1305を有する。
<Configuration>
FIG. 13 is a diagram illustrating an example of functional blocks of the interface device according to the present embodiment. The “interface device” 1300 of the present embodiment includes a “display” 1301, a “touch sensor unit” 1302, a “table holding unit” 1303, and a “GUI configuration unit” 1304. The “table holding unit” “Character size display form information holding means” 1305 is provided.

「テーブル保持部」は、保持する表示形態情報として、形態情報又は/及び接触位置情報に応じて文字サイズ、文字数、アイコンサイズ、ボタンサイズのいずれか一以上の組み合わせが互いに異なるGUI表示形態情報である文字サイズ別表示形態情報を保持する、文字サイズ別表示形態情報保持手段を有する。
ここで、組み合わせとして、文字サイズ、文字数、アイコンサイズ、ボタンサイズを挙げたが、その他として、メニュー項目や操作ボタンの数、文字フォント、アイコン又はボタン等の形、GUIを構成する各要素の色などの情報をさらに組み合わせる構成とすることも可能である。
The “table holding unit” is GUI display form information in which at least one combination of character size, number of characters, icon size, and button size is different according to form information and / or contact position information as display form information to be held. Character size display form information holding means for holding display form information by character size is provided.
Here, the character size, the number of characters, the icon size, and the button size are listed as combinations. However, the number of menu items and operation buttons, the character font, the shape of icons, buttons, etc., and the color of each element constituting the GUI It is also possible to employ a configuration in which such information is further combined.

さらに、GUIで表示する内容を形態情報等と関連づけておくことも可能である。例えば、接触対象の接触面の大きさが小さいときは全ての操作ボタンを表示するが、接触面の大きさが大きいときは、使用頻度が高い操作ボタンを優先的に表示する、といった構成とすることも可能である。また、当該使用頻度のデータは、接触対象ごとにインターフェイス装置において集計する構成とすることも可能である。これにより、子供の指と認識される接触対象がディスプレイに接触したときは子供用のGUIを表示し、大人の指と認識される接触対象がディスプレイに接触したときは大人用のGUIを表示する、といった構成が可能になる。具体的な手段としては、インターフェイスにおいてユーザの指紋データをGUIの表示形態及び使用頻度のデータ等と関連づけて保持し、タッチセンサー部から出力される形態情報に基づいてGUIの構成を決定することが挙げられる。   Furthermore, it is possible to associate the contents displayed on the GUI with the form information or the like. For example, all the operation buttons are displayed when the size of the contact surface to be touched is small, but when the size of the contact surface is large, the operation buttons that are frequently used are preferentially displayed. It is also possible. Further, the usage frequency data may be aggregated in the interface device for each contact target. Thus, when a contact object recognized as a child's finger touches the display, a child's GUI is displayed, and when a contact object recognized as an adult's finger touches the display, an adult GUI is displayed. , And the like can be configured. As specific means, the user's fingerprint data is held in the interface in association with the GUI display form, usage frequency data, etc., and the GUI configuration is determined based on the form information output from the touch sensor unit. Can be mentioned.

文字サイズ別表示形態情報の一例としては、例えば図14に示すようなものが考えられる。この図の例では、形態情報として接触面の大きさのみを利用し、接触位置情報を利用しない構成としている。図に示すように、例えば、接触対象の接触面の大きさが5mmより小さい場合は、GUI表示形態としてタイプ1が選択されることになる。つまり、GUI構成部によって、「文字サイズが10pt、各行あたりの文字数が25字以内、アイコンサイズが小、ボタンサイズが小」の要素からなるGUIが構成されることになる。このように、GUIの形態を決定する各要素をある程度関連づけておくことで、適切なGUIを少ない処理で構成することが可能になる。   As an example of character size display form information, for example, the information shown in FIG. In the example of this figure, only the size of the contact surface is used as the form information, and the contact position information is not used. As shown in the figure, for example, when the size of the contact surface to be contacted is smaller than 5 mm, type 1 is selected as the GUI display form. In other words, the GUI configuration unit configures a GUI including the elements “character size is 10 pt, number of characters per line is 25 characters or less, icon size is small, and button size is small”. In this way, by associating elements that determine the GUI form to some extent, it is possible to configure an appropriate GUI with a small amount of processing.

なお、この図の例では、文字サイズ、文字数、アイコンサイズ、ボタンサイズのすべての要素を関連づけているが、必ずしも全てを関連づける必要はなく、一以上の組み合わせであれば足りる。また、形態情報として、接触対象の形や色の情報を利用してGUI表示形態を決定する構成とすることも同様に可能であるし、接触位置情報を利用して決定する構成とすることも可能である。   In the example of this figure, all the elements of the character size, the number of characters, the icon size, and the button size are associated, but it is not always necessary to associate all of them, and one or more combinations are sufficient. Further, as the form information, the GUI display form can be determined using the information on the shape and color of the contact target, and the structure can be determined using the contact position information. Is possible.

<具体的な構成>
図15は、本実施例のインターフェイス装置のハードウェア構成の一例を示す概略図である。その構成は、基本的に図5を用いて説明した実施例1の装置のハードウェア構成と共通する。ただし、本実施例のインターフェイス装置の記憶装置は、さらに文字サイズ別表示形態情報を記憶する構成となっている。
<Specific configuration>
FIG. 15 is a schematic diagram illustrating an example of a hardware configuration of the interface apparatus according to the present embodiment. The configuration is basically the same as the hardware configuration of the apparatus according to the first embodiment described with reference to FIG. However, the storage device of the interface device of the present embodiment is configured to further store the display format information by character size.

「GUI構成部」が文字サイズ別表示形態情報を利用してGUIを構成する処理について説明する。記憶装置には予めGUI構成プログラムが記憶されている。CPUは、メインメモリに展開されたGUI構成プログラムを実行して、記憶装置に保持されている文字サイズ別表示形態情報を取得し、メインメモリの所定のアドレスに格納する。続いて、CPUは、メインメモリに格納された接触対象の形態情報と当該文字サイズ別表示形態情報に基づいてGUIを決定する処理を行う。具体的には、形態情報を示す形態情報IDを検索キーとして上記の文字サイズ別形態情報から該当するGUIの構成を検索する処理が考えられる。その他の具体的な構成は実施例1のインターフェイス装置の具体的な構成と同じであるから説明は省略する。   A process in which the “GUI configuration unit” configures the GUI using the display format information by character size will be described. A GUI configuration program is stored in the storage device in advance. The CPU executes the GUI configuration program expanded in the main memory, acquires the display format information for each character size held in the storage device, and stores it at a predetermined address in the main memory. Subsequently, the CPU performs a process of determining a GUI based on the contact target form information stored in the main memory and the character size display form information. Specifically, a process for searching the corresponding GUI configuration from the above-described character size-specific shape information using the shape information ID indicating the shape information as a search key can be considered. The other specific configuration is the same as the specific configuration of the interface device according to the first embodiment, and thus the description thereof is omitted.

<処理の流れ>
図16は本実施例のインターフェイス装置における処理の流れの一例を示す図である。同図の処理の流れは以下のステップからなる。最初に、ステップS1601では、タッチセンサーによりディスプレイに接触している対象が認識されたか否か判断される。ここでの判断が、認識されたとの判断であった場合は、ステップS1602に移行する。ここでの判断が、認識されないとの判断であった場合は、待機する。次にステップS1602では、ディスプレイに接触している対象の接触面の大きさ、形、色のいずれか一以上の情報である形態情報を取得する。また、ステップS1602では、当該形態情報の代わりに接触位置情報を取得する構成とすることも可能であるし、両方の情報を取得する構成とすることも可能である。ステップS1603では、文字サイズ別表示形態情報を取得する。ステップS004では、ステップS1602において取得された接触対象の形態情報等に応じたGUI表示形態情報を文字サイズ別表示形態情報から取得し、これに従ってGUIを構成する。
<Process flow>
FIG. 16 is a diagram showing an example of the flow of processing in the interface apparatus of the present embodiment. The flow of processing in the figure consists of the following steps. First, in step S1601, it is determined whether an object touching the display is recognized by the touch sensor. If the determination here is that it is recognized, the process proceeds to step S1602. If the determination here is that it is not recognized, the process waits. In step S1602, morphological information that is at least one of the size, shape, and color of the contact surface of the target that is in contact with the display is acquired. Further, in step S1602, it is possible to obtain contact position information instead of the form information, or to obtain both pieces of information. In step S1603, display format information by character size is acquired. In step S004, GUI display form information corresponding to the form information of the contact target obtained in step S1602 is obtained from the display form information classified by character size, and the GUI is configured accordingly.

<効果>
実施例1と同様に、本実施例のインターフェイス装置は、タッチパネル付き液晶等においてGUIを使用した操作を行う場合、ディスプレイに接触した対象(指やペン等)の接触面の大きさ、形、色に応じてGUIの文字サイズなどの構成を機動的に変化させることができるため、ユーザに適したGUIを容易に表示することが可能になる。さらに、本実施例のインターフェイス装置は、予めある程度構成された状態のGUIのデータを保持することで、少ない処理過程でユーザに対して適切なGUIを提示することが可能になる。
<Effect>
Similar to the first embodiment, the interface device of the present embodiment, when performing an operation using a GUI on a liquid crystal with a touch panel, etc., the size, shape, and color of the contact surface of an object (finger, pen, etc.) that touches the display Since the configuration such as the character size of the GUI can be changed flexibly according to the GUI, it is possible to easily display the GUI suitable for the user. Furthermore, the interface apparatus according to the present embodiment holds GUI data that has been configured to some extent in advance, so that an appropriate GUI can be presented to the user with a small number of processing steps.

実施例1に係るインターフェイス装置の概要図1 is a schematic diagram of an interface device according to a first embodiment. 実施例1に係るインターフェイス装置の機能ブロックの一例を示す図1 is a diagram illustrating an example of functional blocks of an interface device according to a first embodiment. 実施例1に係る第一GUI表示形態情報テーブルの一例を示す図The figure which shows an example of the 1st GUI display form information table which concerns on Example 1. FIG. 実施例1に係るGUI構成部がGUIを構成する処理を表す図The figure showing the process by which the GUI structure part which concerns on Example 1 comprises GUI. 実施例1に係るインターフェイス装置のハードウェア構成の一例を示す図1 is a diagram illustrating an example of a hardware configuration of an interface device according to a first embodiment. 実施例1に係るインターフェイス装置の処理の流れの一例を示す図The figure which shows an example of the flow of a process of the interface apparatus which concerns on Example 1. FIG. 実施例2に係るインターフェイス装置の概要図Schematic diagram of interface device according to embodiment 2 実施例2に係るインターフェイス装置の機能ブロックの一例を示す図The figure which shows an example of the functional block of the interface apparatus which concerns on Example 2. FIG. 実施例2に係る第二GUI表示形態情報テーブルの一例を示す図The figure which shows an example of the 2nd GUI display form information table which concerns on Example 2. FIG. 実施例2に係る位置別GUI構成手段がGUIを構成する処理の流れを示す図The figure which shows the flow of the process in which the GUI structure means according to position which concerns on Example 2 comprises GUI. 実施例2に係るインターフェイス装置のハードウェア構成の一例を示す図The figure which shows an example of the hardware constitutions of the interface apparatus which concerns on Example 2. FIG. 実施例2に係るインターフェイス装置の処理の流れの一例を示す図The figure which shows an example of the flow of a process of the interface apparatus which concerns on Example 2. FIG. 実施例3に係るインターフェイス装置の機能ブロックの一例を示す図The figure which shows an example of the functional block of the interface apparatus which concerns on Example 3. FIG. 実施例3に係る文字サイズ別表示形態情報の一例を示す図The figure which shows an example of the display style information according to character size which concerns on Example 3. FIG. 実施例3に係るインターフェイス装置のハードウェア構成の一例を示す図FIG. 10 is a diagram illustrating an example of a hardware configuration of an interface device according to the third embodiment. 実施例3に係るインターフェイス装置の処理の流れの一例を示す図The figure which shows an example of the flow of a process of the interface apparatus which concerns on Example 3. FIG.

符号の説明Explanation of symbols

0200 インターフェイス装置、0201 ディスプレイ、
0202 タッチセンサー部、0203 テーブル保持部、0204 GUI構成部、
0501 記憶装置、0502 CPU、0503 メインメモリ、
0504 タッチセンサー、0505 ディスプレイ、0506 I/O、
0507 システムバス、0805 位置検出手段、0806 位置別GUI構成手段、
1305 文字サイズ別表示形態情報保持手段
0200 interface device, 0201 display,
0202 touch sensor unit, 0203 table holding unit, 0204 GUI configuration unit,
0501 storage device, 0502 CPU, 0503 main memory,
0504 touch sensor, 0505 display, 0506 I / O,
0507 system bus, 0805 position detection means, 0806 position-specific GUI configuration means,
1305 Character size display form information holding means

Claims (4)

GUIを表示するためのディスプレイと、
ディスプレイに備えられ、GUIを利用した入力のためにディスプレイに接触している対象の少なくとも形と色の各情報を含む形態情報を検知して出力する形態情報出力手段を備えたタッチセンサー部と、
形態情報と、GUIの表示形態を示す情報であるGUI表示形態情報とを関連付けた第一GUI表示形態情報テーブルを保持するテーブル保持部と、
前記タッチセンサー部から出力される形態情報に応じたGUI表示形態情報をテーブル保持部から取得し、これに従ってGUIを構成するGUI構成部と、
を有するインターフェイス装置。
A display for displaying a GUI;
A touch sensor unit comprising a form information output means for detecting and outputting form information including at least the form and color information of an object in contact with the display for input using a GUI;
A table holding unit that holds a first GUI display form information table in which form information and GUI display form information that is information indicating a GUI display form are associated;
GUI display form information corresponding to the form information output from the touch sensor unit is acquired from the table holding unit, and a GUI configuration unit that configures the GUI according to the GUI display form information;
An interface device.
タッチセンサー部は、さらにディスプレイに接触している対象のGUI内の接触位置を示す情報である接触位置情報を検出する位置検出手段を備え、
テーブル保持部は、GUI表示形態情報を形態情報および接触位置情報と関連付けた第二GUI表示形態情報テーブルを保持し、
GUI構成部は、前記タッチセンサー部から出力される形態情報と接触位置情報に応じたGUI表示形態情報をテーブル保持部から取得し、これに従ってGUIを構成する位置別GUI構成手段を有する請求項1に記載のインターフェイス装置。
The touch sensor unit further includes position detection means for detecting contact position information that is information indicating a contact position in the GUI of the target that is in contact with the display,
The table holding unit holds a second GUI display form information table in which the GUI display form information is associated with the form information and the contact position information.
The GUI configuration unit includes position-specific GUI configuration means for acquiring GUI display configuration information corresponding to the configuration information output from the touch sensor unit and the contact position information from the table holding unit, and configuring the GUI according to the GUI display configuration information. The interface device according to.
テーブル保持部は、保持する表示形態情報として、形態情報又は/及び接触位置情報に応じて文字サイズ、文字数、アイコンサイズ、ボタンサイズのいずれか一以上の組み合わせが互いに異なるGUI表示形態情報である文字サイズ別表示形態情報を保持する文字サイズ別表示形態情報保持手段を有する請求項1または2に記載のインターフェイス装置。   The table holding unit stores, as display form information to be held, characters that are GUI display form information in which at least one combination of character size, number of characters, icon size, and button size is different according to form information and / or contact position information. The interface device according to claim 1, further comprising a display configuration information holding unit by character size that stores display configuration information by size. GUIを利用した入力のためにディスプレイに接触している対象の少なくとも形と色の各情報を含む形態情報を取得するステップと、
形態情報と、GUIの表示形態を示す情報であるGUI表示形態情報とを関連付けた第一GUI表示形態情報テーブルを取得するステップと、
取得された形態情報に応じたGUI表示形態情報を第一GUI表示形態情報テーブルから取得し、これに従ってGUIを構成するステップと、
からなるGUI構成方法。
Obtaining morphological information including at least shape and color information of an object in contact with a display for input using a GUI;
Obtaining a first GUI display form information table associating form information with GUI display form information that is information indicating a GUI display form;
Obtaining GUI display form information corresponding to the obtained form information from the first GUI display form information table, and configuring the GUI according to the step;
A GUI configuration method comprising:
JP2008322949A 2008-12-18 2008-12-18 Interface device and GUI configuration method Expired - Fee Related JP5212640B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008322949A JP5212640B2 (en) 2008-12-18 2008-12-18 Interface device and GUI configuration method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008322949A JP5212640B2 (en) 2008-12-18 2008-12-18 Interface device and GUI configuration method

Publications (2)

Publication Number Publication Date
JP2010146301A JP2010146301A (en) 2010-07-01
JP5212640B2 true JP5212640B2 (en) 2013-06-19

Family

ID=42566678

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008322949A Expired - Fee Related JP5212640B2 (en) 2008-12-18 2008-12-18 Interface device and GUI configuration method

Country Status (1)

Country Link
JP (1) JP5212640B2 (en)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5173001B2 (en) * 2011-08-11 2013-03-27 シャープ株式会社 Information processing apparatus, screen display method, control program, and recording medium
JP4936155B1 (en) * 2011-08-11 2012-05-23 好美 中西 Text information input method for mobile phones
JP6023879B2 (en) 2012-05-18 2016-11-09 アップル インコーポレイテッド Apparatus, method and graphical user interface for operating a user interface based on fingerprint sensor input
JP2015064875A (en) * 2013-08-30 2015-04-09 キヤノンマーケティングジャパン株式会社 Information processing apparatus, information processing method, and program
EP4068067A1 (en) * 2014-06-24 2022-10-05 Apple Inc. Music now playing user interface
JP6109889B2 (en) * 2015-08-04 2017-04-05 ヤフー株式会社 Information processing apparatus, method, and computer program
US11409410B2 (en) 2020-09-14 2022-08-09 Apple Inc. User input interfaces

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09190268A (en) * 1996-01-11 1997-07-22 Canon Inc Information processor and method for processing information
JP4266076B2 (en) * 2001-03-21 2009-05-20 株式会社リコー Electronic blackboard system
US20070115265A1 (en) * 2005-11-21 2007-05-24 Nokia Corporation Mobile device and method

Also Published As

Publication number Publication date
JP2010146301A (en) 2010-07-01

Similar Documents

Publication Publication Date Title
JP5212640B2 (en) Interface device and GUI configuration method
JP6328947B2 (en) Screen display method for multitasking operation and terminal device supporting the same
RU2415464C2 (en) Method, computer programme and graphic user interface for user input into electronic device
US8988353B2 (en) Mobile device and method for editing pages used for a home screen
US10108330B2 (en) Automatic highlighting of formula parameters for limited display devices
EP2715499B1 (en) Invisible control
TWI381305B (en) Method for displaying and operating user interface and electronic device
EP3022848B1 (en) Method of providing message and user device supporting the same
US20090235177A1 (en) Multi-monitor remote desktop environment user interface
KR102594951B1 (en) Electronic apparatus and operating method thereof
US10430071B2 (en) Operation of a computing device functionality based on a determination of input means
US9001055B2 (en) Portable device and method for operating portable device
JP2017182259A (en) Display processing apparatus and display processing program
EP3053015B1 (en) Digital device and control method thereof
WO2014141548A1 (en) Display control
JP2017215838A (en) Electronic apparatus and method for controlling the same
US20170351423A1 (en) Information processing apparatus, information processing method and computer-readable storage medium storing program
JP5065838B2 (en) Coordinate input device
KR102551568B1 (en) Electronic apparatus and control method thereof
EP3002670B1 (en) Content search apparatus and method for searching content
JP4765893B2 (en) Touch panel mounting device, external device, and operation method of external device
US10185457B2 (en) Information processing apparatus and a method for controlling the information processing apparatus
US20170038935A1 (en) Information processing device, information display method, and recording medium
JP6087602B2 (en) Electronic blackboard
JP6210664B2 (en) Information processing apparatus, control method therefor, program, and storage medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110223

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120413

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120507

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120619

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130129

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130212

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160308

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees