JP5575027B2 - Display-integrated coordinate input device and virtual keyboard function activation method - Google Patents
Display-integrated coordinate input device and virtual keyboard function activation method Download PDFInfo
- Publication number
- JP5575027B2 JP5575027B2 JP2011065424A JP2011065424A JP5575027B2 JP 5575027 B2 JP5575027 B2 JP 5575027B2 JP 2011065424 A JP2011065424 A JP 2011065424A JP 2011065424 A JP2011065424 A JP 2011065424A JP 5575027 B2 JP5575027 B2 JP 5575027B2
- Authority
- JP
- Japan
- Prior art keywords
- virtual keyboard
- input device
- display
- coordinate input
- points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Input From Keyboards Or The Like (AREA)
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Description
本発明は、表示一体型座標入力装置における入力機能、とくに表示画面上にキーボードを表示し、使用者が表示されたキーをタッチすることでキー入力を可能にする、いわゆる仮想キーボード機能の起動を容易にした表示一体型座標入力装置及び仮想キーボード機能の起動方法に関するものである。 The present invention provides an input function in a display-integrated coordinate input device, in particular, a so-called virtual keyboard function that enables a key input by displaying a keyboard on a display screen and allowing a user to touch a displayed key. The present invention relates to an easy-to-display integrated coordinate input device and a method for starting a virtual keyboard function.
コンピュータへの入力装置として、キーボードやマウスの他、座標位置を直接入力するタブレットやタッチパネルがあり、中には表示機能とタッチパネルを一体化し対象物を直接指示できるものもある。特に近年では、表示一体型入力装置を持った製品が広く使用されるようになった。
これらの装置で文字や文章を入力するときに多く使用されるのが表示画面上にキーボードを表示し、使用者が表示されたキーをタッチすることでキー入力を可能にする、いわゆる仮想キーボード機能である。
なお、本発明に関連する公知技術文献としては下記の特許文献1がある。特許文献1には、画像表示装置と一体に設けられた入力面に接触した手のひらの接触面積により、ソフトキーボードを生成して画像表示装置の接触位置に表示することができるコンピュータ入力装置が記載されている。
As an input device to a computer, there are a tablet and a touch panel that directly input a coordinate position in addition to a keyboard and a mouse, and some of them can directly indicate an object by integrating a display function and a touch panel. Particularly in recent years, products having a display-integrated input device have been widely used.
A so-called virtual keyboard function that displays a keyboard on the display screen and enables the user to touch the displayed keys to enter keys by inputting characters and sentences on these devices. It is.
In addition, there exists the following patent document 1 as a well-known technical document relevant to this invention. Patent Document 1 describes a computer input device that can generate a soft keyboard and display it at a contact position of an image display device based on a contact area of a palm that is in contact with an input surface provided integrally with the image display device. ing.
ところで、仮想キーボード機能は通常のコンピュータシステムで使用しているキーボードとは異なり、ハードウェアとして実際に存在していないため、仮想キーボード機能を使用する際には、使用する前に仮想キーボード機能を起動する必要がある。仮想キーボード機能を起動するためにはメニューを開いて該当機能を選択したり、画面上に表示されているアイコンを選択するといった操作を行なうことが一般的である。
このため、使用者が文字入力を行いたいと思ってから実際に入力操作を行なうまでの間に、別の操作を余儀なくされ、思考が妨げられてしまう。
また、女性や子供など、手の小さい人には、サイズの小さいキーボードが適していると考えられるが、サイズの選択もメニューなどから行なうのが一般的である。
尚、特許文献1のコンピュータ入力装置は、ソフトキーボードを簡単に表示することができるが、手のひらの接触面積によりソフトキーボードを生成するため、手のひら以外のものを検出して誤作動を起こす虞があり、又、手の指の位置を正確に検出するものではないため、ソフトキーボードの表示が使用者に適さないものとなる虞がある。
By the way, the virtual keyboard function does not actually exist as hardware unlike the keyboard used in normal computer systems, so when using the virtual keyboard function, start the virtual keyboard function before using it. There is a need to. In order to activate the virtual keyboard function, it is common to perform operations such as opening a menu and selecting a corresponding function, or selecting an icon displayed on the screen.
For this reason, another operation is forced between the user's desire to input characters and the actual input operation, which hinders thinking.
A small-sized keyboard is considered suitable for people with small hands, such as women and children, but the size is generally selected from a menu or the like.
Note that the computer input device of Patent Document 1 can easily display a soft keyboard, but since the soft keyboard is generated based on the contact area of the palm, there is a risk of detecting something other than the palm and causing a malfunction. In addition, since the position of the finger of the hand is not accurately detected, there is a possibility that the display of the soft keyboard may not be suitable for the user.
以上の現状に鑑み、本発明は、使用者が表示画面上に両手を置くという操作で、使用者に適した仮想キーボードを自動的に起動することができ、使用者の思考を妨げることなく、容易に入力操作に移ることができる表示一体型座標入力装置及び仮想キーボード機能の起動方法を提供することを目的とする。 In view of the above situation, the present invention can automatically start a virtual keyboard suitable for the user by the operation of the user placing both hands on the display screen, without disturbing the user's thoughts, It is an object of the present invention to provide a display-integrated coordinate input device and a virtual keyboard function activation method that can easily shift to an input operation.
上記の課題を解決すべく、本発明は以下の構成を提供する。
請求項1に係る発明は、座標入力装置と、画像表示装置とが一体に構成され、タッチパネル式で、かつ、同時に複数座標の入力が可能な表示一体型座標入力装置であって、
前記表示一体型座標入力装置は、前記座標入力装置に入力があると、入力された座標を検出する手段と、
前記座標入力装置に複数ポイントの入力があった場合は、ポイントされた各座標情報を保持する手段と、
前記表示一体型座標入力装置において仮想キーボード機能が既に起動中かどうかを判別する手段と、
前記仮想キーボード機能が起動されていない場合は、前記座標入力装置にポイントされている座標の数およびその位置情報から、仮想キーボード機能の起動要求であるかを判別する手段と、
仮想キーボード機能の起動要求と判定した場合は、前記座標入力装置に入力された情報から、起動する仮想キーボードの表示位置と表示サイズを算出する手段と、
表示位置と表示サイズで仮想キーボードの画像イメージを作成する手段と、
作成した画像イメージを前記画像表示装置に表示する手段と、を備え、
前記仮想キーボード機能の起動要求であるかを判別する手段には、
前記座標入力装置に入力されたポイントの数が10点の時、10点のうち、任意の2点を除き、残りの8点のポイントの接触位置により近似直線を求める手段と、
任意の2点を除く残りの8点による全ての組み合わせにおいて、8点のそれぞれの接触位置から近似直線までの距離の和をそれぞれ算出する手段と、
距離の和が一番小さい組み合わせにより、左手の親指の接触位置と、右手の親指の接触位置を除いた組み合わせを求める手段と、
求めた組み合わせによる8点の接触位置から近似直線までの距離がすべて所定距離内にある場合に、入力が仮想キーボード機能の起動要求であると判断する手段と、が含まれることを特徴とする表示一体型座標入力装置を提供するものである。
In order to solve the above problems, the present invention provides the following configurations.
The invention according to claim 1 is a display-integrated coordinate input device in which a coordinate input device and an image display device are integrally configured, is a touch panel type, and can simultaneously input a plurality of coordinates,
The display-integrated coordinate input device, when there is an input to the coordinate input device, means for detecting the input coordinates;
When there are multiple points input to the coordinate input device, means for holding each pointed coordinate information;
Means for determining whether or not the virtual keyboard function is already activated in the display-integrated coordinate input device;
If the virtual keyboard function is not activated, means for determining whether or not the virtual keyboard function is activated from the number of coordinates pointed to the coordinate input device and its position information;
If the virtual keyboard function activation request is determined, means for calculating the display position and display size of the virtual keyboard to be activated from the information input to the coordinate input device;
Means for creating a virtual keyboard image with display position and display size;
Means for displaying the created image image on the image display device ,
Means for determining whether or not the virtual keyboard function activation request,
When the number of points input to the coordinate input device is 10 points, means for obtaining an approximate straight line from the contact positions of the remaining 8 points except for any 2 points out of 10 points;
Means for calculating the sum of the distances from the respective contact positions of the eight points to the approximate straight line in all combinations of the remaining eight points excluding any two points;
Means for obtaining a combination of the contact position of the left thumb and the contact position of the right thumb with the combination having the smallest sum of distances;
And a means for determining that the input is a virtual keyboard function activation request when all the distances from the eight contact positions to the approximate straight line in the obtained combination are within a predetermined distance. An integrated coordinate input device is provided.
請求項2に係る発明は、前記表示一体型座標入力装置は、求めた前記組み合わせによる8点の接触位置を前記近似直線にそれぞれ垂直に投影した8点の投影点のうち、互いの距離が一番大きい2つの投影点を算出する手段と、
算出した前記2つの投影点を、それぞれ、左手の小指にあたるキーの中心位置、及び、右手の小指にあたるキーの中心の位置として仮想キーボード全体のサイズおよび位置を算出する手段とを備えたことを特徴とする請求項1記載の表示一体型座標入力装置を提供するものである。
According to a second aspect of the present invention, the display-integrated coordinate input device is configured such that, among the eight projected points obtained by vertically projecting the eight contact positions according to the obtained combination onto the approximate straight line, the distance between them is one. Means for calculating the two largest projection points;
Means for calculating the size and position of the entire virtual keyboard using the calculated two projection points as the center position of the key corresponding to the little finger of the left hand and the position of the center of the key corresponding to the little finger of the right hand, respectively. The display-integrated coordinate input device according to claim 1 is provided.
請求項3に係る発明は、座標入力装置と、画像表示装置とが一体に構成され、タッチパネル式で、かつ、同時に複数座標の入力が可能な表示一体型座標入力装置における仮想キーボード機能の起動方法であって、
前記表示一体型座標入力装置は、前記座標入力装置に入力があると、入力された座標を検出するステップと、
前記座標入力装置に複数ポイントの入力があった場合は、ポイントされた各座標情報を保持するステップと、
前記表示一体型座標入力装置において仮想キーボード機能が既に起動中かどうかを判別するステップと、
前記仮想キーボード機能が起動されていない場合は、前記座標入力装置にポイントされている座標の数およびその位置情報から、仮想キーボード機能の起動要求であるかを判別するステップと、
仮想キーボード機能の起動要求と判定した場合は、前記座標入力装置に入力された情報から、起動する仮想キーボードの表示位置と表示サイズを算出するステップと、
表示位置と表示サイズで仮想キーボードの画像イメージを作成するステップと、
作成した画像イメージを前記画像表示装置に表示するステップと、を実行し、
前記表示一体型座標入力装置はさらに、前記仮想キーボード機能の起動要求であるかを判別するステップにおいては、
前記座標入力装置に入力されたポイントの数が10点の時、10点のうち、任意の2点を除き、残りの8点のポイントの接触位置により近似直線を求めるステップと、
任意の2点を除く残りの8点による全ての組み合わせにおいて、8点のそれぞれの接触位置から近似直線までの距離の和をそれぞれ算出するステップと、
距離の和が一番小さい組み合わせにより、左手の親指の接触位置と、右手の親指の接触位置を除いた組み合わせを求めるステップと、
求めた組み合わせによる8点の接触位置から近似直線までの距離がすべて所定距離内にある場合に、入力が仮想キーボードの起動要求であると判断するステップとを実行することを特徴とする、表示一体型座標入力装置における仮想キーボード機能の起動方法を提供するものである。
According to a third aspect of the present invention, there is provided a method for activating a virtual keyboard function in a display-integrated coordinate input device in which a coordinate input device and an image display device are integrally configured, which is a touch panel type and capable of simultaneously inputting a plurality of coordinates. Because
The display-integrated coordinate input device detects an input coordinate when there is an input to the coordinate input device;
If there are multiple points input to the coordinate input device, the step of holding each pointed coordinate information;
Determining whether a virtual keyboard function is already activated in the display-integrated coordinate input device;
If the virtual keyboard function is not activated, determining from the number of coordinates pointed to the coordinate input device and its position information whether it is a virtual keyboard function activation request;
If it is determined that the virtual keyboard function activation request, the step of calculating the display position and display size of the virtual keyboard to be activated from the information input to the coordinate input device;
Creating a virtual keyboard image with display position and display size;
Displaying the created image image on the image display device ; and
In the step of determining whether or not the display-integrated coordinate input device is an activation request for the virtual keyboard function,
When the number of points input to the coordinate input device is 10, obtaining an approximate straight line from the contact positions of the remaining 8 points excluding any 2 points out of 10 points;
Calculating the sum of the distances from the respective contact positions of the eight points to the approximate straight line in all combinations of the remaining eight points excluding any two points;
Obtaining a combination of the contact position of the thumb of the left hand and the contact position of the thumb of the right hand by the combination having the smallest sum of distances;
Distance from the contact position of the 8-point by the combination found to approximate line if all are within a predetermined distance, and executes a step of determining that the input is the activation request of a virtual keyboard, the display- A method for activating a virtual keyboard function in a body coordinate input apparatus is provided.
請求項4に係る発明は、前記表示一体型座標入力装置は、求めた前記組み合わせによる8点の接触位置を前記近似直線にそれぞれ垂直に投影した8点の投影点のうち、互いの距離が一番大きい2つの投影点を算出するステップと、
算出した前記2つの投影点を、それぞれ、左手の小指にあたるキーの中心位置、及び、右手の小指にあたるキーの中心の位置として仮想キーボード全体のサイズおよび位置を算出するステップとを実行することを特徴とする請求項3記載の表示一体型座標入力装置における仮想キーボード機能の起動方法を提供するものである。
According to a fourth aspect of the present invention, the display-integrated coordinate input device is configured such that the distance between each of the eight projected points obtained by vertically projecting the eight contact positions according to the obtained combination onto the approximate straight line is one. Calculating the two largest projection points;
Calculating the size and position of the entire virtual keyboard using the calculated two projection points as the center position of the key corresponding to the little finger of the left hand and the position of the center of the key corresponding to the little finger of the right hand, respectively. A method for activating a virtual keyboard function in the coordinate input device with an integrated display according to claim 3 is provided.
本発明の表示一体型座標入力装置及び仮想キーボード機能の起動方法によれば、次のような効果がある。
(1)仮想キーボードを使用者が表示画面上に両手を置くという操作で自動的に起動することができ、使用者の思考を妨げることなく、容易に入力操作に移ることができる。
(2)仮想キーボードの表示位置および表示サイズを自動的に算出して表示することで、メニューから選択するといった操作が必要なくなり、容易に使用者に適した仮想キーボードを使用することができる。
The display integrated coordinate input device and the virtual keyboard function activation method of the present invention have the following effects.
(1) The virtual keyboard can be automatically activated by an operation in which the user puts both hands on the display screen, and the input operation can be easily performed without disturbing the user's thought.
(2) By automatically calculating and displaying the display position and display size of the virtual keyboard, an operation of selecting from the menu is not necessary, and the virtual keyboard suitable for the user can be easily used.
以下、実施例を示した図面を参照しつつ本発明の実施の形態を説明する。
尚、上記表示一体型座標入力装置は、コンピュータであり、上記各手段又はステップは、コンピュータのCPUが必要なコンピュータプログラムを読み込んで実行することにより実現される手段又はステップであり、そのフローチャート図が図2である。
以下、本発明を適用した表示一体型座標入力装置及び仮想キーボード機能の起動方法の一実施の形態について説明する。
図1は、本発明の表示一体型座標入力装置の実施の形態の一例を示すシステム構成図である。
図1において、100は本発明の表示一体型座標入力装置であり、表示一体型座標入力装置100において、1は座標入力装置で、本発明においては手2の指で操作できるようタッチパネル式でかつ、同時に複数座標の入力が可能であることを前提とする。3は座標入力装置1で入力している位置を複数位置検出可能な接触位置検出部、4は入力された位置を解析し、仮想キーボードの起動要求であることを判別する接触位置判定部、5は接触位置から仮想キーボードの表示位置と表示サイズを決定する仮想キーボード表示位置・サイズ算出部、6は仮想キーボード表示位置・サイズ算出部5により算出された位置とサイズで仮想キーボードを生成する仮想キーボード生成部、7は仮想キーボードを画面に表示する描画部、8は描画要求されたイメージを表示する画像表示装置である。9は画像表示装置8に表示される仮想キーボードで、仮想キーボード9で指定されたキー入力は表示一体型座標入力装置100に接続されたコンピュータ10に出力される。
Hereinafter, embodiments of the present invention will be described with reference to the drawings showing examples.
The display-integrated coordinate input device is a computer, and each means or step is a means or step realized by a computer CPU reading and executing a necessary computer program. FIG.
Hereinafter, an embodiment of a display integrated coordinate input device and a virtual keyboard function activation method to which the present invention is applied will be described.
FIG. 1 is a system configuration diagram showing an example of an embodiment of a display-integrated coordinate input device of the present invention.
In FIG. 1, reference numeral 100 denotes a display-integrated coordinate input device according to the present invention. In the display-integrated coordinate input device 100, reference numeral 1 denotes a coordinate input device. It is assumed that a plurality of coordinates can be input at the same time. 3 is a contact position detection unit capable of detecting a plurality of positions input by the coordinate input device 1, and 4 is a contact position determination unit that analyzes the input position and determines that it is a virtual keyboard activation request. Is a virtual keyboard display position / size calculation unit that determines the display position and display size of the virtual keyboard from the contact position, and 6 is a virtual keyboard that generates a virtual keyboard with the position and size calculated by the virtual keyboard display position / size calculation unit 5 A
図2は、本発明の表示一体型座標入力装置における仮想キーボード機能の起動方法における処理の概要を示す処理フローチャート図である。
座標入力装置1に入力があると、接触位置検出部3は入力された座標を検出する。座標入力装置1に複数ポイントの入力があった場合は、ポイントされた各座標情報を保持し、接触位置判定部4に保持する(ステップ201)。
接触位置判定部4は、まず、仮想キーボード機能が既に起動中かどうかを判別し(ステップ202)、既に起動中の場合は、新たに入力された位置が表示されている仮想キーボード9のキーの表示範囲内にあるかどうかを判別し(ステップ207)、仮想キーボード9のキーの表示範囲内にある場合には、該当するキーに対応した文字等の情報をコンピュータ10に出力する(ステップ208)。入力された位置が、表示されている仮想キーボード9のいずれのキーの範囲内でもない場合には、何もせずに処理を終了する。
仮想キーボード機能が起動されていない場合は、座標入力装置1にポイントされている座標の数およびその位置情報から、予め登録した情報と比較することにより、仮想キーボード機能の起動要求であるかを判別する(ステップ203)。
FIG. 2 is a processing flowchart showing an outline of processing in the virtual keyboard function activation method in the display-integrated coordinate input device of the present invention.
When there is an input to the coordinate input device 1, the contact position detector 3 detects the input coordinates. When a plurality of points are input to the coordinate input device 1, each pointed coordinate information is held and held in the contact position determination unit 4 (step 201).
The contact position determination unit 4 first determines whether or not the virtual keyboard function is already activated (step 202). If the virtual keyboard function is already activated, the touch position determination unit 4 determines the key of the virtual keyboard 9 on which the newly input position is displayed. It is determined whether or not it is within the display range (step 207). If it is within the display range of the key of the virtual keyboard 9, information such as characters corresponding to the corresponding key is output to the computer 10 (step 208). . If the input position is not within the range of any key of the displayed virtual keyboard 9, the process is terminated without doing anything.
If the virtual keyboard function is not activated, the number of coordinates pointed to the coordinate input device 1 and the position information thereof are compared with information registered in advance to determine whether the activation is a virtual keyboard function activation request. (Step 203).
座標入力装置1に入力された情報が仮想キーボード機能の起動要求と判定した場合は、仮想キーボード表示位置・サイズ算出部5で、座標入力装置1に入力された情報から、起動する仮想キーボード9の表示位置と表示サイズを算出し(ステップ204)、表示位置と表示サイズを仮想キーボード生成部6に送る。
仮想キーボード生成部6は送られてきた表示位置と表示サイズで仮想キーボード9を表示するためのウィンドウ作成など、処理系に応じた、仮想キーボード9を表示するために必要な処理を行い、画像表示装置8に表示する仮想キーボード9の画像イメージを作成し(ステップ205)、描画部7に送る。
描画部7は送られた仮想キーボード9のイメージを画像表示装置8に表示する(ステップ206)。
When it is determined that the information input to the coordinate input device 1 is an activation request for the virtual keyboard function, the virtual keyboard display position / size calculation unit 5 determines the virtual keyboard 9 to be activated from the information input to the coordinate input device 1. The display position and display size are calculated (step 204), and the display position and display size are sent to the virtual keyboard generation unit 6.
The virtual keyboard generation unit 6 performs processing necessary for displaying the virtual keyboard 9 according to the processing system, such as creating a window for displaying the virtual keyboard 9 with the display position and display size sent to display the image. An image of the virtual keyboard 9 to be displayed on the device 8 is created (step 205) and sent to the
The
図3は、座標入力装置1に入力された座標から、入力が仮想キーボード機能の起動要求であるかどうかを判別する方法を示した図である。
図3(A)は座標入力装置1上に左手301、右手302を置き、指先が座標入力装置1に触れている状態を示した図である。図の接触位置311から接触位置320は指先と座標入力装置1が接触している位置を示している。
まず、接触位置の数(座標入力装置1にポイントされている座標が示す数)が10点に満たない場合、または、10点を超える場合は、その入力は仮想キーボード機能の起動要求ではないと判断する。
図3(B)は、接触位置の数が10点である場合に、接触位置311から接触位置320のうち、左手301の親指の接触位置315と、右手302の親指の接触位置316を除いた8点(接触位置311から314および接触位置317から320)とその近似直線322を特定する方法を示した図である。
接触位置311から接触位置320のうち、任意の2つを除き、残りの8点の近似直線322を求める。10点のうち8点を選択する組み合わせは40通りあるため、近似直線の数も40本存在する。全ての組み合わせ(40通りの組み合わせ)において8点のすべての接触位置から近似直線までの距離321の和を算出し、距離の和が一番小さい組み合わせが、接触位置311乃至接触位置320から、左手301の親指の接触位置315と、右手302の親指の接触位置316を除いた組み合わせとなる。
そして、接触位置311から314、および、接触位置317から320の8点のそれぞれの接触位置から近似直線までのそれぞれの距離がすべて一定距離内にある場合に、入力が仮想キーボードの起動要求であると判断する。
FIG. 3 is a diagram illustrating a method for determining whether or not the input is a virtual keyboard function activation request from the coordinates input to the coordinate input device 1.
FIG. 3A is a diagram showing a state in which the left hand 301 and the right hand 302 are placed on the coordinate input device 1 and the fingertip is touching the coordinate input device 1. The
First, if the number of contact positions (the number indicated by the coordinates pointed to the coordinate input device 1) is less than 10 points or exceeds 10, the input is not a virtual keyboard function activation request. to decide.
In FIG. 3B, when the number of contact positions is 10, the
Except for any two of the contact positions 311 to 320, the remaining eight approximate
When the distances from the respective contact positions of the contact positions 311 to 314 and the contact positions 317 to 320 to the approximate line are all within a certain distance, the input is a virtual keyboard activation request. Judge.
図4は表示する仮想キーボード9の位置とサイズを算出する方法を示した図である。
図4(A)は仮想キーボード9で小指にあたるキーの中心位置を特定する方法を示した図である。
図3(B)で得られた接触位置311から接触位置320のうち左手301の親指の接触位置315と、右手302の親指の接触位置316を除いた8点を近似直線322にそれぞれ垂直に投影した点のうち、互いの距離が一番大きい2点を算出する。図4(A)では、互いの距離が一番大きい2点として、投影点401と投影点402とが該当し、投影点401と投影点402とが、それぞれ仮想キーボード9における左手の小指にあたるキーの中心位置421、右手の小指にあたるキーの中心位置422となる。
FIG. 4 is a diagram showing a method for calculating the position and size of the virtual keyboard 9 to be displayed.
FIG. 4A is a diagram showing a method of specifying the center position of the key corresponding to the little finger on the virtual keyboard 9.
8 points excluding the
図4(B)は左手の小指にあたるキーの中心位置421と右手の小指にあたるキーの中心位置422から仮想キーボード全体のサイズおよび位置を算出できることを示した図である。
仮想キーボードの左手の小指にあたるキーの中心位置421から仮想キーボード9の左端までの長さをW1:404、仮想キーボードの左手の小指にあたるキーの中心位置421と仮想キーボード9の右手の小指にあたるキーの中心位置422の間の長さをW2:405、仮想キーボード9の右手の小指にあたるキーの中心位置422から仮想キーボード9の右端までの長さをW3:406、仮想キーボード9の左手の小指にあたるキーの中心位置421から仮想キーボード9の上端までの長さをH1:407、仮想キーボード9の左手の小指にあたるキーの中心位置421から仮想キーボード9の下端までの長さをH2:408とする。
このとき、例えば仮想キーボード9の横幅W:409は以下の式で求めることができる。
FIG. 4B is a diagram showing that the size and position of the entire virtual keyboard can be calculated from the
The length from the
At this time, for example, the horizontal width W: 409 of the virtual keyboard 9 can be obtained by the following expression.
同様に仮想キーボード9の高さH:410、仮想キーボード9の左上の位置411、仮想キーボードの右上の位置412、仮想キーボード9の左下の位置413、仮想キーボード9の右下の位置414も求めることができる。
Similarly, the height H of the virtual keyboard 9 is 410, the upper
図4(C)は図4(B)で求めた仮想キーボード9のサイズと位置で画像表示装置8上に仮想キーボード9を表示したことを示す図である。本方法で座標入力装置1に置いた左手301と右手302がホームポジションとなる位置とサイズで仮想キーボード9が表示されていることを示している。 FIG. 4C is a diagram showing that the virtual keyboard 9 is displayed on the image display device 8 with the size and position of the virtual keyboard 9 obtained in FIG. 4B. This shows that the virtual keyboard 9 is displayed at the position and size where the left hand 301 and the right hand 302 placed on the coordinate input device 1 in this method are the home positions.
本発明にかかる表示一体型座標入力装置における仮想キーボード機能の起動方法は、今後普及が進むであろうタッチパネルを用いた機器において、座標入力装置上に両手を置くと、その位置に仮想キーボードを表示するという手段を備えたことにより、使用者の思考を妨げることなく直感的に仮想キーボードを起動できるという優れた効果を有し、また、近い将来、座標入力装置のサイズが大きくなった、例えばデスク全体が表示一体型座標入力装置になっているといったシステムにおいても適用可能なため、仮想キーボード機能の起動方法として有用である。 The method for activating the virtual keyboard function in the display-integrated coordinate input device according to the present invention displays a virtual keyboard at the position when both hands are placed on the coordinate input device in a device using a touch panel that will be widely used in the future. This means that the virtual keyboard can be started intuitively without disturbing the user's thinking, and the size of the coordinate input device has increased in the near future. Since the present invention can also be applied to a system in which the whole is a display-integrated coordinate input device, it is useful as a method for starting a virtual keyboard function.
1 座標入力装置
8 画像表示装置
9 仮想キーボード
10 コンピュータ
100 表示一体型座標入力装置
301 左手
302 右手
311〜320 接触位置
321 距離
322 近似直線
401,402 投影点
421 左手の小指にあたるキーの中心位置
422 右手の小指にあたるキーの中心位置
DESCRIPTION OF SYMBOLS 1 Coordinate input device 8 Image display device 9
Claims (4)
前記表示一体型座標入力装置は、前記座標入力装置に入力があると、入力された座標を検出する手段と、
前記座標入力装置に複数ポイントの入力があった場合は、ポイントされた各座標情報を保持する手段と、
前記表示一体型座標入力装置において仮想キーボード機能が既に起動中かどうかを判別する手段と、
前記仮想キーボード機能が起動されていない場合は、前記座標入力装置にポイントされている座標の数およびその位置情報から、仮想キーボード機能の起動要求であるかを判別する手段と、
仮想キーボード機能の起動要求と判定した場合は、前記座標入力装置に入力された情報から、起動する仮想キーボードの表示位置と表示サイズを算出する手段と、
表示位置と表示サイズで仮想キーボードの画像イメージを作成する手段と、
作成した画像イメージを前記画像表示装置に表示する手段と、を備え、
前記仮想キーボード機能の起動要求であるかを判別する手段には、
前記座標入力装置に入力されたポイントの数が10点の時、10点のうち、任意の2点を除き、残りの8点のポイントの接触位置により近似直線を求める手段と、
任意の2点を除く残りの8点による全ての組み合わせにおいて、8点のそれぞれの接触位置から近似直線までの距離の和をそれぞれ算出する手段と、
距離の和が一番小さい組み合わせにより、左手の親指の接触位置と、右手の親指の接触位置を除いた組み合わせを求める手段と、
求めた組み合わせによる8点の接触位置から近似直線までの距離がすべて所定距離内にある場合に、入力が仮想キーボード機能の起動要求であると判断する手段と、が含まれることを特徴とする表示一体型座標入力装置。 The coordinate input device and the image display device are integrally configured, is a touch panel type, and is a display integrated coordinate input device capable of simultaneously inputting a plurality of coordinates,
The display-integrated coordinate input device, when there is an input to the coordinate input device, means for detecting the input coordinates;
When there are multiple points input to the coordinate input device, means for holding each pointed coordinate information;
Means for determining whether or not the virtual keyboard function is already activated in the display-integrated coordinate input device;
If the virtual keyboard function is not activated, means for determining whether or not the virtual keyboard function is activated from the number of coordinates pointed to the coordinate input device and its position information;
If the virtual keyboard function activation request is determined, means for calculating the display position and display size of the virtual keyboard to be activated from the information input to the coordinate input device;
Means for creating a virtual keyboard image with display position and display size;
Means for displaying the created image image on the image display device ,
Means for determining whether or not the virtual keyboard function activation request,
When the number of points input to the coordinate input device is 10 points, means for obtaining an approximate straight line from the contact positions of the remaining 8 points except for any 2 points out of 10 points;
Means for calculating the sum of the distances from the respective contact positions of the eight points to the approximate straight line in all combinations of the remaining eight points excluding any two points;
Means for obtaining a combination of the contact position of the left thumb and the contact position of the right thumb with the combination having the smallest sum of distances;
And a means for determining that the input is a virtual keyboard function activation request when all the distances from the eight contact positions to the approximate straight line in the obtained combination are within a predetermined distance. Integrated coordinate input device.
算出した前記2つの投影点を、それぞれ、左手の小指にあたるキーの中心位置、及び、右手の小指にあたるキーの中心の位置として仮想キーボード全体のサイズおよび位置を算出する手段とを備えたことを特徴とする請求項1記載の表示一体型座標入力装置。 The display-integrated coordinate input device calculates the two projected points having the largest distance among the eight projected points obtained by projecting the eight contact positions according to the obtained combinations vertically to the approximate line. Means to
Means for calculating the size and position of the entire virtual keyboard using the calculated two projection points as the center position of the key corresponding to the little finger of the left hand and the position of the center of the key corresponding to the little finger of the right hand, respectively. The display-integrated coordinate input device according to claim 1 .
前記表示一体型座標入力装置は、前記座標入力装置に入力があると、入力された座標を検出するステップと、
前記座標入力装置に複数ポイントの入力があった場合は、ポイントされた各座標情報を保持するステップと、
前記表示一体型座標入力装置において仮想キーボード機能が既に起動中かどうかを判別するステップと、
前記仮想キーボード機能が起動されていない場合は、前記座標入力装置にポイントされている座標の数およびその位置情報から、仮想キーボード機能の起動要求であるかを判別するステップと、
仮想キーボード機能の起動要求と判定した場合は、前記座標入力装置に入力された情報から、起動する仮想キーボードの表示位置と表示サイズを算出するステップと、
表示位置と表示サイズで仮想キーボードの画像イメージを作成するステップと、
作成した画像イメージを前記画像表示装置に表示するステップと、を実行し、
前記表示一体型座標入力装置はさらに、前記仮想キーボード機能の起動要求であるかを判別するステップにおいては、
前記座標入力装置に入力されたポイントの数が10点の時、10点のうち、任意の2点を除き、残りの8点のポイントの接触位置により近似直線を求めるステップと、
任意の2点を除く残りの8点による全ての組み合わせにおいて、8点のそれぞれの接触位置から近似直線までの距離の和をそれぞれ算出するステップと、
距離の和が一番小さい組み合わせにより、左手の親指の接触位置と、右手の親指の接触位置を除いた組み合わせを求めるステップと、
求めた組み合わせによる8点の接触位置から近似直線までの距離がすべて所定距離内にある場合に、入力が仮想キーボードの起動要求であると判断するステップとを実行することを特徴とする、表示一体型座標入力装置における仮想キーボード機能の起動方法。 The coordinate input device and the image display device are integrally configured, a touch panel type, and a virtual keyboard function activation method in a display-integrated coordinate input device capable of simultaneously inputting a plurality of coordinates,
The display-integrated coordinate input device detects an input coordinate when there is an input to the coordinate input device;
If there are multiple points input to the coordinate input device, the step of holding each pointed coordinate information;
Determining whether a virtual keyboard function is already activated in the display-integrated coordinate input device;
If the virtual keyboard function is not activated, determining from the number of coordinates pointed to the coordinate input device and its position information whether it is a virtual keyboard function activation request;
If it is determined that the virtual keyboard function activation request, the step of calculating the display position and display size of the virtual keyboard to be activated from the information input to the coordinate input device;
Creating a virtual keyboard image with display position and display size;
Displaying the created image image on the image display device ; and
In the step of determining whether or not the display-integrated coordinate input device is an activation request for the virtual keyboard function,
When the number of points input to the coordinate input device is 10, obtaining an approximate straight line from the contact positions of the remaining 8 points excluding any 2 points out of 10 points;
Calculating the sum of the distances from the respective contact positions of the eight points to the approximate straight line in all combinations of the remaining eight points excluding any two points;
Obtaining a combination of the contact position of the thumb of the left hand and the contact position of the thumb of the right hand by the combination having the smallest sum of distances;
Distance from the contact position of the 8-point by the combination found to approximate line if all are within a predetermined distance, and executes a step of determining that the input is the activation request of a virtual keyboard, the display- A method for starting a virtual keyboard function in a body coordinate input apparatus.
算出した前記2つの投影点を、それぞれ、左手の小指にあたるキーの中心位置、及び、右手の小指にあたるキーの中心の位置として仮想キーボード全体のサイズおよび位置を算出するステップとを実行することを特徴とする請求項3記載の表示一体型座標入力装置における仮想キーボード機能の起動方法。 The display-integrated coordinate input device calculates the two projected points having the largest distance among the eight projected points obtained by projecting the eight contact positions according to the obtained combinations vertically to the approximate line. And steps to
Calculating the size and position of the entire virtual keyboard using the calculated two projection points as the center position of the key corresponding to the little finger of the left hand and the position of the center of the key corresponding to the little finger of the right hand, respectively. A method for activating a virtual keyboard function in the display-integrated coordinate input device according to claim 3 .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011065424A JP5575027B2 (en) | 2011-03-24 | 2011-03-24 | Display-integrated coordinate input device and virtual keyboard function activation method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011065424A JP5575027B2 (en) | 2011-03-24 | 2011-03-24 | Display-integrated coordinate input device and virtual keyboard function activation method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012203497A JP2012203497A (en) | 2012-10-22 |
JP5575027B2 true JP5575027B2 (en) | 2014-08-20 |
Family
ID=47184481
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011065424A Expired - Fee Related JP5575027B2 (en) | 2011-03-24 | 2011-03-24 | Display-integrated coordinate input device and virtual keyboard function activation method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5575027B2 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6219100B2 (en) * | 2013-08-29 | 2017-10-25 | シャープ株式会社 | Image display device capable of displaying software keyboard and control method thereof |
JP5996079B1 (en) * | 2015-12-10 | 2016-09-21 | レノボ・シンガポール・プライベート・リミテッド | Information processing apparatus, software keyboard display method, and program |
CN108536037B (en) * | 2018-07-12 | 2023-08-11 | 四川虹美智能科技有限公司 | Control equipment and method of intelligent household appliance and intelligent household appliance |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07230352A (en) * | 1993-09-16 | 1995-08-29 | Hitachi Ltd | Touch position detecting device and touch instruction processor |
CN1280700C (en) * | 2002-07-04 | 2006-10-18 | 皇家飞利浦电子股份有限公司 | Automatically adaptable virtual keyboard |
JP2009122890A (en) * | 2007-11-14 | 2009-06-04 | Sharp Corp | Display device and information processor |
-
2011
- 2011-03-24 JP JP2011065424A patent/JP5575027B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2012203497A (en) | 2012-10-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9069386B2 (en) | Gesture recognition device, method, program, and computer-readable medium upon which program is stored | |
KR101692823B1 (en) | Adapting user interface based on handedness of use of mobile computing device | |
US20150143276A1 (en) | Method for controlling a control region of a computerized device from a touchpad | |
US20100302155A1 (en) | Virtual input devices created by touch input | |
KR101019254B1 (en) | apparatus having function of space projection and space touch and the controlling method thereof | |
JP5640486B2 (en) | Information display device | |
JP2011028524A (en) | Information processing apparatus, program and pointing method | |
US20150193037A1 (en) | Input Apparatus | |
TW201531925A (en) | Multi-touch virtual mouse | |
WO2014118602A1 (en) | Emulating pressure sensitivity on multi-touch devices | |
US10282087B2 (en) | Multi-touch based drawing input method and apparatus | |
EP2474890A1 (en) | Virtual keyboard configuration putting fingers in rest positions on a multitouch screen, calibrating key positions thereof | |
WO2011026389A1 (en) | Touch control method, processing apparatus and processing system | |
EP2418573A2 (en) | Display apparatus and method for moving displayed object | |
CN108874284A (en) | Gesture trigger method | |
JP5275429B2 (en) | Information processing apparatus, program, and pointing method | |
TWI615747B (en) | System and method for displaying virtual keyboard | |
JP5575027B2 (en) | Display-integrated coordinate input device and virtual keyboard function activation method | |
KR101518786B1 (en) | Feedback method of touch pressure level and device including touch screen performing the same | |
JP2016015181A (en) | User interface device, program, and function starting method capable of starting different function according to degree of pressing force | |
JP5414134B1 (en) | Touch-type input system and input control method | |
JP4856136B2 (en) | Movement control program | |
JP5833511B2 (en) | User interface device capable of discriminating pressing position under multi-touch state, program and function invocation method | |
KR101573287B1 (en) | Apparatus and method for pointing in displaying touch position electronic device | |
KR20110006251A (en) | Input method and tools for touch panel, and mobile devices using the same |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130729 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140225 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140311 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140410 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140617 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140701 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5575027 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |