JP5455277B2 - Display device - Google Patents
Display device Download PDFInfo
- Publication number
- JP5455277B2 JP5455277B2 JP2013115706A JP2013115706A JP5455277B2 JP 5455277 B2 JP5455277 B2 JP 5455277B2 JP 2013115706 A JP2013115706 A JP 2013115706A JP 2013115706 A JP2013115706 A JP 2013115706A JP 5455277 B2 JP5455277 B2 JP 5455277B2
- Authority
- JP
- Japan
- Prior art keywords
- display
- shape
- display panel
- display device
- contact portion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
Description
本発明は表示装置に関する。 The present invention relates to a display device.
従来、店舗に来店した顧客と従業員が接客端末でやりとりをする場合、第３者への個人情報流出の観点から、従業員は端末上に顧客の個人情報、例えば氏名、生年月日、住所、携帯電話の番号、職業、写真等を表示することができなかった。 Conventionally, when a customer who visits a store and an employee interact with the customer service terminal, from the viewpoint of leakage of personal information to a third party, the employee has personal information of the customer on the terminal, such as name, date of birth, and address. , Mobile phone number, occupation, photo etc. could not be displayed.
そのため、顧客の個人情報を確認する場合、まず従業員のみが業務用端末で顧客情報データベースにアクセスして内容を確認した後、顧客に口頭もしくはプリントアウトした書類などで確認をとるという方法をとっていた。このような接客方法では、客と従業員が同時に個人情報を確認することができない。従って、従業員が確認した後、顧客に確認を取らなければならず、手続きが煩雑である。しかし、従来は個人の情報を他人に見られずに確認する適切な方法がなかった。 For this reason, when confirming the customer's personal information, only the employee accesses the customer information database on the business terminal and confirms the contents, and then confirms the document with verbal or printed documents. It was. With such a customer service method, customers and employees cannot confirm personal information at the same time. Therefore, after the employee confirms, confirmation must be made to the customer, and the procedure is complicated. However, there has been no appropriate method for confirming personal information without being seen by others.
ところで、特許文献１および２には、タッチパネルに関する技術が記載されている。特許文献１には、マルチタッチ認識機能を有する表示装置及びその駆動方法に関する技術が記載されている。特許文献１に記載の技術では、液晶表示モジュールに複数のカメラを一体化している。当該複数のカメラが撮影した画像に基づき、タッチ部分の座標を算出する。そして、算出された位置に基づき、タッチ認識を信号処理して液晶表示モジュールを制御するものである。
By the way,
特許文献２には、水平の卓上ディスプレイについての技術が記載されている。特許文献２に記載の技術は、ディスプレイ上にオブジェクトを表示させ、当該オブジェクトを操作するためのポップアップアイテムを、当該オブジェクトとは離れた場所に表示する。それにより、オブジェクトの編集、操作等をより容易にし、更に、複数のユーザが同時に操作することを可能とする。
また、特許文献３に記載の技術は、コンピュータディスプレイ上の文書データのうちの隠したい部分を隠して表示するものである。特許文献３に記載の技術は、文書データ中にマスクデータを挿入し、ディスプレイに表示された文書データの目的の位置にマスク掛けを行う。そして、当該マスクデータの変更を禁止して、マスクにパスワードを設定する。パスワードを入力すればマスクが解除されるものである。 Further, the technique described in Patent Document 3 hides and displays a portion of document data on a computer display to be hidden. The technique described in Patent Document 3 inserts mask data into document data and masks the target position of the document data displayed on the display. Then, the change of the mask data is prohibited and a password is set in the mask. Entering a password will remove the mask.
しかしながら、特許文献１に記載の技術では、複数カメラを使用し、カメラによって撮影された画像に基づいてパネル上にタッチされたタッチイメージのそれぞれの座標を計算する。そのため、表示装置には複数のカメラが必要であるという問題がある。
However, in the technique described in
また、個人情報等をタッチパネルに表示する場合、特許文献２に記載の技術では、個人情報がオブジェクトとは離れた位置に表示されるため、他人に個人情報が閲覧される恐れがあるという問題がある。
In addition, when displaying personal information or the like on a touch panel, the technique described in
また、特許文献３に記載の技術では、マスクされ表示された情報のマスクを解除する際に、パスワードを用いて解除しなければならず、処理が面倒であるという問題がある。 In addition, the technique described in Patent Document 3 has a problem in that when a masked and displayed information is cancelled, it must be canceled using a password, and the processing is troublesome.
本発明においては、顧客の個人情報を、他人に閲覧され難いように表示する表示装置を提供することを目的とする。 An object of the present invention is to provide a display device that displays customer personal information so that it is difficult for others to view.
本発明にかかる表示装置は、マルチタッチ認識機能を有し、ユーザの手が表示パネルに接触した際に、接触部分を検出した形状に基づいて特定した表示領域のマスク処理を解除し、接触部分を検出している間はマスク処理の解除を継続し、接触部分を検出しなくなるとマスク処理を再開する表示装置であって、形状は、ユーザの手の甲の側面とそれに連なる小指の側面の接触によって形成されるものであり、マスク処理を行っている際には、顧客の個人情報の項目のみを表示し、マスク処理を解除した際には、特定した表示領域にある顧客の個人情報を表示するものである。 The display device according to the present invention has a multi-touch recognition function, and when the user's hand touches the display panel, cancels the masking process of the display area specified based on the shape in which the contact portion is detected, and the contact portion Is a display device that continues to cancel the mask processing while detecting the contact, and resumes the mask processing when the contact portion is no longer detected, and the shape is determined by the contact between the side of the back of the user's hand and the side of the little finger When the mask process is being performed, only the customer personal information items are displayed. When the mask process is canceled, the customer personal information in the specified display area is displayed. Is.
本発明によれば、顧客の個人情報を、他人に閲覧され難いように表示する表示装置を提供することができる。 ADVANTAGE OF THE INVENTION According to this invention, the display apparatus which displays a customer's personal information so that it is hard to be browsed by others can be provided.
実施の形態１
以下、図面を参照して本発明の実施の形態について説明する。説明の明確化のため、以下の記載及び図面は、適宜、省略及び簡略化がなされている。また、様々な処理を行う機能ブロックとして図面に記載される各要素は、ハードウェア的には、ＣＰＵ（Central Processing Unit）、メモリ、その他の回路で構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。また、以下の図面に示す各装置の構成は、例えば記憶装置に読み込まれたプログラムをコンピュータ（ＰＣ（personal computer）や携帯端末装置等）上で実行することにより実現される。
Embodiments of the present invention will be described below with reference to the drawings. For clarity of explanation, the following description and drawings are omitted and simplified as appropriate. In addition, each element described in the drawings as a functional block for performing various processes can be configured by a CPU (Central Processing Unit), a memory, and other circuits in terms of hardware. This is realized by a program loaded on the computer. Therefore, it is understood by those skilled in the art that these functional blocks can be realized in various forms by hardware only, software only, or a combination thereof, and is not limited to any one. The configuration of each device shown in the following drawings is realized by executing a program read into a storage device on a computer (PC (personal computer), portable terminal device, etc.), for example.
また、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。 The program can be stored using various types of non-transitory computer readable media and supplied to a computer. Non-transitory computer readable media include various types of tangible storage media. Examples of non-transitory computer-readable media include magnetic recording media (for example, flexible disks, magnetic tapes, hard disk drives), magneto-optical recording media (for example, magneto-optical disks), CD-ROMs (Read Only Memory), CD-Rs, CD-R / W, semiconductor memory (for example, mask ROM, PROM (Programmable ROM), EPROM (Erasable PROM), flash ROM, RAM (Random Access Memory)) are included. The program may also be supplied to the computer by various types of transitory computer readable media. Examples of transitory computer readable media include electrical signals, optical signals, and electromagnetic waves. The temporary computer-readable medium can supply the program to the computer via a wired communication path such as an electric wire and an optical fiber, or a wireless communication path.
図１は、本実施の形態にかかる表示装置１の概要を示す図である。本実施の形態にかかる表示装置１は、表示パネル２と、カメラ３と、領域算出部４と、表示部５とを有する。
FIG. 1 is a diagram showing an outline of a
本実施の形態にかかる表示装置は、マルチタッチ認識機能を有する表示装置において、ユーザが表示パネル２に接触した際に、接触部分を検出した形状に基づいて特定した表示領域のマスク処理を解除するものである。表示装置１は、透光性の表示パネル２の、ユーザがタッチする側とは反対側である背面側から、表示パネル２のユーザの接触部分に形成される影をカメラ３により撮影する。カメラ３が撮影した撮影画像を解析して、ユーザが表示パネルに接触したことを示すマルチタッチを検出し、ユーザが表示パネル２に接触した接触部分の形状を検出する。この検出した接触部分の形状の検出結果に基づき、表示パネル２のマスク処理を解除して情報表示する表示領域を算出する。そして、算出結果に基づき、表示パネル２の表示領域のマスク処理を解除し、情報を表示する。ここで、マスク処理を解除する表示領域は、ユーザが手を略くの字型にして表示パネルに接触させた当該接触部分（手の甲の側面とそれに連なる小指の側面が接触する部分）を円弧として、当該円弧の内側にある中心角を９０度とした略扇形である。
In the display device according to the present embodiment, when the user touches the
本実施の形態においては、タッチパネル上で、情報をユーザである顧客の略くの字型の手の中に表示することができる。これにより、顧客の個人情報を端末上に表示し、尚且つ周囲にはその情報を隠すことができる表示装置を提供することができる。 In the present embodiment, information can be displayed in the abbreviated hand of the customer who is the user on the touch panel. Accordingly, it is possible to provide a display device that can display the customer's personal information on the terminal and hide the information in the vicinity.
本実施の形態にかかる表示装置１について、さらに詳細に説明する。図２は、図１の表示装置１を詳細に示す図である。表示端末１は、表示パネル１０と、ＵＳＢカメラ１１と、領域算出部としてのＣＰＵ１２、メモリ１３、及びグラフィックカード１４と、表示部としてのプロジェクタ１５とを有する。ここで、図１の表示パネル１は、図２の表示パネル１０で、図１のカメラ３は図２のＵＳＢカメラ１１で構成される。また、図２の表示領域算出部４は図２のＵＳＢ１２、メモリ１３及びグラフィックカード１４で構成され、図１の表示部５は、図２のプロジェクタ１５で構成されている。表示装置１は、例えばネットワークを通じて、顧客のデータを有するサーバと接続され、表示パネルから入力された指示に従い、サーバから取得した顧客の個人情報等を表示するものである。表示パネル１０は、透光性のスクリーンで覆われており、プロジェクタ１０Ｅからの映像を表示する。ユーザである顧客及び従業員は、表示パネル１０に表示されているアプリケーション上でタッチ操作を行う。ここで、表示パネル１０は半透明であると更に望ましい。本実施の形態では、表示パネル１０は半透明である。また、表示パネル１０は、床面に水平に設置されているものとして説明する。
The
ＵＳＢカメラ１１は、表示パネル１０のユーザがタッチする側とは反対側である背面側に設置され、前記表示パネルのユーザの接触部分に形成される影を撮影する。本実施の形態においては、水平に設置された表示パネル１０の下にレンズ部分を上向きにして設置され、ユーザである従業員および顧客の手の影を撮影する。ＵＳＢカメラ１１は、撮影した映像をＣＰＵ１２に送信する。
The
ＣＰＵ１２は、メモリ１３及びグラフィックカード１４を制御する。メモリ１３は、情報隠蔽方法を実装したアプリケーションを格納している。
The
ＣＰＵ１２は、ＵＳＢカメラ１１からの画像をグラフィックカード１４に渡す。グラフィックカード１４は、不図示であるＧＰＵ（Graphic Processing Unit）とＶＲＡＭ（Video Random Access Memory）を持つ。ＧＰＵは、ＵＳＢカメラ１１から送られてくる画像処理し、ＶＲＡＭはＧＰＵが処理したデータを蓄える。グラフィックカード１４は、処理結果をプロジェクタ１５に出力する。
The
グラフィックカード１４は、撮影画像を左右反転して二値化し、ユーザの接触部分の座標を検出する。そして、当該接触部分の座標の示す形状が略円弧である場合、接触部分として検出する。この際、表示パネル１０の表示は、一部を除いてマスク処理されている。
The
また、本実施の形態において、ユーザが表示パネル１０に接触した場合、グラフィックカード１４は、接触部分を検出する。そして、検出された接触部分に応じた表示領域を算出する。さらに、表示領域毎に異なる情報を表示する。
Moreover, in this Embodiment, when a user contacts the
プロジェクタ１５は、ＣＰＵ１２から送られてきた情報に従い、情報を表示パネル１０に映し出す。
The
表示装置１について更に説明する。図３は、表示装置１を示す図である。手２０は、ユーザである顧客または従業員の手である。顧客または従業員は、アプリケーションによって接客端末の表示パネルに映し出される画面をタッチ操作する。
The
マスク処理適用領域２１は、接客端末１０の表示パネル上において、マスク処理が適用される範囲を示している。表示装置１は、手２０によって覆われた（影になった）周辺のマスク処理を解除する。これにより、他人に閲覧されずに、情報を表示することができる。
The mask
次に、図４乃至図８を用いて、本実施の形態にかかる表示装置１の動作について説明する。図４は、本実施の形態にかかる表示装置１の動作を示すフローチャートである。
Next, the operation of the
まず、表示装置１の表示パネル１０上に、顧客の個人情報は項目のみが表示される（ステップＳ１）。この際、個人情報はマスクされている。図５は、マスクされた状態の表示パネル１０を示す図である。
First, only items of customer personal information are displayed on the
次に、従業員が表示パネル１０上に手をかざす。ＵＳＢカメラ１１は、表示パネル１０の映像を画像として取りこむ（ステップＳ２）。ここで、取り込んだ画像は、表示パネル上で操作している者から見ると、左右が反転したものになっている。そのため、マスク加工処理を行う際のことを考慮し、ＵＳＢカメラ１１は、取り込んだ画像の左右を反転させる。表示パネルに手２０が近ければ近いほど影は濃くなるため、取り込んだ画像では、接触部分付近はより黒く表示される。
Next, the employee holds his / her hand over the
次に、ＵＳＢカメラ１１は、取り込んだ画像をＣＰＵ１２に出力し、ＣＰＵ１２は、出力された画像をグラフィックカード１４に出力する。グラフィックカード１４は、取り込んだ画像を２５６階調（０〜２５５）のグレースケール画像へ変換する（ステップＳ３）。これによって、何も接触していない領域は黒領域となり、何か接触している領域は白領域となる。
Next, the
次に、グラフィックカード１４は、ステップＳ３でグレースケール変換を行った画像において、閾値を６０とし、グラフィックカード１０Ｄは、輝度が６０以下である部分の画素を白色、輝度が６１以上である部分の画素を黒色に変換し、２値化する（ステップＳ４）。画素とは、画面を構成する最小単位である。
Next, the
次に、グラフィックカード１４は、黒色と白色の２値画像に変換されたものに伸縮処理・膨張処理を加え、面積が５画素以下の白領域をノイズとしてみなし、除去する（ステップＳ５）。そして、ステップＳ４で抽出した画像より、残っている白領域のうち所定の長さ以下のもの（例えば１０ｃｍ）以下のものは、手の影ではないと判定し、消去する（ステップＳ６）。白領域の長さは、一方の端から他方の端まで領域の中心に沿って何点かプロットし、それらの長さを合算して求める。
Next, the
次に、グラフィックカード１４は、残った白領域の座標を計算し、円弧になっている部分があれば、その白領域は手が表示パネルに触れている部分であると判定する（ステップＳ７）。図６は手と判定されたときの画像を示す図である。２５は、表示パネルに触れていると判定された手の形状（手の甲の側面とそれに連なる小指の側面が接触した部分）を表している。なお、図６では、白領域の外縁部のみ、何点かのポイントを選んで表示しているが、実際は、白領域の全域にわたって画素の分だけポイントが存在している。
Next, the
本実施の形態では、白領域が所定の長さ以下のものは手の影ではないと判定し、次に白領域が円弧の形状をしているか否かの判定をしているが、形状の判定の後に長さの判定を行うようにしてもよい。 In the present embodiment, it is determined that a white region having a predetermined length or less is not a hand shadow, and then it is determined whether or not the white region has an arc shape. The length may be determined after the determination.
ここで、白領域が円弧になっているか否かの判定方法を説明する。まず、グラフィックカード１０Ｄは、白領域の座標を取得する。図７は、白領域が円弧であるかを判定するために必要な３点を説明するための図である。
（１）取得した白領域の座標の中から、白領域の一方の端の座標、白領域の他方の端の座標を取得し、それぞれを点Ａ、点Ｃとする。点Ａと点Ｃ間をつないで直線とし、この直線から最も遠い点をＢとする。ここで、ベクトルａは点Ｂから点Ａへのベクトルであり、ベクトルｂは点Ｂから点Ｃへのベクトルである。またθは∠Ｂの角度を示す。
（２）Ａ、Ｂ、Ｃの３点からなる三角形において、内積を使用し、∠Ｂの角度θを求める。図８は、白領域が円弧であるかを判定する方法を説明するための図である。
Here, a method for determining whether or not the white area is an arc will be described. First, the graphic card 10D acquires the coordinates of the white area. FIG. 7 is a diagram for explaining three points necessary for determining whether the white region is an arc.
(1) From the coordinates of the acquired white area, the coordinates of one end of the white area and the coordinates of the other end of the white area are acquired, and these are designated as point A and point C, respectively. A point A and a point C are connected to form a straight line, and a point farthest from the straight line is defined as B. Here, the vector a is a vector from the point B to the point A, and the vector b is a vector from the point B to the point C. Θ represents the angle of ∠B.
(2) In a triangle composed of three points A, B, and C, the inner product is used to determine the angle θ of ∠B. FIG. 8 is a diagram for explaining a method of determining whether the white area is an arc.
ここで、図１０において、ここで、ベクトルａ及びベクトルｂを以下のように定める。
（３）点Ｂにおける角度θが９０度より大きく、１８０度より小さければ、白領域の部分は円弧であると判定する。
上記は、右手をかざした場合であるが、左手をかざした場合も同様にして判定することができる。
Here, in FIG. 10, the vector a and the vector b are defined as follows.
(3) If the angle θ at the point B is larger than 90 degrees and smaller than 180 degrees, it is determined that the white area portion is a circular arc.
The above is a case where the right hand is held up, but the determination can be made in the same manner when the left hand is held up.
ＣＰＵ１２は、ステップＳ７で円弧であると判定された場合、マスク処理を除去し、個人情報を表示する（ステップＳ８）。図９は、左手を表示パネル１０にかざした場合に、マスクが外された後の表示を示す図である。手２６は、表示パネル１０と左の手の接触部分を示す。左手で表示パネル１０に接触した場合、表示パネル１０は、タッチを検出した箇所である手２６の、ユーザから見て最も右の座標をもつＡ点から垂直に下におろした線、及び最もユーザ側に近い点であるＢ点から水平方向右側に引いた線で囲まれる略扇形の範囲を、マスク処理を解除する表示領域とする。そして、この表示領域にあるマスクを外す。
When it is determined in step S7 that the arc is a circular arc, the
図１０は、右手を表示パネル１０にかざした場合に、マスクが外された後の表示を示す図である。手２７は、表示パネル１０と左の手の接触部分を示す。右手で表示パネル１０に接触した場合、表示パネル１０は、タッチを検出した箇所である手２６の、ユーザから見て最も左の座標をもつＡ点から垂直に下におろした線、及び最もユーザ側に近い点であるＢ点から水平方向左側に引いた線で囲まれる範囲を、マスク処理を解除する表示領域とする。そして、この表示領域にあるマスクを外す。
FIG. 10 is a diagram showing a display after the mask is removed when the right hand is held over the
左右どちらの手の場合であっても、手が画面から離れ、接触部を検出しなくなると、マスク処理の解除を止めて、表示のマスクを再開する。（ステップＳ９、Ｓ１０）
従来の接客端末では、顧客の個人情報を接客端末上に表示することができず、顧客情報の確認までに手間が発生していた。本実施の形態にかかる表示装置１は、顧客と従業員が接客端末上で同時に顧客情報の確認ができる。そのため、接客時間の短時間化が期待でき、従来よりもスムーズな接客を行うことが可能となる。
Regardless of the left or right hand, when the hand leaves the screen and the contact portion is no longer detected, the mask processing is stopped and the display mask is resumed. (Steps S9 and S10)
In the conventional customer service terminal, customer personal information cannot be displayed on the customer service terminal, and it takes time to confirm the customer information. In the
実施の形態２
本実施の形態は、実施の形態１がマルチタッチ認識によって検出する形状が略円弧（略くの字型）であるのに対して、マルチタッチ認識よって検出する形状が縦の略直線である点が異なる。表示装置は、実施の形態１にかかる表示装置と構成は同じであるので、構成についての説明は省略する。本実施の形態では、ユーザつまり顧客が表示パネル１０に触れた略直線に基づく範囲のマスク処理を解除して情報を表示する。本実施の形態では、表示領域算出部４は、接触部分の形状が略直線である場合、当該接触部分を一辺とした略長方形を表示領域として算出する。
In the present embodiment, the shape detected by multi-touch recognition in the first embodiment is a substantially arc (substantially square shape), whereas the shape detected by multi-touch recognition is a substantially vertical straight line. Is different. Since the display device has the same configuration as that of the display device according to the first embodiment, description of the configuration is omitted. In the present embodiment, information is displayed by canceling the mask processing in a range based on a substantially straight line that the user, that is, the customer touches the
図１２の手２８及び２９は、顧客が指をまっすぐにのばした状態で画面に触れた際に、接触を検出した点を示す。図１２（ａ）は、表示画面の左端に近いところに左手を触れ、接触を検出した箇所を示し、図１２（ｂ）は、表示画面の右端に近いところに右手を触れ、接触を検出した箇所を示す。
本実施の形態にかかる表示領域の検出方法について、更に詳しく説明する。
手が指を伸ばして真っ直ぐに表示パネル上に置かれているかどうかの判定方法を、図１１を用いて説明する。
（１）取得した白領域の座標の中から、一方の端で最もｘ軸の座標値が小さい座標と、他方の端で最もｘ軸の座標値が小さい座標を取得し、それぞれ点Ｄ、点Ｅとし、ＤＥ間に直線を引く。
（２） （１）で引いた直線から最も距離のある座標を取得し、点Ｆとする。
（３）点Ｆと直線との距離が所定の長さ（例えば２ｃｍ）以内、即ち略直線であれば、手が表示パネル上に真っすぐな状態で置かれていると判定する。なお、直線ＤＥは、ｙ軸に対して平行である必要はなく、傾きを持っていてもよく、例えば、ｙ軸に対して＋４５度、−４５度の傾きの範囲にあればよい。
The display area detection method according to the present embodiment will be described in more detail.
A method for determining whether or not the hand is placed straight on the display panel with a finger extended will be described with reference to FIG.
(1) From the acquired coordinates of the white area, obtain the coordinates with the smallest x-axis coordinate value at one end and the coordinates with the smallest x-axis coordinate value at the other end. Let E be a straight line between DE.
(2) The coordinates having the longest distance from the straight line drawn in (1) are acquired and set as a point F.
(3) If the distance between the point F and the straight line is within a predetermined length (for example, 2 cm), that is, approximately a straight line, it is determined that the hand is placed straight on the display panel. The straight line DE does not need to be parallel to the y axis and may have an inclination. For example, it may be in a range of inclinations of +45 degrees and −45 degrees with respect to the y axis.
図１２（ａ）は、左手が、表示パネル上に、手が指を伸ばして真っ直ぐに置かれた場合を示す図である。
（４）点Ｇと点Ｈの距離となる直線Ｚの長さが所定の長さ（例えば１０ｃｍ）以上であれば、手が置かれていると判定する。長さは、一方の端から他方の端まで領域の中心に沿って何点かプロットし、それらの長さを合算して求める。そして、直線Ｚに対して水平方向の領域（領域２８、点Ｇから水平に伸ばした線、および点Ｈから水平に伸ばした線で囲まれた領域）のマスクを解除する。図１２（ａ）では、領域２８から右に直線を伸ばしているが、これは、左手を、表示パネルの左端に近いところにおいた場合を想定している。手が、表示パネルの中心より左側におかれていれば、領域２８の右側の領域のマスクを除去し、表示パネルの中心より右側におかれていれば、領域２８の左側の領域のマスクを除去する。なお、（３）の略直線か否かの判定と、（４）の所定の長さ以上であるか否かの判定は、（４）の長さの判定をしてから（３）の略直線の判定をするようにしてもよい。
FIG. 12A is a diagram illustrating a case where the left hand is placed straight on the display panel with the hand extending a finger.
(4) If the length of the straight line Z that is the distance between the point G and the point H is equal to or longer than a predetermined length (for example, 10 cm), it is determined that the hand is placed. The length is obtained by plotting several points along the center of the region from one end to the other end and adding the lengths. Then, the mask of the region in the horizontal direction with respect to the straight line Z (
図１２（ｂ）は、右手が、表示パネル上に、手が指を伸ばして真っ直ぐに置かれた場合を示す図である。このとき、点Ｉと点Ｊの距離となる直線Ｚ'の長さが所定の長さ（例えば１０ｃｍ）以上であれば、手が置かれていると判定し、直線Ｚ'に対して水平方向の領域（領域２９、点Ｉから水平に伸ばした線、および点Ｊから水平に伸ばした線で囲まれた領域）のマスクを解除する。図１２（ｂ）では、領域２９から左に直線を伸ばしているが、これは、右手を、表示パネルの右端に近いところにおいた場合を想定している。手が、表示パネルの中心より左側におかれていれば、領域２９の右側の領域のマスクを除去し、表示パネルの中心より右側におかれていれば、領域２９の左側の領域のマスクを除去する。
マスク処理解除後、表示パネル上から手が離されたら、マスク解除処理を行った部分に再びマスク処理を実施し、個人情報を隠す。
FIG. 12B is a diagram showing a case where the right hand is placed straight on the display panel with the hand extending a finger. At this time, if the length of the straight line Z ′ that is the distance between the point I and the point J is equal to or longer than a predetermined length (for example, 10 cm), it is determined that the hand is placed, and the horizontal direction with respect to the straight line Z ′ The mask of the region (
After the mask process is released, when the hand is released from the display panel, the mask process is performed again on the part where the mask release process has been performed to hide the personal information.
なお、マルチタッチを認識する装置は、上記の実施の形態１，２に記載のものには限定されず、赤外線イメージセンサー方式、抵抗膜方式、静電容量方式等の方式によってマルチタッチを認識できるものであればよい。 The device for recognizing multi-touch is not limited to those described in the first and second embodiments, and can recognize multi-touch by a method such as an infrared image sensor method, a resistance film method, a capacitance method, or the like. Anything is acceptable.
本実施の形態１及び２においては、今までにない新しいインタフェースを端末に実装することで、顧客に、端末を見てみたい又は触れてみたいといった感想を持ってもらえる可能性があり、端末からも顧客に対して店舗アピールができる。 In the first and second embodiments, by installing a new interface that has never existed in the terminal, there is a possibility that the customer may have an impression of wanting to see or touch the terminal. Store appeal to customers.
従来では、マルチタッチを利用したインタフェースと言えば、２本の指を同時に使用した画像の拡大・縮小・回転や、程度であり、また、従来、マルチタッチに対応していないタッチパネルも存在し、効果的なインタフェースを提供しているとは言いがたかった。本実施の形態にかかる表示装置１では、複数の接触の同時認識をすることが可能であり、そのため、顧客により訴求力のあるインタフェースを持つアプリケーションを搭載した接客端末を提供することができる。
Conventionally, speaking of an interface using multi-touch, it is the degree of enlargement / reduction / rotation of an image using two fingers simultaneously, and there is a touch panel that does not support multi-touch, It was hard to say that it provides an effective interface. In the
本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、ＵＳＢカメラ１１から取り込んだ画像を常に処理し続けるため、表示装置は高い画像処理能力を必要とする。そのため、接客端末はＧＰＵとＶＲＡＭを持つグラフィックカードを持つようにしている。ここで、グラフィックカードではなく、マザーボードのチップセットに搭載されているグラフィック機能を使用すれば、画像処理・表示に遅延が発生するなど画像処理能力は下がってしまうが、より安価な値段で端末を提供することができる。
The present invention is not limited to the above-described embodiment, and can be changed as appropriate without departing from the spirit of the present invention. For example, in order to continuously process images captured from the
（付記１）
マルチタッチ認識機能を有する表示装置において、ユーザが表示パネルに接触した際に、接触部分を検出した形状に基づいて特定した表示領域のマスク処理を解除することを特徴とする表示装置。
（付記２）
前記接触を検出した前記形状が略くの字形である場合、前記表示領域は前記略くの字を円弧として、当該円弧の内側にある中心角を９０度とする扇形であることを特徴とする表示装置。
（付記３）
前記接触を検出した前記形状は略直線である場合、前記表示領域は略直線を含む四角形であることを特徴とする表示装置。
（付記４）
透光性の表示パネルと、
前記表示パネルのユーザがタッチする側とは反対側である背面側に設置され、前記表示パネルのユーザの接触部分に形成される影を撮影するカメラと、
前記カメラが撮影した撮影画像を解析して、ユーザが前記表示パネルに接触した前記接触部分の形状を検出して、前記検出した前記接触部分の形状に基づき、前記表示パネル上で情報を表示する領域を算出する領域算出部と、
前記パネルに情報が表示されないようにマスク処理し、前記領域算出部が算出した前記表示領域のみマスク処理を外して情報を表示させる表示部とを有する表示装置。
（付記５）
前記領域算出部は、前記接触部分の形状が略くの字である場合、当該接触部分を円弧として、当該円弧の内側にある中心角を９０度とした略扇形を前記表示領域として算出する付記４記載の表示装置。
（付記６）
前記領域算出部は、前記接触領部分の形状が略直線である場合、当該接触部分を一辺とした略長方形を前記表示領域として算出する付記４記載の表示装置。
（付記７）
前記表示部は、前記表示領域にユーザの個人情報を表示する付記４乃至６のうちいずれか１項記載の表示装置。
（付記８）
前記表示パネルは半透明である付記４乃至７のいずれか１項記載の表示装置。
（付記９）
前記検出部は、前記撮影画像を左右反転して二値化し、ユーザの接触部分の座標を検出する付記４乃至８のいずれか１項記載の表示装置。
（付記１０）
マルチタッチ認識機能を有する表示装置において、ユーザが表示パネルに接触した際に、接触部分を検出した形状に基づいて特定した表示領域のマスク処理を解除することを特徴とする表示装置の表示方法。
（付記１１）
前記接触を検出した前記形状が略くの字形である場合、前記表示領域は前記略くの字を円弧として、当該円弧の内側にある中心角を９０度とする扇形であることを特徴とする表示装置の表示方法。
（付記１２）
前記接触を検出した前記形状は略直線である場合、前記表示領域は略直線を含む四角形であることを特徴とする表示装置の表示方法。
（付記１３）
カメラにより、表示パネルのユーザがタッチする側とは反対側である背面側に設置され、前記表示パネルのユーザの接触部分に形成される影を撮影し、
前記カメラが撮影した撮影画像を解析して、ユーザが前記表示パネルに接触した前記接触部分の形状を検出し、
前記検出した前記接触部分の形状に基づき、前記表示パネル上で情報を表示する領域を算出し、
前記パネルに情報が表示されないようにマスク処理した前記表示パネルに前記領域算出部が算出した前記表示領域のみマスク処理を外して情報を表示させる表示装置の制御方法。
（付記１４）
前記表示領域を算出する際、前記接触部分の形状が略くの字である場合、当該接触部分を円弧として、当該円弧の内側にある中心角を９０度とした略扇形を前記表示領域として算出する付記１３記載の表示装置の制御方法。
（付記１５）
前記表示領域を算出する際、前記接触領部分の形状が略直線である場合、当該接触部分を一辺とした略長方形を前記表示領域として算出する付記１３記載の表示装置の制御方法。
（付記１６）
前記表示パネルに情報を表示する際、前記表示領域にユーザの個人情報を表示する付記１３乃至１５のうちいずれか１項記載の表示装置の制御方法。
（付記１７）
前記接触部分を検出する際、前記撮影画像を左右反転して二値化し、ユーザの接触部分の座標を検出する付記１３乃至１６のいずれか１項記載の表示装置の制御方法。
（付記１８）
マルチタッチ認識機能を有する表示装置において、ユーザが表示パネルに接触した際に、接触部分を検出した形状に基づいて特定した表示領域のマスク処理を解除する処理をコンピュータに実行させることを特徴とする表示装置の制御プログラム。
（付記１９）
カメラにより、表示パネルのユーザがタッチする側とは反対側である背面側に設置され、前記表示パネルのユーザの接触部分に形成される影を撮影し、
前記カメラが撮影した撮影画像を解析して、ユーザが前記表示パネルに接触した前記接触部分の形状を検出し、
前記検出したそれぞれの前記接触部分の形状に基づき、前記表示パネル上で情報を表示する領域を算出し、
前記パネルに情報が表示されないようにマスク処理した前記表示パネルに前記領域算出部が算出した前記表示領域のみマスク処理を外して情報を表示させる処理をコンピュータに実行させる表示装置の制御プログラム。
(Appendix 1)
A display device having a multi-touch recognition function, wherein when a user touches a display panel, the mask processing of a display area specified based on a shape in which a contact portion is detected is canceled.
(Appendix 2)
When the shape where the contact is detected is a substantially square shape, the display area is a sector shape having the substantially square shape as an arc and a central angle inside the arc of 90 degrees. Display device.
(Appendix 3)
When the shape where the contact is detected is a substantially straight line, the display area is a quadrangle including the substantially straight line.
(Appendix 4)
A translucent display panel;
A camera that is installed on a back side opposite to a side touched by a user of the display panel, and shoots a shadow formed on a contact portion of the user of the display panel;
The photographed image photographed by the camera is analyzed, the shape of the contact portion that the user has touched the display panel is detected, and information is displayed on the display panel based on the detected shape of the contact portion. An area calculation unit for calculating an area;
And a display unit that performs mask processing so that information is not displayed on the panel, and displays the information by removing the mask processing only for the display region calculated by the region calculation unit.
(Appendix 5)
If the shape of the contact portion is substantially a letter, the region calculation unit calculates a substantially sector shape with the contact portion as an arc and a central angle inside the arc of 90 degrees as the display region. 4. The display device according to 4.
(Appendix 6)
The display device according to claim 4, wherein, when the shape of the contact area is a substantially straight line, the area calculation unit calculates a substantially rectangular shape having the contact area as one side as the display area.
(Appendix 7)
The display device according to any one of supplementary notes 4 to 6, wherein the display unit displays personal information of the user in the display area.
(Appendix 8)
The display device according to any one of appendices 4 to 7, wherein the display panel is translucent.
(Appendix 9)
The display device according to any one of appendices 4 to 8, wherein the detection unit binarizes the captured image by laterally reversing and detects the coordinates of the contact portion of the user.
(Appendix 10)
A display device having a multi-touch recognition function, wherein when a user touches a display panel, a masking process of a display area specified based on a shape in which a contact portion is detected is canceled.
(Appendix 11)
When the shape where the contact is detected is a substantially square shape, the display area is a sector shape having the substantially square shape as an arc and a central angle inside the arc of 90 degrees. Display method of the display device.
(Appendix 12)
The display method of a display device, wherein the display area is a quadrangle including a substantially straight line when the shape where the contact is detected is a substantially straight line.
(Appendix 13)
The camera is installed on the back side opposite to the side touched by the user of the display panel, and the shadow formed on the contact portion of the user of the display panel is photographed.
Analyzing the captured image captured by the camera, detecting the shape of the contact portion where the user has contacted the display panel,
Based on the detected shape of the contact portion, a region for displaying information on the display panel is calculated,
A control method for a display device, wherein only the display area calculated by the area calculation unit is removed from the display panel and masked so that information is not displayed on the panel, and information is displayed.
(Appendix 14)
When calculating the display area, if the shape of the contact portion is substantially square, calculate the approximate fan shape with the contact portion as an arc and a central angle inside the arc of 90 degrees as the display area. The control method of the display apparatus of
(Appendix 15)
14. The display device control method according to
(Appendix 16)
16. The display device control method according to any one of
(Appendix 17)
17. The method of controlling a display device according to any one of
(Appendix 18)
In a display device having a multi-touch recognition function, when a user touches a display panel, a computer is caused to execute processing for canceling mask processing of a display area specified based on a shape in which a contact portion is detected. Display device control program.
(Appendix 19)
The camera is installed on the back side opposite to the side touched by the user of the display panel, and the shadow formed on the contact portion of the user of the display panel is photographed.
Analyzing the captured image captured by the camera, detecting the shape of the contact portion where the user has contacted the display panel,
Based on the shape of each of the detected contact portions, calculate an area for displaying information on the display panel;
A control program for a display device that causes a computer to execute a process of removing information from the display area calculated by the area calculation unit and displaying information on the display panel masked so that information is not displayed on the panel.
１ 表示装置
２ 表示パネル
３ カメラ
４ 領域算出部
５ 表示部
１０ 表示パネル
１１ ＵＳＢカメラ
１２ ＣＰＵ
１３ メモリ
１４ グラフィックカード
１５ プロジェクタ
２０ 手
２１ マスク処理適用領域
２５ 手
２６ 手
２７ 手
２８ 手
２９ 手
DESCRIPTION OF
13
Claims (7)
前記形状は、ユーザの手の甲の側面とそれに連なる小指の側面の接触によって形成されるものであり、
前記マスク処理を行っている際には、顧客の個人情報の項目のみを表示し、前記マスク処理を解除した際には、前記特定した表示領域にある顧客の個人情報を表示することを特徴とする表示装置。 While having a multi-touch recognition function, when the user's hand touches the display panel, the mask processing of the display area specified based on the shape in which the contact portion is detected is canceled, and while the contact portion is detected, A display device that continues to cancel mask processing and resumes mask processing when the contact portion is no longer detected,
The shape is formed by the contact between the side of the back of the user's hand and the side of the little finger connected to the back,
When performing the masking process, only the item of the customer's personal information is displayed, and when releasing the masking process, the customer's personal information in the specified display area is displayed. Display device.
前記表示パネルのユーザがタッチする側とは反対側である背面側に設置され、前記表示パネルのユーザの接触部分に形成される影を撮影するカメラと、
前記カメラが撮影した撮影画像を解析して、ユーザの手が前記表示パネルに接触した前記接触部分の形状を検出して、前記検出した前記接触部分の形状に基づき、前記表示パネル上で情報を表示する領域を算出する領域算出部と、
前記パネルに情報が表示されないようにマスク処理し、前記領域算出部が算出した前記表示領域のみマスク処理を解除して情報を表示させる表示部と、を有し、前記接触部分を検出している間はマスク処理の解除を継続し、前記接触部分を検出しなくなるとマスク処理を再開する表示装置であって、
前記形状は、ユーザの手の甲の側面とそれに連なる小指の側面の接触によって形成されるものであり、
前記マスク処理を行っている際には、顧客の個人情報の項目のみを表示し、前記マスク処理を解除した際には、前記特定した表示領域にある顧客の個人情報を表示することを特徴とする表示装置。 A translucent display panel;
A camera that is installed on a back side opposite to a side touched by a user of the display panel, and shoots a shadow formed on a contact portion of the user of the display panel;
The photographed image taken by the camera is analyzed to detect the shape of the contact portion where the user's hand has touched the display panel, and information is displayed on the display panel based on the detected shape of the contact portion. An area calculation unit for calculating an area to be displayed;
A display unit that performs mask processing so that information is not displayed on the panel, and cancels mask processing only on the display region calculated by the region calculation unit to display information, and detects the contact portion. A display device that continues the cancellation of the mask process during the interval and resumes the mask process when the contact portion is no longer detected,
The shape is formed by the contact between the side of the back of the user's hand and the side of the little finger connected to the back,
When performing the masking process, only the item of the customer's personal information is displayed, and when releasing the masking process, the customer's personal information in the specified display area is displayed. Display device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013115706A JP5455277B2 (en) | 2013-05-31 | 2013-05-31 | Display device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013115706A JP5455277B2 (en) | 2013-05-31 | 2013-05-31 | Display device |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010162631A Division JP5339464B2 (en) | 2010-07-20 | 2010-07-20 | Display device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2013164881A JP2013164881A (en) | 2013-08-22 |
| JP5455277B2 true JP5455277B2 (en) | 2014-03-26 |
Family
ID=49176144
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013115706A Active JP5455277B2 (en) | 2013-05-31 | 2013-05-31 | Display device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5455277B2 (en) |
-
2013
- 2013-05-31 JP JP2013115706A patent/JP5455277B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2013164881A (en) | 2013-08-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20190250714A1 (en) | Systems and methods for triggering actions based on touch-free gesture detection | |
| JP5201096B2 (en) | Interactive operation device | |
| JP5453246B2 (en) | Camera-based user input for compact devices | |
| JP6482196B2 (en) | Image processing apparatus, control method therefor, program, and storage medium | |
| US20160292525A1 (en) | Image analyzing apparatus and image analyzing method | |
| US20140237422A1 (en) | Interpretation of pressure based gesture | |
| US20190064931A1 (en) | Electronic device and method for controlling the electronic device | |
| JP2017539032A (en) | Fingerprint registration using touch sensor data | |
| US20140237401A1 (en) | Interpretation of a gesture on a touch sensing device | |
| US9916043B2 (en) | Information processing apparatus for recognizing user operation based on an image | |
| US9911230B2 (en) | Method and apparatus for controlling virtual monitor | |
| TW201346216A (en) | Virtual ruler | |
| JP5339464B2 (en) | Display device | |
| JP2017199289A (en) | Information processor, control method thereof, program, and storage medium | |
| US20150169134A1 (en) | Methods circuits apparatuses systems and associated computer executable code for providing projection based human machine interfaces | |
| JP7378354B2 (en) | Detecting finger presses from live video streams | |
| US20170228092A1 (en) | Touch region projection onto touch-sensitive surface | |
| CN105930070B (en) | Wearable electronic device and gesture detection method | |
| JP6229554B2 (en) | Detection apparatus and detection method | |
| US20160018917A1 (en) | Touch system, touch apparatus, and mobile device | |
| JP5455277B2 (en) | Display device | |
| US9377853B2 (en) | Information processing apparatus and information processing method | |
| US20160018924A1 (en) | Touch device and corresponding touch method | |
| US20210142098A1 (en) | Polygon detection device, polygon detection method, and polygon detecting program | |
| US10044904B2 (en) | Apparatus, image reading method, and storage medium for reading an image of a target object |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130531 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131210 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131210 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140106 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5455277 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |