JP5274507B2 - Touch motion recognition method and apparatus - Google Patents

Touch motion recognition method and apparatus Download PDF

Info

Publication number
JP5274507B2
JP5274507B2 JP2010097873A JP2010097873A JP5274507B2 JP 5274507 B2 JP5274507 B2 JP 5274507B2 JP 2010097873 A JP2010097873 A JP 2010097873A JP 2010097873 A JP2010097873 A JP 2010097873A JP 5274507 B2 JP5274507 B2 JP 5274507B2
Authority
JP
Japan
Prior art keywords
touch
touched
motion recognition
point
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010097873A
Other languages
Japanese (ja)
Other versions
JP2010262641A (en
Inventor
▲ジャ▼昇 具
載信 金
▲ミン▼▲ジュン▼ 李
熙▲チュル▼ ▲黄▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Display Co Ltd
Original Assignee
Samsung Display Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Display Co Ltd filed Critical Samsung Display Co Ltd
Publication of JP2010262641A publication Critical patent/JP2010262641A/en
Application granted granted Critical
Publication of JP5274507B2 publication Critical patent/JP5274507B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/04166—Details of scanning methods, e.g. sampling time, grouping of sub areas or time sharing with display driving
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10K—ORGANIC ELECTRIC SOLID-STATE DEVICES
    • H10K50/00—Organic light-emitting devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104—Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04106—Multi-sensing digitiser, i.e. digitiser using at least two different sensing technologies simultaneously or alternatively, e.g. for detecting pen and finger, for saving power or for improving position detection

Description

本発明は、タッチ動作認識方法及び装置に係り、さらに詳細には、光センサーを利用した情報入力機能を備えた表示装置において、物体のタッチ動作をさらに正確に認識できる方法及び装置に関する。   The present invention relates to a touch operation recognition method and apparatus, and more particularly, to a method and apparatus capable of more accurately recognizing an object touch operation in a display device having an information input function using an optical sensor.

一般的に、情報を認識させるディスプレイの機能は、単純に画面を鮮明に見せることに限定されていた。しかし、最近には、情報媒体を人間の手で直接タッチしながら情報を伝達したり習得したりする方式を多様に適用している。このような技術の一種として、タッチパネルディスプレイが、有用な技術として多様な方式を通じて具現されている。そのうち、タッチスクリーンパネル一体型液晶表示装置の製作技術が開発され、このようなタッチスクリーンパネル一体型液晶表示装置技術の応用範囲は、液晶表示パネル分野だけでなく、ディスプレイ全領域で適用されうる。特に、次世代ディスプレイ市場として注目されている有機発光ダイオード領域にも適用可能である。   In general, the function of the display for recognizing information is limited to simply displaying the screen clearly. Recently, however, various methods for transmitting and learning information while directly touching an information medium with a human hand have been applied. As one type of such a technique, a touch panel display is embodied through various methods as a useful technique. Among them, a technology for manufacturing a touch screen panel integrated liquid crystal display device has been developed, and the application range of such a touch screen panel integrated liquid crystal display device technology can be applied not only to the liquid crystal display panel field but also to the entire display area. In particular, the present invention can also be applied to the organic light-emitting diode region that is attracting attention as the next-generation display market.

光センサー方式のタッチパネルディスプレイ装置は、画素内に光センサーを配し、光によって画面で情報の入力を可能にしたものである。この種類の表示装置では、光センサーとして、例えば、フォトダイオードが利用され、各画素としては、フォトダイオードにキャパシタが接続される。そして、フォトダイオードでの受光量の変化によって、キャパシタの電荷量を変化させ、キャパシタの両端の電圧を検出することによって、撮像画像のデータを生成する。このような表示装置の応用として、タッチパネル機能やデジタイザー機能を備えたものが提案されている。タッチパネル機能は、画面上に投影された指などの物体が作る影を検出することによって、情報入力を行うことである。この場合、多様な画像認識アルゴリズムを通じて入力情報を認識しているが、画像認識アルゴリズムが複雑であり、かつ計算量が多く、ハードウェアに負担となる問題点がある。
また、光センサー方式のタッチパネルディスプレイ装置におけるタッチ動作、例えば、クリック、ダブルクリック、ドラッグにおける短所としては、実際に指を接触する前の影に対しても接触と誤認することによって、タッチ動作を正確に表せないという問題点があった。 An optical sensor type touch panel display device includes an optical sensor in a pixel, and enables information to be input on a screen by light. In this type of display device, for example, a photodiode is used as an optical sensor, and a capacitor is connected to the photodiode as each pixel. Then, the amount of charge of the capacitor is changed by changing the amount of light received by the photodiode, and the data of the captured image is generated by detecting the voltage across the capacitor. As an application of such a display device, one having a touch panel function and a digitizer function has been proposed. The touch panel function is to input information by detecting a shadow created by an object such as a finger projected on the screen. In this case, input information is recognized through various image recognition algorithms. However, the image recognition algorithm is complicated, the calculation amount is large, and there is a problem that the hardware is burdened.
In addition, the disadvantages of touch operations, such as clicks, double-clicks, and drags, on touch panel display devices using photosensors are that touch operations can be accurately detected by misinterpreting the shadow before touching the finger. There was a problem that could not be expressed.

本発明が解決しようとする課題は、光センサー方式の表示装置において、接触検出層を利用してタッチ如何を判断することによって、光センサー方式におけるタッチ動作を正確に認識できるタッチ動作認識方法及び装置を提供することである。   A problem to be solved by the present invention is a touch motion recognition method and device capable of accurately recognizing a touch motion in a photosensor system by determining whether or not a touch is detected using a touch detection layer in a photosensor system display device. Is to provide.

前記課題を達成するために、本発明の一実施態様による光センサーを利用した情報入力機能を備えた表示装置における、タッチした物体のタッチ動作を認識する方法は、前記表示装置に備えられた接触検出層での物体のタッチ如何を感知するステップと、前記物体のタッチが行われた場合、前記光センサーを駆動させるセンサースキャン信号を出力するように制御するステップと、前記光センサーが感知したセンサー信号から前記物体のイメージを生成し、前記物体イメージからタッチポイントを検出するステップと、前記検出したタッチポイントを基にして、前記物体のタッチ動作を認識するステップと、を含む。   In order to achieve the above object, a method for recognizing a touch action of a touched object in a display device having an information input function using an optical sensor according to an embodiment of the present invention is provided in contact with the display device. Detecting a touch of an object on the detection layer, controlling to output a sensor scan signal for driving the optical sensor when the touch of the object is performed, and a sensor detected by the optical sensor Generating an image of the object from the signal and detecting a touch point from the object image; and recognizing a touch operation of the object based on the detected touch point.

望ましくは、前記制御ステップは、前記感知した結果による物体タッチ信号が第１臨界値以上であるか否かを判断するステップをさらに含み、前記物体タッチ信号が前記第１臨界値以上である場合、前記センサースキャン信号を出力することを特徴とする。
望ましくは、検出ステップは、前記物体のイメージを解析して、前記物体がタッチしたポイントの座標を計算することによって、タッチポイントを検出することを特徴とする。
望ましくは、前記タッチ動作は、ダブルクリックであることを特徴とする。
望ましくは、前記検出ステップは、前記物体のイメージを解析して、前記物体がタッチした２個のタッチポイントの座標を計算することによって、２個のタッチポイントを検出し、前記認識ステップは、前記２個のタッチポイントの時間間隔及び空間間隔を計算することによって、ダブルクリックを認識することを特徴とする。
望ましくは、前記認識ステップは、前記時間間隔が第２臨界値以下であり、前記空間間隔が第３臨界値以下である場合、ダブルクリックで認識することを特徴とする。 Preferably, the control step further includes determining whether an object touch signal according to the sensed result is greater than or equal to a first threshold value, and when the object touch signal is greater than or equal to the first threshold value, The sensor scan signal is output.
Preferably, the detecting step detects the touch point by analyzing the image of the object and calculating the coordinates of the point touched by the object.
Preferably, the touch operation is a double click.
Preferably, the detecting step detects two touch points by analyzing an image of the object and calculating coordinates of two touch points touched by the object, and the recognizing step includes A double click is recognized by calculating a time interval and a space interval between two touch points.
Preferably, in the recognition step, when the time interval is equal to or smaller than a second critical value and the spatial interval is equal to or smaller than a third critical value, the recognition is performed by double-clicking.

前記他の課題を達成するために、本発明の他の実施態様による光センサーを利用した情報入力機能を備えた表示装置における、タッチした物体のタッチ動作を認識する方法は、前記表示装置に備えられた接触検出層での物体のタッチ如何を感知するステップと、前記光センサーが感知したセンサー信号から前記物体のイメージを生成し、前記生成した物体イメージからタッチポイントを検出するステップと、前記物体のタッチ如何を感知した結果から前記検出したタッチポイントに対する前処理を行うステップと、前記前処理したタッチポイントを基にして前記物体のタッチ動作を認識するステップと、を含む。   In order to achieve the other object, a method for recognizing a touch operation of a touched object in a display device having an information input function using an optical sensor according to another embodiment of the present invention is provided in the display device. Detecting whether or not an object is touched on the touch detection layer formed; generating an image of the object from a sensor signal sensed by the optical sensor; and detecting a touch point from the generated object image; and Performing pre-processing on the detected touch point based on the result of sensing whether or not the touch is detected, and recognizing the touch operation of the object based on the pre-processed touch point.

望ましくは、前処理ステップは、前記物体がタッチした時点を基準に、前記検出したタッチポイントを除外させる前処理を行うことを特徴とする。
望ましくは、前記タッチ動作は、ダブルクリックであることを特徴とする。
望ましくは、前記検出ステップは、前記物体のイメージを解析して、前記物体がタッチしたタッチポイントの座標を計算することによって、少なくとも２個以上のタッチポイントを検出し、前記前処理ステップは、前記少なくとも２個以上のタッチポイントを前記物体がタッチした時点を基準に除外させる前処理を行うことによって、２個のタッチポイントを検出することを特徴とする。
望ましくは、前記認識ステップは、前記検出した２個のタッチポイントの時間間隔及び空間間隔を計算することによって、ダブルクリックを認識することを特徴とする。 Preferably, the pre-processing step performs pre-processing for excluding the detected touch point based on a point in time when the object touches.
Preferably, the touch operation is a double click.
Preferably, the detecting step detects at least two touch points by analyzing the image of the object and calculating coordinates of touch points touched by the object, and the preprocessing step includes Two touch points are detected by performing pre-processing that excludes at least two touch points from the point of time when the object touches the reference.
Preferably, the recognizing step recognizes a double click by calculating a time interval and a space interval between the two detected touch points.

前記他の課題を達成するために、本発明の他の実施態様による光センサーを利用した情報入力機能を備えた表示装置における、タッチした物体のタッチ動作を認識する装置は、前記表示装置に備えられた接触検出層での物体のタッチ如何を感知するタッチ感知部と、前記物体のタッチが行われた場合、前記光センサーを駆動させるセンサースキャン信号を出力するように制御するタッチ判断部と、前記光センサーが感知したセンサー信号から前記物体のイメージを生成し、前記物体イメージからタッチポイントを検出するタッチポイント検出部と、前記検出したタッチポイントを基にして、前記物体のタッチ動作を認識する動作認識部と、を備える。   In order to achieve the other object, an apparatus for recognizing a touch operation of a touched object in a display device having an information input function using an optical sensor according to another embodiment of the present invention is provided in the display device. A touch sensing unit that senses whether or not an object touches the touch detection layer, and a touch determination unit that controls to output a sensor scan signal that drives the optical sensor when the object is touched; An image of the object is generated from a sensor signal sensed by the optical sensor, a touch point detection unit that detects a touch point from the object image, and a touch operation of the object is recognized based on the detected touch point. An action recognition unit.

望ましくは、前記タッチ判断部は、前記タッチ感知部から出力された物体タッチ信号が第１臨界値以上であるか否かを判断し、前記物体タッチ信号が前記第１臨界値以上である場合、センサースキャン信号を出力するように制御することを特徴とする。
望ましくは、前記タッチ動作がダブルクリックである場合、前記タッチポイント検出部は、前記物体のイメージを解析して、前記物体がタッチした２個のタッチポイントの座標を計算することによって、２個のタッチポイントを検出し、前記動作認識部は、前記タッチポイント検出部で検出した２個のタッチポイントの時間間隔及び空間間隔を計算することによって、ダブルクリックを認識することを特徴とする。
望ましくは、前記動作認識部は、前記２個のタッチポイントの時間間隔が第２臨界値以下であるか否かを判断する時間判断部と、前記２個のタッチポイントの空間間隔が第３臨界値以下であるか否かを判断する位置判断部と、前記時間判断部及び位置判断部の判断結果を基にして、タッチ動作がダブルクリックであるか否かを判断するダブルクリック判断部と、を備えることを特徴とする。 Preferably, the touch determination unit determines whether the object touch signal output from the touch sensing unit is equal to or higher than a first threshold value, and when the object touch signal is equal to or higher than the first threshold value, Control is performed to output a sensor scan signal.
Preferably, when the touch operation is a double click, the touch point detection unit analyzes the image of the object and calculates coordinates of two touch points touched by the object. A touch point is detected, and the motion recognition unit recognizes a double click by calculating a time interval and a space interval between two touch points detected by the touch point detection unit.
Preferably, the motion recognition unit includes a time determination unit that determines whether a time interval between the two touch points is equal to or less than a second critical value, and a spatial interval between the two touch points is a third critical value. A position determination unit that determines whether or not the value is equal to or less than a value, and a double-click determination unit that determines whether or not the touch operation is a double-click based on the determination results of the time determination unit and the position determination unit; It is characterized by providing.

前記他の課題を達成するために、本発明の他の実施態様による光センサーを利用した情報入力機能を備えた表示装置における、タッチした物体のタッチ動作を認識する装置は、前記表示装置に備えられた接触検出層での物体のタッチ如何を感知するタッチ感知部と、前記光センサーが感知したセンサー信号から前記物体のイメージを生成し、前記生成した物体イメージからタッチポイントを検出するタッチポイント検出部と、前記物体のタッチ如何を感知した結果から、前記検出したタッチポイントに対する前処理を行う前処理部と、前記前処理したタッチポイントを基にして、前記物体のタッチ動作を認識する動作認識部と、を備える。   In order to achieve the other object, an apparatus for recognizing a touch operation of a touched object in a display device having an information input function using an optical sensor according to another embodiment of the present invention is provided in the display device. A touch sensing unit that senses whether or not the object is touched on the touch detection layer; and a touch point detection that generates an image of the object from a sensor signal sensed by the optical sensor and detects a touch point from the generated object image. A recognition process for recognizing the touch operation of the object based on the pre-processed touch point based on the result of sensing the touch of the object, a pre-processing unit for performing pre-processing on the detected touch point A section.

望ましくは、前記前処理部は、前記物体がタッチした時点を基準に、前記検出したタッチポイントを除外させることを特徴とする。   Preferably, the pre-processing unit excludes the detected touch point based on a point in time when the object is touched.

前記他の課題を達成するために、前記方法をコンピュータで実行させるためのプログラムを記録した記録媒体を備える。   In order to achieve the other object, a recording medium storing a program for causing the method to be executed by a computer is provided.

本発明の一実施態様による表示装置に備えられた接触検出層を利用してタッチ如何を判断することによって、光センサー方式におけるタッチ動作を正確に認識できる。
また、光センサー方式のタッチパネルディスプレイ装置におけるダブルクリックを含むタッチ動作において、実際に指を接触する前の影に対しては、タッチポイントとして検出しないことによって、タッチ動作を正確に表せる。 The touch operation in the optical sensor system can be accurately recognized by determining the touch using the contact detection layer provided in the display device according to the embodiment of the present invention.
Further, in a touch operation including a double click in the optical sensor type touch panel display device, the touch operation can be accurately expressed by not detecting a shadow before actually touching a finger as a touch point.

本発明の一実施形態による、光によって画面に情報を入力する機能を備えた表示装置を示した図面である。1 is a diagram illustrating a display device having a function of inputting information to a screen by light according to an exemplary embodiment of the present invention. 本発明の他の実施形態による、タッチポイント検出装置を備えた表示装置の概略的な図面である。6 is a schematic view of a display device including a touch point detection device according to another embodiment of the present invention. 本発明の他の実施形態による、光によって画面に情報を入力する機能を備えた表示装置を示した図面である。6 is a view illustrating a display device having a function of inputting information to a screen by light according to another exemplary embodiment of the present invention. 本発明の他の実施形態による、タッチ動作認識装置の概略的なブロック図である。FIG. 6 is a schematic block diagram of a touch motion recognition device according to another embodiment of the present invention. 本発明の他の実施形態による、タッチ動作認識装置の概略的なブロック図である。FIG. 6 is a schematic block diagram of a touch motion recognition device according to another embodiment of the present invention. 本発明の他の実施形態による、タッチ動作認識装置におけるダブルクリック認識を説明するための図面である。6 is a diagram illustrating double-click recognition in a touch motion recognition device according to another embodiment of the present invention. 本発明の他の実施形態による、タッチ動作認識装置におけるダブルクリック認識を説明するための図面である。6 is a diagram illustrating double-click recognition in a touch motion recognition device according to another embodiment of the present invention. 本発明の他の実施形態による、タッチ動作認識装置におけるダブルクリック認識を説明するための図面である。6 is a diagram illustrating double-click recognition in a touch motion recognition device according to another embodiment of the present invention. 図４及び図５に示された動作認識部の概略的なブロック図である。FIG. 6 is a schematic block diagram of a motion recognition unit illustrated in FIGS. 4 and 5. 本発明の他の実施形態によるタッチ動作認識方法を説明するためのフローチャートである。10 is a flowchart for explaining a touch motion recognition method according to another embodiment of the present invention. 本発明の他の実施形態によるタッチ動作認識方法を説明するためのフローチャートである。10 is a flowchart for explaining a touch motion recognition method according to another embodiment of the present invention.

以下、添付した図面を参照して、本発明の望ましい実施形態に関する表示装置について詳細に説明する。本明細書に添付した図面を通じて、事実上同じ機能を行う部材に対しては、同じ図面符号を使用する。また、ディスプレイ装置をタッチする物体は、指と仮定して示して説明するが、これに限定されるものではない。   Hereinafter, a display device according to a preferred embodiment of the present invention will be described in detail with reference to the accompanying drawings. Throughout the drawings attached to this specification, the same drawing symbols are used for members that perform substantially the same function. In addition, the object that touches the display device is described assuming that it is a finger, but is not limited thereto.

図１は、本発明の一実施形態による、光信号によって画面に情報を入力する機能を備えた表示装置を示した図面である。
図１には、多数の光センサー１１０を備えた表示装置１００が示されている。
表示装置１００は、光センサー１１０だけでなく、多数の薄膜トランジスタ（ＴＦＴ：Ｔｈｉｎ Ｆｉｌｍ Ｔｒａｎｓｉｓｔｏｒ）及び多様なディスプレイ素子を備えうる。例えば、多数のＴＦＴを構成する電極、層（半導体層及び絶縁層）及び有機発光素子を備えうる。有機発光素子は、画素電極と、これに対向した対向電極と、画素電極（アノード電極）と対向電極（カソード電極）との間に介在された発光層を備える中間層と、を備える。本発明の望ましい実施形態において、外光によって指Ｆの影を感知するだけでなく、有機発光素子の発光によって指Ｆによって反射された光の信号も感知する構成である。また、本発明の望ましい実施形態では、有機発光素子を特定したが、有機発光素子だけでなく、他の平板ディスプレイ素子、例えば、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＰＤＰ（Ｐｌａｓｍａ Ｄｉｓｐｌａｙ Ｐａｎｅｌ）を含む光センサー方式のタッチスクリーンディスプレイにも同様に適用できる。
光センサー１１０は、特定の物体、例えば、指Ｆを接触した場合、外部光源または内部光源による指Ｆによる光信号を検出する。例えば、光センサー１１０が所定値より明るい光を検出した場合には、信号処理部（図示せず）がハイレベル信号を出力し、所定値より暗い光を検出した場合には、ローレベル信号を出力する。望ましくは、光センサー１１０は、ＰＩＮ型光ダイオードで構成できる。 FIG. 1 is a view illustrating a display device having a function of inputting information to a screen using an optical signal according to an embodiment of the present invention.
FIG. 1 shows a display device 100 having a large number of optical sensors 110.
The display device 100 may include not only the optical sensor 110 but also a number of thin film transistors (TFTs) and various display elements. For example, an electrode, a layer (semiconductor layer and insulating layer), and an organic light emitting element constituting a large number of TFTs can be provided. The organic light emitting device includes a pixel electrode, a counter electrode facing the pixel electrode, and an intermediate layer including a light emitting layer interposed between the pixel electrode (anode electrode) and the counter electrode (cathode electrode). In a preferred embodiment of the present invention, not only the shadow of the finger F is sensed by external light, but also a signal of light reflected by the finger F due to light emission of the organic light emitting element is sensed. Also, in the preferred embodiment of the present invention, the organic light emitting device is specified, but not only the organic light emitting device, but also other flat display devices such as an LCD (Liquid Crystal Display), a PDP (Plasma Display Panel). The same applies to touch screen displays of the type.
When the optical sensor 110 touches a specific object, for example, the finger F, the optical sensor 110 detects an optical signal from the finger F by an external light source or an internal light source. For example, when the light sensor 110 detects light that is brighter than a predetermined value, a signal processing unit (not shown) outputs a high level signal, and when light that is darker than the predetermined value is detected, a low level signal is output. Output. Desirably, the optical sensor 110 may be a PIN photodiode.

図２は、本発明の他の実施形態によるタッチポイント検出装置２３０を備えた表示装置の概略的な図面である。
図２には、光センサー２１０を備える表示装置２００、センサー信号読取部２２０及びタッチポイント検出装置２３０が示されている。
表示装置２００は、光センサー２１０と共に、複数の信号線と複数の走査線とが交差する地点に配列された赤（Ｒ）、緑（Ｇ）、青（Ｂ）で構成されたピクセルを含む。表示装置は、外部のホスト（図示せず）から伝送された画像信号に基づいて、画像を表示する表示機能を行う。
センサー信号読取部２２０は、表示装置の光センサー２１０が感知した信号を読み出してタッチポイント検出部２３０に出力する。
タッチポイント検出部２３０は、光センサー２１０が感知した信号を解析してタッチポイントを検出する。本発明の望ましい実施形態において、タッチポイント検出部２３０は、光センサー２１０が感知した信号から指影（ｆｉｎｇｅｒ ｓｈａｄｏｗ）イメージを作るが、指影イメージを生成するための信号処理部（図示せず）、例えば、ラインメモリ、階調化回路、２値化回路を備える。また、タッチポイント検出部２３０は、差分画像、エッジ画像及び多階調画像を利用して、指の接触座標の位置を計算する。例えば、差分画像またはエッジ画像を利用する場合、イメージの領域の面積が所定の臨界値以上である領域に対して、その領域の重心を指の位置座標と算出できる。本発明の望ましい実施形態では、指イメージ領域の重心を利用してポイントの座標を計算したが、これに限定されず、多様なイメージ解析方法を使用して座標を計算できる。 FIG. 2 is a schematic view of a display device including a touch point detection device 230 according to another embodiment of the present invention.
FIG. 2 shows a display device 200 including a photosensor 210, a sensor signal reading unit 220, and a touch point detection device 230.
The display device 200 includes pixels configured of red (R), green (G), and blue (B) arranged at points where the plurality of signal lines and the plurality of scanning lines intersect with the optical sensor 210. The display device performs a display function of displaying an image based on an image signal transmitted from an external host (not shown).
The sensor signal reading unit 220 reads a signal sensed by the optical sensor 210 of the display device and outputs the signal to the touch point detection unit 230.
The touch point detection unit 230 detects a touch point by analyzing a signal sensed by the optical sensor 210. In the preferred embodiment of the present invention, the touch point detection unit 230 creates a finger shadow image from a signal sensed by the optical sensor 210, but a signal processing unit (not shown) for generating a finger shadow image. For example, a line memory, a gradation circuit, and a binarization circuit are provided. Further, the touch point detection unit 230 calculates the position of the finger contact coordinates using the difference image, the edge image, and the multi-tone image. For example, when a difference image or an edge image is used, the center of gravity of the area of the image area can be calculated as the finger position coordinates with respect to the area where the area of the image area is a predetermined critical value or more. In the preferred embodiment of the present invention, the coordinates of the point are calculated using the center of gravity of the finger image area. However, the present invention is not limited to this, and the coordinates can be calculated using various image analysis methods.

図３は、本発明のさらに他の実施形態による光信号によって画面に情報を入力する機能を備えた表示装置を示した図面である。ここで、表示装置は、物体、特に、指のタッチ如何を感知する接触判別用薄膜を備えている。
図３には、多数の光センサー１１０を備える光センサーアレイ層１１１、第１及び第２基板１０１，１０２、接触検出層１０４及び誘電体層１０５が示されている。
第２基板１０２上に光センサーアレイ層１１１が配される。第１基板と第２基板１０２との間には、多数の光センサー１１０だけでなく、多数のＴＦＴと多様なディスプレイ素子とが備えられうる。第１及び第２基板１０１，１０２は、ガラス材、金属材及びプラスチック材で形成されうる。また、本実施形態では、光センサーアレイ層１００に示されていないが、多数のＴＦＴを構成する電極、層（半導体層及び絶縁層）及び有機発光素子を備えうる。有機発光素子は、画素電極と、これに対向した対向電極と、画素電極（アノード電極）と対向電極（カソード電極）との間に介在された発光層を備える中間層と、を備える。 FIG. 3 is a view illustrating a display apparatus having a function of inputting information to a screen using an optical signal according to another embodiment of the present invention. Here, the display device includes a thin film for contact discrimination that senses whether an object, in particular, a finger touch.
FIG. 3 shows an optical sensor array layer 111 including a large number of optical sensors 110, first and second substrates 101 and 102, a contact detection layer 104 and a dielectric layer 105.
An optical sensor array layer 111 is disposed on the second substrate 102. Between the first substrate and the second substrate 102, not only a large number of optical sensors 110 but also a large number of TFTs and various display elements may be provided. The first and second substrates 101 and 102 may be formed of a glass material, a metal material, and a plastic material. In the present embodiment, although not shown in the photosensor array layer 100, electrodes, layers (semiconductor layers and insulating layers) and organic light-emitting elements constituting a large number of TFTs can be provided. The organic light emitting device includes a pixel electrode, a counter electrode facing the pixel electrode, and an intermediate layer including a light emitting layer interposed between the pixel electrode (anode electrode) and the counter electrode (cathode electrode).

光センサー１１０は、特定物体、例えば、指が接触した場合、自然光源による指影イメージを解析することによって、タッチした地点の座標を計算するか、または光量を解析して２値画像を作り、これからタッチした地点の位置座標を解析するか、または内部光源によって反射された光量を解析して２値画像を作り、これからタッチした地点の位置座標を計算する。望ましくは、光センサー１１０は、ＰＩＮ型光ダイオードで構成できる。
接触検出層１０４は、第１基板１０１と誘電体層１０５との間に配される。接触検出層１０４は、透明薄膜で構成して透光率を高めることによって、ディスプレイ素子の効率を落とさない。また、接触検出層１０４は、パネル製造過程でパネル基板に内蔵するか、または追加的にディスプレイパネル基板上に生成することもある。接触検出層１０４は、指がタッチまたは接触する場合、指によるキャパシタンス変化を検出する。この場合、接触検出層１０４とパネルとは、キャパシタンスを形成するが、本実施形態では、接触検出層１０４と第１基板１０１との下に配されたカソード電極がキャパシタンスを形成するように構成される。ここで、カソード電極は、光センサーアレイ層１００に含まれた有機発光素子のカソード電極である。したがって、接触検出層１０４とキャパシタンスを形成するために追加の電極または層形成が不要である。 The optical sensor 110 calculates a coordinate of a touched point by analyzing a finger shadow image by a natural light source when a specific object, for example, a finger touches, or analyzes a light amount to create a binary image, From now on, the position coordinates of the touched point are analyzed, or the amount of light reflected by the internal light source is analyzed to create a binary image, and the position coordinates of the touched point are calculated. Desirably, the optical sensor 110 may be a PIN photodiode.
The contact detection layer 104 is disposed between the first substrate 101 and the dielectric layer 105. The contact detection layer 104 is formed of a transparent thin film to increase the light transmittance, thereby not reducing the efficiency of the display element. Further, the touch detection layer 104 may be built in the panel substrate during the panel manufacturing process, or may be additionally generated on the display panel substrate. The contact detection layer 104 detects a capacitance change caused by a finger when the finger touches or touches. In this case, the contact detection layer 104 and the panel form a capacitance, but in the present embodiment, the cathode electrode disposed under the contact detection layer 104 and the first substrate 101 is configured to form a capacitance. The Here, the cathode electrode is a cathode electrode of an organic light emitting device included in the photosensor array layer 100. Thus, no additional electrode or layer formation is required to form capacitance with the contact sensing layer 104.

本発明の実施形態では、前述したように、接触検出層１０４を配することによって、光によって画面に情報を入力する機能を備えた表示装置において、光センサー１１０によって獲得したイメージの解析、例えば、エッジ検出を行い、エッジ画像が相互逆方向に移動するかを計算して接触如何を判定する複雑なイメージ解析を行わなくても、接触検出層１０４を通じて、指接触によるキャパシタンス変化を検出して簡単にタッチ如何を判別でき、光センサー１１０は、接触位置の座標を計算する過程のみを分離して行える。ここで、ホストまたは接触判断モジュール（図示せず）で、接触検出層１０４を通じて検出したキャパシタンス値が、既設定の臨界キャパシタンス値以上または以下である場合には、指が接触したと判断する。また、選択的に光センサー１１０の接触位置計算に、接触検出層１０４を通じて判別した指接触情報を利用することによって、接触位置の座標計算の負担を減らすこともできる。
従来の光によって画面に情報を入力する機能を備えた表示装置は、撮影された画像からエッジを検出し、検出されたエッジを利用して、物体が画面に接触したか否かを判定するが、エッジ毎に移動方向を調べて、相互逆方向に移動するエッジがある場合には、物体が画面に接触したと判断する。そして、物体が画面に接触したと判断した場合には、検出されたエッジの重心を求めて座標位置を計算する。しかし、本発明の実施形態では、物体、特に、指の接触如何を、前述した従来の画像処理方法より簡単な接触検出層を利用して検出するので、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）の計算量とメモリ負担とを減らせる。また、従来のイメージ分析方法で発生する実際の指接触ではない影による誤認識を防止することも可能である。 In the embodiment of the present invention, as described above, in the display device having the function of inputting information to the screen by light by disposing the contact detection layer 104, analysis of the image acquired by the optical sensor 110, for example, It is easy to detect a change in capacitance due to finger contact through the contact detection layer 104 without performing complex image analysis that determines edge contact by calculating edge detection and calculating whether the edge image moves in the opposite direction. The optical sensor 110 can separate only the process of calculating the coordinates of the contact position. Here, if the capacitance value detected through the contact detection layer 104 by the host or the contact determination module (not shown) is greater than or less than the preset critical capacitance value, it is determined that the finger has touched. In addition, by using the finger contact information determined through the contact detection layer 104 for the calculation of the contact position of the optical sensor 110, it is possible to reduce the burden of coordinate calculation of the contact position.
A conventional display device having a function of inputting information to a screen by using light detects an edge from a captured image, and uses the detected edge to determine whether or not an object has touched the screen. The moving direction is examined for each edge, and if there is an edge moving in the opposite direction, it is determined that the object has touched the screen. When it is determined that the object has touched the screen, the center of gravity of the detected edge is obtained and the coordinate position is calculated. However, in the embodiment of the present invention, the touch of an object, particularly a finger, is detected by using a simpler contact detection layer than the conventional image processing method described above, and therefore, the calculation amount of CPU (Central Processing Unit) and Memory burden can be reduced. It is also possible to prevent erroneous recognition due to a shadow that is not an actual finger contact that occurs in a conventional image analysis method.

誘電体層１０５は、接触検出層１０４上に形成され、外部自然光が発光表示素子（図示せず）または光センサー１１０に入ることを遮断するか、または反射させる機能を行う。誘電体層１０５は、必要に応じて取り除いて構成されてもよい。
本発明の望ましい実施形態では、接触検出層１０４が、第１基板１０１と誘電体層１０５との間に配され、キャパシタンス方式でタッチ如何を判断すると説明したが、接触検出層１０４の数及び配置は、多様に構成でき、圧力による誘電率の変化を検出することによって、タッチ如何を判断してもよい。 The dielectric layer 105 is formed on the contact detection layer 104 and functions to block or reflect external natural light from entering a light emitting display element (not shown) or the photosensor 110. The dielectric layer 105 may be configured to be removed as necessary.
In the preferred embodiment of the present invention, it has been described that the touch detection layer 104 is disposed between the first substrate 101 and the dielectric layer 105 to determine whether or not the touch is detected by a capacitance method. Can be configured in various ways, and whether or not the touch is determined by detecting a change in dielectric constant due to pressure.

図４は、本発明の他の実施形態によるタッチ動作認識装置２５０の概略的なブロック図である。
図４には、多数の光センサー２１０を備える表示パネル２００、表示パネル２００に内蔵されるか、または付着された接触検出層２３０、光センサー２１０にスキャン信号を提供するセンサースキャン部２４０、光センサー２１０が獲得したデータを読み取るセンサー信号読取部２２０及びタッチ動作認識装置２５０を備える。ここで、タッチ動作認識装置２５０は、タッチ感知部２５１、タッチ判断部２５２、タッチポイント検出部２５４及び動作認識部２５３を備える。
光センサー２１０は、特定物体、例えば、指が接触した場合、自然光源による指影イメージを解析することによって、タッチした地点の座標を計算するか、または光量を解析して２値画像を作り、これからタッチした地点の位置座標を解析するか、または内部光源によって反射された光量を解析して２値画像を作り、これからタッチした地点の位置座標を計算する。表示パネル２００は、光センサー２１０と共に複数の信号線と複数の走査線とが交差する地点に配列された赤（Ｒ）、緑（Ｇ）、青（Ｂ）で構成されたピクセルを含む。表示パネル２００は、外部のホスト（図示せず）から伝送された画像信号に基づいて、画像を表示する表示機能を行う。
接触検出層２３０は、表示画面に特定物体、特に、指の接触如何を検出し、検出した接触情報をタッチ動作認識装置２５０に出力する。本発明の前述した実施形態によって、このような接触情報は、キャパシタンスの変化率を含む。 FIG. 4 is a schematic block diagram of a touch motion recognition apparatus 250 according to another embodiment of the present invention.
4 shows a display panel 200 having a large number of photosensors 210, a contact detection layer 230 built in or attached to the display panel 200, a sensor scan unit 240 that provides a scan signal to the photosensors 210, and photosensors. A sensor signal reading unit 220 that reads data acquired by 210 and a touch motion recognition device 250 are provided. Here, the touch motion recognition apparatus 250 includes a touch sensing unit 251, a touch determination unit 252, a touch point detection unit 254, and a motion recognition unit 253.
The optical sensor 210 calculates a coordinate of a touched point by analyzing a finger shadow image by a natural light source when a specific object, for example, a finger touches, or analyzes a light amount to create a binary image, From now on, the position coordinates of the touched point are analyzed, or the amount of light reflected by the internal light source is analyzed to create a binary image, and the position coordinates of the touched point are calculated. The display panel 200 includes pixels composed of red (R), green (G), and blue (B) arranged at a point where a plurality of signal lines and a plurality of scanning lines intersect with the optical sensor 210. The display panel 200 performs a display function for displaying an image based on an image signal transmitted from an external host (not shown).
The contact detection layer 230 detects whether a specific object, particularly a finger, is touched on the display screen, and outputs the detected contact information to the touch motion recognition device 250. According to the above-described embodiment of the present invention, such contact information includes a rate of change of capacitance.

センサースキャン部２４０は、タッチ判断部２５２が指が接触したと判断した場合、光センサー２１０を選択するスキャン信号を表示パネル２００に出力する。
センサー信号読取部２２０は、表示パネル２００の光センサー２１０が感知した信号を読み取ってタッチポイント検出部２５４に出力する。
タッチポイント検出部２５４は、光センサー２１０がセンシングした信号をセンサー情報読取部２２０を通じて入力され、接触した地点の位置座標を計算して、動作認識部２５２に出力する。
タッチ感知部２５１は、接触検出層２２０から接触情報を入力され、接触情報の変化量を測定する。タッチ感知部２５１は、このような指タッチまたは接触による接触情報の変化量、すなわち、キャパシタンスの変化量を測定する。
タッチ判断部２５２は、タッチ判断部２５１から接触情報の変化量を入力され、既設定の基準値と比較して、タッチまたは接触されたか否かを判断する。このような基準値は、ホスト（図示せず）から提供された既保存の値である。具体的に、タッチ判断部２５２は、タッチ感知部２５１で測定したキャパシタンス値が既保存の基準キャパシタンス値と比較して、特定割合で増加する場合、タッチされたと判断する。特に、タッチ判断部２５２は、タッチされたと判断した場合には、センサースキャン部２４０に光センサー２１０を選択するセンサースキャン信号を出力するように制御する。ここで、センサースキャン信号は、ローレベルやハイレベル信号でありうる。 When the touch determination unit 252 determines that the finger has touched, the sensor scan unit 240 outputs a scan signal for selecting the optical sensor 210 to the display panel 200.
The sensor signal reading unit 220 reads a signal sensed by the optical sensor 210 of the display panel 200 and outputs the signal to the touch point detection unit 254.
The touch point detection unit 254 receives the signal sensed by the optical sensor 210 through the sensor information reading unit 220, calculates the position coordinates of the touched point, and outputs the calculated position coordinates to the motion recognition unit 252.
The touch sensing unit 251 receives contact information from the contact detection layer 220 and measures a change amount of the contact information. The touch sensing unit 251 measures the amount of change in contact information due to such finger touch or contact, that is, the amount of change in capacitance.
The touch determination unit 252 receives the change amount of the contact information from the touch determination unit 251 and compares it with a preset reference value to determine whether or not the touch information is touched or touched. Such a reference value is a stored value provided from a host (not shown). Specifically, the touch determination unit 252 determines that the touch has been made when the capacitance value measured by the touch sensing unit 251 increases at a specific rate as compared with the stored reference capacitance value. In particular, when the touch determination unit 252 determines that the touch has been made, the touch determination unit 252 controls the sensor scan unit 240 to output a sensor scan signal for selecting the optical sensor 210. Here, the sensor scan signal may be a low level or a high level signal.

図５は、本発明の他の実施形態によるタッチ動作認識装置の概略的なブロック図である。
図５には、多数の光センサー２１０を備える表示パネル２００、表示パネル２００に内蔵されるか、または付着された接触検出層２３０、光センサー２１０が獲得したデータを読み取るセンサー信号読取部２２０及びタッチ動作認識装置２５０を備える。ここで、タッチ動作認識装置２５０は、タッチ感知部２５１、タッチ判断部２５２、タッチポイント検出部２５４、前処理部２５５及び動作認識部２５３を備える。
ここで、前処理部２５５は、物体、特に、指がタッチした時点を基準に、タッチポイント検出部２５４で検出したタッチポイントを除外させる。ここで、指がタッチした時点は、タッチ判断部２５２で指がタッチしたと判断した時点についての時間情報を意味する。したがって、前処理部２５５は、タッチ判断部２５２から提供された時間情報を利用して、タッチポイント検出部２５４で検出した多数のタッチポイントのうち、時間情報の前後に検出されたタッチポイントを除外させる。したがって、実際にタッチした時点のタッチポイントのみで動作認識部２５３でタッチ動作を認識する。 FIG. 5 is a schematic block diagram of a touch motion recognition apparatus according to another embodiment of the present invention.
FIG. 5 shows a display panel 200 having a large number of photosensors 210, a touch detection layer 230 built in or attached to the display panel 200, a sensor signal reading unit 220 for reading data acquired by the photosensors 210, and touch. A motion recognition device 250 is provided. Here, the touch motion recognition device 250 includes a touch sensing unit 251, a touch determination unit 252, a touch point detection unit 254, a preprocessing unit 255, and a motion recognition unit 253.
Here, the pre-processing unit 255 excludes touch points detected by the touch point detection unit 254 on the basis of the point in time when an object, particularly, a finger touches. Here, the time when the finger touches means time information about the time when the touch determination unit 252 determines that the finger has touched. Accordingly, the pre-processing unit 255 uses the time information provided from the touch determination unit 252 to exclude touch points detected before and after the time information from among a large number of touch points detected by the touch point detection unit 254. Let Therefore, the motion recognition unit 253 recognizes the touch motion only with the touch point at the time of actual touch.

図６ないし図８は、本発明の他の実施形態によるタッチ動作認識装置におけるダブルクリック認識を説明するための図面である。
光センサーで指影に対してポイントを検出する場合、手がパネルに着く前にポイントを抽出できる。図６には、パネルをタッチをする間の時間についての指動き６００と、検出したタッチポイントの動き６１０，６２０とが示されている。符号６００は、指とパネルとの距離を表したものであり、符号６１０及び符号６２０は、光センサーによって抽出されたタッチポイントの位置を表したものであり、符号６２０は、パネルを実際にタッチしたポイントである。
図６を参照すれば、指動き６００のうち、３番目から５番目までが実際にパネルをタッチした場合であり、１〜２番目、６〜７番目は、実際にタッチしていない場合である。この場合には、検出したタッチポイントの動き６１０，６２０のうち、符号６２０のみをタッチポイントと検出せねばならない。しかし、符号６１０もタッチポイントと検出することによって、タッチ動作を誤認してしまう問題点がある。 6 to 8 are diagrams for explaining double click recognition in a touch motion recognition apparatus according to another embodiment of the present invention.
When the point is detected with respect to the finger shadow by the optical sensor, the point can be extracted before the hand reaches the panel. FIG. 6 shows finger movement 600 over time while touching the panel, and detected touch point movements 610 and 620. Reference numeral 600 represents the distance between the finger and the panel, reference numerals 610 and 620 represent the positions of the touch points extracted by the optical sensor, and reference numeral 620 actually touches the panel. This is the point.
Referring to FIG. 6, the third to fifth finger movements 600 are when the panel is actually touched, and the first to second and sixth to seventh are cases where the touch is not actually performed. . In this case, of the detected touch point movements 610 and 620, only the reference numeral 620 must be detected as a touch point. However, when the reference numeral 610 is also detected as a touch point, there is a problem that a touch operation is mistaken.

一般的に、ダブルクリックを具現するために、ユーザがパネルに指を２回接触する。図７は、これを図式化した図面である。
図７には、２回の指動き７００と、２回検出したタッチポイントの動き７１０とが示されている。本発明の望ましい実施形態によって、接触検出層で指のタッチ如何を感知して実際にタッチされたと判断した場合に、光センサーを駆動させるセンサースキャン信号を出力するように制御するため、図７に示されたように、実際に指が接触した場合にのみ、タッチポイントを２個検出する。したがって、それぞれのタッチポイント７１０の時間間隔と空間間隔とによって、ダブルクリックであるか否かを正確に判断できる。
光センサーを備えた表示装置で、指がパネルに着く前にポイントが抽出される問題点を解決するために、本発明の望ましい実施形態において、接触検出層を利用して、実際のタッチ如何を判断することによって、タッチ前の指影によるポイントを抽出しない。 Generally, in order to implement a double click, the user touches the panel twice with a finger. FIG. 7 is a diagram schematically showing this.
FIG. 7 shows two finger movements 700 and touch point movements 710 detected twice. In order to control to output a sensor scan signal for driving the optical sensor when it is determined that the touch is detected by the touch detection layer according to a preferred embodiment of the present invention, FIG. As shown, two touch points are detected only when the finger actually touches. Therefore, it is possible to accurately determine whether or not a double click is made based on the time interval and space interval of each touch point 710.
In a preferred embodiment of the present invention, in order to solve the problem that a point is extracted before a finger reaches the panel in a display device having a light sensor, a touch detection layer is used to determine whether an actual touch is performed. By judging, the point by the finger shadow before the touch is not extracted.

図８を参照して、実際のタッチを判別するために、指がパネルに着く前に生じるタッチポイントを除外させることを説明する。
ダブルクリックを具現するための２回の指動き８００によって検出されたタッチポイント８１０，８２０のうち、実際にタッチしたポイントではないポイント８１０を除去せねばならない。したがって、本発明の望ましい実施形態では、接触検出層で実際のタッチ如何を判断し、判断した時間情報によってタッチポイント８１０を除外させる前処理を行う。ここで、除外させるタッチポイント８１０の数は、前処理過程によって異なって設定できる。このような過程によってタッチを認識し、各タッチでタッチ位置と時間とを求め、位置及び時間間隔が一定値以内である場合、ダブルクリックと認識する。 With reference to FIG. 8, in order to determine an actual touch, it will be described how to exclude a touch point that occurs before a finger reaches the panel.
Of the touch points 810 and 820 detected by the two finger movements 800 for realizing the double click, the point 810 that is not actually touched must be removed. Therefore, in a preferred embodiment of the present invention, the touch detection layer determines whether or not an actual touch is performed, and performs pre-processing for excluding the touch point 810 based on the determined time information. Here, the number of touch points 810 to be excluded can be set differently depending on the preprocessing process. The touch is recognized through such a process, the touch position and time are obtained for each touch, and if the position and time interval are within a certain value, it is recognized as a double click.

図９は、図４及び図５に示された動作認識部２５３の概略的なブロック図である。
図９を参照すれば、動作認識部２５３は、時間判断部２５６、位置判断部２５７及びダブルクリック判断部２５８を備える。
時間判断部２５６は、２個のタッチポイントの時間間隔が所定の臨界値以下であるか否かを判断する。ここで、臨界値は、任意に設定できる。時間間隔は、図７及び図８に示されている。
位置判断部２５７は、２個のタッチポイントの空間間隔が所定の臨界値以下であるか否かを判断する。ここで、臨界値は、任意に設定できる。空間間隔は、図７及び図８に示されている。
ダブルクリック判断部２５８は、時間判断部２５６及び位置判断部２５７の判断結果を基にしてタッチ動作がダブルクリックであるか否かを判断する。すなわち、時間間隔と空間間隔とがいずれも所定の臨界値以下である場合に、ダブルクリックと判断する。 FIG. 9 is a schematic block diagram of the motion recognition unit 253 shown in FIGS. 4 and 5.
Referring to FIG. 9, the motion recognition unit 253 includes a time determination unit 256, a position determination unit 257, and a double click determination unit 258.
The time determination unit 256 determines whether or not the time interval between the two touch points is equal to or less than a predetermined critical value. Here, the critical value can be arbitrarily set. The time interval is shown in FIGS.
The position determination unit 257 determines whether or not the space interval between the two touch points is equal to or less than a predetermined critical value. Here, the critical value can be arbitrarily set. Spatial spacing is shown in FIGS.
The double click determination unit 258 determines whether the touch operation is a double click based on the determination results of the time determination unit 256 and the position determination unit 257. That is, when both the time interval and the space interval are equal to or less than a predetermined critical value, it is determined that the click is a double click.

図１０は、本発明の他の実施形態によるタッチ動作認識方法を説明するためのフローチャートである。
図１０を参照すれば、ステップ１０００で、接触検出層で指タッチを感知する。ステップ１００２で、指がタッチされたか否かを判断する。ここで、指のタッチ如何に対する判断は、タッチ感知信号、例えば、キャパシタンス変化量が所定の臨界値以上であるか否かを判断することによってなされる。ステップ１００２の判断結果、実際にタッチされた場合、ステップ１００４で、センサースキャン信号を出力するように制御する。センサースキャン信号によって、ステップ１００６で、光センサーが指のタッチを感知する。ステップ１００８で、光センサーから読み取られたセンサー信号によって、指イメージを生成する。ステップ１０１０で、指イメージからイメージ解析を通じてタッチポイントを検出する。ステップ１０１２で、タッチポイントを利用して、タッチ動作を認識する。 FIG. 10 is a flowchart for explaining a touch motion recognition method according to another embodiment of the present invention.
Referring to FIG. 10, in step 1000, a finger touch is detected in the contact detection layer. In step 1002, it is determined whether or not the finger is touched. Here, the determination of whether or not the finger is touched is made by determining whether or not the touch detection signal, for example, the amount of change in capacitance is equal to or greater than a predetermined critical value. If the result of determination in step 1002 is that the user has actually touched, control is performed to output a sensor scan signal in step 1004. In step 1006, the optical sensor detects a finger touch according to the sensor scan signal. In step 1008, a finger image is generated according to the sensor signal read from the optical sensor. In step 1010, a touch point is detected from the finger image through image analysis. In step 1012, the touch operation is recognized using the touch point.

図１１は、本発明の他の実施形態によるタッチ動作認識方法を説明するためのフローチャートである。
図１１を参照すれば、ステップ１１００で、接触検出層で指タッチを感知する。ステップ１１０２で、光センサーで指タッチを感知する。ここで、ステップ１１０２は、ステップ１１００と共に行うこともある。ステップ１１０４で、光センサーが感知したセンサー信号を読み取って指イメージを生成する。ステップ１１０６で、指イメージからタッチポイントを検出する。ステップ１１０８で、ステップ１１００で感知した指タッチ時点を基準に、ステップ１１０６で検出したタッチポイントを前処理する。ここで、前処理は、ステップ１１０６で検出したタッチポイントのうち、タッチ時点以前または以後に検出したタッチポイントを除外させることを意味する。ステップ１１１０で、前処理されたタッチポイントを基にしてタッチ動作を認識する。 FIG. 11 is a flowchart for explaining a touch motion recognition method according to another embodiment of the present invention.
Referring to FIG. 11, in step 1100, a finger touch is detected in the contact detection layer. In step 1102, a finger touch is detected by the optical sensor. Here, step 1102 may be performed together with step 1100. In step 1104, a sensor image sensed by the light sensor is read to generate a finger image. In step 1106, a touch point is detected from the finger image. In step 1108, the touch point detected in step 1106 is pre-processed based on the finger touch point detected in step 1100. Here, the preprocessing means that touch points detected before or after the touch time are excluded from the touch points detected in step 1106. In step 1110, the touch operation is recognized based on the preprocessed touch point.

一方、本発明は、コンピュータで読取可能な記録媒体にコンピュータ可読コードで具現できる。コンピュータで読取可能な記録媒体は、コンピュータシステムによって読み取られるデータが保存されるすべての種類の記録装置を含む。
コンピュータで読取可能な記録媒体の例としては、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ保存装置があり、また、キャリアウェーブ（例えば、インターネットを通じた伝送）形態に具現されるものを含む。また、コンピュータで読取可能な記録媒体は、ネットワークに連結されたコンピュータシステムに分散され、分散方式でコンピュータ可読コードが保存され、かつ実行されうる。そして、本発明を具現するための機能的なプログラム、コード及びコードセグメントは、当業者によって容易に推論されうる。 On the other hand, the present invention can be embodied as computer-readable code on a computer-readable recording medium. Computer-readable recording media include all types of recording devices that store data that can be read by a computer system.
Examples of the computer-readable recording medium include a ROM (Read Only Memory), a RAM (Random Access Memory), a CD-ROM, a magnetic tape, a floppy (registered trademark) disk, an optical data storage device, and a carrier. Includes those embodied in wave (eg, transmission over the Internet) form. The computer-readable recording medium can be distributed in a computer system connected to a network, and the computer-readable code can be stored and executed in a distributed manner. A functional program, code, and code segment for implementing the present invention can be easily inferred by those skilled in the art.

以上、本発明について望ましい実施形態を中心に説明した。当業者は、本発明の本質的な特性から逸脱しない範囲で変形された形態を具現できるということが分かるであろう。したがって、前述した実施形態は、限定的な観点ではなく、説明的な観点で考慮されねばならない。本発明の範囲は、前述した説明ではなく、特許請求の範囲に表われており、それと同等な範囲内にあるすべての差異点は、本発明に含まれていると解釈されねばならない。   The present invention has been described above with a focus on preferred embodiments. Those skilled in the art will appreciate that variations can be implemented without departing from the essential characteristics of the invention. Therefore, the above-described embodiments should be considered from an explanatory viewpoint rather than a limiting viewpoint. The scope of the present invention is shown not by the above description but by the claims, and all differences within the scope equivalent thereto should be construed as being included in the present invention.

本発明は、表示装置関連の技術分野に好適に適用可能である。   The present invention can be suitably applied to a technical field related to a display device.

１００，２００ 表示装置
１１０，２１０ 光センサー
２２０ センサー信号読取部
２３０ タッチポイント検出部
２５０ タッチ動作認識装置
２５１ タッチ感知部
２５２ タッチ判断部
２５３ 動作認識部
２５４ タッチポイント検出部
２５５ 前処理部 DESCRIPTION OF SYMBOLS 100,200 Display apparatus 110,210 Optical sensor 220 Sensor signal reading part 230 Touch point detection part 250 Touch motion recognition apparatus 251 Touch detection part 252 Touch determination part 253 Operation recognition part 254 Touch point detection part 255 Pre-processing part

Claims (16)

光センサーを利用した情報入力機能を備えた表示装置における、タッチした物体のタッチ動作を認識する方法であって、
（ａ）前記表示装置に備えられた接触検出層での物体のタッチ如何を感知するステップと、
（ｂ）前記物体のタッチが行われた場合、前記光センサーを駆動させるセンサースキャン信号を出力するように制御するステップと、
（ｃ）前記光センサーが感知したセンサー信号から前記物体のイメージを生成し、前記物体イメージからタッチポイントを検出するステップと、
（ｄ）前記検出したタッチポイントを基にして、前記物体のタッチ動作を認識するステップと、を含み、前記接触検出層の下部にある発光素子の一電極と前記接触検出層とでキャパシタンスを形成し、前記キャパシタンスの変化によって前記物体のタッチを検知し、タッチポイント位置を演算する、タッチ動作認識方法。 A method for recognizing a touch action of a touched object in a display device having an information input function using an optical sensor,
(A) detecting whether an object touches the touch detection layer provided in the display device;
(B) controlling to output a sensor scan signal for driving the optical sensor when the object is touched;
(C) generating an image of the object from a sensor signal sensed by the light sensor, and detecting a touch point from the object image;
(D) recognizing the touch operation of the object based on the detected touch point, and forming a capacitance with one electrode of the light emitting element below the contact detection layer and the contact detection layer Then, a touch motion recognition method for detecting a touch of the object based on a change in the capacitance and calculating a touch point position . 前記（ｂ）ステップは、
前記感知した結果による物体タッチ信号が、第１臨界値以上であるか否かを判断するステップをさらに含み、
前記物体タッチ信号が前記第１臨界値以上である場合、前記センサースキャン信号を出力することを特徴とする請求項１に記載のタッチ動作認識方法。 The step (b)
Determining whether the object touch signal according to the sensed result is greater than or equal to a first threshold value;
The touch motion recognition method according to claim 1, wherein the sensor scan signal is output when the object touch signal is equal to or greater than the first critical value. 前記（ｃ）ステップは、
前記物体のイメージを解析して、前記物体がタッチしたポイントの座標を計算することによって、タッチポイントを検出することを特徴とする請求項１に記載のタッチ動作認識方法。 The step (c) includes:
The touch motion recognition method according to claim 1, wherein a touch point is detected by analyzing an image of the object and calculating coordinates of a point touched by the object. 前記タッチ動作は、
ダブルクリックであることを特徴とする請求項１に記載のタッチ動作認識方法。 The touch operation is
The touch motion recognition method according to claim 1, wherein the touch motion recognition method is a double click. 前記（ｃ）ステップは、
前記物体のイメージを解析して、前記物体がタッチした２個のタッチポイントの座標を計算することによって、２個のタッチポイントを検出し、
前記（ｄ）ステップは、
前記２個のタッチポイントの時間間隔及び空間間隔を計算することによって、ダブルクリックを認識することを特徴とする請求項４に記載のタッチ動作認識方法。 The step (c) includes:
Detecting two touch points by analyzing the image of the object and calculating the coordinates of the two touch points touched by the object;
The step (d) includes:
5. The touch motion recognition method according to claim 4, wherein a double click is recognized by calculating a time interval and a space interval between the two touch points. 前記（ｄ）ステップは、
前記時間間隔が第２臨界値以下であり、前記空間間隔が第３臨界値以下である場合、ダブルクリックと認識することを特徴とする請求項５に記載のタッチ動作認識方法。 The step (d) includes:
6. The touch motion recognition method according to claim 5, wherein when the time interval is equal to or smaller than a second critical value and the spatial interval is equal to or smaller than a third critical value, a double click is recognized. 光センサーを利用した情報入力機能を備えた表示装置における、タッチした物体のタッチ動作を認識する方法として、
（ａ）前記表示装置に備えられた接触検出層での物体のタッチ如何を感知するステップと、
（ｂ）前記物体のタッチ如何を感知した後に、前記光センサーが感知したセンサー信号から前記物体のイメージを生成し、前記生成した物体イメージからタッチポイントを検出するステップと、
（ｃ）前記物体のタッチ如何を感知した結果から前記検出したタッチポイントに対して、前記物体がタッチした時点を基準に、基準時点の前後に検出された前記タッチポイントを除外させる前処理を行うステップと、
（ｄ）前記前処理の結果、残ったタッチポイントを基にして、前記物体のタッチ動作を認識するステップと、を含み、前記接触検出層の下部にある発光素子の一電極と前記接触検出層とでキャパシタンスを形成し、前記キャパシタンスの変化によって前記物体のタッチを検知し、タッチポイント位置を演算する、タッチ動作認識方法。 As a method of recognizing the touch action of a touched object in a display device having an information input function using an optical sensor,
(A) detecting whether an object touches the touch detection layer provided in the display device;
(B) after detecting whether the object is touched, generating an image of the object from a sensor signal detected by the optical sensor, and detecting a touch point from the generated object image;
(C) Pre-processing is performed to exclude the touch points detected before and after the reference time with respect to the detected touch point based on the result of sensing whether the object is touched. Steps,
(D) recognizing the touch operation of the object based on the touch points remaining as a result of the preprocessing, and one electrode of the light emitting element under the contact detection layer and the contact detection layer Forming a capacitance, detecting a touch of the object by a change in the capacitance, and calculating a touch point position . 前記タッチ動作は、
ダブルクリックであることを特徴とする請求項７に記載のタッチ動作認識方法。 The touch operation is
8. The touch motion recognition method according to claim 7, wherein the touch motion recognition method is a double click. 前記（ｂ）ステップは、
前記物体のイメージを解析して、前記物体がタッチしたタッチポイントの座標を計算することによって少なくとも２以上のタッチポイントを検出し、
前記（ｃ）ステップは、
前記少なくとも２以上のタッチポイントを、前記物体がタッチした時点を基準に除外させる前処理を行うことによって、２個のタッチポイントを検出することを特徴とする請求項８に記載のタッチ動作認識方法。 The step (b)
Detecting at least two touch points by analyzing the image of the object and calculating coordinates of touch points touched by the object;
The step (c) includes:
9. The touch motion recognition method according to claim 8, wherein two touch points are detected by performing a pre-processing for excluding the at least two touch points based on a point in time when the object is touched. . 前記（ｄ）ステップは、
前記検出した２個のタッチポイントの時間間隔及び空間間隔を計算することによって、ダブルクリックを認識することを特徴とする請求項９に記載のタッチ動作認識方法。 The step (d) includes:
The touch motion recognition method according to claim 9, wherein a double click is recognized by calculating a time interval and a space interval between the two detected touch points. 請求項１ないし１０のうちいずれか１項による方法をコンピュータで実行させるためのプログラムを記録した記録媒体。   A recording medium recording a program for causing a computer to execute the method according to claim 1. 光センサーを利用した情報入力機能を備えた表示装置における、タッチした物体のタッチ動作を認識する装置において、
前記表示装置に備えられた接触検出層での物体のタッチ如何を感知するタッチ感知部と、
前記物体がタッチされた場合、前記光センサーを駆動させるセンサースキャン信号を出力するように制御するタッチ判断部と、
前記光センサーが感知したセンサー信号から前記物体のイメージを生成し、前記物体イメージからタッチポイントを検出するタッチポイント検出部と、
前記検出したタッチポイントを基にして、前記物体のタッチ動作を認識する動作認識部と、を備え、前記接触検出層の下部にある発光素子の一電極と前記接触検出層とでキャパシタンスを形成し、前記キャパシタンスの変化によって前記物体のタッチを検知し、タッチポイント位置を演算するタッチ動作認識装置。 In a device that recognizes a touch operation of a touched object in a display device having an information input function using an optical sensor,
A touch sensing unit that senses whether or not an object touches the touch detection layer provided in the display device;
A touch determination unit that controls to output a sensor scan signal that drives the optical sensor when the object is touched;
A touch point detection unit that generates an image of the object from a sensor signal sensed by the light sensor and detects a touch point from the object image;
An action recognition unit for recognizing the touch action of the object based on the detected touch point, and forming a capacitance with one electrode of the light emitting element under the contact detection layer and the contact detection layer. A touch motion recognition device that detects a touch of the object by a change in the capacitance and calculates a touch point position . 前記タッチ判断部は、
前記タッチ感知部から出力された物体タッチ信号が第１臨界値以上であるか否かを判断し、前記物体タッチ信号が前記第１臨界値以上である場合、センサースキャン信号を出力するように制御することを特徴とする請求項１２に記載のタッチ動作認識装置。 The touch determination unit
It is determined whether or not the object touch signal output from the touch sensing unit is equal to or higher than a first critical value, and when the object touch signal is equal to or higher than the first critical value, control is performed to output a sensor scan signal. The touch motion recognition apparatus according to claim 12, wherein: 前記タッチ動作がダブルクリックである場合、
前記タッチポイント検出部は、
前記物体のイメージを解析して、前記物体がタッチした２個のタッチポイントの座標を計算することによって、２個のタッチポイントを検出し、
前記動作認識部は、
前記タッチポイント検出部で検出した２個のタッチポイントの時間間隔及び空間間隔を計算することによって、ダブルクリックを認識することを特徴とする請求項１３に記載のタッチ動作認識装置。 If the touch action is a double click,
The touch point detection unit
Detecting two touch points by analyzing the image of the object and calculating the coordinates of the two touch points touched by the object;
The motion recognition unit
The touch motion recognition apparatus according to claim 13, wherein a double click is recognized by calculating a time interval and a space interval between two touch points detected by the touch point detection unit. 前記動作認識部は、
前記２個のタッチポイントの時間間隔が第２臨界値以下であるか否かを判断する時間判断部と、
前記２個のタッチポイントの空間間隔が第３臨界値以下であるか否かを判断する位置判断部と、
前記時間判断部及び位置判断部の判断結果を基にして、タッチ動作がダブルクリックであるか否かを判断するダブルクリック判断部と、を備えることを特徴とする請求項１４に記載のタッチ動作認識装置。 The motion recognition unit
A time determination unit for determining whether a time interval between the two touch points is equal to or less than a second critical value;
A position determination unit that determines whether a spatial interval between the two touch points is equal to or less than a third critical value;
The touch operation according to claim 14, further comprising: a double click determination unit that determines whether or not the touch operation is a double click based on determination results of the time determination unit and the position determination unit. Recognition device. 光センサーを利用した情報入力機能を備えた表示装置における、タッチした物体のタッチ動作を認識する装置において、
前記表示装置に備えられた接触検出層での物体のタッチ如何を感知するタッチ感知部と、
前記物体がタッチされた場合、前記光センサーが感知したセンサー信号から前記物体のイメージを生成し、前記生成した物体イメージからタッチポイントを検出するタッチポイント検出部と、
前記物体のタッチ如何を感知した結果から前記検出したタッチポイントに対する前処理を行う前処理部と、
前記前処理したタッチポイントを基にして、前記物体のタッチ動作を認識する動作認識部と、を備え、
前記前処理部は、
前記物体がタッチした時点を基準に、基準時点の前後に検出された前記タッチポイントを除外させ、前記接触検出層の下部にある発光素子の一電極と前記接触検出層とでキャパシタンスを形成し、前記キャパシタンスの変化によって前記物体のタッチを検知し、タッチポイント位置を演算することを特徴とするタッチ動作認識装置。 In a device that recognizes a touch operation of a touched object in a display device having an information input function using an optical sensor,
A touch sensing unit that senses whether or not an object touches the touch detection layer provided in the display device;
When the object is touched, a touch point detection unit that generates an image of the object from a sensor signal sensed by the optical sensor and detects a touch point from the generated object image;
A pre-processing unit that performs pre-processing on the detected touch point based on a result of sensing whether or not the object is touched;
An operation recognition unit that recognizes a touch operation of the object based on the preprocessed touch point;
The pre-processing unit is
Based on the time point when the object touched, the touch points detected before and after the reference time point are excluded, and one electrode of the light emitting element under the contact detection layer and the contact detection layer form a capacitance, A touch motion recognition apparatus that detects a touch of the object based on a change in the capacitance and calculates a touch point position .
JP2010097873A 2009-05-06 2010-04-21 Touch motion recognition method and apparatus Expired - Fee Related JP5274507B2 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2009-0039274 2009-05-06
KR1020090039274A KR101097309B1 (en) 2009-05-06 2009-05-06 Method and apparatus for recognizing touch operation

Publications (2)

Publication Number Publication Date
JP2010262641A JP2010262641A (en) 2010-11-18
JP5274507B2 true JP5274507B2 (en) 2013-08-28

Family

ID=42421932

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010097873A Expired - Fee Related JP5274507B2 (en) 2009-05-06 2010-04-21 Touch motion recognition method and apparatus

Country Status (5)

Country Link
US (1) US20100283756A1 (en)
EP (1) EP2249233A3 (en)
JP (1) JP5274507B2 (en)
KR (1) KR101097309B1 (en)
CN (1) CN101882031B (en)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2034287A1 (en) * 2007-09-10 2009-03-11 Nederlandse Organisatie voor Toegepast-Natuuurwetenschappelijk Onderzoek TNO Optical sensor for measuring a force distribution
TWI594173B (en) * 2010-03-08 2017-08-01 半導體能源研究所股份有限公司 Electronic device and electronic system
KR101678390B1 (en) * 2010-06-04 2016-11-23 삼성전자 주식회사 Apparatus and method for driving of communication terminal
TWI419030B (en) * 2010-08-06 2013-12-11 Quanta Comp Inc Optical touch system
WO2012050606A2 (en) * 2010-10-12 2012-04-19 New York University Apparatus for sensing utilizing tiles, sensor having a set of plates, object identification for multi-touch surfaces, and method
CN102215296A (en) * 2011-06-07 2011-10-12 深圳桑菲消费通信有限公司 Method for realizing mobile phone key function by simulating double-click operation
KR101981730B1 (en) * 2011-11-12 2019-05-23 크로스 매치 테크놀로지스, 인크. Ambient light illumination for non-imaging contact sensors
KR20130057700A (en) * 2011-11-24 2013-06-03 삼성디스플레이 주식회사 Organic light emitting device
KR101909676B1 (en) 2012-05-25 2018-10-19 삼성디스플레이 주식회사 Display device and optical inputting device
CN102902421B (en) * 2012-08-29 2015-10-07 广东威创视讯科技股份有限公司 The recognition methods of touch-screen stroke weight and device
CN102880390A (en) * 2012-09-20 2013-01-16 广东欧珀移动通信有限公司 Method and system for mobile terminal to enter into sleep mode
KR101580736B1 (en) * 2014-05-09 2016-01-11 신용수 System and method for recognizing touch tag
US9836165B2 (en) * 2014-05-16 2017-12-05 Apple Inc. Integrated silicon-OLED display and touch sensor panel
CN104537365B (en) * 2015-01-07 2019-03-29 小米科技有限责任公司 Touch key-press and fingerprint recognition implementation method, device and terminal device
US10147757B2 (en) 2015-02-02 2018-12-04 Synaptics Incorporated Image sensor structures for fingerprint sensing
US10181070B2 (en) 2015-02-02 2019-01-15 Synaptics Incorporated Low profile illumination in an optical fingerprint sensor
US9829614B2 (en) 2015-02-02 2017-11-28 Synaptics Incorporated Optical sensor using collimator
CN104731502B (en) * 2015-03-27 2018-03-30 努比亚技术有限公司 Double-click recognition methods, device and mobile terminal based on virtual partition touch-screen
WO2017129126A1 (en) * 2016-01-31 2017-08-03 Shenzhen GOODIX Technology Co., Ltd. Under-screen optical sensor module for on-screen fingerprint sensing
US10437974B2 (en) 2015-06-18 2019-10-08 Shenzhen GOODIX Technology Co., Ltd. Optical sensing performance of under-screen optical sensor module for on-screen fingerprint sensing
US9934418B2 (en) 2015-12-03 2018-04-03 Synaptics Incorporated Display integrated optical fingerprint sensor with angle limiting reflector
US10169630B2 (en) 2015-12-03 2019-01-01 Synaptics Incorporated Optical sensor for integration over a display backplane
US10176355B2 (en) 2015-12-03 2019-01-08 Synaptics Incorporated Optical sensor for integration in a display
US10108841B2 (en) 2016-03-31 2018-10-23 Synaptics Incorporated Biometric sensor with diverging optical element
CN106101453A (en) * 2016-08-19 2016-11-09 青岛海信移动通信技术股份有限公司 A kind of method controlling screen and terminal
US10541280B1 (en) 2016-09-16 2020-01-21 Apple Inc. OLED based touch sensing and user identification
US10380395B2 (en) 2016-09-30 2019-08-13 Synaptics Incorporated Optical sensor with angled reflectors
US10055637B2 (en) 2016-12-07 2018-08-21 Synaptics Incorporated Optical sensor with substrate light filter
US10311276B2 (en) 2017-02-22 2019-06-04 Synaptics Incorporated Under display optical fingerprint sensor arrangement for mitigating moiré effects
KR20230025603A (en) * 2021-08-13 2023-02-22 삼성디스플레이 주식회사 Display device and sensing system including the same

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6501846B1 (en) * 1997-11-25 2002-12-31 Ethentica, Inc. Method and system for computer access and cursor control using a relief object image generator
US6333735B1 (en) * 1999-03-16 2001-12-25 International Business Machines Corporation Method and apparatus for mouse positioning device based on infrared light sources and detectors
JP2001325071A (en) * 2000-05-17 2001-11-22 Tokai Rika Co Ltd Touch operation input device
US6925422B1 (en) * 2001-07-05 2005-08-02 Airqual System and method for monitoring the performance of an indoor air environment product installation
US20030093472A1 (en) * 2001-10-31 2003-05-15 Warren R. Paul Project management system and method
US7348946B2 (en) * 2001-12-31 2008-03-25 Intel Corporation Energy sensing light emitting diode display
US7042444B2 (en) * 2003-01-17 2006-05-09 Eastman Kodak Company OLED display and touch screen
US8078571B2 (en) * 2004-04-05 2011-12-13 George Eagan Knowledge archival and recollection systems and methods
JP2006209205A (en) * 2005-01-25 2006-08-10 Toshiba Matsushita Display Technology Co Ltd Display device
US7577925B2 (en) * 2005-04-08 2009-08-18 Microsoft Corporation Processing for distinguishing pen gestures and dynamic self-calibration of pen-based computing systems
KR101171185B1 (en) * 2005-09-21 2012-08-06 삼성전자주식회사 Touch sensible display device and driving apparatus and method thereof
JP2007183706A (en) * 2006-01-04 2007-07-19 Epson Imaging Devices Corp Touch sensor system
TWI317086B (en) * 2006-04-14 2009-11-11 Ritdisplay Corp Top-emitting organic led display having transparent touch panel
JP4834482B2 (en) * 2006-07-24 2011-12-14 東芝モバイルディスプレイ株式会社 Display device
US20080059411A1 (en) * 2006-08-31 2008-03-06 Caterpillar Inc. Performance-based job site management system
US20080103871A1 (en) * 2006-10-26 2008-05-01 Raytheon Company Company project management system
CN101211246B (en) * 2006-12-26 2010-06-23 乐金显示有限公司 Organic light-emitting diode panel and touch-screen system including the same
US7956847B2 (en) * 2007-01-05 2011-06-07 Apple Inc. Gestures for controlling, manipulating, and editing of media files using touch sensitive devices
JP4980105B2 (en) * 2007-03-19 2012-07-18 シャープ株式会社 Coordinate input device and control method of coordinate input device
JP2009048335A (en) * 2007-08-16 2009-03-05 Lg Display Co Ltd Liquid crystal display device
JP2009064074A (en) * 2007-09-04 2009-03-26 Mitsubishi Electric Corp Input unit
US8446373B2 (en) * 2008-02-08 2013-05-21 Synaptics Incorporated Method and apparatus for extended adjustment based on relative positioning of multiple objects contemporaneously in a sensing region
EP2105824B1 (en) * 2008-03-27 2013-03-20 Research In Motion Limited Touch screen display for electronic device and method of determining touch interaction therewith
US20090244026A1 (en) * 2008-03-27 2009-10-01 Research In Motion Limited Touch screen display for electronic device and method of determining touch interaction therewith
US8760431B2 (en) * 2008-07-17 2014-06-24 Samsung Display Co., Ltd. Display apparatus
US8624849B2 (en) * 2009-04-20 2014-01-07 Apple Inc. Touch actuated sensor configuration integrated with an OLED structure

Also Published As

Publication number Publication date
CN101882031B (en) 2015-01-21
JP2010262641A (en) 2010-11-18
KR20100120456A (en) 2010-11-16
CN101882031A (en) 2010-11-10
EP2249233A3 (en) 2013-03-20
US20100283756A1 (en) 2010-11-11
KR101097309B1 (en) 2011-12-23
EP2249233A2 (en) 2010-11-10

Similar Documents

Publication Publication Date Title
JP5274507B2 (en) Touch motion recognition method and apparatus
JP5213831B2 (en) Touch point detection method and apparatus
US20180349669A1 (en) Operating method of optical fingerprint sensor, operating method of electronic device including the optical fingerprint sensor, and display device including the optical fingerprint sensor
JP4630744B2 (en) Display device
US8760431B2 (en) Display apparatus
EP2336857B1 (en) Method of driving touch screen display apparatus, touch screen display apparatus adapted to execute the method and computer program product for executing the method
CA2749607C (en) Touch-sensitive display
US8610670B2 (en) Imaging and display apparatus, information input apparatus, object detection medium, and object detection method
JP2008305087A (en) Display device
US11256367B2 (en) Techniques for handling unintentional touch inputs on a touch-sensitive surface
KR101137383B1 (en) Display apparatus
KR101116769B1 (en) Input detection systems and methods for display panels with embedded photo sensors
US20170177117A1 (en) Capacitance sensor device and detecting method for a conductive matter thereon
JP5399799B2 (en) Display device
US10521052B2 (en) 3D interactive system
TWI430148B (en) Display apparatus and method of determining contact location thereon
KR20100049395A (en) Method and apparatus for detecting touch point

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120719

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120724

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20121003

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121023

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20121120

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130321

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20130329

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130416

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130514

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5274507

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees