KR101333216B1 - Color image display, tough control system and method for detection touch action - Google Patents

Color image display, tough control system and method for detection touch action Download PDF

Info

Publication number
KR101333216B1
KR101333216B1 KR1020120020517A KR20120020517A KR101333216B1 KR 101333216 B1 KR101333216 B1 KR 101333216B1 KR 1020120020517 A KR1020120020517 A KR 1020120020517A KR 20120020517 A KR20120020517 A KR 20120020517A KR 101333216 B1 KR101333216 B1 KR 101333216B1
Authority
KR
South Korea
Prior art keywords
light
touch
emitting
control
group
Prior art date
Application number
KR1020120020517A
Other languages
Korean (ko)
Other versions
KR20130098746A (en
Inventor
이찬수
박신원
Original Assignee
영남대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 영남대학교 산학협력단 filed Critical 영남대학교 산학협력단
Priority to KR1020120020517A priority Critical patent/KR101333216B1/en
Publication of KR20130098746A publication Critical patent/KR20130098746A/en
Application granted granted Critical
Publication of KR101333216B1 publication Critical patent/KR101333216B1/en

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G09G5/024Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed using colour registers, e.g. to control background, foreground, surface filling
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01RMEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R27/00Arrangements for measuring resistance, reactance, impedance, or electric characteristics derived therefrom
    • G01R27/02Measuring real or complex resistance, reactance, impedance, or other two-pole characteristics derived therefrom, e.g. time constant
    • G01R27/26Measuring inductance or capacitance; Measuring quality factor, e.g. by using the resonance method; Measuring loss factor; Measuring dielectric constants ; Measuring impedance or related variables
    • G01R27/2605Measuring capacitance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412Digitisers structurally integrated in a display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means

Abstract

본 발명의 일 측면에 따르면, 복수의 색으로 발광하는 소자 군이 행과 열로 배열되며 터치 동작에 따른 입력을 감지하는 디스플레이 시스템에 있어서, 상기 복수의 소자 군중 어느 하나의 군은 발광 기능과 수광 기능을 가진 발광 겸용 광전 소자로 형성되며, 상기 발광 겸용 광전 소자를 제외한 나머지는 발광 소자 군으로 형성되는 디스플레이 패널; 상기 발광 겸용 광전 소자의 검출 주기 및 발광 주기를 제어하고, 상기 발광 소자 군의 발광주기를 제어하는 것을 포함하는 디스플레이 제어장치; 상기 검출주기 동안에 터치 동작을 검출하는 검출부; 상기 디스플레이 제어장치의 제어명령에 따라 상기 발광 겸용 광전 소자와 상기 발광 소자의 각 소자별로 전류 공급 및 차단을 제어하는 전류공급장치; 를 포함하며, 상기 디스플레이 제어장치의 제어에 의하여 상기 복수의 소자 군이 설정된 색상으로 전체 컬러 이미지를 디스플레이하면서 동시에 상기 터치 동작을 감지하여 설정된 명령에 의한 제어를 실행하는 것을 특징으로 하는 컬러 영상 디스플레이와 터치 제어시스템과 이에 대한 방법이 제공된다.According to an aspect of the present invention, in a display system in which a group of devices that emit light in a plurality of colors is arranged in rows and columns and senses an input according to a touch operation, the group of any one of the plurality of device crowds has a light emitting function and a light receiving function. A display panel formed of a light-emitting photovoltaic device having a light-emitting photoelectric device, except for the light-emitting photoelectric device; A display control apparatus including controlling a detection period and a light emission period of the combined photoelectric device and controlling a light emission period of the light emitting device group; A detector configured to detect a touch operation during the detection period; A current supply device for controlling current supply and interruption for each of the light emitting photovoltaic device and each device of the light emitting device according to a control command of the display control device; And displaying a full color image in a set color of the plurality of device groups under the control of the display controller, and simultaneously detecting the touch operation and executing a control by a set command. A touch control system and method thereof are provided.

Description

컬러 영상 디스플레이, 터치 제어 시스템 및 터치 검출 제어방법 {COLOR IMAGE DISPLAY, TOUGH CONTROL SYSTEM AND METHOD FOR DETECTION TOUCH ACTION}Color Image Display, Touch Control System and Touch Detection Control Method {COLOR IMAGE DISPLAY, TOUGH CONTROL SYSTEM AND METHOD FOR DETECTION TOUCH ACTION}

본 발명은 복수의 색으로 발광하는 컬러 영상 패널에서 터치 동작에 따른 입력을 감지하는 컬러 영상 디스플레이 제어 및 터지 검출 제어 방법에 관한 것이다.
The present invention relates to a color image display control and a touch detection control method for detecting an input according to a touch operation in a color image panel emitting light in a plurality of colors.

Red, Green, Blue 삼원색에 해당되는 각각의 LED를 Dimming 제어하면 모든 색을 표현할 수 있다.Dimming control of each LED corresponding to three colors of red, green, and blue can express all colors.

빛의 세기를 측정하여 입력하는 터치 패드 디스플레이에서는 발광 소자와 수광 소자를 별도로 사용하여 빛을 감지하므로 전체 설계의 비용이 증가하게 된다. In a touch pad display in which light intensity is measured and input, light is sensed by using a light emitting element and a light receiving element separately, thereby increasing the cost of the overall design.

터치 검출 방식들 중 하나는 정전 용량 터치 검출 방식이다. 예를 들어, 국내 공개 특허 제2011-0128556호 공보에는, 표시 장치에 원래 제공되어 있는 표시용의 LED 상부에 정전용량의 변화를 감지하는 광 투과성을 가진 터치 센서를 배치하고 외부 근접 물체에 따라 그 정전 용량이 변화하면 구동 신호에 따라서 터치 검출 전극에 나타나는 터치 검출 신호를 해석함으로써 터치 검출 동작이 행해진다.One of the touch detection schemes is a capacitive touch detection scheme. For example, Korean Unexamined Patent Publication No. 2011-0128556 discloses a touch sensor having a light transmittance for detecting a change in capacitance on top of an LED for display originally provided in a display device, and according to an external proximity object. When the capacitance changes, the touch detection operation is performed by analyzing the touch detection signal appearing on the touch detection electrode in accordance with the drive signal.

통상적인 박막 광전 변환 소자는 전원공급 및 검출단자의 배치에 따라 발광 소자 및 수광 소자 어느 쪽의 소자로서도 기능을 할 수 있다. Conventional thin film photoelectric conversion elements can function as either light emitting elements or light receiving elements depending on the arrangement of the power supply and detection terminals.

박막 광전 변환 소자는 ITO막으로 이루어지는 투명한 화소 전극, 정공 주입층, 유기 반도체막, 및 리튬 함유 알루미늄, 칼슘 등의 금속막으로 이루어지는 대향 전극을 포함한다.The thin film photoelectric conversion element includes a transparent pixel electrode made of an ITO film, a hole injection layer, an organic semiconductor film, and an opposing electrode made of a metal film such as lithium-containing aluminum and calcium.

상기 박막 광전 변환 소자를 발광 소자(전류 제어형 발광 소자)로서 이용하기 위해서 대향 전극과 화소 전극에 전압을 인가하면, 인가전압이 박막 광전 변환 소자의 임계치 전압을 초과한 상태에서 유기 반도체막에 흐르는 전류(구동전류)가 급격히 증대하여, 박막 광전 변환 소자는 LED 소자로서 발광한다. When a voltage is applied to the counter electrode and the pixel electrode in order to use the thin film photoelectric conversion element as a light emitting element (a current controlled light emitting element), the current flowing through the organic semiconductor film in a state where the applied voltage exceeds the threshold voltage of the thin film photoelectric conversion element. The driving current rapidly increases, and the thin film photoelectric conversion element emits light as an LED element.

다음에, 박막 광전 변환 소자에 화소 전극을 통해서 빛이 도달한 때에는, 유기 반도체막에 광전류가 발생한다. 이때, 박막 광전 변환 소자는, 대향 전극과 화소 전극과의 사이에 전위차를 발생하는 수광 소자로서 기능을 하게 된다.Next, when light reaches the thin film photoelectric conversion element through the pixel electrode, a photocurrent is generated in the organic semiconductor film. At this time, the thin film photoelectric conversion element functions as a light receiving element that generates a potential difference between the counter electrode and the pixel electrode.

10-2011-0128556 터치입력장치10-2011-0128556 Touch input device

본 발명은 컬러 영상 발광 패널에서 일부 발광 소자에 발광 기능과 수광 기능을 을 주기적으로 수행하도록 하여 전 색상 제어를 함과 동시에 터치 동작과 지점을 검출할 수 있는 컬러 영상 디스플레이 제어 및 터지 검출 제어 방법을 제공하는 것이다.The present invention provides a color image display control and a touch detection control method capable of periodically performing a light emission function and a light reception function to some light emitting elements in a color image light emitting panel to detect a touch operation and a spot while performing full color control. To provide.

또한, 외부 조명 및 가시광선에 영향을 받지 않는 RGB LED 디스플레이 터치장치 및 터치 검출 방법을 제공한다.
In addition, the present invention provides an RGB LED display touch device and a touch detection method that are not affected by external illumination and visible light.

본 발명의 일 측면에 따르면, 복수의 색으로 발광하는 소자 군이 행과 열로 배열되며 터치 동작에 따른 입력을 감지하는 디스플레이 시스템에 있어서, 상기 복수의 소자 군중 어느 하나의 군은 발광 기능과 수광 기능을 가진 발광 겸용 광전 소자로 형성되며, 상기 발광 겸용 광전 소자를 제외한 나머지는 발광 소자 군으로 형성되는 디스플레이 패널; 상기 발광 겸용 광전 소자의 검출 주기 및 발광 주기를 제어하고, 상기 발광 소자 군의 발광주기를 제어하는 것을 포함하는 디스플레이 제어장치; 상기 검출주기 동안에 터치 동작을 검출하는 검출부; 상기 디스플레이 제어장치의 제어명령에 따라 상기 발광 겸용 광전 소자와 상기 발광 소자의 각 소자별로 전류 공급 및 차단을 제어하는 전류공급장치; 를 포함하며, 상기 디스플레이 제어장치의 제어에 의하여 상기 복수의 소자 군이 설정된 색상으로 전체 컬러 이미지를 디스플레이하면서 동시에 상기 터치 동작을 감지하여 설정된 명령에 의한 제어를 실행하는 것을 특징으로 하는 컬러 영상 디스플레이와 터치 제어시스템이 제공 된다.According to an aspect of the present invention, in a display system in which a group of devices that emit light in a plurality of colors is arranged in rows and columns and senses an input according to a touch operation, the group of any one of the plurality of device crowds has a light emitting function and a light receiving function. A display panel formed of a light-emitting photovoltaic device having a light-emitting photoelectric device, except for the light-emitting photoelectric device; A display control apparatus including controlling a detection period and a light emission period of the combined photoelectric device and controlling a light emission period of the light emitting device group; A detector configured to detect a touch operation during the detection period; A current supply device for controlling current supply and interruption for each of the light emitting photovoltaic device and each device of the light emitting device according to a control command of the display control device; And displaying a full color image in a set color of the plurality of device groups under the control of the display controller, and simultaneously detecting the touch operation and executing a control by a set command. A touch control system is provided.

또한, 복수의 색으로 발광하는 소자 군이 행과 열로 배열되며 터치 동작에 따른 입력을 감지하는 컬러 영상 디스플레이 제어 및 터지 검출 제어 방법에 있어서, 상기 복수의 소자 군중 어느 하나의 군은 발광 기능과 수광 기능을 가진 발광 겸용 광전 소자로 형성되며, 상기 발광 겸용 광전 소자를 제외한 나머지는 발광 소자 군으로 형성되어 디스플레이 패널에서 디스플레이되며; 디스플레이 제어장치에 의하여 상기 발광 겸용 광전 소자는 검출 주기의 측정 시간 동안에 수광 기능을 수행하고 발광 주기에서는 발광 기능을 수행하며, 상기 검출주기 동안에 터치 동작을 검출하도록 제어되며; 전류공급장치에 의하여 상기 디스플레이 제어장치의 제어명령에 따라 발광 겸용 광전 소자와 상기 발광 소자 군의 각 소자별로 전류 공급 및 차단이 제어되며; 상기 디스플레이 제어장치의 제어에 의하여 상기 디스플레이 패널에 설정된 색상으로 전체 컬러 이미지를 디스플레이하면서 동시에 상기 발광 겸용 광전 소자 군들은 상기 터치 동작을 감지하는 디스플레이 제어가 실행되는 것을 특징으로 하는 컬러 영상 디스플레이 제어 및 터지 검출 제어 방법이 제공된다.
In addition, in a color image display control and a touch detection control method in which a group of elements emitting light in a plurality of colors are arranged in rows and columns, and sensing an input according to a touch operation, the group of any one of the plurality of device crowds emits light and receives a light. A light-emitting photovoltaic device having a function, and the rest except for the light-emitting photovoltaic device is formed of a light-emitting device group and displayed on a display panel; By the display controller, the light-emitting photoelectric device is controlled to perform a light receiving function during a measurement time of a detection period, to perform a light emitting function in a light emission period, and to detect a touch operation during the detection period; A current supply and a shut-off are controlled for each element of the light emitting combined use photoelectric device and the light emitting device group according to a control command of the display control device by a current supply device; Color image display control and pop-up is characterized in that a display control for displaying the full color image in the color set on the display panel under the control of the display control device and at the same time the light-emitting photoelectric device group detects the touch operation. A detection control method is provided.

본 발명의 실시예에 따르면, R, G, B LED를 이용한 조명장치 또는 디스플레이 장치를 구성 시 Full Color로 제어와 동시에 외부 조명에 영향을 받지 않는 터치 명령제어가 가능하도록 할 수 있는 효과가 있다.According to an embodiment of the present invention, when configuring a lighting device or a display device using R, G, B LEDs, there is an effect of enabling a touch command control without being influenced by external lighting while simultaneously controlling the full color.

본 발명의 실시예에 따르면, 외부 조명이 있을 경우에는 터치에 의하여 전류가 변하게 되므로 이 변하는 전류를 감지하여 터치 지점을 검출할 수 있으며, 외부 조명이 없을 경우에는 내부에서 발광하는 LED의 여기된 광이 터치체에 반사되어 터치 지점에서 반사된 전류의 변화를 측정하여 터치 지점을 검출할 수 있는 효과가 있다.According to the embodiment of the present invention, when there is an external light, the current is changed by the touch, so that the touch point can be detected by detecting the changing current, and when there is no external light, the excited light of the LED emitting the light from the inside The touch point is detected by measuring a change in current reflected from the touch point reflected by the touch body.

본 발명의 실시예에 따르면 검출주기에서 주기적으로 검출되는 신호를 분석하여 외부 조명 유무를 검출할 수 있는 효과가 있다. According to an exemplary embodiment of the present invention, there is an effect of detecting the presence or absence of external illumination by analyzing a signal periodically detected in a detection period.

본 발명의 실시예에 따르면, 전류 값을 누적시켜 평균값과 편차를 이용하여 민감도와 반응속도를 소프트웨어적으로 설정하여 줄 수 있는 효과가 있다.
According to the embodiment of the present invention, the current value is accumulated and the sensitivity and the reaction rate can be set in software using the average value and the deviation.

도 1은 본 발명의 일 실시예에 따른 RGB LED 컬러 디스플레이 터치장치의 내부 구성을 나타내는 도면이다.
도 2는 본 발명의 일 실시 예에 따른 MOSFET전류 공급장치를 나타내는 도면이다.
도 3은 본 발명의 일 실시예에 다른 터치 및 디스플레이 제어 수행 단계를 설명하기 위한 프로세스 도이다.
도 4는 본 발명의 일 실시예에 따른 각 RGB LED에 대한 동작 순서를 타이밍 차트로 나타낸 것이다.
도 5는 측정된 전류 값을 이용한 터치 지점 검출 수행 단계를 나타내는 프로세스 도이다.
도 6은 본 발명의 일 실시예에 따른 2차원으로 확장된 테이블 화면을 나타낸 도면이다.
1 is a view showing the internal configuration of an RGB LED color display touch device according to an embodiment of the present invention.
2 is a view showing a MOSFET current supply device according to an embodiment of the present invention.
3 is a process diagram for explaining another touch and display control step according to an embodiment of the present invention.
4 is a timing chart showing an operation sequence for each RGB LED according to an embodiment of the present invention.
5 is a process diagram illustrating a step of performing touch point detection using the measured current value.
6 is a diagram illustrating a table screen extended in two dimensions according to an embodiment of the present invention.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 이를 상세한 설명을 통해 상세히 설명하고자 한다.While the present invention has been described in connection with certain exemplary embodiments, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, is intended to cover various modifications and similarities.

그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.It is to be understood, however, that the invention is not to be limited to the specific embodiments, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention.

본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, the present invention will be described in detail with reference to the accompanying drawings.

그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.In order to clearly illustrate the present invention, parts not related to the description are omitted, and similar parts are denoted by like reference characters throughout the specification.

또한, 어떤 부분이 어떤 구성 요소를 포함한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
In addition, when a part includes a certain component, this means that it may further include other components, without excluding other components, unless specifically stated otherwise.

본 발명은 복수의 색으로 발광하는 소자 군이 행과 열로 배열되며 터치 동작에 따른 입력을 감지하는 컬러 영상 디스플레이 제어 및 터지 검출 제어 방법에 관한 것이다.The present invention relates to a color image display control and touch detection control method in which a group of elements emitting light in a plurality of colors is arranged in rows and columns and senses an input according to a touch operation.

본 발명에 따른 컬러 영상 디스플레이와 터치 제어시스템은 디스플레이 패널, 디스플레이 제어장치, 검출부, 전류공급장치를 포함한다.The color image display and the touch control system according to the present invention include a display panel, a display control device, a detector, and a current supply device.

복수의 소자 군중 어느 하나의 군은 발광 기능과 수광 기능을 가진 발광 겸용 광전 소자로 형성되며, 상기 발광 겸용 광전 소자를 제외한 나머지는 발광 소자 군으로 형성되어 디스플레이 패널에서 디스플레이된다.Any one group of the plurality of device groups is formed of a light-emitting photoelectric device having a light emitting function and a light receiving function, and the rest except for the light-emitting photoelectric device is formed of a light emitting device group and displayed on the display panel.

본 발명의 일 실시예에 따른 디스플레이 제어장치는 발광 겸용 광전 소자인 R LED군의 검출 주기 및 발광 주기를 제어하고, 발광 소자인 G, B LED 군의 발광주기를 제어한다.The display control apparatus according to an embodiment of the present invention controls the detection period and the emission period of the R LED group, which is a combined light emitting device, and the emission period of the G and B LED groups, which are light emitting elements.

즉, 발광주기에는 전 소자가 발광을 하게 되나, 검출주기에서는 R LED군의 발광 기능은 차단되고 광전 기능만을 수행하게 된다.That is, in the light emission period, all the devices emit light, but in the detection period, the light emitting function of the R LED group is blocked and only the photoelectric function is performed.

본 발명의 일 실시예에 따른 검출부에서 상기 검출주기 동안에 터치 동작을 검출하게 된다.
The detection unit according to an embodiment of the present invention detects a touch operation during the detection period.

이하, 첨부된 도면들을 참조하여 본 발명의 실시를 위한 구체적인 내용을 설명하도록 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 RGB LED 풀 컬러 디스플레이 터치장치의 내부 구성을 나타내는 도면이다. 1 is a view showing the internal configuration of an RGB LED full color display touch device according to an embodiment of the present invention.

본 발명의 일 실시예에 따르면, R LED소자는 광전 소자 기능을 포함하게 된다. According to one embodiment of the invention, the R LED device will include a photoelectric device function.

R LED인 광전 소자의 대향 전극과 화소 전극의 공급 전원 단자와 검출단자로의 스위칭 기능을 부과하여 R LED를 빛/조명 자체에 발광 기능을 하는 LED 뿐 아니라 터치를 감지하는 센서기능으로 사용할 수 있도록 한 것이다. By imposing a switching function between the opposing electrode of the photoelectric element, which is an R LED, and the power supply terminal and the detection terminal of the pixel electrode, the R LED can be used as a sensor that senses touch as well as an LED that emits light to the light / light itself. It is.

본 발명의 일 실시예에 따른 디스플레이 제어장치(10)는 각각의 LED들을 다이나믹 제어와 디밍 제어를 통하여 원하는 조도와 색으로 제어하고 디스플레이 제어 및 시스템 전체의 플로우(flow)를 제어한다. The display control apparatus 10 according to an embodiment of the present invention controls each of the LEDs to desired illuminance and color through dynamic control and dimming control, and controls the display control and the flow of the entire system.

디스플레이 제어장치(10)는 각각의 LED들을 원하는 색으로 제어하기 위한 Data Table을 Flash Memory에 저장한다.The display controller 10 stores a data table in a flash memory for controlling each LED to a desired color.

디스플레이 제어장치(10)는 GPIO(General Purpose I/O pins), UART (Universal Asynchronous Receiver/Transmitter), Flash Memory가 내장된 칩이 사용될 수 있다.The display controller 10 may be a chip including general purpose I / O pins (GPIO), a universal asynchronous receiver / transmitter (UART), and a flash memory.

본 발명의 일 실시예에 따르면, 디스플레이 제어장치(10)에서는 흐름 결정을 위해 조명이 있는 경우와 없는 경우를 구별하여 모드를 설정하게 되며, 검출부를 제어하고 조명의 유무는 검출부에서 전체 수광된 빛 양의 평균을 시리얼 통신으로 받아 선택될 수 있다.According to an embodiment of the present invention, the display control device 10 sets the mode to distinguish between the presence and absence of illumination for flow determination, and controls the detector and the presence or absence of illumination is the total light received by the detector. The average of the quantities can be selected via serial communication.

본 발명의 일 실시예에 따르면 디스플레이의 on/off 발광 주기는 60Hz로 제어하며 검출부의 검출 주기는 매 60Hz 마다 0.2ms의 측정시간 동안 검출하도록 제어하게 된다.According to an embodiment of the present invention, the on / off light emission period of the display is controlled to 60 Hz, and the detection period of the detector is controlled to detect the measurement time of 0.2 ms every 60 Hz.

검출 주기는 터치를 감지하고 터치 지점에 대한 디스플레이의 대응 명령에 대응하여야 함으로 지속적으로 감지되어야 하나, 전류 값 측정을 수행하는 동안에는 R LED의 발광이 중단되어야 하므로 매 주기별로 터치 유무를 감지할 수 있는 최소한의 검출 주기로 설정되어야 한다.The detection period should be continuously detected by detecting touch and responding to the corresponding command of the display for the touch point.However, since the LED of the R LED should be stopped during current value measurement, the presence or absence of the touch can be detected every cycle. It should be set to the minimum detection period.

즉, 본 발명의 일 실시예에 따르면 디스플레이가 진행되는 도중에 매 60[Hz] 마다 터치에 대한 검출을 검출부(50)에서 수행하여 디스플레이 제어장치(10)로 정보를 전달하며, 0.2[ms]의 측정시간 동안 터치 유무 및 터치 지점을 탐색할 수 있다.That is, according to the exemplary embodiment of the present invention, the detection unit 50 detects a touch every 60 [Hz] while the display is in progress, and transmits the information to the display control device 10, wherein 0.2 [ms] During the measurement time, it is possible to search for the presence or absence of a touch and the touch point.

반복 실험 결과 30[Hz] 이상의 검출 주기에서 터치 검출에 대한 적정 신뢰도를 나타내었으며, 바람직하게는 30 ~ 60[Hz]의 검출 주기와 0.2 ~ 1 [ms]에서 발광효율을 적정선으로 유지하면서 터치 검출을 수행할 수 있었다.As a result of the repetitive experiment, the detection reliability was shown to be appropriate for the touch detection in the detection period of 30 [Hz] or more. Could be done.

또한 측정시간이 1[ms]보다 길어지면 그만큼 R LED의 차단시간이 길어져서 발광효율이 떨어지게 되며, 위 0.2[ms]보다 짧게 되면 일반적인 정전 용량형 터치 센서를 사용한 디스플레이UI 장치에 비하여 검출에 대한 신뢰도가 떨어지게 된다.In addition, if the measurement time is longer than 1 [ms], the blocking time of the R LED becomes longer, and the luminous efficiency decreases. The reliability is lowered.

디스플레이 제1, 2 I/O제어장치(20, 21)는 상기 디스플레이 제어 및 흐름 제어장치(10)의 I/O를 제어하기 위한 것이며 Latch와 Decoder로 조합되어 있다.The display first and second I / O control devices 20 and 21 are for controlling I / O of the display control and flow control device 10 and are combined with a latch and a decoder.

NMOS 전류 공급 장치(31)와 PMOS 전류 공급 장치(30)는 디스플레이 패널 모듈(40)의 RGB LED Array에 MOSFET을 사용하여 전류를 공급을 제어하며 터지 주기에서는 전류를 검출하도록 제어된다.The NMOS current supply device 31 and the PMOS current supply device 30 are controlled to supply a current by using a MOSFET to an RGB LED array of the display panel module 40, and to detect a current in a popping period.

도 2를 참조하면 저항단과 연결된 MOSFET(36, 37, 38, 39)는 병렬적으로 동작되며 저항이 없이 연결된 MOSFET((32, 33, 34, 35)은 직렬로 동작하게 된다.Referring to FIG. 2, the MOSFETs 36, 37, 38, and 39 connected to the resistor terminals are operated in parallel, and the MOSFETs 32, 33, 34, and 35 connected without resistance are operated in series.

상기 P와 N 타입의 직, 병렬 MOSFET 전류 공급장치는 각 LED소자에 전류를 안정적으로 공급해 줄 수 있으며, 행 및 열에 대한 개별적인 전류 제어 및 검출전류에 대한 스위칭과 LED Array에 대한 모듈화된 처리가 가능하게 된다.The P and N type direct and parallel MOSFET current supplies can stably supply current to each LED device, enable individual current control for rows and columns, switching for detection currents, and modularized processing for LED arrays. Done.

검출부(50)의 전류 값을 측정하는 단계에서는 검출 소자인 R LED와 연결된 MOSFET는 차단 상태로 된다.In the step of measuring the current value of the detection unit 50, the MOSFET connected to the R LED as the detection element is in a blocking state.

일 실시예에는 디스플레이 패널(40)모듈은 가로 8 * 세로 8 총 64개의 RGB LED로 이루어지며 광확산판으로 덮여 있는 구조로 이루어진다.In one embodiment, the display panel 40 module is formed of 64 RGB LEDs in a total of 8 * 8 vertically and has a structure covered with a light diffusion plate.

디스플레이 패널(40)모듈은 디스플레이 제어장치(10)에 의한 다이나믹 제어와 디밍 제어를 통해 Full Color로 디스플레이가 가능하게 된다.The display panel 40 module can display in full color through dynamic control and dimming control by the display control apparatus 10.

본 발명의 일 실시예에 따른 디스플레이 패널(40)모듈은 R, G, B LED Array로 이루어져 있으며, 상기 R, G, B LED Array 중 어느 하나의 Array는 발광 기능과 수광 기능을 겸용으로 수행할 수 있는 광전 소자로 이루어진다.The display panel 40 module according to an embodiment of the present invention consists of an R, G, and B LED array, and any one of the R, G, and B LED arrays can perform both a light emitting function and a light receiving function. It consists of a photoelectric device that can.

본 발명의 일 실시예에서는 R LED Array은 발광 기능과 수광 기능을 가진 소자로 채용하였으며, G, B LED Array는 발광 기능만을 수행할 수 있는 소자 군으로 채용하였다.
In an embodiment of the present invention, the R LED array is employed as a device having a light emitting function and a light receiving function, and the G and B LED arrays are employed as a device group capable of performing only a light emitting function.

검출부(50)는 주기별로 LED의 전류 값을 측정한다. The detector 50 measures the current value of the LED for each cycle.

본 발명의 일 실시예에 따르면, 검출부(50)는 각 LED Array의 특성 소자의 전류 값을 선택하고 전류 값을 측정할 수 있는 측정 장치, 측정된 값으로 검출 알고리즘을 수행할 수 있는 연산 장치를 포함한다.According to an embodiment of the present invention, the detector 50 may include a measuring device capable of selecting a current value of a characteristic element of each LED array and measuring a current value, and an arithmetic device capable of performing a detection algorithm with the measured value. Include.

본 발명의 일 실시예에 따르면, 검출부(50)에서 외부 조명이 있는 모드의 경우, 각각의 값이 설정된 R, G, B LED Dimming 디스플레이를 전체 Array에 대하여 ON 루틴에서 지정된 컬러구현을 위하여 설정된 펄스신호를 가지도록 제어된 후, 검출 주기에서 R LED Array에 대한 전류 값을 측정한다. According to an embodiment of the present invention, in the case of the external lighting mode in the detector 50, the R, G, and B LED Dimming displays in which respective values are set are configured for color implementation specified in the ON routine for the entire array. After being controlled to have a signal, the current value for the R LED array is measured in the detection period.

검출부(50)는 검출 주기에 측정된 값을 이용하여 선택된 검출 알고리즘을 수행하며, 터치 검출 및 터치 지점, 조명 장치의 여부를 판단하여 디스플레이 제어장치(10)로 전송한다. The detection unit 50 performs the selected detection algorithm using the value measured in the detection period, and determines whether the touch detection, the touch point and the lighting device are transmitted to the display control device 10.

본 발명의 일 실시예에 따르면, 조명이 없는 모드의 경우의 검출주기에서는, 인접한 두 LED PKG에서, R라인은 전류 측정부로 연결되며, G,B 라인은 설정된 값으로 발광하게 되는데, 상기 발광된 G, B 라인의 광이 터치체에 의하여 반사 또는 여기되면서 R라인에서 전류 값이 측정된다. According to an embodiment of the present invention, in the detection period in the case of no illumination mode, in two adjacent LEDs PKG, the R line is connected to the current measuring unit, and the G and B lines emit light at a set value. As the light of the G and B lines is reflected or excited by the touch body, the current value is measured in the R line.

설정된 R LED Array의 검출 측정을 위한 검출 주기 후에는 R LED Array를 설정된 발광Duty를 위하여 ON 하도록 제어한다. 순차적으로 전체 LED Array에 대하여 디스플레이와 측정을 수행한 후 선택된 검출 알고리즘을 수행하며, 터치검출 및 터치 지점, 조명 장치의 여부를 판단하여 시리얼 통신을 통해 디스플레이부 제어장치(10)로 전송한다.After a detection cycle for detecting and measuring the set R LED array, the R LED array is controlled to be turned ON for the set light emitting duty. After sequentially performing display and measurement on the entire LED array, the selected detection algorithm is performed, and whether the touch detection, the touch point, or the lighting device is determined is transmitted to the display unit controller 10 through serial communication.

전송받은 데이터를 통해 디스플레이부 제어장치(10)에서는 Dimming 값을 변경하여 시각적인 효과를 부가하여 터치 여부를 확인할 수 있다.Through the received data, the display controller 10 may determine whether the touch is performed by adding a visual effect by changing a dimming value.

일 실시예에서는 R LED에서의 전류 값을 측정하기 위해 LED 전류에 의해 생성된 전압 값을 ADC변환기를 통하여 변환한다.
In one embodiment, the voltage value generated by the LED current is converted through the ADC converter to measure the current value in the R LED.

도 3은 디스플레이 제어 수행 단계를 설명하기 위한 프로세스 도이다.3 is a process diagram for explaining a step of performing display control.

도 3을 참조하면, 단계 S10은 초기화 단계이다.Referring to FIG. 3, step S10 is an initialization step.

초기화 단계에서는 각각의 LED를 디스플레이해 주기 위한 데이터를 다른 장치로부터 전송받거나 혹은 내부에 저장된 데이터를 전송받아 준비하는 단계이다.In the initializing step, data for displaying each LED is received from another device or prepared to receive data stored therein.

단계 S20에서 동작모드를 선택하게 된다.In step S20, the operation mode is selected.

단계 S20에서 동작모드 선택에 따라 구분되어 다음 단계가 수행된다.In step S20, the next step is performed according to the operation mode selection.

일 실시예에서는 최초 수행 시 조명이 있음 모드로 수행된다. In one embodiment, the first operation is performed in the illuminated mode.

그 후 검출 알고리즘을 수행한 결과물 중 하나인 전체의 평균값에 따라 다음 단계의 모드가 선택될 수 있다.Then, the next step mode may be selected according to the overall average value of one of the results of the detection algorithm.

단계 S30에서 1행 또는 1열씩 각각 설정된 RGB값으로 디스플레이된다. In step S30, one row or one column is displayed with the RGB values respectively set.

단계 S40은 마지막 라인까지 디스플레이가 수행되었는지를 확인한다.Step S40 checks whether display has been performed until the last line.

일 실시예에서는 총 16번 디스플레이가 수행되었는지를 확인되면 다음 단계로 이어진다.In one embodiment, if it is confirmed that a total of 16 displays are performed, the process proceeds to the next step.

단계 S50에서 1행 혹은 1열의 R, G, B LED 군 중에서 수광 및 발광이 겸용으로 설치한 R 소자에 대하여 전류 값을 측정한다.In step S50, a current value is measured with respect to the R element installed as both light receiving and light emitting among the R, G, and B LED groups in one row or one column.

단계 S60에서 마지막 라인까지 전류 값 측정이 측정되었는 지를 확인한다.
In step S60 it is checked whether the current value measurement has been measured up to the last line.

상기 측정 시간은 전체 엘이디의 발광시간의 1/5 ~ 1/4 정도를 차지하며 R LED는 측정을 위해 차단되는 시간을 감안하여 발광량이 가산되어 제어된다.The measurement time occupies about 1/5 to 1/4 of the light emission time of the entire LED, and the R LED is controlled by adding the light emission amount in consideration of the time to be blocked for measurement.

단계 S70에서 검출 알고리즘이 수행되며 수행된 결과에 따라 단계 S120에서 디스플레이를 제어하게 된다.A detection algorithm is performed in step S70 and the display is controlled in step S120 according to the performed result.

측정된 전류 값에 해당하는 발광 겸용 소자의 행렬 위치 정보 신호를 디스플레이제어장치(10)로 전송하면 디스플레이제어장치(10)에서 전송된 신호에 따라 동작명령을 수행하도록 제어한다.When the matrix position information signal of the light-emitting device corresponding to the measured current value is transmitted to the display control apparatus 10, the display control apparatus 10 controls to perform an operation command according to the transmitted signal.

외부 조명이 있을 경우에는 터치에 의하여 외부 조명에 의한 감지 전류가 변하게 되므로 이 변하는 전류를 감지하여 터치 지점을 선별하게 된다.
If there is an external lighting, the sensing current by the external lighting is changed by the touch, so that the touch point is selected by sensing the changing current.

S20단계에서 외부 조명이 없음 모드로 선택된 경우, 단계 S80에서 디스플레이 준비와 전류 검출 준비를 한다.When the external lighting is selected in step S20, the display preparation and the current detection preparation are made in step S80.

일 실시예에서는 최초 1행의 G, B LED Array에 디스플레이를 준비하고, 2행의 R LED Array에 전류 값 측정을 준비하게 된다.In one embodiment, the display is prepared in the first row of G and B LED arrays, and the current value measurement is prepared in two rows of the R LED arrays.

일 실시예에서는 아래 표1에 설명된 예시 열대로 수행된다.
In one embodiment, the example tropics described in Table 1 below.

디스플레이 및 측정 제어Display and measurement control 디스플레이
G,B LED
display
G, B LED
1One 22 33 44 55 66 77 88
측정
R LED
Measure
R LED
22 1One 44 33 66 55 88 77

측정된 R LED의 전류 값에 의하여 검출 알고리즘이 수행된다.
The detection algorithm is performed by measuring the current value of the R LED.

단계 S90에서는 설정된 행 혹은 열의 LED를 디스플레이함과 동시에 디스플레이되지 않게 설정된 행 혹은 열의 다른 색 LED의 전류 값을 측정한다. In step S90, the LED of the set row or column is displayed and the current value of the other color LED of the row or column that is not displayed is measured.

외부 조명이 없을 경우에는 내부에서 발광하는 G, B LED가 터치체에 의하여 반사되고 여기된 광이 반사되어 터치 지점에서 더 많은 전류가 흐르게 되는데 본 발명의 일 실시예에서는 이 터치 지점의 전류의 변화를 분석하여 터치 지점을 검출할 수 있게 된다.In the absence of external lighting, the G and B LEDs that emit from the inside are reflected by the touch body and the excited light is reflected so that more current flows at the touch point. It is possible to detect the touch point by analyzing the.

디스플레이와 측정은 인접한 두 행 혹은 두 열에서 수행된다.Display and measurement are performed in two adjacent rows or two columns.

일 실시예에서는 설정된 행 혹은 열의 G, B LED를 디스플레이함과 동시에 설정된 행 혹은 열의 R LED의 전류 값이 측정된다.In one embodiment, the current value of the R LED of the set row or column is measured while displaying the G and B LEDs of the set row or column.

단계 S100에서는 전류 값 측정이 끝난 R LED에 대한 디스플레이를 수행한다.
In step S100, the display of the R LED after the current value measurement is performed.

도 4 는 본 발명의 일 실시예에 따른 상기 단계 S80부터 S100까지 각 RGB LED에 대한 동작 순서를 타이밍 차트로 나타낸 것이다.4 is a timing chart showing an operation sequence for each RGB LED from the step S80 to S100 according to an embodiment of the present invention.

도 4를 참조하면, R LED의 비활성화 구간에서 측정이 수행되며 검출주기의 측정시간은 발광 시간에 비하여 짧은 시간에 측정된다.Referring to FIG. 4, the measurement is performed in an inactive section of the R LED and the measurement time of the detection period is measured in a short time compared to the light emission time.

또한, R LED의 측정 시간 동안에 G,B LED는 발광하게 된다.
In addition, the G and B LEDs emit light during the measurement time of the R LEDs.

도 5는 측정된 전류 값을 이용한 터치에 대한 검출 수행 단계를 나타내는 프로세스이다.5 is a process illustrating a detection step for a touch using a measured current value.

단계 S71은 데이터 획득단계이다.Step S71 is a data acquisition step.

본 발명의 일 실시예에 따르면, 단계 S71은 조명이 있는 모드와 없는 모드에서 동일하게 적용된다.According to one embodiment of the invention, step S71 is applied equally in a mode with and without an illumination.

일 실시예에서는 측정된 전류 값 1~8행, 1~8 열의 값을 각각 더해주어 2차원으로 확장한 값이 계산된다.In an exemplary embodiment, a value expanded in two dimensions is calculated by adding the measured current values 1 to 8 and 1 to 8, respectively.

[표 2]는 LED 자리에 매칭되는 64개의 테이블이 사용되는 것을 나타낸다.Table 2 shows that 64 tables matching the LED positions are used.

본 발명의 일 실시예에 따르면, 터치의 효과적인 검출을 위하여 디스플레이는 순차적으로 진행하며 터치는 디스플레이되는 LED행 또는 열의 주변의 R LED의 전류 변화를 분석하여 검출될 수 있게 된다.
According to one embodiment of the invention, the display proceeds sequentially for effective detection of the touch and the touch can be detected by analyzing the current change of the R LED around the displayed LED row or column.

2차원으로 확장된 행, 열 데이터 조합2-dimensional extended row and column data combinations 열 1Column 1 열 2Column 2 열 3Column 3 열 4Column 4 열 5Column 5 열 6Column 6 열 7Column 7 열 8Column 8 행 1Row 1 행1+열1Row1 + column1 행1+열2Row1 + column2 행1+열3Row1 + column3 행1+열4Row1 + column4 행1+열5Row1 + column5 행1+열6Row1 + column6 행1+열7Row1 + column7 행1+열8Row1 + column8 행 2Row 2 행2+열1Row2 + column1 행2+열2Row2 + column2 행2+열3Row2 + column3 행2+열4Row2 + column4 행2+열5Row2 + column5 행2+열6Row2 + column6 행2+열7Row2 + column7 행2+열8Row2 + column8 행 3Row 3 행3+열1Row3 + column1 행3+열2Row3 + column2 행3+열3Row3 + column3 행3+열4Row3 + column4 행3+열5Row3 + column5 행3+열6Row3 + column6 행3+열7Row3 + column7 행3+열8Row3 + column8 행 4Row 4 행4+열1Row4 + column1 행4+열2Row4 + column2 행4+열3Row4 + column3 행4+열4Row4 + column4 행4+열5Row4 + column5 행4+열6Row4 + column6 행4+열7Row4 + column7 행4+열8Row4 + column8 행 5Row 5 행5+열1Row5 + column1 행5+열2Row5 + column2 행5+열3Row5 + column3 행5+열4Row5 + column4 행5+열5Row5 + column5 행5+열6Row5 + column6 행5+열7Row5 + column7 행5+열8Row5 + column8 행 6Row 6 행6+열1Row6 + column1 행6+열2Row6 + column2 행6+열3Row 6 + column 3 행6+열4Row6 + column4 행6+열5Row 6 + column 5 행6+열6Row6 + column6 행6+열7Row 6 + column 7 행6+열8Row6 + column8 행 7Row 7 행7+열1Row7 + column1 행7+열2Row7 + column2 행7+열3Row 7 + column 3 행7+열4Row 7 + column 4 행7+열5Row 7 + column 5 행7+열6Row 7 + column 6 행7+열7Row7 + column7 행7+열8Row 7 + column 8 행 8Row 8 행8+열1Row8 + column1 행8+열2Row8 + column2 행8+열3Row8 + column3 행8+열4Row8 + column4 행8+열5Row8 + column5 행8+열6Row8 + column6 행8+열7Row8 + column7 행8+열8Row8 + column8

도 6은 본 발명의 일 실시예에 따른 2차원으로 확장된 테이블 화면을 나타낸 도면이다.6 is a diagram illustrating a table screen extended in two dimensions according to an embodiment of the present invention.

도 6을 참조하면 한 픽셀의 값은 약 120~150 사이 값을 나타낸다. 상기 값은 일상 조명이 있는 실내 환경에서 측정된 값이며 LED소자의 특성이나 증폭 회로의 설계, ADC의 기준 전압 설정 등에 따라 달라질 수 있다.
Referring to FIG. 6, a value of one pixel represents a value between about 120 and 150. The value is measured in an indoor environment with everyday lighting and may vary depending on the characteristics of the LED device, the design of the amplification circuit, and the reference voltage setting of the ADC.

단계 S72은 평균값 업데이트 단계이다.Step S72 is an average value updating step.

본 발명의 일 실시예에 따른 단계 S72에서 누적된 평균값과 현재 값에 반응 감도를 조정하기 위한 가중치를 두어 평균값을 갱신한다. 상기 설정된 가중치에 따라 터치 반응 감도를 소프트웨어적으로 조정해줄 수 있다. In step S72 according to an embodiment of the present invention, the average value is updated by giving a weight for adjusting the reaction sensitivity to the accumulated average value and the current value. The touch response sensitivity may be adjusted in software according to the set weight.

단계 S73은 평균값과 현재 값의 편차를 구하는 단계이다.Step S73 is a step of obtaining a deviation between the average value and the current value.

본 발명의 일 실시예에서는 다음 식들의 연산에 따라 편차를 구하게 된다.
In an embodiment of the present invention, the deviation is calculated according to the calculation of the following equations.

[식 1][Formula 1]

Figure 112012016469317-pat00001
Figure 112012016469317-pat00002
,
Figure 112012016469317-pat00003
Figure 112012016469317-pat00004
,
Figure 112012016469317-pat00005
Figure 112012016469317-pat00006

Figure 112012016469317-pat00001
Figure 112012016469317-pat00002
,
Figure 112012016469317-pat00003
Figure 112012016469317-pat00004
,
Figure 112012016469317-pat00005
Figure 112012016469317-pat00006

[식 2][Formula 2]

Figure 112012016469317-pat00007
Figure 112012016469317-pat00007

[식3][Formula 3]

Figure 112012016469317-pat00008

Figure 112012016469317-pat00008

[식4][Formula 4]

Figure 112012016469317-pat00009

Figure 112012016469317-pat00009

[식5][Formula 5]

Figure 112012016469317-pat00010
/
Figure 112012016469317-pat00011
Figure 112012016469317-pat00010
Of
Figure 112012016469317-pat00011

[식 6][Formula 6]

Figure 112012016469317-pat00012
Figure 112012016469317-pat00012

[식 1]의 t는 현재의 시간, i는 행, j는 열, V는 지점에 측정된 전압 데이터 값, r과 c는 0~7까지의 벡터를 의미한다. [식 1]은 단계 S71에서 행과 열로 이루어진 전류 값을 [표 2]의 64개의 테이블에 해당되는 전류 값 데이터를 만드는 식이다.In Equation 1, t denotes a current time, i denotes a row, j denotes a column, V denotes a voltage data value measured at a point, and r and c denote vectors from 0 to 7. [Equation 1] is a formula for making current value data corresponding to 64 tables of [Table 2] from current values composed of rows and columns in step S71.

[식 2]의 M은 각 지점의 누적된 평균값을 의미하며, W는 가중치를 뜻한다. M in [Equation 2] means the accumulated average value of each point, W is the weight.

[식 3]의 △는 편차를 의미하며, [식 4]의 △*은 누적된 편차를 의미한다.
Δ in [Equation 3] means deviation, and Δ * in [Equation 4] means accumulated deviation.

위 [식 2]를 참조하면 W는 1보다 큰 값으로 설정되며 값이 커짐에 따라 현재 값의 비중이 떨어져 누적된 평균값의 영향이 줄어들게 된다.Referring to [Equation 2] above, W is set to a value larger than 1, and as the value increases, the weight of the current value decreases and the influence of the accumulated mean value decreases.

단계 S73은 각 평균값에서 현재 값을 빼어 편차를 구하는 단계이다. Step S73 is a step of obtaining a deviation by subtracting the current value from each average value.

본 발명의 일 실시예에 따르면, 위 [식 3]과 같이 누적된 평균값에서 현재 값을 빼주어 편차를 구하게 된다.According to an embodiment of the present invention, the deviation is obtained by subtracting the current value from the accumulated average value as shown in [Equation 3].

단계 S74에서, 이전 편차값과 현재 편차값을 더하여 새로운 편차값을 형성한다. In step S74, the previous deviation value and the current deviation value are added to form a new deviation value.

본 발명의 일 실시예에서는 [식 4]를 참조하여 이전 편차와 현재 편차를 더하여 누적 편차를 구하여 준다. In an embodiment of the present invention, the cumulative deviation is obtained by adding the previous deviation and the current deviation with reference to [Equation 4].

[식 4]에서는 t-1 시간에 대한 편차만을 고려하였으나, t-1 이전의 시간을 추가로 고려할 수 있다. In Equation 4, only the deviation for time t-1 is considered, but the time before t-1 may be additionally considered.

누적 편차는 노이즈 제거와 정밀성을 높여 준다. Cumulative deviation increases noise rejection and precision.

실제 적용 시 빠른 속도로 지나가는 물체나 외부 충격 등에 의한 노이즈가 발생할 경우에 t 시간 자체에서 본 편차는 기준 값을 벗어날 수 있으나, 순간적으로 변하고 지나가기 때문에 누적 편차는 임계값을 벗어나지 않도록(터치로 검출되지 않도록) 소프트웨어적으로 보상하여준다.
In actual applications, when noise caused by a fast-moving object or external impact occurs, the deviation seen at t time itself may deviate from the reference value, but because it changes and passes momentarily, the accumulated deviation does not deviate from the threshold (touch detection). Software compensation).

단계 S75는 평균값과 누적 편차에 대한 비율을 결정하는 단계이다.Step S75 is a step of determining the ratio between the mean value and the cumulative deviation.

본 발명의 일 실시예에서는 단계 S75에서 [식 5]를 참조하여 누적편차를 평균값으로 나누어 평균값과 누적 편차에 대한 비율을 결정하게 된다.In an embodiment of the present invention, the cumulative deviation is divided by the average value with reference to [Equation 5] in step S75 to determine the ratio between the average value and the cumulative deviation.

단계 S76은 동작모드를 선택하는 단계이다.Step S76 is a step of selecting an operation mode.

본 발명의 일 실시예에서는 단계 S76에서는 미리 결정되어 있는 모드가 선택된다.In one embodiment of the present invention, a predetermined mode is selected in step S76.

본 발명의 일 실시예에서는 [식 6]을 참조하여 누적된 평균값 전체에 대한 새로운 평균을 구하고 그 크기를 비교하여 외부 조명에 유무를 판단한다.In an embodiment of the present invention, a new average of all the accumulated average values is obtained with reference to [Equation 6], and the presence or absence of external illumination is determined by comparing the magnitudes.

R LED 전체에서 측정된 전류 값의 평균이기 때문에 현재 입사되는 광량 즉 주변 조도라고 할 수 있다.Since it is the average of the current values measured across the R LEDs, it can be said to be the amount of light currently incident, that is, the ambient illuminance.

누적된 전류값의 평균을 이용하여 전체에 대한 평균값을 구해 순간 반응에 대한 약점을 보완하며 소프트웨어를 통해 구성된 시스템의 전체 전류 값을 조명 유무에 따라 체크한 뒤 20의 값을 설정하여 조명 판별에 사용한다. Compensate for the weak point of the instantaneous response by calculating the average value of the whole using the average of the accumulated current value, and check the total current value of the system configured through the software according to the lighting status and set the value of 20 to determine the lighting do.

즉, 위 평균값의 의미는 누적된 조명의 평균값에 대한 현재 조명의 평균값을 의미하게 되므로 과거의 누적된 학습데이터에 따라 터치 판단에 영향을 주는 조명 유무를 판단할 수 있다.That is, the mean value of the above means the average value of the current light to the average value of the cumulative illumination, it is possible to determine whether the illumination affects the touch determination according to the accumulated learning data in the past.

본 발명의 일 실시예에서는 [식 6]에서 구한 전체 평균값이 20 이하일 경우 조명이 없는 경우로 동작하도록 설정된다.
In one embodiment of the present invention, if the total average value obtained in [Equation 6] is 20 or less, it is set to operate in the absence of illumination.

상기 설정된 값은 RGB LED Array의 배치나 설치된 확산판의 투과율에 따라 달라질 수 있다.The set value may vary depending on the arrangement of the RGB LED array or the transmittance of the installed diffusion plate.

본 발명의 일 실시예에 따르면 터치검출은 결정되어있는 동작 모드에 따라 다르게 수행된다. 터치의 검출은 On과 Off 두 가지가 구별되며, On은 터치가 되었음을 Off는 터치가 끝났음을 의미하게 된다.According to an embodiment of the present invention, touch detection is performed differently according to the determined operation mode. The detection of the touch is distinguished between On and Off, and On means that the touch is off, Off means that the touch is finished.

단계 S77 은 외부 조명이 있는 모드에서 검출하는 단계이다.Step S77 is a step of detecting in a mode with external illumination.

본 발명의 일 실시예에 따르면, 단계 S77에서 외부 조명이 있는 경우 On은 양의 값에서 일정 값 이상일 때, Off는 음의 값에서 일정 값 이하일 때를 검출하게 된다.According to an embodiment of the present invention, when there is external lighting in step S77, when On is a positive value or more than a predetermined value, Off is detected when a negative value is a predetermined value or less.

본 발명의 일 실시예에 따른 [식 5]를 참조하면, Threshold 값은 On 일 경우, 0.3을 넘도록 하고, Off 일 경우는 - 0.15 보다 작게 되도록 설정된다. 설치된 환경과 동작의 선호 방식에 따라 상기 Threshold 값은 적정 범위로 변경될 수 있다. Referring to [Equation 5] according to an embodiment of the present invention, the Threshold value is set to be greater than 0.3 when On, and less than -0.15 when Off. The threshold value may be changed to an appropriate range according to the installed environment and the preferred method of operation.

본 발명의 일 실시예에 따르면, 주변의 조명이 있는 상태에서는 터치를 하게 되면 광량이 줄게 되므로 터치에 의하여 전류 값이 감소하게 되는 데, 이 감소되는 전류 값을 검출하여 터치 유무 및 지점을 검출하게 된다.
According to an embodiment of the present invention, since the amount of light decreases when the touch is performed in the state of surrounding lighting, the current value is reduced by the touch, and the presence or absence of the touch is detected by detecting the reduced current value. do.

단계 S78은 조명이 없는 모드로 검출하는 단계이다Step S78 is a step of detecting in no light mode.

일 실시예에서는 단계 S78에서 이전 모드(조명이 있는 경우)와 반대의 결과로 터치를 검출하게 된다.In one embodiment, in step S78, the touch is detected as a result opposite to the previous mode (when there is light).

즉, On은 음에 값에서 일정 값 이하일 때, Off는 양의 값에서 일정 값 이상일 때를 검출하게 된다.That is, On detects when On is less than or equal to a certain value from Negative value, Off detects when On is more than or equal to a certain value.

본 발명의 일 실시예에 따른 [식 5]를 참조하면, Threshold 값은 On 일 경우 - 0.3보다 작도록 설정하고, Off일 경우 0.15 보다 크게 설정된다. 설치된 환경과 동작의 선호 방식에 따라 Threshold 값은 변경될 수 있다.Referring to [Equation 5] according to an embodiment of the present invention, the Threshold value is set to less than -0.3 when On, and larger than 0.15 when Off. The threshold value can be changed depending on the installed environment and the preferred method of operation.

즉, 본 발명의 일 실시예에 따르면, 조명이 없는 경우에는 터치에 의하여 터치체에서 여기된 내부 디스플레이 광의 반사에 따른 전류 값의 증가를 R LED에서 검출된 전류를 바탕으로 검출할 수 있게 된다.That is, according to an embodiment of the present invention, when there is no illumination, the increase in the current value according to the reflection of the internal display light excited by the touch by touch can be detected based on the current detected by the R LED.

단계 S79는 On, Off 터치 지점에 대한 데이터를 디스플레이 제어 장치로 전송하는 단계이다.Step S79 is a step of transmitting data for On and Off touch points to the display control device.

본 발명의 일 실시예에 따르면, 단계 S79는 전류 값의 증가 또는 감소가 설정된 값 이상으로 검출된 R LED의 행, 열 좌표값을 터치 지점으로 인식하고, On Off 터치 지점에 대한 데이터를 디스플레이 제어 장치로 전송한다.According to an embodiment of the present invention, step S79 recognizes the row and column coordinate values of the R LED detected as the increase or decrease of the current value more than the set value as the touch point, and displays the data for the On Off touch point. To the device.

전송방식은 UART (universal asynchronous receiver transmitter 만능 비동기 송수신)통신 방식을 채택할 수 있다.Transmission method may adopt UART (universal asynchronous receiver transmitter).

또한, 사용자에게 터치가 되었음을 알 수 있도록 터치 지점에 대한 디스플레이 데이터를 변경시킬 수 있다.
In addition, the display data for the touch point may be changed so that the user may know that the touch is made.

본 발명의 일 실시예에 따르면, 주변의 조명이 있는 상태에서는 터치를 하게 되면 광량이 줄게 되므로 터치에 의하여 전류값이 감소하게 되며 이 감소되는 전류값을 검출하게 된다.
According to an embodiment of the present invention, since the amount of light decreases when the touch is performed in the presence of ambient lighting, the current value is reduced by the touch and the current value is detected by the touch.

본 발명의 일 실시예에 따르면, 터치의 효과적인 검출을 위하여 디스플레이는 순차적으로 진행하며 터치는 디스플레이되는 LED 행 또는 열의 주변을 선택하여 검출될 수 있다.According to one embodiment of the invention, the display proceeds sequentially for effective detection of the touch and the touch can be detected by selecting the periphery of the LED row or column being displayed.

본 발명의 일 실시예에 따르면, 조명이 있고 없음을 검출하여, 이를 바탕으로 터치 동작에 대한 설정값을 설정하여 터치 지점 검출에 사용될 수 있다.According to an embodiment of the present invention, it is detected that there is illumination and there is no light, and based on this can be used to detect the touch point by setting a set value for the touch operation.

또한, 본 발명의 일 실시예에 따르면, 전류 값을 누적시켜 평균값과 편차를 이용하여 민감도와 반응속도를 소프트웨어적으로 설정하여 줄 수 있게 된다.
In addition, according to an embodiment of the present invention, it is possible to set the sensitivity and the reaction rate by software by accumulating the current value using the average value and the deviation.

단계 S110에서 마지막 라인까지 전류 값 측정이 측정되었는 지를 확인한다.In step S110, it is checked whether the current value measurement is measured until the last line.

일 실시예에서는 총 16번 측정이 되었는지 확인하여 수행된다.In one embodiment, a total of 16 measurements are performed.

단계 S70에서 검출 알고리즘이 수행되며 수행된 결과에 따라 단계 S120에서 디스플레이를 제어하게 된다.
A detection algorithm is performed in step S70 and the display is controlled in step S120 according to the performed result.

10 : 디스플레이 제어 장치
20, 21 : 제1, 2 디스플레이 I/O 제어장치
30 : P MOSFET 전류 공급장치
31 : N MOSFET 전류 공급장치
40 : 디스플레이 패널
50 : 검출부
10: display control device
20, 21: first and second display I / O controller
30: P MOSFET current supply
31: N MOSFET current supply
40: Display panel
50:

Claims (10)

복수의 색으로 발광하는 소자 군이 행과 열로 배열되며 터치 동작에 따른 입력을 감지하는 디스플레이 시스템에 있어서,
상기 복수의 소자 군중 어느 하나의 군은 발광 기능과 수광 기능을 가진 발광 겸용 광전 소자로 형성되며, 상기 발광 겸용 광전 소자를 제외한 나머지는 발광 소자 군으로 형성되는 디스플레이 패널;
상기 발광 겸용 광전 소자의 검출 주기 및 발광 주기를 제어하고, 상기 발광 소자 군의 발광주기를 제어하는 것을 포함하는 디스플레이 제어장치;
상기 검출주기 동안에 터치 동작을 검출하는 검출부;
상기 디스플레이 제어장치의 제어명령에 따라 상기 발광 겸용 광전 소자와 상기 발광 소자의 각 소자별로 전류 공급 및 차단을 제어하는 전류공급장치;
를 포함하며,
상기 디스플레이 제어장치의 제어에 의하여 상기 복수의 소자 군이 설정된 색상으로 전체 컬러 이미지를 디스플레이하면서 동시에 상기 터치 동작을 감지하여 설정된 명령에 의한 제어를 실행하며,
상기 디스플레이 제어장치는 외부 조명이 없는 상태와 외부 조명이 있는 상태를 구분하여 제어를 수행하며, 상기 외부 조명이 없는 상태에서는 인접한 발광 소자 군의 발광 빛이 터치체에 의해 반사되는 광에 의한 전류를 상기 발광 겸용 광전 소자에서 검출하여 터치 동작을 감지하는 것을 특징으로 하는 컬러 영상 디스플레이 터치 제어시스템
A display system in which a group of elements emitting light in a plurality of colors is arranged in rows and columns and senses an input according to a touch operation,
Any one group of the plurality of device group is formed of a light-emitting photoelectric device having a light emitting function and a light receiving function, the display panel is formed of a light emitting device group except the light-emitting combined photoelectric device;
A display control apparatus including controlling a detection period and a light emission period of the combined photoelectric device and controlling a light emission period of the light emitting device group;
A detector configured to detect a touch operation during the detection period;
A current supply device for controlling current supply and interruption for each of the light emitting photovoltaic device and each device of the light emitting device according to a control command of the display control device;
Including;
Under the control of the display control device, the plurality of device groups display the full color image in the set color and at the same time detect the touch operation to execute the control by the set command,
The display control device performs control by dividing the state without external illumination and the state with external illumination, and in the absence of the external illumination, the light emitted by the light emitting element group adjacent to the current is generated by the light reflected by the touch body. Color image display touch control system characterized in that for detecting the touch operation by detecting in the light-emitting photoelectric device
제1항에 있어서,
상기 복수의 색으로 발광하는 소자 군은 R, G, B LED 군이며, 상기 발광 겸용 광전 소자는 R LED군인 것을 특징으로 하는 컬러 영상 디스플레이 터치 제어시스템
The method of claim 1,
The group of devices emitting light in a plurality of colors is a group of R, G, and B LEDs, and the light emitting dual photoelectric device is a group of R LEDs.
제1항에 있어서,
상기 전류공급장치는 각 소자 군의 선택된 행 또는 열에 대하여 상기 개별적인 전류 제어를 위하여 상기 디스플레이 제어장치의 제어 명령에 따라 전류를 공급 또는 차단상태로 제어되는 P와 N타입의 MOSFET 전류 공급장치인 것을 특징으로 하는 컬러 영상 디스플레이 터치 제어시스템
The method of claim 1,
The current supply device is a MOSFET current supply device of the P and N type which is controlled to supply or cut off the current according to the control command of the display controller for the individual current control for the selected row or column of each device group. Color image display touch control system
삭제delete 제1항에 있어서,
상기 검출주기에 대한 측정시간은 30 ~ 60[Hz] 마다 0.2 ~ 1[ms]인 것을 특징으로 하는 컬러 영상 디스플레이 터치 제어시스템
The method of claim 1,
Measurement time for the detection period is a color image display touch control system, characterized in that 0.2 ~ 1 [ms] every 30 ~ 60 [Hz]
복수의 색으로 발광하는 소자 군이 행과 열로 배열되며 터치 동작에 따른 입력을 감지하는 컬러 영상 디스플레이 제어 및 터지 검출 제어 방법에 있어서,
상기 복수의 소자 군중 어느 하나의 군은 발광 기능과 수광 기능을 가진 발광 겸용 광전 소자로 형성되며, 상기 발광 겸용 광전 소자를 제외한 나머지는 발광 소자 군으로 형성되어 디스플레이 패널에서 디스플레이되며;
디스플레이 제어장치에 의하여 상기 발광 겸용 광전 소자는 검출 주기의 측정 시간 동안에 수광 기능을 수행하고 발광 주기에서는 발광 기능을 수행하며, 상기 검출주기 동안에 터치 동작을 검출하도록 제어되며;
전류공급장치에 의하여 상기 디스플레이 제어장치의 제어명령에 따라 발광 겸용 광전 소자와 상기 발광 소자 군의 각 소자별로 전류 공급 및 차단이 제어되며;
상기 디스플레이 제어장치의 제어에 의하여 상기 디스플레이 패널에 설정된 색상으로 전체 컬러 이미지를 디스플레이하면서 동시에 상기 발광 겸용 광전 소자 군들은 상기 터치 동작을 감지하는 디스플레이 제어가 실행되되,
상기 디스플레이 제어는
외부 조명이 있고 없음에 따라 동작 모드를 선택적으로 수행되는 단계;
상기 외부 조명이 있는 모드에서는 상기 발광 겸용 광전 소자에서 검출 주기 동안에 외부 조명이 터치체에 의하여 감소되는 전류 값을 분석하여 터치 여부를 검출하고, 상기 검출된 전류 값에 해당하는 발광 겸용 소자의 행렬 위치 정보 신호를 전송하는 단계; 및
상기 전송된 신호에 따라 동작명령을 수행하는 단계;를 더 포함하는 것을 특징으로 하는 컬러 영상 디스플레이 제어 및 터지 검출 제어 방법
A color image display control and touch detection control method in which a group of elements emitting light in a plurality of colors is arranged in rows and columns and senses an input according to a touch operation,
Any one group of the plurality of device crowds is formed of a light-emitting photoelectric device having a light-emitting function and a light-receiving function, and the rest except the light-emitting photoelectric device is formed of a light-emitting device group and displayed on a display panel;
By the display controller, the light-emitting photoelectric device is controlled to perform a light receiving function during a measurement time of a detection period, to perform a light emitting function in a light emission period, and to detect a touch operation during the detection period;
A current supply and a shut-off are controlled for each element of the light emitting combined use photoelectric device and the light emitting device group according to a control command of the display control device by a current supply device;
While displaying the full color image in the color set on the display panel under the control of the display control device, the display control for detecting the touch operation is performed on the light-emitting photoelectric device groups,
The display control
Selectively performing an operation mode as there is external lighting and no;
In the external illumination mode, the light emitting photovoltaic device analyzes a current value of which the external light is reduced by the touch body during the detection period to detect whether the touch is performed, and positions a matrix of the light emitting device corresponding to the detected current value. Transmitting an information signal; And
And performing an operation command according to the transmitted signal.
삭제delete 제6항에 있어서,
상기 디스플레이 제어는
외부 조명이 있고 없음에 따라 동작 모드를 선택적으로 수행하는 단계;
상기 외부 조명이 없는 모드에서는 검출 주기 동안에 내부에 인접한 발광소자에서 발광된 빛이 터치체에 의해 반사된 광에 의하여 상기 발광 겸용 광전 소자에 흐르는 전류 값이 증가하는 것을 분석하여 터치 동작을 검출하고, 상기 검출된 터치 동작에 해당하는 발광 겸용 소자의 행열 위치 정보 신호를 전송하는 단계;
상기 전송된 신호에 따라 동작명령을 수행하는 단계;를 포함하는 것을 특징으로 하는 컬러 영상 디스플레이 제어 및 터지 검출 제어 방법
The method according to claim 6,
The display control
Selectively performing an operating mode in the presence or absence of external lighting;
In the mode without the external illumination, the touch operation is detected by analyzing that the light emitted from the light emitting element adjacent to the inside increases during the detection period, the current value flowing through the light emitting photovoltaic element is increased by the light reflected by the touch body, Transmitting a matrix position information signal of a light-emitting device corresponding to the detected touch operation;
Performing an operation command according to the transmitted signal; color image display control and touch detection control method
제6항 또는 제8항에 있어서,
상기 전류 값을 누적시켜 평균값과 편차를 이용하여 민감도와 반응속도를 설정해주는 것을 특징으로 하는 컬러 영상 디스플레이 제어 및 터지 검출 제어 방법
9. The method according to claim 6 or 8,
Color image display control and touch detection control method characterized by setting the sensitivity and the reaction rate by accumulating the current value using the average value and the deviation
제6항 또는 제8항에 있어서,
상기 외부 조명의 있음과 없음을 구별하는 것은 상기 전류 값 전체의 평균을 설정된 조명의 누적 평균값과 비교하여 구별하는 것을 특징으로 하는 컬러 영상 디스플레이 제어 및 터지 검출 제어 방법
9. The method according to claim 6 or 8,
Distinguishing the presence or absence of the external illumination is a color image display control and touch detection control method characterized by distinguishing the average of the entire current value by comparing with the cumulative average value of the set illumination
KR1020120020517A 2012-02-28 2012-02-28 Color image display, tough control system and method for detection touch action KR101333216B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120020517A KR101333216B1 (en) 2012-02-28 2012-02-28 Color image display, tough control system and method for detection touch action

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120020517A KR101333216B1 (en) 2012-02-28 2012-02-28 Color image display, tough control system and method for detection touch action

Publications (2)

Publication Number Publication Date
KR20130098746A KR20130098746A (en) 2013-09-05
KR101333216B1 true KR101333216B1 (en) 2013-11-26

Family

ID=49450486

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120020517A KR101333216B1 (en) 2012-02-28 2012-02-28 Color image display, tough control system and method for detection touch action

Country Status (1)

Country Link
KR (1) KR101333216B1 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100005023A (en) * 2007-02-15 2010-01-13 엑셈피디스플레이 주식회사 Led's driving apparatus in display panel
JP2010191438A (en) * 2010-03-08 2010-09-02 Sony Corp Display device and display method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100005023A (en) * 2007-02-15 2010-01-13 엑셈피디스플레이 주식회사 Led's driving apparatus in display panel
JP2010191438A (en) * 2010-03-08 2010-09-02 Sony Corp Display device and display method

Also Published As

Publication number Publication date
KR20130098746A (en) 2013-09-05

Similar Documents

Publication Publication Date Title
US11166641B2 (en) Dynamically reconfigurable apertures for optimization of PPG signal and ambient light mitigation
US10713998B2 (en) Organic light emitting diode display having photodiodes
CN107797687B (en) Display panel, display device, integrated drive circuit and drive method
KR101883963B1 (en) Oled interface
TWI386833B (en) Touch panel and input device comprising the same
TWI623010B (en) Input apparatus, electronic device and sensor sheet
US20160021722A1 (en) AMOLED Light Sensing
US20150348504A1 (en) Interactive display panel with emitting and sensing diodes
US11473938B2 (en) Enhancing sensitivity and robustness of mechanical rotation and position detection with capacitive sensors
JP2011099982A (en) Display device, and control method of the same
US20170147140A1 (en) Touch panel device, input device, and touch panel system
CN105741771A (en) Light emitting element brightness determining method, brightness determining device and mobile terminal
KR20200073342A (en) Testing device of display module, testing system having the same and testing method of the same
US20070261257A1 (en) Tilt Detector and Tilt Detecting Method for the Same
KR101333216B1 (en) Color image display, tough control system and method for detection touch action
CN105739766B (en) A kind of touch control display apparatus and foreign matter detecting method, electric terminal based on it
JP5414186B2 (en) Display device
TW202036249A (en) Led circuit and touch sensing method
WO2018205668A1 (en) Electroluminescent device, touch display panel, and touch display apparatus
US10332942B2 (en) OLED touch display panel
CN106804082B (en) A kind of compensation method of visual intensity, compensation device and mobile terminal
US20240160318A1 (en) Touch Display Device and Touch Sensing Method
CN109856524A (en) Voltage measurement method and tension measuring circuit
CN110647251A (en) Light emitting diode device with touch sensing function
CN115798408B (en) Pixel driving circuit and display device

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161114

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20171120

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20181119

Year of fee payment: 6