KR20150077783A - Algorithm of touch using gaussian mixture model - Google Patents
Algorithm of touch using gaussian mixture model Download PDFInfo
- Publication number
- KR20150077783A KR20150077783A KR1020130166619A KR20130166619A KR20150077783A KR 20150077783 A KR20150077783 A KR 20150077783A KR 1020130166619 A KR1020130166619 A KR 1020130166619A KR 20130166619 A KR20130166619 A KR 20130166619A KR 20150077783 A KR20150077783 A KR 20150077783A
- Authority
- KR
- South Korea
- Prior art keywords
- cluster
- touch
- reference point
- effective
- probability
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Position Input By Displaying (AREA)
Abstract
Description
본 발명은 터치 알고리즘에 관한 것으로, 특히 저 해상도의 정전방식 터치 표시장치에서 다중 근접 터치들의 좌표를 정확하게 추출할 수 있는 터치 알고리즘에 대한 것이다. The present invention relates to a touch algorithm, and more particularly, to a touch algorithm capable of accurately extracting the coordinates of multiple proximity taps in a low resolution electrostatic touch display device.
종래의 정전방식 터치표시장치에 사용되는 터치센서들은 손가락 크기의 반에 해당하는 약 5mm정도의 전극 너비를 갖고 있어 물리적으로 낮은 터치 해상도를 가질 수밖에 없다. 따라서, 종래의 저 해상도의 정전방식 터치표시장치는, 두 개의 근접한 터치들, 즉 다중 근접 터치들이 발생하였을 때, 이를 두 개의 터치들로 인식하지 못하고 하나의 터치로 오 인식하는 문제점을 갖고 있었다.The touch sensors used in the conventional electrostatic-type touch display device have an electrode width of about 5 mm, which is half the size of the finger, so that they have a physically low touch resolution. Accordingly, the conventional low resolution electrostatic touch display device has a problem that when two adjacent touches, that is, multiple proximity taps, are generated, they are not recognized as two taps and are recognized as a single touch.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로, 가우시안 합성 모델을 이용하여 다중 근접 터치들에 대한 개별 좌표를 정확하게 추출할 수 있는 터치 알고리즘을 제공하는데 그 목적이 있다.SUMMARY OF THE INVENTION It is an object of the present invention to provide a touch algorithm capable of accurately extracting individual coordinates of multiple proximity touches using a Gaussian composite model.
상기와 같은 목적을 달성하기 위한 본 발명에 따른 가우시안 합성 모델을 이용한 터치 알고리즘은, 다수의 터치센서들 각각의 공간적 위치 정보 및 각각의 터치 여부 정보를 포함하는 다수의 원소들을 생성하는 A단계; 상기 터치 여부 정보를 근거로, 터치된 터치센서들에 대응되는 원소들만을 선택하고, 그 선택된 원소들을 유효 원소들로 정의하는 B단계; 상기 공간적 위치 정보들에 포함된 임의의 2개의 특정 좌표들을 각각 제 1 기준 포인트 및 제 2 기준 포인트로 설정하는 C단계; 상기 제 2 기준 포인트보다 상기 제 1 기준 포인트에 공간적으로 더 근접하여 위치한 유효 원소들을 제 1 클러스터로 그룹화하고, 상기 제 1 기준 포인트보다 상기 제 2 기준 포인트에 공간적으로 더 근접하여 위치한 유효 원소들을 제 2 클러스터로 그룹화하는 D단계; 상기 제 1 클러스터에 속한 유효 원소들의 공간적 위치 정보를 근거로 제 1 가우시안 분포를 산출하고, 제 2 클러스터에 속한 유효 원소들의 공간적 위치 정보를 근거로 제 2 가우시안 분포를 산출하는 E단계; 상기 제 1 가우시안 분포로부터 상기 제 1 클러스터의 유효 원소들이 그 제 1 클러스터에 포함될 확률을 그 유효 원소별로 산출하고, 그리고 상기 제 2 가우시안 분포로부터 상기 제 2 클러스터의 유효 원소들이 그 제 2 클러스터에 포함될 확률을 그 유효 원소별로 산출하는 F단계; 상기 제 1 클러스터에 속한 유효 원소들의 각 위치 정보 및 이들에 대한 확률들을 근거로 제 1 평균값을 산출하고, 상기 제 2 클러스터에 속한 유효 원소들의 각 위치 정보 및 이들에 대한 확률들을 근거로 제 2 평균값을 산출하는 G단계; 상기 제 1 평균값에 대응되는 좌표를 상기 제 1 기준 포인트의 좌표로 재설정하고, 상기 제 2 평균값에 대응되는 좌표를 상기 제 2 기준 포인트의 좌표로 재설정하는 H단계; 상기 H단계로부터 재설정된 제 1 기준 포인트 및 제 2 기준 포인트를 근거로 상기 D단계 내지 F단계들 순차적으로 수행하고, 첫 번째 F단계로부터 얻어진 각 유효 원소에 대한 확률과 두 번째 F단계로부터 얻어진 각 유효 원소에 대한 확률을 서로 대응되는 것끼리 비교하여, 가장 큰 차이를 갖는 한 쌍의 유효 원소들간의 차 값이 미리 설정된 조건을 만족하는지를 판단하는 I단계; 및, 상기 I단계에서의 판단 결과가 참으로 확인될 경우, 상기 첫 번째 F단계에서 얻어진 제 1 기준 포인트 및 제 2 기준 포인트를 근거로 각각 제 1 터치에 대한 좌표 및 제 2 터치에 대한 좌표를 설정하는 J단계를 포함함을 특징으로 한다.According to another aspect of the present invention, there is provided a touch algorithm using a Gaussian composite model, the method comprising: A) generating a plurality of elements including spatial position information and respective touch information of a plurality of touch sensors; Selecting only the elements corresponding to the touched touch sensors based on the touch information, and defining the selected elements as effective elements; Setting any two specific coordinates included in the spatial position information as a first reference point and a second reference point, respectively; Grouping the effective elements located spatially closer to the first reference point than the second reference point into a first cluster, and grouping the effective elements located spatially closer to the second reference point than the first reference point D grouping into two clusters; An E step of calculating a first Gaussian distribution based on the spatial position information of the effective elements belonging to the first cluster and a second Gaussian distribution based on the spatial position information of the effective elements belonging to the second cluster; From the first Gaussian distribution, the probability that the effective elements of the first cluster will be included in the first cluster, and from the second Gaussian distribution, the effective elements of the second cluster are included in the second cluster An F step of calculating a probability for each effective element; Calculating a first average value based on each positional information of the effective elements belonging to the first cluster and the probabilities thereof, calculating a second mean value based on each positional information of the effective elements belonging to the second cluster, G; Resetting the coordinates corresponding to the first mean value to the coordinates of the first reference point and resetting the coordinates corresponding to the second mean value to the coordinates of the second reference point; The steps D to F are sequentially performed on the basis of the first reference point and the second reference point reset from the step H, and the probability of each effective element obtained from the first F step, An I step of comparing probabilities corresponding to effective elements with each other to determine whether a difference value between a pair of effective elements having the greatest difference satisfies preset conditions; And if the result of the determination in step I is true, the coordinates for the first touch and the coordinates for the second touch are calculated based on the first reference point and the second reference point obtained in the first step F, And a step of setting J in the step of setting.
상기 I단계에서의 판단 결과가 거짓으로 확인될 경우, 상기 조건이 만족될 때까지 상기 F단계 내지 J단계를 반복 수행함을 특징으로 한다.If the result of the determination in step I is false, the steps F through J are repeated until the condition is satisfied.
서로 떨어져 위치하는 두 개의 터치들이, 시간의 경과에 따라 서로를 향해 점진적으로 다가가면서 겹쳐진 후 분리되는 방향성을 가질 때, 상기 A단계 내지 J단계를 수행함을 특징으로 한다.And the two touches located apart from each other gradually overlap with each other as time elapses, and when the two touches have directionality separated from each other, steps A to J are performed.
상기 I단계에서의 비교 및 판단 과정은, 첫 번째 F단계에서 구해진 확률로부터 각 유효 원소가 제 1 클러스터에 포함될 확률을 선택하는 I-1단계; 첫 번째 F단계에서 구해진 확률들로부터 중 각 유효 원소가 제 2 클러스터에 포함될 확률을 선택하는 I-2단계; 두 번째 F단계에서 구해진 확률들로부터 각 유효 원소가 제 1 클러스터에 포함될 확률을 선택하는 I-3단계; 두 번째 F단계에서 구해진 확률들로부터 각 유효 원소가 제 2 클러스터에 포함될 확률을 선택하는 I-4단계; 및, 상기 I-1단계에서의 확률들과 상기 I-3단계에서의 확률들을 서로 대응되는 것끼리 차감하여 발생된 값들 중 가장 작은 제 1 최소값이 미리 설정된 제 1 조건을 만족하는지를 확인하고, 그리고 상기 I-2단계에서의 확률들과 상기 I-4단계에서의 확률들을 서로 대응되는 것끼리 차감하여 발생된 값들 중 가장 작은 제 2 최소값이 미리 설정된 제 2 조건을 만족하는지를 확인하는 I-5단계를 포함함을 특징으로 한다.The comparing and judging process in the step I includes: an I-1 step of selecting a probability that each effective element is included in the first cluster from a probability obtained in the first step F; An I-2 step of selecting a probability that the respective effective elements are included in the second cluster from the probabilities obtained in the first step F; An I-3 step of selecting a probability that each effective element is included in the first cluster from the probabilities obtained in the second F step; An I-4 step of selecting a probability that each effective element is included in the second cluster from the probabilities obtained in the second F step; And checking whether the smallest first minimum value among the values generated by subtracting the probabilities from the I-1 step and the probabilities from the I-3 step satisfies the first condition set in advance, and Step I-5 for confirming whether the second smallest value among the values generated by subtracting the probabilities from the I-2 step and the probabilities from the I-4 step satisfies the preset second condition .
상기 I-5단계에서의 제 1 조건과 제 2 조건이 모두 만족될 때 상기 I단계에서의 판단이 참으로 확인됨을 특징으로 한다.When the first condition and the second condition in the step I-5 are both satisfied, the judgment in the step I is confirmed to be true.
상기 제 1 조건은, 제 1 최소값이 미리 설정된 제 1 임계값보다 작거나 같은 조건이며; 그리고, 상기 제 2 조건은, 제 2 최소값이 미리 설정된 제 2 임계값보다 작거나 같은 조건임을 특징으로 한다.The first condition is a condition in which the first minimum value is smaller than or equal to a preset first threshold value; The second condition is a condition that the second minimum value is smaller than or equal to a preset second threshold value.
본 발명에 따른, 가우시안 합성 모델을 이용한 터치 알고리즘에는 다음과 같은 효과가 있다.The touch algorithm using the Gaussian synthesis model according to the present invention has the following effects.
첫째, 합성 가우시한 분포를 이용하여 확률적으로 터치 좌표를 추출하므로, 저 해상도의 터치표시장치에서도 다중 근접 터치들에 대한 정확한 개별 좌표를 산출할 수 있다.First, since the touch coordinates are extracted stochastically by using the composite upper limit distribution, it is possible to calculate accurate individual coordinates for multiple proximity touches even in a low resolution touch display device.
둘째, 추출된 원소들의 공간적인 위치 정보, 즉 데이터의 변화량이 없는 좌표 정보를 근거로 다중 근접 터치들에 대한 개별 좌표를 추출하므로, 안정적인 좌표 추출이 가능하다. Second, since the individual coordinates of the multiple proximity touches are extracted based on the spatial position information of the extracted elements, that is, the coordinate information without the amount of data change, stable coordinate extraction is possible.
도 1은 다중 근접 터치에 대한 구분 방법을 설명하기 위한 도면
도 2는 다중 근접 터치들에 의해 발생된 감지 데이터의 크기를 나타낸 도면
도 3은 도 2를 X-Y 평면상에서 바라다본 도면
도 4는 도 2에서의 감지 데이터들을 문턱치를 기준으로 이진화한 것을 나타낸 도면
도 5는 도 4에서 이진화된 감지 데이터들이 저장된 상태를 나타낸 도면
도 6은 유효 원소들을 두 개의 클러스터로 그룹화하는 것을 설명하기 위한 도면
도 7은 도 3에서의 다중 근접 터치들이 본 발명에서의 터치 알고리즘을 통해 두 개의 좌표들로 나누어진 것을 나타낸 도면
도 8은 본 발명의 터치 알고리즘에 따른 순서도를 나타낸 도면
도 9는 본 발명의 실시예에 따른 터치표시장치를 나타낸 도면
도 10은 도 1의 터치패널 내부의 상세 구성을 나타낸 도면1 is a diagram for explaining a dividing method for multiple proximity touches;
2 is a diagram showing the size of sensed data generated by multiple proximity touches
Fig. 3 is a plan view of Fig. 2 viewed on the XY plane
FIG. 4 is a diagram illustrating binarization of the sensed data in FIG. 2 with reference to a threshold; FIG.
5 is a diagram showing a state in which binarized sensed data are stored in FIG.
6 is a diagram for explaining the grouping of effective elements into two clusters
Fig. 7 is a diagram showing that the multiple proximity taps in Fig. 3 are divided into two coordinates through the touch algorithm in the present invention
8 is a flowchart showing a touch algorithm according to the present invention
9 is a view showing a touch display device according to an embodiment of the present invention
Fig. 10 is a view showing the detailed structure inside the touch panel of Fig. 1
도 1은 다중 근접 터치에 대한 구분 방법을 설명하기 위한 도면이다.FIG. 1 is a view for explaining a dividing method for multiple proximity touches.
본 발명에 따른 가우시안 합성 모델(Gaussian Mixture Model)을 이용한 터치 알고리즘은, 겹쳐진 두 개의 터치들, 즉 다중 근접 터치들을 하나의 터치로 인식할 것인지 아니면 두 개의 터치로 인식할 것인지를 판단함에 있어 다중 근접 터치들이 발생되기 이전의 상황을 그 판단의 근거로 활용한다. The touch algorithm using the Gaussian Mixture Model according to the present invention can be used to determine whether two overlapping touches, i.e., multiple proximity touches, are recognized as one touch or two touches, Use the situation before the touches as a basis for the judgment.
도 1의 (a)에 따르면, 최초 서로 분리된 두 개의 터치들(1, 2)이, 시간의 경과에 따라 서로를 향해 점진적으로 다가가면서 겹쳐진 후 다시 분리된다.According to FIG. 1 (a), two initially separated
반면, 도 1의 (b)에 따르면, 최초 겹쳐진 두 개의 터치들(1, 2)이 발생된 후, 시간이 경과함에 따라 그 두 개의 터치들(1, 2)이 서로를 향해 점진적으로 멀어지면서 분리된다.On the other hand, according to FIG. 1 (b), after the first two overlapping
도 1의 (a)와 같이 다중 근접 터치가 발생하기 이전에 두 개의 터치들이 최초 분리된 상태에서 서로에게 근접하고 있는 상황일 때, 본 발명의 터치 알고리즘은 그 겹쳐진 두 개의 터치들, 즉 다중 근접 터치들을 두 개의 개별 터치로 판단하고 그 각각에 대한 좌표를 산출한다. 그리고, 그 두 개의 터치들 각각에 대한 좌표를 지속적으로 보고한다. 즉, 본 발명에서의 터치 알고리즘은, 도 1의 (a)와 같은 경우에, 그 겹쳐진 두 개의 터치들을 하나가 아닌 두 개로 인식하고, 그리고 그 두 개의 터치들 각각에 대한 개별 좌표를 산출한다. As shown in FIG. 1 (a), when two touches are in proximity to each other in a state where two touches are initially separated before the occurrence of multiple proximity touches, the touch algorithm of the present invention uses two overlapping touches, The touches are judged as two individual touches and the coordinates for each of them are calculated. And continuously reports the coordinates for each of the two touches. That is, in the case of FIG. 1 (a), the touch algorithm in the present invention recognizes the two overlapped touches as two instead of one, and calculates individual coordinates for each of the two touches.
그러나, 도 1의 (b)와 같이 다중 근접 터치들 이전에 두 개의 분리된 터치들의 이동 방향에 대한 이력이 없을 때, 본 발명에 따른 터치 알고리즘은 그 다중 근접 터치들을 하나의 터치로 인식하고, 단 하나의 좌표만을 산출한다.However, as shown in FIG. 1 (b), when there is no history of moving directions of two separate touches before the multiple proximity touches, the touch algorithm according to the present invention recognizes the multiple proximity touches as one touch, Only one coordinate is calculated.
도 2는 다중 근접 터치들에 의해 발생된 감지 데이터의 크기를 나타낸 도면이다.FIG. 2 is a diagram illustrating sizes of sensed data generated by multiple proximity touches. FIG.
도 2에서의 X축은 터치패널에 구비된 터치센서들의 2차원 좌표 중 X좌표를 나타낸 것으로, 이의 Y좌표는 생략되어 있다. 그리고, 도 2에서의 Z축은 터치센서들로부터 발생된 감지 데이터의 크기를 나타낸다. 감지 데이터의 크기가 문턱치(TH)를 넘어설 때 그 감지 데이터를 제공한 터치센서 부근에서 터치가 발생된 것으로 인식된다. 도 2에 따르면 문턱치(TH)를 넘어선 감지 데이터들이 하나로 연결된 두 개의 봉우리들(PK1, PK2)을 이루고 있는데, 이 두 개의 봉우리들(PK1, PK2)은 다중 근접 터치들에 대응된다.The X-axis in FIG. 2 represents the X-coordinate of the two-dimensional coordinates of the touch sensors provided on the touch panel, and its Y-coordinate is omitted. The Z axis in FIG. 2 represents the size of the sensing data generated from the touch sensors. When the size of the sensed data exceeds the threshold value TH, it is recognized that a touch is generated in the vicinity of the touch sensor that provided the sensed data. According to FIG. 2, the sensing data exceeding the threshold value TH constitute two peaks PK1 and PK2 connected together, and the two peaks PK1 and PK2 correspond to multiple proximity taps.
도 3은 도 2를 X-Y 평면상에서 바라다본 도면으로서, 도 3에 도시된 사각형들은 각각 터치센서들의 위치에 대응된다.Fig. 3 is a view of Fig. 2 viewed on the X-Y plane, and the squares shown in Fig. 3 correspond to positions of touch sensors, respectively.
도 4는 도 2에서의 감지 데이터들을 문턱치를 기준으로 이진화(binarization)한 것을 나타낸 도면이다.FIG. 4 is a diagram illustrating binarization of the sensing data in FIG. 2 based on a threshold.
본 발명에 따른 터치 알고리즘은, 도 4에 도시된 바와 같이, 문턱치보다 높은 감지 데이터들을 1로 치환하고, 그리고 문턱치보다 낮은 데이터들을 0으로 치환함으로써 전체 감지 데이터들을 이진화한다.As shown in FIG. 4, the touch algorithm according to the present invention binarizes all sensing data by replacing sensing data higher than the threshold with 1 and replacing data lower than the threshold with 0.
도 5는 도 4에서 이진화된 감지 데이터들이 저장된 상태를 나타낸 도면이다.FIG. 5 is a diagram illustrating a state in which binarized sensed data is stored in FIG.
이진화된 감지 데이터들은, 메모리와 같은 저장장치에 저장된다. 즉, 도 5는 메모리의 일부를 나타낸 것으로, 이 메모리는 터치패널에 형성된 터치센서들의 수에 해당하는 셀(cell)들을 포함한다. 이 셀들은, 터치패널에서의 터치센서들의 공간적인 위치에 대응되는 어드레스를 갖는다. 따라서, 터치패널에서의 터치센서들간의 공간적인 위치 및 거리는, 그 비율만 다를 뿐 메모리에서의 셀들의 공간적인 위치 및 거리와 일치한다.The binarized sensing data is stored in a storage device such as a memory. That is, FIG. 5 shows a part of the memory, which includes cells corresponding to the number of touch sensors formed on the touch panel. These cells have an address corresponding to the spatial position of the touch sensors on the touch panel. Therefore, the spatial position and the distance between the touch sensors on the touch panel are different only by the ratio, and coincide with the spatial position and distance of the cells in the memory.
도 5에 따르면, 메모리의 각 셀에 전술된 바와 같은 이진화된 감지 데이터가 저장되는 바, 여기서 셀에 저장된 이진화된 감지 데이터를, 설명의 편의상, 지금부터 “원소”로 칭한다. 또한, 이 원소들은 0 또는 1의 값을 갖는 바, 이들 중 0의 값을 갖는 원소를 “비유효 원소”로, 그리고 1의 값을 갖는 원소를 “유효 원소”로 정의한다. 도 5에는 유효 원소들만이 나타나 있는 바, 즉 도번 C1 내지 C19는 제 1 내지 제 19 원소를 의미한다. 한편, 도번 C1 내지 C19 옆에 표시된 괄호안의 숫자들은 해당 원소의 2차원 좌표를 의미하는 것으로, 이는 터치패널에서의 터치센서들의 공간적인 위치에 대응된다.According to Fig. 5, the binarized sensing data as described above is stored in each cell of the memory, wherein the binarized sensing data stored in the cell is hereinafter referred to as an " element " In addition, these elements have values of 0 or 1, and an element having a value of 0 is defined as a "non-effective element" and an element having a value of 1 is defined as an "effective element". Only effective elements are shown in Fig. 5, that is, drawing numbers C1 to C19 mean the first to nineteenth elements. On the other hand, the numbers in parentheses beside the drawing numbers C1 to C19 mean two-dimensional coordinates of the element, which corresponds to the spatial position of the touch sensors on the touch panel.
본 발명에서의 터치 알고리즘은, 도 5에 도시된 바와 같은 유효 원소들을 두 개의 기준 포인트를 근거로 두 개의 클러스터로 그룹화하고, 그 두 개의 클러스터들로 분류된 유효 원소들에 대한 합성 가우시안 분포를 파악하고, 그리고 그 합성 가우시안 분포에 대한 분석을 통해 그 기준 포인트들의 값을 특정 값으로 수렴시킴으로써 다중 근접 터치들에 대한 정확한 개별 좌표를 산출할 수 있는 바, 이 과정을 구체적으로 설명하면 다음과 같다.In the touch algorithm of the present invention, the effective elements as shown in FIG. 5 are grouped into two clusters based on two reference points, and the synthetic Gaussian distribution of the effective elements classified into the two clusters is grasped And by analyzing the synthetic Gaussian distribution, the individual individual coordinates of the multiple proximity taps can be calculated by converging the values of the reference points to a specific value. This process will be described in detail as follows.
도 6은 유효 원소들을 두 개의 클러스터로 그룹화하는 것을 설명하기 위한 도면이다.6 is a diagram for explaining the grouping of effective elements into two clusters.
본 발명에서의 터치 알고리즘은, 도 6에 도시된 바와 같이, 공간적 위치 정보들에 포함된 임의의 두 개의 특정 좌표들을 각각 제 1 기준 포인트 및 제 2 기준 포인트로 설정한다. The touch algorithm in the present invention sets any two specific coordinates included in the spatial position information as a first reference point and a second reference point, respectively, as shown in Fig.
이어서, 본 발명에서의 터치 알고리즘은, 제 2 기준 포인트보다 제 1 기준 포인트에 공간적으로 더 근접하여 위치한 유효 원소들을 제 1 클러스터로 그룹화하고, 그리고 제 1 기준 포인트보다 상기 제 2 기준 포인트에 공간적으로 더 근접하여 위치한 유효 원소들을 제 2 클러스터로 그룹화한다. 예를 들어, 도 5에서와 같이 제 1 기준 포인트 및 제 2 기준 포인트의 좌표가 설정되었다면, 제 1 기준 포인트에 상대적으로 가깝게 위치한 제 1, 제 2, 제 3, 제 4, 제 5, 제 8, 제 9, 제 10, 제 14 및 제 18 원소들(C1-C5, C8-C10, C14, C18)은 모두 제 1 클러스터(Clst1)에 포함되며, 그리고 제 2 기준 포인트에 상대적으로 가깝게 위치한 제 6, 제 7, 제 11, 제 12, 제 13, 제 15, 제 16, 제 17 및 제 19 원소들(C6, C7, C11-C13, C15-17, C19)은 모두 제 2 클러스터(Clst2)에 포함된다.Then, the touch algorithm in the present invention classifies the effective elements located spatially closer to the first reference point than the second reference point into a first cluster, and groups the effective elements spatially closer to the second reference point And groups the effective elements located closer together into the second cluster. For example, if the coordinates of the first reference point and the second reference point are set as shown in FIG. 5, the first, second, third, fourth, fifth, and eighth , The ninth, tenth, fourteenth and eighteenth elements C1-C5, C8-C10, C14 and C18 are all included in the first cluster Clst1, (C6, C7, C11-C13, C15-17, C19) of the second cluster (Clst2) .
다음으로, 본 발명에서의 터치 알고리즘은, 제 1 클러스터(Clst1)에 속한 유효 원소들의 공간적 위치 정보(즉, 2차원 좌표)를 근거로 제 1 가우시안 분포를 산출하고, 제 2 클러스터(Clst2)에 속한 유효 원소들의 공간적 위치 정보(즉, 2차원 좌표)를 근거로 제 2 가우시안 분포를 산출한다. 여기서, 제 1 가우시안 분포 및 제 2 가우시안 분포는 하나의 합성 가우시안 분포를 이룬다. 따라서, 어느 한 원소는 제 1 가우시안 분포에 포함될 확률과 제 2 가우시안 분포에 포함될 확률을 동시에 갖는다. 예를 들어, 제 1 원소(C1)가 제 1 가우시안 분포에 포함될 확률이 0.8이라면, 그 제 1 원소(C1)가 제 2 가우시안 분포에 포함될 확률은 0.2가 된다.Next, the touch algorithm in the present invention calculates the first Gaussian distribution based on the spatial position information (i.e., two-dimensional coordinates) of the effective elements belonging to the first cluster Clst1, and calculates the first Gaussian distribution in the second cluster Clst2 And calculates the second Gaussian distribution based on the spatial position information (i.e., two-dimensional coordinates) of the effective elements belonging to it. Here, the first Gaussian distribution and the second Gaussian distribution form one synthetic Gaussian distribution. Therefore, an element has a probability of being included in the first Gaussian distribution and a probability of being included in the second Gaussian distribution. For example, if the probability that the first element C1 is included in the first Gaussian distribution is 0.8, the probability that the first element C1 is included in the second Gaussian distribution is 0.2.
이후, 본 발명에서의 터치 알고리즘은, 제 1 가우시안 분포로부터 제 1 클러스터(Clst1)의 유효 원소들이 그 제 1 클러스터에 포함될 확률(즉, 제 1 가우시안 분포에 포함될 확률)을 그 유효 원소별로 산출하고, 그리고 제 2 가우시안 분포로부터 제 2 클러스터(Clst2)의 유효 원소들이 그 제 2 클러스터(Clst2)에 포함될 확률(즉, 제 1 가우시안 분포에 포함될 확률)을 그 유효 원소별로 산출한다.Thereafter, the touch algorithm in the present invention calculates the probability that the effective elements of the first cluster Clst1 will be included in the first cluster (i.e., the probability of being included in the first Gaussian distribution) for each effective element from the first Gaussian distribution And the probability that the effective elements of the second cluster Clst2 are included in the second cluster Clst2 (i.e., the probability of being included in the first Gaussian distribution) from the second Gaussian distribution is calculated for each effective element.
이 확률은, 예를 들어 아래의 수학식들에 의해 산출될 수 있다.This probability can be calculated, for example, by the following equations.
[수학식1][Equation 1]
위의 수학식1에서, ui는 가우시안 분포의 평균을 의미하며, Nc는 해당 가우시안 분포에 관련된 클러스터내의 유효 원소들의 수를 의미하며, Xi는 유효 원소의 좌표를 의미한다. 예를 들어, 제 1 가우시안 분포의 평균은, 제 1 클러스터(Clst1)에 포함된 유효 원소들의 x값들에 평균(ui_x)과, 그 유효 원소들의 y값들에 대한 평균(ui_y)으로 정의된다. 따라서, 이 평균(ui)은 좌표 형식으로 산출된다.In Equation (1), ui denotes the average of the Gaussian distribution, Nc denotes the number of effective elements in the cluster related to the Gaussian distribution, and Xi denotes the effective element coordinate. For example, the average of the first Gaussian distribution is defined as the average (ui_x) for the x values of the effective elements included in the first cluster (Clst1) and the average (ui_y) for the y values of the effective elements. Therefore, this average ui is calculated in the form of coordinates.
[수학식2]&Quot; (2) "
위의 수학식2에서, Vi는 공분산을 의미한다.In the above equation (2), Vi denotes a covariance.
[수학식3]&Quot; (3) "
위의 수학식3에서, πi는 가중치로서, 1/2이다. Gi는 가우시안 분포이다.In the above equation (3),? I is a weight, which is 1/2. Gi is the Gaussian distribution.
[수학식4]&Quot; (4) "
위의 수학식4에서, Vi는 공분산 행렬을 의미하며, d는 차원으로서 2를 의미한다.In the above equation (4), Vi denotes a covariance matrix, and d denotes 2 as a dimension.
[수학식5]&Quot; (5) "
위의 수학식5에서, τip는 하나의 유효 원소가 해당 클러스터에 포함될 확률을 나타낸다. 위의 수학식1에서 X 및 Ck는 원소를 의미하며, Gi는 가우시안 분포를 의미한다. G1은 제 1 가우시안 분포를, 그리고 G2는 제 2 가우시안 분포를 의미한다. 그리고, P(X)는 실제 데이터의 분포 확률을 의미한다. 그리고, πi는 상수로서, 1/2이다.In Equation (5), τip represents the probability that one effective element will be included in the cluster. In Equation (1), X and Ck denote elements, and Gi denotes a Gaussian distribution. G1 denotes a first Gaussian distribution, and G2 denotes a second Gaussian distribution. And P (X) means the distribution probability of actual data. And, pi is a constant, which is 1/2.
다음으로, 본 발명에서의 터치 알고리즘은, 제 1 클러스터에 속한 유효 원소들의 각 위치 정보 및 이들에 대한 확률들을 근거로 제 1 평균값을 산출하고, 제 2 클러스터에 속한 유효 원소들의 각 위치 정보 및 이들에 대한 확률들을 근거로 제 2 평균값을 산출한다. 예를 들어, 제 1 클러스터(Clst1)에 속한 유효 원소들이 제 1 유효 원소, 제 2 유효 원소 및 제 3 유효 원소라고 가정하고, 그 제 1 내지 제 3 유효 원소들의 확률을 각각 τ1, τ2 및 τ3라고 가정할 때, 제 1 유효 원소의 x값과 τ1을 곱하고, 제 2 유효 원소의 x값과 τ2를 곱하고, 제 3 유효 원소의 x값과 τ3을 곱하고, 그 곱해진 값들을 모두 더하고, 그 더해진 값을 유효 원소들의 수(즉, 3)으로 나눔으로써 제 1 평균값에 대한 x값을 산출한다. 마찬가지 방식으로, 제 1 유효 원소의 y값과 τ1을 곱하고, 제 2 유효 원소의 y값과 τ2를 곱하고, 제 3 유효 원소의 y값과 τ3을 곱하고, 그 곱해진 값들을 모두 더하고, 그 더해진 값을 유효 원소들의 수(즉, 3)으로 나눔으로써 제 1 평균값에 대한 y값을 산출한다. 그리고, 예를 들어, 제 2 클러스터(Clst2)에 속한 유효 원소들이 제 4 유효 원소, 제 5 유효 원소 및 제 6 유효 원소라고 가정하고, 그 제 4 내지 제 6 유효 원소들의 확률을 각각 τ4, τ5 및 τ6이라고 가정할 때, 제 4 유효 원소의 x값과 τ4을 곱하고, 제 5 유효 원소의 x값과 τ5를 곱하고, 제 6 유효 원소의 x값과 τ6을 곱하고, 그 곱해진 값들을 모두 더하고, 그 더해진 값을 유효 원소들의 수(즉, 3)으로 나눔으로써 제 2 평균값에 대한 x값을 산출한다. 마찬가지 방식으로, 제 4 유효 원소의 y값과 τ4을 곱하고, 제 5 유효 원소의 y값과 τ5를 곱하고, 제 6 유효 원소의 y값과 τ6을 곱하고, 그 곱해진 값들을 모두 더하고, 그 더해진 값을 유효 원소들의 수(즉, 3)으로 나눔으로써 제 2 평균값에 대한 y값을 산출한다.Next, the touch algorithm of the present invention calculates a first average value based on the positional information of the effective elements belonging to the first cluster and the probabilities thereof, and calculates the positional information of the effective elements belonging to the second cluster, The second mean value is calculated based on the probabilities of the first and second probabilities. For example, assuming that the effective elements belonging to the first cluster Clst1 are the first effective element, the second effective element, and the third effective element, letting the probabilities of the first through third effective elements be τ1, τ2, and τ3 Multiplying the x value of the first effective element by τ1, multiplying the x value of the second effective element by τ2, multiplying the x value of the third effective element by τ3, adding all of the multiplied values, The x value for the first mean value is calculated by dividing the added value by the number of effective elements (i.e., 3). Similarly, the y value of the first effective element is multiplied by? 1, the y value of the second effective element is multiplied by? 2, the y value of the third effective element is multiplied by? 3, all of the multiplied values are added, The y value for the first mean value is calculated by dividing the value by the number of valid elements (i.e., 3). For example, assuming that the effective elements belonging to the second cluster (Clst2) are the fourth effective element, the fifth effective element and the sixth effective element, letting the probabilities of the fourth through sixth effective elements be τ4, τ5 And τ6, the x value of the fourth effective element is multiplied by τ4, the x value of the fifth effective element is multiplied by τ5, the x value of the sixth effective element is multiplied by τ6, and the multiplied values are all added , And the x value for the second average value is calculated by dividing the added value by the number of effective elements (i.e., 3). Similarly, the y value of the fourth effective element is multiplied by? 4, the y value of the fifth effective element is multiplied by? 5, the y value of the sixth effective element is multiplied by? 6, all of the multiplied values are added, The y value for the second mean value is calculated by dividing the value by the number of valid elements (i.e., 3).
이후, 본 발명에서의 터치 알고리즘은, 제 1 평균값에 대응되는 좌표를 제 1 기준 포인트의 좌표로 재설정하고, 제 2 평균값에 대응되는 좌표를 제 2 기준 포인트의 좌표로 재설정한다.Thereafter, the touch algorithm in the present invention resets the coordinates corresponding to the first average value to the coordinates of the first reference point, and resets the coordinates corresponding to the second average value to the coordinates of the second reference point.
이어서, 그 재설정된 제 1 기준 포인트 및 재설정된 제 2 기준 포인트를 근거로 전술된 과정을 반복하여 각 유효 원소에 대한 확률을 새로이 산출한다.Then, the procedure described above is repeated based on the reset first reference point and the reset second reference point to newly calculate the probability for each effective element.
즉, 본 발명에서의 터치 알고리즘은, 재설정된 제 2 기준 포인트보다 재설정된 제 1 기준 포인트에 공간적으로 더 근접하여 위치한 유효 원소들을 제 1 클러스터로 그룹화하고, 그리고 재설정된 제 1 기준 포인트보다 재설정된 제 2 기준 포인트에 공간적으로 더 근접하여 위치한 유효 원소들을 제 2 클러스터로 그룹화한다. That is, the touch algorithm in the present invention is characterized by grouping the effective elements located spatially closer to the first reference point reset from the reset second reference point into the first cluster, And grouping the effective elements located spatially closer to the second reference point into the second cluster.
이후, 본 발명에서의 터치 알고리즘은, 제 1 클러스터(Clst1)에 속한 유효 원소들의 공간적 위치 정보를 근거로 제 1 가우시안 분포를 산출하고, 제 2 클러스터(Clst2)에 속한 유효 원소들의 공간적 위치 정보(즉, 2차원 좌표)를 근거로 제 2 가우시안 분포를 산출한다.The touch algorithm in the present invention calculates the first Gaussian distribution based on the spatial position information of the effective elements belonging to the first cluster Clst1 and calculates the spatial position information of the effective elements belonging to the second cluster Clst2 That is, two-dimensional coordinates).
이후, 본 발명에서의 터치 알고리즘은, 제 1 가우시안 분포로부터 제 1 클러스터(Clst1)의 유효 원소들이 그 제 1 클러스터에 포함될 확률(즉, 제 1 가우시안 분포에 포함될 확률)을 그 유효 원소별로 산출하고, 그리고 제 2 가우시안 분포로부터 제 2 클러스터(Clst2)의 유효 원소들이 그 제 2 클러스터(Clst2)에 포함될 확률(즉, 제 1 가우시안 분포에 포함될 확률)을 그 유효 원소별로 산출한다.Thereafter, the touch algorithm in the present invention calculates the probability that the effective elements of the first cluster Clst1 will be included in the first cluster (i.e., the probability of being included in the first Gaussian distribution) for each effective element from the first Gaussian distribution And the probability that the effective elements of the second cluster Clst2 are included in the second cluster Clst2 (i.e., the probability of being included in the first Gaussian distribution) from the second Gaussian distribution is calculated for each effective element.
그리고, 첫 번째 단계에서 얻어진 각 유효 원소에 대한 확률과 두 번째 단계에서 얻어진 각 유효 원소에 대한 확률을 서로 대응되는 것끼리 비교하여, 가장 큰 차이를 갖는 한 쌍의 유효 원소들간의 차 값이 미리 설정된 조건을 만족하는지를 판단한다.The probability of each effective element obtained in the first step and the probability of each effective element obtained in the second step are compared with each other so that the difference value between a pair of effective elements having the greatest difference is determined in advance It is determined whether the set condition is satisfied.
즉, 본 발명에 따른 터치 알고리즘은, 첫 번째 단계에서 구해진 확률로부터 각 유효 원소가 제 1 클러스터에 포함될 확률을 선택하는 I-1단계, 첫 번째 단계에서 구해진 확률들로부터 중 각 유효 원소가 제 2 클러스터에 포함될 확률을 선택하는 I-2단계, 두 번째 단계에서 구해진 확률들로부터 각 유효 원소가 제 1 클러스터에 포함될 확률을 선택하는 I-3단계, 두 번째 단계에서 구해진 확률들로부터 각 유효 원소가 제 2 클러스터에 포함될 확률을 선택하는 I-4단계, I-1단계에서의 확률들과 상기 I-3단계에서의 확률들을 서로 대응되는 것끼리 차감하여 발생된 값들 중 가장 작은 제 1 최소값이 미리 설정된 제 1 조건을 만족하는지를 확인하고, 그리고 I-2단계에서의 확률들과 I-4단계에서의 확률들을 서로 대응되는 것끼리 차감하여 발생된 값들 중 가장 작은 제 2 최소값이 미리 설정된 제 2 조건을 만족하는지를 확인하는 I-5단계를 수행한다.That is, in the touch algorithm according to the present invention, in the I-1 step of selecting the probability that each effective element is included in the first cluster from the probability obtained in the first step, from the probabilities obtained in the first step, In step I-2, the probability that each effective element will be included in the first cluster is selected from the probabilities obtained in the second step. In step I-3, the effective elements are calculated from the probabilities obtained in the second step. The I-4 step of selecting a probability to be included in the second cluster, the first minimum value among the values generated by subtracting the probabilities from the I-1 step and the probabilities from the I- And determines whether the first condition is satisfied and whether the probability of the I-2 step and the probability of the I-4 step are subtracted from each other, 2 < / RTI > minimum value satisfies a preset second condition.
이때, 본 발명의 터치 알고리즘은 I-5단계에서의 제 1 조건과 제 2 조건이 모두 만족될 때, 전술된 판단(한 쌍의 유효 원소들간의 차 값이 미리 설정된 조건을 만족하는지에 대한 판단) 결과가 참인 것으로 확인한다. 여기서, 제 1 조건은, 제 1 최소값이 미리 설정된 제 1 임계값보다 작거나 같은 조건이며, 그리고 제 2 조건은, 제 2 최소값이 미리 설정된 제 2 임계값보다 작거나 같은 조건이다.At this time, when the first condition and the second condition in the step I-5 are both satisfied, the touch algorithm of the present invention determines whether the difference between the pair of effective elements satisfies a preset condition ) Verify that the result is true. Here, the first condition is a condition in which the first minimum value is equal to or less than a preset first threshold value, and the second condition is a condition in which the second minimum value is equal to or less than a preset second threshold value.
전술된 판단(한 쌍의 유효 원소들간의 차 값이 미리 설정된 조건을 만족하는지에 대한 판단) 결과가 참으로 확인될 경우, 첫 번째 단계에서 얻어진 제 1 기준 포인트 및 제 2 기준 포인트를 근거로 각각 제 1 터치에 대한 좌표 및 제 2 터치에 대한 좌표를 설정한다.Based on the first reference point and the second reference point obtained in the first step, when the above-mentioned judgment (judgment as to whether or not the difference value between the pair of effective elements satisfies a predetermined condition) The coordinates for the first touch and the coordinates for the second touch are set.
한편, 전술된 판단(한 쌍의 유효 원소들간의 차 값이 미리 설정된 조건을 만족하는지에 대한 판단) 결과가 거짓으로 확인될 경우, 전술된 동작을 재 수행한다. 즉, 앞서 생성된 제 1 클러스터(두 번째로 형성된 제 1 클러스터)에 속한 유효 원소들의 각 위치 정보 및 이들에 대한 확률들을 근거로 또 다시 제 1 평균값을 산출하고, 제 2 클러스터(두 번째로 형성된 제 2 클러스터)에 속한 유효 원소들의 각 위치 정보 및 이들에 대한 확률들을 근거로 또 다시 제 2 평균값을 산출한다.On the other hand, when the above determination (determination as to whether or not the difference between the pair of effective elements satisfies predetermined conditions) is confirmed to be false, the above-described operation is performed again. That is, the first average value is calculated again based on the respective positional information of the effective elements belonging to the first cluster (the first cluster formed second) and the probabilities thereof, and the second cluster The second cluster) based on the positional information of the effective elements belonging to the first cluster and the probabilities thereof.
이어서, 제 1 평균값(두 번째로 생성된 제 1 평균값)에 대응되는 좌표를 상기 제 1 기준 포인트의 좌표로 재설정하고, 제 2 평균값(두 번째로 생성된 제 2 평균값)에 대응되는 좌표를 제 2 기준 포인트의 좌표로 재설정한다. 이에 따라, 제 1 기준 포인트 및 제 2 기준 포인트의 좌표가 또 다시 재설정된다.Subsequently, the coordinate corresponding to the first average value (the first average value generated second) is reset to the coordinates of the first reference point, and the coordinate corresponding to the second average value (the second average value generated second) Reset to the coordinates of 2 reference points. Thereby, the coordinates of the first reference point and the second reference point are reset again.
이후, 그 두 번째로 재설정된 제 1 기준 포인트 및 그 두 번째로 재설정된 제 2 기준 포인트를 근거로 전술된 과정을 반복하여 각 유효 원소에 대한 확률을 E또 다시 새로이 산출한다.Thereafter, the procedure described above is repeated based on the second reset point and the second reset point to newly calculate the probability E for each effective element.
즉, 본 발명에서의 터치 알고리즘은, 재설정된 제 2 기준 포인트(두 번째로 재설정된 제 2 기준 포인트)보다 재설정된 제 1 기준 포인트(두 번째로 재설정된 제 1 기준 포인트)에 공간적으로 더 근접하여 위치한 유효 원소들을 제 1 클러스터로 그룹화하고, 그리고 재설정된 제 1 기준 포인트(두 번째로 재설정된 제 1 기준 포인트)보다 재설정된 제 2 기준 포인트(두 번째로 재설정된 제 2 기준 포인트)에 공간적으로 더 근접하여 위치한 유효 원소들을 제 2 클러스터로 그룹화한다. That is, in the present invention, the touch algorithm is spatially closer to the first reference point (second reference point reset second) than the reset second reference point (the second reference point reset second) Grouping the effective elements placed in the first cluster into the first cluster and setting the second reference point (the second reset reference point) reset from the reset first reference point (the second reset first reference point) Lt; RTI ID = 0.0 > clusters < / RTI >
이후, 본 발명에서의 터치 알고리즘은, 제 1 클러스터(세 번째로 형성된 제 1 클러스터)에 속한 유효 원소들의 공간적 위치 정보를 근거로 제 1 가우시안 분포를 산출하고, 제 2 클러스터(세 번째로 형성된 제 2 클러스터)에 속한 유효 원소들의 공간적 위치 정보(즉, 2차원 좌표)를 근거로 제 2 가우시안 분포를 산출한다.Then, the touch algorithm in the present invention calculates the first Gaussian distribution based on the spatial position information of the effective elements belonging to the first cluster (the first cluster formed third), and the
이후, 본 발명에서의 터치 알고리즘은, 제 1 가우시안 분포로부터 제 1 클러스터(세 번째로 형성된 제 1 클러스터)의 유효 원소들이 그 제 1 클러스터(세 번째로 형성된 제 1 클러스터)에 포함될 확률(즉, 제 1 가우시안 분포에 포함될 확률)을 그 유효 원소별로 산출하고, 그리고 제 2 가우시안 분포로부터 제 2 클러스터(세 번째로 형성된 제 2 클러스터)의 유효 원소들이 그 제 2 클러스터(세 번째로 형성된 제 2 클러스터)에 포함될 확률(즉, 제 2 가우시안 분포에 포함될 확률)을 그 유효 원소별로 산출한다.Thereafter, the touch algorithm in the present invention calculates the probability that the effective elements of the first cluster (third cluster formed from the first Gaussian distribution) are included in the first cluster (the first cluster formed third) And the effective elements of the second cluster (second cluster formed third) from the second Gaussian distribution are calculated for each of the second clusters (the probability of being included in the first cluster of the second Gaussian) (I.e., a probability to be included in the second Gaussian distribution) for each effective element.
그리고, 두 번째 단계에서 얻어진 각 유효 원소에 대한 확률과 세 번째 단계에서 얻어진 각 유효 원소에 대한 확률을 서로 대응되는 것끼리 비교하여, 가장 큰 차이를 갖는 한 쌍의 유효 원소들간의 차 값이 미리 설정된 조건을 만족하는지를 판단한다.The probability of each effective element obtained in the second step and the probability of each effective element obtained in the third step are compared with each other so that the difference value between a pair of effective elements having the greatest difference is determined in advance It is determined whether the set condition is satisfied.
즉, 본 발명에 따른 터치 알고리즘은, 두 번째 단계에서 구해진 확률로부터 각 유효 원소가 제 1 클러스터에 포함될 확률을 선택하는 I-1단계, 두 번째 단계에서 구해진 확률들로부터 중 각 유효 원소가 제 2 클러스터에 포함될 확률을 선택하는 I-2단계, 세 번째 단계에서 구해진 확률들로부터 각 유효 원소가 제 1 클러스터에 포함될 확률을 선택하는 I-3단계, 세 번째 단계에서 구해진 확률들로부터 각 유효 원소가 제 2 클러스터에 포함될 확률을 선택하는 I-4단계, I-1단계에서의 확률들과 상기 I-3단계에서의 확률들을 서로 대응되는 것끼리 차감하여 발생된 값들 중 가장 작은 제 1 최소값이 미리 설정된 제 1 조건을 만족하는지를 확인하고, 그리고 I-2단계에서의 확률들과 I-4단계에서의 확률들을 서로 대응되는 것끼리 차감하여 발생된 값들 중 가장 작은 제 2 최소값이 미리 설정된 제 2 조건을 만족하는지를 확인하는 I-5단계를 수행한다.That is, in the touch algorithm according to the present invention, in step I-1 for selecting the probability that each effective element is included in the first cluster from the probability obtained in the second step, from the probabilities obtained in the second step, In step I-2, the probability that each effective element is included in the first cluster is selected from the probabilities obtained in the third step, and the effective elements are calculated from the probabilities obtained in the third step. The I-4 step of selecting a probability to be included in the second cluster, the first minimum value among the values generated by subtracting the probabilities from the I-1 step and the probabilities from the I- And determines whether the first condition is satisfied and whether the probability of the I-2 step and the probability of the I-4 step are subtracted from each other, 2 < / RTI > minimum value satisfies a preset second condition.
이때, 본 발명의 터치 알고리즘은 I-5단계에서의 제 1 조건과 제 2 조건이 모두 만족될 때, 전술된 판단(한 쌍의 유효 원소들간의 차 값이 미리 설정된 조건을 만족하는지에 대한 판단) 결과가 참인 것으로 확인한다. 여기서, 제 1 조건은, 제 1 최소값이 미리 설정된 제 1 임계값보다 작거나 같은 조건이며, 그리고 제 2 조건은, 제 2 최소값이 미리 설정된 제 2 임계값보다 작거나 같은 조건이다.At this time, when the first condition and the second condition in the step I-5 are both satisfied, the touch algorithm of the present invention determines whether the difference between the pair of effective elements satisfies a preset condition ) Verify that the result is true. Here, the first condition is a condition in which the first minimum value is equal to or less than a preset first threshold value, and the second condition is a condition in which the second minimum value is equal to or less than a preset second threshold value.
이때, 본 발명의 터치 알고리즘은 I-5단계에서의 제 1 조건과 제 2 조건이 모두 만족될 때, 전술된 판단(한 쌍의 유효 원소들간의 차 값이 미리 설정된 조건을 만족하는지에 대한 판단) 결과가 참인 것으로 확인한다.At this time, when the first condition and the second condition in the step I-5 are both satisfied, the touch algorithm of the present invention determines whether the difference between the pair of effective elements satisfies a preset condition ) Verify that the result is true.
전술된 판단(한 쌍의 유효 원소들간의 차 값이 미리 설정된 조건을 만족하는지에 대한 판단) 결과가 참으로 확인될 경우, 두 번째 단계에서 얻어진 제 1 기준 포인트 및 제 2 기준 포인트를 근거로 각각 제 1 터치에 대한 좌표 및 제 2 터치에 대한 좌표를 설정한다.On the basis of the first reference point and the second reference point obtained in the second step, when the above judgment (determination as to whether or not the difference value between the pair of effective elements satisfies a predetermined condition) The coordinates for the first touch and the coordinates for the second touch are set.
한편, 전술된 판단(한 쌍의 유효 원소들간의 차 값이 미리 설정된 조건을 만족하는지에 대한 판단) 결과가 또 다시 거짓으로 확인될 경우, 전술된 동작을 재 수행한다.On the other hand, when the above determination (determination as to whether or not the difference value between the pair of effective elements satisfies predetermined conditions) is again false, the above-described operation is performed again.
이와 같이 본 발명에서는 이전에 산출된 확률과 현재 산출된 확률간의 차이가 제 1 및 제 2 조건을 모두 만족할 때까지 전술된 과정을 반복하고, 그 조건들이 만족된 때의 제 1 기준 포인트 및 제 2 기준 포인트를 제 1 및 제 2 터치에 대한 좌표로 설정한다.Thus, in the present invention, the above process is repeated until the difference between the previously calculated probability and the currently calculated probability satisfies both the first and second conditions, and the first reference point when the conditions are satisfied and the second reference point The reference point is set to the coordinates for the first and second touches.
도 7은 도 3에서의 다중 근접 터치들이 본 발명에서의 터치 알고리즘을 통해 두 개의 좌표들로 나누어진 것을 나타낸 도면이다.FIG. 7 is a diagram showing that the multiple proximity taps in FIG. 3 are divided into two coordinates through the touch algorithm in the present invention.
도 7의 (b)에 도시된 바와 같이, 각 가우시안 분포의 중심점이 그 다중 근접 터치들의 개별 좌표가 된다.As shown in Fig. 7 (b), the center point of each Gaussian distribution becomes the individual coordinates of the multiple proximity touches.
도 8은 본 발명의 터치 알고리즘에 따른 순서도를 나타낸 도면이다.8 is a flowchart illustrating a touch algorithm according to the present invention.
본 발명의 터치 알고리즘은, 도 8에 도시된 바와 같이, 겹쳐진 두 개의 터치들, 즉 다중 근접 터치들을 하나의 터치로 인식할 것인지 아니면 두 개의 터치로 인식할 것인지를 판단한다. 이에 대한 판단 방법은, 전술된 도 1 및 이에 관련된 설명을 참조한다.As shown in FIG. 8, the touch algorithm of the present invention determines whether two overlapped touches, that is, multiple proximity touches, are recognized as one touch or two touches. A method for judging this will be described with reference to Fig. 1 described above and the related description.
한편, 그 판단 결과 그 다중 근접 터치들이 두 개의 터치로 확인될 경우, 본 발명의 터치 알고리즘은, 전술된 가우시안 합성 모델을 이용하여 다중 근접 터치들의 개별 좌표를 추출한다. On the other hand, if the multiple proximity taps are confirmed as two taps as a result of the determination, the touch algorithm of the present invention extracts the individual coordinates of the multiple proximity taps using the Gaussian composite model described above.
그러나, 그 판단 결과 그 다중 근접 터치들이 하나의 터치로 확인될 경우, 본 발명에서의 터치 알고리즘은 적용되지 않는다. However, if it is determined that the multiple proximity taps are confirmed by one touch, the touch algorithm in the present invention is not applied.
본 발명에 따른 터치 알고리즘은, 정전방식 터치표시장치를 포함한 여러 종류의 터치표시장치에 적용될 수 있는 바, 하나의 예로서 도 9 및 도 10을 참조로 정전방식 터치표시장치를 설명하면 다음과 같다.The touch algorithm according to the present invention can be applied to various kinds of touch display devices including an electrostatic touch display device. As an example, an electrostatic touch display device will be described with reference to FIGS. 9 and 10 .
도 9는 본 발명의 실시예에 따른 터치표시장치를 나타낸 도면이고, 도 10은 도 1의 터치패널 내부의 상세 구성을 나타낸 도면이다.FIG. 9 is a view showing a touch display device according to an embodiment of the present invention, and FIG. 10 is a detailed view of the inside of the touch panel of FIG.
본 발명의 실시예에 따른 터치표시장치는, 도 9에 도시된 바와 같이, 터치패널(100), 감지데이터리드회로(101) 및 터치제어부(103)를 포함한다.As shown in FIG. 9, the touch display device according to the embodiment of the present invention includes a
터치패널(100)은 서로 교차하는 다수의 구동라인들(DRL1 내지 DRL5) 및 다수의 감지라인들(SSL1 내지 SSL5)을 포함한다. 각 구동라인(DRL1 내지 DRL5)은 연결전극(CE)을 통해 서로 전기적으로 연결된 다수의 구동전극(DE)들로 이루어져 있다. 각 구동전극(DE)은 마름모 형상을 갖는다. 각 감지라인(SSL1 내지 SSL5)은 서로 전기적으로 연결된 다수의 감지전극(SE)들로 이루어져 있다. 각 감지전극(SE)은 마름모 형상을 갖는다. The
도 9에는 다수의 구동라인들(DRL1 내지 DRL5)과 다수의 감지라인들(SSL1 내지 SSL5)이 동일층 상에 형성된 예가 나타나 있는 바, 구동라인과 감지라인이 교차하는 부분에서의 구동전극(DE)들은 이와는 다른 층상에 위치한 연결전극(CE)에 의해 서로 전기적으로 연결된다.9 shows an example in which a plurality of driving lines DRL1 to DRL5 and a plurality of sensing lines SSL1 to SSL5 are formed on the same layer, Are electrically connected to each other by a connecting electrode CE located on another layer.
도 10에 도시된 바와 같이, 구동라인과 감지라인 사이에는 감지 커패시터(Cs)가 형성된다. 터치패널(100)의 특정 부분이 손가락 등에 의해 터치되면, 그 터치된 지점에 위치한 감지 커패시터(Cs)의 용량이 변화한다. 이 감지 커패시터(Cs)의 용량 변화에 의해 터치 여부 및 터치 위치의 좌표가 판단된다. 이 구동라인, 감지라인 및 하나의 감지 커패시터가 하나의 터치센서를 구성하는 바, 다수의 터치센들이 터치패널(100) 상에 2차원의 매트릭스(matrix) 형태로 배열되어 있다.As shown in FIG. 10, a sense capacitor Cs is formed between the drive line and the sense line. When a specific portion of the
감지데이터리드회로(101)는 구동라인들(DRL1 내지 DRL5)로 순차적으로 구동신호(DS1 내지 DS5)를 공급한다. 도 9에는 하나의 예로서 5개의 구동라인들(DRL1 내지 DRL5)이 도시되어 있는 바, 제 1 내지 제 5 구동라인(DRL1 내지 DRL5)은 제 1 구동라인(DRL1)부터 제 5 구동라인(DRL5)까지 순차적으로 구동된다. 이를 위해, 감지데이터리드회로(101)는 제 1 구동라인(DRL1)부터 제 5 구동라인(DRL5)까지 순차적으로 구동신호를 공급한다.The sense data read
이 감지데이터리드회로(101)는 각 구동라인으로 구동신호가 공급될 때마다 다수의 감지라인들(SSL1 내지 SSL5)로부터 검출된 감지신호들을 읽어들이고, 이 읽어들인 감지신호들을 디지털 변환하여 감지 데이터들을 생성하여 내부에 저장한다. 도 1에는 하나의 예로서 5개의 감지라인들(SSL1 내지 SSL5)이 도시되어 있는 바, 하나의 구동라인으로 구동신호가 인가될 때마다 5개의 감지라인들(SSL1 내지 SSL5)로부터 발생된 5개의 감지신호들(SS1 내지 SS5)이 감지데이터리드회로(101)로부터 읽혀진다. 감지데이터리드회로(101)는 이 5개의 감지신호들(SS1 내지 SS5)을 각각 디지털 변환하여 이에 대응되는 5개의 감지 데이터들을 생성하고, 이 생성된 5개의 감지 데이터들을 내부에 저장한다.Each time the drive signal is supplied to each drive line, the sense data read
이러한 감지데이터리드회로(101)는, 도 9에 도시된 바와 같이, 구동라인스캔부(101a) 및 데이터리드부(101b)를 포함한다.The sense data read
구동라인스캔부(101a)는 구동라인들(DRL1 내지 DRL5)로 순차적으로 구동신호를 공급하며, 그리고 데이터리드부(101b)는 각 구동라인(DRL1 내지 DRL5)으로 구동신호가 공급될 때마다 다수의 감지라인들(SSL1 내지 SSL5)로부터 검출된 감지신호들을 디지털 변환하여 내부에 저장한다.The driving
터치제어부(103)는 감지데이터리드회로(101)로부터의 감지 데이터들 분석하여 터치패널(100)에서의 터치지점들에 대한 터치좌표정보를 산출한다. 이때, 이 터치제어부(103)는, 본 발명에 따른 가우시안 합성 모델을 이용한 터치 알고리즘을 이용하여 다중 근접 터치들에 대한 개별 좌표를 정확하게 추출한다.The
이상에서 설명한 본 발명은 상술한 실시예 및 첨부된 도면에 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하다는 것이 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어 명백할 것이다.It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the spirit or scope of the general inventive concept as defined by the appended claims and their equivalents. Will be clear to those who have knowledge of.
Claims (6)
상기 터치 여부 정보를 근거로, 터치된 터치센서들에 대응되는 원소들만을 선택하고, 그 선택된 원소들을 유효 원소들로 정의하는 B단계;
상기 공간적 위치 정보들에 포함된 임의의 2개의 특정 좌표들을 각각 제 1 기준 포인트 및 제 2 기준 포인트로 설정하는 C단계;
상기 제 2 기준 포인트보다 상기 제 1 기준 포인트에 공간적으로 더 근접하여 위치한 유효 원소들을 제 1 클러스터로 그룹화하고, 상기 제 1 기준 포인트보다 상기 제 2 기준 포인트에 공간적으로 더 근접하여 위치한 유효 원소들을 제 2 클러스터로 그룹화하는 D단계;
상기 제 1 클러스터에 속한 유효 원소들의 공간적 위치 정보를 근거로 제 1 가우시안 분포를 산출하고, 제 2 클러스터에 속한 유효 원소들의 공간적 위치 정보를 근거로 제 2 가우시안 분포를 산출하는 E단계;
상기 제 1 가우시안 분포로부터 상기 제 1 클러스터의 유효 원소들이 그 제 1 클러스터에 포함될 확률을 그 유효 원소별로 산출하고, 그리고 상기 제 2 가우시안 분포로부터 상기 제 2 클러스터의 유효 원소들이 그 제 2 클러스터에 포함될 확률을 그 유효 원소별로 산출하는 F단계;
상기 제 1 클러스터에 속한 유효 원소들의 각 위치 정보 및 이들에 대한 확률들을 근거로 제 1 평균값을 산출하고, 상기 제 2 클러스터에 속한 유효 원소들의 각 위치 정보 및 이들에 대한 확률들을 근거로 제 2 평균값을 산출하는 G단계;
상기 제 1 평균값에 대응되는 좌표를 상기 제 1 기준 포인트의 좌표로 재설정하고, 상기 제 2 평균값에 대응되는 좌표를 상기 제 2 기준 포인트의 좌표로 재설정하는 H단계;
상기 H단계로부터 재설정된 제 1 기준 포인트 및 제 2 기준 포인트를 근거로 상기 D단계 내지 F단계들 순차적으로 수행하고, 첫 번째 F단계로부터 얻어진 각 유효 원소에 대한 확률과 두 번째 F단계로부터 얻어진 각 유효 원소에 대한 확률을 서로 대응되는 것끼리 비교하여, 가장 큰 차이를 갖는 한 쌍의 유효 원소들간의 차 값이 미리 설정된 조건을 만족하는지를 판단하는 I단계; 및,
상기 I단계에서의 판단 결과가 참으로 확인될 경우, 상기 첫 번째 F단계에서 얻어진 제 1 기준 포인트 및 제 2 기준 포인트를 근거로 각각 제 1 터치에 대한 좌표 및 제 2 터치에 대한 좌표를 설정하는 J단계를 포함함을 특징으로 하는 가우시안 합성 모델을 이용한 터치 알고리즘. An A step of generating a plurality of elements including spatial position information of each of the plurality of touch sensors and respective touch information;
Selecting only the elements corresponding to the touched touch sensors based on the touch information, and defining the selected elements as effective elements;
Setting any two specific coordinates included in the spatial position information as a first reference point and a second reference point, respectively;
Grouping the effective elements located spatially closer to the first reference point than the second reference point into a first cluster, and grouping the effective elements located spatially closer to the second reference point than the first reference point D grouping into two clusters;
An E step of calculating a first Gaussian distribution based on the spatial position information of the effective elements belonging to the first cluster and a second Gaussian distribution based on the spatial position information of the effective elements belonging to the second cluster;
From the first Gaussian distribution, the probability that the effective elements of the first cluster will be included in the first cluster, and from the second Gaussian distribution, the effective elements of the second cluster are included in the second cluster An F step of calculating a probability for each effective element;
Calculating a first average value based on each positional information of the effective elements belonging to the first cluster and the probabilities thereof, calculating a second mean value based on each positional information of the effective elements belonging to the second cluster, G;
Resetting the coordinates corresponding to the first mean value to the coordinates of the first reference point and resetting the coordinates corresponding to the second mean value to the coordinates of the second reference point;
The steps D to F are sequentially performed on the basis of the first reference point and the second reference point reset from the step H, and the probability of each effective element obtained from the first F step, An I step of comparing probabilities corresponding to effective elements with each other to determine whether a difference value between a pair of effective elements having the greatest difference satisfies preset conditions; And
If the determination result in step I is true, the coordinates for the first touch and the coordinates for the second touch are set based on the first reference point and the second reference point obtained in the first F step J < / RTI >
상기 I단계에서의 판단 결과가 거짓으로 확인될 경우, 상기 조건이 만족될 때까지 상기 F단계 내지 J단계를 반복 수행함을 특징으로 하는 가우시안 합성 모델을 이용한 터치 알고리즘. The method according to claim 1,
And if the result of the determination in step I is false, repeating the steps F through J until the condition is satisfied.
서로 떨어져 위치하는 두 개의 터치들이, 시간의 경과에 따라 서로를 향해 점진적으로 다가가면서 겹쳐진 후 분리되는 방향성을 가질 때, 상기 A단계 내지 J단계를 수행함을 특징으로 하는 가우시안 합성 모델을 이용한 터치 알고리즘.The method according to claim 1,
The touch algorithm using the Gaussian composite model is characterized in that the two touches located apart from each other are gradually overlapped with each other as time elapses, overlapped and then separated.
상기 I단계에서의 비교 및 판단 과정은,
첫 번째 F단계에서 구해진 확률로부터 각 유효 원소가 제 1 클러스터에 포함될 확률을 선택하는 I-1단계;
첫 번째 F단계에서 구해진 확률들로부터 중 각 유효 원소가 제 2 클러스터에 포함될 확률을 선택하는 I-2단계;
두 번째 F단계에서 구해진 확률들로부터 각 유효 원소가 제 1 클러스터에 포함될 확률을 선택하는 I-3단계;
두 번째 F단계에서 구해진 확률들로부터 각 유효 원소가 제 2 클러스터에 포함될 확률을 선택하는 I-4단계; 및,
상기 I-1단계에서의 확률들과 상기 I-3단계에서의 확률들을 서로 대응되는 것끼리 차감하여 발생된 값들 중 가장 작은 제 1 최소값이 미리 설정된 제 1 조건을 만족하는지를 확인하고, 그리고 상기 I-2단계에서의 확률들과 상기 I-4단계에서의 확률들을 서로 대응되는 것끼리 차감하여 발생된 값들 중 가장 작은 제 2 최소값이 미리 설정된 제 2 조건을 만족하는지를 확인하는 I-5단계를 포함함을 특징으로 하는 가우시안 합성 모델을 이용한 터치 알고리즘.The method according to claim 1,
The comparing and judging process in the step I includes:
An I-1 step of selecting a probability that each effective element is included in the first cluster from a probability obtained in the first F step;
An I-2 step of selecting a probability that the respective effective elements are included in the second cluster from the probabilities obtained in the first step F;
An I-3 step of selecting a probability that each effective element is included in the first cluster from the probabilities obtained in the second F step;
An I-4 step of selecting a probability that each effective element is included in the second cluster from the probabilities obtained in the second F step; And
Checking whether the first minimum value among the values generated by subtracting the probabilities from the I-1 step and the probabilities from the I-3 step satisfies the first condition set in advance, and if the I And an I-5 step of verifying whether the second smallest value among the values generated by subtracting the probabilities from the second-stage probabilities and the probabilities from the I-4 step to each other satisfies a preset second condition A Touch Algorithm Using Gaussian Composite Model.
상기 I-5단계에서의 제 1 조건과 제 2 조건이 모두 만족될 때 상기 I단계에서의 판단이 참으로 확인됨을 특징으로 하는 가우시안 합성 모델을 이용한 터치 알고리즘.5. The method of claim 4,
When the first condition and the second condition in the step I-5 are both satisfied, the determination in the step I is confirmed to be true, the touch algorithm using the Gaussian composite model.
상기 제 1 조건은, 제 1 최소값이 미리 설정된 제 1 임계값보다 작거나 같은 조건이며; 그리고,
상기 제 2 조건은, 제 2 최소값이 미리 설정된 제 2 임계값보다 작거나 같은 조건임을 특징으로 하는 가우시안 합성 모델을 이용한 터치 알고리즘.5. The method of claim 4,
The first condition is a condition in which the first minimum value is smaller than or equal to a preset first threshold value; And,
Wherein the second condition is a condition that the second minimum value is less than or equal to a preset second threshold value.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020130166619A KR102242891B1 (en) | 2013-12-30 | 2013-12-30 | Method for calcurating touch coordinates using gaussian mixture model |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020130166619A KR102242891B1 (en) | 2013-12-30 | 2013-12-30 | Method for calcurating touch coordinates using gaussian mixture model |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20150077783A true KR20150077783A (en) | 2015-07-08 |
| KR102242891B1 KR102242891B1 (en) | 2021-04-21 |
Family
ID=53790464
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020130166619A KR102242891B1 (en) | 2013-12-30 | 2013-12-30 | Method for calcurating touch coordinates using gaussian mixture model |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102242891B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11526237B1 (en) | 2021-10-19 | 2022-12-13 | Lx Semicon Co., Ltd | Touch sensing apparatus, touch sensing display system including the same, and touch sensing method |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009245031A (en) * | 2008-03-31 | 2009-10-22 | Nec Corp | Touch panel input system and input key determination method, touch panel input key determination program, and program medium |
| KR20120041516A (en) * | 2010-10-21 | 2012-05-02 | 주식회사 애트랩 | Input device and touch position detecting method thereof |
| KR20120089101A (en) * | 2011-02-01 | 2012-08-09 | 삼성전자주식회사 | Methods of detecting multi-touches on a touch panel and methods of operating a touch screen device using the same |
| JP2013178636A (en) * | 2012-02-28 | 2013-09-09 | Canon Inc | Information processor and control method of the same |
-
2013
- 2013-12-30 KR KR1020130166619A patent/KR102242891B1/en active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009245031A (en) * | 2008-03-31 | 2009-10-22 | Nec Corp | Touch panel input system and input key determination method, touch panel input key determination program, and program medium |
| KR20120041516A (en) * | 2010-10-21 | 2012-05-02 | 주식회사 애트랩 | Input device and touch position detecting method thereof |
| KR20120089101A (en) * | 2011-02-01 | 2012-08-09 | 삼성전자주식회사 | Methods of detecting multi-touches on a touch panel and methods of operating a touch screen device using the same |
| JP2013178636A (en) * | 2012-02-28 | 2013-09-09 | Canon Inc | Information processor and control method of the same |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11526237B1 (en) | 2021-10-19 | 2022-12-13 | Lx Semicon Co., Ltd | Touch sensing apparatus, touch sensing display system including the same, and touch sensing method |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102242891B1 (en) | 2021-04-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9588621B2 (en) | Touch screen controller and method for controlling thereof | |
| JP5451181B2 (en) | Sensor device for detecting contact or proximity of an object | |
| US8446380B2 (en) | Method and device for resistive multi-point touch | |
| US8760435B2 (en) | Touch panel | |
| US10156927B2 (en) | Operation detecting device for detecting the presence of a foreign object on an operation surface | |
| US20140111472A1 (en) | Touch screen controller and method for controlling the same | |
| KR20130018600A (en) | Systems and methods for detecting multiple touch points in surface-capacitance type touch panels | |
| KR20130099420A (en) | Terminal having capacitive type touch screen and method of touch position detecting the same | |
| JP2010218232A (en) | Object tracking device | |
| CN104364743A (en) | Operation device | |
| CN105589588B (en) | Touch system, touch pen, touch device and control method thereof | |
| US20100328233A1 (en) | Touch panel with unbalanced conductive patterns, and touch-controlled apparatus and method for determining multi-touch thereof | |
| TWI412983B (en) | Detecting method of performing multi-touch on a capacitive touch panel | |
| CN103513835B (en) | A kind of touch coordinate detection method based on mutual capacitance touchscreens | |
| JP2016119010A (en) | Input device, control method and program thereof | |
| JP2018025848A (en) | Operation input device | |
| KR20150077783A (en) | Algorithm of touch using gaussian mixture model | |
| US20120019268A1 (en) | Capacitance sensor layout scheme for linearity improvement | |
| CN103345339A (en) | Method and system for multi-point touch control identification based on infrared touch screen | |
| TWI524248B (en) | Mutual capacitance touch sensitive sensing apparatus and system and method thereof | |
| CN110134269A (en) | Pass through the cyclic annular electronic equipment and correlation technique for touching island verifying and referring to touch detection more | |
| JP6402251B2 (en) | Input device, object detection device and method | |
| US9152272B2 (en) | Multipoint positioning method for touchpad | |
| JP2015103118A (en) | Input device, and information input method therefor | |
| JP2012238210A (en) | Input device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |