KR101009912B1 - 다층 감광소자를 갖는 양방향 터치 스크린 시스템 - Google Patents

다층 감광소자를 갖는 양방향 터치 스크린 시스템 Download PDF

Info

Publication number
KR101009912B1
KR101009912B1 KR1020100025630A KR20100025630A KR101009912B1 KR 101009912 B1 KR101009912 B1 KR 101009912B1 KR 1020100025630 A KR1020100025630 A KR 1020100025630A KR 20100025630 A KR20100025630 A KR 20100025630A KR 101009912 B1 KR101009912 B1 KR 101009912B1
Authority
KR
South Korea
Prior art keywords
sensing
photosensitive elements
photosensitive
infrared
touch screen
Prior art date
Application number
KR1020100025630A
Other languages
English (en)
Inventor
이돈원
Original Assignee
(주)컴버스테크
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)컴버스테크 filed Critical (주)컴버스테크
Priority to KR1020100025630A priority Critical patent/KR101009912B1/ko
Application granted granted Critical
Publication of KR101009912B1 publication Critical patent/KR101009912B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04109—FTIR in optical digitiser, i.e. touch detection by frustrating the total internal reflection within an optical waveguide due to changes of optical properties or deformation at the touch location

Abstract

감광소자를 다수의 층으로 배열하여 화면부에 물체가 접촉하는 것을 정밀하게 감지하는 전자강의용 양방향 터치스크린 시스템에 관한 것으로서, 영상이 출력되는 화면부가 포함된 본체; 화면부를 중심으로 X축과 Y축 방향으로 각각 배열되되, 적외선 발광소자가 안착되고, 적외선 발광소자에서 발광되는 적외선을 굴절 산란시키는 광가이드 플레이트를 구비하는 적외선방사대; 및 광가이드 플레이트에서 굴절 산란된 적외선을 수광하여 그 적외선의 수신유무에 따라 화면부에 접촉된 물체의 위치를 감지하는 적외선 카메라를 포함하고, 적외선 카메라는, 감광소자를 적어도 2개 층으로 나란히 배열한 다층 이미지 센서; 및 다층 이미지 센서의 감지위치에 층으로 구비된 감광소자들 중 적외선을 수신하지 못한 감광소자에 따라 감지위치에서의 물체 접촉을 감지하는 감지판단부를 포함하는 구성을 마련한다.
상기와 같은 전자강의용 양방향 터치스크린 시스템에 의하여, 적외선 카메라의 감광소자를 여러 층으로 배열하고 감지위치에서의 적외선을 수신하지 못하는 감광소자의 개수에 따라 감지위치에서의 물체 접촉을 감지함으로써, 물체가 화면부의 감지위치에 닿았을 때 정확하게 물체를 감지할 수 있다.

Description

다층 감광소자를 갖는 양방향 터치 스크린 시스템 { An interactive touch screen system with multi-layered photo-transistors }
본 발명은 적외선 카메라의 감광소자를 여러 층으로 배열하고 감지위치에서의 적외선을 수신하지 못하는 감광소자의 개수에 따라 감지위치에서의 물체 접촉을 감지하는 양방향 터치스크린 시스템에 관한 것이다.
일반적으로 터치스크린(Touch Screen)은 각종 디스플레이를 이용하는 정보통신기기와 사용자간의 인터페이스를 구성하는 여러 방식중의 하나로서, 사용자가 손이나 펜으로 화면을 직접 접촉함으로 기기와 인터페이스 할 수 있는 입력장치이다.
터치스크린을 구성하는 방식 중에 대표적인 방식 중 하나인, 저항막 방식은 유리와 얇은 필름사이에 화학약품이 도포되어 있는 X축과 Y축의 측면에 얇은 금속판이 붙여진 구조로 이루어진다. 이러한 형태의 패널에 전원을 공급하면 일정량의 저항이 형성되고, 어느 한 부위에 손이나 기타 물체가 닿으면 화학약품이 반응하여 저항이 순간적으로 변화하게 되어, 측면의 금속판에서는 저항의 변화로부터 물체가 접촉한 위치좌표를 찾는다.
그러나 이와 같은 종래의 터치스크린의 저항막 방식은 설비나 가격적인 측면에서 큰 화상면에 적용하기 어렵고, 저항막이 쉽게 손상되기 때문에 일정한 위치를 계속적으로 사용하는 화상면에 적용할 수 없는 문제점이 있다.
상기와 같은 문제점을 해결하고자, 가시광 또는 적외선을 이용하여 터치스크린내의 좌표를 인식하는 방식의 기술이 제시되고 있다. 상기와 같은 적외선 감지방식의 터치스크린 기술의 일례가 본 출원인에 의해, [대한민국 등록특허 제10-0804815호(2008.02.12.공개), "외란광에 강한 적외선 카메라를 이용한 터치스크린"](이하 선행기술 1)에 개시되었다.
도 1에서 보는 바와 같이, 상기 선행기술 1은 영상이 출력되는 화면부(11)를 포함하는 본체(10)와, 화면부(11)를 중심으로 X축과 Y축으로 배열되되, 다수개의 구획되어 각각이 구획공간에 적외선을 발광하는 적외선 발광소자(31)가 안착되는 적외선방사대(30)와, 적외선 발광소자(31)에서 발광된 적외선의 차단유무를 통해 상기 화면부(11)의 접촉물체의 유무 및 그 위치를 감지하는 적외선 카메라(20)를 포함한다.
적외선방사대(30)는 상단 모서리를 제외한 X축과 Y축방향의 모서리에 세로방향과 가로방향으로 설치되며, 적외선방사대(30)에 각각 안착된 적외선 발광소자(31)는 화면부(11)를 지향하여 설치된다. 적외선 카메라(20)는 적외선방사대(30)가 설치되지 않은 화면부(11)의 상단에서 좌측과 우측에 각각 하나씩 설치되며, 각각의 적외선 카메라(20)는 상호 교차되는 지향각을 갖고 상기 화면부(11)의 전면을 촬영한다.
적외선 카메라(20)는 적외선방사대(30)로부터 굴절산란된 적외선을 수신한다. 화면부(11)에 사용자가 손가락 또는 터치스크린용 막대용 봉 등을 이용하여 화면부(11)의 일부분을 접촉하면, 해당 각도를 지향하여 발광된 적외선은 접촉된 물체에 의해 가로막히게 된다. 이때 적외선 카메라(20)에 적외선이 수광되지 않는 수신셀(또는 수신신호)에 의해 물체가 있는 위치를 감지한다.
즉, 두 개의 적외선 카메라(20a, 20b)의 이미지 센서에서 물체의 감지신호를 출력한 적외선 수신셀을 확인하므로 해당 수신셀의 지향각을 인지하게 된다. 도 2에서 보는 바와 같이, 화면부(11)의 좌측상단에 위치된 적외선 카메라(20a)의 적외선 수신셀 중에서 311번 수신셀과, 우측상단에 위치된 적외선 카메라(20b)의 적외선 수신셀 중에서 214번 수신셀에서 물체의 접촉을 감지하게 되면, 좌측의 311번 수신셀과 우측의 214번 수신셀의 지향각 중에서 서로 만나는 점이 바로 물체의 접촉위치가 된다.
그러나 상기 선행기술 1은 적외선 카메라(20a, 20b)의 이미지 센서는 하나의 층으로 구성되는 센서이기 때문에 카메라의 시야를 화면부(11)를 따라 평행하게, 또한, 화면부(11)에 더 가까운 위치에 맞추는 것은 어려웠다.
지시 위치 좌표의 검출 정밀도를 높이기 위해서는, 적외선 카메라(20a, 20b)의 시야를 최대한 화면부(11)에 평행할 뿐 아니라, 화면부(11)에 가까운 곳에 맞출 필요가 있다. 화면부(11)에 가까운 위치에 시야를 맞추는 것은 지시체(2)가 화면부(11)에 닿지 않았는데 닿았다고 오인하는 경우가 있다. 또한, 화면부(11)의 면적이 커지면 그 평면성의 영향을 받는 경우가 있다.
위치검출의 예에 대해 도 3을 참조하여 보다 구체적으로 설명한다. 도 3은 도 1의 터치스크린을 가로방향에서 본 도면이다.
도 3a에서 보는 바와 같이, 적외선 카메라(20a, 20b)의 이미지 센서를 화면부(11)에 가까운 위치에 시야를 맞출 수 있다. 이런 경우 지시체(2)가 화면부(11)에 거의 닿았을 때 적외선 카메라(20a, 20b)가 지시체가 접촉한 것을 감지할 수 있기 때문에 정밀하게 지시체의 접촉을 감지한다.
그러나 화면부(11)의 표면이 변형되어 있는 경우, 시야(5)가 도중에 화면부(11)의 변형에 의해 가려져 지시체(2)가 화면부(11)에 닿는 것을 인식하지 못할 수도 있다. 이렇게 되면 화면부(11) 전체를 검출할 수 없게 된다.
따라서 도 3b에서 보는 바와 같이, 화면부(11) 전체를 검출할 수 있게 하기 위해서 카메라(20a, 20b)의 위치를 높게 하여 구성하는 것도 생각할 수 있다. 이런 경우 화면부(11)의 표면이 변형되어 있더라도 지시체(2)가 화면부(11)에 닿는 것을 인식할 수 있다.
그러나 카메라(20a, 20b)의 위치를 높게 하여 구성하므로, 지시체(2)가 화면부(11)에 닿지 않고 상당한 거리로 이격되어 있음에도 적외선 카메라(20a, 20b)가 지시체가 접촉한 것으로 감지한다. 따라서 지시체의 접촉감지가 정밀하지 못하다는 문제점이 있다.
상기와 같은 문제점을 해결하고자 이미지 센서의 감광소자를 2차원적으로 배열하여 감지하는 방식의 기술이 제시되고 있다. 상기와 같은 2차원으로 배열된 센서를 사용하는 위치검출 기술의 일례가 [대한민국 공개특허 제10-2006-0096182호(2006.09.08.공개), "에어리어 이미지 센서를 사용한 위치 검출 장치"](이하 선행기술 2)에 개시되었다. 상기 선행기술 2는 감광 소자를 2차원적으로 배열한 에어리어 이미지 센서 및 결상 렌즈를 포함하는 촬상부를 검출면의 측방 2 곳에 배치하여 지시체의 지시위치를 감지한다.
도 4에서 보는 바와 같이, 선행기술 2는 촬상부에서 촬상된 임의의 시야 내 재귀반사 프레임 등의 특정한 시야에 대응하는 특정 화소를 감광 소자로부터 선택하고, 선택된 특정 화소에 대응하는 특정 화상 신호를 화상처리하여 지시체의 지시 위치 좌표를 출력한다.
그러나 상기 선행기술 2는 검출면(또는 화면부)의 표면이 변형되어 있는 경우에도 각 위치마다 정밀하게 지시체의 지시 위치를 검출할 수 있으나, 각 터치스크린마다 특정한 시야에 대응하는 특정 화소를 감광 소자로부터 선택해야 하는 문제점이 있다. 또한 특정 화소가 선택된 후 온도 또는 열에 의하여 검출면(또는 화면부)의 변형이 발생하거나 검출면 표면에 이물질이 끼는 경우, 지시 위치를 정밀하게 검출할 수 없거나 시야가 가려 검출위치를 검출할 수 없는 문제점이 있다.
본 발명의 목적은 상술한 바와 같은 문제점을 해결하기 위한 것으로, 적외선 카메라의 감광소자를 여러 층으로 배열하고 감지위치에서의 적외선을 수신하지 못하는 감광소자의 개수에 따라 감지위치에서의 물체 접촉을 감지하는 양방향 터치스크린 시스템을 제공하는 것이다.
상기 목적을 달성하기 위해 본 발명은 터치스크린의 화면부의 일측 모서리(이하 제1 모서리)의 좌측과 우측에 설치되어, 상기 제1 모서리를 제외한 상기 화면부의 나머지 모서리 측으로부터 나오는 적외선을 수신하는 적외선 카메라를 포함하는 양방향 터치스크린 시스템에 관한 것으로서, 상기 적외선 카메라는, 감광소자를 적어도 2개 층으로 나란히 배열한 다층 이미지 센서; 및 상기 다층 이미지 센서의 감지위치에 층으로 구비된 감광소자들 중 적외선을 수신하지 못한 감광소자에 따라 상기 감지위치에서의 물체 접촉을 감지하는 감지판단부를 포함하는 것을 특징으로 한다.
또, 본 발명은 양방향 터치스크린 시스템에 있어서, 상기 감지판단부는 감지위치에 층으로 구비된 감광소자 중에서 적외선을 수신하지 못한 감광소자의 개수가 기준개수 이상인 경우 상기 감지위치에서 물체 접촉을 감지한 것으로 판단하는 것을 특징으로 한다.
또, 본 발명은 양방향 터치스크린 시스템에 있어서, 상기 감지판단부는, 층으로 구성된 감광소자의 출력을 모두 더하여 기준개수와 비교하는 회로를 포함하는 것을 특징으로 한다.
또, 본 발명은 양방향 터치스크린 시스템에 있어서, 상기 감지판단부는 감지위치에 층으로 구비된 감광소자 모두에서 적외선을 수신하지 못하는 경우 상기 감지위치에서 물체 접촉을 감지한 것으로 판단하는 것을 특징으로 한다.
또, 본 발명은 양방향 터치스크린 시스템에 있어서, 상기 감지판단부는 감지위치에 층으로 구비된 감광소자의 출력을 모두 논리곱(AND) 또는 논리합(OR)으로 구성되는 디지털 회로를 포함하는 것을 특징으로 한다.
또, 본 발명은 양방향 터치스크린 시스템에 있어서, 상기 감지판단부는 감지위치에 층으로 구비된 감광소자 중에서 최상위 감광소자부터 하위 감광소자까지 연속으로 적외선을 수신하지 못한 감광소자의 개수가 기준개수 이상인 경우 상기 감지위치에서 물체 접촉을 감지한 것으로 판단하는 것을 특징으로 한다.
또, 본 발명은 양방향 터치스크린 시스템에 있어서, 상기 감지판단부는, 감지위치에 층으로 구비된 감광소자의 출력을 모두 논리곱(AND) 또는 논리합(OR)으로 구성하고, 최하위에서 차감개수만큼 상위까지의 감광소자의 출력이 상기 논리곱(AND) 또는 논리합(OR)에 항상 1 또는 0의 신호가 입력되도록 구성된 디지털 회로를 포함하되, 상기 차감개수는 층의 총 감광소자 개수에서 기준개수를 뺀 개수인 것을 특징으로 한다.
또, 본 발명은 양방향 터치스크린 시스템에 있어서, 상기 감지판단부는 물체 접촉이 없을 때 감지위치에 층으로 구비된 감광소자 중에서 적외선을 수신하는 감광소자의 개수(이하 수신가능 개수)를 저장하였다가, 감지위치에 층으로 구비된 감광소자 중에서 적외선을 수신하지 못하는 감광소자의 개수가 상기 수신가능 개수의 기준비율 이상인 경우 상기 감지위치에서 물체 접촉을 감지한 것으로 판단하는 것을 특징으로 한다.
상술한 바와 같이, 본 발명에 따른 양방향 터치스크린 시스템에 의하면, 적외선 카메라의 감광소자를 여러 층으로 배열하고 감지위치에서의 적외선을 수신하지 못하는 감광소자의 개수에 따라 감지위치에서의 물체 접촉을 감지함으로써, 물체가 화면부의 감지위치에 닿았을 때 정확하게 물체를 감지할 수 있는 효과가 얻어진다.
도 1은 종래 기술에 따른 적외선 카메라를 이용한 터치스크린의 평면도이다.
도 2는 종래 기술에 따른 적외선 카메라를 이용한 터치스크린에서 적외선 카메라에 의해 감지된 물체의 접촉위치의 일례를 도시한 도면이다.
도 3은 종래 기술에 따른 적외선 카메라를 이용한 터치스크린에서 적외선 카메라의 높이에 따라 물체의 접촉 감지를 나타내는 도면이다.
도 4는 종래 기술에 따라 특정한 시야에 대응하는 특정 화소를 감광 소자로부터 선택하여 물체의 접촉 감지를 하는 일례를 도시한 도면이다.
도 5는 본 발명의 일실시예에 따른 양방향 터치스크린 시스템의 평면도이다.
도 6은 본 발명의 일실시예에 따른 양방향 터치스크린 시스템의 적외선방사대의 사시 분해도이다.
도 7은 본 발명의 일실시예에 따른 양방향 터치스크린 시스템의 적외선방사대 측면의 단면도이다.
도 8은 본 발명의 일실시예에 따른 적외선 카메라의 다층 이미지 센서의 구성 및 작동을 도시한 도면이다.
도 9는 본 발명의 일실시예에 따라 터치스크린의 화면부가 변형된 경우 적외선 카메라의 다층 이미지 센서의 작동을 도시한 도면이다.
도 10은 본 발명의 일실시예에 따라 양방향 터치스크린 시스템에서 물체 접촉 위치를 판단하는 방법을 도시한 흐름도이다.
* 도면의 주요 부분에 대한 부호의 설명 *
10: 본체 11 : 화면부
20 : 적외선 카메라 21 : 다층 이미지 센서
22 : 감지판단부 23 : 감광소자
30 : 적외선방사대 31 : 적외선 발광소자
32 : 확산수단
40 : 적외선방사대 41,42,43 : 적외선방사대의 측면
45 : 적외선방사대의 지지대
50 : 적외선 발광소자 51 : 제어회로
60 : 광가이드 플레이트 61a : 출사면
62a : 배면
64 : 반사시트 65 : 확산시트
80 : 지시체(또는 물체) 90 : 적외선(또는 시야)
이하, 본 발명의 실시를 위한 구체적인 내용을 도면에 따라서 설명한다.
또한, 본 발명을 설명하는데 있어서 동일 부분은 동일 부호를 붙이고, 그 반복 설명은 생략한다.
먼저, 본 발명의 일실시예에 따른 양방향 터치스크린 시스템 구성에 대하여 도 5를 참조하여 설명한다.
도 5에서 보는 바와 같이, 본 발명의 일실시예에 적외선 감지방식의 터치스크린은 영상이 출력되는 화면부(11)가 포함된 본체(10); 상기 화면부(11)를 중심으로 X축과 Y축 방향으로 각각 배열되되, 적외선 발광소자(50)가 안착되고, 상기 적외선 발광소자(50)에서 발광되는 적외선을 굴절 산란시키는 광가이드 플레이트(60)를 구비하는 적외선방사대(40); 및 상기 광가이드 플레이트(60)에서 굴절 산란된 적외선을 수광하여 그 적외선의 수신유무에 따라 상기 화면부(11)에 접촉된 물체의 위치를 감지하는 적외선 카메라(20)를 포함한다.
적외선방사대(40)는 상단 모서리를 제외한 X축과 Y축방향의 모서리에 세로방향과 가로방향으로 설치되어, 3개의 측면(41,42,43)을 갖는다. 적외선방사대(40)의 각 측면(41,42,43)에 광가이드 플레이트(60)가 적외선방사대(40)의 길이방향으로 나란히 구비되고, 적외선 발광소자(50)는 광가이드 플레이트(60)의 일단이 위치하는 적외선방사대(40)에 안착된다.
적외선 발광소자(50)가 광가이드 플레이트(60)에 길이방향으로 적외선을 발광하면, 광가이드 플레이트(60)는 수광되는 적외선을 상기 적외선 카메라 방향으로 굴절 산란시킨다.
적외선 카메라(20)는 적외선방사대(30)가 설치되지 않은 화면부(11)의 상단에서 좌측과 우측에 각각 하나씩 설치되며, 각각의 적외선 카메라(20)는 상호 교차되는 지향각을 갖고 상기 화면부(11)의 전면을 촬영한다.
적외선 카메라(20)는 광가이드 플레이트(60)로부터 굴절산란된 적외선을 수신한다. 화면부(11)에 사용자가 손가락 또는 터치스크린용 막대용 봉 등을 이용하여 화면부(11)의 일부분을 접촉하면, 해당 각도를 지향하여 발광된 적외선은 접촉된 물체에 의해 가로막히게 된다. 이때 적외선 카메라(20)에 적외선이 수광되지 않는 수신셀(또는 수신신호)에 의해 물체가 있는 위치를 감지한다.
다음으로, 본 발명의 일실시예에 따른 양방향 터치스크린 시스템의 적외선방사대(40)를 도 6을 참조하여 보다 구체적으로 설명한다.
도 6에서 보는 바와 같이, 본 발명의 일실시예에 따른 적외선방사대(40)의 각 측면(41,42,43)에는 각각 하나의 광가이드 플레이트(60) 및 하나의 적외선 발광소자(50)가 설치된다.
적외선 발광소자(50)는 적외선 LED 등 적외선을 발광하는 소자이다. 전방향으로 약 90~110ㅀ의 발산각을 갖는다. 적외선 발광소자(50)는 발광소자를 제어하는 제어회로(51)에 구비된다.
광가이드 플레이트(60)는 적외선방사대(40)의 길이방향으로 나란히 구비된다. 광가이드 플레이트(60)는 길이방향의 밑면과 측면은 서로 직각을 이루어, 전체적으로 막대 형상을 갖는다.
광가이드 플레이트(60)는 광산란 도광체가 사용되고 있다. 광산란 도광체는, 예를 들면 아크릴, PC, PMMA (폴리메틸메타크릴레이트) 또는 그와 유사한 플레이트로 이루어지는 매트릭스와, 그 안에 동일하게 분산된 투광성인 다수의 미립자로 이루어진다. 이들 미립자의 굴절율은 매트릭스와 다르다. 이때, 광가이드 플레이트(60)의 길이방향 윗면을 출사면, 길이방향 밑면을 배면이라고도 한다. 광가이드 플레이트(60)는 광산란 도광체 대신에, 예를 들면 투명한 아크릴수지로 이루어지는 투명 광가이드 플레이트가 사용될 수도 있다. 만약, 투명 광가이드 플레이트가 사용된 경우에는, 그 배면(또는 밑면) 상에는 광확산면이 형성되는 것이 바람직하다.
도 6과 같이, 광가이드 플레이트(60)의 일단이 위치하는 곳에 적외선 발광소자(50)가 안착된다. 적외선 발광소자(50)의 적외선이 발광되는 전방향에서 광가이드 플레이트(60)를 마주보게 한다. 따라서 적외선 발광소자(50) 및 제어회로(51)는 적외선 방사대(40)의 꼭지점 부분에 위치시키는 것이 바람직하다.
광가이드 플레이트(60)의 길이방향 밑면에는 반사시트(64)가 부착된다. 반사시트(64)는 금속박 등으로 이루어지는 시트형상의 정반사 부재, 또는 백색 PET 필름 또는 그와 유사한 반사필름 등으로 이루어지는 시트형상의 난반사 부재가 사용된다.
반사시트(64)가 부착된 광가이드 플레이트(60)는 적외선방사대의 지지대(45)에 삽입되어 밀착된다. 광가이드 플레이트(60)의 길이방향 측면으로 새는 적외선을 막기 위해, 적외선 방사대의 지지대(45)의 길이방향 측면에도 반사시트(64)가 부착될 수 있다.
또는, 광가이드 플레이트(60)의 길이방향 윗면에 적외선을 확산시키는 확산시트(65)가 설치될 수 있다.
한편, 상기와 같은 적외선 발광소자(50)와 광가이드 플레이트(60)의 쌍은 3개의 적외선방사대 측면(41,42,43) 각각에 설치된다.
다음으로, 본 발명의 일실시예에 따른 양방향 터치스크린 시스템의 적외선방사대(40)를 도 7을 참조하여 설명한다. 도 7은 적외선방사대(40)의 측면(41,42,43) 중 하나의 단면도를 도시한 도면이다.
도 7에서 보는 바와 같이, 광가이드 플레이트(60)는 길이방향의 윗면(또는 출사면, 66a)이 적외선 방사대(40)에 대해 경사면을 갖되, 상기 출사면(61a)은 적외선 발광소자(50)에서 멀수록 경사가 높다. 또, 광가이드 플레이트(60)의 길이방향 밑면(또는 배면, 67a)이 적외선방사대(40)에 대해 나란한 직선을 이룬다. 또, 광가이드 플레이트(60)의 배면(62a)에는 반사시트(64)가 부착된다.
적외선 발광소자(50)에서 발광되는 적외선은 광가이드 플레이트(60)의 길이방향으로 비추어지고, 출사면(61a)에 부딪히면 상향으로 굴절되고, 일부는 광가이드 플레이트(60)의 내부로 굴절 입사되고, 광가이드 플레이트(60)의 배면(62a)에 반사되어 다시 출사면(61a)을 통해 상향으로 굴절되어 발산된다.
또, 출사면(61a)에 확산시트(65)를 부착할 수 있다. 확산시트(65)를 부착하는 경우, 배면(62a)에는 반사시트(64)를 부착하지 않아도 된다.
다음으로, 본 발명의 일실시예에 따른 적외선 카메라의 다층 이미지 센서의 구성을 도 8 및 도 9를 참조하여 설명한다.
도 8에서 보는 바와 같이, 본 발명의 일실시예에 따른 적외선 카메라(20)는 감광소자(23)를 적어도 2개 층으로 나란히 배열한 다층 이미지 센서(21); 및 상기 다층 이미지 센서(21)의 감지위치에 층으로 구비된 감광소자(23)들 중 적외선을 수신하지 못한 감광소자(23)에 따라 상기 감지위치에서의 물체 접촉을 감지하는 감지판단부(22)를 포함하여 구성된다.
다층 이미지 센서(21)는 적어도 2개의 감광소자(23)를 층으로 구성한다. 예를 들어, 도 8과 같이 5개 감광소자(23)를 층으로 구성한다. 층으로 구성된 5개의 감광소자(23)가 곧 하나의 수신셀을 구성한다. 배경기술에 설명한 바와 같이, 수신셀은 적외선 카메라 내에 가로방향으로 다수 형성된다. 예를 들어, 300개의 수신셀이 나란히 배열되어 있다면, 다층 이미지 센서(21)는 총 1,500개(= 수신셀 당 5개의 층 * 300개의 수신셀)의 감광소자(23)를 필요로 한다.
층으로 구성된 감광소자(23)는 반대편에 구비된 광가이드 플레이트(60)로부터 송출되는 적외선(90)을 수신한다. 송출되는 적외선(90)은 화면부(11)에 평행하게 직진되므로, 손가락 등 지시체(또는 물체)(80)가 화면부(11)에 접근하면 일부의 적외선(90)은 지시체(80)에 의해 차단된다.
도 8의 일례에서, 지시체(80)에 의해 층으로 구성된 감광소자(23) 중 상위 3개의 감광소자(23)는 적외선(90)을 수신하지 못하는 반면, 하위 2개는 적외선(90)을 수신한다.
감지판단부(22)는 층으로 구성된 감광소자(23)가 각각 적외선(90)을 수신하는지 수신하지 못하는지에 따라, 해당 수신셀에서 물체(80)가 화면부(11)에 접촉하는지 여부를 결정한다. 즉, 감지판단부(22)는 각 감광소자(23)의 적외선 수신결과를 입력받아 물체 접촉 여부를 결정한다.
감지판단부(22)는 범용 마이크로 프로세스로 구현하거나 주문형 반도체(ASIC)로 제작될 수 있다. 이는 공지기술이므로 구체적 설명을 생략한다.
제1 실시예로서, 감지판단부(22)는 감지위치에 층으로 구비된 감광소자(23) 중에서 적외선(90)을 수신하지 못한 감광소자(23)의 개수가 기준개수 이상인 경우 상기 감지위치에서 물체 접촉을 감지한 것으로 판단한다.
도 8의 일례에서, 기준개수를 4로 설정하면, 층으로 구성된 감광소자(23) 중에서 4개 이상의 감광소자(23)에서 적외선(90)을 수신할 때, 감지판단부(22)는 물체 접촉을 감지한 것으로 판단한다. 이때 지시체(80)는 화면부(11)로부터 거리 A까지 접근하였을 때 물체 접촉을 감지한다.
도 9와 같이 화면부(11)의 표면이 변형되어 있는 경우, 다층 이미지 센서(21)의 가장 하단에 있는 감광소자(23)는 적외선(90)을 수신하지 못한다. 따라서 상위에서 3번째 까지의 감광소자(23)만 적외선을 수신하지 못하더라도 물체 접촉을 감지한 것으로 판단한다. 즉, 지시체(80)는 화면부(11)로부터 거리 B1 또는 B2 까지 접근하였을 때 물체 접촉을 감지한다.
제2 실시예로서, 감지판단부(22)는 감지위치에 층으로 구비된 감광소자(23) 모두에서 적외선(90)을 수신하지 못하는 경우 상기 감지위치에서 물체 접촉을 감지한 것으로 판단한다.
제3 실시예로서, 감지판단부(22)는 감지위치에 층으로 구비된 감광소자 중에서 최상위 감광소자(23)부터 하위 감광소자(23)까지 연속으로 적외선을 수신하지 못한 감광소자(23)의 개수가 기준개수 이상인 경우 상기 감지위치에서 물체 접촉을 감지한 것으로 판단한다.
최상위 감광소자(23)는 층으로 구비된 감광소자 중에서 화면부(11)에서 가장 멀리 떨어진 감광소자를 의미하고, 최하위 감광소자(23)는 화면부(11)에서 가장 가까운 감광소자를 의미한다.
손가락 등의 지시체(80)는 화면부(11)를 접촉하기 위해 화면부(11)의 표면 위쪽에서 아래쪽으로 이동한다. 따라서 층으로 구비된 감광소자의 최상위 감광소자부터 차례로 아래의 감광소자가 순차적으로 가려지게 된다. 최상위부터 아래까지 가려진 감광소자의 개수로 지시체(80)의 접촉을 감지한다.
도 8의 일례는 최상위부터 아래까지 3개의 감광소자가 가려진 것이고, 도 9는 2개의 감광소자가 가려진 것이다.
기준개수가 높을수록 정밀하게(화면부에 가까이 오면 접촉을 감지) 감지하나, 화면부(11)의 변형이나 이물질에 의한 감지에러 가능성이 높다. 반대로 기준개수가 적을수록 감지에러 가능성이 줄어드나 접촉의 정밀성은 떨어진다. 기준개수의 숫자를 조절함으로써 최적의 접촉성능을 설정할 수 있다.
즉, 기준개수 또는 차감개수의 숫자를 통해 감도를 조절할 수 있다.
제4 실시예로서, 감지판단부(22)는 물체 접촉이 없을 때 감지위치에 층으로 구비된 감광소자(23) 중에서 적외선을 수신하는 감광소자(23)의 개수(이하 수신가능 개수)를 저장하였다가, 감지위치에 층으로 구비된 감광소자(23) 중에서 적외선을 수신하지 못하는 감광소자(23)의 개수가 상기 수신가능 개수의 기준비율 이상인 경우 상기 감지위치에서 물체 접촉을 감지한 것으로 판단한다.
도 8의 일례에서, 기준비율을 80%로 설정하고, 물체 접촉이 없을 때 감지위치에 층으로 구비된 감광소자(23) 중에서 적외선을 수신하는 감광소자(23)의 개수는 5개이다. 따라서 층으로 구성된 감광소자(23) 중에서 4개 이상의 감광소자(23)에서 적외선(90)을 수신할 때, 감지판단부(22)는 물체 접촉을 감지한 것으로 판단한다. 즉, 전체 5개 중에서 80%이상인 4개 이상의 감광소자(23)에서 적외선(90)을 수신하지 않을 때 물체 접촉을 한 것으로 감지한다.
한편, 도 9와 같이 화면부(11)의 표면이 변형되어 있는 경우, 다층 이미지 센서(21)의 가장 하단에 있는 감광소자(23)는 적외선(90)을 수신하지 못한다. 따라서 물체 접촉이 없을 때 감지위치에 층으로 구비된 감광소자(23) 중에서 적외선을 수신하는 감광소자(23)의 개수는 4개이다.
이때, 4개 중에서 80%이상인 4개 이상(3.2 이상)의 감광소자(23)에서 적외선(90)을 수신하지 않을 때 물체 접촉을 한 것으로 감지한다. 즉, 모든 감광소자(23)에서 적외선(90)을 수신하지 않을 때 물체 접촉으로 판단한다.
다음으로, 본 발명의 제1 실시예에 따른 감지판단부의 회로설계에 대하여 도 10을 참조하여 설명한다. 앞서 본 바와 같이, 제1 실시예에 따른 감지판단부(22)는 감지위치에 층으로 구비된 감광소자 중에서 적외선을 수신하지 못한 감광소자의 개수가 기준개수 이상인 경우 상기 감지위치에서 물체 접촉을 감지한다.
도 10에서 보는 바와 같이, 본 발명의 제1 실시예에 따른 감지판단부(22)는 층으로 구성된 감광소자(23)의 출력을 모두 더하는 덧셈부(22b), 덧셈부(22b)의 출력과 기준개수를 비교하는 비교부(22c), 비교부(22c)의 결과를 수신셀의 감지결과로 입력받아 감지위치를 파악하는 감지위치 추적부(22a)로 구성된다.
일례로서, 감광소자(23)는 적외선을 수신하면 0을 출력하고 수신하지 못하면 1을 출력한다. 이때, 덧셈부(22b)에서 감광소자(23)의 출력을 모두 더한 결과값은 적외선을 수신하지 못한 감광소자(23)의 개수이다. 비교부(22c)는 이 더한 개수와 기준개수를 비교하여 기준개수보다 크면 해당 수신셀에서 접촉을 감지한 것으로 판단한다.
감지위치 추적부(22a)는 배경기술의 도 2에서 설명한 바와 같이 적외선이 수광(수신)되지 않는 수신셀들로부터 감지위치를 파악한다.
덧셈부(22b) 및 비교부(22c)는 디지털 회로 구성하며, 단일 클럭에 의해 수행이 가능하므로 수신셀의 감지위치를 매우 빠르게 감지할 수 있다.
다음으로, 본 발명의 제2 실시예에 따른 감지판단부의 회로설계에 대하여 도 11을 참조하여 설명한다. 앞서 본 바와 같이, 제2 실시예에 따른 감지판단부(22)는 감지위치에 층으로 구비된 감광소자 모두에서 적외선을 수신하지 못하는 경우 상기 감지위치에서 물체 접촉을 감지한 것으로 판단한다.
도 11에서 보는 바와 같이, 본 발명의 제2 실시예에 따른 감지판단부(22)는 층으로 구성된 감광소자(23)의 출력을 모두 논리곱(AND) 또는 논리합(OR)을 하는 논리연산부(22d) 및 논리연산부(22d)의 결과를 수신셀의 감지결과로 입력받아 감지위치를 파악하는 감지위치 추적부(22a)로 구성된다.
일례로서, 감광소자(23)는 적외선을 수신하면 0을 출력하고 수신하지 못하면 1을 출력한다. 이때, 논리연산부(22d)에서 감광소자(23)의 출력을 모두 논리곱(AND)한다. 층을 구성하는 모든 감광소자(23)에서 적외선을 수신하지 못하면 1이 출력되고 그러하지 못하면 0이 출력된다. 따라서 출력값이 1이면 해당 수신셀에서 접촉을 감지한 것으로 판단한다. 만약 감광소자(23)는 적외선을 수신하면 1을 출력하고 수신하지 못하면 0을 출력하면 논리곱(AND) 대신 논리합(OR)을 이용한다.
감지위치 추적부(22a)는 제1 실시예와 동일하므로 생략한다.
다음으로, 본 발명의 제3 실시예에 따른 감지판단부의 회로설계에 대하여 도 12를 참조하여 설명한다. 앞서 본 바와 같이, 제3 실시예에 따른 감지판단부(22)는 감지위치에 층으로 구비된 감광소자 중에서 최상위 감광소자부터 하위 감광소자까지 연속으로 적외선을 수신하지 못한 감광소자의 개수가 기준개수 이상인 경우 상기 감지위치에서 물체 접촉을 감지한다.
도 12a에서 보는 바와 같이, 본 발명의 제3 실시예에 따른 감지판단부(22)는 최하위부터 차감개수만큼의 감광소자(23)에 항상 1 또는 0의 신호가 입력되도록 구성된 차감부(22e), 차감부(22e)의 출력을 모두 논리곱(AND) 또는 논리합(OR)을 하는 논리연산부(22d), 및 논리연산부(22d)의 결과를 수신셀의 감지결과로 입력받아 감지위치를 파악하는 감지위치 추적부(22a)로 구성된다.
일례로서, 감광소자(23)는 적외선을 수신하면 0을 출력하고 수신하지 못하면 1을 출력한다. 도 12b에서 보는 바와 같이, 이때, 차감부(22e)는 감광소자(23)의 출력과 차감개수에 의한 신호(0 또는 1)를 논리합(OR)한다. 만약 차감개수가 2이면, 최하위의 2개 감광소자(23)의 출력에는 차감개수의 신호로서 "1"을 입력하고, 나머지 상위 3개의 감광소자(23)의 출력에는 차감개수의 신호로서 "0"을 입력한다.
그리고 논리연산부(22d)는 차감부(22e)의 출력을 모두 논리곱(AND)한다. 따라서 상위의 3개 감광소자(23)에서 적외선을 수신하지 못하면, 하위 2개의 감광소자(23)의 적외선 수광 여부와 관계없이 차감부(22e)의 출력은 모두 1이고, 논리연산부(22d)의 연산결과는 "1"이므로 수신셀이 감지된 것으로 판단된다.
만약 감광소자(23)는 적외선을 수신하면 1을 출력하고 수신하지 못하면 0을 출력하면, 차감부(22e)는 논리합(OR) 대신 논리곱(AND)을 이용하고, 논리연산부(22d)는 논리곱(AND) 대신 논리합(OR)을 이용한다.
감지위치 추적부(22a)는 제1 실시예와 동일하므로 생략한다.
앞서 본 발명에 따른 제1 내지 제3 실시예는 모두 수신셀의 감지여부에 대한 판단을 단일 클럭에 의해 수행이 가능하므로 수신셀의 감지위치를 매우 빠르게 감지할 수 있다.
다음으로, 본 발명의 일실시예에 따라 양방향 터치스크린 시스템이 작동되는 방법을 도 13을 참조하여 설명한다.
먼저, 적외선 카메라(20)는 다층 이미지 센서(21)를 구성하는 감광소자(23)로부터 적외선 수신신호를 입력받는다(S10). 감광소자(23)에서 적외선을 수신하면 "1", 적외선을 수신하지 못하면 "0"의 디지털 신호가 입력된다.
적외선 카메라(20)의 감지판단부(22)는 하나의 수신셀에서 층으로 이루어진 감광소자(23)에서 적외선을 수신하지 못한 감광소자의 개수를 계산하고(S20), 그 개수에 따라 수신셀에서 물체 접촉 감지여부를 판단한다(S30). 이 판단기준은 앞서 설명한 바와 같은 다양한 기준 중 어느 하나로 정해진다.
다음으로, 양측 적외선 카메라(20) 각각에서 물체 접촉을 감지한 수신셀을 도출하고, 양측 카메라 모두에서 물체 접촉을 감지한 수신셀이 존재하면 삼각법에 의하여 물체의 접촉 위치를 산출한다(S40).
마지막으로, 화면부(11) 상에서 물체 접촉위치에서 터치 신호를 발생시킨다(S50).
이상, 본 발명자에 의해서 이루어진 발명을 상기 실시 예에 따라 구체적으로 설명하였지만, 본 발명은 상기 실시 예에 한정되는 것은 아니고, 그 요지를 이탈하지 않는 범위에서 여러 가지로 변경 가능한 것은 물론이다.
본 발명은 적외선 카메라의 감광소자를 여러 층으로 배열하고 감지위치에서의 적외선을 수신하지 못하는 감광소자의 개수에 따라 감지위치에서의 물체 접촉을 감지하는 양방향 터치스크린 시스템을 개발하는 데 적용이 가능하다.

Claims (8)

  1. 삭제
  2. 터치스크린의 화면부의 일측 모서리(이하 제1 모서리)의 좌측과 우측에 설치되어, 상기 제1 모서리를 제외한 상기 화면부의 나머지 모서리 측으로부터 나오는 적외선을 수신하는 적외선 카메라를 포함하는 양방향 터치스크린 시스템에 있어서,
    상기 적외선 카메라는,
    감광소자를 적어도 2개 층으로 나란히 배열한 다층 이미지 센서; 및
    상기 다층 이미지 센서의 감지위치에 층으로 구비된 감광소자들 중 적외선을 수신하지 못한 감광소자에 따라 상기 감지위치에서의 물체 접촉을 감지하는 감지판단부를 포함하고,
    상기 감지판단부는 감지위치에 층으로 구비된 감광소자 중에서 적외선을 수신하지 못한 감광소자의 개수가 기준개수 이상인 경우 상기 감지위치에서 물체 접촉을 감지하는 것을 특징으로 하는 양방향 터치스크린 시스템.
  3. 제2항에 있어서,
    상기 감지판단부는, 층으로 구성된 감광소자의 출력을 모두 더하여 기준개수와 비교하는 회로를 포함하는 것을 특징으로 하는 양방향 터치스크린 시스템.
  4. 삭제
  5. 삭제
  6. 터치스크린의 화면부의 일측 모서리(이하 제1 모서리)의 좌측과 우측에 설치되어, 상기 제1 모서리를 제외한 상기 화면부의 나머지 모서리 측으로부터 나오는 적외선을 수신하는 적외선 카메라를 포함하는 양방향 터치스크린 시스템에 있어서,
    상기 적외선 카메라는,
    감광소자를 적어도 2개 층으로 나란히 배열한 다층 이미지 센서; 및
    상기 다층 이미지 센서의 감지위치에 층으로 구비된 감광소자들 중 적외선을 수신하지 못한 감광소자에 따라 상기 감지위치에서의 물체 접촉을 감지하는 감지판단부를 포함하고,
    상기 감지판단부는 감지위치에 층으로 구비된 감광소자 중에서 최상위 감광소자부터 하위 감광소자까지 연속으로 적외선을 수신하지 못한 감광소자의 개수가 기준개수 이상인 경우 상기 감지위치에서 물체 접촉을 감지한 것으로 판단하는 것을 특징으로 하는 양방향 터치스크린 시스템.
  7. 제6항에 있어서,
    상기 감지판단부는,
    감지위치에 층으로 구비된 감광소자의 출력을 모두 논리곱(AND) 또는 논리합(OR)으로 구성하고, 최하위에서 차감개수만큼 상위까지의 감광소자의 출력이 상기 논리곱(AND) 또는 논리합(OR)에 항상 1 또는 0의 신호가 입력되도록 구성된 디지털 회로를 포함하되,
    상기 차감개수는 층의 총 감광소자 개수에서 기준개수를 뺀 개수인 것을 특징으로 하는 양방향 터치스크린 시스템.
  8. 제2항에 있어서,
    상기 감지판단부는 물체 접촉이 없을 때 감지위치에 층으로 구비된 감광소자 중에서 적외선을 수신하는 감광소자의 개수(이하 수신가능 개수)를 저장하였다가, 감지위치에 층으로 구비된 감광소자 중에서 적외선을 수신하지 못하는 감광소자의 개수가 상기 수신가능 개수의 기준비율 이상인 경우 상기 감지위치에서 물체 접촉을 감지한 것으로 판단하는 것을 특징으로 하는 양방향 터치스크린 시스템.
KR1020100025630A 2010-03-23 2010-03-23 다층 감광소자를 갖는 양방향 터치 스크린 시스템 KR101009912B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100025630A KR101009912B1 (ko) 2010-03-23 2010-03-23 다층 감광소자를 갖는 양방향 터치 스크린 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100025630A KR101009912B1 (ko) 2010-03-23 2010-03-23 다층 감광소자를 갖는 양방향 터치 스크린 시스템

Publications (1)

Publication Number Publication Date
KR101009912B1 true KR101009912B1 (ko) 2011-01-20

Family

ID=43616601

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100025630A KR101009912B1 (ko) 2010-03-23 2010-03-23 다층 감광소자를 갖는 양방향 터치 스크린 시스템

Country Status (1)

Country Link
KR (1) KR101009912B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101560391B1 (ko) 2014-06-27 2015-10-26 엘지전자 주식회사 2d 및 3d 터치 기능을 구비한 전자 장치
US9696852B2 (en) 2014-06-25 2017-07-04 Lg Electronics Inc. Electronic device for sensing 2D and 3D touch and method for controlling the same
WO2023017903A1 (ko) * 2021-08-10 2023-02-16 삼성전자주식회사 터치 디스플레이 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6379127A (ja) * 1986-09-24 1988-04-09 Hitachi Ltd タツチセンサ検出装置
JP2001117722A (ja) * 1999-10-15 2001-04-27 Ricoh Co Ltd 情報入力／検出／表示装置
JP2002091701A (ja) 2000-09-12 2002-03-29 Ricoh Co Ltd 座標入力装置
JP2009199259A (ja) * 2008-02-20 2009-09-03 Sharp Corp タッチパネル装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6379127A (ja) * 1986-09-24 1988-04-09 Hitachi Ltd タツチセンサ検出装置
JP2001117722A (ja) * 1999-10-15 2001-04-27 Ricoh Co Ltd 情報入力／検出／表示装置
JP2002091701A (ja) 2000-09-12 2002-03-29 Ricoh Co Ltd 座標入力装置
JP2009199259A (ja) * 2008-02-20 2009-09-03 Sharp Corp タッチパネル装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9696852B2 (en) 2014-06-25 2017-07-04 Lg Electronics Inc. Electronic device for sensing 2D and 3D touch and method for controlling the same
KR101560391B1 (ko) 2014-06-27 2015-10-26 엘지전자 주식회사 2d 및 3d 터치 기능을 구비한 전자 장치
WO2023017903A1 (ko) * 2021-08-10 2023-02-16 삼성전자주식회사 터치 디스플레이 장치

Similar Documents

Publication Publication Date Title
EP2419812B1 (en) Optical touch screen systems using reflected light
KR101033428B1 (ko) 에어리어 이미지 센서를 사용한 위치 검출 장치
US20070075648A1 (en) Reflecting light
JP5025551B2 (ja) タッチパネル
TWI410841B (zh) Optical touch system and its method
US20150261339A1 (en) Optical touch screens
US8922526B2 (en) Touch detection apparatus and touch point detection method
US20110261016A1 (en) Optical touch screen system and method for recognizing a relative distance of objects
KR20100075460A (ko) 저 프로파일 터치 패널 시스템
KR20120112466A (ko) 터치 입력 수신을 위한 장치 및 방법
US20120133624A1 (en) Display panel
US20130155030A1 (en) Display system and detection method
US10956702B2 (en) Apparatus for recognizing a fingerprint, and display device
US20150035799A1 (en) Optical touchscreen
JP2005107607A (ja) 光学式位置検出装置
US20150205442A1 (en) Optical touch screen
TW201324259A (zh) 使用者介面顯示裝置
TWI484387B (zh) 光學感測單元、顯示模組及其顯示裝置
US20160092032A1 (en) Optical touch screen system and computing method thereof
KR101009912B1 (ko) 다층 감광소자를 갖는 양방향 터치 스크린 시스템
CN105308548A (zh) 光学触摸屏
JP2009093616A (ja) タッチパネル
JP2011081740A (ja) 光式タッチパネル
KR20100116267A (ko) 터치 패널 및 그를 가지는 터치 표시 장치
TWI543045B (zh) 觸控裝置和觸控投影系統

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140114

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20150114

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20160113

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20170109

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20180109

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20190114

Year of fee payment: 9