KR20120110817A - 전자펜 및 전자펜을 이용한 입력 방법, 전자펜 입력을 위한 디스플레이 장치 - Google Patents

전자펜 및 전자펜을 이용한 입력 방법, 전자펜 입력을 위한 디스플레이 장치 Download PDF

Info

Publication number
KR20120110817A
KR20120110817A KR20110028938A KR20110028938A KR20120110817A KR 20120110817 A KR20120110817 A KR 20120110817A KR 20110028938 A KR20110028938 A KR 20110028938A KR 20110028938 A KR20110028938 A KR 20110028938A KR 20120110817 A KR20120110817 A KR 20120110817A
Authority
KR
South Korea
Prior art keywords
display
pattern
black matrix
electronic pen
light source
Prior art date
Application number
KR20110028938A
Other languages
English (en)
Inventor
이정석
한영란
이상헌
윤인국
김현우
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR20110028938A priority Critical patent/KR20120110817A/ko
Priority to EP12159687.8A priority patent/EP2506125A3/en
Priority to CN2012100912696A priority patent/CN102736748A/zh
Priority to US13/435,785 priority patent/US20120249490A1/en
Publication of KR20120110817A publication Critical patent/KR20120110817A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03542—Light pens for emitting or receiving light
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/133—Constructional arrangements; Operation of liquid crystal cells; Circuit arrangements
    • G02F1/1333—Constructional arrangements; Manufacturing methods
    • G02F1/1335—Structural association of cells with optical devices, e.g. polarisers or reflectors
    • G02F1/133509—Filters, e.g. light shielding masks
    • G02F1/133512—Light shielding layers, e.g. black matrix
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0317—Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface
    • G06F3/0321—Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface by optically sensing the absolute position with respect to a regularly patterned surface forming a passive digitiser, e.g. pen optically detecting position indicative tags printed on a paper sheet
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means

Abstract

본 발명은 디스플레이에 전자펜을 이용하여 사용자 명령을 입력하는 방법에 있어서, 상기 전자펜의 광원을 통해 상기 디스플레이 방향으로 광을 발생시키는 과정과, 상기 전자펜의 카메라부를 통해 상기 디스플레이를 촬영하는 과정과, 상기 촬영된 영상에서 상기 디스플레이의 블랙 매트릭스(BM, black matrix) 패턴을 인식하는 과정과, 상기 인식된 블랙 매트릭스 패턴을 미리 저장된 패턴과 비교하여, 상기 디스플레이 상에서 상기 광원이 조사되는 위치를 검출하는 과정을 포함함을 특징으로 한다.

Description

전자펜 및 전자펜을 이용한 입력 방법, 전자펜 입력을 위한 디스플레이 장치{HANDWRITING INPUT APPARATUS AND INPUT METHOD USING THE HANDWRITING INPUT APPARATUS, DISPLAY DIVICE FOR INPUTTING OF THE HANDWRITING INPUT APPARATUS}
본 발명은 전자기기에서 사용하기 위한 입력 시스템에 관한 것으로서, 특히 전자펜 및 전자펜을 이용한 입력 방법, 전자펜 입력을 위한 디스플레이 장치에 관한 것이다.
최근 휴대용 전자 기기가 늘어나면서 기존의 키보드, 키패드, 마우스와 같은 입력 방식 외에, 손가락이나 터치용 펜을 이용하여 화면을 직접 터치하여 입력을 수행하는 터치 스크린 입력 방식이 많이 사용되고 있다. 이러한 터치 스크린 입력 방식은 디스플레이 상에서 필기 입력이나 제스처(gesture) 입력을 필요로 한다. 기존의 저항막 방식의 터치 입력 방식은 스타일러스 펜(stylus pen)과 같은 입력 수단을 이용하여 세밀한 필기 입력이 가능하였으나, 근래에 들어 멀티 터치가 가능한 정전기력 터치 입력 방식이 주로 사용되면서 필기 입력 시 정교한 입력에 어려움이 있다.
터치 스크린 입력 방식 중, 전자펜을 이용하여 디스플레이에 미리 정의된 패턴을 인식하여 입력을 수행하는 입력 방식이 있다. 이는 카메라를 구비한 전자펜을 이용하여 디스플레이의 형성된 패턴을 인식하고 이를 이용하여 전자펜의 위치를 검출하고 검출된 위치 값을 통해 입력을 수행하는 입력 방식이다. 이러한 입력 방식은 전자펜의 펜촉 방향을 촬영하는 카메라를 이용하여 전자펜이 가르키는 영역에 형성된 디스플레이를 촬영하고 촬영된 영상에서 약속된 패턴을 검출하여 전자펜이 가르키는 위치 혹은 명령을 인식한다.
도 1은 종래의 전자펜 입력 방식을 위해 디스플레이에 구성된 패턴의 예를 나타낸 도면이다. 기존의 패턴 인식을 통한 전자펜 입력 방식을 수행하기 위해 다양한 형태의 패턴이 사용되었다. 도 1의 (a)는 디지털 페이퍼(digital paper)위에 적외선(IR, Infra Red) 광원이 흡수되는 도료를 이용하여 미리 약속된 형태로 원(101)을 배치하여 패턴을 형성한 예를 나타낸다. 디지털 페이퍼를 사용하는 경우에는 패턴이 인쇄되어있는 디지털 페이퍼 이외의 표면에서는 전자펜을 사용할 수 없다. 도 1의 (b)는 디지털 페이퍼에서 수직 또는 수평 방향의 직선 모양을 배열하여 패턴(102)을 형성하고, 이렇게 형성된 패턴을 투명 필름 위에 인쇄하여 디스플레이 표면에 부착하여 사용한다. 이 경우 디스플레이 패널이 두꺼워지고 디스플레이의 휘도가 떨어지는 단점이 있다. 또한, 디지털 페이퍼의 패턴 제작 시, IR 흡수 도료 대신에 IR 광원이 반사되는 물질을 사용하는 경우에는 휘도와 함께 디스플레이의 명암비가 열화되는 문제점이 나타날 수 있다.
도 1의 (c)는 LCD 픽셀(pixel)을 수정하여 픽셀의 서브픽셀에 숫자로 형성된 약속된 패턴(103)을 부가하여 각 픽셀에 패턴을 형성한 예를 나타낸다. 도 1의 (d)는 디스플레이의 블랙 매트릭스(BM, Black matrix)에 카메라를 통해 인식할 수 있는 패턴(104)을 인쇄하는 예를 나타낸다. 그러나, 도 1의 (c)의 디스플레이의 서브 픽셀을 활용하는 방식의 경우 디스플레이의 픽셀을 사용하기 때문에 휘도와 선명도가 감소하여 디스플레이의 성능 열화가 발생할 수 있으며, 도 1의 (d)와 같이 BM에 패턴을 인쇄하는 방식의 경우에도 패턴 인쇄를 위한 별도의 공정이 필요하여 폭이 좁은 BM에 패턴을 형성하기 위한 정밀한 정렬기술이 요구되는 어려움이 있다.
본 발명은 패턴 인식을 이용한 전자펜 입력 방법 구현 시, 패턴 형성을 위한 별도의 공정이나 부품의 추가가 없으며, 디스플레이의 휘도나 명암비의 열화가 없는 전자펜을 입력을 이용한 디스플레이 장치, 전자펜을 이용한 입력 방법 및 전자펜 장치를 제공하고자 한다.
이를 달성하기 위한 본 발명의 제1 형태에 따르면, 본 발명은 디스플레이에 전자펜을 이용하여 사용자 명령을 입력하는 방법에 있어서, 상기 전자펜의 광원을 통해 상기 디스플레이 방향으로 광을 발생시키는 과정과, 상기 전자펜의 카메라부를 통해 상기 디스플레이를 촬영하는 과정과, 상기 촬영된 영상에서 상기 디스플레이의 블랙 매트릭스(BM, black matrix) 패턴을 인식하는 과정과, 상기 인식된 블랙 매트릭스 패턴을 미리 저장된 패턴과 비교하여, 상기 디스플레이 상에서 상기 광원이 조사되는 위치를 검출하는 과정을 포함함을 특징으로 하며,
상기 블랙 매트릭스의 패턴은, 상기 블랙 매트릭스에서 상기 디스플레이의 서브 픽셀의 경계를 이루는 사각형의 각 모서리 중 적어도 한 부분이 미리 설정된 도형 형태가 되도록 형성된 것임을 특징으로 하며,
상기 블랙 매트릭스의 패턴은, 상기 블랙 매트릭스에서 상기 디스플레이의 서브 픽셀의 경계를 이루는 라인 중 적어도 한 부분의 두께를 변형하여 형성된 것임을 특징으로 하며,
상기 광원을 통해 발생되는 광은 적외선 광임을 특징으로 하며, 상기 블랙 매트릭스는 카본 블랙(Carbon Black)을 포함함을 특징으로 한다.
본 발명의 제2 형태에 따르면, 본 발명은 디스플레이에 사용자 명령을 입력하기 위한 전자펜에 있어서, 상기 디스플레이 방향으로 광을 발생시키기 위한 광원과, 상기 디스플레이를 촬영하기 위한 카메라부와,상기 디스플레이를 제어하는 전자 장치와 통신을 수행하기 위한 통신부와, 상기 카메라부를 통해 촬영된 영상에서 상기 디스플레이의 블랙 매트릭스(BM, black matrix) 패턴을 인식하며, 상기 인식된 블랙 매트릭스 패턴을 미리 저장된 패턴과 비교하여 상기 디스플레이 상에서 상기 광원이 조사되는 위치를 검출하는 제어부를 포함함을 특징으로 한다.
본 발명의 제3 형태에 따르면, 본 발명은 전자펜을 이용하여 사용자 명령을 입력하기 위한 디스플레이에 있어서, 상기 디스플레이의 각 픽셀 별로 형성된 컬러 필터와, 상기 각 픽셀의 서브 픽셀의 경계를 이루도록 형성되며, 상기 경계 중 적어도 한 부분의 모양을 변형하여 상기 디스플레이의 각 영역 별로 미리 약속된 패턴을 형성하는 블랙 매트릭스를 포함함을 특징으로 한다.
본 발명의 제4 형태에 따르면, 본 발명은 디스플레이에 사용자 명령을 입력하기 위한 전자펜에 있어서, 상기 디스플레이 방향으로 광을 발생시키기 위한 광원과, 상기 디스플레이를 촬영하기 위한 카메라부와,상기 디스플레이를 제어하는 전자 장치와 통신을 수행하기 위한 통신부와, 상기 카메라부를 통해 촬영된 영상에서 상기 디스플레이의 블랙 매트릭스(BM, black matrix) 패턴을 인식하며, 상기 통신부를 통해 상기 인식된 블랙 매트릭스 패턴을 상기 전자 장치로 전송하는 제어부를 포함하며, 상기 전자 장치는 상기 인식된 블랙 매트릭스 패턴을 미리 저장된 패턴과 비교하여 상기 디스플레이 상에서 상기 광원이 조사되는 위치를 검출하는 것을 특징으로 한다.
본 발명은 패턴 인식을 이용한 전자펜 입력 방법 구현 시, 패턴 형성을 위한 별도의 공정이나 부품의 추가가 없이 전자펜 입력을 위한 디스플레이 장치를 구현할 수 있으며, 전자펜 입력 방법을 구현 시, 디스플레이에 발생할 수 있는 디스플레이의 휘도나 명암비의 열화를 최소화할 수 있는 효과가 있다.
도 1은 종래의 전자펜 입력을 위해 디스플레이에 구성된 패턴의 예를 나타낸 도면
도 2는 본 발명이 적용되는 디스플레이의 단면을 나타낸 도면
도 3은 본 발명의 일 실시 예에 따른 전자펜 입력 시스템의 동작 개념을 나타낸 도면
도 4는 본 발명의 일 실시 예에 따른 전자펜 입력 시스템의 디스플레이의 BM(Black Matrix) 패턴의 예를 나타낸 도면
도 5는 본 발명의 일 실시 예에 따른 전자펜 입력 시스템의 디스플레이의 BM 패턴의 다른 예를 나타낸 도면
도 6은 본 발명의 일 실시 예에 따른 전자펜 입력 동작 시, 전자펜의 동작 흐름을 나타낸 도면
도 7은 본 발명의 일 실시 예에 따른 전자펜의 구성을 나타낸 도면
이하 첨부된 도면을 참조하여 본 발명을 구성하는 장치 및 동작 방법을 본 발명의 실시 예를 참조하여 상세히 설명한다. 하기 설명에서는 구체적인 구성 소자 등과 같은 특정 사항들이 나타나고 있는데 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐 이러한 특정 사항들이 본 발명의 범위 내에서 소정의 변형이나 혹은 변경이 이루어질 수 있음은 이 기술분야에서 통상의 지식을 가진 자에게는 자명하다 할 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다.
본 발명은 휴대폰, 컴퓨터, 전자 칠판, 태블릿, 전자책 등의 디스플레이 화면을 구비한 전자기기에서 사용 가능한 전자펜을 이용한 입력 방법을 개시하며, 특히, LCD, PDP, AMOLED, 전자 페이퍼 등의 디스플레이에서 블랙 매트릭스(Black Matrix, BM)의 형태를 변형하여 형성된 패턴을 인식하여 전자펜의 입력 위치를 파악하여 입력을 수행하는 전자펜 입력 방법을 제안한다.
이에 따라, 본 발명은 디스플레이의 블랙 매트릭스에 형성된 패턴을 카메라를 통해 검출하여 검출한 패턴을 이용하여 입력 위치 및 제스처 정보를 해독하는 전자펜과 약속된 패턴 모양으로 형성된 블랙 매트릭스를 포함한 디스플레이를 제안한다.
본 발명이 적용되는 디스플레이는 기존의 일반적인 디스플레이와 동일한 구조를 갖는다. 즉, 본 발명은 디스플레이의 종류와 무관하게 적용이 가능하며, 디스플레이는 일반적인 LCD(Liquid Crystal Display), PDP(Plasma Display Panel), OLED(Organic Light-Emitting Display), 전자종이(Electronic Paper) 등으로 구성될 수 있다.
본 명세서에서는 LCD 디스플레이 패널을 예로 들어 본 발명의 구성과 동작 원리를 설명하기로 한다.
도 2는 본 발명이 적용되는 디스플레이의 액정 패널의 단면도를 도시한다.
액정 패널은 전면에 전면 편광판(202)이 위치하며, 전면 편광판(202) 하부에 컬러필터 기판(211)이 위치하며, 컬러필터 기판(211)의 하부에 블랙매트릭스(201)와 컬러필터(204)가 위치한다.
블랙매트릭스(201)와 컬러필터(204)의 하부에는 박막 트랜지스터(TFT, Thin film Transistor) 기판이 존재하는데, 도 2에 도시된 바와 같이 박막 트랜지스터 기판은 TFT-Array 기판(208) 위에 공통전극(ITO, 210)과 화소전극(ITO, 207)이 위치하며, 공통전극(210)과 화소전극(207) 사이에 두 배향막(205)과 스페이서(spacer, 203), 축적용량(CS, 203), Sealant(209)가 포함되어 형성된다. TFT-Array 기판(208) 하부에는 후면 편광판(202)이 위치한다.
본 발명은 본 발명의 특징에 따라, 컬러 필터(204) 사이의 경계를 나타내는 블랙매트릭스(201)가 광원을 흡수할 수 있는 물질이나 구조를 포함하거나, 광원을 선택적으로 반사하는 물질이나 구조를 포함한다. 만약 전자펜의 광원이 IR을 발생시키는 광원일 경우 블랙매트릭스(201)는 IR 흡수체인 카본 블랙(Carbon Black)으로 구성될 수 있다. 본 발명은 블랙 매트릭스(201)의 형태를 변형시켜서 약속된 패턴을 형성한다.
도 3은 본 발명의 일 실시 예에 따른 전자펜 입력 시스템의 동작 개념을 나타낸 도면이다. 본 발명에서 사용되는 전자펜(310)은 광원(304)과, 펜촉 방향 즉, 디스플레이 방향을 촬영할 수 있는 카메라를 포함하며, 카메라는 이미지 센서(301)와 렌즈(302)와 광학 필터(Optical filter, 303)를 포함하여 구성된다.
또한, 디스플레이는 전면 편광판(13)과 박막 트랜지스터 기판(11)과 컬러 필터 기판(12)과 후면 편광판(14)을 포함하는 액정 패널(10)과, 광학시트류(21)와 도광판(22)과 반사시트(23)와 램프유닛(24)을 포함하는 백라이트 어셈블리(20)와, 액정 패널(10) 및 백라이트 어셈블리(20)를 지지하는 몰드 프레임(30)과, 몰드프레임(30)의 외주면을 감싸는 메탈 브라켓(40)을 포함하는 LCD 모듈로 구성된다. 컬러 필터 기판(12)은 컬러필터 간의 경계를 형성하는 블랙 매트릭스를 포함한다.
액정 패널(10)은 화소단위를 이루는 액정 셀들이 매트릭스 형태로 배열되어 있으며, 제어부(미도시)에서 전달되는 화상 신호 정보에 따라 액정 셀들의 광 투과율을 조절함으로써 화상을 형성한다.
백라이트 어셈블리(20)는 액정 패널(10)의 배면에 평행하게 배치되는 도광판(22)과, 도광판(22)의 적어도 일측 측변을 따라 배치되어 빛을 공급하는 램프 유닛(24)과, 도광판(22)의 전면에 구비되어 액정 패널(10)로 향하는 빛을 확산 및 집광하는 광학시트류(21)와 도광판(22)의 배면에 마련되는 반사시트(23)로 형성된다.
이러한 디스플레이 상에서 전자펜(310)의 입력 위치 추적은 다음과 같은 과정을 통해서 이루어진다.
전자펜(310)은 광원(304)에서 디스플레이 방향으로 발생시키는 광을 카메라를 통해 촬영한다. 전자펜(310)의 카메라는 전자펜(310)의 디스플레이 방향의 영상을 촬영하도록 고정되어 설치된다.
이때, 디스플레이 내의 블랙 매트릭스는 전자펜(310)의 광원(304)에서 발생시킨 광을 흡수하는 물질이나 구조를 포함하여 이루어지며, 광원을 디스플레이에 조사하여 카메라를 통해 촬영을 수행하면 블랙 매트릭스에 해당하는 부분에서 광의 흡수가 일어나기 때문에 블랙 매트릭스 부분은 검은색으로 표현된 이미지가 촬영된다.
촬영된 이미지는 전자펜 혹은 전자펜과 통신하는 다른 전자장치의 제어부에서 이미지 처리가 수행하고, 제어부는 이미지에서 블랙 매트릭스로 인해 형성된 패턴을 검출한다. 검출된 패턴은 디스플레이와 전자펜 혹은 전자펜과 통신하는 다른 전자장치 간에 미리 약속되어 있는 혹은 미리 저장되어 있는 패턴이기 때문에 검출된 패턴을 통해 촬영된 이미지가 디스플레이 상에서 어느 영역에 속하는지 알 수 있다. 또한, 검출된 패턴에 따라 미리 설정된 명령(command)을 추출할 수 있다. 제어부는 검출된 패턴과 미리 저장된 패턴을 비교하여 검출된 패턴이 미리 저장된 패턴에서 어느 영역에 해당하는지 검출할 수 있다.
도 4는 본 발명의 일 실시 예에 따른 전자펜 입력 시스템의 디스플레이의 BM(Black Matrix) 패턴의 예를 나타낸 도면이다. 본 발명의 일 실시 예에 따른 디스플레이의 BM 패턴은 도 4에 도시된 바와 같이 컬러 필터의 각 픽셀의 경계를 이루는 사각형의 모서리 부분에 미리 설정된 도형 모양의 패턴을 추가적으로 중첩하여 형성한다.
도 5는 본 발명의 일 실시 예에 따른 전자펜 입력 시스템의 디스플레이의 BM(Black Matrix) 패턴의 다른 예를 나타낸 도면이다. 본 발명에서는 디스플레이에서 서브 픽셀(sub-pixel)의 경계를 형성하는 BM의 모양을 다양하게 변화시켜 패턴을 형성하고 이러한 각 영역의 BM 패턴을 정보로 사용할 수 있다. 도 5는 본 발명에서 사용 가능한 다양한 패턴의 형태를 도시한다. BM 패턴은 디스플레이의 개구율과 전자펜의 광학계를 고려하여 적당한 크기와 형태를 만들어야 한다.
도 5의 (a), (b)는 사각형과 삼각형의 패턴을 각 픽셀의 교차점의 상하좌우에 배치하여 BM 패턴을 형성한 예를 도시한다. 도 5의 (c)는 각 픽셀의 모서리에 별도의 도형을 배치하지 않고 각 서브 픽셀 간의 BM 라인의 굵기를 조절하여 패턴을 형성한 예를 나타낸다. 도 5의 (d)는 도 5의 (a)의 BM의 형태에서 디스플레이의 개구율이 줄어드는 것을 막기 위해 BM 라인의 일부를 얇게 만들어 개구율을 보상하도록 한 패턴 형태를 도시한다. 도 5에 도시한 바와 같이, 본 발명은 기존의 디스플레이에서 사용되는 BM의 모양을 변형하여 패턴을 형성하기 때문에 BM을 이용하는 모든 디스플레이 방식에 적용이 가능하다.
한편, BM의 패턴을 인식하여 입력 위치를 판별하기 위해서는, 전자펜의 카메라를 통해 촬영한 BM의 특정 영역에 따라 인식된 패턴이 유일한 패턴이여야 한다. 이에 따라 BM의 각 패턴은 카메라가 인식하는 각 영역 별로 중복되지 않아야 한다. 따라서, 바람직하게는 각 픽셀마다 형성된 BM의 패턴이 각각 상이한 모양이 되도록 형성할 수 있으며, 카메라가 인식 가능한 BM의 영역 크기에 따라, 특정 수의 픽셀로 이루어진 정방형의 픽셀 그룹 별로 상이한 패턴이 되도록 형성할 수 있다.
도 6은 본 발명의 일 실시 예에 따른 전자펜 입력 동작 시, 전자펜의 동작 흐름을 나타낸 도면이다. 도 6을 참조하면, 먼저 610단계에서 전자펜은 전자펜의 광원을 통해 광을 발생시킨다. 본 발명의 일 실시 예에서는 적외선 광을 발생시키는 광원을 통해 적외선 광을 펜촉 방향, 즉, 디스플레이 방향으로 발생시킨다. 또한, 광원의 발생은 전자펜에 포함된 스위치나 버튼을 통해 출력되도록 할 수 있다. 620단계에서는 전자펜의 카메라를 통해 디스플레이 방향의 영상을 촬영한다. 630단계에서는 촬영된 이미지를 처리하여 촬영된 이미지에서 BM의 패턴을 인식한다. 640단계에서는 인식된 BM 패턴을 미리 약속된 BM 패턴의 전체 영상과 비교하여 인식된 BM 패턴이 전체 영상에서 어느 영역인지 파악하여 전자펜의 입력 위치를 검출한다. 또한, 인식된 BM 패턴에 미리 정의된 명령이 설정되어 있는지 판단하여 미리 정의된 명령을 검출하는 동작을 수행할 수도 있다. 650단계에서는 640단계에서 검출된 입력 위치를 출력한다. 또한, 미리 정의된 명령이 검출된 경우 검출된 명령을 출력한다.
도 7은 본 발명의 일 실시 예에 따른 전자펜의 구성을 나타낸 도면이다. 도 7을 참조하면, 본 발명의 일 실시 예에 따른 전자펜은 통신부(307)와 제어부(306)와 광원(304)과 카메라부(305)를 포함한다.
통신부(307)는 외부의 전자 장치와 통신을 수행한다. 이 경우 외부의 전자 장치는, 전자펜(310)의 입력 신호를 이용하는 장치, 즉, 입력 대상 장치 혹은 디스플레이를 제어하는 장치를 의미한다. 이에 따라 외부의 전자 장치는 휴대폰, 스마트폰, PMP(Portable Multimedia Player), 타블렛(Tablet), 데스크탑, 노트북 등의 디스플레이를 포함하는 전자 장치가 될 수 있다.
본 발명의 일 실시 예에서, 통신부(307)는 외부의 전자 장치와 블루투스(Bluetooth), 지그비(Zigbee)와 같은 근거리 무선 통신이나, 일반적인 유선 통신 방식을 통해 외부의 전자 장치와 데이터 송수신을 수행한다.
또한, 본 발명의 일 실시 예에서 통신부(307)는 카메라부(305)에서 촬영된 영상을 통신부(307)를 통해 외부의 전자장치로 전송하거나, 제어부(306)가 촬영된 영상에서 검출한 BM 패턴을 외부의 전자장치로 전송할 수 있다. 또한, 제어부(306)가 검출한 BM 패턴을 이용하여 입력 위치를 검출한 경우, 검출한 입력 위치에 대한 정보를 외부의 전자장치로 전송할 수 있다.
광원(304)은 전자펜(310)의 펜촉 방향으로 광을 발생시킨다. 다시 말하면, 사용자가 전자펜을 손에 쥐고 디스플레이에 입력을 수행할 경우, 전자펜(310)의 광원(304)은 입력을 수행할 디스플레이를 향하는 방향으로 광을 발생시킨다.
본 발명의 일 실시 예에서 광원(304)은 적외선 광을 발생시키는 광원이다.
카메라부(305)는 전자펜(310)의 펜촉 방향의 영상을 촬영한다. 즉, 전자펜(310)이 가리키는 디스플레이 영역을 촬영한다.
제어부(306)는 전자펜(310)의 각 구성을 제어한다. 또한, 본 발명의 일 실시 예에서 제어부(306)는 카메라부(305)를 통해 촬영된 영상에서 BM 패턴을 검출할 수 있다. 또한, 본 발명의 일 실시 예에서 제어부(306)는 카메라부(305)를 통해 촬영된 영상에서 BM 패턴을 검출하고, 메모리(미도시)에 미리 저장된 디스플레이의 BM패턴과 촬영 영상에서 검출된 BM패턴을 비교하여 전자펜(310)의 입력 위치를 검출할 수 있다.
본 발명의 일 실시 예에서 영상의 BM패턴을 검출하는 동작은 전자펜(310)의 제어부(306)에서 수행되거나, 외부의 전자 장치에서 수행될 수 있다.
본 발명에서 기존의 디스플레이 제조 공정에서 별도로 추가되는 공정이나 계층(layer) 없이 디스플레이에서 사용하는 BM의 형태를 직접 수정함으로써 두께 증가나 디스플레이의 성능 저하가 발생하지 않는 장점이 있다.
상기와 같이 본 발명의 일 실시 예에 따른 전자펜 및 전자펜을 이용한 입력 방법, 전자펜 입력을 위한 디스플레이 장치의 구성 및 동작이 이루어질 수 있으며, 한편, 상기한 본 발명의 설명에서는 구체적인 실시 예에 관해 설명하였으나 여러 가지 변형이 본 발명의 범위를 벗어나지 않고 실시될 수 있다.

Claims (14)

  1. 디스플레이에 전자펜을 이용하여 사용자 명령을 입력하는 방법에 있어서,
    상기 전자펜의 광원을 통해 상기 디스플레이 방향으로 광을 발생시키는 과정과,
    상기 전자펜의 카메라부를 통해 상기 디스플레이를 촬영하는 과정과,
    상기 촬영된 영상에서 상기 디스플레이의 블랙 매트릭스(BM, black matrix) 패턴을 인식하는 과정과,
    상기 인식된 블랙 매트릭스 패턴을 미리 저장된 패턴과 비교하여, 상기 디스플레이 상에서 상기 광원이 조사되는 위치를 검출하는 과정을 포함함을 특징으로 하는 디스플레이에 전자펜을 이용하여 사용자 명령을 입력하는 방법.
  2. 제 1항에 있어서, 상기 블랙 매트릭스의 패턴은,
    상기 블랙 매트릭스에서 상기 디스플레이의 서브 픽셀의 경계를 이루는 사각형의 각 모서리 중 적어도 한 부분이 미리 설정된 도형 형태가 되도록 형성된 것임을 특징으로 하는 디스플레이에 전자펜을 이용하여 사용자 명령을 입력하는 방법.
  3. 제 1항에 있어서, 상기 블랙 매트릭스의 패턴은,
    상기 블랙 매트릭스에서 상기 디스플레이의 서브 픽셀의 경계를 이루는 라인 중 적어도 한 부분의 두께를 변형하여 형성된 것임을 특징으로 하는 디스플레이에 전자펜을 이용하여 사용자 명령을 입력하는 방법.
  4. 제 1항에 있어서, 상기 광원을 통해 발생되는 광은 적외선 광임을 특징으로 하는 디스플레이에 전자펜을 이용하여 사용자 명령을 입력하는 방법.
  5. 제 4항에 있어서, 상기 블랙 매트릭스는 카본 블랙(Carbon Black)을 포함함을 특징으로 하는 디스플레이에 전자펜을 이용하여 사용자 명령을 입력하는 방법.
  6. 디스플레이에 사용자 명령을 입력하기 위한 전자펜에 있어서,
    상기 디스플레이 방향으로 광을 발생시키기 위한 광원과,
    상기 디스플레이를 촬영하기 위한 카메라부와,
    상기 디스플레이를 제어하는 전자 장치와 통신을 수행하기 위한 통신부와,
    상기 카메라부를 통해 촬영된 영상에서 상기 디스플레이의 블랙 매트릭스(BM, black matrix) 패턴을 인식하며, 상기 인식된 블랙 매트릭스 패턴을 미리 저장된 패턴과 비교하여 상기 디스플레이 상에서 상기 광원이 조사되는 위치를 검출하는 제어부를 포함함을 특징으로 하는 전자펜.
  7. 제 6항에 있어서, 상기 블랙 매트릭스의 패턴은,
    상기 블랙 매트릭스에서 상기 디스플레이의 서브 픽셀의 경계를 이루는 사각형의 각 모서리 중 적어도 한 부분이 미리 설정된 도형 형태가 되도록 형성된 것임을 특징으로 하는 전자펜.
  8. 제 6항에 있어서, 상기 블랙 매트릭스의 패턴은,
    상기 블랙 매트릭스에서 상기 디스플레이의 서브 픽셀의 경계를 이루는 라인 중 적어도 한 부분의 두께를 변형하여 형성된 것임을 특징으로 하는 전자펜.
  9. 제 6항에 있어서, 상기 광원을 통해 발생되는 광은 적외선 광임을 특징으로 하는 전자펜.
  10. 전자펜을 이용하여 사용자 명령을 입력하기 위한 디스플레이에 있어서,
    상기 디스플레이의 각 픽셀 별로 형성된 컬러 필터와,
    상기 각 픽셀의 서브 픽셀의 경계를 이루도록 형성되며, 상기 경계 중 적어도 한 부분의 모양을 변형하여 상기 디스플레이의 각 영역 별로 미리 약속된 패턴을 형성하는 블랙 매트릭스를 포함함을 특징으로 하는 디스플레이.
  11. 제 10항에 있어서, 상기 블랙 매트릭스의 패턴은,
    상기 블랙 매트릭스에서 상기 디스플레이의 서브 픽셀의 경계를 이루는 사각형의 각 모서리 중 적어도 한 부분이 미리 설정된 도형 형태가 되도록 형성된 것임을 특징으로 하는 디스플레이.
  12. 제 10항에 있어서, 상기 블랙 매트릭스의 패턴은,
    상기 블랙 매트릭스에서 상기 디스플레이의 서브 픽셀의 경계를 이루는 라인 중 적어도 한 부분의 두께를 변형하여 형성된 것임을 특징으로 하는 디스플레이.
  13. 제 10항에 있어서, 상기 블랙 매트릭스는 카본 블랙(Carbon Black)을 포함함을 특징으로 하는 디스플레이.
  14. 디스플레이에 사용자 명령을 입력하기 위한 전자펜에 있어서,
    상기 디스플레이 방향으로 광을 발생시키기 위한 광원과,
    상기 디스플레이를 촬영하기 위한 카메라부와,
    상기 디스플레이를 제어하는 전자 장치와 통신을 수행하기 위한 통신부와,
    상기 카메라부를 통해 촬영된 영상에서 상기 디스플레이의 블랙 매트릭스(BM, black matrix) 패턴을 인식하며, 상기 통신부를 통해 상기 인식된 블랙 매트릭스 패턴을 상기 전자 장치로 전송하는 제어부를 포함하며,
    상기 전자 장치는 상기 인식된 블랙 매트릭스 패턴을 미리 저장된 패턴과 비교하여 상기 디스플레이 상에서 상기 광원이 조사되는 위치를 검출하는 것을 특징으로 하는 전자펜.
KR20110028938A 2011-03-30 2011-03-30 전자펜 및 전자펜을 이용한 입력 방법, 전자펜 입력을 위한 디스플레이 장치 KR20120110817A (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR20110028938A KR20120110817A (ko) 2011-03-30 2011-03-30 전자펜 및 전자펜을 이용한 입력 방법, 전자펜 입력을 위한 디스플레이 장치
EP12159687.8A EP2506125A3 (en) 2011-03-30 2012-03-15 Electronic pen, input method using electronic pen, and display device for electronic pen input
CN2012100912696A CN102736748A (zh) 2011-03-30 2012-03-30 电子笔、使用电子笔的输入方法及其显示设备
US13/435,785 US20120249490A1 (en) 2011-03-30 2012-03-30 Electronic pen, input method using electronic pen, and display device for electronic pen input

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20110028938A KR20120110817A (ko) 2011-03-30 2011-03-30 전자펜 및 전자펜을 이용한 입력 방법, 전자펜 입력을 위한 디스플레이 장치

Publications (1)

Publication Number Publication Date
KR20120110817A true KR20120110817A (ko) 2012-10-10

Family

ID=45874691

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20110028938A KR20120110817A (ko) 2011-03-30 2011-03-30 전자펜 및 전자펜을 이용한 입력 방법, 전자펜 입력을 위한 디스플레이 장치

Country Status (4)

Country Link
US (1) US20120249490A1 (ko)
EP (1) EP2506125A3 (ko)
KR (1) KR20120110817A (ko)
CN (1) CN102736748A (ko)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140088790A (ko) * 2013-01-03 2014-07-11 삼성전자주식회사 패턴을 구비한 디스플레이 장치 및 상기 디스플레이 장치에 형성된 패턴을 인식하여 입력 위치 검출이 가능한 이미지 인식 장치 및 방법
KR20140123848A (ko) * 2013-04-15 2014-10-23 삼성전자주식회사 디스플레이 유닛 상의 입력 위치를 검출하는 방법 및 장치
KR20150028435A (ko) * 2013-09-06 2015-03-16 엘지전자 주식회사 디스플레이 장치 및 그의 동작 방법
KR20170039345A (ko) 2015-10-01 2017-04-11 주식회사 투어플랫폼 전자펜 시스템
WO2017086529A1 (ko) * 2015-11-16 2017-05-26 권우영 평판표시장치의 전자기장 안테나 겸용 격자무늬 빛 가리개
KR102476025B1 (ko) * 2022-10-13 2022-12-09 주식회사 보나 광학식 전자펜을 위한 그래픽 인디케이터 장치 및 그 이미지 처리 방법
US11847285B2 (en) 2022-03-02 2023-12-19 Samsung Display Co., Ltd. Display device and position input system including the same
US11861116B2 (en) 2022-01-14 2024-01-02 Samsung Display Co., Ltd. Display device and touch input system including the same

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5966281B2 (ja) * 2011-08-31 2016-08-10 セイコーエプソン株式会社 電子ペーパーと、電子ペーパー記録システム
JPWO2013035319A1 (ja) * 2011-09-06 2015-03-23 パナソニック株式会社 表示装置及び表示制御システム
JP5553920B2 (ja) * 2012-06-01 2014-07-23 パナソニック株式会社 表示パネルおよび表示装置
CN103049109B (zh) * 2012-12-20 2016-03-30 广州视睿电子科技有限公司 一种触控笔及触控点识别方法
EP2759873B1 (en) * 2013-01-28 2019-06-26 Samsung Display Co., Ltd. Display device
KR20150004138A (ko) 2013-07-02 2015-01-12 삼성디스플레이 주식회사 위치 감지 시스템 및 그 구동 방법
JP2015106332A (ja) * 2013-12-02 2015-06-08 株式会社リコー 座標検出システム、情報処理装置、プログラム、記憶媒体、座標検出方法
EP3175326B1 (en) 2014-07-30 2020-09-02 Hewlett-Packard Development Company, L.P. Detector for a display
KR102333720B1 (ko) * 2015-04-09 2021-12-01 삼성전자주식회사 디지털 펜, 터치 시스템 및 이의 정보 제공 방법
WO2018022039A1 (en) * 2016-07-27 2018-02-01 Hewlett-Packard Development Company, L.P. Illuminated patterns
CN108983999B (zh) * 2017-06-05 2021-10-22 奇象光学有限公司 数位笔
EP3944329A4 (en) * 2019-03-18 2022-10-26 BOE Technology Group Co., Ltd. DISPLAY PANEL AND METHOD OF MANUFACTURING THEREOF
CN110750202B (zh) * 2019-09-30 2021-12-24 联想(北京)有限公司 一种信息处理方法及电子设备
WO2021221667A1 (en) * 2020-04-30 2021-11-04 Hewlett-Packard Development Company, L.P. Touch/pen sensors with pedot films
CN112130680A (zh) * 2020-09-03 2020-12-25 昆山龙腾光电股份有限公司 光电装置、触控笔、触控显示系统及触控显示方法
KR20230016737A (ko) 2021-07-26 2023-02-03 삼성디스플레이 주식회사 표시 장치 및 이를 포함하는 터치 입력 시스템
KR20230025562A (ko) 2021-08-12 2023-02-22 삼성디스플레이 주식회사 표시 장치 및 이를 포함하는 센싱 시스템
KR20230041111A (ko) 2021-09-16 2023-03-24 삼성디스플레이 주식회사 스마트 펜 및 이를 이용하는 표시 장치
KR20230106187A (ko) * 2022-01-05 2023-07-13 삼성디스플레이 주식회사 표시 장치 및 이를 포함하는 터치 입력 시스템

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR950004378B1 (ko) * 1992-09-09 1995-04-28 주식회사금성사 위치감지액정표시소자및제조방법
US6330976B1 (en) * 1998-04-01 2001-12-18 Xerox Corporation Marking medium area with encoded identifier for producing action through network
JP4776832B2 (ja) * 2000-10-19 2011-09-21 キヤノン株式会社 座標入力装置、および、画像入力装置の座標板
US7142197B2 (en) * 2002-10-31 2006-11-28 Microsoft Corporation Universal computing device
KR100519371B1 (ko) * 2002-12-24 2005-10-07 엘지.필립스 엘시디 주식회사 터치패널이 장착된 액정표시장치
US7626575B2 (en) * 2003-03-28 2009-12-01 Samsung Electronics Co., Ltd. Light pen
TWI236629B (en) * 2003-05-23 2005-07-21 Au Optronics Corp Method for producing a touch panel
JP4774716B2 (ja) * 2004-10-28 2011-09-14 セイコーエプソン株式会社 情報表示装置、位置指示装置および位置検出システム
JP4794847B2 (ja) * 2004-10-29 2011-10-19 キヤノン株式会社 ２次元コードおよび情報処理方法
US20060139338A1 (en) * 2004-12-16 2006-06-29 Robrecht Michael J Transparent optical digitizer
US7619607B2 (en) * 2005-06-30 2009-11-17 Microsoft Corporation Embedding a pattern design onto a liquid crystal display
KR20070082110A (ko) * 2006-02-15 2007-08-21 엘지.필립스 엘시디 주식회사 액정 표시 장치
KR101500426B1 (ko) * 2008-08-26 2015-03-09 삼성디스플레이 주식회사 터치 스크린 표시 장치

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140088790A (ko) * 2013-01-03 2014-07-11 삼성전자주식회사 패턴을 구비한 디스플레이 장치 및 상기 디스플레이 장치에 형성된 패턴을 인식하여 입력 위치 검출이 가능한 이미지 인식 장치 및 방법
KR20140123848A (ko) * 2013-04-15 2014-10-23 삼성전자주식회사 디스플레이 유닛 상의 입력 위치를 검출하는 방법 및 장치
KR20150028435A (ko) * 2013-09-06 2015-03-16 엘지전자 주식회사 디스플레이 장치 및 그의 동작 방법
KR20170039345A (ko) 2015-10-01 2017-04-11 주식회사 투어플랫폼 전자펜 시스템
WO2017086529A1 (ko) * 2015-11-16 2017-05-26 권우영 평판표시장치의 전자기장 안테나 겸용 격자무늬 빛 가리개
US11861116B2 (en) 2022-01-14 2024-01-02 Samsung Display Co., Ltd. Display device and touch input system including the same
US11847285B2 (en) 2022-03-02 2023-12-19 Samsung Display Co., Ltd. Display device and position input system including the same
KR102476025B1 (ko) * 2022-10-13 2022-12-09 주식회사 보나 광학식 전자펜을 위한 그래픽 인디케이터 장치 및 그 이미지 처리 방법

Also Published As

Publication number Publication date
EP2506125A3 (en) 2015-05-27
CN102736748A (zh) 2012-10-17
EP2506125A2 (en) 2012-10-03
US20120249490A1 (en) 2012-10-04

Similar Documents

Publication Publication Date Title
KR20120110817A (ko) 전자펜 및 전자펜을 이용한 입력 방법, 전자펜 입력을 위한 디스플레이 장치
JP6446510B2 (ja) タッチパネル及びその駆動装置
WO2019218731A1 (zh) 显示装置及其控制方法
JP6226389B2 (ja) 近赤外フィルタを有するセンサインピクセル・ディスプレイ
US10088964B2 (en) Display device and electronic equipment
US20080117182A1 (en) Display device including sensing elements and driving method thereof
WO2017156804A1 (zh) 触控式液晶显示装置以及电子设备
KR20180102112A (ko) 멀티-레벨 커맨드 감지 장치
WO2016115842A1 (zh) 彩膜基板、阵列基板及显示装置
CN1734392A (zh) 具有通用人机接口的电子装置
JP2008293114A (ja) 照明付タッチパネル及び該タッチパネルを備えた表示装置
US10073569B2 (en) Integrated polarizer and conductive material
US20130285981A1 (en) Display module, electronic device and control method thereof
WO2014065203A1 (ja) 座標入力装置、及びそれを備えた表示装置
TWI475309B (zh) 電子紙顯示器
US20140362054A1 (en) Display control system and reading device
US9569048B2 (en) Touch display panel and display device
US10372253B2 (en) Touch display device and backlight unit thereof
JP2008181466A (ja) 表示入力装置及び表示入力システム
US20110310072A1 (en) Display panel and display device
US20180024736A1 (en) Electronic device and touch panel
US9285626B2 (en) Liquid crystal panel and liquid crystal display apparatus having the same
US20140049852A1 (en) Display device
KR20130038255A (ko) 표시 시스템
CN103218088B (zh) 光学触摸显示装置及光学触摸屏

Legal Events

Date Code Title Description
A201 Request for examination
E601 Decision to refuse application