KR102429967B1 - 자이로 센서 기반의 광학식 전자펜의 디스플레이 엣지 처리 시스템 및 방법 - Google Patents
자이로 센서 기반의 광학식 전자펜의 디스플레이 엣지 처리 시스템 및 방법 Download PDFInfo
- Publication number
- KR102429967B1 KR102429967B1 KR1020220067873A KR20220067873A KR102429967B1 KR 102429967 B1 KR102429967 B1 KR 102429967B1 KR 1020220067873 A KR1020220067873 A KR 1020220067873A KR 20220067873 A KR20220067873 A KR 20220067873A KR 102429967 B1 KR102429967 B1 KR 102429967B1
- Authority
- KR
- South Korea
- Prior art keywords
- electronic pen
- unit
- coordinate
- movement trajectory
- gyro sensor
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
- G06F3/0308—Detection arrangements using opto-electronic means comprising a plurality of distinctive and separately oriented light emitters or reflectors associated to the pointing device, e.g. remote cursor controller with distinct and separately oriented LEDs at the tip whose radiations are captured by a photo-detector associated to the screen
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
- G06F3/03542—Light pens for emitting or receiving light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
- G06F3/03545—Pens or stylus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
- G06F3/0421—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Position Input By Displaying (AREA)
Abstract
본 발명은 일반적으로 광학식 전자펜에서 디스플레이 엣지를 효과적으로 처리하는 기술에 관한 것이다. 특히, 본 발명은 디스플레이 엣지 부분에 존재하는 광학식 전자펜의 음영지역에 대한 인식 및 전자펜 입력 처리를 자이로 센서를 이용하여 구현함으로써 디스플레이 패널을 온전히 사용할 수 있도록 해주는 자이로 센서 기반의 광학식 전자펜의 디스플레이 엣지 처리 기술에 관한 것이다. 본 발명에 따르면 광학식 전자펜에서 디스플레이 패널의 엣지 영역을 사용할 수 있게 되어 사용자 편의성을 개선할 수 있는 장점이 있다.
Description
본 발명은 일반적으로 광학식 전자펜에서 디스플레이 엣지를 효과적으로 처리하는 기술에 관한 것이다.
특히, 본 발명은 디스플레이 엣지 부분에 존재하는 광학식 전자펜의 음영지역에 대한 인식 및 전자펜 입력 처리를 자이로 센서를 이용하여 구현함으로써 디스플레이 패널을 온전히 사용할 수 있도록 해주는 자이로 센서 기반의 광학식 전자펜의 디스플레이 엣지 처리 기술에 관한 것이다.
일반적으로 전자펜(스마트펜, 터치펜)은 사용자의 필기 내용을 전자기기(예: 랩톱컴퓨터, 스마트폰, 전자칠판 등)에 디스플레이하고 파일로 저장하는 용도로 사용되며, 도트 패턴(dot pattern)이 인쇄된 특수용지 위에서 사용자가 필기하면 그 궤적 정보를 전자펜이 읽어들여 전자기기로 무선 전송한다.
또한, 태블릿 PC나 랩톱컴퓨터 등의 프리미엄 제품에서 전자펜 기능이 적용되고 있고 노타빌리티(Notability), 굿노트(GoodNotes) 등과 같은 필기 앱도 발전하여 전자기기를 위한 전자펜 수요가 증가하고 있다.
전자펜 솔루션으로서 EMR(전자기공명 ElectroMagnetic Resonance) 방식의 스타일러스(stylus) 펜 기술과 정전 방식의 액티브 펜(active pen) 기술이 일반적으로 사용된다. 그런데, 이들 기술은 10인치 이상의 디스플레이에서는 성능 확보가 기술적으로 어렵고 2차원 센서 배열을 설치해야 하므로 디스플레이 사이즈 증가에 따라 제조비용이 크게 증가하며 폴딩, 롤링, 슬라이딩 등의 폼팩터 변화에 대응하기 곤란한 문제가 있다.
이러한 배경에서 광학식 전자펜(optical digital pen)이 전자기기용 펜 솔루션으로 개발되고 있다. 광 방식에서는 도트(dot) 패턴이 적용된 투명필름을 디스플레이에 부착하는 등에 의해 디스플레이 상에 위치코드만 형성하면 되므로 디스플레이 사이즈가 증가해도 펜 특성 열화나 제조비용 상승이 거의 없을 뿐만 아니라 폴딩, 롤링, 슬라이딩 등의 폼팩터 변화에도 대응할 수 있다.
[도 1]은 광학식 전자펜(10)의 장치 구성을 개념적으로 나타낸 도면이고, [도 2]는 광학식 전자펜(10)과 스마트 단말장치(30) 간의 협조동작을 나타내는 블록도이다.
펜바디(11)를 그립(grip)한 상태로 디스플레이 패널(200) 상에 필기하면 펜팁(12)이 디스플레이 패널(200)의 표면에 맞닿은 상태로 동작 궤적을 이루게 된다. 이때, 디스플레이 패널(200)은 다양한 재질로 이루어질 수 있는데, 일반적인 종이 재질로 이루어질 수도 있고 유리나 강화 플라스틱 재질의 액정(LCD) 또는 유기발광다이오드(OLED) 소자로 이루어질 수도 있다.
전자펜 제어부재(14)는 전자펜 펜팁(12)과 디스플레이 패널(200) 간의 접촉 이벤트를 압력센싱유닛(13)의 압력 감지를 통해 식별할 수 있으며 이를 통해 사용자가 필기하고 있는 사실을 인지한다. 압력센싱유닛(13)은 압력센서 지지유닛(13a)에 의해 후방 지지되므로 필기가 시작될 때 펜팁(12)에 인가된 압력을 감지할 수 있다. 전자펜 제어부재(14)는 필기 사실을 식별하면 IR 발광유닛(17)을 제어하여 펜팁(12)의 움직임을 따라 디스플레이 패널(200)의 외표면에 빛(예: 적외선(IR) 광)을 조사하도록 한다.
IR 발광유닛(17)이 조사한 빛은 디스플레이 패널(200)의 표면에서 반사되는데, IR 수광유닛(16)이 그 반사광을 수광한다. 디스플레이 패널(200)에는 위치코드(210)가 인쇄 또는 디스플레이 형성되어 있다. 위치코드(210)는 특수한 인코딩 규칙에 따라 이루어진 도트 패턴으로 구현될 수 있다. 디스플레이 패널(200)에 적외선 광원을 흡수하는 투명 도트 패턴이 적용된 투명필름을 부착하고, 그 위에서 IR 발광유닛(17)이 적외선을 조사하도록 구성될 수 있다.
IR 수광유닛(16)이 반사광(IR 반사광)을 수집하면 펜팁(12)의 이동궤적에 대응하는 위치코드(210) 정보도 함께 획득하게 된다. IR 수광유닛(16)은 IR 필터부(16a), CMOS 광학부(16b), IR 센서부(16c)로 구성될 수 있으며 렌즈 등을 더 구비할 수 있다.
전자펜 제어부재(14)의 좌표 계산부(14a)는 IR 수광유닛(16)이 획득한 위치코드(210)를 분석하여 펜팁(12)이 디스플레이 패널(200) 상에서 움직인 일련의 좌표정보를 획득한다. 좌표 계산부(14a)가 획득한 좌표정보는 무선통신유닛(18)을 통해 스마트 단말장치(30)의 단말 통신부(31)에 근거리 무선통신(예: 블루투스)으로 전송된다.
전자펜 제어부재(14)의 하드웨어 제어부(14b)는 광학식 전자펜(10)의 하드웨어를 전반적으로 제어한다. 특히, 압력센싱유닛(13)으로부터 전달되는 압력정보에 대응하여 IR 발광유닛(17)을 턴온(turn-on) 또는 턴오프(turn-off) 제어한다. 압력이 검출되면 IR 발광유닛(17)이 턴온되어 디스플레이 패널(200) 상에 빛의 조사가 시작되며, 그에 대응하여 IR 수광유닛(16)이 위치코드(210)를 획득하기 시작하고 좌표 계산부(14a)가 좌표정보를 획득하여 전자펜 제어부재(14)가 펜팁 이동에 따른 일련의 좌표정보를 스마트 단말장치(30)로 제공하기 시작한다. 압력이 미검출되면 IR 발광유닛(17)이 턴오프되어 빛의 조사가 중단되고, 그에 따라 전자펜 제어부재(14)가 좌표정보를 스마트 단말장치(30)로 제공하는 것도 중단된다.
스마트 단말장치(30) 측에서는 단말 통신부(31)를 통해 전자펜(10)으로부터 일련의 좌표정보를 수신하고, 단말 제어부(32)의 궤적 산출부(32a)가 일련의 좌표정보를 기초로 펜팁(12)의 이동궤적을 산출한다. 단말 제어부(32)의 궤적 표시부(32b)는 펜팁(12)의 이동궤적을 단말 패널부(33)에 표시한다. 이때, 단말 패널부(33)는 디스플레이 패널(200)에 대응하는 것이 일반적인데, 이에 한정되는 것은 아니다.
본 발명의 목적은 일반적으로 광학식 전자펜에서 디스플레이 엣지를 효과적으로 처리하는 기술을 제공하는 것이다.
특히, 본 발명의 목적은 디스플레이 엣지 부분에 존재하는 광학식 전자펜의 음영지역에 대한 인식 및 전자펜 입력 처리를 자이로 센서를 이용하여 구현함으로써 디스플레이 패널을 온전히 사용할 수 있도록 해주는 자이로 센서 기반의 광학식 전자펜의 디스플레이 엣지 처리 기술을 제공하는 것이다.
한편, 본 발명의 해결 과제는 이들 사항에 제한되지 않으며 본 명세서의 기재로부터 다른 해결 과제가 이해될 수 있다.
상기의 목적을 달성하기 위하여 본 발명은 광학식 전자펜(100)에 대해 자이로 센서 기반으로 디스플레이 패널(200) 엣지에서의 전자펜 조작 처리를 제공하는 자이로 센서 기반의 광학식 전자펜의 디스플레이 엣지 처리 시스템 및 방법을 제시한다.
본 발명에 따른 자이로 센서 기반의 광학식 전자펜의 디스플레이 엣지 처리 시스템은, 전자펜 몸체(110) 내측에 설치되어 전자펜(100)의 움직임에 대한 3축 가속도 및 회전 각속도를 검출하는 자이로 센서(135); 디스플레이 패널(200)에 의한 반사광을 수광하여 전자펜 펜팁(120)이 놓여진 지점의 위치코드(210)를 센싱하는 IR 수광부재(160); IR 수광부재(160)가 획득한 위치코드(210)를 분석하여 전자펜 펜팁(120)이 이동한 일련의 좌표정보를 획득하는 좌표 계산부(171); 좌표 계산부(171)로부터 좌표정보가 제공되면 전자펜 노말 모드로 진입하고 좌표 계산부(171)가 획득한 일련의 좌표정보에 기초하여 디스플레이 패널(200) 상에서 전자펜 펜팁(120)의 이동궤적(이하, '제 1 이동궤적'이라 함)을 산출하는 궤적 산출부(321); 자이로 센서(135)가 검출하는 일련의 3축 가속도 및 회전 각속도 정보를 수집하는 무브먼트 수집부(322); 전자펜 노말 모드에서 무브먼트 수집부(322)가 수집한 일련의 3축 가속도 정보 및 회전 각속도 정보와 궤적 산출부(321)가 산출한 제 1 이동궤적을 대비함으로써 3축 가속도 정보 및 회전 각속도 정보와 전자펜 펜팁(120)의 이동궤적 간의 상관관계를 산출하는 무브먼트 매핑부(323); 미리 저장하는 디스플레이 패널(200)의 규격과 제 1 이동궤적으로부터 획득한 전자펜 펜팁(120)의 좌표에 기초하여 음영엣지 모드 진입을 판단하고 자이로 센서(135)가 검출하는 3축 가속도 및 회전 각속도를 무브먼트 매핑부(323)가 산출한 상관관계에 산입하여 디스플레이 엣지의 음영지역에서 전자펜 펜팁(120)의 이동궤적(이하, '제 2 이동궤적'이라 함)을 산출하는 엣지 처리부(324); 전자펜 노말 모드에서 제 1 이동궤적을 단말 패널부(330)에 표시하고 음영엣지 모드에서 제 2 이동궤적을 단말 패널부(330)에 표시하는 궤적 표시부(325);를 포함하여 구성된다.
본 발명에 따른 자이로 센서 기반의 광학식 전자펜의 디스플레이 엣지 처리 방법은, IR 수광부재(160)가 디스플레이 패널(200)에 의한 반사광을 수광하여 전자펜 펜팁(120)이 놓여진 지점의 위치코드(210)를 센싱하는 단계; 좌표 계산부(171)가 IR 수광부재(160)가 획득한 위치코드(210)를 분석하여 전자펜 펜팁(120)이 이동한 일련의 좌표정보를 획득하는 단계; 궤적 산출부(321)가 좌표 계산부(171)로부터 좌표정보가 제공되면 전자펜 노말 모드로 진입하는 단계; 궤적 산출부(321)가 좌표 계산부(171)가 획득한 일련의 좌표정보에 기초하여 디스플레이 패널(200) 상에서 전자펜 펜팁(120)의 이동궤적(이하, '제 1 이동궤적'이라 함)을 산출하는 단계; 궤적 표시부(325)가 전자펜 노말 모드에서 제 1 이동궤적을 단말 패널부(330)에 표시하는 단계; 자이로 센서(135)가 전자펜(100)의 움직임에 대한 3축 가속도 및 회전 각속도를 검출하는 단계; 무브먼트 수집부(322)가 자이로 센서(135)가 검출하는 일련의 3축 가속도 및 회전 각속도 정보를 수집하는 단계; 무브먼트 매핑부(323)가 전자펜 노말 모드에서 무브먼트 수집부(322)가 수집한 일련의 3축 가속도 정보 및 회전 각속도 정보와 궤적 산출부(321)가 산출한 제 1 이동궤적을 대비함으로써 3축 가속도 정보 및 회전 각속도 정보와 전자펜 펜팁(120)의 이동궤적 간의 상관관계를 산출하는 단계; 엣지 처리부(324)가 미리 저장하는 디스플레이 패널(200)의 규격과 제 1 이동궤적으로부터 획득한 전자펜 펜팁(120)의 좌표에 기초하여 음영엣지 모드 진입을 판단하는 단계; 엣지 처리부(324)가 음영엣지 모드에서 자이로 센서(135)가 검출하는 3축 가속도 및 회전 각속도를 무브먼트 매핑부(323)가 산출한 상관관계에 산입하여 디스플레이 엣지의 음영지역에서 전자펜 펜팁(120)의 이동궤적(이하, '제 2 이동궤적'이라 함)을 산출하는 단계; 궤적 표시부(325)가 음영엣지 모드에서 제 2 이동궤적을 단말 패널부(330)에 표시하는 단계;를 포함하여 구성된다.
본 발명에서 엣지 처리부(324)는 디스플레이 패널(200)의 음영지역 위치 정보를 미리 저장하고 제 1 이동궤적으로부터 전자펜 펜팁(120)의 좌표를 모니터링하여 전자펜 펜팁(120)의 좌표가 음영지역으로 진입하면 음영엣지 모드 진입을 판단하도록 구성될 수 있다.
또한, 본 발명에서 엣지 처리부(324)는 디스플레이 패널(200)의 사이즈 정보를 미리 저장하고 제 1 이동궤적으로부터 전자펜 펜팁(120)의 좌표를 모니터링하여 좌표 계산부(171)로부터 좌표정보의 제공이 중단되었을 때 전자펜 펜팁(120)의 좌표가 디스플레이 패널(200)의 내부에 해당하면 음영엣지 모드 진입을 판단하도록 구성될 수 있다.
또한, 본 발명에서 엣지 처리부(324)는 음영엣지 모드에서 전자펜 노말 모드로의 복귀를 식별하면 제 2 이동궤적(trj2)에 따른 음영탈출 추정좌표(c2)와 제 1 이동궤적(trj3)에 따른 음영탈출 센싱좌표(c3) 간의 좌표 오차에 기초하여 3축 가속도 정보 및 회전 각속도 정보와 전자펜 펜팁(120)의 이동궤적 간의 상관관계를 수정하도록 구성될 수 있다.
또한, 본 발명에 따른 자이로 센서 기반의 광학식 전자펜의 디스플레이 엣지 처리 방법은, 엣지 처리부(324)가 음영엣지 모드에서 전자펜 노말 모드로의 복귀를 식별하는 단계; 엣지 처리부(324)가 제 2 이동궤적(trj2)에 따른 음영탈출 추정좌표(c2)와 제 1 이동궤적(trj3)에 따른 음영탈출 센싱좌표(c3) 간의 좌표 오차를 산출하는 단계; 엣지 처리부(324)가 음영탈출 추정좌표(c2)와 음영탈출 센싱좌표(c3) 간의 좌표 오차에 기초하여 3축 가속도 정보 및 회전 각속도 정보와 전자펜 펜팁(120)의 이동궤적 간의 상관관계를 수정하는 단계;를 더 포함하여 구성될 수 있다.
한편, 본 발명에 따른 컴퓨터프로그램은 컴퓨터에 이상과 같은 자이로 센서 기반의 광학식 전자펜의 디스플레이 엣지 처리 방법을 실행시키기 위하여 비휘발성 저장매체에 저장된 것이다.
본 발명에 따르면 광학식 전자펜에서 디스플레이 패널의 엣지 영역을 사용할 수 있게 되어 사용자 편의성을 개선할 수 있는 장점이 있다.
[도 1]은 광학식 전자펜의 장치 구성을 나타내는 도면.
[도 2]는 광학식 전자펜과 스마트 단말장치 간의 협조동작을 나타내는 블록도.
[도 3]은 광학식 전자펜의 센싱 오프셋을 개념적으로 나타내는 도면.
[도 4]는 본 발명에 따른 광학식 전자펜의 장치 구성을 나타내는 도면.
[도 5]는 본 발명에 따른 광학식 전자펜의 디스플레이 엣지 처리 시스템의 전체 구성을 나타내는 블록도.
[도 6]은 본 발명에서 전자펜 노말 모드의 개념과 무브먼트 매핑부의 동작을 나타내는 도면.
[도 7]은 본 발명에서 음영엣지 모드의 개념과 엣지 처리부의 동작을 나타내는 도면.
[도 8]은 본 발명에서 필기 궤적을 엣지 처리하는 예시도.
[도 9]는 본 발명에 따른 자이로 센서 기반의 광학식 전자펜의 디스플레이 엣지 처리 방법을 나타내는 순서도.
[도 10]은 본 발명에서 음영탈출 좌표 오차에 기초하여 상관관계를 수정하는 과정을 나타내는 순서도.
[도 2]는 광학식 전자펜과 스마트 단말장치 간의 협조동작을 나타내는 블록도.
[도 3]은 광학식 전자펜의 센싱 오프셋을 개념적으로 나타내는 도면.
[도 4]는 본 발명에 따른 광학식 전자펜의 장치 구성을 나타내는 도면.
[도 5]는 본 발명에 따른 광학식 전자펜의 디스플레이 엣지 처리 시스템의 전체 구성을 나타내는 블록도.
[도 6]은 본 발명에서 전자펜 노말 모드의 개념과 무브먼트 매핑부의 동작을 나타내는 도면.
[도 7]은 본 발명에서 음영엣지 모드의 개념과 엣지 처리부의 동작을 나타내는 도면.
[도 8]은 본 발명에서 필기 궤적을 엣지 처리하는 예시도.
[도 9]는 본 발명에 따른 자이로 센서 기반의 광학식 전자펜의 디스플레이 엣지 처리 방법을 나타내는 순서도.
[도 10]은 본 발명에서 음영탈출 좌표 오차에 기초하여 상관관계를 수정하는 과정을 나타내는 순서도.
이하에서는 도면을 참조하여 본 발명을 상세하게 설명한다.
본 발명에 따른 광학식 전자펜 장치를 설명함에 있어서 종래기술과 중복되는 부분에 대해서는 자세한 설명을 생략할 수 있다.
[도 3]은 광학식 전자펜(10)의 센싱 오프셋을 개념적으로 나타내는 도면이다.
광학식 전자펜(10)의 구조상 IR 수광유닛(16)의 FOV는 전자펜 펜팁(12)에서 약간 이격된 위치에 형성된다. 전자펜(10)은 펜팁(12)이 놓여진 지점(a1)의 위치코드(210)를 인식하지 못하고, 펜팁(12) 위치(a1)에서 약간 이격된 지점(b1)의 위치코드(210)를 인식하는 것이다. 광학식 전자펜(10)에서 이러한 위치 이격은 일반적으로 약 3 mm 정도인데, 이를 본 명세서에는 센싱 오프셋(sensing offset)이라 부른다.
전자펜 분야에서 센싱 오프셋은 일반적으로 문제되지 않았다. 센싱 오프셋은 전자펜(10)의 기구 설계에 따라 정해지므로 그 값이 일정하기 때문에 필기 궤적을 식별하는 면에서는 영향을 미치지 않기 때문이다.
하지만, 센싱 오프셋으로 인하여 디스플레이 엣지에 음영지역이 발생하는 문제점이 있다. [도 3] (b)에 예시된 바와 같이, 디스플레이 엣지에서는 전자펜(10)의 펜팁(12) 위치(a2)가 디스플레이 패널(200)의 내부에 있음에도 불구하고 IR 수광유닛(16)의 FOV가 디스플레이 패널(200)의 외부(b2)에 형성될 수 있다. 이 경우에는 IR 수광유닛(16)이 위치코드(210)를 식별하지 못하므로 전자펜(10)이 작동하지 못한다.
이처럼 센싱 오프셋으로 인하여 디스플레이 패널(200)의 주변부(엣지)를 따라 약 3 mm 정도의 두께를 갖는 띠 모양의 음영지역(220)이 형성된다. 사용자는 정상 조작이라고 생각함에도 불구하고 전자펜(10)이 제대로 작동하지 않으므로 사용자에게 불만 요인이 되고 사용자 만족도를 떨어뜨리는 문제점이 있다.
[도 4]는 본 발명에 따른 광학식 전자펜(100)의 장치 구성을 나타내는 도면이고, [도 5]는 본 발명에 따른 광학식 전자펜의 디스플레이 엣지 처리 시스템의 전체 구성을 나타내는 블록도이다.
본 발명은 광학식 전자펜(100)에 대해 자이로 센서(135) 기반으로 디스플레이 패널(200) 엣지에서의 전자펜 조작 처리를 제공하는 자이로 센서 기반의 광학식 전자펜의 디스플레이 엣지 처리 시스템이다.
[도 4]와 [도 5]를 참조하면, 본 발명에서 광학식 전자펜(100)은 펜바디 부재(110), 전자펜 펜팁(120), 압력센서 부재(130), 자이로 센서(135), IR 발광부재(140), IR 광산란 부재(150), IR 수광부재(160), 전자펜 제어부재(170), 무선통신부재(180)를 구비한다.
먼저, 펜바디 부재(110)는 광학식 전자펜(100)의 몸체를 형성하며 바람직하게는 사용자가 손으로 그립하기 편리하도록 바(bar) 형태로 길게 형성될 수 있다.
전자펜 펜팁(120)은 광학식 전자펜(100)의 펜팁을 형성하며 디스플레이 패널(200)과 만나는 펜바디 부재(110)의 일단부에 배치된다. 전자펜 펜팁(120)는 디스플레이 패널(200)의 상면에서 사용자의 조작에 따라 슬라이딩하도록 구성될 수 있다.
압력센서 부재(130)는 전자펜 펜팁(120)에 인가되는 압력을 감지하는 구성요소로서, 이를 통해 전자펜 펜팁(120)이 디스플레이 패널(200)에 물리적으로 접촉하는 이벤트를 검출한다. 압력센서 부재(130)의 후방에는 센서 지지부재(131)가 배치되어 압력센서 부재(130)를 후방 지지한다. 한편, 전자펜 펜팁(120)이 펜바디 부재(110)의 내외부를 안정적으로 출몰하도록 예컨대 용수철 등에 의해 전자펜 펜팁(120)에 복원력을 제공하는 텐션 부재(미도시)가 구비될 수 있다.
자이로 센서(135)는 전자펜(100)의 몸체(110) 내측에 설치되어 전자펜(100)의 움직임에 대한 3축 가속도 및 회전 각속도(angular velocity)를 검출하는 구성요소이다. 일반적으로 자이로 센서(gyro sensor, gyroscope)는 물체 회전의 각속도를 검출하고 지구 자기장을 이용하여 방위(point of the compass) 정보와 중력 작용방향 정보를 검출하는 센서이다.
한편, 본 발명에서 자이로 센서(135)는 전자펜 펜팁(120)의 움직임(dynamics)을 추적하기 위해 구비되어 있는 구성이다. 이러한 점을 고려하여 자이로 센서(135)는 전자펜 몸체(110)의 내측 하부에 설치되는 것이 바람직하다. 이러한 배치에 의하면 자이로 센서(135)가 전자펜 몸체(110)의 헤드 부분의 움직임 영향을 상대적으로 적게 받는 반면, 전자펜 펜팁(120)의 움직임 영향을 상대적으로 많이 받게 되어 전자펜 펜팁(120)의 위치 이동을 추적하기에 유리하다.
IR 발광부재(140)는 위치코드(210)가 형성된 디스플레이 패널(200)에 광(예: IR 광)을 조사(radiation)하는 구성요소이다.
IR 수광부재(160)는 자신의 유효 수광영역(Field of View, FOV) 내부로 들어오는 디스플레이 패널(200)에 의한 반사광을 수광하여 전자펜 펜팁(120)이 놓여진 지점의 위치코드(210)를 센싱하는 구성요소이다. 설명의 편의를 위해 IR 수광부재(160)의 FOV를 굵은 점선으로 표시하였다.
전자펜 제어부재(170)는 광학식 전자펜(100)의 동작을 전반적으로 제어하는 구성요소이다. 전자펜 제어부재(170)는 압력센서 부재(130)로부터 전달되는 압력정보에 기초하여 전자펜 펜팁(120)이 디스플레이 패널(200) 상에서 움직이고 있음을 인지할 수 있다. 이에 대응하여 전자펜 제어부재(170)는 IR 발광부재(140)를 턴온 제어하고, 이어서 IR 수광부재(160)를 통해 수광하는 반사광으로부터 전자펜 펜팁(120)이 디스플레이 패널(200) 상에서 이동한 일련의 좌표정보를 획득하고 무선통신부재(180)로 전달한다.
이를 위해, 전자펜 제어부재(170)는 좌표 계산부(171)와 하드웨어 제어부(172)를 구비한다. 좌표 계산부(171)는 IR 수광부재(160)가 획득한 위치코드(210)를 분석하여 전자펜 펜팁(120)이 이동한 일련의 좌표정보를 획득하는 구성요소이고, 하드웨어 제어부(172)는 압력센서 부재(130)로부터 전달되는 압력정보에 대응하여 IR 발광부재(140)를 턴온 또는 턴오프 제어하는 구성요소이다. 하드웨어 제어부(172)는 압력센서 부재(130)에 의해 압력이 검출되면 IR 발광부재(140)를 턴온 제어하고 압력센서 부재(130)에 의해 압력이 미검출되면 IR 발광부재(140)를 턴오프 제어하도록 구성될 수 있다.
무선통신부재(180)는 전자펜 제어부재(170)로부터 제공되는 좌표정보를 근거리 무선통신(예: 블루투스)으로 외부의 스마트 단말장치(300)에 전송하는 구성요소이다.
[도 5]를 참조하면, 본 발명에서 스마트 단말장치(300)는 단말 통신부(310), 단말 제어부(320), 단말 패널부(330)를 구비한다.
단말 통신부(310)는 근거리 무선통신(예: 블루투스)을 수행하는 구성요소이다. 특히, 단말 통신부(310)는 근거리 무선통신(예: 블루투스)을 통해 광학식 전자펜(100)의 전자펜 제어부재(170)로부터 일련의 좌표정보를 수신한다.
또한, 단말 패널부(330)는 사용자에게 화면 표시를 제공하는 구성요소이다. 단말 패널부(330)는 디스플레이 패널(200)에 대응하는 것이 일반적인데, 이에 한정되는 것은 아니다.
단말 제어부(320)는 스마트 단말장치(300)의 동작을 전반적으로 제어하는 구성요소로서 궤적 산출부(321), 무브먼트 수집부(322), 무브먼트 매핑부(323), 엣지 처리부(324), 궤적 표시부(325)를 구비한다. [도 5]에는 궤적 산출부(321), 무브먼트 수집부(322), 무브먼트 매핑부(323), 엣지 처리부(324)가 스마트 단말장치(300)의 단말 제어부(320)에 구비된 것으로 도시되어 있는데, 이는 일 실시예로 제시된 것이다. 구현 예에 따라서는 이들 구성요소의 전부 혹은 일부가 광학식 전자펜(100)의 전자펜 제어부재(170)에 구비될 수도 있다.
먼저, 궤적 산출부(321)는 좌표 계산부(171)가 획득한 일련의 좌표정보에 기초하여 디스플레이 패널(200) 상에서 전자펜 펜팁(120)의 이동궤적을 산출하는 구성요소이다. 본 명세서에서 전자펜(100)이 위치코드(210)를 읽어 제공한 일련의 좌표정보로부터 산출하는 이동궤적을 편의상 '제 1 이동궤적'이라 부른다. 궤적 산출부(321)는 전자펜 제어부재(170)로부터 좌표정보가 제공되면 전자펜(100)이 디스플레이 패널(200)의 유효지역, 즉 IR 수광부재(160)가 위치코드(210)를 정상적으로 식별하는 영역에서 필기가 이루어지는 것으로 판단하고 전자펜 노말 모드(normal mode)로 진입한다.
무브먼트 수집부(322)는 광학식 전자펜(100)의 자이로 센서(135)가 검출하는 일련의 3축 가속도 및 회전 각속도 정보를 수집하는 구성요소이다.
무브먼트 매핑부(323)는 전자펜 노말 모드에서 무브먼트 수집부(322)가 수집한 일련의 3축 가속도 정보 및 회전 각속도 정보와 궤적 산출부(321)가 산출한 제 1 이동궤적을 대비함으로써 3축 가속도 정보 및 회전 각속도 정보와 디스플레이 패널(200) 상에서 전자펜 펜팁(120)의 이동궤적 간의 상관관계를 산출하는 구성요소이다.
[도 6]은 본 발명에서 전자펜 노말 모드의 개념과 무브먼트 매핑부(323)의 동작을 나타내는 도면이다.
전자펜 노말 모드에서는 전자펜(100)의 IR 수광부재(160)가 디스플레이 패널(200)의 위치코드(210)를 정상적으로 식별하고 있는 상태이다. 이 상태에서는 전자펜 제어부재(170)의 좌표 계산부(171)가 전자펜 펜팁(120)의 움직임에 따른 일련의 좌표정보(b1)를 획득하고, 궤적 산출부(321)는 일련의 좌표정보에 기초하여 디스플레이 패널(200) 상에서 전자펜 펜팁(120)의 이동궤적(제 1 이동궤적)을 산출한다.
한편, 사용자가 전자펜(100)을 조작함에 대응하여 자이로 센서(135)가 자이로 센서값(3축 가속도 정보, 회전 각속도 정보)을 출력하는데, 이 자이로 센서값은 무선통신 부재(180)와 단말 통신부(310)를 통해 무브먼트 수집부(322)로 전달된다. 무브먼트 수집부(322)는 자이로 센서값을 수집한다.
궤적 산출부(321)가 산출하는 제 1 이동궤적(광학 정보의 변화)과 무브먼트 수집부(322)가 수집한 자이로 센서값(물리적인 움직임)은 전자펜(100)의 움직임에 기인한 것이므로 이들 간에 상관관계가 존재한다. 그에 따라, 무브먼트 매핑부(323)는 무브먼트 수집부(322)가 수집한 물리적인 움직임 정보(자이로 센서값)와 궤적 산출부(321)가 산출한 광학 정보의 변화(제 1 이동궤적)을 대비하여 이들 간의 상관관계를 산출한다. 이 상관관계에는 3축 가속도 정보 및 회전 각속도 정보와 전자펜 펜팁(120)의 이동궤적이 서로 어떠한 관계가 있는지에 관한 정보가 포함된다.
전자펜 노말 모드에서 좌표 계산부(171)가 획득하는 좌표정보는 정확도가 높기 때문에 무브먼트 매핑부(323)가 산출하는 상관관계를 신뢰할 수 있다.
엣지 처리부(324)는 전자펜(100)이 음영엣지 모드(edge-shadow mode)에 들어감을 인식하고 자이로 센서(135)의 센서값을 활용하여 디스플레이 엣지의 음영지역(220)에서 전자펜 펜팁(120)의 이동궤적을 산출하는 구성요소이다. 본 명세서에서 음영엣지 모드에서 산출하는 이동궤적을 편의상 '제 2 이동궤적'이라 부른다.
엣지 처리부(324)는 미리 저장하는 디스플레이 패널(200)의 규격과 제 1 이동궤적으로부터 획득한 전자펜 펜팁(120)의 좌표에 기초하여 음영엣지 모드 진입을 판단한다. 음영엣지 모드 판단의 일 실시예로서, 엣지 처리부(324)는 디스플레이 패널(200)에서 음영지역 위치가 어디인지 좌표 정보(영역 정보)를 미리 저장하고 있으며 제 1 이동궤적으로부터 전자펜 펜팁(120)의 좌표를 모니터링하여 전자펜 펜팁(120)의 좌표가 음영지역으로 진입하면 음영엣지 모드 진입을 판단할 수 있다. 음영엣지 모드 판단의 다른 실시예로서, 엣지 처리부(324)는 디스플레이 패널(200)의 사이즈 정보(디스플레이 영역 정보)를 미리 저장하고 제 1 이동궤적으로부터 전자펜 펜팁(120)의 좌표를 모니터링하여 좌표 계산부(171)로부터 좌표정보의 제공이 중단되었을 때 전자펜 펜팁(120)의 좌표가 디스플레이 패널(200)의 내부에 해당하면 음영엣지 모드 진입을 판단할 수 있다.
음영엣지 모드에서 엣지 처리부(324)는 자이로 센서(135)가 실시간으로 검출하는 3축 가속도 및 회전 각속도를 앞서 무브먼트 매핑부(323)가 산출한 상관관계에 산입하고, 이를 통해 전자펜 펜팁(120)의 이동궤적, 즉 제 2 이동궤적을 산출한다.
[도 7]은 본 발명에서 음영엣지 모드의 개념과 엣지 처리부(324)의 동작을 나타내는 도면이다.
음영엣지 모드에서는 전자펜 펜팁(120)(a2)이 디스플레이 패널(200)의 음영지역(220)에 들어가 있으며, 이 상황에서는 전자펜 펜팁(120)이 디스플레이 패널(200) 위에 있음에도 불구하고 센싱 오프셋으로 인해 IR 수광유닛(160)의 FOV가 디스플레이 패널(200)의 외부(b2)에 형성되어 있어 위치코드(210)를 정상적으로 획득하지 못한다. 광학식 전자펜(100)의 좌표 계산부(171)로부터 좌표정보를 제공받지 못하게 됨에 따라 엣지 처리부(324)는 자이로 센서(135)가 실시간으로 검출하는 3축 가속도 및 회전 각속도를 무브먼트 매핑부(323)가 산출한 상관관계에 산입하여 제 2 이동궤적을 산출한다.
[도 8]은 본 발명에서 필기 궤적을 엣지 처리하는 예시도이다. 사용자가 전자펜 펜팁(120)을 이용하여 디스플레이 패널(200) 위에서 드로잉(필기)하는 상황을 나타낸 것이다. 드로잉은 시계 방향(clockwise)로 이루어지고 있으며 중간에 음영지역(220)을 들어갔다가 나오게 된다.
먼저, 드로잉이 음영지역(220)에 들어가는 상황에 대해 살펴본다. 드로잉이 음영지역(220)에 들어가는 지점을 [도 8]에 음영진입 좌표(c1)라고 표시하였다. 음영진입 좌표(c1) 이전에는 IR 수광부재(160)가 센싱하는 위치코드(210)를 기반으로 궤적 산출부(321)가 제 1 이동궤적(trj1)을 산출한다. 전자펜 펜팁(120)이 음영진입 좌표(c1)를 통과하여 음영지역(220)에 들어가면 IR 수광부재(160)가 위치코드(210)를 센싱하지 못하게 되므로 자이로 센서(135)가 실시간으로 검출하여 제공하는 3축 가속도 및 회전 각속도에 기초하여 엣지 처리부(324)가 제 2 이동궤적(trj2)을 산출한다. 엣지 처리부(324)는 음영진입 좌표(c1)를 초기 좌표(initial location)로 삼고 3축 가속도 및 회전 각속도에 의해 변이좌표(displacement)를 구하여 제 2 이동궤적(trj2)을 산출한다.
다음으로, 드로잉이 음영지역(220)에서 나오는 상황에 대해 살펴본다. 드로잉이 음영지역(220)에서 나오는 지점을 [도 8]에 음영탈출 좌표(c2, c3)라고 표시하였다. 전자펜 펜팁(120)이 음영지역(220)을 벗어나 디스플레이 패널(220)의 유효 영역으로 돌아오게 되면 IR 수광부재(160)가 위치코드(210)를 센싱하게 되고 궤적 산출부(321)가 제 1 이동궤적(trj3)을 다시 산출할 수 있게 된다.
[도 8]에서 음영탈출 추정좌표(c2)는 드로잉이 음영지역(220)을 벗어나기 직전에 엣지 처리부(324)가 산출한 제 2 이동궤적(trj2)의 좌표이고, 음영탈출 센싱좌표(c3)는 드로잉이 음영지역(220)을 벗어난 직후에 궤적 산출부(321)가 산출한 제 1 이동궤적(trj3)의 좌표이다. 이상적으로는 음영탈출 추정좌표(c2)와 음영탈출 센싱좌표(c3)는 [도 8] (a)와 같이 일치해야 한다. 하지만, 실제로는 엣지 처리부(324)가 산출하는 제 2 이동궤적(trj2)에는 약간의 추정 오차가 존재하고 이 추정 오차는 시간경과에 따라 누적되므로 음영탈출 추정좌표(c2)와 음영탈출 센싱좌표(c3) 간에는 [도 8] (b)와 같이 좌표 오차가 발생한다.
본 발명에서 엣지 처리부(324)는 이 좌표 오차에 기초하여 상관관계를 수정하는 것이 바람직하다. 즉, 음영엣지 모드로부터 전자펜 노말 모드로 복귀함을 식별하면, 엣지 처리부(324)는 자이로 센서값과 상관관계를 이용하여 추정한 제 2 이동궤적(trj2)에 따른 음영탈출 추정좌표(c2)와 위치코드(210)를 읽어 산출한 제 1 이동궤적(trj3)에 따른 음영탈출 센싱좌표(c3) 간의 좌표 오차를 산출하고, 이 좌표 오차에 기초하여 3축 가속도 정보 및 회전 각속도 정보와 전자펜 펜팁(120)의 이동궤적 간의 상관관계를 수정하는 것이 바람직하다. 이를 통해, 다음에는 좌표 오차를 감소시킬 수 있다.
궤적 표시부(325)는 전자펜 노말 모드에서 제 1 이동궤적을 단말 패널부(330)에 표시하고 음영엣지 모드에서 제 2 이동궤적을 단말 패널부(330)에 표시하는 구성요소이다. 이때, 궤적 표시부(325)는 전자펜 노말 모드에서 음영엣지 모드로 전환할 때에 제 2 이동궤적의 초기 시작위치를 제 1 이동궤적의 최종위치로 설정함으로써 모드 전환 과정(transient state)에서 전자펜 펜팁(120)의 이동궤적이 점프하지않고 부드럽게 연결하도록 구성되는 것이 바람직하다.
[도 9]는 본 발명에 따른 자이로 센서 기반의 광학식 전자펜의 디스플레이 엣지 처리 방법을 나타내는 순서도이다.
[도 4] 내지 [도 8]을 참조하여 자이로 센서 기반의 광학식 전자펜의 디스플레이 엣지 처리 시스템의 작동 방식에 대해 상세하게 전술하였으므로, 이하에서는 [도 9]를 참조하면서 자이로 센서 기반의 광학식 전자펜의 디스플레이 엣지 처리 방법을 간단히 살펴본다.
단계 (S110, S120) : IR 발광부재(140)가 위치코드(210)가 형성된 디스플레이 패널(200)에 광(예: IR 광)을 조사한다. IR 수광부재(160)가 디스플레이 패널(200)에 의한 반사광을 수광하여 전자펜 펜팁(120)이 놓여진 지점의 위치코드(210)를 센싱하며, 좌표 계산부(171)가 IR 수광부재(160)가 획득한 위치코드(210)를 분석하여 디스플레이 패널(200) 위에서 전자펜 펜팁(120)이 이동한 일련의 좌표정보를 획득한다.
단계 (S130, S140) : 궤적 산출부(321)는 좌표 계산부(171)로부터 좌표정보가 제공되기 시작하면 전자펜 노말 모드로 진입한다. 궤적 산출부(321)가 좌표 계산부(171)가 획득한 일련의 좌표정보에 기초하여 디스플레이 패널(200) 상에서 전자펜 펜팁(120)의 이동궤적, 즉 제 1 이동궤적을 산출하고, 궤적 표시부(325)는 제 1 이동궤적을 단말 패널부(330)에 표시한다.
단계 (S150 ~ S170) : 전자펜 노말 모드에서 자이로 센서(135)가 전자펜(100)의 움직임에 대한 3축 가속도 및 회전 각속도를 검출하고, 무브먼트 수집부(322)는 자이로 센서(135)가 검출하는 일련의 3축 가속도 및 회전 각속도 정보를 수집한다. 무브먼트 매핑부(323)가 무브먼트 수집부(322)가 수집한 일련의 3축 가속도 정보 및 회전 각속도 정보와 궤적 산출부(321)가 산출한 제 1 이동궤적을 대비함으로써 3축 가속도 정보 및 회전 각속도 정보와 디스플레이 패널(200) 상에서 전자펜 펜팁(120)의 이동궤적 간의 상관관계를 산출한다.
단계 (S180, S190) : 엣지 처리부(324)가 미리 저장하는 디스플레이 패널(200)의 규격과 제 1 이동궤적으로부터 획득한 전자펜 펜팁(120)의 좌표에 기초하여 음영엣지 모드 진입을 판단한다. 음영엣지 모드에서는 엣지 처리부(324)가 음영엣지 모드에서 자이로 센서(135)가 검출하는 3축 가속도 및 회전 각속도를 무브먼트 매핑부(323)가 산출한 상관관계에 산입하여 디스플레이 엣지의 음영지역에서 전자펜 펜팁(120)의 이동궤적, 즉 제 2 이동궤적을 산출한다.
또한, 궤적 표시부(325)가 전자펜 노말 모드에서 음영엣지 모드로 전환할 때 제 2 이동궤적의 초기 시작위치를 제 1 이동궤적의 최종위치로 설정하여 모드 전환 과정에서 전자펜 펜팁(120)의 이동궤적을 연결하도록 구성되는 것이 바람직하다.
마지막으로, 궤적 표시부(325)가 제 2 이동궤적을 단말 패널부(330)에 표시한다.
[도 10]은 본 발명에서 음영탈출 좌표 오차에 기초하여 엣지 처리부(324)가 3축 가속도 정보 및 회전 각속도 정보와 이동궤적 간의 상관관계를 수정하는 과정을 나타내는 순서도이다.
엣지 처리부(324)는 음영엣지 모드로부터 전자펜 노말 모드로 복귀함을 식별하면(S210), 자이로 센서값과 상관관계를 이용하여 추정한 제 2 이동궤적(trj2)에 따른 음영탈출 추정좌표(c2)를 산출하고(S220) IR 수광부재(160)로 위치코드(210)를 읽어 산출한 제 1 이동궤적(trj3)에 따른 음영탈출 센싱좌표(c3)를 산출한다(S230).
그리고 나서, 엣지 처리부(324)는 음영탈출 추정좌표(c2)와 음영탈출 센싱좌표(c3) 간의 좌표 오차(error)를 산출하고(S240), 이 음영탈출 좌표 오차(error = c2 - c3)에 기초하여 3축 가속도 정보 및 회전 각속도 정보와 이동궤적 간의 상관관계를 수정하여(S250) 다음에는 좌표 오차가 감소하도록 처리한다.
한편, 본 발명은 컴퓨터가 읽을 수 있는 비휘발성 기록매체에 컴퓨터가 읽을 수 있는 코드의 형태로 구현되는 것이 가능하다. 이러한 비휘발성 기록매체로는 다양한 형태의 스토리지 장치가 존재하는데 예컨대 하드디스크, SSD, CD-ROM, NAS, 자기테이프, 웹디스크, 클라우드 디스크 등이 있다. 또한, 본 발명은 하드웨어와 결합되어 특정의 절차를 실행시키기 위하여 매체에 저장된 컴퓨터프로그램의 형태로 구현될 수도 있다.
100 : 광학식 전자펜
110 : 펜바디 부재
120 : 전자펜 펜팁
130 : 압력센서 부재
131 : 센서 지지부재
135 : 자이로 센서
140 : IR 발광부재
160 : IR 수광부재
170 : 전자펜 제어부재
171 : 좌표 계산부
172 : 하드웨어 제어부
180 : 무선통신부재
200 : 디스플레이 패널
210 : 위치코드
300 : 스마트 단말장치
310 : 단말 통신부
320 : 단말 제어부
321 : 궤적 산출부
322 : 무브먼트 수집부
323 : 무브먼트 매핑부
324 : 엣지 처리부
325 : 궤적 표시부
330 : 단말 패널부
110 : 펜바디 부재
120 : 전자펜 펜팁
130 : 압력센서 부재
131 : 센서 지지부재
135 : 자이로 센서
140 : IR 발광부재
160 : IR 수광부재
170 : 전자펜 제어부재
171 : 좌표 계산부
172 : 하드웨어 제어부
180 : 무선통신부재
200 : 디스플레이 패널
210 : 위치코드
300 : 스마트 단말장치
310 : 단말 통신부
320 : 단말 제어부
321 : 궤적 산출부
322 : 무브먼트 수집부
323 : 무브먼트 매핑부
324 : 엣지 처리부
325 : 궤적 표시부
330 : 단말 패널부
Claims (9)
- 광학식 전자펜(100)에 대해 자이로 센서 기반으로 디스플레이 패널(200) 엣지에서의 전자펜 조작 처리를 제공하는 자이로 센서 기반의 광학식 전자펜의 디스플레이 엣지 처리 시스템으로서,
전자펜 몸체(110) 내측에 설치되어 전자펜(100)의 움직임에 대한 3축 가속도 및 회전 각속도를 검출하는 자이로 센서(135);
디스플레이 패널(200)에 의한 반사광을 수광하여 전자펜 펜팁(120)이 놓여진 지점의 위치코드(210)를 센싱하는 IR 수광부재(160);
상기 IR 수광부재(160)가 획득한 위치코드(210)를 분석하여 전자펜 펜팁(120)이 이동한 일련의 좌표정보를 획득하는 좌표 계산부(171);
상기 좌표 계산부(171)로부터 좌표정보가 제공되면 전자펜 노말 모드로 진입하고 상기 좌표 계산부(171)가 획득한 일련의 좌표정보에 기초하여 디스플레이 패널(200) 상에서 전자펜 펜팁(120)의 이동궤적(이하, '제 1 이동궤적'이라 함)을 산출하는 궤적 산출부(321);
상기 자이로 센서(135)가 검출하는 일련의 3축 가속도 및 회전 각속도 정보를 수집하는 무브먼트 수집부(322);
전자펜 노말 모드에서 상기 무브먼트 수집부(322)가 수집한 일련의 3축 가속도 정보 및 회전 각속도 정보와 상기 궤적 산출부(321)가 산출한 제 1 이동궤적을 대비함으로써 상기 3축 가속도 정보 및 회전 각속도 정보와 전자펜 펜팁(120)의 이동궤적 간의 상관관계를 산출하는 무브먼트 매핑부(323);
미리 저장하는 디스플레이 패널(200)의 규격과 상기 제 1 이동궤적으로부터 획득한 전자펜 펜팁(120)의 좌표에 기초하여 음영엣지 모드 진입을 판단하고 상기 자이로 센서(135)가 검출하는 3축 가속도 및 회전 각속도를 상기 무브먼트 매핑부(323)가 산출한 상관관계에 산입하여 디스플레이 엣지의 음영지역에서 전자펜 펜팁(120)의 이동궤적(이하, '제 2 이동궤적'이라 함)을 산출하는 엣지 처리부(324);
전자펜 노말 모드에서 상기 제 1 이동궤적을 단말 패널부(330)에 표시하고 음영엣지 모드에서 상기 제 2 이동궤적을 단말 패널부(330)에 표시하는 궤적 표시부(325);
를 포함하여 구성되는 자이로 센서 기반의 광학식 전자펜의 디스플레이 엣지 처리 시스템.
- 청구항 1에 있어서,
상기 엣지 처리부(324)는 디스플레이 패널(200)의 음영지역 위치 정보를 미리 저장하고 상기 제 1 이동궤적으로부터 전자펜 펜팁(120)의 좌표를 모니터링하여 상기 전자펜 펜팁(120)의 좌표가 음영지역으로 진입하면 음영엣지 모드 진입을 판단하도록 구성되는 것을 특징으로 하는 자이로 센서 기반의 광학식 전자펜의 디스플레이 엣지 처리 시스템.
- 청구항 1에 있어서,
상기 엣지 처리부(324)는 디스플레이 패널(200)의 사이즈 정보를 미리 저장하고 상기 제 1 이동궤적으로부터 전자펜 펜팁(120)의 좌표를 모니터링하여 상기 좌표 계산부(171)로부터 좌표정보의 제공이 중단되었을 때 상기 전자펜 펜팁(120)의 좌표가 디스플레이 패널(200)의 내부에 해당하면 음영엣지 모드 진입을 판단하도록 구성되는 것을 특징으로 하는 자이로 센서 기반의 광학식 전자펜의 디스플레이 엣지 처리 시스템.
- 청구항 1에 있어서,
상기 엣지 처리부(324)는 음영엣지 모드에서 전자펜 노말 모드로의 복귀를 식별하면 상기 제 2 이동궤적(trj2)에 따른 음영탈출 추정좌표(c2)와 상기 제 1 이동궤적(trj3)에 따른 음영탈출 센싱좌표(c3) 간의 좌표 오차에 기초하여 상기 3축 가속도 정보 및 회전 각속도 정보와 전자펜 펜팁(120)의 이동궤적 간의 상관관계를 수정하도록 구성되는 것을 특징으로 하는 자이로 센서 기반의 광학식 전자펜의 디스플레이 엣지 처리 시스템.
- 광학식 전자펜(100)에 대해 자이로 센서 기반으로 디스플레이 패널(200) 엣지에서의 전자펜 조작 처리를 제공하는 자이로 센서 기반의 광학식 전자펜의 디스플레이 엣지 처리 방법으로서,
IR 수광부재(160)가 디스플레이 패널(200)에 의한 반사광을 수광하여 전자펜 펜팁(120)이 놓여진 지점의 위치코드(210)를 센싱하는 단계;
좌표 계산부(171)가 상기 IR 수광부재(160)가 획득한 위치코드(210)를 분석하여 전자펜 펜팁(120)이 이동한 일련의 좌표정보를 획득하는 단계;
궤적 산출부(321)가 상기 좌표 계산부(171)로부터 좌표정보가 제공되면 전자펜 노말 모드로 진입하는 단계;
상기 궤적 산출부(321)가 상기 좌표 계산부(171)가 획득한 일련의 좌표정보에 기초하여 디스플레이 패널(200) 상에서 전자펜 펜팁(120)의 이동궤적(이하, '제 1 이동궤적'이라 함)을 산출하는 단계;
궤적 표시부(325)가 전자펜 노말 모드에서 상기 제 1 이동궤적을 단말 패널부(330)에 표시하는 단계;
자이로 센서(135)가 전자펜(100)의 움직임에 대한 3축 가속도 및 회전 각속도를 검출하는 단계;
무브먼트 수집부(322)가 상기 자이로 센서(135)가 검출하는 일련의 3축 가속도 및 회전 각속도 정보를 수집하는 단계;
무브먼트 매핑부(323)가 전자펜 노말 모드에서 상기 무브먼트 수집부(322)가 수집한 일련의 3축 가속도 정보 및 회전 각속도 정보와 상기 궤적 산출부(321)가 산출한 제 1 이동궤적을 대비함으로써 상기 3축 가속도 정보 및 회전 각속도 정보와 전자펜 펜팁(120)의 이동궤적 간의 상관관계를 산출하는 단계;
엣지 처리부(324)가 미리 저장하는 디스플레이 패널(200)의 규격과 상기 제 1 이동궤적으로부터 획득한 전자펜 펜팁(120)의 좌표에 기초하여 음영엣지 모드 진입을 판단하는 단계;
상기 엣지 처리부(324)가 음영엣지 모드에서 상기 자이로 센서(135)가 검출하는 3축 가속도 및 회전 각속도를 상기 무브먼트 매핑부(323)가 산출한 상관관계에 산입하여 디스플레이 엣지의 음영지역에서 전자펜 펜팁(120)의 이동궤적(이하, '제 2 이동궤적'이라 함)을 산출하는 단계;
상기 궤적 표시부(325)가 음영엣지 모드에서 상기 제 2 이동궤적을 단말 패널부(330)에 표시하는 단계;
를 포함하여 구성되는 자이로 센서 기반의 광학식 전자펜의 디스플레이 엣지 처리 방법.
- 청구항 5에 있어서,
상기 엣지 처리부(324)는 디스플레이 패널(200)의 음영지역 위치 정보를 미리 저장하고 상기 제 1 이동궤적으로부터 전자펜 펜팁(120)의 좌표를 모니터링하여 상기 전자펜 펜팁(120)의 좌표가 음영지역으로 진입하면 음영엣지 모드 진입을 판단하도록 구성되는 것을 특징으로 하는 자이로 센서 기반의 광학식 전자펜의 디스플레이 엣지 처리 방법.
- 청구항 5에 있어서,
상기 엣지 처리부(324)는 디스플레이 패널(200)의 사이즈 정보를 미리 저장하고 상기 제 1 이동궤적으로부터 전자펜 펜팁(120)의 좌표를 모니터링하여 상기 좌표 계산부(171)로부터 좌표정보의 제공이 중단되었을 때 상기 전자펜 펜팁(120)의 좌표가 디스플레이 패널(200)의 내부에 해당하면 음영엣지 모드 진입을 판단하도록 구성되는 것을 특징으로 하는 자이로 센서 기반의 광학식 전자펜의 디스플레이 엣지 처리 방법.
- 청구항 5에 있어서,
상기 엣지 처리부(324)가 음영엣지 모드에서 전자펜 노말 모드로의 복귀를 식별하는 단계;
상기 엣지 처리부(324)가 상기 제 2 이동궤적(trj2)에 따른 음영탈출 추정좌표(c2)와 상기 제 1 이동궤적(trj3)에 따른 음영탈출 센싱좌표(c3) 간의 좌표 오차를 산출하는 단계;
상기 엣지 처리부(324)가 상기 음영탈출 추정좌표(c2)와 음영탈출 센싱좌표(c3) 간의 좌표 오차에 기초하여 상기 3축 가속도 정보 및 회전 각속도 정보와 전자펜 펜팁(120)의 이동궤적 간의 상관관계를 수정하는 단계;
를 더 포함하여 구성되는 것을 특징으로 하는 자이로 센서 기반의 광학식 전자펜의 디스플레이 엣지 처리 방법.
- 컴퓨터에 청구항 5 내지 8 중 어느 하나의 항에 따른 자이로 센서 기반의 광학식 전자펜의 디스플레이 엣지 처리 방법을 실행시키기 위하여 저장매체에 저장된 컴퓨터프로그램.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220067873A KR102429967B1 (ko) | 2022-06-02 | 2022-06-02 | 자이로 센서 기반의 광학식 전자펜의 디스플레이 엣지 처리 시스템 및 방법 |
| CN202211155419.5A CN117215422B (zh) | 2022-06-02 | 2022-09-22 | 基于陀螺仪传感器的光学式电子笔的显示器边缘处理系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220067873A KR102429967B1 (ko) | 2022-06-02 | 2022-06-02 | 자이로 센서 기반의 광학식 전자펜의 디스플레이 엣지 처리 시스템 및 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102429967B1 true KR102429967B1 (ko) | 2022-08-05 |
Family
ID=82826498
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220067873A KR102429967B1 (ko) | 2022-06-02 | 2022-06-02 | 자이로 센서 기반의 광학식 전자펜의 디스플레이 엣지 처리 시스템 및 방법 |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR102429967B1 (ko) |
| CN (1) | CN117215422B (ko) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100349031B1 (ko) * | 2000-12-15 | 2002-08-17 | 핑거시스템 주식회사 | 펜형 광 마우스 장치 |
| KR100408518B1 (ko) | 2001-04-12 | 2003-12-06 | 삼성전자주식회사 | 컴퓨터용 전자펜 데이타 입력장치 및 좌표 측정 방법 |
| KR100438846B1 (ko) | 2003-10-07 | 2004-07-06 | 함종훈 | 펜형 마우스 장치 |
| KR101646953B1 (ko) * | 2010-01-12 | 2016-08-09 | 엘지전자 주식회사 | 디스플레이 장치 및 그 제어방법 |
| KR101796925B1 (ko) * | 2016-04-14 | 2017-11-16 | (주)이케이네트웍스 | 전자 필기 장치 및 이를 포함하는 시스템 |
| KR200485305Y1 (ko) | 2017-09-11 | 2017-12-19 | (주)딥스원에듀 | 도트패턴이 형성된 패턴필름 필기용 전자펜 |
| KR102109649B1 (ko) | 2013-06-04 | 2020-05-13 | 삼성전자 주식회사 | 전자 펜 좌표 보정 방법 및 이를 지원하는 휴대형 전자장치 |
| KR102213541B1 (ko) | 2019-08-01 | 2021-02-08 | 주식회사 이지시스템 | 패턴인쇄필름용 디지털펜을 이용한 인식율 향상 방법 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015148845A (ja) * | 2014-02-04 | 2015-08-20 | シャープ株式会社 | 表示制御装置、表示装置、表示システム、プログラム、記録媒体 |
| KR102073000B1 (ko) * | 2019-06-21 | 2020-02-04 | 딥스원테크(주) | 패턴필름 필기용 전자펜 |
| CN110456924B (zh) * | 2019-07-19 | 2023-08-15 | 北京科加触控技术有限公司 | 一种电子笔位置状态检测方法及装置 |
-
2022
- 2022-06-02 KR KR1020220067873A patent/KR102429967B1/ko active IP Right Grant
- 2022-09-22 CN CN202211155419.5A patent/CN117215422B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100349031B1 (ko) * | 2000-12-15 | 2002-08-17 | 핑거시스템 주식회사 | 펜형 광 마우스 장치 |
| KR100408518B1 (ko) | 2001-04-12 | 2003-12-06 | 삼성전자주식회사 | 컴퓨터용 전자펜 데이타 입력장치 및 좌표 측정 방법 |
| KR100438846B1 (ko) | 2003-10-07 | 2004-07-06 | 함종훈 | 펜형 마우스 장치 |
| KR101646953B1 (ko) * | 2010-01-12 | 2016-08-09 | 엘지전자 주식회사 | 디스플레이 장치 및 그 제어방법 |
| KR102109649B1 (ko) | 2013-06-04 | 2020-05-13 | 삼성전자 주식회사 | 전자 펜 좌표 보정 방법 및 이를 지원하는 휴대형 전자장치 |
| KR101796925B1 (ko) * | 2016-04-14 | 2017-11-16 | (주)이케이네트웍스 | 전자 필기 장치 및 이를 포함하는 시스템 |
| KR200485305Y1 (ko) | 2017-09-11 | 2017-12-19 | (주)딥스원에듀 | 도트패턴이 형성된 패턴필름 필기용 전자펜 |
| KR102213541B1 (ko) | 2019-08-01 | 2021-02-08 | 주식회사 이지시스템 | 패턴인쇄필름용 디지털펜을 이용한 인식율 향상 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117215422A (zh) | 2023-12-12 |
| CN117215422B (zh) | 2024-05-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9423877B2 (en) | Navigation approaches for multi-dimensional input | |
| US9448645B2 (en) | Digitizer using multiple stylus sensing techniques | |
| US8902193B2 (en) | Interactive input system and bezel therefor | |
| US9218121B2 (en) | Apparatus and method recognizing touch gesture | |
| EP2443481B1 (en) | Systems and methods for sensing and tracking radiation blocking objects on a surface | |
| US8350819B2 (en) | Method for determining touch points on touch panel and system thereof | |
| TWI483143B (zh) | 混合式指向裝置 | |
| US20130135206A1 (en) | Interactive input system and pen tool therefor | |
| US20110231139A1 (en) | Information processor | |
| US20110241988A1 (en) | Interactive input system and information input method therefor | |
| US20120299848A1 (en) | Information processing device, display control method, and program | |
| US10088943B2 (en) | Touch control device and operating method thereof | |
| US9921692B2 (en) | Hinged input device | |
| KR20140077000A (ko) | 터치 패널 및 이에 대한 디지타이저 펜의 위치 감지 방법 | |
| KR102429967B1 (ko) | 자이로 센서 기반의 광학식 전자펜의 디스플레이 엣지 처리 시스템 및 방법 | |
| CN111381694B (zh) | 笔型鼠标 | |
| KR102472784B1 (ko) | 자이로 센서 기반의 광학식 전자펜의 호버링 처리 방법 | |
| KR20140067487A (ko) | 디지타이저 펜 및 이를 이용한 지시방법 | |
| US9721353B2 (en) | Optical positional information detection apparatus and object association method | |
| US9612703B2 (en) | Top mount clickpad module | |
| US11106282B2 (en) | Mobile device and control method thereof | |
| KR102559810B1 (ko) | 압력센서를 이용한 지우개 기능을 갖는 광학식 전자펜 | |
| KR102587998B1 (ko) | 틸트 각 기반의 광학식 전자펜의 압력센서 보정 방법 | |
| KR20240135906A (ko) | 틸트 각 기반의 광학식 전자펜의 이미지 보정 방법 | |
| US20170199587A1 (en) | Method for correcting motion sensor-related errors while interacting with mobile or wearable devices |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |