KR102261530B1 - 필기 입력 장치 - Google Patents

필기 입력 장치 Download PDF

Info

Publication number
KR102261530B1
KR102261530B1 KR1020190056204A KR20190056204A KR102261530B1 KR 102261530 B1 KR102261530 B1 KR 102261530B1 KR 1020190056204 A KR1020190056204 A KR 1020190056204A KR 20190056204 A KR20190056204 A KR 20190056204A KR 102261530 B1 KR102261530 B1 KR 102261530B1
Authority
KR
South Korea
Prior art keywords
moving
subject
camera
reference point
fixed
Prior art date
Application number
KR1020190056204A
Other languages
English (en)
Other versions
KR20190135921A (ko
Inventor
이승희
Original Assignee
이승희
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이승희 filed Critical 이승희
Publication of KR20190135921A publication Critical patent/KR20190135921A/ko
Application granted granted Critical
Publication of KR102261530B1 publication Critical patent/KR102261530B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • G06F3/04166Details of scanning methods, e.g. sampling time, grouping of sub areas or time sharing with display driving
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545Pens or stylus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06K9/00402
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/32Digital ink

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Position Input By Displaying (AREA)

Abstract

본 발명은 입력장치에 관한 것으로서, 더욱 상세하게는 전자펜을 이용한 필기를 입력할 수 있는 장치에 관한 것이다. 본 발명은 서로 떨어진 적어도 2개의 고정 피사체 기준점들을 구비한 고정 피사체의 입력 면 위에서의 이동 피사체의 이동 궤적이 입력되는 필기 입력 장치로서, 상기 이동 피사체는 상기 고정 피사체의 입력 면 위를 움직이는 이동 피사체 기준점을 제공하는 이동 피사체 기준점 제공수단과, 상기 고정 피사체 기준점들과 상기 이동 피사체 기준점을 동시에 촬영할 수 있는 시야 범위를 가진 카메라를 포함하며, 상기 카메라에서 촬영된 이미지로부터 상기 이동 피사체 기준점의 절대좌표를 연산하는 제어기를 포함하는 것을 특징으로 하는 필기 입력 장치를 제공한다. 본 발명에 따른 필기 입력 장치는 좌표 패턴을 사용하지 않으면서, 정확하고 섬세한 입력이 가능하다는 장점이 있다.

Description

필기 입력 장치{Handwriting input device}
본 발명은 입력장치에 관한 것으로서, 더욱 상세하게는 전자펜을 이용한 필기를 입력할 수 있는 장치에 관한 것이다.
컴퓨터, 휴대용 단말기 등의 전자장치에 정보를 입력하는 방법으로서, 종래에는 마우스, 키보드 등의 입력 방식이 사용되었으며, 최근에는 터치스크린을 이용한 입력방식이 많이 사용되고 있다.
터치스크린(Touch Screen)을 이용한 입력방식은 마우스나 키보드 등의 입력 방식을 대체할 수 있는 새로운 입력 방식으로, 손이나 펜을 이용하여 스크린에 직접 정보를 입력할 수 있는 입력 방식이다. 터치스크린을 이용한 입력 방식은 사용자가 화면을 보면서 원하는 작업을 직접 수행할 수 있고, 누구나 쉽게 조작할 수 있기 때문에 GUI(Graphical User Interface) 환경하에서 가장 이상적인 입력 방식으로 평가받고 있으며, 휴대전화, PDA, 은행이나 관공서의 단말기, 각종 의료장비, 관광기관의 안내 표시 장치 등 여러 분야에서 널리 사용되고 있다.
또한, 다른 방식으로 전자펜을 이용하여 사용자의 필기를 인식하고, 인식된 내용을 디지털화하여 저장할 수 있는 기술 및 제품이 상용화되고 있다. 종래의 펜형(Pen-type) 문자 입력 시스템은 문자 입력을 위한 종이에 좌표를 나타내는 마이크로 코드를 미리 삽입하고 광학적 위치 인식 기술을 통하여 펜의 움직임 궤적을 추정한다.
예를 들어, 공개특허공보 제2010-52526호에는 절대 좌표 정보를 포함하는 도트 패턴이 표시된 투명한 시트를 전자장치의 표시 화면 등에 부착한 후 광학 독취 장치를 이용해서 도트 패턴을 읽어들임으로써, 터치 패널과 유사한 형태의 입력이 가능한 정보 처리 시스템이 개시되어 있다.
상술한 종래의 도트 패턴을 이용한 입력 시스템은 광학 독취 장치가 읽어들이는 좌표 패턴에 포함된 절대 좌표 정보를 직접 이용해서 광학 독취 장치의 위치를 인식한다.
따라서 정확하고 섬세한 입력을 위해서는 좌표 패턴이 매우 촘촘히 배치하여야 한다는 문제가 있었다. 예를 들어 좌표 패턴을 300 dpi로 인쇄한다면 약 84㎛ 간격으로 좌표 패턴이 배치되어야 한다. 이와 같이 촘촘히 배치된 좌표 패턴은 표시화면의 투명도를 저하할 수 있다는 문제가 있다. 또한, 좌표 패턴의 형태가 복잡해지고, 크기가 매우 작으며, 수가 많기 때문에 좌표 패턴을 형성하기도 어렵다. 또한, 좌표 패턴을 형성하여도, 좌표 패턴 인쇄, 보호층 코팅 등 제작과정에서 좌표 패턴이 형성된 필름이 변형될 수 있고, 필름을 부착하는 과정에서도 수십㎛ 정도의 오차가 발생할 수 있으므로 적용이 어렵다.
또한, 촘촘히 배치된 좌표 패턴을 이용하더라도, 전자펜을 잡는 자세에 따라서 카메라로 촬영된 이미지의 왜곡이 발생하여, 정확한 좌표 측정이 어렵다는 문제도 있었다.
또한, 등록특허 제10-1312018호에는 별도의 좌표 패턴을 사용하지 않고, 적외선 카메라를 이용해서 투명 패널 위에서 움직이는 전자펜의 위치를 확인한 후 투명 패널 아래에 위치하는 평판표시 장치에 전자펜의 궤적을 표시하는 전자칠판 시스템이 개시되어 있다. 이러한 시스템은 측정 정밀도가 너무 낮으며, 반응속도도 느리다는 문제가 있었다.
다른 절대 좌표 방식의 전자펜은 좌표 인식이 가능한 태블릿(Tablet) 혹은 전자 패드(Pad)에 전자펜으로 필기를 하고, 전자펜의 이동에 의한 좌표를 인식하여 궤적을 복원함으로써 문자 입력을 수행하였다. 이러한 절대 좌표 기반의 방식은 펜 궤적 복원이 비교적 잘 수행되지만 절대 좌표를 제공하기 위한 추가적인 레퍼런스 시스템(즉, 타블렛 혹은 전자 패드)이 반드시 요구된다는 문제가 있다.
이러한 문제를 극복하기 위해 관성 센서나 광학 센서를 활용하여 절대 좌표 방식이 아닌 상대 좌표 기반의 문자 입력 방식을 위한 시도가 수행되어 오고 있다. 일 예로서, 관성 센서만을 활용하여 펜 팁(Pen-tip)의 움직임을 계산하여 궤적을 복원하는 시스템, 펜 형태의 광마우스를 이용하는 시스템이 제안되었다. 그러나 이러한 기술은 시간이 흐름에 따라 누적 오차가 커진다는 문제가 있으며, 절대 좌표를 알 수 없다는 문제가 있었다.
공개특허공보 제2010-52526호 등록특허 제10-1312018호
본 발명은 상술한 문제점을 개선하기 위한 것으로서, 좌표 패턴을 사용하지 않으면서, 정확하고 섬세한 입력이 가능한 입력 시스템을 제공하는 것을 목적으로 한다.
상술한 목적을 달성하기 위해서, 본 발명은 서로 떨어진 적어도 2개의 고정 피사체 기준점들을 구비한 고정 피사체의 입력 면 위에서의 이동 피사체의 이동 궤적이 입력되는 필기 입력 장치로서, 상기 이동 피사체는 상기 고정 피사체의 입력 면 위를 움직이는 이동 피사체 기준점을 제공하는 이동 피사체 기준점 제공수단과, 상기 고정 피사체 기준점들과 상기 이동 피사체 기준점을 동시에 촬영할 수 있는 시야 범위를 가진 카메라를 포함하며, 상기 카메라에서 획득된 이미지로부터 상기 이동 피사체 기준점의 절대좌표를 연산하는 제어기를 포함하는 것을 특징으로 하는 필기 입력 장치를 제공한다.
본 발명에 따른 필기 입력 장치는 좌표 패턴을 사용하지 않으면서, 정확하고 섬세한 입력이 가능하다는 장점이 있다.
도 1은 본 발명에 따른 필기 입력 장치의 일실시예의 사용 방법을 설명하기 위한 도면이다.
도 2는 도 1에 도시된 전자펜의 개념도이다.
도 3은 도 1에 도시된 필기 입력 장치의 절대 좌표 측정 방법을 설명하기 위한 도면이다.
도 4는 본 발명에 따른 필기 입력 장치의 일실시예의 다른 사용 방법을 설명하기 위한 도면이다.
도 5는 본 발명에 따른 필기 입력 장치의 일실시예의 또 다른 사용 방법을 설명하기 위한 도면이다.
이하, 첨부된 도면들을 참조하여 본 발명의 실시예를 상세히 설명하기로 한다. 그러나 본 발명은 이하에서 개시되는 실시예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 도면상의 동일 부호는 동일한 요소를 지칭한다.
도 1은 본 발명에 따른 필기 입력 장치의 일실시예의 사용 방법을 설명하기 위한 도면이다. 도 1에서는 종이(1)가 고정 피사체로 사용되며, 본 발명에 따른 필기 입력 장치의 일실시예는 이동 피사체인 전자펜(10)과 제어기(30)를 포함한다. 본 실시예에서는 제어기(30)가 전자펜(10)의 하우징(12) 내에 설치된다.
종이(1)는 이동 피사체인 전자펜(10)의 펜 팁(11)이 접촉하면서 이동하는 입력 면을 제공하는 고정 피사체의 일 예이다. 고정 피사체로는 종이(1)뿐 아니라 공책, 책, 참고서, 태블릿, 스마트폰, 전자 칠판 등 다양한 물품이 사용될 수 있다.
도 2는 도 1에 도시된 전자펜의 개념도이다. 도 2에 도시된 바와 같이, 전자펜(10)은 펜 팁(11), 하우징(12), 상대 좌표 모듈(13). 빔 포인터, 카메라(20)를 포함한다.
펜 팁(11)은 압력센서(미도시)와 연결되어 전자펜(10)의 온/오프 스위치로서 작용할 수 있다. 펜 팁(11)은 ABS 수지나 고무 재질로 제작될 수 있다.
하우징(12)에는 상대 좌표 모듈(13)과 펜 팁(11)을 조사하는 적외선 포인터(14)가 설치될 수 있다. 또한, 상술한 바와 같이, 본 실시예에서는 제어기(30)도 하우징(12) 내부에 설치된다.
상대 좌표 모듈(13)은 예를 들어, 레이저 다이오드와 레이저 센서를 포함하는 레이저 마우스 모듈, 적외선 발광다이오드, 광 이미지 센서 및 렌즈들을 포함하는 광마우스 모듈, 관성 센서를 이용하는 관성 마우스 모듈, 카메라 모듈 등이 있다. 상대 좌표 모듈(13)은 펜 팁(11)의 이동 궤적의 상대 좌표 정보를 획득하는 역할을 한다. 또한, 상대 좌표 모듈(13)에는 레이저 다이오드나 적외선 발광다이오드와 같은 광원을 제어하고 통신하기 위한 마이크로프로세서, 메모리 등이 설치될 수 있다.
빔 포인터로는 레이저 포인터나 적외선 포인터(14)를 사용할 수 있다. 이하에서는 적외선 포인터(14)를 예로 들어 설명한다.
적외선 포인터(14)는 펜 팁(11)에 적외선을 조사한다. 적외선 포인터(14)는 적외선 발광다이오드와 집광렌즈를 포함할 수 있다. 적외선 포인터(14)는 상대 좌표 모듈(13)로 광마우스 모듈을 사용하는 경우에는 상대 좌표 모듈(13)의 발광다이오드에서 조사되는 빛을 일부를 집광하여 펜 팁(11)에 조사할 수도 있다. 적외선 포인터(14)는 카메라(20)를 이용하여 펜 팁(11)의 영상을 좀 더 쉽게 획득하기 위해 설치된다. 또한, 제어기(30)에서 외부의 적외선과 적외선 포인터(14)에 의한 적외선을 구분할 수 있도록, 적외선 포인터(14)는 펄스 형태로 적외선을 조사할 수도 있다.
또한, 적외선 포인터(14)는 펜 팁(11)으로부터 일정한 거리가 떨어진 위치에 적외선을 조사할 수도 있다. 이 경우에는 적외선 포인터(14)가 전자펜(10)의 전면 가이드(16)의 아래에 설치될 수도 있다. 전자펜(10)의 구조상 손가락 등에 가려져서 카메라(20)로 펜 팁(11)의 위치를 직접 촬영하기 어려운 경우에는 이러한 방법을 사용할 수 있다.
또한, 카메라(20)로 펜 팁(11)의 위치를 직접 촬영하기 어려운 경우, 카메라(20)로 촬영한 이미지를 이용하여 카메라(20)의 위치를 찾은 후 전자펜(10)에서의 카메라(20)와 펜 팁(11)의 위치 관계를 이용하여 촬영한 이미지 상에 가상의 펜 팁(11)을 표시할 수도 있다.
카메라(20)는 하우징(12)의 측면에 설치된다. 도 2에 도시된 바와 같이, 카메라(20)는 펜 팁(11)과 종이(1)의 한쪽 면 또는 전체를 촬영할 수 있는 시야 범위(FOV)를 갖는다. 카메라(20)는 이동 피사체 기준점의 일 예인 펜 팁(11)과 고정 피사체 기준점들의 일 예의 종이(1)의 한쪽 면의 꼭짓점들이 모두 표시된 이미지를 획득하기 위해서 사용된다. 이러한 이미지는 펜 팁(11)의 절대 좌표 연산에 사용된다.
손가락 등에 가려져서 카메라(20)로 펜 팁(11)을 직접 촬영하기 어려운 경우에는 카메라(20)의 위치 및 카메라(20)와 펜 팁(11)의 위치 관계를 이용하여 찾은 펜 팁(11)의 위치를 이용해서 가상의 이동 피사체 기준점을 이미지에 표시한다.
또한, 카메라(20)가 고정 피사체(1)와 바닥면이 외부환경에 의해서 필터나 히스토그램 등의 이미지 처리 방식에 의해서 처리하여도 이미지 노이즈에 의해서 고정 피사체(1)의 꼭짓점이 다수인 것으로 이미지에 나타날 수도 있다. 또한, 고정 피사체(1)가 한 장이 아니고 책이나 참고서의 한 장과 같이, 여러 장 중의 한 장일 때에도 고정 피사체(1)의 여러 장의 꼭짓점이 하나의 이미지에 표시되어서 꼭짓점이 다수인 것으로 이미지에 나타날 수 있다. 이때에는 고정 피사체(1)의 허프 변화(Hough Tansform) 방식의 알고리즘을 사용함으로써 꼭짓점을 찾을 수 있다.
카메라(20)는 반사광을 전기 신호로 변환하는 전하결합소자(Charge Coupled Device, CCD)와 입력 면에서 반사된 빛 및 펜 팁(11)에서 반사된 적외선을 CCD에 전달하는 렌즈 등의 광학 기구들을 포함한다. CCD는 수만 내지 수십만 개의 감광소자를 포함하며, 감광소자의 수에 의해서 해상도가 결정된다. 본 발명에서 카메라의 해상도가 높을수록 입력시스템의 정밀도가 향상되지만 해상도가 640×520 정도로 낮은 카메라를 사용할 수 있다. 또한, 카메라의 이미지 센서는 CMOS일 수 있다. 카메라(20)의 렌즈로는 시야각이 일정한 렌즈를 사용할 수 있다.
또한, 전자펜(10)에는 전자펜(10)의 기능을 마우스 기능에서 필기 기능으로 또는 역으로 전환할 수 있는 버튼(15)이 설치될 수 있다. 마우스 기능이 선택될 때에는 펜 팁(11)의 위치를 알 필요가 없으므로, 적외선 포인터(13)가 꺼질 수 있다.
또한, 전자펜(10)에는 펜 팁(11)과 교대로 선택할 수 있는 볼펜 심이 설치될 수 있으며, 마이크 모듈이 설치될 수도 있다.
또한, 전자펜(10)에는 가이드(16)가 설치될 수 있다. 가이드(16)는 사용자가 전자펜(10)을 잡을 때 손가락의 위치를 안내하는 역할을 한다.
또한, 제어기(30)는 전자펜(10)의 카메라(20)의 팬(pan)과 틸트(tilt) 등의 파라미터 데이터를 전자펜(10)에 설치된 자이로 센서(미도시), 가속도 센서(미도시), 틸트 센서(미도시) 등을 사용해서 측정할 수도 있다. 팬은 카메라(20)의 좌우 회전각이고, 틸트는 카메라(20)의 상하의 회전각이 된다,
제어기(30)는 카메라(20)에서 획득된 원본 이미지와 파라미터 데이터를 이용하여 영상 기하학적 방법 또는 영상 추적 방법으로 이동 피사체의 절대 좌표를 계산할 수 있다.
본 실시예에서, 전자펜(10)은 현재 펜 팁(11)의 절대 좌표에 대한 정보를 세 가지 방법으로 계산할 수 있다.
첫째, 카메라(20)에서 촬영된 이미지를 이용하여 계속 펜 팁(11)의 절대 좌표를 연산할 수도 있다.
도 3은 도 1에 도시된 필기 입력 장치의 절대 좌표 측정 방법을 설명하기 위한 도면이다.
도 3에 도시된 바와 같이, 카메라(20)에 의해서 획득한 이미지에는 이동 피사체 기준점인 펜 팁(11)의 위치(P)와 고정 피사체 기준점들인 윗면의 제1 꼭짓점(R1)과 제2 꼭짓점(R2)이 모두 표시되어 있다.
제어기(30)는 이러한 이미지를 이용해서 영상 기하학적 방법으로 이동 피사체의 위치 좌표를 계산할 수 있다. 즉, 제1 꼭짓점(R1)과 제2 꼭짓점(R2) 사이를 연결한 직선의 길이(L)와, 제1 꼭짓점(R1)과 이동 피사체 기준점(P)을 연결한 직선의 길이(L1), 제2 꼭짓점(R2)과 이동 피사체 기준점(P)을 연결한 직선의 길이(L2)를 알면, 제1 꼭짓점(R1)과 제2 꼭짓점(R2) 사이를 연결한 직선(L)과 제1 꼭짓점(R1)과 이동 피사체 기준점(P)을 연결한 직선(L1)이 이루는 각도(α)와, 제1 꼭짓점(R1)과 제2 꼭짓점(R2) 사이를 연결한 직선(L)과 제2 꼭짓점(R2)과 이동 피사체 기준점(P)을 연결한 직선(L2)이 이루는 각도(β)를 계산할 수 있어서, 이동 피사체 기준점(P)의 절대 좌표(x, y)를 계산할 수 있다.
또한, 영상의 피봇(pivot)기능을 사용해서도 계산할 수 있을 것이다.
둘째, 카메라(20)에서 촬영된 이미지를 이용하여 한번 펜 팁(11)의 절대 좌표를 획득하고, 다음에 촬영된 이미지를 이용하여 펜 팁(11)의 절대 좌표를 측정하기 전까지는 상대 좌표 모듈(12)에서 획득된 상대 좌표를 이 절대 좌표에 합하여 펜 팁(11)절대 좌표를 연산할 수도 있다.
이때, 일정한 주기로 절대 좌표를 연산하고, 그 절대 좌표에 대한 펜 팁(11)의 상대 좌표를 측정하여, 이전 주기에 측정된 절대 좌표에 더하는 방식으로 절대 좌표를 제공할 수도 있다. 또한, 펜 팁(11)과 연결된 압력센서에서의 신호를 감지하여, 펜 팁(11)이 종이(1)에서 떨어지기 전까지는 이전에 획득된 절대 좌표에 상대 좌표를 더하는 방법을 사용하고, 펜 팁(11)이 떨어지면 다시 새로운 절대 좌표에 상대 좌표를 더할 수도 있으며, 두 가지 방법 모두를 적용할 수도 있다.
적외선 포인터(14)가 펜 팁(11)으로부터 일정한 거리가 떨어진 위치에 적외선을 조사할 경우에는 카메라 이미지와 상대 좌표 모듈(13)을 이용하여 적외선이 조사된 기준점의 절대 좌표를 계산하고, 이 기준점과 펜 팁(11)의 거리를 계산하여 적산함으로써 실제 펜 팁(11)의 절대 좌표를 계산할 수 있다.
셋째, 가상의 이동 피사체 기준점을 이용해서 이동 피사체의 절대 좌표를 계산할 수 있다. 본 방법은 이동 피사체 기준점인 펜 팁(11)의 위치가 표시된 이미지를 얻는 방법에 있어서, 첫째 방법과 차이가 있다.
즉, 본 방법에서는, 이미지를 통해서 카메라(20)의 파라메터를 얻은 후 이를 미리 확보된 카메라(20)의 위치별로 저장된 카메라(20)의 파라메터와 비교하여 카메라(20)의 위치를 찾는다. 또한, 전자펜(10)에 설치된 센서들로 카메라(20)의 팬(pan)과 틸트(tilt)와 같은 파라메터를 얻은 후 이를 이용하여 카메라(20)의 위치를 찾을 수도 있다.
그리고 카메라(20)의 위치를 이용하여 펜 팁(11)의 위치를 계산하고, 이를 이용해서 이미지 상에 가상의 이동 피사체 기준점을 표시한 후, 첫째, 방법과 동일한 방법으로 이동 피사체의 절대 좌표를 계산할 수 있다. 카메라(20)와 펜 팁(11) 사이의 거리는 불변이므로, 카메라(20)의 위치를 알면 펜 팁(11)의 위치도 알 수 있다.
카메라(20)로 촬영하여 얻어진 고정 피사체(1)의 왜곡된 이미지는 칼만필터(kalman filter) 및 아핀(affine) 등의 이미지 변환 알고리즘을 통해서 원본 이미지로 변환할 수 있다. 이 원본 이미지의 꼭지점들과 외곽선, 기울기, 영상각 등을 인식해서 카메라(20) 위치 추적에 필요한 카메라(20)의 파라메터를 얻을 수 있다.
또한, 고정 피사체(1)에 격자 무늬가 표시된 경우에는 격자 무늬가 표시된 고정 피사체(1)를 촬영해서 생성한 원본 이미지의 꼭지점과 외곽선, 영상각 등으로 카메라(20)의 파라메터를 인식할 수 있다.
카메라(20)의 파라메터들은 실험실에서 확보된 파라메터들이 될 것이고, 또한, 고정 피사체(1)의 격자 무늬의 개별 위치마다 카메라(20)의 파라메터가 고유 값을 갖게 될 것이다.
따라서 카메라(20)가 어느 위치에 있는지는 카메라(20)의 파라메터를 통해서 찾을 수 있고, 이를 이용해서 이미지 상에서의 펜 팁(11)의 위치를 표시할 수 있다. 가상의 펜 팁(11)의 위치가 표시된 이미지를 이용해서 펜 팁의 절대 좌표를 계산한다.
이 방법은 전자펜을 손으로 잡기 때문에 카메라(20)가 펜 팁(11)의 위치를 촬영 할 수 없을 때에도 사용될 수 있다. 이때 상기 카메라(20)의 중심에서 가상 펜 팁(11)의 위치를 계산 할 수 있고, 그 위치가 이동 피사체의 가상 기준점이 된다. 또한, 원본 이미지에 펜 팁(11)이 없는 경우에는 가상 기준점 즉 가상 펜 팁(11)을 기준점으로 사용할 수 있다.
제어기(30)에는 고정 피사체(1)의 기본적인 사이즈, 고정 피사체(1) 이미지의 꼭지점과 외곽선, 영상각 및 고정 피사체(1)의 격자 무늬의 각 위치에서 측정된 카메라(20)의 파라미터들이 저장되어 있어서, 제어기(30)의 표시장치(미도시) 또는 전자펜(10)과 연결된 스마트폰의 애플리케이션을 통해서 선택할 수 있다.
도 4는 본 발명에 따른 필기 입력 장치의 일실시예의 다른 사용 방법을 설명하기 위한 도면이다. 도 4에서는 스마트폰의 디스플레이(2)가 고정 피사체로 사용된다는 점에서 도 1과 차이가 있다. 이 경우 고정 피사체 기준점들은 스마트폰 디스플레이(2)의 꼭짓점일 수도 있으나, 도 4에 도시된 바와 같이, 디스플레이(2)에 표시되는 두 개의 마크(M1, M2)일 수 있다. 또한, 디스플레이(2)의 하단에 표시된 태그 마크(T1 ~ T4) 위에 전자펜(10)의 펜 팁(11)이 놓이면, 카메라(20)가 태그 마크(T1 ~ T4)를 인식하고, 전자펜(10)의 통신 수단을 통해서 스마트폰으로 인식된 태그 마크 정보 전달되고, 태그 마크(T1 ~ T4)에 대응하는 프로그램 또는 명령이 실행될 수 있다. 또한, 태그 마크(T1 ~ T4) 위치 및 대응하는 명령이나 프로그램을 미리 전자펜(10)의 메모리에 저장할 수도 있다.
도 5는 본 발명에 따른 필기 입력 장치의 일실시예의 또 다른 사용 방법을 설명하기 위한 도면이다. 도 5에서는 전자 칠판과 같은 대형 디스플레이(3)가 고정 피사체로 사용된다는 점에서 도 4와 차이가 있다. 이 경우에는 전자펜(10)의 카메라(20)가 고정 피사체의 전체를 한 번에 촬영할 수 없다. 따라서 도 4와 달리, 형태가 다른 복수의 코드 마크(M11 ~ M45) 들을 고정 피사체에 표시하고, 이를 인덱스 처리하여 전자펜(10)의 펜 팁(11)의 절대 좌표를 획득한다. 예를 들어, 도 5에는 M22 코드 마크와 M23 코드 마크의 절대 좌표를 인덱싱 테이블에서 확인하고, 이를 근거로 펜 팁(11)의 절대 좌표를 획득한다. M22 코드 마크와 M23 코드 마크인지 여부는, 예를 들어, 카메라(20)에서 획득된 이미지를 이용하여 제어기(30)에서 판단할 수 있다.
또한, 대형 디스플레이(3)의 가로 방향 테두리와 세로 방향 테두리에 각각 복수의 적외선 다이오드를 설치하여, 전자 칠판의 표면 위에 가로 방향 적외선과 세로 방향 적외선의 교차점들을 형성할 수도 있다. 이때, 각각의 적외선 다이오드의 점멸 주파수를 서로 달리함으로써, 각각의 적외선들이 어느 위치에 설치된 적외선 다이오드에 의한 것인지를 알 수 있도록 할 수 있다.
이런 경우, 카메라(20)를 통해서, 카메라(20)에 시야 범위 내에 표시된 교차점의 가로 방향 적외선과 세로 방향 적외선의 주파수를 각각 측정하고, 이를 인덱싱 테이블과 비교하면, 교차점의 절대 좌표를 바로 알 수 있다. 이러한 방법으로 카메라(20)에 의해 촬영된 교차점들의 절대 좌표를 알아낸 후 이를 근거로 펜 팁(11)의 절대 좌표를 획득할 수도 있다.
이상에서는 도면 및 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허청구범위에 기재된 본 발명의 기술적 사상으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
예를 들어, 제어기(30)가 전자펜(10)의 하우징(12) 내에 설치되는 것으로 설명하였으나, 외부에 따로 설치되거나, 전자펜과 유선 또는 무선으로 연결된 스마트폰이나 스마트 패드 등 다른 스마트 기기의 제어기를 사용할 수도 있다.
무선으로 연결되기 위해서 전자펜에 통신모듈이 설치될 수 있다. 통신모듈은 외부의 제어기에 접속하여 펜 팁의 좌표 정보를 전달하기 위한 것으로서, USB 포트와 같은 I/O 인터페이스와 유선으로 연결되거나, 블루투스, 지그비 방식 등을 통해 무선으로 연결될 수 있다. 무선으로 연결된 경우에는 전원을 공급하기 위한 배터리가 하우징 내에 설치된다.
또한, 적외선 포인터(14)를 이용하여 펜 팁(11)에 적외선을 조사하는 것으로 설명하였으나, 레이저 포인터를 이용하여 레이저를 펜 팁(11)에 조사할 수도 있다.
10: 전자펜
11: 펜 팁
13: 상대 좌표 모듈
14: 적외선 포인터
20: 카메라
30: 제어기

Claims (9)

  1. 서로 떨어진 적어도 2개의 고정 피사체 기준점들을 구비한 고정 피사체의 입력 면 위에서의 이동 피사체의 이동 궤적이 입력되는 필기 입력 장치로서,
    상기 이동 피사체는 상기 고정 피사체의 입력 면 위를 움직이는 이동 피사체 기준점을 제공하는 이동 피사체 기준점 제공수단과, 상기 고정 피사체 기준점들과 상기 이동 피사체 기준점을 동시에 촬영할 수 있는 시야 범위를 가지며, 상기 이동 피사체의 측면 상부에 설치되는 카메라를 포함하며,
    상기 카메라에서 획득된 이미지로부터 상기 이동 피사체 기준점의 절대좌표를 연산하는 제어기를 포함하는 것을 특징으로 하는 필기 입력 장치.
  2. 제1항에 있어서,
    상기 고정 피사체 기준점들은 상기 고정 피사체의 꼭짓점들인 것을 특징으로 하는 필기 입력 장치.
  3. 제1항에 있어서,
    상기 이동 피사체 기준점 제공수단은 상기 이동 피사체의 끝 단에 설치되며, 상기 고정 피사체의 입력 면 위를 이동하는 펜 팁인 것을 특징으로 하는 필기 입력 장치.
  4. 제1항에 있어서,
    상기 제어기는,
    상기 카메라에서 획득된 이미지로부터 영상처리방법으로 상기 카메라의 위치를 계산하고, 상기 카메라의 위치 및 상기 카메라와 이동 피사체 기준점 사이의 위치관계를 이용하여, 이미지상에 가상의 이동 피사체 기준점을 표시하는 것을 특징으로 하는 필기 입력 장치.
  5. 제1항에 있어서,
    상기 고정 피사체는 디스플레이 장치이며,
    상기 고정 피사체 기준점들은 상기 디스플레이 장치에 표시된 일정 간격의 기준 마크들인 것을 특징으로 하는 필기 입력 장치.
  6. 제1항에 있어서,
    상기 고정 피사체에는 태그 마크가 표시되며,
    상기 태그 마크가 표시된 영역에 상기 이동 피사체 기준점이 위치하는 것이 확인되면, 상기 태그 마크에 대응하는 기능이 실행되는 것을 특징으로 하는 필기 입력 장치.
  7. 제1항에 있어서,
    상기 이동 피사체는 상기 이동 피사체 기준점의 이동 궤적의 상대 좌표를 획득하는 상대 좌표 모듈을 포함하는 전자펜인 것을 특징으로 하는 필기 입력 장치.
  8. 제7항에 있어서,
    상기 제어기는 상기 카메라에서 촬영된 이미지로부터 상기 이동 피사체 기준점의 절대 좌표를 한 번 연산하고, 다음번에 상기 카메라에서 촬영된 이미지로부터 상기 이동 피사체 기준점의 절대 좌표를 연산하기 전까지는 상기 상대 좌표 모듈을 통해서 획득된 상대 좌표를 연산된 절대 좌표와 합하여, 상기 이동 피사체 기준점의 절대 좌표를 구하는 것을 특징으로 하는 필기 입력 장치.
  9. 서로 떨어진 적어도 2개의 고정 피사체 기준점들을 구비한 고정 피사체의 입력 면 위에서의 이동 피사체의 이동 궤적이 입력되는 필기 입력 장치로서,
    상기 이동 피사체는 상기 고정 피사체 기준점들을 동시에 촬영할 수 있는 시야 범위를 가지며, 상기 이동 피사체의 측면 상부에 설치되는 카메라를 포함하며,
    상기 카메라에서 획득된 이미지로부터 영상처리방법으로 상기 카메라의 위치를 계산하고, 상기 카메라의 위치 및 상기 카메라와 이동 피사체 기준점 사이의 위치 관계를 이용하여, 이미지상에 가상의 이동 피사체 기준점을 표시하고, 가상의 이동 피사체 기준점이 표시된 이미지로부터 상기 이동 피사체 기준점의 절대좌표를 연산하는 제어기를 포함하는 것을 특징으로 하는 필기 입력 장치.
KR1020190056204A 2018-05-29 2019-05-14 필기 입력 장치 KR102261530B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20180060887 2018-05-29
KR1020180060887 2018-05-29

Publications (2)

Publication Number Publication Date
KR20190135921A KR20190135921A (ko) 2019-12-09
KR102261530B1 true KR102261530B1 (ko) 2021-06-07

Family

ID=68837636

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190056204A KR102261530B1 (ko) 2018-05-29 2019-05-14 필기 입력 장치

Country Status (1)

Country Link
KR (1) KR102261530B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102390427B1 (ko) * 2021-07-20 2022-04-22 이보용 도면 작업 시스템

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017146548A1 (ko) 2016-02-25 2017-08-31 김수연 영상과 음성을 실시간으로 송수신이 가능하고 하우징 자체가 플렉시블 한 스마트 펜

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102422306B (zh) * 2009-04-08 2015-09-09 高通股份有限公司 增强型手持式屏幕感测指针
KR101312018B1 (ko) 2011-03-22 2013-09-26 주식회사 아하정보통신 전자칠판 시스템 및 그 구동방법
KR101990565B1 (ko) * 2012-04-04 2019-06-19 삼성전자주식회사 펜 방식의 디스플레이장치에서 좌표 검출 장치 및 방법
KR101981141B1 (ko) * 2012-04-04 2019-08-28 삼성전자주식회사 펜 방식에 기반한 디스플레이의 좌표 검출 방법 및 장치
KR20160000754A (ko) * 2014-06-25 2016-01-05 이승희 좌표 패턴 시트를 구비한 케이스 및 전자펜을 이용한 입력 시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017146548A1 (ko) 2016-02-25 2017-08-31 김수연 영상과 음성을 실시간으로 송수신이 가능하고 하우징 자체가 플렉시블 한 스마트 펜

Also Published As

Publication number Publication date
KR20190135921A (ko) 2019-12-09

Similar Documents

Publication Publication Date Title
US20110304548A1 (en) Mouse provided with a dot pattern reading function
JP5664301B2 (ja) コンピュータ装置、電子ペン入力システム、及びプログラム
CN110785729B (zh) 用于产生模拟笔画且用于模拟笔画的数字存储的电子装置和用于使模拟记录数字化的输入系统及方法
JP5664303B2 (ja) コンピュータ装置、入力システム、及びプログラム
JP6528964B2 (ja) 入力操作検出装置、画像表示装置、プロジェクタ装置、プロジェクタシステム、及び入力操作検出方法
JP5655573B2 (ja) コンピュータ装置、入力システム、及びプログラム
KR101949046B1 (ko) 필기 입력 장치
KR102261530B1 (ko) 필기 입력 장치
KR101410990B1 (ko) 전자펜을 이용한 입력 시스템
JP6048165B2 (ja) コンピュータ装置、電子ペンシステム、及びプログラム
CN104508603A (zh) 方向输入装置和利用方向输入装置操作用户界面的方法
JP5257486B2 (ja) コンピュータ装置、入力システム、及びプログラム
JP5413315B2 (ja) 情報処理システム及び表示処理プログラム
US9170685B2 (en) Object location determination
JP5664300B2 (ja) コンピュータ装置、入力システム、及びプログラム
CN116057500A (zh) 用于光学位置确定装置的光学触笔
JP5678697B2 (ja) コンピュータ装置、入力システム、及びプログラム
KR20160000754A (ko) 좌표 패턴 시트를 구비한 케이스 및 전자펜을 이용한 입력 시스템
KR20140034269A (ko) 전자펜을 이용한 입력 시스템
CN117215422B (zh) 基于陀螺仪传感器的光学式电子笔的显示器边缘处理系统及方法
KR102476025B1 (ko) 광학식 전자펜을 위한 그래픽 인디케이터 장치 및 그 이미지 처리 방법
JP4816809B1 (ja) コンピュータ装置、入力システム、及びプログラム
JP2011253343A (ja) 情報処理システム及び表示処理プログラム
JP2011060115A (ja) 情報処理システムおよび表示処理プログラム
JPWO2011001535A1 (ja) 電子ペンシステム、及び電子ペン

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant