KR20180077017A - 필기 입력 장치 - Google Patents

필기 입력 장치 Download PDF

Info

Publication number
KR20180077017A
KR20180077017A KR1020170164037A KR20170164037A KR20180077017A KR 20180077017 A KR20180077017 A KR 20180077017A KR 1020170164037 A KR1020170164037 A KR 1020170164037A KR 20170164037 A KR20170164037 A KR 20170164037A KR 20180077017 A KR20180077017 A KR 20180077017A
Authority
KR
South Korea
Prior art keywords
image
camera
subject
reference point
coordinate
Prior art date
Application number
KR1020170164037A
Other languages
English (en)
Other versions
KR101949046B1 (ko
Inventor
이승희
Original Assignee
이승희
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이승희 filed Critical 이승희
Publication of KR20180077017A publication Critical patent/KR20180077017A/ko
Application granted granted Critical
Publication of KR101949046B1 publication Critical patent/KR101949046B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/18—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical projection, e.g. combination of mirror and condenser and objective
    • G02B27/20—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical projection, e.g. combination of mirror and condenser and objective for imaging minute objects, e.g. light-pointer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0386—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry for light pen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Position Input By Displaying (AREA)

Abstract

본 발명은 입력장치에 관한 것으로서, 더욱 상세하게는 손, 전자펜 등을 이용한 필기를 입력할 수 있는 장치에 관한 것이다. 본 발명은 다양한 고정 피사체의 입력 면 위에서의 이동 피사체에 의한 필기가 입력되는 필기 입력 장치에 있어서, 상기 이동 피사체와 입력 면을 동시에 촬영하여 기준점을 갖는 촬영 이미지를 획득하는 카메라를 포함하며, 상기 고정 피사체에 분리 가능하도록 설치되는 위치인식장치와, 상기 카메라의 시야 범위(Field of view, FOV)에 물품의 입력 면 전체가 들어올 경우에 상기 촬영 이미지의 기준점이 배치될 수 있는 영역인 제1기준 영역과 상기 기준 이미지에는 이상적인 기준점의 위치를 중심으로 하는 제2기준 영역이 표시된 기준 이미지가 저장된 기준 이미지 저장부와, 상기 기준 이미지와 상기 촬영 이미지를 비교하여 상기 제1기준 영역 내부에 상기 기준점이 위치하는지를 판단하는 제1판단부와 상기 제2기준 영역 내부에 상기 기준점이 위치하는지를 판단하는 제2판단부를 구비하며, 상기 촬영 이미지를 이용하여 이동 피사체의 위치 좌표를 계산하는 제어기를 포함하며, 상기 제어기는 상기 촬영 이미지에서 고정 피사체의 모서리가 인식되지 않을 경우 상기 제2판단부에서 상기 촬영 이미지의 기준점이 상기 제2기준 영역 내부에 위치하는 것으로 판단될 경우에만 이동피사체의 위치 좌표를 계산하는 것을 특징으로 하는 필기 입력 장치를 제공한다.

Description

필기 입력 장치{Handwriting input device}
본 발명은 입력장치에 관한 것으로서, 더욱 상세하게는 손, 전자펜 등을 이용한 필기를 입력할 수 있는 장치에 관한 것이다.
컴퓨터, 휴대용 단말기 등의 전자장치에 정보를 입력하는 방법으로서, 종래에는 마우스, 키보드 등의 입력 방식이 사용되었으며, 최근에는 터치스크린을 이용한 입력방식이 많이 사용되고 있다.
터치스크린(Touch Screen)을 이용한 입력방식은 마우스나 키보드 등의 입력 방식을 대체할 수 있는 새로운 입력 방식으로, 손이나 펜을 이용하여 스크린에 직접 정보를 입력할 수 있는 입력 방식이다. 터치스크린을 이용한 입력 방식은 사용자가 화면을 보면서 원하는 작업을 직접 수행할 수 있고, 누구나 쉽게 조작할 수 있기 때문에 GUI(Graphical User Interface) 환경하에서 가장 이상적인 입력 방식으로 평가받고 있으며, 휴대폰, PDA, 은행이나 관공서의 단말기, 각종 의료장비, 관광기관의 안내 표시 장치 등 여러 분야에서 널리 사용되고 있다.
또한, 다른 방식으로 전자펜을 이용하여 사용자의 필기를 인식하고, 인식된 내용을 디지털화하여 저장할 수 있는 기술 및 제품이 상용화되고 있다. 종래의 펜형(Pen-type) 문자 입력 시스템은 문자 입력을 위한 종이에 좌표를 나타내는 마이크로 코드를 미리 삽입하고 광학적 위치 인식 기술을 통하여 펜의 움직임 궤적을 추정한다.
예를 들어, 공개특허공보 제2010-52526호에는 절대 좌표 정보를 포함하는 도트 패턴이 표시된 투명한 시트를 전자장치의 표시 화면 등에 부착한 후 광학 독취 장치를 이용해서 도트 패턴을 읽어들임으로써, 터치 패널과 유사한 형태의 입력이 가능한 정보 처리 시스템이 개시되어 있다.
상술한 종래의 도트 패턴을 이용한 입력 시스템은 광학 독취 장치가 읽어들이는 좌표 패턴에 포함된 절대 좌표 정보를 직접 이용해서 광학 독취 장치의 위치를 인식한다.
따라서 정확하고 섬세한 입력을 위해서는 좌표 패턴이 매우 촘촘히 배치하여야 한다는 문제가 있었다. 예를 들어 좌표 패턴을 300dpi로 인쇄한다면 약 84㎛ 간격으로 좌표 패턴이 배치되어야 한다. 이와 같이 촘촘히 배치된 좌표 패턴은 표시화면의 투명도를 저하할 수 있다는 문제가 있다. 또한, 좌표 패턴의 형태가 복잡해지고, 크기가 매우 작으며, 수가 많기 때문에 좌표 패턴을 형성하기도 어렵다. 또한, 좌표 패턴을 형성하여도, 좌표 패턴 인쇄, 보호층 코팅 등 제작과정에서 좌표 패턴이 형성된 필름이 변형될 수 있고, 필름을 부착하는 과정에서도 수십㎛ 정도의 오차가 발생할 수 있으므로 적용이 어렵다.
또한, 촘촘히 배치된 좌표 패턴을 이용하더라도, 전자펜을 잡는 자세에 따라서 카메라로 촬영된 이미지의 왜곡이 발생하여, 정확한 좌표 측정이 어렵다는 문제도 있었다.
또한, 등록특허 제10-1312018호에는 별도의 좌표 패턴을 사용하지 않고, 적외선 카메라를 이용해서 투명 패널 위에서 움직이는 전자펜의 위치를 확인한 후 투명 패널 아래에 위치하는 평판표시 장치에 전자펜의 궤적을 표시하는 전자칠판 시스템이 개시되어 있다. 이러한 시스템은 측정 정밀도가 너무 낮으며, 반응속도도 느리다는 문제가 있었다.
다른 절대 좌표 방식의 전자펜은 좌표 인식이 가능한 태블릿(Tablet) 혹은 전자 패드(Pad)에 전자펜으로 필기를 하고, 전자펜의 이동에 의한 좌표를 인식하여 궤적을 복원함으로써 문자 입력을 수행하였다. 이러한 절대 좌표 기반의 방식은 펜 궤적 복원이 비교적 잘 수행되지만 절대 좌표를 제공하기 위한 추가적인 레퍼런스 시스템(즉, 타블렛 혹은 전자 패드)이 반드시 요구된다는 문제가 있다.
이러한 문제를 극복하기 위해 관성 센서나 광학 센서를 활용하여 절대 좌표 방식이 아닌 상대 좌표 기반의 문자 입력 방식을 위한 시도가 수행되어 오고 있다. 일 예로서, 관성 센서만을 활용하여 펜 팁(Pen-tip)의 움직임을 계산하여 궤적을 복원하는 시스템, 펜 형태의 광마우스를 이용하는 시스템이 제안되었다. 그러나 이러한 기술은 시간이 흐름에 따라 누적 오차가 커진다는 문제가 있으며, 절대 좌표를 알 수 없다는 문제가 있었다.
공개특허공보 제2010-52526호 등록특허 제10-1312018호
본 발명은 상술한 문제점을 개선하기 위한 것으로서, 좌표 패턴을 사용하지 않으면서, 정확하고 섬세한 입력이 가능한 입력 시스템을 제공하는 것을 목적으로 한다.
상술한 목적을 달성하기 위해 본 발명은 다양한 고정 피사체의 입력 면 위에서의 이동 피사체에 의한 필기가 입력되는 필기 입력 장치에 있어서, 상기 이동 피사체와 입력 면을 동시에 촬영하여 기준점을 갖는 촬영 이미지를 획득하는 카메라를 포함하며, 상기 고정 피사체에 분리 가능하도록 설치되는 위치인식장치와, 상기 카메라의 시야 범위(Field of view, FOV)에 물품의 입력 면 전체가 들어올 경우에 상기 촬영 이미지의 기준점이 배치될 수 있는 영역인 제1기준 영역과 상기 기준 이미지에는 이상적인 기준점의 위치를 중심으로 하는 제2기준 영역이 표시된 기준 이미지가 저장된 기준 이미지 저장부와, 상기 기준 이미지와 상기 촬영 이미지를 비교하여 상기 제1기준 영역 내부에 상기 기준점이 위치하는지를 판단하는 제1판단부와 상기 제2기준 영역 내부에 상기 기준점이 위치하는지를 판단하는 제2판단부를 구비하며, 상기 촬영 이미지를 이용하여 이동 피사체의 위치 좌표를 계산하는 제어기를 포함하며, 상기 제어기는 상기 촬영 이미지에서 고정 피사체의 모서리가 인식되지 않을 경우 상기 제2판단부에서 상기 촬영 이미지의 기준점이 상기 제2기준 영역 내부에 위치하는 것으로 판단될 경우에만 이동피사체의 위치 좌표를 계산하는 것을 특징으로 하는 필기 입력 장치를 제공한다.
본 발명에 따른 필기 입력 장치는 좌표 패턴을 사용하지 않으면서, 정확하고 섬세한 입력이 가능하다는 장점이 있다.
도 1은 본 발명에 따른 입력 시스템의 일실시예를 고정 피사체에 장착하여 사용하는 방법을 나타낸 도면이다.
도 2는 도 1에 도시된 이동 피사체의 일 예인 전자펜의 개념도이다.
도 3은 도 1에 도시된 위치인식장치의 개념도이다.
도 4a와 도 4b는 도 3에 도시된 클립부의 개념도이다.
도 5는 도 1에 도시된 제어기의 블록도이다.
도 6은 기준 이미지를 나타낸 도면이다.
도 7은 촬영 이미지를 나타낸 도면이다.
도 8은 피사체 템플릿을 나타낸 도면이다.
도 9는 정합 이미지를 나타낸 도면이다.
도 10은 보정 이미지를 나타낸 도면이다.
도 11은 위치인식장치의 다른 예들의 개념도이다.
도 12는 대형 디스플레이에 위치인식장치를 적용한 예의 도면이다.
도 13은 도 12에 도시된 위치인식장치의 개념도이다.
이하, 첨부된 도면들을 참조하여 본 발명의 실시예를 상세히 설명하기로 한다. 그러나 본 발명은 이하에서 개시되는 실시예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 도면상의 동일 부호는 동일한 요소를 지칭한다.
도 1은 본 발명에 따른 입력 시스템의 일실시예를 고정 피사체에 장착하여 사용하는 방법을 나타낸 도면이다. 도 1을 참고하면, 본 발명에 따른 입력 시스템의 일실시예는 전자펜(10), 위치인식장치(20), 제어기(30)를 포함한다.
공책(1)은 위치인식장치(20)가 장착되고, 이동 피사체인 전자펜(10)의 펜 팁(11)이 접촉하면서 이동하는 입력 면을 제공하는 고정 피사체의 일 예이다. 고정 피사체로는 공책뿐 아니라 A4 용지 등의 종이류, 책, 태블릿, 스마트폰, 대형 디스플레이 등 평평한 면은 구비한 다양한 물품이 사용될 수 있다.
도 2는 도 1에 도시된 전자펜의 개념도이다. 도 2에 도시된 바와 같이, 전자펜(10)는 펜 팁(11), 하우징(12), 마우스 모듈(13). 적외선 포인터(14)를 포함한다.
전자펜(10)은 현재 펜 팁(11)의 위치 좌표에 대한 정보는 제공하지 않지만, 현재 위치를 기준으로 펜 팁(11)의 상대 좌표에 대한 정보는 제공할 수 있다.
펜 팁(11)은 압력센서(미도시)와 연결되어 전자펜(10)의 온/오프 스위치로서 작용할 수 있다. 전자펜(10)의 하우징(12)에는 마우스 모듈(13)과 펜 팁(11)을 조사하는 적외선 포인터(14)가 설치될 수 있다.
마우스 모듈(13)은 예를 들어, 레이저 다이오드와 레이저 센서를 포함하는 레이저 마우스 모듈, 적외선 발광다이오드, 광 이미지 센서 및 렌즈들을 포함하는 광마우스 모듈, 관성 센서를 이용하는 관성 마우스 모듈 등이 있다. 마우스 모듈(13)은 펜 팁(11)의 이동 궤적의 상대 좌표 정보를 획득하는 역할을 한다. 또한, 마우스 모듈(13)에는 레이저 다이오드나 적외선 발광다이오드와 같은 광원을 제어하고 통신하기 위한 마이크로프로세서, 메모리, 통신모듈 등이 설치된다. 통신모듈은 제어기(30)에 접속하여 펜 팁(11)의 상대 좌표 정보를 전달하기 위한 것으로서, USB 포트와 같은 I/O 인터페이스와 유선으로 연결되거나, 블루투스, 지그비 방식 등을 통해 무선으로 연결될 수 있다. 무선으로 연결된 경우에는 전원을 공급하기 위한 배터리가 하우징 내에 설치된다.
적외선 포인터(14)는 펜 팁(11)에 적외선을 조사한다. 적외선 포인터(14)는 적외선 발광다이오드와 집광렌즈를 포함할 수 있다. 적외선 포인터(14)는 마우스 모듈(13)로 광마우스 모듈을 사용하는 경우에는 마우스 모듈(13)의 발광다이오드에서 조사되는 빛을 일부를 집광하여 펜 팁(11)에 조사할 수도 있다. 적외선 포인터(14)는 후술하는 위치인식장치(20)의 적외선 카메라(22)를 이용하여 펜 팁(11)의 영상을 쉽게 획득하기 위해 설치된다. 또한, 제어기(30)가 외부의 적외선과 적외선 포인터(14)에 의한 적외선을 구분할 수 있도록, 적외선 포인터(14)는 펄스 형태로 적외선을 조사할 수도 있다.
또한, 전자펜(10)에는 전자펜(10)의 기능을 마우스 기능에서 필기 기능으로 또는 역으로 전환할 수 있는 버튼(15)이 설치될 수 있다. 마우스 기능이 선택될 때에는 펜 팁(11)의 위치를 알 필요가 없으므로, 적외선 포인터(13)가 꺼질 수 있다.
또한, 전자펜(10)에는 펜 팁(11)과 교대로 선택할 수 있는 볼펜 심이 설치될 수 있으며, 마이크 모듈이 설치될 수도 있다.
도 3은 도 1에 도시된 위치인식장치의 개념도이다.
도 3에 도시된 위치인식장치(20)는 도 2에 도시된 전자펜(10)의 후단에 결합될 수 있다.
위치인식장치(20)는 이동 피사체인 전자펜(10)의 펜 팁(11)의 고정 피사체의 입력 면 위에서의 위치를 알기 위한 촬영 이미지를 획득하는 기능을 한다. 위치인식장치(20)는 몸체(21), 카메라(22) 및 레이저 포인터(23)를 포함한다. 도 1에 도시된 바와 같이, 위치인식장치(20)는 공책(1)의 일 측에 장착된다. 위치인식장치(20)는 공책(1)의 모서리에 장착될 수도 있다.
몸체(21)에는 위치인식장치(20)를 공책(1)에 고정하기 위한 클립부(25)가 형성되어 있으며, 도시하지 않았으나, 카메라(22) 및 레이저 포인터(23)를 제어하기 위한 마이크로프로세서, 메모리, 통신모듈 등도 설치된다. 또한, 위치인식장치(20)가 정 위치에 장착되었는지를 사용자가 식별하기 위한 발광다이오드(26)도 설치될 수 있다.
클립부(25)는 공책(1)의 두께에 상관없이, 위치인식장치(20)가 수평을 이룬 상태로 고정되도록 하는 구조를 가진다. 클립부(25)는 클립 몸체(251)와, 클립 몸체(251)에서 연장되며 공책의 하면에 접촉하는 지지바(252)와, 클립 몸체(251)에서 연장되며 위치인식장치(20)에 형성된 수직 홈(27)에 끼워져 클립 몸체(251)의 상하 이동을 안내하는 수직 바(253)와, 위치인식장치(20)에 길게 형성된 가이드 홈(28)에 끼워진 롤러(254)와, 롤러(254)와 연결되어 롤러(254)가 클립 몸체(251)로부터 멀어지는 방향으로 롤러(254)에 탄성력을 제공하는 탄성 제공 수단(255), 일단은 클립 몸체(251)에 힌지 결합하고, 타단은 롤러(254)에 힌지 결합하는 연결바(256)를 포함한다.
도 4b에 도시된 바와 같이, 위치인식장치(20)를 얇은 공책(2)에 장착하는 경우에는 탄성 제공 수단(255)의 탄성력에 의해서 롤러(254)가 많이 후퇴하고, 클립 몸체(251)가 위치인식장치(20)의 하면에 가까워지며, 두꺼운 공책(1)에 장착하는 경우에는 도 4a에 도시된 바와 같이, 롤러(254)가 덜 후퇴하고, 클립 몸체(251)가 위치인식장치(20)의 하면에서 멀어진다. 클립 몸체(251)는 수직 홈(27)에 끼워진 수직 바(253)에 의해서 상하 이동만 할 수 있으므로, 클립부(25)의 지지바(256)와 위치인식장치(20)의 하면은 항상 수평을 유지한다. 따라서 클립부(25)를 이용하여 위치인식장치(20)를 공책에 고정하는 과정에서 위치인식장치(20)가 틀어질 가능성이 작다. 클립부(25)에는 클립부(25)가 공책의 일 측면과 수평을 유지하면서 제대로 끼워졌는지를 확인할 수 있는 센서(미도시)가 설치될 수도 있다.
본 실시예에서 카메라(22)는 몸체(21)에 힌지 결합된 지지 포스트(24)에 설치된다. 위치인식장치(20)가 공책에 장착된 후 지지 포스트(24)를 펼치면 카메라(22)는 공책(1)의 상면인 입력 면을 향한다. 카메라(22)는 반사광을 전기 신호로 변환하는 전하결합소자(Charge Coupled Device, CCD)와 입력 면에서 반사된 빛 및 펜 팁(11)에서 반사된 적외선을 CCD에 전달하는 렌즈 등의 광학 기구들을 포함한다. CCD는 수만 내지 수십만 개의 감광소자를 포함하며, 감광소자의 수에 의해서 해상도가 결정된다. 본 발명에서 카메라의 해상도가 높을수록 입력시스템의 정밀도가 향상되지만 해상도가 640×520 정도로 낮은 카메라를 사용할 수 있다. 또한, 카메라의 이미지 센서는 CMOS일 수 있다. 카메라(22)의 렌즈로는 시야 각이 일정한 점대칭형 렌즈를 사용할 수 있다.
또한, 카메라(22)의 자세 각을 알기 위해서 카메라(22) 주위에 틸트 센서를 설치할 수도 있다.
레이저 포인터(23)는 카메라(22)에서 획득되는 영상에 기준점을 표시하는 역할을 한다. 본 실시예에서 레이저 포인터(23)는 지지 포스트(24)에 설치된다. 레이저 포인터(23)는 카메라의 진동이 같이 전달되고, 카메라의 주점 위치에 레이저를 조사할 수 있는 기하학적 위치에 설치될 수 있다. 기준점은 영상의 중심점이나 주점(Principal Point)일 수 있다. 주점은 카메라 렌즈의 중심점의 핀 홀의 빛이 CCD의 중심에 이미지가 맺히도록 설정하는 것이 가장 이상적이지만, 설치 과정의 난이도를 고려하여 이미지센서(CCD) 중심 부근에 레이저 포인터(23)에 의한 마크가 올 수도 있을 것이다. 만약 카메라(22)가 떨리면 레이저 포인터(23)의 마크도 떨려서 마크가 흐릿할 것이다. 또한, 카메라(22)의 렌즈에 따라서 제1, 2 기준영역 위치에 설치될 수 있을 것이다.
따라서, 제어기(30)는 레이저 포인터(23) 마크의 형체 및 크기의 변화로 카메라(22)가 떨리는 것을 쉽게 확인하여 촬영이미지를 선별할 수 있을 것이다.
또한, 위치인식장치가 동일 고정피사체에 클립 될 때마다 레이저 포인터의 기준점의 위치가 변경됨을 알 수 있고, 이상적으로 설치된 레이저 포인터의 기준점과 동일 고정피사체에 반복 클립되는 실제 레이저 포인터의 기준점의 위치좌표 차이를 알 수 있다. 이것을 이용하여 고정피사체의 위치좌표를 보정할 수 있다.
도 5는 도 1에 도시된 제어기의 블록도이다. 도 5에 도시된 바와 같이, 제어기(30)는 기준 이미지 저장부(31), 카메라 이미지 수신부(38), 제1판단부(32), 이미지 확인부(33), 제2판단부(40), 템플릿 생성부(41), 정합부(42), 이미지 보정부(34), 위치 좌표 추출부(35), 상대 좌표 수신부(39), 절대 좌표 계산부(36) 및 절대 좌표 송신부(37)를 포함한다.
기준 이미지 저장부(31)에는 위치인식장치(20)에 설치된 카메라(22)를 이용하여 고정 피사체를 촬영하였을 때 얻을 수 있는 이미지와 비교할 수 있는 기준 이미지가 저장되어 있다. 기준 이미지는 위치인식장치(20)에 설치된 카메라를 이용하여 고정 피사체를 촬영하였을 때 얻어질 수 있는 이상적인 고정 피사체의 이미지이다. 즉, 위치인식장치(20)가 고정 피사체의 정 위치에 완벽하게 설치되었을 때의 이미지이다. 기준 이미지는 이상적인 환경에서 실제로 카메라로 촬영하여 만들 수도 있으나, 이미지 프로그램에 데이터를 입력하여 만들 수도 있다. 카메라(22)의 설치위치에 따라서, 도 6에 도시된 바와 같이, 고정 피사체의 기준 이미지(5)에는 원근 및 방사 왜곡이 일어날 수 있다.
기준 이미지(5)에는 제1기준 영역(6)과 제2기준 영역(7)이 표시되어 있다. 도 6의 기준 이미지는 하나의 예시이며, 기준 이미지는 위치인식장치에서의 카메라의 위치, 자세 및 시야각에 따라 다를 수 있으며, 제1기준 영역과 제2기준영역의 형태와 크기도 다를 수 있다. 제1기준 영역(6)은 고정 피사체의 입력 면 전체가 카메라(22)의 시야 범위(Field of view, FOV)에 속하는지를 확인하기 위한 사다리꼴 형태의 영역일 수 있다. 위치인식장치(20)가 좌우 한쪽으로 치우치게 설치되거나 완전히 끼워지지 않으면, 고정 피사체의 입력 면 일부가 FOV를 벗어나서 촬영될 수 없는 것을 방지하기 위함이다.
제2기준 영역(7)은 원 또는 사각형 등의 영역일 수 있다. 도 3에 도시된 실시예에서 제2기준 영역(7)은 고정 피사체가 위치한 공간의 환경 및 조도 등에 의해서 이미지 처리 알고리즘을 통해서 고정 피사체와 배경을 정확히 구분할 수 없어서, 고정 피사체의 모서리들이 카메라(22)에서 촬영된 이미지에서 인식되지 않는 경우에 모서리들의 좌표 값을 계산할 때 사용된다. 제2기준 영역(7)은 이러한 방식으로 모서리들의 좌표 값을 계산하는 것이 허용될 수 있는 최대 영역을 표시한다. 레이저 포인터(23)에 의한 기준점이 제2기준 영역(7)을 벗어날 경우에는 계산에 의한 모서리 좌표 값과 실제 모서리 좌표 값 사이의 오차가 허용범위를 벗어난다.
카메라 이미지 수신부(38)는 카메라(22)에서 촬영된 이미지를 수신한다. 촬영 이미지(8)는 레이저 포인터가 조사된 고정 피사체의 실제 이미지이다. 이상적일 경우에는 촬영 이미지(8)와 기준 이미지(5)가 일치하지만 위치인식장치(20)를 설치하는 과정에서 오차가 생길 경우에는 도 7에 도시된 바와 같이, 촬영 이미지(8)와 기준 이미지(5)가 일치하지 않는다. 도 7의 촬영 이미지(8)는 설명을 위한 도면이여, 위치인식장치(8)의 카메라(22) 위치와 설치 각에 따라 촬영 이미지(8)의 형상이 변할 수 있다.
제1판단부(32)는 카메라 이미지 수신부(38)에서 수신된 촬영 이미지(8)와 기준 이미지(5)를 비교하여, 촬영 이미지(8)의 기준점(9)이 제1기준 영역(6) 안에 속하는지 판단한다. 제1판단부(32)는 기준 이미지(5)의 원점과 기준점(9)이 표시된 투명 촬영 이미지(8)의 원점이 일치하도록 두 이미지를 중첩한 후 촬영 이미지(8)의 기준점(9)이 제1기준 영역(6) 안에 속하는지 판단한다. 만약, 기준점(9)이 제1기준 영역(6)을 벗어날 경우에는 고정 피사체의 입력 면 중 일부가 카메라(22)의 FOV를 벗어나는 것이므로, 제1판단부(32)는 위치인식장치(20)에 설치된 표시용 발광다이오드(26) 등을 통해서 사용자에게 이를 알린다. 사용자가 위치인식장치(20)의 위치를 적절히 조절하여 기준점(9)이 제1기준 영역(6) 내부에 들어오도록 하면 표시용 발광다이오드(26)가 꺼진다.
이미지 확인부(33)는 촬영 이미지(8)에서 고정 피사체와 배경이 구별되는지 이미지처리 알고리즘 중의 한 방법인 영상 이진화를 통한 히스토그램 방법으로 영상의 임계치를 계산하는 것으로 확인할 수 있을 것이다. 고정 피사체와 배경이 구별된다면, 촬영 이미지를 바로 이미지 보정부(34)에 전달할 수 있다.
고정 피사체와 배경이 이미지 처리 알고리즘으로 구별되지 않는다면, 제2판단부(40)에서 촬영 이미지(8)의 기준점(9)이 제2기준 영역(7) 안에 포함되는지를 판단한다. 만약, 기준점(9)이 제2기준 영역(7)을 벗어날 경우에는 제2판단부(40)가 위치인식장치(20)에 설치된 표시용 발광다이오드(26) 등을 통해서 사용자에게 알려서 조절하도록 한다. 즉, 고정 피사체와 배경이 이미지 처리 알고리즘으로 구별되지 않는 경우에는 촬영 이미지(8)의 기준점(9)이 제1기준 영역(6) 안에 들어와 있더라도, 제2기준 영역(7) 밖에 있으면, 도 3에 도시된 실시예에서는 고정 피사체의 꼭지점들의 좌표를 획득할 수 없으므로, 사용자에게 위치인식장치(20)의 발광다이오드를 통해서 알려서 조절하도록 할 수 있다.
템플릿 생성부(41)는 제2기준 영역(7)의 중심과 촬영 이미지(8)의 기준점(9) 사이의 오프셋을 기준으로 카메라의 픽셀 좌표와 고정 피사체의 사변형의 길이 및 카메라 촬영 각을 통해서 핀 홀의 영상 기하학적인 방법을 활용하여 도 8에 도시된 바와 같은 고정 피사체 템플릿(T)을 생성할 수 있다. 고정 피사체 템플릿은 영상 기하학적인 방법에 의해 계산된 고정 피사체의 4개의 꼭지점의 데이터를 이용하여 작성된 이미지이다. 또한, 미리 제2기준 영역(7)을 영상 감소비의 요소가 적용된 가상 격자 선에 의한 여러 소영역으로 구획하고, 각각의 소영역에 대응하는 고정 피사체 템플릿을 미리 저장하고 저장된 고정 피사체 템플릿을 바로 불러오는 방법을 사용할 수도 있다.
정합부(42)는 템플릿 생성부(41)에서 생성된 고정 피사체 템플릿(T) 이미지의 중심좌표와 촬영 이미지(8)의 중심좌표(9)를 기준으로 템플릿(T) 이미지와 촬영 이미지(8)를 중첩하여, 도 9에 도시된 바와 같이, 정합 이미지를 생성할 수 있다. 또한, 정합 이미지는 템플릿 이미지(T)에 펜 팁(11) 이미지를 정합한 것일 수 있다.
이미지 보정부(34)는 이미지 필터부를 구비하여 촬영 이미지를 필터링하여 정확하고 섬세한 위치 좌표를 계산하도록 할 수 있다. 이미지 필터부는 카메라(22)의 진동에 의한 레이저 포인터(23)에 의한 기준점 마크의 변화를 확인할 수 있다. 이미지 필터부는 촬영 이미지가 촬영될 때마다 레이저 포인터(23)에 의한 마크를 확인하여 마크의 이미지가 흐릿하고, 크기가 변하는 경우에 촬영 이미지를 제외함으로써 이미지의 간섭 및 노이즈를 차단할 수 있을 것이다.
도 3에 도시된 실시예에서, 이미지 보정부(34)는 촬영 이미지 또는 정합 이미지를 호모그래피 변환하여, 도 10에 도시된 바와 같이, 원근 왜곡이 사라진 보정 이미지(A)를 획득한다. 호모그래피 행렬의 파라미터 값들을 알기 위해서는 최소 네 개의 매칭쌍이 필요하다. 촬영 이미지를 활용하는 경우에는 FAST(Features from Accelerated Segment Test) 특징점 추출 방법으로 고정 피사체의 4개의 꼭짓점의 픽셀 좌표 (x0, y0), (x1, y1), (x2, y2), (x3, y3)를 계산할 수 있다. 보정 이미지의 4개의 꼭짓점의 좌표 값 (u0, v0), (u1, v1), (u2, v2), (u3, v3)은 고정 피사체의 크기로부터 이미 알고 있으므로, 호모그래피 변환을 통해서 보정 이미지를 획득할 수 있다. 정합 이미지를 활용하는 경우에는 템플릿 생성부(41)에서 템플릿을 생성하는 과정에서 계산된 4개의 꼭짓점의 픽셀 좌표를 활용한다.
위치 좌표 추출부(35)는 이미지 보정부(34)에서 획득된 이미지를 이용하여 이동 피사체인 펜 팁(11)의 위치 좌표(ut, vt)를 추출할 수도 있고, 또한, 이미지 보정부(34)에서 보정 좌표값을 펜팁(11)의 위치 좌표에 적산할 수도 있다.
상대 좌표 수신부(39)는 이동 피사체의 상대 좌표 정보를 수신한다. 도 1에 도시된 실시예에서는 전자펜(10)의 이동궤적 정보가 상대 좌표 정보에 해당된다.
절대 좌표 계산부(36)는 위치 좌표 추출부(35)에서 추출된 위치 좌표와 상대 좌표 수신부(39)에서 수신된 상대 좌표를 합하여 현재 펜 팁의 절대 좌표를 계산한다. 위치 좌표 추출부(35)는 단속적으로 이미지를 이용하여 위치 좌표를 추출하고, 절대 좌표 계산부(36)는 추출된 위치 좌표에 상대 좌표를 합하여 절대 좌표를 계산한다. 그리고 새로운 절대 좌표가 추출되면 이 새롭게 추출된 절대 좌표를 기준으로 다시 절대 좌표를 계산한다. 예를 들어, 전자펜(10)가 오프 상태에서 온 상태로 전환될 경우 위치 좌표 추출부(35)가 위치 좌표를 추출하고, 전자펜(10)이 온 상태로 유지될 때에는 계속 절대 좌표 계산부에서 절대 좌표를 계산하고, 다시 전자펜이 오프된 후 다시 온될 때 위치 좌표 추출부(35)가 위치 좌표를 추출할 수 있다. 아니면, 주기적으로 위치 좌표를 추출하여 펜팁(11)의 절대 좌표와 비교할 수도 있다.
절대 좌표 송신부(37)는 절대 좌표를 스마트폰, 컴퓨터 등의 단말기에 송신한다. 단말기는 디스플레이를 통해서 이동 피사체의 궤적을 표시한다.
정밀한 입력이 필요없는 경우에는 위치 좌표 추출부(35)가 짧은 주기로 위치 좌표를 추출하고, 추출된 위치 좌표를 바로 절대 좌표 송신부(37)를 통해서 송신할 수도 있다. 이런 경우에는 상태좌표 수신부(39)와 절대 좌표 계산부(36)가 필요하지 않다. 예를 들어, 이동 피사체로 전자펜(10)가 아닌 손가락을 사용하는 경우에는 상대 좌표를 측정할 수 없으며, 정밀한 입력도 어려운 상황이므로, 도 5에 점선으로 표시된 바와 같이, 위치 좌표 추출부(35)에서 바로 절대 좌표 송신부(37)로 절대 좌표를 송신할 수 있다.
제어기(30)를 구성하는 하드웨어로는 위치인식장치(20)의 마이크로프로세서, 메모리를 사용할 수 있다.
도 11은 위치인식장치의 다른 예의 개념도이다.
도 11에 도시된 바와 같이, 위치인식장치(120)는 본체(121)에 일정 간격으로 설치된 제1카메라(122a)와 제2카메라(122b)를 포함할 수 있다. 제1카메라(122a)와 제2카메라(122b)를 분리설치할 수도 있다. 또한, 본체(121)에 고정 피사체의 크기 및 종류를 표시하고, 시스템 알람을 표시하는 표시기(129)가 설치될 수도 있다. 본 실시예의 경우에는, 도 3에 도시된 실시예와 달리 두 대의 카메라(122a, 122b)를 사용하므로, 제어기(30)의 위치 좌표 추출부(35)에서 영상 기하학적 방법으로 이동 피사체의 위치 좌표를 계산할 수 있다. 따라서 도 3에 도시된 실시예와 달리 본 실시예는 고정피사체의 모서리들의 좌표를 계산할 필요가 없다. 또한, 본 실시예의 경우에는 고정피사체의 꼭짓점 좌표를 계산할 필요가 없기 때문에 촬영 이미지를 바로 이미지 보정부(34)에 전달한다는 점에서 도 3에 도시된 실시예와 차이가 있다.
본 실시예에서는, 도 3에 도시된 실시예와 달리, 위치인식장치(120)의 레이저 포인트(123)가 고정피사체 면을 조사하여 생긴 마크인 기준점이 제2기준영역(7) 내의 영역에 있으면 두 대의 카메라(122a, 122b)를 이용해서 고정피사체 입력 면 전체의 위치좌표를 계산할 수 있는 것으로 판단할 수 있고, 레이저 포인터(123)에 의한 기준점이 제2기준영역(7)을 벗어날 경우에는 고정피사체의 입력 면의 위치좌표의 일부는 정확하게 계산할 수 없는 것으로 간주할 수 있다.
또한, 본 실시예에 있어서, 이동 피사체의 위치 좌표 보정은 고정 피사체의 꼭짓점에 인접해 있는 제1카메라(122a)에 의해서 결정될 수 있다. 촬영이미지(8)를 이용한 영상 기하학적 방법의 계산으로 제1카메라(122a)의 영점 좌표 또는 위치 각을 계산할 수 있을 것이다. 그리고 계산된 영점 좌표와 기준이미지(5)의 영점 좌표의 편차를 구할 수 있다. 그리고 이 편차를 이용해서 이동 피사체의 위치 좌표를 보정할 수 있다.
또한, 위치인식장치(120)가 가장 이상적으로 고정 피사체체에 설치된 상태에서의 기준점인 기준이미지(5)에서의 기준점과 레이저 포인터에 의해서 고정 피사체에 표시된 점의 편차를 구하고 이 값을 기준으로 보정할 수도 있다. 이 편차는 위치인식장치(120)가 이상적인 위치에서 이동한 정도를 나타내는 값이므로, 이 값을 이용해서 이동 피사체의 위치 좌표를 보정할 수 있다.
고정 피사체에 위치인식장치(120)의 설치를 반복하면, 위치인식장치(120)의 위치변경으로 이동 피사체의 위치 좌표 값이 변하게 될 것이다. 따라서 이동 피사체의 위치 좌표에 상기 편차를 적용함으로써 보정된 이동 피사체의 위치 좌표를 구할 수 있을 것이다. 따라서 위치인식장치(120)의 위치가 변경되어도, 이동 피사체의 위치 좌표를 정확하게 계산할 수 있다.
이러한 위치인식장치(120)는 미리 인쇄된 영역과 수기 영역이 있는 기존의 종이 문서를 전자 문서화하는 용도로도 활용할 수 있다. 이러한 문서들은 사용자가 필요한 내용을 수기 영역에 직접 기재하여 완성한다. 이러한 문서로는, 예를 들어, 각종 계약서, 설문지, 병원 입원/검사 기록지, 이력서, 학습지 등이 있다.
위치인식장치(120)에 이러한 문서의 기준 이미지가 저장되어 있다면, 위치인식장치(120)를 고정피사체(종이 문서)에 고정한 후, 전자펜(10)으로 종이 문서의 수기 영역에 자필로 필기하면, 앞에서 상술한 방법에 의해서, 글씨 및 싸인, 그림 등이 수기 영역에 삽입된 전자문서를 얻을 수 있다.
저장된 기준 이미지가 없다면, 위치인식장치(120) 또는 위치인식장치(120)와 연결된 정보 장치를 통해서 문서를 다운로드 하거나, 정보 장치의 카메라로 문서를 캡처한 후 기준 이미지를 생성하여, 위치인식장치(120)에 전송할 수 있다. 정보 장치는 스마트폰과 태블릿 등의 모바일 장치, 노트북 등을 포함한다. 다운 또는 캡처한 문서 이미지를 모바일 화면에 표시하고, 전자펜(10) 또는 이미지 프로그램 등으로 화면에 표시된 문서의 4개의 꼭짓점의 화면의 픽셀 좌표를 알아낼 수 있다. 그리고 그 꼭짓점 좌표 값과 다운로드 받거나 캡처한 문서 이미지 파일을 이용하여 기준 이미지를 생성한 후 위치인식장치(120)에 전송한다. 전송된 기준 이미지는 기준 이미지 저장부(31)에 저장된다. 기준 이미지에는 문서의 미리 인쇄된 영역의 이미지와 제1기준 영역 및 제2기준 영역이 표시될 수 있다.
또한, 저장된 동일 사이즈의 기준 이미지의 표시된 제1기준영역 및 제2기준영역과 다운로드 받거나 캡처한 문서 이미지를 중첩하여 사용할 수 있다.
생성된 기준 이미지가 저장된 후 위치인식장치(120)에 종이 문서 즉 고정피사체를 고정하고, 종이 문서에 필기를 하면, 글씨 및 싸인, 그림 등이 수기 영역에 삽입된 전자문서를 얻을 수 있다.
정보 장치는 카메라로 캡처한 영상을 컴퓨터에 전송하여 이미지 파일을 만들 수 있다.
도 12는 대형 디스플레이에 위치인식장치를 적용한 예의 도면이며, 도 13은 도 12에 도시된 위치인식장치의 개념도이다.
도 12에 도시된 바와 같이, 위치인식장치(220)의 제1카메라(222a)와 제2카메라(222b)는 분리 설치될 수 있다. 제1카메라(222a)와 제2카메라(222b)는 각각 본체인 브래킷(221)에 설치되며, 브래킷(221)의 회전 다이얼(229)에 의해서 제1카메라(222a)와 제2카메라(222b)의 영점(자세)을 각각 제어할 수 있다. 또한, 제1카메라(222a)와 제2카메라(222b)가 고정 피사체의 일측 면과 수평으로 설치되도록 브래킷(221) 밑 부분에 잔공의 구조를 형성할 수 있다.
본 실시예의 경우에도 제어기(30)의 위치 좌표 추출부(35)에서 영상 기하학적 방법으로 이동 피사체의 위치 좌표를 계산할 수 있다. 즉, 제1카메라(122a)와 제2카메라(122b) 사이의 길이(L)와, 제1카메라(122a)의 중심과 이동 피사체를 연결한 직선이 제1카메라(122a)와 제2카메라(122b)의 중심을 연결한 직선과 이루는 각도(α)와, 제2카메라(122b)의 중심과 이동 피사체를 연결한 직선이 제1카메라(122a)와 제2카메라(122b)의 중심을 연결한 직선과 이루는 각도(β)를 이용하여 고정 피사체 입력 면에 있는 이동 피사체의 위치 좌표를 계산할 수 있다.
제1카메라(222a)와 제2카메라(222b)의 렌즈로 점대칭형 렌즈를 사용할 수 있다.
또한, 복수의 사람이 필기를 할 경우에는 다수의 전자펜(210)이 사용될 수 있다. 따라서 본 실시예에서는 전자펜(210)의 고유코드번호를 메모리에 저장하고, 전자펜(210)은 적외선 포인터를 이용하여 고유코드번호에 대응하는 이미지를 생성함으로써 개별 전자펜(210)의 위치 좌표를 계산할 수 있다.
다수의 전자펜(210)은 위치인식장치(220)에서 개별 고유코드 번호와 위치 좌표를 한 프레임 자료 구조로 전송함으로써 제어기에서 궤적 좌표와 개별 고유코드와 함께 관리하여 표시장치에 표시된 판서를 그룹별 또는 개별로 고유코드번호를 부여하여 처리할 수 있다.
또한, 도 12와 같은 대형 디스플레이 또는 전자 칠판에 위치인식장치(120)를 통해서 전자펜(10)에 의한 필기정보를 표시할 수 있다. 이때에 위치인식장치(120)에 개별 고유코드 번호를 부여함으로써 개별 고유코드에 의해서 판서의 색상과 함께 관리하여 표시장치에 표시된 판서를 그룹별 또는 개별로 처리할 수 있다.
또한, 위치인식장치(220) 또는 스마트폰 등의 장치의 프로그램은 이동 피사체의 고유코드번호를 받거나 고유코드번호를 생성할 수 있다. 그리고 위치인식장치(220)와 이동 피사체에 의해 입력된 내용을 그룹별 및/또는 개별로 고유코드번호를 사용하여 확인할 수 있어서 입력된 내용을 부분적으로 삭제하거나 색상을 변경 또는 수정할 수도 있다.
이상에서는 도면 및 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허청구범위에 기재된 본 발명의 기술적 사상으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
예를 들어, 제어기(30)가 위치인식장치(20)에 설치되는 것으로 설명하였으나, 전자펜(10) 내부의 마우스 모듈(13)의 마이크로프로세서, 메모리를 제어기(30)의 하드웨어로 사용할 수도 있다. 또한, 제어기(30)는 컴퓨터, 스마트폰, 스마트 패드 등의 휴대용 단말기 등의 제어기를 사용할 수도 있다.
또한, 별도의 위치인식장치를 사용하지 않고, 스마트폰과 태블릿, 노트북과 같이 카메라가 내장되어 있는 장치의 카메라에 렌즈가 포함된 프리즘과 레이저 포인터를 설치하여 사용할 수도 있다.
또한, 레이저 포인터가 없어도 카메라가 촬영 이미지의 중심 즉 주점에 가상 포인터를 만들어서 기준점으로 정할 수 있다. 가상 포인터는 카메라의 떨림으로 인한 촬영이미지를 제거할 수는 없지만, 레이저포인터(23)에 의한 기준점과 같은 역할을 할 것이다.
또한, 고정 피사체로 디스플레이를 사용하는 경우에는 기준 이미지의 기준점을 디스플레이에 바로 표시할 수도 있다.
또한, 사용자가 고정 피사체 입력 면 모서리에 전자펜의 적외선 포인터(13)를 이용해서 마크함으로써, 제1판단부(32)가 모서리들이 촬영이미지에 들어오는지를 확인할 수도 있다.
또한, 위치인식장치(20)에 제어기(30)가 내장될 수도 있다.
또한, 기준이미지에 표시된 제1기준 영역과 제2기준 영역은 가상 선으로 표시할 수도 있다.
10: 전자펜 11: 펜 팁
13: 마우스 모듈 14: 적외선 포인터
20: 위치인식장치 22: 카메라
23: 레이저 포인터 25: 클립부
26: 발광다이오드 30: 제어기

Claims (13)

  1. 다양한 고정 피사체의 입력 면 위에서의 이동 피사체에 의한 필기가 입력되는 필기 입력 장치에 있어서,
    상기 이동 피사체와 입력 면을 동시에 촬영하여 기준점을 갖는 촬영 이미지를 획득하는 카메라를 포함하며, 상기 고정 피사체에 분리 가능하도록 설치되는 위치인식장치와,
    상기 카메라의 시야 범위(Field of view, FOV)에 물품의 입력 면 전체가 들어올 경우에 상기 촬영 이미지의 기준점이 배치될 수 있는 영역인 제1기준 영역과 상기 기준 이미지에는 이상적인 기준점의 위치를 중심으로 하는 제2기준 영역이 표시된 기준 이미지가 저장된 기준 이미지 저장부와, 상기 기준 이미지와 상기 촬영 이미지를 비교하여 상기 제1기준 영역 내부에 상기 기준점이 위치하는지를 판단하는 제1판단부와 상기 제2기준 영역 내부에 상기 기준점이 위치하는지를 판단하는 제2판단부를 구비하며, 상기 촬영 이미지를 이용하여 이동 피사체의 위치 좌표를 계산하는 제어기를 포함하며,
    상기 제어기는 상기 촬영 이미지에서 고정 피사체의 모서리가 인식되지 않을 경우 상기 제2판단부에서 상기 촬영 이미지의 기준점이 상기 제2기준 영역 내부에 위치하는 것으로 판단될 경우에만 이동피사체의 위치 좌표를 계산하는 것을 특징으로 하는 필기 입력 장치.
  2. 제1항에 있어서,
    상기 입력 면을 향해서 빛을 조사하는 포인터를 더 포함하며,
    상기 기준점은 포인터에 의해 상기 입력 면에 형성된 마크인 것을 특징으로 하는 필기 입력 장치.
  3. 제1항에 있어서,
    상기 기준점은 상기 촬영 이미지의 주점인 것을 특징으로 하는 필기 입력 장치.
  4. 제1항에 있어서,
    상기 이상적인 기준점과 상기 촬영 이미지의 기준점의 편차를 이용하여, 상기 고정 피사체의 입력 면의 네 개의 꼭짓점의 좌표 값을 획득하여 고정 피사체 템플릿을 형성하는 템플릿 생성부를 포함하는 것을 특징으로 하는 필기 입력 장치.
  5. 제1항에 있어서,
    상기 이동 피사체는 상기 고정 피사체의 입력 면 위에서 이동하는 펜 팁을 구비하며, 그 펜 팁의 이동 궤적의 상대 좌표 정보를 획득하는 마우스 모듈을 포함하는 전자펜인 것을 특징으로 하는 필기 입력 장치.
  6. 제5항에 있어서,
    상기 전자펜은 상기 펜 팁에 빛을 조사하는 적외선 포인터를 더 포함하는 것을 특징으로 하는 필기 입력 장치.
  7. 제1항에 있어서,
    상기 제어기는,
    상기 촬영 이미지에서 상기 고정 피사체의 네 개의 꼭짓점이 인식되는지를 확인하는 이미지 확인부와,
    상기 촬영 이미지의 원근 왜곡을 보정하여 보정 이미지를 생성하는 이미지 보정부와,
    상기 보정 이미지에서 상기 이동 피사체의 위치 좌표를 추출하는 위치 좌표 추출부를 포함하는 것을 특징으로 하는 필기 입력 장치.
  8. 제5항에 있어서,
    상기 제어기는,
    상기 촬영 이미지에서 상기 고정 피사체의 네 개의 꼭짓점이 인식되는지를 확인하는 이미지 확인부와,
    상기 촬영 이미지의 원근 왜곡을 보정하여 보정 이미지를 생성하는 이미지 보정부와,
    상기 보정 이미지에서 상기 이동 피사체의 위치 좌표를 추출하는 위치 좌표 추출부와,
    상기 위치 좌표 추출부에서 획득된 위치 좌표와 상기 이동 피사체의 상대 좌표 정보를 이용하여 상기 펜 팁의 절대 좌표를 계산하는 절대 좌표 계산부를 포함하는 것을 특징으로 하는 필기 입력 장치.
  9. 제1항에 있어서,
    상기 위치인식장치는,
    클립 몸체와,
    상기 클립 몸체에서 연장되며 상기 고정 피사체의 하면에 접촉하는 지지바와,
    상기 클립 몸체에서 연장되며 상기 위치인식장치에 형성된 수직 홈에 끼워져 상기 클립 몸체의 상하 이동을 안내하는 수직 바와,
    상기 위치인식장치에 길게 형성된 가이드 홈에 끼워진 롤러와,
    상기 롤러와 연결되어 상기 롤러가 상기 클립 몸체로부터 멀어지는 방향으로 상기 롤러에 탄성력을 제공하는 탄성 제공 수단과,
    일단은 상기 클립 몸체에 힌지 결합하고, 타단은 상기 롤러에 힌지 결합하는 연결바를 포함하는 클립부를 더 포함하는 것을 특징으로 하는 필기 입력 장치.
  10. 제1항에 있어서,
    상기 위치인식장치는 제1카메라와 제2카메라를 포함하며,
    상기 제1카메라와 제2카메라의 렌즈는 점대칭형 렌즈인 것을 특징으로 하는 필기 입력 장치.
  11. 제2항에 있어서,
    상기 위치인식장치는 제1카메라와 제2카메라를 포함하며,
    상기 제어기는 기준이미지에서의 기준점과 레이저 포인터에 의해서 고정 피사체에 표시된 마크의 편차를 구하고, 이 값을 기준으로 고정피사체의 위치좌표를 보정하는 것을 특징으로 하는 필기 입력 장치.
  12. 제1항에 있어서,
    복수의 위치인식장치를 포함하며,
    상기 위치인식장치 또는 상기 위치인식장치와 연결된 장치에는 복수의 위치인식장치의 각각의 고유코드번호에 따라서 입력된 정보를 구별할 수 있는 프로그램이 설치된 것을 특징으로 하는 필기 입력 장치.
  13. 제1항에 있어서,
    상기 위치인식장치는 상기 위치인식장치와 연결된 정보 장치를 이용하여 다운로드 받거나 또는 캡처한 고정 피사체의 이미지를 처리하여 생성한 기준 이미지를 이용하는 것을 특징으로 하는 필기 입력 장치.
KR1020170164037A 2016-12-28 2017-12-01 필기 입력 장치 KR101949046B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20160180890 2016-12-28
KR1020160180890 2016-12-28

Publications (2)

Publication Number Publication Date
KR20180077017A true KR20180077017A (ko) 2018-07-06
KR101949046B1 KR101949046B1 (ko) 2019-05-20

Family

ID=62920827

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170164037A KR101949046B1 (ko) 2016-12-28 2017-12-01 필기 입력 장치

Country Status (1)

Country Link
KR (1) KR101949046B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102094962B1 (ko) * 2018-11-29 2020-03-30 주식회사 엠에스텍 기판의 고정밀 위치정렬 방법 및 그 방법을 사용하는 합착기
US20210398317A1 (en) * 2019-03-08 2021-12-23 Sharp Nec Display Solutions, Ltd. Information processing device for identifying user who would have written object
CN114567731A (zh) * 2022-03-28 2022-05-31 广东小天才科技有限公司 目标物拍摄方法、装置、终端设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090077737A (ko) * 2006-03-20 2009-07-15 삼성전자주식회사 영상 패턴을 이용한 포인팅 입력 장치, 방법, 및 시스템
KR20100052526A (ko) 2007-08-09 2010-05-19 켄지 요시다 정보 입력 보조 시트, 정보 입력 보조 시트를 이용한 정보 처리 시스템, 정보 입력 보조 시트를 이용한 인쇄 관련 출력 시스템 및 캘리브레이션 방법
KR100962511B1 (ko) * 2009-08-24 2010-06-14 김철우 전자펜 마우스 및 그 동작 방법
JP2011530706A (ja) * 2008-08-12 2011-12-22 アイイーイー インターナショナル エレクトロニクス アンド エンジニアリング エス．エイ． ３ｄ−ｔｏｆカメラ装置及びそのための位置・向き較正方法
KR101312018B1 (ko) 2011-03-22 2013-09-26 주식회사 아하정보통신 전자칠판 시스템 및 그 구동방법
KR20140030583A (ko) * 2012-09-03 2014-03-12 한양대학교 산학협력단 뇌 고랑의 구조적 특성을 반영한 뇌 고랑 깊이 측정 방법 및 시스템

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090077737A (ko) * 2006-03-20 2009-07-15 삼성전자주식회사 영상 패턴을 이용한 포인팅 입력 장치, 방법, 및 시스템
KR20100052526A (ko) 2007-08-09 2010-05-19 켄지 요시다 정보 입력 보조 시트, 정보 입력 보조 시트를 이용한 정보 처리 시스템, 정보 입력 보조 시트를 이용한 인쇄 관련 출력 시스템 및 캘리브레이션 방법
JP2011530706A (ja) * 2008-08-12 2011-12-22 アイイーイー インターナショナル エレクトロニクス アンド エンジニアリング エス．エイ． ３ｄ−ｔｏｆカメラ装置及びそのための位置・向き較正方法
KR100962511B1 (ko) * 2009-08-24 2010-06-14 김철우 전자펜 마우스 및 그 동작 방법
KR101312018B1 (ko) 2011-03-22 2013-09-26 주식회사 아하정보통신 전자칠판 시스템 및 그 구동방법
KR20140030583A (ko) * 2012-09-03 2014-03-12 한양대학교 산학협력단 뇌 고랑의 구조적 특성을 반영한 뇌 고랑 깊이 측정 방법 및 시스템

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102094962B1 (ko) * 2018-11-29 2020-03-30 주식회사 엠에스텍 기판의 고정밀 위치정렬 방법 및 그 방법을 사용하는 합착기
US20210398317A1 (en) * 2019-03-08 2021-12-23 Sharp Nec Display Solutions, Ltd. Information processing device for identifying user who would have written object
CN114567731A (zh) * 2022-03-28 2022-05-31 广东小天才科技有限公司 目标物拍摄方法、装置、终端设备及存储介质
CN114567731B (zh) * 2022-03-28 2024-04-05 广东小天才科技有限公司 目标物拍摄方法、装置、终端设备及存储介质

Also Published As

Publication number Publication date
KR101949046B1 (ko) 2019-05-20

Similar Documents

Publication Publication Date Title
KR100953606B1 (ko) 화상 표시 장치, 화상 표시 방법 및 명령 입력 방법
US10225428B2 (en) Image processing for handheld scanner
CN1897644B (zh) 用于捕捉图像的方法和系统
EP1866735B1 (en) Combined detection of position-coding pattern and bar codes
US8582182B2 (en) Automatic sizing of images acquired by a handheld scanner
KR101949046B1 (ko) 필기 입력 장치
JP2012145559A (ja) マーカ
US20100296137A1 (en) Continuous scanning with a handheld scanner
US9880634B2 (en) Gesture input apparatus, gesture input method, and program for wearable terminal
JP6915611B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP2005267257A (ja) 手書き情報入力システム
JP2006331214A (ja) 物体識別タグ及びこれを使用した物体識別システム
US9268415B2 (en) Touch positioning method utilizing optical identification (OID) technology, OID positioning system and OID reader
KR102261530B1 (ko) 필기 입력 장치
JP2014102183A (ja) 画像処理装置および画像処理システム
JP5413315B2 (ja) 情報処理システム及び表示処理プログラム
KR101410990B1 (ko) 전자펜을 이용한 입력 시스템
JP5104904B2 (ja) 情報処理システム及び表示処理プログラム
JP6358069B2 (ja) 情報出力制御装置及びプログラム
WO2011001535A1 (ja) 電子ペンシステム、及び電子ペン
KR20160000754A (ko) 좌표 패턴 시트를 구비한 케이스 및 전자펜을 이용한 입력 시스템
JP2011060115A (ja) 情報処理システムおよび表示処理プログラム
WO2023194616A1 (en) Calibration method for an electronic display screen for touchless gesture control
KR20140034269A (ko) 전자펜을 이용한 입력 시스템
JP2005275599A (ja) 手書き出力装置、手書き出力方法及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant