KR20050072691A - 카메라와 펜촉의 맵핑 및 캘리브레이션 - Google Patents

카메라와 펜촉의 맵핑 및 캘리브레이션 Download PDF

Info

Publication number
KR20050072691A
KR20050072691A KR1020050001081A KR20050001081A KR20050072691A KR 20050072691 A KR20050072691 A KR 20050072691A KR 1020050001081 A KR1020050001081 A KR 1020050001081A KR 20050001081 A KR20050001081 A KR 20050001081A KR 20050072691 A KR20050072691 A KR 20050072691A
Authority
KR
South Korea
Prior art keywords
nib
pen
image
camera
calibration
Prior art date
Application number
KR1020050001081A
Other languages
English (en)
Other versions
KR101037232B1 (ko
Inventor
왕지안
첸리용
마시옥스
당잉농
Original Assignee
마이크로소프트 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 코포레이션 filed Critical 마이크로소프트 코포레이션
Publication of KR20050072691A publication Critical patent/KR20050072691A/ko
Application granted granted Critical
Publication of KR101037232B1 publication Critical patent/KR101037232B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F21—LIGHTING
    • F21V—FUNCTIONAL FEATURES OR DETAILS OF LIGHTING DEVICES OR SYSTEMS THEREOF; STRUCTURAL COMBINATIONS OF LIGHTING DEVICES WITH OTHER ARTICLES, NOT OTHERWISE PROVIDED FOR
    • F21V14/00—Controlling the distribution of the light emitted by adjustment of elements
    • F21V14/08—Controlling the distribution of the light emitted by adjustment of elements by movement of the screens or filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0317—Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface
    • G06F3/0321—Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface by optically sensing the absolute position with respect to a regularly patterned surface forming a passive digitiser, e.g. pen optically detecting position indicative tags printed on a paper sheet

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Processing (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)
  • Color Image Communication Systems (AREA)

Abstract

디지털 펜의 펜촉의 x-y 위치는 펜 카메라에 의해 캡쳐된 화상들 각각의 중심의 x-y 위치를 맵핑하는 캘리브레이션 파라미터를 사용하여 결정될 수 있다. 캘리브레이션 파라미터는 캘리브레이션 파라미터의 추정치를 반복적으로 계산하여 생성될 수 있다. 캘리브레이션 입력 데이터는 사용자가 펜촉을 종이와 같은 위치적으로 인코딩된 매체일 수 있는 표면의 고정된 위치에 놓고 나서, 캘리브레이션 파라미터를 생성하는 데 사용하기 위한 복수의 화상을 캡쳐하기 위해 여러 방향으로 펜을 회전시키고/시키거나 펜의 반대 끝을 이동시켜서 생성할 수 있다. 사용자는 종래의 캘리브레이션 기술과 관련하여 통상적으로 사용되는 복잡한 캘리브레이션 장비를 필요로 하지 않고 이러한 캘리브레이션 절차를 수행할 수 있다.

Description

카메라와 펜촉의 맵핑 및 캘리브레이션{CAMERA-PEN-TIP MAPPING AND CALIBRATION}
본 발명은 위치적으로 인코딩된 매체와 디지털 펜 사이의 상호작용에 관한 것으로서, 보다 구체적으로는 디지털 펜을 캘리브레이션하고, 카메라 캡쳐 화상으로부터 디코딩된 위치를 펜촉의 해당 위치로 맵핑하는 방법에 관한 것이다.
컴퓨터 사용자는 개인용 컴퓨터와 상호작용하기 위하여 마우스 및 키보드를 사용하는 데 익숙해져 있다. 개인용 컴퓨터가 기록된 문서에 비하여 많은 유리함을 제공하기는 하지만, 대부분의 사용자는 여전히 인쇄된 종이를 사용하여 일정 작업을 수행하고 있다. 이러한 작업 중 일부는 기록된 문서를 읽고 주석을 다는 것을 포함한다. 주석 달기의 경우에, 인쇄된 문서는 사용자에 의해 쓰여진 주석으로 인해 보다 더 중요하게 여겨진다. 그러나, 주석이 있는 인쇄된 문서에 있어서 한가지 어려움은 이후에 전자 형태의 문서에 주석을 다시 입력해야 할 필요가 있다는 것이다. 이 때문에 원래의 사용자 또는 다른 사용자는 주석을 힘들게 읽고 이를 개인용 컴퓨터에 입력해야 한다. 일부 경우에, 사용자는 주석 및 원본 텍스트를 스캔하여 새로운 문서를 생성할 것이다. 이러한 여러 단계의 일은 인쇄된 문서와 전자 버전 문서간 상호작용을 반복해서 처리하기 어렵게 만든다. 또한, 스캔된 화상은 종종 수정가능하지 않다. 원본 텍스트로부터 주석을 분리할 방법도 없을 것이다. 이는 주석 달기의 이용을 어렵게 만든다. 따라서, 주석을 처리하는 개선된 방법이 요구된다.
수기 정보를 캡쳐하는 한 가지 기술은 기록하는 동안 그 위치를 결정할 수 있는 펜을 사용하는 것이다. 이러한 능력을 제공하는 한 가지 펜은 오노토사(Anoto Inc.)의 오노토 펜이다. 이 펜은 카메라를 사용하여 미리 정의된 패턴으로 인코딩된 종이의 화상을 캡쳐하도록 기능한다. 화상 패턴의 예는 도 15에 도시되어 있다. 오노토 펜(오토사)은, 이 패턴을 사용하여 한 장의 종이 상에서의 펜의 위치를 결정한다. 그러나, 오노토 펜에 의해 사용된 시스템으로 위치를 결정하는 것이 얼마나 효율적인지는 불명확하다. 캡쳐된 화상의 위치를 효율적으로 결정하기 위해서, 시스템은 캡쳐된 화상을 효율적으로 디코딩할 것이 요구된다.
문서에 주석을 달 때, 사용자는 문서에 대해 펜촉을 이동시켜 문서에 표시를 할 수 있다. 펜촉의 경로는 각각이 일련의 캡쳐된 화상에 해당하는 복수의 획을 포함할 수 있다. 그러므로, 문서 상의 주석을 처리하기 위해 펜의 경로를 효율적으로 판별하는 것이 바람직할 것이다.
또한, 캡쳐된 화상의 중심으로부터 계산된 x-y 좌표는 펜촉의 실제 위치를 나타내지 않을 수 있다. 캡쳐된 화상의 중심을 펜촉으로 맵핑하기 위해서, 펜촉과 카메라에 의해 캡쳐된 화상의 중심간의 관계를 캘리브레이션하는 기술이 바람직할 것이다. 그러나, 종래의 캘리브레이션 기술은 통상적으로 복잡한 장비 및/또는 관련 캘리브레이션 절차를 요구한다.
사용자가 펜의 잉크 카트리지를 교환할 때마다 캘리브레이션이 수행될 수 있으며, 이것은 비교적 자주 일어날 수 있다. 그러므로, 캘리브레이션을 수행하기 위한 기술은 간단하고, 상대적으로 신속하고, 정확해야 한다. 또한, 이러한 기술은 종래의 캘리브레이션 기술과 관련하여 통상 사용된 유형의 복잡한 장비를 요구하지 않아야 한다.
펜촉의 x-y 위치는 펜의 카메라에 의해 캡쳐된 화상들 각각의 중심의 x-y 위치를 펜촉의 x-y 위치로 맵핑하는 캘리브레이션 파라미터를 사용하여 결정될 수 있다. 캘리브레이션 파라미터는 캘리브레이션 파라미터의 추정치를 반복적으로 계산하여 생성될 수 있다.
캘리브레이션 모듈은, 사용자가 종이와 같이 위치적으로 인코딩된 매체일 수 있는 표면 상의 고정된 위치에 펜촉을 위치시킨 후, 여러 방향으로 펜을 회전시키고/시키거나 펜의 반대 끝을 이동시켜 캘리브레이션 파라미터를 생성하는 데 사용될 복수의 화상을 캡쳐하는 것에 의해 생성될 수 있는 캘리브레이션 입력 데이터를 수신한다. 사용자는 종래의 캘리브레이션 기술과 관련하여 통상 사용되는 복잡한 캘리브레이션 장비를 필요로 하지 않고 이러한 캘리브레이션 절차를 수행할 수 있다.
맵핑 모듈은 복구된 펜촉 위치 정보를 생성하기 위해서 캘리브레이션 파라미터 및 복구된 카메라 캡쳐 위치 정보를 사용할 수 있다.
복구된 화상 중심 위치를 복구된 펜촉 위치로 맵핑하기 위해 가상 펜촉이 사용된다. 가상 펜촉의 위치는 펜의 구성에 기초하는 실제 펜촉과 카메라 사이의 미리 정해진 관계에 의존한다. 가상 펜촉은 디지털 펜의 카메라의 화상 센서 평면 상에 펜촉이 투영된 점이다.
본 발명의 추가적인 특징 및 이점은 이하 상세한 설명으로부터 자명해질 것이다.
본 발명의 양태들은 보다 더 큰 화상에 대하여 캡쳐된 화상의 위치를 결정하는 방법에 관한 것이다. 본 명세서에 설명된 위치 결정 방법 및 시스템은 다기능 펜과 결합하여 사용될 수 있다.
이하는 읽는 이의 편의를 위해 세부 제목으로 분리하였다. 세부 제목은 용어, 범용 컴퓨터, 화상 캡쳐 펜, 어레이 인코딩, 에러 정정, 위치 결정을 포함한다.
1. 용어
펜 - 잉크를 저장하는 기능이 있거나 없을 수 있는 임의의 기록 장치. 일부 예에서, 잉크 기능이 없는 스타일러스가 본 발명의 실시예에 따라 펜으로서 사용될 수 있다.
카메라 - 종이 또는 임의의 다른 매체로부터 화상을 캡쳐할 수 있는 화상 캡쳐 시스템.
2. 범용 컴퓨터
도 1은 본 발명의 다양한 형태를 구현하는 데 사용될 수 있는 종래의 범용 디지털 컴퓨팅 환경 예의 기능 블럭도이다. 도 1에서, 컴퓨터(100)는 처리 유닛(110), 시스템 메모리(120), 시스템 메모리를 포함하는 다양한 시스템 구성요소를 처리 유닛(110)에 결합하는 시스템 버스(130)를 포함한다. 시스템 버스(130)는 메모리 버스 또는 메모리 제어기, 주변 장치 버스, 임의의 다양한 버스 구조를 사용하는 로컬 버스를 포함하는 다수의 유형의 버스 구조 중 임의의 것일 수 있다. 시스템 메모리(120)는 판독 전용 메모리(ROM)(140) 및 랜덤 액세스 메모리(RAM)(150)을 포함한다.
시동 시에서와 같이 컴퓨터(100) 내 구성 요소 사이의 정보를 전달하는 것을 용이하게 하는 기본 루틴을 포함하는 기본 입출력 시스템(BIOS)(160)은 ROM(140)에 저장된다. 또한, 컴퓨터(100)는 하드디스크(미도시)에 대한 판독 및 기입을 행하기 위한 하드디스크 드라이브(170), 탈착가능 자기 디스크(190)에 대한 판독 및 기입을 행하기 위한 자기 디스크 드라이브(180), CD-ROM 또는 다른 광학 매체와 같은 탈착가능 광학 디스크(192)에 대한 판독 및 기입을 행하기 위한 광학 디스크 드라이브(191)를 포함한다. 하드디스크 드라이브(170), 자기 디스크 드라이브(180), 광학 디스크 드라이브(191)는 하드디스크 드라이브 인터페이스(192), 자기 디스크 드라이브 인터페이스(193), 광학 디스크 드라이브 인터페이스(194)에 각각 연결된다. 드라이브 및 그 연관 컴퓨터 판독가능 매체는 개인용 컴퓨터(100)를 위한 컴퓨터 판독가능 명령, 데이터 구조, 프로그램 모듈, 다른 데이터의 비휘발성 저장을 제공한다. 당업자는 자기 카세트, 플래시 메모리 카드, 디지털 비디오 디스크, 베르누이 카트리지, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM) 등과 같은 컴퓨터에 의해 액세스 가능한 데이터를 저장할 수 있는 다른 유형의 컴퓨터 판독가능 매체가 예시적인 운영 환경에서 사용될 수도 있다는 것을 알 것이다.
운영 체계(195), 하나 이상의 응용 프로그램(196), 다른 프로그램 모듈(197), 프로그램 데이터(198)를 포함하는 다수의 프로그램 모듈은 하드디스크 드라이브(170), 자기 디스크(190), 광학 디스크(192), ROM(140) 또는 RAM(150)에 저장될 수 있다. 사용자는 컴퓨터(100)에 키보드(101) 및 포인팅 장치(102)와 같은 입력 장치를 통해 명령 및 정보를 입력할 수 있다. 다른 입력 장치(미도시)는 마이크로폰, 조이스틱, 게임패드, 위성 접시, 스캐너 등을 포함할 수 있다. 이러한 입력 장치 및 다른 입력 장치는 시스템 버스에 결합된 직렬 포트 인터페이스(106)를 통해 처리 유닛(110)에 종종 연결되지만, 병렬 포트, 게임 포트 또는 범용 직렬 버스(USB)와 같은 다른 인터페이스에 의해 연결될 수 있다. 또한, 이러한 장치는 적절한 인터페이스(미도시)를 통해 시스템 버스(130)에 직접 결합될 수도 있다. 모니터(107) 또는 다른 유형의 표시 장치도 비디오 어댑터(108)와 같은 인터페이스를 통해 시스템(130)에 연결될 수 있다. 모니터 외에, 개인용 컴퓨터는 스피커 및 프린터와 같은 다른 주변 출력 장치(미도시)를 통상적으로 포함한다. 양호한 실시예에서, 펜 디지털화기(165) 및 부속 펜 또는 스타일러스(166)는 프리핸드 입력을 디지털적으로 캡쳐하기 위해서 제공된다. 펜 디지털화기(165)와 직렬 포트 사이의 직접 연결이 도시되었지만, 실제로 펜 디지털화기(165)는 당업계에 공지된 것처럼 병렬 포트 또는 다른 인터페이스 및 시스템 버스(130)를 통해 처리 유닛(110)에 직접 결합될 수 있다. 또한, 디지털화기(165)가 모니터(107)와 떨어진 것으로 도시되었지만, 디지털화기(165)의 가용 입력 영역은 모니터(107)의 표시 영역과 동일하게 넓은 것이 양호하다. 또한, 디지털화기(165)는 모니터(107) 내에 집적될 수도 있고, 모니터(107)에 겹쳐지거나 또는 부가되는 별도의 장치일 수도 있다.
컴퓨터(100)는 원격 컴퓨터(109)와 같은 하나 이상의 원격 컴퓨터와의 논리적 연결을 사용하여 네트워크화된 환경에서 동작할 수 있다. 원격 컴퓨터(109)는 서버, 라우터, 네트워크 PC, 피어 장치 또는 다른 통상의 네트워크 노드일 수 있고, 메모리 저장 장치(111)만이 도 1에 도시되었지만, 통상적으로 컴퓨터(100)에 관해 상술된 모든 또는 많은 구성요소를 포함한다. 도 1에 명시된 논리적 연결은 근거리 통신망(LAN)(112), 원거리 통신망(WAN)(113)을 포함한다. 이러한 네트워크화 환경은 사무실, 기업 내 컴퓨터 네트워크, 인트라넷 및 인터넷에서 흔한 일이다.
LAN 네트워크화 환경에서 사용될 때, 컴퓨터(100)는 네트워크 인터페이스 또는 어댑터(114)를 통해 로컬 네트워크(112)에 연결된다. WAN 네트워크화 환경에서 사용될 때, 개인용 컴퓨터(100)는 인터넷과 같은 원거리 통신망(113)에서 통신을 설정하기 위한 모뎀(115) 또는 다른 수단을 통상적으로 포함한다. 내장형 또는 외장형 모뎀(115)은 직렬 포트 인터페이스(106)를 통해 시스템 버스(130)에 연결된다. 네트워크화된 환경에서, 개인용 컴퓨터(100)에 관해 명시된 프로그램 모듈 또는 그 일부는 원격 메모리 저장 장치에 저장될 수 있다.
도시된 네트워크 연결은 예시적인 것이고 컴퓨터들 간의 통신 설정을 위한 다른 기술이 사용될 수 있다는 것을 알 것이다. TCP/IP, 이더넷, FTP, HTTP, 블루투스, IEEE 802.11x 등과 같은 다양한 공지된 프로토콜이 고려되고, 시스템이 사용자가 웹 기반 서버에서 웹 페이지를 검색하게 하는 클라이언트 서버 구성으로 동작할 수 있다는 것을 알 것이다. 다양한 종래의 웹 브라우저 중 임의의 것이 웹 페이지 상에서 데이터를 표시하고 조작하는 데 사용될 수 있다.
3. 화상 캡쳐 펜
본 발명의 양태는, 인코딩된 데이터 스트림을, 그 인코딩된 데이터 스트림을 표현하는 표시된 형식에 배치하는 것을 포함한다. (예를 들면, 도 4b를 참조하여 설명되는 것처럼, 인코딩된 데이터 스트림은 그래픽 패턴을 생성하는 데 사용된다) 표시된 형식은 인쇄된 종이(또는 다른 물리적 매체)이거나, 다른 화상 또는 화상의 세트와 결합하여 인코딩된 데이터 스트림을 투영하는 표시일 수 있다. 예를 들면, 인코딩된 데이터 스트림은 종이 상의 물리적 그래픽 화상 또는 표시된 화상(예를 들어, 문서의 텍스트를 나타내는 화상) 상에 놓인 그래픽 화상으로서 표현되거나, 표시 화면 상의 물리적(수정 불가능) 그래픽 화상일 수 있다 (이 경우, 펜에 의해 캡쳐된 임의의 화상 부분은 표시 화면 상에서 위치 결정 가능하다).
캡쳐된 화상의 이러한 위치 결정은 종이, 매체 또는 표시 화면과 사용자의 상호작용의 위치를 결정하는 데 사용될 수 있다. 본 발명의 일부 양태에서, 펜은 종이 위에 기록하는 잉크 펜일 수 있다. 다른 형태에서, 펜은 사용자가 컴퓨터 표시 장치의 표면 상에 기록하는 스타일러스일 수 있다. 임의의 상호작용은 문서 상의 인코딩된 화상에 관한 지식을 갖고 있거나 또는 컴퓨터 화면 상에 표시된 문서를 지원하는 시스템으로 다시 제공될 수 있다. 펜 또는 스타일러스가 문서를 횡단하면서 펜 또는 스타일러스의 카메라로 화상을 반복적으로 캡쳐하는 것에 의하여, 시스템은 사용자에 의해 제어되고 있는 스타일러스의 이동을 추적할 수 있다. 표시 또는 인쇄된 화상은 공백 또는 내용이 많은 종이와 연관된 워터마크이거나, 화면을 덮거나 화면에 생성된 표시된 화상 또는 고정된 코딩과 연관된 워터마크일 수 있다.
도 2a 및 2b는 카메라(203)를 갖는 펜(201)의 도시적인 예를 도시한다. 펜(201)은 잉크 저장기를 포함하거나 포함하지 않을 수 있는 펜촉(202)을 포함한다. 카메라(203)는 표면(207)으로부터 화상(204)을 캡쳐한다. 펜(201)은 점선 상자(206)로 표시된 추가적인 센서 및/또는 프로세서를 더 포함할 수 있다. 이러한 센서 및/또는 프로세서(206)는 다른 펜(201) 및/또는 개인용 컴퓨터에 (예를 들면, 블루투스 또는 다른 무선 프로토콜을 통해) 정보를 전송하는 능력도 포함할 수 있다.
도 2b는 카메라(203)에 의해 보여지는 화상을 나타낸다. 일례에서, 카메라(203)의 시야(즉, 카메라의 화상 센서의 해상도)는 32 x 32 화소(N=32)이다. 본 실시예에서, 캡쳐된 화상(32 화소 x 32 화소)은 카메라(203)에 의해 캡쳐된 표면 평면의 대략 5 mm x 5 mm 면적에 해당한다. 따라서, 도 2b는 세로 32 화소 x 가로 32 화소의 시야를 도시한다. 크기 N은 조정가능하며, 보다 큰 N은 보다 높은 화상 해상도에 해당된다. 또한, 설명을 위하여, 카메라(203)의 시야가 여기에서는 정방형인 것으로 도시되었지만, 시야는 당업계에 공지된 것처럼 다른 형태를 포함할 수 있다.
카메라(203)에 의해 캡쳐된 화상은 Ii이 샘플링 시간 ti에 펜(201)에 의해 캡쳐될 때의 화상 프레임의 시퀀스 {Ii}로서 정의될 수 있다. 샘플링 속도는 시스템 구성 및 성능 요구사항에 따라 크거나 작을 수 있다. 캡쳐된 화상 프레임의 크기는 시스템 구성 및 성능 요구사항에 따라 크거나 작을 수 있다.
카메라(203)에 의해 캡쳐된 화상은 처리 시스템에 의해 바로 사용될 수도 있고, 예비필터링될 수도 있다. 이러한 예비 필터링은 펜(201)의 내부에서 행해질 수도 있고, 펜(201)의 외부에서(예를 들면, 개인용 컴퓨터에서) 행해질 수도 있다.
도 2b의 화상 크기는 32x32 화소이다. 각 인코딩 단위 크기가 3x3 화소이면, 캡쳐된 인코딩된 단위의 수는 대략 100 단위일 것이다. 각 인코딩 단위 크기가 5x5 화소이면, 캡쳐된 인코딩된 단위의 수는 대략 36 단위일 것이다.
도 2a는 위치(204)로부터의 패턴의 화상(210)이 형성되는 화상 평면(209)을나타내고 있다. 대상 평면(207) 상의 패턴으로부터 수신된 빛은 렌즈(208)에 의해 모아진다. 렌즈(208)는 단일 렌즈 또는 다중 렌즈 시스템일 수 있지만 여기서는 간단히 하기 위해 단일 렌즈로서 나타내었다. 화상 캡쳐 센서(211)는 화상(210)을 캡쳐한다.
화상 센서(211)는 화상(210)을 캡쳐할 수 있을 정도로 클 수 있다. 대안적으로, 화상 센서(211)는 위치(212)에서 펜촉(202)의 화상을 캡쳐할 수 있을 정도로 클 수 있다. 참조를 위해, 위치(212)에서의 화상은 가상 펜촉으로 지칭된다. 펜촉, 렌즈(208), 화상 센서(211) 사이의 항시적 관계 때문에, 화상 센서(211)에 대한 가상 펜촉 위치는 고정된다는 것을 알아야 한다.
다음의 변환 은 카메라가 캡쳐한 화상에서의 좌표를 종이 상의 실제 화상에서의 위치 좌표로 변환한다.
기록 중에, 펜촉과 종이는 동일한 평면 상에 있다. 따라서, 가상 펜촉으로부터 실제 펜촉으로의 변환도 이다.
변환 은 유사변환(affine transform)으로서 추정될 수 있다. 이는 다음과 같이 간략화된다.
여기서, , , ,는 위치(204)에서 캡쳐된 패턴의 2 배향의 회전 및 스케일이다. 또한, 캡쳐된 화상과 종이 위의 해당 실제 화상과의 매칭에 의해 을 정교화할 수 있다. "정교화(refine)"란 순차적(recursive)인 방법이라 불리는 최적화 알고리듬의 한 유형에 의해 변환 의 보다 더 정확한 추정치를 얻는 것을 의미한다. 순차적 방법은 행렬 을 초기값으로서 처리한다. 정교화된 추정은 S와 P 사이의 변환을 보다 정확하게 기술한다.
다음, 캘리브레이션에 의해 가상 펜촉의 위치를 결정할 수 있다.
종이 상의 고정된 위치 에 펜촉(202)을 놓는다. 다음, 펜을 기울여서, 카메라(203)가 상이한 펜 자세로 일련의 화상을 캡쳐할 수 있게 한다. 캡쳐된 각 화상에 대해, 변환 을 얻을 수 있다. 이 변환으로부터, 가상 펜촉 위치 를 얻을 수 있다.
여기서 는 (0,0)으로 초기화되어 있고 이다.
각 화상으로부터 얻어진 의 평균을 구하여, 가상 펜촉 위치 가 결정될 수 있다. 을 이용하여, 보다 더 정확한 의 추정치를 얻을 수 있다. 여러 번 반복한 후, 정확한 가상 펜촉 위치 가 결정될 수 있다.
가상 펜촉 위치 가 이제 알려졌다. 또한, 캡쳐된 화상으로부터 변환 도 얻을 수 있다. 최종적으로, 실제 펜촉 위치 를 결정하기 위해 이 정보를 사용할 수 있다.
이하 8 및 9장에서 본 발명의 다양한 실시예에 따라 카메라 캡쳐 화상의 중심을 종이의 해당 펜촉 위치 좌표로 맵핑하는 것과, 이러한 유형의 맵핑에서 사용될 수 있는 캘리브레이션 파라미터에 대해 설명할 것이다.
4. 어레이의 인코딩
2차원 어레이는 1차원 시퀀스를 폴딩함으로써 구성될 수 있다. 충분히 많은 수의 비트를 포함하는 2차원 어레이의 임의의 부분은 완전한 2차원 어레이에서의 그 위치를 결정하는 데 사용될 수 있다. 그러나, 하나의 캡쳐된 화상 또는 적은 수의 캡쳐된 화상으로부터 위치를 결정하는 것이 필요할 수 있다. 캡쳐된 화상 부분이 2차원 어레이의 2 이상의 위치와 연관될 가능성을 최소화하기 위해서, 어레이를 생성하는데 비반복 시퀀스가 사용될 수 있다. 생성된 시퀀스의 한 가지 성질은 시퀀스가 길이(또는 창) n에서 반복되지 않는다는 점이다. 이하에서 1차원 시퀀스의 생성과 그 시퀀스를 폴딩하여 어레이를 생성하는 것을 설명한다.
4.A. 시퀀스 구성
숫자의 시퀀스가 인코딩 시스템의 시작점으로서 사용될 수 있다. 예를 들면, 시퀀스(m-시퀀스로도 불림)는 필드 Fq의 q 원소 집합으로서 표현될 수 있다. 여기서, n≥1 이고 p는 소수일 때 q=pn이다. 시퀀스 또는 m-시퀀스는 이에 한정되지는 않지만 다항식 분해(polynomial division)를 포함하는 다양한 다른 기술에 의해 생성될 수 있다. 다항식 분해를 사용하여 시퀀스는 다음과 같이 정의될 수 있다.
여기서 는 필드 (qn 원소를 구비)의 n차 원시 다항식이다. 는 필드 의 l(l<n)차의 영이 아닌 다항식이다. 시퀀스는 두 다항식을 나누기하는(필드 의 한 원소를 내놓음) 제1 단계와 나머지를 x와 곱하기하는 제2 단계의 두 단계를 가진 반복적인 절차를 사용하여 생성될 수 있다. 계산은 출력이 반복되기 시작하면 중지한다. 이 처리는 Douglas W. Clark와 Lih-Jyh Weng이 쓴 문헌 "Maximal and Near-Maximal Shift Register Sequence: Efficient Event Counters and Easy Discrete Logarithms" IEEE Transaction on Computers 43.5(1994년 5월 560-568쪽)에 기술된 것처럼 선형 피드백 쉬프트 레지스터를 사용하여 구현될 수 있다. 이 환경에서, 시퀀스의 순환 쉬프팅과 다항식 사이에는, 다항식 을 변경하는 것은 시퀀스를 단지 순환적으로 쉬프트시킬 뿐이고, 모든 순환적 쉬프팅은 다항식 에 해당한다는 관계가 설정된다. 결과 시퀀스의 한 가지 성질은 시퀀스가 qn-1인 주기를 갖고, 한 주기 내에서 폭(또는 길이) n에 걸쳐 임의의 부분은 시퀀스에서 단 한번 존재한다는 점이다. 이는 "윈도우(window) 성질"이라 불린다. 주기 qn-1은 시퀀스의 길이로도 불리고 n은 시퀀스의 차수라고 불린다.
상술한 처리는 윈도우 성질을 가진 시퀀스를 생성하기 위해 사용될 수 있는 다양한 처리 중 한 가지일 뿐이다.
4.B. 어레이 형성
화상(그 일부가 카메라에 의해 캡쳐될 수 있음)을 형성하기 위해 사용될 수 있는 어레이(또는 m-어레이)는 1차원 시퀀스 또는 m-시퀀스의 확장이다. 를 주기 (m1, m2)인 어레이라 하자. 즉, 이라 하자. n1 x n2 윈도우가 의 주기에 걸쳐 쉬프트할 때, 에서 모두 영이 아닌 n1 x n2 행렬은 단지 한번 나타난다. 이 성질은 각 윈도우가 고유하다는 점에서 또한 "윈도우 성질"로 불린다. 윈도우는 주기 (m1, m2)(m1과 m2는 어레이에 존재하는 비트의 수평 및 수직 개수)이고 차수 n1 x n2인 어레이로서 표현될 수 있다.
이진 어레이(또는 m-어레이)는 시퀀스를 폴딩함으로써 구성될 수 있다. 한 가지 방법은 시퀀스를 획득한 후, 그 시퀀스를 m1 x m2의 크기로 폴딩하는 것이며, 이때 어레이의 길이는 L = m1 x m2 = 2n -1이다. 대안적으로, 커버하고자 하는 미리 정해진 크기의 공간(예를 들어, 한 장의 종이, 30장의 종이 또는 컴퓨터 모니터의 크기)에서 시작하고, 면적 m1 x m2를 결정하고, L = 2n -1이라고 할 때 L≥m1 x m2가 되는 크기를 사용할 수 있다.
다양한 폴딩 기술이 사용될 수 있다. 예를 들면, 도 3a 내지 3c는 3 가지 다른 시퀀스를 도시한다. 이 시퀀스 각각은 도 3d에 도시된 어레이로 폴딩될 수 있다. 3가지 다른 폴딩 방법이 도 3d의 오버레이, 도 3e 및 3f의 래스터 경로로서 도시되어 있다. 여기에서는 도 3d에 도시된 폴딩 방법을 이용한다.
도 3d에 도시된 것처럼 폴딩 방법을 생성하기 위해서, 길이 L이고 차수 n인 시퀀스 {ai}를 생성한다. 다음, gcd(m1, m2)=1이고 L=m1 x m2이라고 할 때, 크기 m1 x m2인 어레이 {bkl}는, 어레이의 각 비트를 다음 수학식 1에 나타낸 바와 같이 계산하는 것에 의하여 시퀀스 {ai}로부터 생성된다.
여기에서, k = i mod (m1), l = i mod (m2), i=0, ..., L-1이다.
이 폴딩 방법은, 다르게는 시퀀스를 어레이의 대각선에 배치하고, 끝에 도달하면, 반대쪽 끝을 향해 배치해 가는 것으로도 표현될 수 있다.
도 4a는 도 3d의 어레이를 인코딩하기 위해 사용될 수 있는 샘플 인코딩 기술을 도시한다. 다른 인코딩 기술이 사용될 수 있다는 것을 알 것이다. 예를 들면, 대안적인 코딩 기술이 도 11에 도시되어 있다.
도 4a를 참조하면, 제1 비트(401)(예를 들어, "1")는 어두운 잉크의 열로 표시되었다. 제2 비트(402)(예를 들어, "0")는 어두운 잉크의 행으로 표시되었다. 임의의 컬러 잉크가 다양한 비트를 표시하는 데 사용될 수 있다는 것을 알 것이다. 선택된 잉크의 색에 대한 유일한 요구사항은 화상 캡쳐 시스템에 의해 분별 가능하도록 그 색이 매체의 배경색과 상당한 콘트라스트를 이루어야 한다는 것이다. 도 4a의 비트들은 셀의 3x3 행렬로 표시되었다. 행렬의 크기는 화상 캡쳐 시스템의 크기 및 해상도에 따라 임의의 크기로 변경될 수 있다. 비트 0 및 1의 대안적인 표시가 도 4c 내지 4e에 도시되어 있다. 도 4a 내지 4e의 샘플 인코딩에 대한 0 또는 1의 표시는 영향을 미치지 않고 서로 바뀔 수 있다는 것을 알 것이다. 도 4c는 인터리브 배열로 된 두 행 또는 열을 차지하는 비트 표현을 도시한다. 도 4d는 점선 형태인 행과 열로 화소의 대안적인 배열을 도시한다. 마지막으로, 도 4e는 불규칙한 공간 배치 형태로 된 행과 열의 화소 표현을 도시한다(예를 들어, 두 개의 어두운 점 뒤에 하나의 백색 점).
도 4a로 돌아가면, 비트가 3x3 행렬로 표현되고 화상 시스템이 3x3 영역에서 하나의 어두운 행과 두 개의 백색 행을 검출하면, 0(또는 1)이 검출된다. 화상이 하나의 어두운 열과 두 개의 백색 열을 가진 것으로 검출되면, 1(또는 0)이 검출된다.
여기에서는, 하나의 비트를 표현하기 위하여 둘 이상의 화소 또는 점이 사용된다. 단일 화소(또는 점)를 사용하여 하나의 비트를 표현하는 것은 빈약하다. 먼지, 종이의 주름, 비평면적 표면 등은 데이터 유닛의 단일 비트 표현을 판독하는데 어려움을 준다. 그러나, 표면에 어레이를 그래픽적으로 나타내기 위해 다른 방법이 사용될 수 있다는 것을 알 것이다. 몇 가지 방법이 도 4c 내지 4e에 도시되었다. 다른 방법도 사용될 수 있다는 것을 알 것이다. 공간 쉬프트된 점들만을 사용하는 한 가지 방법이 도 11에 도시되었다.
비트 스트림은 도 4b의 그래픽 패턴(403)을 생성하기 위해 사용된다. 그래픽 패턴(403)은 12 행 및 18 열을 포함한다. 행 및 열은 비트 표현(401, 402)을 사용하는 그래픽 표현으로 변환되는 비트 스트림에 의해 형성된다. 도 4b는 다음과 같은 비트 표현을 갖는 것으로 볼 수 있다.
5. 디코딩
도 2a의 펜을 사용하여 기록하거나 인코딩된 패턴 가까이에서 펜을 움직일 때, 카메라는 화상을 캡쳐한다. 예를 들면, 펜(201)이 종이를 누르고 펜(201)이 종이의 문서를 횡단하는 동안 펜(201)은 압력 센서를 사용할 수 있다. 화상은 인코딩된 화상의 완전한 표현에 대해 캡쳐된 화상의 배향(orientation)을 결정하고, 캡쳐된 화상을 이루는 비트를 추출하기 위해서 처리될 수 있다.
전체 인코딩된 영역에 대한 캡쳐된 화상의 배향의 결정을 위해, 도 5a 내지 5d에 도시된 4개의 가능한 코너 모두가 그래픽 패턴(403)에 나타나지는 않는다는 것을 알 수 있다. 사실, 올바른 배향을 가졌다면, 도 5a에 도시된 코너의 유형은 그래픽 패턴(403)에 있을 수 없다. 그러므로, 도 5a에 도시된 코너의 유형이 없는 배향이 올바른 배향이다.
도 6을 계속 보면, 카메라(601)가 캡쳐한 화상은 분석되고 그 배향이 결정되어, 화상(601)에 의해 실제로 표현된 위치에 관해 해석 가능하게 된다. 먼저, 화상(601)은 화소가 수평적 및 수직적으로 정렬되도록 화상을 회전시키는데 필요한 각도 θ를 결정하기 위해 검토된다. 밑에 놓인 그리드를 비수평적 및 비수직적 배열로 회전(예를 들어, 45도)시키는 것을 포함하여 대안적인 그리드 정렬이 가능함을 알아야 한다. 수평 및 수직 패턴이 다른 것보다 먼저 사용자의 눈에 띄는 경향이 있으므로, 비수평적 및 비수직적 배열은 사용자가 착시를 일으키지 않게 하는 이점을 제공할 수 있다. 간단히 하기 위해, 그리드의 배향(밑에 놓인 그리드의 수평 및 수직 및 임의 다른 회전)은 미리 정해진 그리드 배향으로 일괄적으로 지칭된다.
다음, 화상(601)은 어떤 코너가 없는지를 결정하기 위해 분석된다. 화상(601)을 디코딩을 위해 준비된 화상(603)으로 회전시키는데 필요한 회전량 o는 o=(θ+ 회전량(어떤 코너가 없는지에 의해 정의됨))으로 나나탄다. 회전량은 도 7의 식에 의해 나타나 있다. 도 6을 다시 참조하면, 화소의 수평 및 수직(또는 다른 미리 정의된 그리드 배향) 배열에 도달하기 위해 각도 θ가 화소의 레이아웃에 의해 먼저 결정되고, 화상은 참조번호(602)로 도시된 것처럼 회전된다. 그리고 나서, 없는 코너를 결정하기 위해 분석이 이루어지고, 화상(602)은 디코딩을 위한 화상을 갖기 위해서 화상(603)으로 회전된다. 여기서, 화상(603)이 올바른 배향을 갖고 디코딩을 위해 사용할 수 있도록, 화상은 반시계 방향으로 90도 회전된다.
없는 코너를 밝히기 위해서 화상(601)의 회전 전후에 회전각 θ를 적용할 수 있음을 알 것이다. 또한, 캡쳐된 화상에 있는 잡음을 고려하여, 4가지 유형의 코너가 모두 존재할 수 있음을 알 것이다. 각 유형의 코너의 수를 세고 가장 작은 수를 갖는 유형을 없는 코너 유형으로 선택할 수 있다.
마지막으로, 화상(603) 내의 코드가 판독되고, 화상(403)을 생성하는 데에 사용된 원본 비트 스트림과 상관(correlated)된다. 상관은 다수의 방식으로 수행될 수 있다. 예를 들면, 복구된 비트 스트림이 원본 비트 스트림의 모든 다른 비트 스트림 조각들과 비교되는 순차적 방법에 의해 수행될 수 있다. 다음, 복구된 비트 스트림과 원본 비트 스트림 사이에, 예를 들면 두 비트 스트림간의 해밍 거리를 사용하여 통계 분석이 수행될 수 있다. 원본 비트 스트림 내에서의 복구된 비트 스트림의 위치를 결정하기 위해서 다양한 방법이 사용될 수 있음을 알 것이다.
복구된 비트를 얻은 후, 원본 어레이(예를 들어, 도 4b에 도시된 것) 내에서 캡쳐된 화상의 위치를 결정할 필요가 있다. 전체 어레이 내에서 비트들의 세그먼트의 위치를 결정하는 처리는 다수의 항목에 의해 복잡하다. 먼저, 캡쳐될 실제 비트가 가려질 수 있다(예를 들면, 카메라가 원본 코드를 가리는 수기를 가진 화상을 캡쳐할 수 있다). 둘째, 먼지, 주름, 그림자 등도 캡쳐된 화상에 에러를 생성할 수 있다. 이러한 에러는 위치 측정 처리를 더 어렵게 만든다. 이 점에서, 화상 캡쳐 시스템은 화상으로부터 추출된 비시퀀스적 비트를 가지고 작업할 필요가 있을 수 있다. 이하는 화상으로부터 비시퀀스적 비트를 가지고 동작하기 위한 방법을 설명한다.
시퀀스(또는 m-시퀀스) I는 n이 m-시퀀스의 차수라고 할 때 멱급수 I(x)=1/Pn(x)에 대응하고, k≥n이고 첨자 t는 행렬 또는 벡터의 전치(transpose)를 나타낸다고 할 때 캡쳐된 화상은 K 비트의 Ib=(b0, b1, b2, ...,b k-1)t를 포함하는 것으로 가정한다. K 비트의 위치 s는 단순히 I의 순환 쉬프트의 회수이고, b0는 시퀀스의 시작으로 쉬프트되게 된다. 그리고, 이 쉬프트된 시퀀스 R은 멱급수 xs/Pn(x)에 해당하며, T가 순환적 쉬프트 연산자라고 하면, R=Ts( I)로 된다. s는 간접적으로 구한다. 다항식 모듈로 Pn(x)는 필드를 형성한다. xs ≡r0 + r1x + ㆍㆍㆍ+ rn-1xn-1mod(Pn(x))가 보장된다. 그러므로, (r0, r1 ,ㆍㆍㆍ,rn-1)을 찾고 나서 s에 대해 푼다.
xs = r0 + r1x + ㆍㆍㆍ+ rn-1xn-1mod(Pn (x)) 관계는 R = r0 + r1T(I) + ㆍㆍㆍ+ rn-1Tn-1(I)임을 의미한다. 이진 선형 방정식으로 쓰면 이는 다음과 같이 된다.
여기서 r = (r0 r1 r2 ㆍㆍㆍrn-1)t이고 A=(I T(I) ㆍㆍㆍ Tn-1(I))t는 0 쉬프트에서 (n-1) 쉬프트까지 I의 순환적 쉬프트를 포함한다. 이제 R 내의 드문드문한 K 비트만이 r을 풀기 위해 사용 가능하다. R에서 bi와 b0 사이의 인덱스 차이를 ki (i=1, 2, ..., k-1)라 하면, R의 제1 및 제(ki+1) 원소 (i=1, 2, ..., k-1)는 정확히 b0 , b1,ㆍㆍㆍ, bk-1이다. A의 제1 및 제(ki+1) 열(i=1, 2, ..., k-1)을 선택하면, 다음과 같은 이진 선형 방정식이 형성된다.
여기서 M은 A의 n x K 부분 행렬이다.
b에 에러가 없으면, r의 해는 다음과 같이 표현될 수 있다.
여기서 은 M의 임의의 비축중(non-degenerate) n x n 부분 행렬이고, 는 b의 해당 부분 벡터이다.
r을 알게 되면, xs = r0 + r1x + ㆍㆍㆍ+ rn-1xn-1 1mod(Pn(x))가 되는 s를 찾기 위해서, Douglas W. Clark와 Lih-Jyh Weng의 "Maximal and Near-Maximal Shift Register Sequence: Efficient Event Counters and Easy Discrete Logarithms" IEEE Transactions on Computers 43.5(1994년 5월 560-568쪽)에 언급된 것처럼 포흐리그 헬만 실버(Pohlig-Hellman-Silver) 알고리듬을 사용할 수 있다.
행렬 A(n x L의 크기, L=2n-1)가 매우 클 수 있으므로, 전체 행렬 A를 저장하는 것을 피해야 한다. 사실, 상기 처리에서 본 것처럼, 인덱스 차이 ki를 갖는 추출된 비트가 주어지면, A의 제1 및 제(ki+1) 열만이 계산에 관여한다. 캡쳐된 화상의 크기가 주어지면, ki의 이러한 선택은 매우 제한된다. 그러므로, 계산에 관여할 수 있는 열들만이 저장될 필요가 있다. 이러한 열의 총 수는 L(L=2n-1은 m-시퀀스의 길이임)보다 훨씬 적을 것이다.
6. 에러 정정
b에 에러가 존재하면, r의 해는 더욱 복잡해진다. 에러 정정이 있는 디코딩을 위한 종래의 방법은 캡쳐된 비트와 연관된 행렬 M이 캡쳐된 화상마다 변할 것이기 때문에 용이하게 이용할 수 없다.
본 발명은 확률적 방법을 이용한다. b의 에러 비트의 수 ne가 K에 비해 상대적으로 적다고 가정하면, b의 K 비트에서 올바른 n 비트를 선택하고 비축중인 M의 해당 부분 행렬 을 선택할 확률은 높다.
선택된 n 비트가 모두 올바르면, b t와 r t M 사이의 해밍 거리 또는 r과 연관된 에러 비트의 수는 r이 수학식 4를 통해 계산될 때 최소화되어야 한다. 이 처리를 다수 회 반복하면, 에러 비트를 최소로 하는 올바른 r이 판별될 수 있다.
최소 개수의 에러 비트와 연관된 r이 단지 하나라면, 이는 올바른 해로서 고려된다. 그렇지 않고 최소 개수의 에러 비트와 연관된 r이 하나보다 많다면, ne가 M에 의해 생성된 코드의 에러 정정 능력을 넘어설 확률이 크고, 디코딩 처리는 실패한다. 그리고, 시스템은 다음 캡쳐된 화상을 처리하기 위해 움직일 수 있다. 다른 구현예에서, 펜의 이전 위치에 대한 정보가 고려될 수 있다. 즉, 각 캡쳐 화상에 대해, 펜이 다음으로 갈 것으로 예상되는 목적지 영역이 판별될 수 있다. 예를 들면, 사용자가 카메라에 의한 2 개의 화상 캡쳐 사이에 펜을 들지 않았다면, 제2 화상 캡쳐에 의해 결정된 펜의 위치는 제1 위치로부터 그리 멀리 떨어지지 않을 것이다. 최소 수의 에러 비트 수와 연관된 각 r은 r로부터 계산된 위치 s가 국지적 제약을 만족하는지, 즉 위치가 목적지 영역 내에 있는지 보기 위해 점검될 수 있다.
위치 s가 국지적 제약을 만족하면, 어레이의 추출된 비트의 X,Y 위치가 리턴된다. 그렇지 않으면, 디코딩 처리는 실패한다.
도 8은 캡쳐된 화상의 시퀀스(또는 m-시퀀스)에서 위치를 결정하는 데 사용될 수 있는 처리를 도시한다. 먼저, 단계(801)에서, 캡쳐된 화상과 관련된 데이터 스트림이 수신된다. 단계(802)에서, 해당 열이 A로부터 추출되고 행렬 M이 형성된다.
단계(803)에서, n개의 독립된 열 벡터가 행렬 M으로부터 랜덤하게 선택되고 벡터 r이 수학식 4를 풀기 위해 결정된다. 이 처리는 단계(804)에서 Q회(예를 들어, 100회) 수행된다. 루프 회수의 결정은 루프 회수 산출 장에서 언급된다.
단계(805)에서, r은 에러 비트의 연관된 수에 따라 소팅된다. 이 소팅은 당업계에 공지된 다양한 소팅 알고리듬을 사용하여 수행될 수 있다. 예를 들면, 선택 소팅 알고리듬이 사용될 수 있다. 선택 소팅 알고리듬은 회수 Q가 크지 않을 때 유리하다. 그러나, Q가 커지면, 보다 많은 수의 항목을 보다 효율적으로 처리하는 다른 소팅 알고리듬(예를 들어, 머지 소팅)이 사용될 수 있다.
그리고, 시스템은 단계(806)에서 에러 비트의 최소 수와 연관된 r이 여러 개인지 점검하여, 에러 정정이 성공적으로 수행되었는지를 결정한다. 그러면, 디코딩 처리가 실패했음을 표시하는 에러가 단계(809)에서 리턴된다. 아니면, 시퀀스(m-시퀀스) 내에서의 추출된 비트의 위치 s가, 예를 들면 포흐리그 헬만 실버 알고리듬을 사용하여 단계(807)에서 계산된다.
다음, 어레이에서의 (X,Y) 위치가 x=s mod m1, y=s mod m2로서 계산되고 결과는 단계(808)에서 리턴된다.
7. 위치 결정
도 9는 펜촉의 위치를 결정하는 처리를 도시한다. 입력은 카메라에 의해 캡쳐된 화상이고, 출력은 펜촉의 위치 좌표일 수 있다. 또한, 출력은 캡쳐된 화상의 회전각과 같은 다른 정보를 포함할 수 있다(또는 포함하지 않을 수 있다).
단계(901)에서, 화상은 카메라로부터 수신된다. 다음, 수신된 화상은 밝은 화소와 어두운 화소 사이의 콘트라스트 등을 조정하기 위해서 단계(902)에서(단계 902의 점선으로 도시된 것처럼) 선택적으로 예비 처리될 수 있다.
다음, 단계(903)에서, 화상이 분석되어, 그 화상 내의 비트 스트림이 결정된다.
다음, 단계(904)에서, n 비트는 여러 번 비트 스트림으로부터 랜덤하게 선택되고, 원본 시퀀스(또는 m-시퀀스) 내에서의 수신된 비트 스트림의 위치가 결정된다.
최종적으로, 단계(904)에서 캡쳐된 화상의 위치가 결정되면, 단계(905)에서 펜촉의 위치가 결정될 수 있다.
도 10은 단계(903 및 904)에 대한 상세한 도시이고 캡쳐된 화상 내의 비트 스트림을 추출하기 위한 방법을 도시한다. 먼저, 화상은 단계(1001)에서 카메라로부터 수신된다. 화상은 단계(1002)(단계 1002의 점선으로 도시된 것처럼)에서 선택적으로 화상 예비 처리될 수 있다. 패턴은 단계(1003)에서 추출된다. 여기서, 패턴의 배향 및 각도 θ를 찾기 위해서 다양한 선 상에서 화소들이 추출될 수 있다.
다음, 수신된 화상은 밑에 있는 그리드 선을 결정하기 위해서 단계(1004)에서 분석된다. 그리드 선이 단계(1005)에서 찾아지면, 단계(1006)에서 코드가 패턴으로부터 추출된다. 단계(1007)에서 코드는 디코딩되고 단계(1008)에서 펜촉의 위치가 결정된다. 그리드 선이 단계(1005)에서 찾아지지 않으면, 단계(1009)에서 에러가 리턴된다.
8. 카메라 캡쳐 화상 획을 해당 펜촉 획으로 맵핑하기
본 발명의 다양한 실시예에 따르면, 펜촉(202)의 x-y 위치는 펜의 카메라(210)에 의해 캡쳐된 화상의 각 중심의 x-y 위치를 펜촉의 x-y 위치로 맵핑하기 위한 캘리브레이션 파라미터를 사용하여 결정될 수 있다.
도 11은 본 발명의 다양한 실시예에 따른 캘리브레이션 모듈(1102)과 맵핑 모듈(1106)을 도시한다. 캘리브레이션 모듈(1102)은 종이와 같이 위치적으로 인코딩된 매체일 수 있는 표면(207)의 고정된 위치에 사용자가 펜촉(202)을 놓고 캘리브레이션 파라미터(1104)를 생성하는 데 사용하기 위한 여러 화상을 캡쳐하도록 다양한 방향으로 펜을 회전시키고/시키거나 펜의 반대 끝을 이동시켜 생성될 수 있는 캘리브레이션 입력 데이터(1100)를 수신한다.
맵핑 모듈(1106)은 복구된 펜촉 위치 정보(1108)를 생성하기 위해서 캘리브레이션 파라미터(1104) 및 복구된 카메라 캡쳐 위치 정보(1110)를 사용한다.
도 13은 위치적으로 인코딩된 미로 패턴 위에 놓인 텍스트를 포함하는 인코딩된 종이의 스캔된 복사본을 도시한다. 도 13은 펜촉(202)에 의해 종이에 기록된 진짜 잉크 획(1301)을 도시한다.
도 12는 도 13의 스캔된 화상에 해당하는 위치적으로 인코딩된 종이의 전자 복사본의 일부의 화면 샷이다. 도 12에서, 캡쳐된 화상 획(1203)은 캡쳐된 화상 획(1203)을 따르는 점의 문서내 위치를 결정하여 펜의 카메라(203)에 의해 캡쳐된 화상 각각의 중심으로부터 복구되었다.
또한, 도 12는 펜촉(202)의 복구된 펜촉 획(1201)을 도시한다. 복구된 펜촉 획(1201)은 복구된 캡쳐된 화상 획(1203)에 캘리브레이션 파라미터(1104)를 적용하여 얻어질 수 있다.
본 발명의 다양한 실시예에 따르면, 가상 펜촉(212)이 복구된 화상 중심 획(1203)으로부터 복구된 펜촉 획(1201)으로 맵핑하기 위해 사용된다. 가상 펜촉의 위치는 펜의 구성에 기초하여 실제 펜촉(202)과 카메라(203) 사이에 미리 정해진 관계에 의존한다. 가상 펜촉(212)은 펜촉(202)이 화상 센서 평면(209) 상에 투영된 점이다. 화상 센서 평면(209) 상의 가상 펜촉(212)의 위치는 알려지지는 않았지만 고정되어 있다.
화상의 중심의 위치를 펜촉의 위치로 맵핑하는 한 가지 방법은 펜촉과 펜의 몸체 사이의 공간적 관계, 펜의 몸체, 렌즈, 화상 센서 사이의 공간적 관계, 렌즈의 초점 거리와 같은 광학적 특성, 화상 센서의 화소의 물리적 크기, 화상 중심과 렌즈의 광학축 사이의 거리 등을 판별하는 것이다. 이러한 측정은 통상적으로 특수 장비를 요구한다. 또한, 잉크 카트리지가 교환될 때와 같이 펜의 구성이 변할 때마다, 이 처리는 반복되어야 할 것이다. 가상 펜촉의 개념은 이러한 복잡한 단계를 불필요하게 만든다. 펜촉의 위치를 얻기 위해 가상 펜촉의 위치에 투시 변환(perspective transform)이 적용된다. 즉, 다음과 같다.
9. 캘리브레이션(calibration)
캘리브레이션 파라미터 는 다음의 단계 (a) 내지 (g)를 수행하여 본 발명의 다양한 실시예에 따라 추정될 수 있다.
(a) 사용자는 실제 펜촉(202)을 표면(207)의 고정된 위치 에 놓는다. 도 14를 참조하면, 위치적으로 인코딩된 표면(207)의 한 부분(1400)은 이 지점(1402)에 도시된 것으로 도시되었다.
(b) 사용자는 펜촉을 위치 에 유지하면서 상이한 펜 배향을 갖는 일련의 화상들을 캡쳐한다[즉, 펜촉(202)을 고정된 위치 에 유지하면서 펜을 회전하고/하거나 펜촉(202)과 반대인 펜의 끝을 다양한 방향으로 이동시킬 수 있다]. 도 14를 참조하면, (1402)에 대해, 경로(1404)를 따라 중심이 있는 화상들이 캡쳐될 수 있다.
(c) 을 의 추정값이라 할 때, 을 (0,0)으로 초기화한다.
(d) 캡쳐된 각 화상에 대해, 변환 및 은 m-어레이 디코딩 및 화상 매칭에 의해 계산되고, 수학식 6 및 7이 계산된다.
여기서, N은 캘리브레이션을 위해 사용된 캡쳐된 화상의 개수이고, ΔLi은 제i 프레임에서의 실제 펜촉 위치와 사이의 오프셋이다.
(e) 수학식 6에서, 을 얻기 위해서 을 으로 설정한다. 의 평균을 구함으로써, 은 다음과 같이 추정된다.
(f) 수학식 7에서, 을 얻기 위해서 을 으로 설정한다. 의 평균을 구함으로써, 은 다음과 같이 추정된다.
(g) 단계 (e)로 간다.
단계 (e) 내지 (g)를 몇 번 반복한 후, 및 은 각각 및 로 지칭될 수 있는 실질적으로 보다 더 정확한 결과를 내놓을 것이다.
은 복구된 화상 중심 획(1203)을 복구된 펜촉 획(1201)으로 맵핑하기 위해 수학식 5에서 캘리브레이션 파라미터 로서 사용될 수 있다.
이하에서는, 및 가 고정된 위치 에 펜촉을 놓고 47개의 화상이 캡쳐되도록 펜을 회전하는 것에 기초하여 계산되는 일례가 제공될 것이다. 각 화상으로부터, 변환 및 이 얻어질 수 있다. 이하 나타낸 것처럼, 47번 반복한 후, 은 (0.00, 0.00)부터 최종 결과 (30.80, 7.01)으로 수렴하고, 은 (978.87, 1618.55)의 최종 결과로 수렴한다. 이 원점에 화상 중심이 있는 캡쳐된 화상의 좌표 시스템에 있고, 은 해당 문서의 좌표 시스템에 있는 것을 알자.
반복 회수 1--[단계 c]--각 화상에 대해 종이 상에서의 펜촉을 계산하기 위해 가상 펜촉(x=0.00, y=0.00)을 초기화한다.
[단계 e]:
화상 0의 종이 상에서의 펜촉: x=985.57, y=1649.70,
화상 1의 종이 상에서의 펜촉: x=985.20, y=1649.25,
...,
화상 46의 종이 상에서의 펜촉: x=1006.41, y=1629.30,
화상 47의 종이 상에서의 펜촉: x=1006.76, y=1628.79,
종이 상에서의 평균 펜촉: x=993.32, y=1643.28.
[단계 f]--각 화상의 가상 펜촉을 계산하기 위해서, 최종으로 얻어진 종이 상에서의 평균 펜촉( x=993.32, y=1643.28)을 사용한다.
화상 0의 종이 상에서의 펜촉: x=2.83, y=11.43,
화상 1의 종이 상에서의 펜촉: x=2.42, y=11.66,
...,
화상 46의 종이 상에서의 펜촉: x=9.46, y=-17.72,
화상 47의 종이 상에서의 펜촉: x=10.55, y=-18.45,
종이 상에서의 평균 펜촉: x=3.65, y=0.88.
[단계 g]--단계 e로 간다.
반복 회수 2--[단계 e]--각 화상의 가상 펜촉을 계산하기 위해서, 최종으로 얻어진 종이 상에서의 평균 펜촉( x=3.65, y=0.88)을 사용한다.
화상 0의 종이 상에서의 펜촉: x=984.86, y=1646.07,
화상 1의 종이 상에서의 펜촉: x=984.50, y=1645.58,
...,
화상 46의 종이 상에서의 펜촉: x=1003.09, y=1628.06,
화상 47의 종이 상에서의 펜촉: x=1003.53, y=1627.54,
종이 상에서의 평균 펜촉: x=991.64, y=1640.32.
[단계 f]--각 화상의 가상 펜촉을 계산하기 위해서 최종으로 얻어진 종이 상에서의 평균 펜촉( x=991.64, y=1640.32)을 사용한다.
화상 0의 종이 상에서의 펜촉: x=6.25, y=10.93,
화상 1의 종이 상에서의 펜촉: x=5.79, y=11.12,
...,
화상 46의 종이 상에서의 펜촉: x=11.93, y=-14.67,
화상 47의 종이 상에서의 펜촉: x=13.01, y=-15.41,
종이 상에서의 평균 펜촉: x=6.87, y=1.64.
[단계 g]--단계 e로 간다.
반복 회수 3--[단계 e]--각 화상의 가상 펜촉을 계산하기 위해서 최종으로 얻어진 종이 상에서의 평균 펜촉( x=6.87, y=1.64)을 사용한다.
...
반복 회수 43--평균 가상 펜촉: x=30.74, y=7.00.
...
반복 회수 44--평균 가상 펜촉: x=30.76, y=7.01.
...
반복 회수 45--평균 가상 펜촉: x=30.77, y=7.01.
...
반복 회수 46--평균 가상 펜촉: x=30.78, y=7.01.
...
반복 회수 47--[단계 f]--각 화상의 가상 펜촉을 계산하기 위해서 최종으로 얻어진 종이 상에서의 평균 펜촉( x=978.87, y=1618.55)을 사용한다.
화상 0 가상 펜촉: x=31.61, y=6.88,
화상 1 가상 펜촉: x=30.74, y=6.73,
...
화상 46 가상 펜촉: x=30.47, y=7.74,
화상 47 가상 펜촉: x=31.46, y=6.96,
따라서, 이 예에서, 최종 평균 가상 펜촉값은 x=30.80, y=7.01으로 수렴한다.
상술한 설명은 본 발명의 원리의 사용을 설명하기 위한 것일 뿐이다. 당업자는 본 발명의 사상 및 범위를 벗어나지 않고서 다른 장치 및 방법을 구현할 수 있음을 알 수 있다. 본 발명의 임의의 방법은 컴퓨터 디스크 또는 다른 컴퓨터 판독가능 저장 매체에 저장될 수 있는 소프트웨어로 구현될 수 있다.
디지털 펜의 펜촉의 x-y 위치는 펜 카메라에 의해 캡쳐된 화상들 각각의 중심의 x-y 위치를 맵핑하는 캘리브레이션 파라미터를 사용하여 결정될 수 있다. 사용자는 복잡한 캘리브레이션 장비를 필요로 하지 않고 캘리브레이션 파라미터를 얻을 수 있다.
도 1은 본 발명의 실시예와 결합하여 사용될 수 있는 컴퓨터를 일반적으로 설명하는 도면.
도 2a 및 2b는 본 발명의 실시예에 따른 화상 캡쳐 시스템 및 해당하는 캡쳐된 화상의 도면.
도 3a 내지 3f는 본 발명의 실시예에 따른 다양한 시퀀스 및 폴딩 기술의 도면.
도 4a 내지 4e는 본 발명의 실시예에 따른 다양한 인코딩 시스템의 도면.
도 5a 내지 5d는 도 4a 및 4b에 따른 인코딩 시스템과 연관된 4가지 가능한 결과 코너의 도면.
도 6은 본 발명의 실시예에 따른 캡쳐된 화상 일부의 회전을 도시하는 도면.
도 7은 도 4a 내지 4e의 코딩 시스템과 결합하여 사용되는 다양한 회전각의 도면.
도 8은 본 발명의 실시예에 따른 캡쳐된 어레이의 위치를 결정하는 처리의 도면.
도 9는 본 발명의 실시예에 따른 캡쳐된 어레이의 위치를 결정하는 방법의 도면.
도 10은 본 발명의 실시예에 따른 캡쳐된 어레이의 위치를 결정하는 다른 방법의 도면.
도 11은 본 발명의 다양한 실시예에 따른 캘리브레이션 모듈 및 맵핑 모듈의 도면.
도 12는 본 발명의 일실시예에 따른 복구된 카메라 캡쳐 획(즉, 캡쳐된 화상의 각 중심으로부터 복구된) 및 해당 맵핑된 펜촉 획의 도면.
도 13은 도 12에 도시된 복구된 획과 연관된 실제 펜촉 획의 도면.
도 14는 본 발명의 다양한 실시예에 따른 카메라 캡쳐된 화상의 각 중심에 기초하여 복구된 경로 및 캘리브레이션 파라미터를 통해 경로의 점들이 맵핑되는 점을 도면.
도 15는 종래 기술에 따른 문서에서의 인코딩 공간의 제시를 도시하는 도면.
<도면의 주요 부분에 대한 부호의 설명>
201 : 펜
201 : 펜촉
203 : 카메라
206 : 프로세서
208 : 렌즈
210 : 화상
211 : 화상 캡쳐 센서

Claims (25)

  1. 펜촉 및 카메라를 구비하는 디지털 펜을 캘리브레이션하고, 카메라 캡쳐된 화상의 중심의 위치를 상기 펜촉의 위치로 맵핑하는 방법에 있어서,
    상기 펜촉을 위치적으로 인코딩된 표면 상의 실질적으로 고정된 위치 에 유지하면서, 상기 펜을 복수의 상이한 배향으로 놓음으로써, 상기 디지털 펜의 카메라에 의해 캡쳐된 복수의 화상에 기초하여, 캘리브레이션 파라미터를 생성하는 단계 -상기 캘리브레이션 파라미터는 상기 캘리브레이션 파라미터의 반복적으로 생성된 복수의 추정치에 기초하여 생성됨-, 및
    상기 위치적으로 인코딩된 표면 상에 사용자에 의해 기입된 획이 상기 위치적으로 인코딩된 표면의 전자 복사본 내의 위치에서 복구될 수 있도록, 상기 캘리브레이션 파라미터를 사용하여, 상기 카메라 캡쳐된 화상의 중심의 위치를 상기 펜촉의 위치로 맵핑하는 단계 -상기 전자 복사본 내의 상기 복구된 획의 위치는 사용자가 상기 위치적으로 인코딩된 표면 상에 상기 획을 기입하는 동안의 상기 펜촉의 복수의 위치에 대응함-
    를 포함하는 방법.
  2. 제1항에 있어서,
    복수의 캡쳐된 화상 중의 각 화상에 대한 m-어레이 디코딩 및 화상 매칭에 의하여, 변환 및 역변환 를 계산한 후,
    N이 상기 캘리브레이션 파라미터를 생성하는 데 사용된 캡쳐된 화상의 개수이고, ΔLi가 제i 프레임에서의 실제 펜촉 위치와 간의 오프셋이라 할 때,
    , 및
    을 계산하는 단계를 더 포함하는 방법.
  3. 제2항에 있어서,
    이 의 추정치라고 할 때, 을 (0,0)으로 초기화하는 단계를 더 포함하는 방법.
  4. 제3항에 있어서,
    에서, 을 얻기 위해서 을 으로 설정하고,
    의 평균을 구함으로써, 을 으로서 추정하는 단계를 더 포함하는 방법.
  5. 제4항에 있어서,
    에서,
    을 얻기 위해서 을 으로 설정하고,
    의 평균을 구함으로써, 을 으로서 추정하는 단계를 더 포함하는 방법.
  6. 제5항에 있어서,
    상기 의 추정치가 실질적으로 보다 더 정확한 결과 으로 수렴하고 상기 의 추정치가 실질적으로 보다 더 정확한 결과 으로 수렴하도록 제4항 및 5항의 단계를 복수회 반복하는 단계를 더 포함하는 방법.
  7. 제6항에 있어서,
    상기 카메라 캡쳐된 화상의 중심의 위치를 상기 펜촉의 위치로 맵핑하기 위한 상기 캘리브레이션 파라미터로서 를 사용하는 단계를 더 포함하는 방법.
  8. 제1항에 있어서,
    가상 펜촉을 사용하여, 복구된 카메라 캡쳐된 획을 복구된 펜촉 획으로 맵핑하는 단계를 더 포함하고, 상기 디지털 펜의 화상 센싱 평면 상에서의 상기 가상 펜촉의 위치는 상기 펜촉과 상기 펜의 카메라 사이의 미리 정해진 관계에 의존하고, 상기 미리 정해진 관계는 상기 펜의 구성에 기초하는 방법.
  9. 펜촉 및 카메라를 포함하는 디지털 펜에 대한 캘리브레이션 파라미터를 생성하는 컴퓨터 실행가능 명령을 포함하는 컴퓨터 판독가능 매체에 있어서,
    화상 중심의 위치를 위치적으로 인코딩된 표면 상의 상기 펜촉의 위치로 맵핑하는 것은 상기 캘리브레이션 파라미터에 의존하고,
    상기 컴퓨터 실행가능 명령은
    상기 펜촉을 위치적으로 인코딩된 표면 상의 고정된 위치 에 유지하면서, 상기 펜을 복수의 상이한 배향으로 놓음으로써, 상기 디지털 펜의 카메라에 의해 캡쳐된 복수의 화상에 기초하여 상기 캘리브레이션 파라미터를 생성하는 단계를 수행하고,
    상기 캘리브레이션 파라미터는 상기 캘리브레이션 파라미터의 반복적으로 생성된 복수의 추정치에 기초하여 생성되는 컴퓨터 판독가능 매체.
  10. 제9항에 있어서,
    복수의 캡쳐된 화상 중의 각 화상에 대한 화상 매칭에 의하여, 변환 및 역변환 를 계산하고,
    N이 상기 캘리브레이션 파라미터를 생성하는 데 사용된 캡쳐된 화상의 개수이고, ΔLi가 제i 프레임에서의 실제 펜촉 위치와 간의 오프셋이라 할 때,
    및
    을 계산하는 단계를 수행하는 컴퓨터 실행가능 명령을 더 포함하는 컴퓨터 판독가능 매체.
  11. 제10항에 있어서,
    이 의 추정치라고 할 때, 을 (0,0)으로 초기화하는 단계를 수행하는 컴퓨터 실행가능 명령을 더 포함하는 컴퓨터 판독가능 매체.
  12. 제11항에 있어서,
    에서, 을 얻기 위해서 을 으로 설정하고,
    의 평균을 구함으로써, 을 으로 추정하는 단계를 수행하는 컴퓨터 실행가능 명령을 더 포함하는 컴퓨터 판독가능 매체.
  13. 제12항에 있어서,
    에서,
    을 얻기 위해서 을 으로 설정하고,
    의 평균을 구함으로써, 을 으로서 추정하는 단계를 수행하는 컴퓨터 실행가능 명령을 더 포함하는 컴퓨터 판독가능 매체.
  14. 제13항에 있어서,
    상기 의 추정치가 실질적으로 보다 더 정확한 결과 으로 수렴하고 상기 의 추정치가 실질적으로 보다 더 정확한 결과 으로 수렴하도록 제12항 및 13항에 기재된 계산을 복수회 반복하는 단계를 수행하는 컴퓨터 실행가능 명령을 더 포함하는 컴퓨터 판독가능 매체.
  15. 제14항에 있어서, 상기 화상의 중심의 위치를 상기 펜촉의 위치로 맵핑하기 위한 상기 캘리브레이션 파라미터 로서 를 사용하는 단계를 수행하는 컴퓨터 실행가능 명령을 더 포함하는 컴퓨터 판독가능 매체.
  16. 펜촉 및 카메라를 포함하는 디지털 펜을 캘리브레이션하고 카메라 캡쳐된 화상의 중심의 위치를 상기 펜촉의 위치로 맵핑하는 컴퓨터 실행가능 명령을 포함하는 컴퓨터 판독가능 매체에 있어서,
    상기 컴퓨터 실행가능 명령은,
    상기 펜촉을 위치적으로 인코딩된 표면 상의 실질적으로 고정된 위치 에 유지하면서, 상기 펜을 복수의 상이한 배향으로 놓음으로써 상기 디지털 펜의 카메라에 의해 캡쳐된 복수의 화상에 기초하여, 캘리브레이션 파라미터를 생성하는 단계 -상기 캘리브레이션 파라미터는 상기 캘리브레이션 파라미터의 반복적으로 생성된 복수의 추정치에 기초하여 생성됨-, 및
    상기 위치적으로 인코딩된 표면 상에 사용자에 의해 기입된 획이 상기 위치적으로 인코딩된 표면의 전자 복사본 내의 위치에서 복구될 수 있도록, 상기 캘리브레이션 파라미터를 사용하여, 상기 카메라 캡쳐된 화상의 중심의 위치를 상기 펜촉의 위치로 맵핑하는 단계 -상기 전자 복사본 내의 상기 복구된 획의 위치는 사용자가 상기 위치적으로 인코딩된 표면 상에 상기 획을 기입하는 동안의 상기 펜촉의 복수의 위치에 대응함-
    를 수행하는 컴퓨터 판독가능 매체.
  17. 제16항에 있어서,
    가상 펜촉을 사용하여, 복구된 카메라 캡쳐된 획을 복구된 펜촉 획으로 맵핑하는 단계를 수행하는 컴퓨터 실행가능 명령을 더 포함하고, 상기 디지털 펜의 화상 센싱 평면 상에서의 상기 가상 펜촉의 위치는 상기 펜촉과 상기 펜의 카메라 사이의 미리 정해진 관계에 의존하고, 상기 미리 정해진 관계는 상기 펜의 구성에 기초하는 컴퓨터 판독가능 매체.
  18. 펜촉 및 카메라를 포함하는 디지털 펜을 캘리브레이션하고 카메라 캡쳐된 화상의 중심의 위치를 상기 펜촉의 위치로 맵핑하는 시스템에 있어서,
    상기 펜촉을 위치적으로 인코딩된 표면 상의 실질적으로 고정된 위치 에 유지하면서 상기 펜을 복수의 다른 배향으로 놓음으로써 상기 디지털 펜의 카메라에 의해 캡쳐된 복수의 화상에 기초하여, 캘리브레이션 파라미터를 생성하는 캘리브레이션 모듈 -상기 캘리브레이션 파라미터는 상기 캘리브레이션 파라미터의 반복적으로 생성된 복수의 추정치에 기초하여 생성됨-, 및
    상기 위치적으로 인코딩된 표면 상에 사용자에 의해 기입된 획이 상기 위치적으로 인코딩된 표면의 전자 복사본 내의 위치에서 복구될 수 있도록, 상기 캘리브레이션 파라미터를 사용하여, 상기 카메라 캡쳐된 화상의 중심의 위치를 상기 펜촉의 위치로 맵핑하는 맵핑 모듈 -상기 전자 복사본 내의 상기 복구된 획의 위치는 사용자가 상기 위치적으로 인코딩된 표면 상에 상기 획을 기입하는 동안의 상기 펜촉의 복수의 위치에 대응함-
    을 포함하는 시스템.
  19. 제18항에 있어서,
    상기 캘리브레이션 모듈은,
    복수의 캡쳐된 화상 중의 각 화상에 대한 화상 매칭에 의하여, 변환 및 역변환 를 계산하고,
    N이 상기 캘리브레이션 파라미터를 생성하는 데 사용된 캡쳐된 화상의 개수이고, ΔLi가 제i 프레임에서의 실제 펜촉 위치와 간의 오프셋이라고 할 때,
    및
    을 계산하는 시스템.
  20. 제19항에 있어서,
    상기 캘리브레이션 모듈은 이 의 추정치라고 할 때, 을 (0,0)으로 초기화하는 시스템.
  21. 제20항에 있어서,
    에서, 을 얻기 위해서 은 으로 설정되고,
    의 평균을 구함으로써, 은 으로서 추정되는 시스템.
  22. 제21항에 있어서,
    에서,
    을 얻기 위해서 은 으로 설정되고,
    의 평균을 구함으로써, 은 으로서 추정되는 시스템.
  23. 제22항에 있어서,
    상기 캘리브레이션 모듈은 상기 의 추정치가 실질적으로 보다 더 정확한 결과 으로 수렴하고 상기 의 추정치가 실질적으로 보다 더 정확한 결과 으로 수렴하도록 제21항 및 제22항에 기재된 계산을 복수회 반복하는 시스템.
  24. 제23항에 있어서,
    상기 캘리브레이션 모듈은, 상기 맵핑 모듈이 상기 복구된 화상 중심 획을 상기 복구된 펜촉 획으로 맵핑하는 데에 사용될 상기 캘리브레이션 파라미터로서 상기 캘리브레이션 모듈로부터 를 출력하는 시스템.
  25. 제18항에 있어서,
    상기 맵핑 모듈은 가상 펜촉을 사용하여, 복구된 카메라 캡쳐된 획을 복구된 펜촉 획으로 맵핑하고, 상기 디지털 펜의 화상 센싱 평면 상에서의 상기 가상 펜촉의 위치는 상기 펜촉과 상기 펜의 카메라 사이의 미리 정해진 관계에 의존하고, 상기 미리 정해진 관계는 상기 펜의 구성에 기초하는 시스템.
KR1020050001081A 2004-01-06 2005-01-06 카메라와 펜촉의 맵핑 및 캘리브레이션 KR101037232B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/753,023 2004-01-06
US10/753,023 US7136054B2 (en) 2004-01-06 2004-01-06 Camera-pen-tip mapping and calibration

Publications (2)

Publication Number Publication Date
KR20050072691A true KR20050072691A (ko) 2005-07-12
KR101037232B1 KR101037232B1 (ko) 2011-05-25

Family

ID=34592570

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050001081A KR101037232B1 (ko) 2004-01-06 2005-01-06 카메라와 펜촉의 맵핑 및 캘리브레이션

Country Status (10)

Country Link
US (1) US7136054B2 (ko)
EP (1) EP1553482A1 (ko)
JP (1) JP4750425B2 (ko)
KR (1) KR101037232B1 (ko)
CN (1) CN100472554C (ko)
AU (1) AU2004242471A1 (ko)
BR (1) BRPI0500015A (ko)
CA (1) CA2491554C (ko)
MX (1) MXPA05000368A (ko)
RU (1) RU2363032C2 (ko)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7133563B2 (en) 2002-10-31 2006-11-07 Microsoft Corporation Passive embedded interaction code
US7263224B2 (en) * 2004-01-16 2007-08-28 Microsoft Corporation Strokes localization by m-array decoding and fast image matching
US8054495B2 (en) * 2004-04-07 2011-11-08 Hewlett-Packard Development Company, L.P. Digital documents, apparatus, methods and software relating to associating an identity of paper printed with digital pattern with equivalent digital documents
US20060084039A1 (en) * 2004-10-19 2006-04-20 Massachusetts Institute Of Technology Drawing tool for capturing and rendering colors, surface images and movement
US7505982B2 (en) * 2004-12-03 2009-03-17 Microsoft Corporation Local metadata embedding solution
US7536051B2 (en) * 2005-02-17 2009-05-19 Microsoft Corporation Digital pen calibration by local linearization
US7607076B2 (en) * 2005-02-18 2009-10-20 Microsoft Corporation Embedded interaction code document
US7826074B1 (en) 2005-02-25 2010-11-02 Microsoft Corporation Fast embedded interaction code printing with custom postscript commands
US7532366B1 (en) 2005-02-25 2009-05-12 Microsoft Corporation Embedded interaction code printing with Microsoft Office documents
US7421439B2 (en) 2005-04-22 2008-09-02 Microsoft Corporation Global metadata embedding and decoding
US7400777B2 (en) 2005-05-25 2008-07-15 Microsoft Corporation Preprocessing for information pattern analysis
US7729539B2 (en) 2005-05-31 2010-06-01 Microsoft Corporation Fast error-correcting of embedded interaction codes
US7619607B2 (en) * 2005-06-30 2009-11-17 Microsoft Corporation Embedding a pattern design onto a liquid crystal display
WO2007003682A1 (en) * 2005-06-30 2007-01-11 Nokia Corporation Camera control means to allow operating of a destined location of the information surface of a presentation and information system
US7528848B2 (en) * 2005-06-30 2009-05-05 Microsoft Corporation Embedded interaction code decoding for a liquid crystal display
US7817816B2 (en) 2005-08-17 2010-10-19 Microsoft Corporation Embedded interaction code enabled surface type identification
EP1909162A1 (en) * 2006-10-02 2008-04-09 Koninklijke Philips Electronics N.V. System for virtually drawing on a physical surface
ES2323399B2 (es) * 2007-06-19 2010-02-26 Gat Microencapsulation Ag Suspensiones en aceites de sulfonilureas y combinaciones agroquimicas.
US8760401B2 (en) * 2008-04-21 2014-06-24 Ron Kimmel System and method for user object selection in geographic relation to a video display
US20090309854A1 (en) * 2008-06-13 2009-12-17 Polyvision Corporation Input devices with multiple operating modes
US9354725B2 (en) 2012-06-01 2016-05-31 New York University Tracking movement of a writing instrument on a general surface
US9373302B2 (en) * 2012-08-10 2016-06-21 Blackberry Limited Stacked device position identification
KR101410990B1 (ko) * 2012-09-04 2014-06-23 이승희 전자펜을 이용한 입력 시스템
WO2015059930A1 (en) * 2013-10-25 2015-04-30 Wacom Co., Ltd. Dynamic handwriting verification, handwriting-baseduser authentication, handwriting data generation, and handwriting data preservation
KR101589707B1 (ko) * 2014-09-25 2016-01-28 (주) 씨앤피 펜 타입 카메라가 장착된 휴대용 영상 확대 장치
TWI564773B (zh) * 2015-08-05 2017-01-01 緯創資通股份有限公司 光學觸控系統及其光學觸控裝置
US10838551B2 (en) * 2017-02-08 2020-11-17 Hewlett-Packard Development Company, L.P. Calibration of displays
US11301063B2 (en) 2018-07-18 2022-04-12 John J. King, JR. Smart pen device and method of implementing a smart pen device

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE58904580D1 (de) * 1989-10-24 1993-07-08 Geberit Ag Montageraumabdeckung fuer insbesondere geschaeumte installationsbausteine.
US5146552A (en) 1990-02-28 1992-09-08 International Business Machines Corporation Method for associating annotation with electronically published material
EP0578692B1 (en) * 1991-04-03 1995-06-14 Hewlett-Packard Company Position-sensing apparatus
CA2045907C (en) * 1991-06-28 1998-12-15 Gerald B. Anderson A method for storing and retrieving annotations and redactions in final form documents
US5414227A (en) * 1993-04-29 1995-05-09 International Business Machines Corporation Stylus tilt detection apparatus for communication with a remote digitizing display
JPH08237407A (ja) * 1994-12-09 1996-09-13 Xerox Corp 画像タイルの相対的なアラインメントを見当合わせすると共に透視歪みを修正するための方法
US5626620A (en) * 1995-02-21 1997-05-06 Medtronic, Inc. Dual chamber pacing system and method with continual adjustment of the AV escape interval so as to maintain optimized ventricular pacing for treating cardiomyopathy
US6208894B1 (en) * 1997-02-26 2001-03-27 Alfred E. Mann Foundation For Scientific Research And Advanced Bionics System of implantable devices for monitoring and/or affecting body parameters
US5855594A (en) * 1997-08-08 1999-01-05 Cardiac Pacemakers, Inc. Self-calibration system for capture verification in pacing devices
US6181329B1 (en) * 1997-12-23 2001-01-30 Ricoh Company, Ltd. Method and apparatus for tracking a hand-held writing instrument with multiple sensors that are calibrated by placing the writing instrument in predetermined positions with respect to the writing surface
US6070102A (en) * 1998-04-29 2000-05-30 Medtronic, Inc. Audible sound confirmation of programming an implantable medical device
JP2002516429A (ja) 1998-04-30 2002-06-04 シー テクノロジーズ アクチボラゲット 制御装置およびオブジェクトの制御方法
US6551357B1 (en) * 1999-02-12 2003-04-22 International Business Machines Corporation Method, system, and program for storing and retrieving markings for display to an electronic media file
US6522928B2 (en) * 2000-04-27 2003-02-18 Advanced Bionics Corporation Physiologically based adjustment of stimulation parameters to an implantable electronic stimulator to reduce data transmission rate
JP4419305B2 (ja) * 2000-09-29 2010-02-24 ブラザー工業株式会社 座標読み取り装置
JP3771831B2 (ja) * 2001-11-01 2006-04-26 インターナショナル・ビジネス・マシーンズ・コーポレーション デジタル・コンテンツに付加されるアノテーション情報を共有するためのコンピュータ・システムおよびプログラム
US20030117378A1 (en) * 2001-12-21 2003-06-26 International Business Machines Corporation Device and system for retrieving and displaying handwritten annotations

Also Published As

Publication number Publication date
JP2005202953A (ja) 2005-07-28
CA2491554C (en) 2012-03-13
JP4750425B2 (ja) 2011-08-17
CN1637774A (zh) 2005-07-13
CA2491554A1 (en) 2005-07-06
RU2004139188A (ru) 2006-06-10
CN100472554C (zh) 2009-03-25
AU2004242471A1 (en) 2005-07-21
EP1553482A1 (en) 2005-07-13
RU2363032C2 (ru) 2009-07-27
MXPA05000368A (es) 2005-08-19
BRPI0500015A (pt) 2005-08-09
US7136054B2 (en) 2006-11-14
KR101037232B1 (ko) 2011-05-25
US20050146518A1 (en) 2005-07-07

Similar Documents

Publication Publication Date Title
KR101037232B1 (ko) 카메라와 펜촉의 맵핑 및 캘리브레이션
US7536051B2 (en) Digital pen calibration by local linearization
KR100984402B1 (ko) 2차원 배열에서의 디코딩 및 에러 교정
JP5036857B2 (ja) ｍ配列のデコーディングおよびエラー訂正の強化された手法
RU2375740C2 (ru) ОПРЕДЕЛЕНИЕ РАСПОЛОЖЕНИЯ ШТРИХОВ ПОСРЕДСТВОМ ДЕКОДИРОВАНИЯ m-МАССИВА И БЫСТРОГО СРАВНЕНИЯ ИЗОБРАЖЕНИЙ
US7421439B2 (en) Global metadata embedding and decoding
US7581171B2 (en) Positionally encoded document image analysis and labeling
CA2491843C (en) Global localization by fast image matching

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140417

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160419

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20170420

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20180417

Year of fee payment: 8

LAPS Lapse due to unpaid annual fee