KR20040038639A

KR20040038639A - 수동 내장형 상호 작용 코딩

Info

Publication number: KR20040038639A
Application number: KR1020030066811A
Authority: KR
Inventors: 왕지안; 당잉농; 우지앙; 마사이오스
Original assignee: 마이크로소프트 코포레이션
Priority date: 2002-10-31
Filing date: 2003-09-26
Publication date: 2004-05-08
Also published as: JP4217577B2; US20060182309A1; US20040086191A1; US7684618B2; US7133563B2; KR101064845B1; BR0304234A; EP1416434A3; EP1416434A2; CN1499443A; JP2004153798A; CN1324532C

Abstract

문서 이미지를 인코딩하고 그 이미지에 기초하여 위치를 발견하는 시스템 및 방법이 개시된다. 문서 페이지는 문서 페이지의 다양한 위치와 연관된 코드로 인코딩된다. 코드는 코드북으로 수집된다. 그 후 포착된 이미지는 유사하게 인코딩되고 코드북의 코드에 대하여 탐색될 수 있다. 하나 이상의 코드 및 연관된 위치는 복귀될 수 있고, 그럼으로써 포착된 이미지에 대한 하나 이상의 가능한 위치를 제공할 수 있다.

Description

수동 내장형 상호 작용 코딩{PASSIVE EMBEDDED INTERACTION CODING}

본 발명은 디지털 펜(digital pen)을 사용하여 종이와 상호 작용하는 것에 관한 것으로, 특히 디지털 펜에 의하여 종이에 만들어진 주석(annotation)의 위치를 결정하는 것에 관한 것이다.

컴퓨터 사용자는 퍼스널 컴퓨터와 상호 작용하는 방법으로 마우스 및 키보드를 사용하는 것에 익숙하다. 작성된 문서에 비하여 퍼스널 컴퓨터는 다수의 이점을 제공하지만, 대부분의 사용자는 인쇄된 종이를 사용하여 특정 기능을 계속하여 수행한다. 이러한 기능 중 몇몇은 작성된 문서를 판독하고 주석을 다는 것을 포함한다. 주석을 다는 경우에, 인쇄된 문서는 사용자에 의하여 가해진 주석 때문에 더 큰 중요성을 갖는다. 그러나, 주석을 포함한 인쇄된 문서를 다루는 것의 어려움 중의 하나는 주석을 다시 문서의 전자 형태로 입력해야 할 필요가 있다는 점이다. 이것은 원래의 사용자 또는 다른 사용자가 주석을 검토하고 이것을 퍼스널 컴퓨터에 입력할 것을 필요로 한다. 몇몇 경우에 있어서, 사용자는 주석 및 원본 문서를 스캔하여 새로운 문서를 생성할 것이다. 이러한 다수의 단계는 인쇄된 문서와 문서의 전자 버전간의 상호 작용을 반복적으로 처리하기 어렵게 만든다. 또한, 스캔된 이미지는 흔히 수정이 가능하지 않다. 주석을 원본 텍스트로부터 분리하는 방법이 없을 수도 있다. 이러한 점으로 인하여 주석을 사용하는 것이 어렵게 된다. 따라서, 주석을 다루는 개선된 방법이 필요하다.

본 발명의 특징은 상술한 문제점 중 적어도 하나에 대한 해결책을 제공하고, 그럼으로써 사용자가 보여지는 이미지 상에 위치(들)를 알아내는 것을 가능하게 한다. 사용자가 이러한 위치를 알 수 있음으로써, 물리적 문서에 주석을 기입하고 주석을 물리적 문서의 전자 버전과 연관시킬 수 있게 된다. 본 발명의 몇몇 특징은 물리적 문서를 인코딩하기 위하여 사용되는 다양한 기술에 관한 것이다. 다른 특징은 인코딩된 문서를 탐색 가능한 형태로 조직하는 것에 관한 것이다.

도 1은 본 발명의 실시예와 함께 사용될 수 있는 컴퓨터의 개략도.

도 2는 본 발명의 실시예에 따른 수신된 이미지를 파싱(parsing)하고 코드북(codebook)을 생성하는 프로세스를 나타내는 도면.

도 3은 본 발명의 실시예에 따라 카메라로부터의 이미지의 하나 이상의 가능한 위치를 결정하는 프로세스를 나타내는 도면.

도 4는 본 발명의 실시예에 따른 펜 및 이미지 포착 시스템(capture system)을 나타내는 도면.

도 5는 본 발명의 실시예에 따라 이미지를 인코딩하는 제1 프로세스를 나타내는 도면.

도 6은 본 발명의 실시예에 따라 이미지를 인코딩하는 제2 프로세스를 나타내는 도면.

도 7은 본 발명의 실시예에 따라 이미지를 인코딩하는 제3 프로세스를 나타내는 도면.

도 8은 본 발명의 실시예에 따라 코드북을 구성하는 것을 나타내는 도면.

< 도면의 주요 부분에 대한 부호 설명 >

166 디지타이저

401 펜

402 펜 팁

403 카메라

407 표면

408 렌즈

410 패턴의 이미지

본 발명의 이들 특징 및 다른 특징은 첨부된 도면 및 연관 설명을 통하여 개시될 것이다.

본 발명의 특징은 포착된 이미지의 위치를 더 큰 이미지와 연관하여 결정하는 것에 관한 것이다. 본 명세서에서 설명되는 위치 결정 방법 및 시스템은 다중 기능 펜(multi-function pen)과 함께 사용될 수 있다. 이 다중 기능 펜은 고정된 문서에 만들어진 수기된(handwritten) 주석을 포착하고, 그 후 고정된 문서상의 정보로부터 그 주석의 위치를 알아낼 수 있는 능력을 제공한다. 고정된 문서는 인쇄된 문서일 수 있고 또는 컴퓨터 화면에 표현된 문서일 수 있다.

독자가 본 발명의 다양한 이점을 이해하는 것을 돕기 위하여, 이후 내용은 다수의 세부 항목으로 정리되었다. 세부 항목은 용어, 범용 컴퓨터, 포착된 이미지의 위치 식별, 인코딩, 코드북 생성(codebook generation) 및 후보 탐색(candidate search)을 포함한다.

용어

펜 - 잉크를 저장할 수 있는 능력을 포함하거나 포함하지 않는 임의의 기입 도구. 몇몇 예에서 잉크 능력이 없는 스타일러스(stylus)가 본 발명의 실시예에 따라 펜으로서 사용될 수 있다.

카메라 - 이미지 포착 시스템.

인코딩 - (물리적 종이 형태로부터 스캐닝되거나 전자 형태로 표현된) 이미지를 카메라로부터 수신하고 그것을 소정의 방법으로 수정하는 프로세스.

코드북 - 인코딩된 이미지 또는 인코딩된 서브 이미지(sub-image)를 저장하는 저장소.

범용 컴퓨터

도 1은 본 발명의 다양한 특징을 구현하기 위하여 사용될 수 있는 종래의 범용 디지털 컴퓨팅 환경의 예를 나타내는 기능적인 블록도이다. 도 1에서, 컴퓨터(100)는 처리 유닛(processing unit)(110), 시스템 메모리(120), 및 시스템 메모리를 포함하는 다양한 시스템 구성 요소를 처리 유닛(110)에 연결하는 시스템버스(130)를 포함한다. 시스템 버스(130)는 메모리 버스 또는 메모리 제어기, 주변 장치 버스, 및 임의의 다양한 버스 아키텍처를 사용하는 로컬 버스를 포함하는 임의의 여러 형태의 버스 구조일 수 있다. 시스템 메모리(120)는 ROM(read only memory)(140) 및 RAM(random access memory)(150)을 포함한다.

시동(start-up) 동안과 같은 컴퓨터(100) 내의 소자간의 정보 전달을 보조하는 기본 루틴을 포함하는 기본 입출력 시스템(basic input/output system; BIOS)(160)은 ROM(140)에 저장된다. 또한 컴퓨터(100)는 하드디스크(도시되지 않음)로부터 판독하고 기입하기 위한 하드디스크 드라이브(170), 착탈식 자기 디스크(190)로부터 판독하고 기입하기 위한 자기 디스크 드라이브(180), 및 CD ROM 또는 다른 광 매체와 같은 착탈식 광 디스크(192)로부터 판독하고 기입하기 위한 광 디스크 드라이브(191)를 포함한다. 하드디스크 드라이브(170), 자기 디스크 드라이브(180) 및 광 디스크 드라이브(191)는 각각 하드디스크 드라이브 인터페이스(192), 자기 디스크 드라이브 인터페이스(193) 및 광 디스크 드라이브 인터페이스(194)에 의하여 시스템 버스(130)에 연결된다. 드라이브들 및 이들의 연관된 컴퓨터 판독 가능 매체는 컴퓨터 판독 가능 명령어, 데이터 구조, 프로그램 모듈 및 퍼스널 컴퓨터(100)를 위한 다른 데이터를 저장하는 비휘발성 저장 매체를 제공한다. 또한 자기 카세트, 플래시 메모리 카드, 디지털 비디오 디스크, 베루누이 카트리지(Bernoulli cartridge), RAM, ROM 등과 같이, 컴퓨터에 의하여 액세스 가능한 데이터를 저장할 수 있는 다른 형태의 컴퓨터 판독 가능 매체가 예시적인 운영 환경에서 사용될 수 있다는 것을 당업자는 이해할 것이다.

운영 체제(195), 하나 이상의 애플리케이션 프로그램(196), 다른 프로그램 모듈(197) 및 프로그램 데이터(198)를 포함하는 다수의 프로그램 모듈은 하드디스크 드라이브(170), 자기 디스크(190), 광 디스크(192), ROM(140) 또는 RAM(150)에 저장될 수 있다. 사용자는 키보드(101) 및 포인팅 장치(pointing device)(102)와 같은 입력 장치를 통하여 컴퓨터(100)에 명령어 및 정보를 입력할 수 있다. 다른 입력 장치(도시되지 않음)는 마이크로폰, 조이스틱, 게임 패드(game pad), 인공위성 접시(satellite dish), 스캐너 등을 포함할 수 있다. 이들 및 다른 입력 장치는 흔히 시스템 버스에 연결된 시리얼 포트 인터페이스(106)를 통하여 처리 유닛(110)에 연결되지만, 병렬 포트, 게임 포트 또는 범용 시리얼 버스(universal serial bus; USB)와 같은 다른 인터페이스에 의하여 연결될 수 있다. 또한, 이들 장치는 적당한 인터페이스(도시되지 않음)를 통하여 시스템 버스(130)에 직접 연결될 수 있다. 또한 모니터(107) 또는 다른 종류의 디스플레이 장치는 비디오 어댑터(video adapter)(108)와 같은 인터페이스를 통하여 시스템 버스(130)에 연결된다. 모니터외에, 퍼스널 컴퓨터는 전형적으로 스피커 및 프린터와 같은 주변 출력 장치(도시되지 않음)를 포함한다. 바람직한 실시예에서, 펜 디지타이저(digitizer)(165) 및 부속 펜 또는 스타일러스(166)는 수기된 입력(freehand input)을 디지털적으로 포착하기 위하여 제공된다. 펜 디지타이저(165)와 시리얼 포트간의 직접 접속(direct connection)이 도시되어 있지만, 실제로 펜 디지타이저(165)는 당해 기술 분야에서 알려져 있는 병렬 포트 또는 다른 인터페이스 및 시스템 버스(130)를 통하여 처리 유닛(110)에 직접 연결될수 있다. 또한, 디지타이저(165)가 모니터(107)로부터 떨어져 있는 것으로 도시되어 있지만, 디지타이저(165)의 사용 가능한 입력 영역이 모니터(107)의 디스플레이 영역과 겹치는 것이 바람직하다. 또한, 디지타이저(165)는 모니터(107)에 통합될 수 있고, 또는 모니터(107)를 덮어씌우거나(overlay)하거나 모니터에 부가된 별개의 장치로서 존재할 수 있다.

컴퓨터(100)는 원격 컴퓨터(109)와 같은 하나 이상의 원격 컴퓨터로의 논리적 접속을 사용하는 네트워크 환경에서 동작할 수 있다. 원격 컴퓨터(109)는 서버, 라우터, 네트워크 PC, 피어 디바이스(peer device) 또는 다른 일반적인 네트워크 노드(network node)일 수 있고, 도 1에는 단지 메모리 저장 장치(111)만 도시되어 있지만, 전형적으로는 컴퓨터(100)에 관하여 상술된 소자의 다수 또는 모두를 포함한다. 도 1에 도시된 논리적 접속은 근거리 통신망(local area network; LAN)(112) 및 광대역 통신망(wide area network; WAN)을 포함한다. 이러한 네트워크 환경은 사무실, 기업형 컴퓨터 네트워크, 인트라넷 및 인터넷에서 일반적이다.

LAN 네트워크 환경에서 사용되면, 컴퓨터(100)는 네트워크 인터페이스 또는 어댑터(114)를 통하여 로컬 네트워크(112)에 연결된다. WAN 네트워크 환경에서 사용되면, 일반적으로 퍼스널 컴퓨터(100)는 모뎀(115), 또는 인터넷과 같은 광역 네트워크(113) 상으로 통신을 하기 위한 다른 수단을 포함한다. 내장형 또는 외장형일 수 있는 모뎀(115)은 시리얼 포트 인터페이스(106)를 통하여 시스템 버스(130)에 연결된다. 네트워크 환경에서는 퍼스널 컴퓨터(100)와 연관하여 설명된 프로그램 모듈 또는 이 일부가 원격 메모리 저장 장치에 저장될 수 있다.

도시된 네트워크 접속은 예시적이고, 컴퓨터간의 통신 링크(communications link)를 확립하는 다른 기술이 사용될 수 있다는 것이 이해될 것이다. TCP/IP, 이더넷, FTP, HTTP 등과 같은 임의의 널리 알려진 기존의 프로토콜이 존재한다고 가정하고, 시스템은 사용자가 웹 기반 서버로부터 웹 페이지를 추출하는 것을 허용하는 클라이언트 서버 구성에서 동작할 수 있다. 임의의 다양한 종래의 웹 브라우저가 웹 페이지에 데이터를 디스플레이하고 다루기 위하여 사용될 수 있다.

포착된 이미지의 위치 확인

본 발명의 특징은 문서의 인코딩된 버전을 탐색 가능한 형태로 저장하는 것을 포함한다. 주석 기입 장치(annotating device)(예를 들어, 문서의 서브 이미지를 포착하기 위하여 부착된 카메라를 갖는 펜)가 주석을 기입하기 위하여 사용되면, 시스템은 카메라의 위치를 결정하는 것을 허용한다. 카메라의 위치의 이 결정은 주석이 위치되는 곳의 위치를 결정하기 위하여 사용될 수 있다. 본 발명의 몇몇 특징에서, 펜은 종이상에 기입하는 잉크 펜일 수 있다. 다른 특징에서, 펜은 사용자가 컴퓨터 디스플레이의 표면에 기입하는 스타일러스일 수 있다. 이 후자의 예에서, 컴퓨터 화면에 기입된 주석은 컴퓨터 화면에 디스플레이된 문서를 지원하는 시스템에 다시 제공될 수 있다. 카메라의 위치를 반복적으로 포착함으로써, 시스템은 사용자에 의하여 제어되고 있는 스타일러스의 이동을 추적할 수 있다.

포착된 이미지의 위치를 결정하기 위하여, 세 개의 프로세스가 사용될 수 있다. 그러나, 실제로 세 개의 프로세스의 특징은 세 개의 프로세스보다 적은 수로 결합될 수 있고 또는 세 개의 프로세스 이상으로 분리될 수 있다. 제1 프로세스는이미지를 탐색 가능한 형태로 인코딩하는 것에 관한 것이다. 하나의 예에서, 이미지는 탐색 가능한 형태로 인코딩되고 이미지의 위치(예를 들어, 이미지의 중심 좌표)와 연관된다. 포착된 이미지의 중심의 위치는 문서 이미지의 임의의 위치에 있을 수 있다. (문서 이미지의 임의의 위치에서 중심을 갖는) 임의의 서브 이미지는 인코딩될 수 있다. 이는, 문서 이미지의 다양한 위치가 인코딩될 수 있어, (포착된 이미지가 위치할 수 있는) 임의의 가능한 위치가 코드북에 저장되고 탐색될 수 있는 이점을 제공한다.

제2 프로세스는 인코딩된 이미지 또는 서브 이미지를 탐색 가능한 구조로 컴컴파일(compile)하는 것에 관한 것이다. 제3 프로세스는 정보의 인코딩된 세트를 탐색하여 원본 문서에 대하여 카메라의 이미지의 위치를 결정하는 것에 관한 것이다. 그 후 후속 처리는 카메라로부터의 이미지에 관한 스타일러스 펜 팁의 위치를 결정하기 위하여 사용될 수 있다.

도 2를 참조하면, 문서의 이미지는 단계 "203"에서 수신된다. 단계 "203"에서 수신된 문서의 이미지는 단계 "201"의 종이 문서의 스캔으로부터 발생할 수 있다. 선택적으로, 단계 "203"의 이미지는 단계 "202"의 애플리케이션으로부터 발생할 수 있다.

단계 "204"에서, 이미지는 서브 이미지로 파싱된다. 단계 "205"에서, 서브 이미지는 부착된 대응하는 위치를 갖는 탐색 가능한 형태로 변환된다. 즉, 몇몇 위치-코드 쌍(position-pair code)이 획득된다. 따라서, 정수 픽셀 유닛(integer pixel unit)을 갖는 각각의 위치는 대응하는 코드를 포함한다. 단계 "206"에서,단계 "205"로부터의 위치-코드 쌍을 갖는 인코딩된 데이터세트(dataset)는 탐색 가능한 코드북에서 정렬되고, 그것은 코드의 특성(property)에 의하여 인덱스(index)된다.

도 3을 참조하면, 코드북은 카메라로부터의 이미지에 대응하는 이미지에 대하여 탐색된다. 카메라로부터의 이미지는 대략 더 큰 이미지로부터의 서브 이미지의 크기일 수 있다. 서브 이미지를 대략 카메라로부터의 이미지의 크기와 동일하게 만들면 탐색 시간이 더 빨라진다. 이와 달리, 카메라를 서브 이미지로 스케일링(scaling)하는 것, 서브 이미지를 카메라 이미지 크기로 스케일링하는 것, 또는 두 종류의 스케일링의 임의의 조합이 이미지를 비교하기 위하여 사용될 수 있다. 단계 "304"에서, 단계 "302"로부터의 카메라로부터의 이미지는 코드북(301)로부터의 데이터세트와 비교된다. "304"의 비교 단계는 코드북 데이터(301)와 포착된 이미지(302)간의 임계치(threshold)를 초과하는 N 최적의 코드를 발견하는 단계를 포함한다. 단계 "302"의 카메라로부터의 이미지는 단계 "304"에서 직접 사용될 수 있고 또는 단계 "303"에서 전처리(preprocessing) 및 인코딩을 겪을 수 있다. 단계 "303"의 전처리는 그레이스케일 이미지(grayscale image)를 이진, 흑색 및 백색 이미지로 변환하는 단계를 포함할 수 있다. 전처리는 회전, 비뚤어짐(skewing), 백색 레벨 균형(white level balance), 양자화 에러(quantization error), 원근 수정(perspective correction) 등을 책임질 수 있다. 단계 "303"의 인코딩은 카메라로부터의 이미지(단계 "302")에 단계 "205"와 유사한 처리를 적용하는 것을 의미한다.

다음, 단계 "305"에서, (임계치를 넘는) 발견된 N 코드의 위치 후보가 결정된다. 단계 "303"으로부터 획득된 코드는 코드북의 크드와 비교되고, 단계 "303"으로부터의 코드와 가장 잘 매칭되는 코드가 유지된다. 단계 "305"에서 결정된 바와 같은 이미지의 위치로부터, 펜 팁의 위치가 단계 "306"에서 결정된다. 선택 사항으로, 점선 박스에 도시된 바와 같이, 새로운 주석이 단계 "307"에서 처리될 수 있고, 코드북이 단계 "308"에서 갱신될 수 있다. 주석을 추가하는 프로세스는, 사용자가 기존 주석 상에 또는 근처에 기입할 때 카메라 프레임의 위치를 확인하는 시스템의 능력을 향상시킬 수 있다.

포착된 이미지의 위치의 결정은 종이, 매체 또는 디스플레이 화면을 갖고서 사용자의 상호 작용의 위치를 결정하기 위하여 사용될 수 있다. 본 발명의 몇몇 특징에서, 펜은 종이 상에 기입하는 잉크 펜일 수 있다. 다른 특징에서, 펜은 사용자가 컴퓨터 디스플레이의 표면에 기입하는 스타일러스일 수 있다. 임의의 상호 작용이, 문서상의 인코딩된 투명 마크(watermark)를 알거나, 컴퓨터 화면에 디스플레이된 문서를 지원하는 시스템에 다시 제공될 수 있다. 카메라의 위치를 포착하는 것을 반복함으로써, 시스템은 사용자에 의하여 제어되고 있는 스타일러스의 이동을 추적할 수 있다.

도 4a 및 4b는 카메라(403)를 갖는 펜(401)의 예시적인 예를 도시한다. 펜(401)은 잉크 저장통을 포함하거나 포함하지 않을 수 있는 팁(402)을 포함한다. 카메라(403)는 표면(407)으로부터 이미지(404)를 포착한다. 또한 펜(401)은 점선 박스(406)에 도시된 바와 같이 추가적인 센서 및/또는 프로세서를 포함할 수 있다.또한 이들 센서 및/또는 프로세서(406)는 정보를 (예를 들어, 블루투스(Bluetooth) 또는 다른 무선 프로토콜을 통하여) 다른 펜(401) 및/또는 퍼스널 컴퓨터에 전송하는 능력을 포함할 수 있다.

도 4b는 카메라(403)에 의하여 보여진 이미지를 나타낸다. 하나의 예시적인 예에서, 카메라(403)의 관찰 영역(field of view)은 32x32 픽셀이고, N = 32이다. 따라서, 도 4b는 세로 32픽셀 x 가로 32 픽셀의 관찰 영역을 도시한다. N의 크기는 소망하는 이미지 해상도의 정도에 기초하여 조절 가능하다. 또한, 카메라(403)의 관찰 영역이 여기에서 예시적인 목적으로 사각형으로서 도시되어 있지만, 관찰 영역은 당해 기술 분야에서 알려진 바와 같은 다른 모양을 포함할 수 있다.

카메라(403)로부터 펜(401)으로의 입력은 이미지 프레임 {Ii}, i = 1, 2, ..., A의 시퀀스로서 정의될 수 있고, 여기서 Ii는 샘플링 시간 ti에서 펜(401)에 의하여 포착된다. 샘플링 레이트는 고정되거나 문서의 크기에 기초하여 가변적일 수 있다. 포착된 이미지 프레임의 크기는, 문서의 크기 및 요구되는 정확도에 따라서 크거나 작을 수 있다. 또한, 카메라 이미지 크기는 탐색되는 문서의 크기에 기초하여 결정될 수 있다.

카메라(403)에 의하여 포착된 이미지는 처리 시스템에 의하여 직접 사용되거나 프리-필터링(pre-filtering)을 겪을 수 있다. 이 프리-필터링은 펜(401)에서 발생할 수 있고 또는 펜(401)의 외부(예를 들어, 퍼스널 컴퓨터)에서 발생할 수 있다.

도 4b의 이미지 크기는 32x32 픽셀이다. 각각의 인코딩 유닛 크기가 3x3 픽셀이면, 포착된 인코딩된 유닛의 수는 대략 100 유닛일 것이다. 인코딩 유닛 크기가 5x5이면, 포착된 인코딩된 유닛의 수는 대략 36이다.

카메라(403)의 출력은 코드북의 인코딩된 정보와 비교될 수 있다. 코드북은 이미지의 색, 그레이스케일, 또는 흑색 및 백색 스캔으로부터 생성될 수 있다. 선택적으로, 코드북은 애플리케이션에 의하여 출력된 이미지 또는 수신된 이미지로부터 생성될 수 있다. 시퀀스 {Ii}와 코드북의 비교와의 출력은 시퀀스 {Pi}, i = 1, 2, ..., A로서 표시될 수 있고, 여기서 Pi는 샘플링 시간 ti에서 문서 비트맵의 펜 팁(402)의 모든 가능한 위치 후보를 나타낸다.

또한 도 4a는 위치(404)로부터의 패턴의 이미지(410)가 형성되는 이미지 평면(409)을 도시한다. 객체 평면(407) 상의 패턴으로부터 수신된 빛은 렌즈(408)에 의하여 초점이 맞추어진다. 렌즈(408)는 단일 렌즈 또는 여러 부분 렌즈 시스템(multi-part lens system)일 수 있지만, 간략히 하기 위하여 단일 렌즈로서 여기에서 표시된다. 이미지 포착 센서(411)는 이미지(410)를 포착한다.

이미지 센서(411)는 이미지(410)를 포착할 정도로 충분히 클 수 있다. 선택적으로, 이미지 센서(411)는 위치(412)에서의 펜 팁(402)의 이미지를 포착할 정도로 충분히 클 수 있다. 참조로, 위치(412)에서의 이미지는 가상 펜 팁으로서 참조된다. 이미지 센서(411)에 대한 가상 펜 팁 위치는 펜 팁, 렌즈(408)와 이미지 센서(411)간의 일정한 관계 때문에 고정된다는 것을 유의하여야 한다. (L_{virtual-pentip}에 의하여 표시된) 가상 펜 팁(412)의 위치로부터 (L_pentip에 의하여 표시된) 실제 펜팁(402)의 위치로의 변환 때문에, 사용자는 포착된 이미지(410)에 대한 실제 펜 팁의 위치를 결정할 수 있다.

변환 F_S->P는 카메라에 의하여 포착된 이미지를 종이 상의 실제 이미지로 변환한다.

기입하는 동안, 펜 팁 및 종이는 동일한 평면상에 있다. 따라서, 가상 펜 팁으로부터 실제 펜 팁으로의 변환은 또한 F_S->P이다.

변환 F_S->P는 원근 변환(perspective transformation)이라고 할 수 있다. 이것은 아래와 같이 F_S->P의 예측으로서 간략화된다.

여기서 θ, s_x, 및 s_y는 위치(404)에서 포착된 패턴의 두 개의 방향(orientation)의 회전 및 스케일이다. 또한, 사용자는 포착된 이미지를 종이상의 대응하는 배경 이미지와 매치함으로써 F'_S->P를 F_S->P로 개량(refine)할 수 있다. 또한, 사용자는 포착된 이미지를 종이상의 대응하는 배경 이미지와 매치함으로써 F'_S->P를 F_S->P로 개량할 수 있다. "개량"은 순환 메서드(recursive method)라고 하는 일종의 최적화 알고리즘에 의하여 더 정확한 원근 행렬(perspective matrix) F_S->P(8 파라미터)를 얻는 것을 의미한다. 순환 메서드는 행렬 F'_S->P를 초기 값으로 취급한다. F_S->P는 F'_S->P보다 더 정확하게 S와 P간의 변환을 나타낸다.

다음, 사용자는 눈금 측정(calibration)에 의하여 가상 펜 팁의 위치를 결정할 수 있다.

사용자는 펜 팁(402)을 종이 상의 알려진 위치 L_pentip에 위치시킨다. 다음, 사용자는, 카메라가 상이한 펜 포즈(pen pose)를 갖는 연속적인 이미지를 포착하는 것을 허용하면서, 펜을 기울인다. 포착된 각각의 이미지에 대하여, 사용자는 변환 F_S->P를 수신할 수 있다. 이 변환으로부터, 사용자는 펜 팁 L_{virtual-pentip}의 가상 이미지의 위치를 획득할 수 있다.

그리고

모든 이미지로부터 수신된 L_{virtual-pentip}를 평균함으로써, 가상 펜 팁 L_{virtual-pentip}의 정확한 위치가 결정될 수 있다.

가상 펜 팁 L_{virtual-pentip}의 위치는 이제 알려져 있다. 또한 사용자는 포착된 이미지로부터 변환 F_S->P를 획득할 수 있다. 마지막으로, 사용자는 이 정보를 사용하여 실제 펜 팁 L_pentip의 위치를 결정할 수 있다.

인코딩

인코딩될 이미지는 문서를 스캐닝하는 스캐너로부터 발생할 수 있다. 선택적으로, 인코딩될 이미지는 고정된, 전자 형태(예를 들어, 단지 읽기 권한만 있는 고정된 디스플레이 크기를 갖는 전자 파일)로 될 수 있다. 문서가 실제로 수정 가능할 수 있지만, 카메라의 위치를 확인하기 위하여, 인코딩된 버전은 일반적으로 카메라(403)에 의하여 보여진 문서에 대응한다. 그렇지 않으면, 상관 관계(correlation)는 여전히 발생할 수 있지만, 코드북은 스캐닝된 문서와 카메라로부터의 이미지간의 유사성만큼 정확하지 않을 수 있다.

이미지는 서브 이미지로 파싱된다. 각각의 서브 이미지는 용이하게 탐색 가능한 형태로 인코딩된다. 서브 이미지는 카메라(403)로부터의 출력과 동일한 크기로 설정될 수 있다. 이는 카메라(403)로부터의 출력과 코드북에 저장된 정보간의 대략 동일한 탐색 비교의 이점을 제공한다. 후속하는 처리는 결과로서 생기는 위치에 수행될 수 있어서 입력 이미지상의 주석의 위치를 확인하고 그리고/또는 스캔된 이미지에 기초한 컴퓨팅 시스템의 다른 동작을 제어할 수 있다.

아래 내용은 코드북을 생성하기 위하여 사용될 수 있는 다수의 상이한 코딩 선택 사항을 제시한다. 또한 펜(401)을 사용하는 동안 카메라로부터 포착된 이미지는 아래의 인코딩 방법 중 하나를 사용하여 인코딩될 수 있어서, 코드북의 정보와 카메라로부터의 인코딩된 정보의 비교를 용이하게 한다. 다양한 인코딩 시스템이 가능하다. 세 가지가 본 명세서에서 제공된다. 그러나, 다른 인코딩 기술이 사용될 수 있다.

간단한 코딩(Simple Coding)

첫 번째 종류의 코딩은 코드로서 동작하기 위하여 수신된 이미지로부터의 파싱된 서브 이미지를 사용하는 것을 포함한다. 도 5는 이 프로세스의 예를 도시한다. 입력 이미지(501)는 단계 "502"에서 서브 이미지로 파싱된다. ("503"으로 표시된) 서브 이미지는 이미지(501)의 위치와 연관되고 코드북(505)에 저장된다. 코드북(505)을 탐색하면, 카메라(403)로부터의 이미지는 코드북(505)의 하나 이상의 저장된 서브 이미지와 비교된다. 하나 이상의 후보는 비교로부터 제공될 수 있다. 또한, 펜 팁(402)의 위치가 결정될 수 있다.

감소된 크기 코딩(Reduced Size Coding)

다른 인코딩 예는 각각의 서브 이미지의 크기를 감소시키는 것을 포함한다. 우선, 이미지(601)가 수신된다. 이미지(601)는 이미지 블록 I로서 표시될 수 있다. 몇몇 예에서, 이미지 블록 I는 이미지 블록 I에 임계치를 적용함으로써 이진 이미지 I_b로 변환될 수 있다. 다음, 일반적으로 서브 이미지는 크기 m*m인 각각의 서브 이미지를 갖는 K_x*K_y에 의하여 표시될 수 있다. 도 6의 예에서, m = 4 이다. 다른 예에서, m = 32 인데, 여기서 서브 이미지는 도 4b의 그리드(grid)에 유사한 32*32 그리드로 분리된다.

또한, 각각의 서브 이미지의 재분할(subdivision) m은 카메라의 이미지 해상도에 직접 대응할 필요는 없다. 예를 들어, 재분할 m은 더 작은 재분할의 조합 또는 부분적 조합일 수 있다. 여기서, 더 작은 재분할 수가 32이고 (도 6으로부터) m=4이면, 각각의 재분할 m은 8개의 픽셀을 포함할 수 있다.

다음, 재분할의 내용의 임계치(604)(예를 들어, 참/거짓 테스트(true/false test)) 또는 규칙 기반 분석(rule-based analysis)가 적용될 수 있다. 서브 이미지(603)의 각각의 재분할에 적용될 임계치 또는 규칙의 예는, 각각의 재분할에 세 개의 연속적인 백색 칼럼이 있는지 여부를 결정하는 것을 포함할 수 있다. 물론, 다른 규칙 기반 분석이 이 예를 대신하여 또는 함께 사용될 수 있다.

이 분석(604)의 출력에 기초하여, 행렬(605)이 생성될 수 있다. 행렬(605)은 서브 이미지(603)의 각각의 재분할에 적용되는 바와 같은 임계치(604)의 출력의 예를 도시한다. K 행렬(K_x가로 * K_y세로)은 값 0/1을 갖는데, 여기서 1은 참을 의미하고 0은 거짓을 의미한다. 결과로서 생기는 K 행렬은 이미지 블록 I의로서 표현될 수 있는데, 여기서 k-win은 본 코딩 방법을 참조하는 다른 방법이다.는 행렬(605)로서 서브 이미지 맵(map)의 예를 갖는 식 1로서 표현될 수 있다.

(1)

이런 종류의 코딩은 제1 행렬과, 카메라(403)로부터의 이미지로부터 형성된행렬간의 거리를 결정함으로써 탐색될 수 있다. 두 행렬간의 거리는 식 2에 의하여 표시되는 바와 같은 두 행렬의 해밍 거리(hamming distance)이다.

(2)

여기서 Ham(a, b)은 행렬 a와 행렬 b간의 해밍 거리이다.

방사 코딩(Radial coding)

방사 코딩이라고 하는 다른 종류의 코딩이 도 7을 참조하여 설명된다. 이미지(701)는 단계 "702"에서 수신되고 서브 이미지로 파싱된다. 단계 "703"에서, 서브 이미지는 방향 S로 서브 이미지의 중심 근처에서 벡터 T를 회전시킴으로써 샘플링된다. "703"의 서브 이미지 마주치는 정보(encountered information)는 감싸지 않은 이미지(unwrapped image)(704)에 의하여 표현된다. 환언하면, "703"의 서브 이미지 블록은 극 좌표(polar coordinate)에서 샘플링된다.

"703"의 서브 이미지의 중심 픽셀(또는 영역)은 원점으로 취급되고, 샘플링 각도는 S이며, 샘플링 벡터의 크기는 T이다. 32 x 32 픽셀 영역에 대하여, S=32이고 T=16이다.

각각의 샘플링 포인트 (t, s), t = 0, 1, ..., T-1, s = 0, 1, ..., S-1에 대하여, 데카르트 좌표(Cartesian coordinate)에서의 위치는 (x_t,s, y_t,s)이고, 여기서 x_t,s및 y_t,s는 각각 식 3 및 4에 의하여 표시된다.

(3)

(4)

포인트 (t, s)의 그레이 레벨 값은 식 5에 의하여 표시된다.

(5)

여기서 F는 식 6에 의하여 표시된 2-D 가우스 필터(Gaussian filter)이다.

(6)

여기서 P(x, y)는 위치 (x, y)에서의 픽셀의 그레이 레벨 값을 의미한다. 괄호 "[]"는 실제 값의 가장 근접한 정수를 의미한다. σ 및 q는 필터 파라미터이다. 필터 파라미터의 예는 σ = 1.15, q = 1을 포함할 수 있다. 그 값은, 어떤 값이 주어진 환경에 가장 적당한지를 결정하는 알고리즘을 실험적으로 시험함으로써 결정된다.

극 좌표가 "703"에 도시된 바와 같이 서브 이미지 블록을 분석하기 위하여 사용되기 때문에, 결과로서 생기는 분석은 카메라 프레임과 서브 이미지간의 회전 거리를 처리하는데 있어 더 높은 정도의 로버스트(robust)를 갖는다. 포착된 카메라 이미지의 회전은 "704"의 이미지의 이동(shifting)으로 옮겨지기 때문에, 코드북의 정보와 비교될 카메라 이미지의 회전은 복잡한 문제가 아니다.

"704"의 이미지는 표(705)에 도시된 바와 같이 벡터 T 상으로 각각의 각도 S에 대한 이진 표현으로 변환될 수 있다. 각도는 값 2π·s/S이고, s는 0 내지 S-1이다. 이미지 또는 서브 이미지(701, 702, 703, 704)는, 초기에 스캔, 수신 또는 포착될 때 이미 이진 이미지로 변환되지 않았으면, 다수의 위치에서 이진 (흑색 및 백색) 이미지로 변환될 수 있다.

그레이 레벨 값 행렬 {G_t,s}(여기서 t = 0, 1, ..., T-1, s = 0, 1, ..., S-1)는, 그레이 레벨 행렬의 값에 임계치를 적용함으로써 (식 7에 도시된 바와 같이) 이진 행렬로 변환될 수 있다.

(7)

그 후 이 코드는 더 큰 이미지의 서브 이미지의 위치에 관한 정보를 갖는 코드북으로 컴파일될 수 있다.

코드북의 상이한 코드를 갖는 카메라 이미지의 위치를 결정하기 위하여, 사용자는 카메라 이미지와 다른 코드 표현간의 거리를 결정할 수 있다. 후보까지의 가장 적은 거리 또는 가장 작은 거리의 세트는 다양한 위치의 최상의 선택을 표시할 수 있다. 이 거리는 카메라 이미지와 현재의 서브 이미지간의 해밍 거리에 의하여 계산될 수 있다.

상술한 바와 같이, 카메라로부터의 포착된 이미지로부터의 거리는 코드북으로부터의 하나 이상의 코드 세그먼트와 비교될 수 있다. 적어도 두 종류의 거리는 방사 코드, 공통 해밍 거리 및 회전-불변 거리(rotation-invariant distance)에 대하여 사용될 수 있다. 다른 거리 결정이 사용될 수 있다.

공통 해밍 거리는 코드북 코드와 카메라 이미지와 연관된 코드간의 거리를 결정하기 위하여 식 8에서 표현되는 바와 같이 사용될 수 있다.

(8)

사용될 수 있는 다른 종류의 거리는 회전-불변 거리를 포함한다.

회전 불변 거리를 사용하는 이점은 카메라의 회전이 식 9에 도시된 바와 같이 표시된다는 것이다.

(9)

여기서는 식 10에서와 같이 정의된다.

(10)

코드북 생성(Codebook Generation)

코드북은 이미지로부터 취해지고 이미지의 위치와 연관된 서브 이미지에 관한 코드를 저장한다. 코드북은 카메라(403)로 이미지를 포착하기 전에 생성될 수 있다. 선택적으로, 코드북은 생성되거나 사용하는 동안 적어도 증가될 수 있다. 예를 들어, 카메라는 동작하는 동안 이미지를 선택할 수 있다. 단지 사용자가 참조 부호 "501", "601" 및 "701"에 도시된 것과 같은 기존의 정보에 기입하면, 코드북은 카메라에 의하여 포착된 이미지의 위치를 결정하기 위하여 현재 설명된 바와같이 사용될 수 있다. 그러나, 사용자가 새로운 주석을 기입하면, 코드북은 될 수 있는 만큼 정확하지 않을 수 있다. 따라서, 새로운 주석이 펜(401)에 의하여 추가되면, 이들 주석은 코드북으로 다시 포함될 수 있어서 미래의 주석은 현재의 표현(on-screen representation)과 더 정확하게 연관될 것이다.

코드북 생성은 아래와 같다. "503", "603" 및 "703"에 도시된 서브 이미지는 인코딩 방법에 의하여 인코딩된다. 다음, 위치-코드 쌍은 코드북을 생성하도록 조직된다. 조직 방법 중 적어도 두 종류가 코드북을 생성하기 위하여 사용될 수 있다. 물론 다른 방법도 코드북을 생성하기 위하여 사용될 수 있다. 이들 두 개의 방법은 단지 예시로서 주어진다.

첫 번째 방법은 각각의 노드가 코드 및 위치 시퀀스를 포함하는 선형 리스트(linear list)에 위치-코드 쌍을 위치시키는 것인데, 여기서 모든 위치는 코드로 매핑된다. 그 후 코드북은 식 11처럼 표시될 수 있다.

(11)

여기서 Ψ는 Ψ={C_Ψ, P_Ψ}로서 정의되고, P_Ψ는 코드가 C인 문서 비트맵의 모든 위치의 세트이고, 식 12에 나타나 있다.

(12) P_Ψ= {p_i| 위치 p_i에서의 코드는 C_Ψ이다. i = 1, 2, ...}

다음, 세트 Ω는 알파벳순으로 각각의 멤버 Ψ의 코드에 의하여 정렬될 수 있고, 그 후 선형 리스트 형태의 코드북이 획득된다.

두 번째 방법은 대응하는 위치를 갖는 코드를 이진 트리에 위치시키는 것이다.

이진 트리는 도 8에 의하여 도시된 바와 같이 코드간의 해밍 거리에 기초할 수 있다. 우선, 모든 코드 세트 Ω의 중심(centroid) C_C0가 발견된다. 다음, 중심 C_C0로의 최대 해밍 거리를 갖는 코드 C_C0가 발견된다. 다음, 코드 C_C0로의 최대 거리를 갖는 코드 C₁이 발견된다.

그 후 코드 세트 C는 두 개의 서브 세트 Ω₀및 Ω₁으로 분리된다. Ω₀의 내용은 식 12에 의하여 표시될 수 있고 Ω₁의 내용은 식 13에 의하여 표시될 수 있다.

(12)

(13)

다음, 서브 세트 Ω₀및 Ω₁에 대하여, 중심을 발견하는 단계, 중심까지의 최대 거리를 갖는 코드를 발견하는 단계, 중심으로부터 가장 먼 코드까지의 최대 거리를 갖는 코드를 발견하는 단계, 서브 세트를 분리하는 단계가 서브 세트의 멤버의 수가 1이 될 때까지 반복된다.

후보 탐색(Candidate Search)

카메라로부터 포착된 프레임에 대한 위치 후보는 코드북을 탐색함으로써 결정될 수 있다. 각각의 카메라 포착된 프레임 Ii에 대하여, 펜 팁(402)의 후보 위치는 아래와 같이 결정될 수 있다.

1) 카메라로부터의 프레임 Ii는 코드북을 생성하기 위하여 사용된 동일한 인코딩 방법으로 인코딩된다.

2) 인코딩된 프레임 E_Ii는 코드북의 정보와 비교된다. 인코딩된 프레임 E_Ii와 코드북의 인코딩된 정보간의 거리가 결정된다. 인코딩된 프레임 E_Ii까지의 최소 거리를 갖는 코드북의 인코딩된 정보는 위치 후보 또는 위치 후보 중의 하나로서 사용된다. 이들 후보 중에서, 가장 적합한 것이 선택된다.

최상의 후보를 위한 선택은 다수의 상이한 분석을 포함할 수 있다. 우선, 가장 근접하게 매칭하는(코드 E_Ii로의 최소 거리) 후보가 선택될 수 있다. 선택적으로, 후보 중 가장 최근의 세트가 후보의 최근 시퀀스와 비교될 수 있고, 시간에 대하여 프레임을 비교할 수 있다. 결과로서 생기는 비교는 서로 가장 근접하는 연속된 위치 위치(position locations)를 발생시킨다. 이 결과는, 펜 팁이 시간에 대하여 가능한 한 적게 이동했다는 것을 지시하기 때문에 기대된다. 선택적인 결과는, 펜 팁이 매우 단 시간에 페이지 주위로 이동했다는 것을 지시할 수 있다.

코드북을 탐색하기 위하여, 아래의 내용이 사용될 수 있다. 코드 C_I를 갖는 각각의 포착된 이미지 I에 대하여, 가장 매칭하는 코드 세트 S(C_I)가 식 14와 같이 정의된다.

(14)

방사 코드가 사용되면, 거리 함수는 Dist^r-i(·,·)이 되어야 한다.

N_S> N_thresh·d_thresh이고 N_thresh가 카메라 성능에 기초하여 선택되면, S(C_I)의 더 적은 거리를 갖는 단지 N_thresh가 유지된다.

이미지 I에 대한 위치 후보의 세트는 식 (15)에 의하여 표시될 수 있다.

(15)

본 발명이 첨부된 청구항을 사용하여 정의되지만, 본 발명이 본 명세서에서 설명된 요소 및 단계를 임의의 조합 또는 서브 조합으로 포함하도록 의미되는 데 있어서는 이들 청구항은 예시적이다. 따라서, 본 발명을 정의하는 임의의 수의 선택적인 조합이 있고, 이들은 다양한 조합 또는 서브 조합으로 상세한 설명, 청구항 및 도면을 포함하면서, 명세로부터 하나 이상의 요소를 포함한다. 본 명세서를 참조하면, 단독으로 또는 본 명세서에서 정의된 하나 이상의 요소 또는 단계를 조합하여 본 발명의 특징의 선택적인 조합이 본 발명의 수정 또는 변형 또는 본 발명의 일부로서 이용될 수 있다는 것을 당업자에게 명백할 것이다. 본 명세서에서 포함된 본 발명에 관한 설명은 이러한 모든 수정 및 변형을 커버하는 의도일 수 있다.

본 발명에 의하면, 사용자가 보여지는 이미지 상에 위치를 알아낼 수 있다. 사용자가 이러한 위치를 알 수 있음으로써, 물리적 문서에 주석을 기입하고 주석을 물리적 문서의 전자 버전과 연관시킬 수 있게 된다. 또한 본 발명에 의하면, 물리적 문서를 인코딩할 수 있고, 인코딩된 문서를 탐색 가능한 형태로 조직할 수 있다.

Claims

문서의 이미지를 인코딩하는 시스템에 있어서,

상기 문서의 상기 이미지를 수신하는 입력 장치;

상기 이미지를 서브 이미지들로 파싱하는 파서(parser);

상기 서브 이미지들을 코드로 인코딩하는 인코더; 및

상기 이미지에 대한 상기 서브 이미지들의 위치와 연관된 상기 코드를 저장하는 저장 장치

를 포함하는 시스템.
제1항에 있어서, 상기 인코더는 상기 서브 이미지들의 섹션들(sections)에 기초하여 인코딩하는 시스템.
제1항에 있어서, 상기 인코더는 상기 서브 이미지들의 방사 분석(radial analysis)에 기초하여 인코딩하는 시스템.
코드북을 생성하는 시스템에 있어서,

이미지의 서브 이미지들과 연관된 코드들을 수신하는 입력 장치;

상기 코드들을 상기 코드북으로 조직하는 프로세서 - 상기 코드들은 상기 이미지에 대한 상기 서브 이미지들의 위치와 연관됨 - ; 및

상기 코드북을 저장하는 저장 장치

를 포함하는 시스템.
제4항에 있어서, 상기 프로세서는 상기 코드들을 상기 코드들의 선형 리스트로 조직하는 시스템.
제4항에 있어서, 상기 프로세서는 상기 코드들을 이진 트리로 조직하는 시스템.
제6항에 있어서, 상기 이진 트리는 상기 코드북의 중심(centroid)으로부터의 거리에 기초하여 상기 코드들을 분리하는 시스템.
제7항에 있어서, 상기 이진 트리는 상기 코드북의 서브섹션들의 중심들로부터의 거리에 기초하여 상기 코드들을 더 분리하는 시스템.
코드북을 탐색하는 시스템에 있어서,

이미지의 서브 이미지들과 연관된 코드들 및 상기 이미지 내에서의 서브 이미지들의 위치와 연관된 정보을 갖는 코드북을 수신하는 제1 입력 장치;

펜에 부착된 카메라로부터 이미지를 수신하는 제2 입력 장치;

상기 카메라로부터의 상기 이미지를 인코딩하고 상기 카메라 이미지와 연관된 코드를 출력하는 인코더;

상기 코드북에서 상기 카메라 이미지와 연관된 상기 코드와 유사한 하나 이상의 코드 후보를 탐색하는 프로세서; 및

상기 하나 이상의 코드 후보와 연관된 하나 이상의 위치를 출력하는 출력 장치

를 포함하는 시스템.
문서 이미지로부터의 정보를 인코딩하는 방법에 있어서,

상기 문서 이미지를 수신하는 단계;

상기 문서를 서브 이미지들로 파싱하는 단계; 및

상기 서브 이미지들에 연관된 정보를 코드북에 추가하는 단계

를 포함하는 방법.
제10항에 있어서,

상기 서브 이미지들이 상기 문서 이미지의 어디에 위치하는 지에 관한 위치 정보를 상기 서브 이미지들과 연관시키는 단계

를 더 포함하는 방법.
제10항에 있어서,

적어도 하나의 상기 서브 이미지를 처리하여, 상기 하나의 서브 이미지 보다더 적은 정보를 갖는 데이터세트를 생성하는 단계

를 더 포함하는 방법.
제10항에 있어서,

방사 코딩(radial coding)에 의하여 적어도 하나의 상기 서브 이미지를 처리하는 단계

를 더 포함하는 방법.
제10항에 있어서,

상기 서브 이미지들을 이미지 처리하는 단계

를 더 포함하는 방법.
코드북을 생성하는 방법에 있어서,

서브 이미지에 관한 인코딩된 정보를 수신하는 단계;

상기 서브 이미지가 더 큰 이미지 내에서 어디에 위치하는 지에 관한 위치 정보를 수신하는 단계;

상기 인코딩된 정보를 상기 위치 정보와 연관시키는 단계; 및

상기 연관된 정보를 상기 코드북으로서 저장하는 단계

를 포함하는 방법.
제15항에 있어서, 상기 저장하는 단계는 상기 코드북을 선형 리스트로서 저장하는 단계를 더 포함하는 방법.
제15항에 있어서, 상기 저장하는 단계는 상기 코드북을 이진 트리로서 저장하는 단계를 더 포함하는 방법.
제17항에 있어서, 상기 이진 트리에 저장하기 위하여 상기 인코딩된 정보의 크기를 감소시키는 단계를 더 포함하는 방법.
제17항에 있어서,

상기 인코딩된 정보의 중심(centroid)을 발견하는 단계;

상기 중심으로부터 가장 먼 상기 인코딩된 정보의 제1 코드를 발견하는 단계;

상기 제1 코드로부터 가장 먼 상기 인코딩된 정보의 제2 코드를 발견하는 단계;

상기 인코딩된 정보를 두 개의 데이터세트로 분리하는 단계 - 하나는 상기 제1 코드에 더 근접하고, 다른 하나는 상기 제2 코드에 더 근접함 -

를 포함하는 방법.
제19항에 있어서, 이진 트리가 구현될 때까지 중심을 발견하는 상기 단계부터 상기 인코딩된 정보를 분리하는 상기 단계까지를 반복하는 방법.