KR20060018814A

KR20060018814A - 메모판에서 정보를 광학적으로 추론하는 도구

Info

Publication number: KR20060018814A
Application number: KR1020057015616A
Authority: KR
Inventors: 스튜어트 알. 칼
Original assignee: 일렉트로닉 스크립팅 프러덕츠 인코포레이션
Priority date: 2003-02-24
Filing date: 2004-02-24
Publication date: 2006-03-02
Also published as: US20080080791A1; EP1611502B1; US7203384B2; CN1774690B; CA2517168A1; JP4567664B2; EP1611502A2; US20040164972A1; KR100947405B1; CN1774690A; CA2517168C; JP2007524885A; WO2004077107A2; US7474809B2; WO2004077107A3

Abstract

본 발명은 메모판에 손으로 쓴 정보를 추론하는 메모도구를 제공한다. 이를 위해, 손으로 쓴 정보는 다음 행위의 결과로 메모판에 표시된 모든 정보를 포함한다: 필기, 메모, 제도, 스케치, 기타 메모판에 흔적을 남기는 마킹 등. 또, 손으로 쓴 정보는 메모판에 어떤 흔적도 남기지 않고 메모판에 생긴 정보를 의미하기도 한다. 메모도구의 펜촉은 메모판에 언제 메모할지를 결정하기 위한 것이다. 또, 메모판을 보여주기 위한 광학기구를 구비한다. 광학기구는 펜촉에 대해 메모도구 말단부에 설치되어 펜촉에 연계되는 것이 바람직하다. 이를 위해 광학기구의 광축은 펜촉을 통과한다. 메모도구는 또한 광학기구로부터 메모판의 광학데이타를 수신하고 이 데이타로부터 메모판의 모서리와 경계선에 대한 펜촉의 물리좌표를 결정하기 위한 처리부를 구비한다.

Description

메모판에서 정보를 광학적으로 추론하는 도구{Implement for Optically Inferring Information from a Planar Jotting Surface}

본 발명은 사용자가 필기구 등의 손에 쥐는 도구를 이용해 메모판이나 필기면에 쓰거나, 그리거나, 스케치하거나 기타 표시한 정보를 획득하는 것에 관한 것이다.

필기 및 제도 기술은 고전적인 것이고 전통적으로 많은 기술이 있다. 시간이 갈수록 단어를 쓰거나 제도, 스케치 마킹 및 그림을 그리는데 다양한 종류의 도구가 사용되었다. 이들 도구는 대부분 기다란 형상을 갖고, 기본적으로 단면이 둥그스름하며 끝에는 펜촉이 달려있다. 이들은 일반적으로 사용자의 손(오른손잡이는 오른손)으로 쥐고 작업하도록 되어있다. 구체적으로, 사용자는 메모판이나 필기면에서 필기구를 움직이면서 펜촉으로 눈에 보이는 흔적을 남긴다. 이런 흔적은 펜촉에서 나오는 재료, 예컨대 표시재료(연필의 경우 흑연)를 마모시켜 생기거나, (펜의 경우) 잉크로 표면을 직접 적셔 생긴다. 한편, 표면에 다른 식으로 물리적인 흔적으로 남기도 한다.

가장 널리 사용되는 필기구로는 펜과 연필이 있지만, 가장 편리한 메모판은 각종 사이즈의 종이나 기타 표시가 가능한 평평한 물체이다. 실제로는, 과학과 공 학의 놀랄만한 발달에도 불구하고, 펜과 종이는 현재의 전자시대에도 여전히 가장 간단하고도 매력적인 필기도구이다.

전자장치와의 통신에 있어서 전자장치에 대한 입력 간섭이 가장 문제가 된다. 예를 들어, 컴퓨터는 키보드, 버튼, 포인터, 마이크, 기타 동작을 암호화하고 이를 컴퓨터로 처리할 수 있는 데이타로 변환하는 장치와 같은 입력장치들을 이용한다. 불행히도, 이런 장치들 어느 것도 펜과 종이만큼 사용자에게 친숙하지 않다.

이런 입력간섭 문제는 종래부터 인식되었으며, 다양한 해결책이 제시되었다. 대부분의 해결책은 종이나 기타 필기면(예; 라이팅 태블렛)에서의 펜의 움직임에서 전자식 디지탈 데이타를 유도하는 것이다. 이런 종래의 기술의 예로는 다음과 같은 것이 있다:

미국특허:

4,471,162	4,896,543	5,103,486	5,215,397	5,226,091
5,294,792	5,333,209	5,434,371	5,484,966	5,517,579
5,548,092	5,661,506	5,577,135	5,581,276	5,587,558
5,587,560	5,652,412	5,661,506	5,717,158	5,737,740
5,750,939	5,774,602	5,781,661	5,902,968	5,939,702
5,959,617	5,960,124	5,977,958	6,031,936	6,044,165
6,050,490	6,081,261	6,100,877	,6,104,387	6,104,388
6,108,444	6,111,565	6,124,847	6,130,666	6,147,681
6,153,836	6,177,927	6,181,329	6,184,873	6,188,392
6,213,398	6,243,503	6,262,719	6,292,177	6,330,359
6,334,003	6,335,723	6,335,724	6,335,727	6,348,914
6,396,481	6,414,673	6,421,042	6,422,775	6,424,340
6,429,856	6,437,314	6,456,749	6,492,981	6,498,604

미국 특허출원

2002-0001029

2002-0028017

2002-0118181

2002-0148655

2002-0158848

2002-0163511

유럽특허출원:

0,649,549 B1

국제특허출원

WO 02/017222 A2

WO 02/058029 A2

WO 02/064380 A1

WO 02/069247 A1

WO 02/084634 A1

위의 특허에서 여러가지 해결책을 제시하지만, 이들 모두 사용자의 수고를 필요로 한다. 이들중 많은 기술은, 사용자가 다루기 어려운 펜으로 필기를 하거나 상태를 감시하고 필기면에 쓴 정보를 추적하여 디지탈로 하는 귀찮은 보조시스템과 장치가 필요하다. 따라서, 여전히 입력간섭의 문제가 해결되지 않았다.

발명의 요약

종래와는 달리, 본 발명의 도구는 간접적으로 펜촉의 물리좌표, 즉 광학기구에서 얻은 메모판의 광학데이타를 추론한다. 따라서, 펜촉의 물리좌표를 결정할 수 있기만 하면 메모판에 대한 어떤 광학데이타도 사용할 수 있다. 예컨대, 메모판의 모든 모서리나 모서리, 경계선 또는 일부분을 사용할 수 있다. 한편, 메모판에 있는 랜드마크나 모든 광학인식 특징부도 사용할 수 있다.

펜촉으로 메모판에 메모할 시기를 결정하는 수단으로는 메모도구에 설치된 감압부가 바람직하다. 스트레인게이지, 기계식 압력센서, 압전소자, 기타 펜촉과 메모판 사이의 접촉인식수단을 사용할 수도 있다.

바람직한 실시예에서, 광학기구는 메모판 전체나 일부를 촬상하는 촬상기구이다. 메모판의 화상ㅇ르 투사하기 위한 감광어레이를 촬상기구에 갖추는 것이 더 바람직하다. 처리부는 메모판의 경계선과 모서리를 화상에서 검출하기 위한 경계선 검출부나 회로(예; 처리부의 마이크로프로세서내의 펌웨어)를 구비한다.

메모도구는 화상변환을 위한 화상변환부를 더 구비한다. 구체적으로, 화상변환부는 화상을 보정하기 위한 적당한 물리적 광학계(예; 렌즈)는 물론 화상을 보정하고 화상에 대한 각종 동작을 수행하기 위한 소프트웨어 루틴을 포함할 수 있다. 예를 들어, 화상변환부는 평면투사용으로 화상을 보정하는 화상변환기, 구면투사용으로 화상을 보정하는 화상변환기, 또는 메모판의 오일러 각도를 결정하기 위한 화상변환기를 포함할 수 있다.

바람직한 실시예에서, 경계선 검출부에서 확인한 화상의 모서리 및/또는 경계선에 대해서만 보정과 변환을 한다. 요컨대, 메모판에 대응하는 화상 부분, 특히 화상의 경계선, 모서리, 랜드마크, 기타 광학인식 특징부 및/또는 그 일부분을 보정하고 변환한다.

처리부에 속하는 비율계산모듈은 화상으로부터 펜촉의 물리좌표를 결정한다. 마찬가지로, 바람직한 실시예에서, 이런 결정은 메모판에 대응하는 화상의 관련부분, 특히 화상의 경계선, 모서리, 랜드마크, 또는 기타 광학인식 특징부 및/또는 그 일부분으로부터 이루어진다.

감광어레이로는 포토다이오드나 포토트랜지스터 어레이, 바람직하게는 CMOS 감광어레이를 포함한 모든 적당한 감광 어레이가 적당하다. 촬상부에서 사용되는 광학계로는 굴절광학계나 반사광학계가 있지만, 반사굴절 시스템이 바람직하다. 어느 경우에도, 광학계의 시야범위는 메모판의 면적보다 훨씬 크므로, 촬상부는 언제라도 펜촉이 메모판과 접촉할 때 메모도구의 위치를 위해 메모판의 경계선과 모서리를 검출할 수 있다.

사용자가 쓰거나 스케치하거나 그린 것을 결정하기에 충분한 속도로 펜촉의 물리좌표를 결정하기 위해, 메모도구는 프레임 제어부를 갖는다. 프레임 제어부는 메모판을 촬상하는 일정 프레임 속도를 결정한다. 바람직한 프레임 속도는 15Hz이지만, 30Hz 이상이 더 바람직하다.

끝으로, 외부장치와 펜촉의 물리좌표를 교신하기 위한 장치를 메모도구에 갖춘다. 이 통신장치는 적외선 포트, 초음파 포트, 광학포트 등을 포함한 모든 종류의 데이타 통신포트를 포함할 수 있다. 외부장치는 컴퓨터, 핸드헬드 장치, 네트웍 단말기, 다운로드 장치, WAN이나 LAN에 대한 전자 게이트웨이(예; 인터넷), 저장장치, 프린터, 기타 펜촉의 물리좌표를 저장, 인쇄, 중계 및/또는 처리할 수 있는 외부장치가 있다. 경우에 따라서는, 펜촉의 물리좌표를 실시간으로 처리하거나 그렇지 않을 수 있다.

바람직한 실시예에서, 메모도구는 메모판을 초기화하고 인식하기 위한 수단을 더 갖춘다. 물론, 메모판의 크기와 종류는 사용자가 선택하거나 입력할 수 이ㅆ다. 이런 수단은 전술한 광학기구와 처리부는 물론, 메모판의 표준 크기를 갖는 메모리를 포함한다. 예를 들어, 메모판이 표준 크기의 종이일 경우, 종이의 화상을 메모리에 저장할 수 있다. 바람직하게, 저장된 이들 화상은 메모판에 대해 메모판의 공지된 위치와 방향으로 취해진다. 다시말해, 메모판상의 펜촉의 공지된 물리좌표와 메모도구의 공지된 공간방향(예; 공지된 오일러 각도)으로 취해진다.

이하, 첨부 도면들을 참조하여 본 발명에 대해 자세히 설명한다.

도 1은 입사각(θ; 오일러 각도) 평면으로 보이는 본 발명에 따른 메모도구의 측면도;

도 2는 도 1의 메모도구를 사용할 때 그 물리변수들을 설명하는 3차원 도면;

도 3은 도 1의 메모도구의 촬상원리를 보여주는 측면도;

도 4는 도 1의 메모도구의 처리부의 블록도;

도 5는 촬상부에 속하는 감광어레이에 투사되는 메모판의 화상을 보여주는 도면;

도 6은 메모판의 화상에 대한 경계선 및/또는 모서리 검출과정을 보여주는 도면;

도 7a-d는 메모판에 대한 메모도구의 방향을 오일러 각도로 결정하기 위해 화상에 대해 처리부에서 실행하는 기능을 보여주는 도면들;

도 8은 방향잡이 손잡이가 달린 메모도구의 측면도;

도 9는 화상의 보정과 변수화 과정을 보여주는 도면;

도 10은 보정된 화상을 보여주는 도면;

도 11은 펜촉의 물리좌표를 결정하는 보정변환된 화상을 보여주는 도면;

도 12는 초기와 및 크로스체크 목적으로 사용될 수 있는 물리적 메모판과 메모판 화상 사이의 일치관계를 보여주는 도면;

도 13은 반사굴절 시스템을 이용하는 광학계를 보여주는 도면;

도 14는 도 13의 반사굴절 시스템을 이용한 필기구의 윗부분을 보여주는 도면;

도 15는 다른 랜드마크와 특징부를 이용해 펜촉의 물리좌표를 결정하는 과정을 보여주는 3차원 도면.

본 발명에 따른 메모도구(10)를 보여주는 도 1과 도 2~4를 참조하여 본 발명을 설명한다. 도 1의 메모도구(10)는 펜으로, 구체적으로는 잉크펜이고, 더 정확하게는 볼펜이지만, 마커, 연필, 붓, 기타 메모판(12)에 정보를 메모할 수 있는 필기나 스케치나 제도용의 모든 도구를 포함한다. 한편, 메모도구(10)는 메모판(12)에 어떠한 영구적인 표시나 변형도 남기지 않고 메모판에 정보를 메모하고 추적하는 철필 등의 도구일 수도 있다. 이런 메모판은 전자식 데이타 처리장치에 입력하기 위한 감압 디지털 태블렛이나 기타 다른 표면을 포함한다. 본 실시예에서 메모도구 는 기존의 필기, 스케치, 제도 또는 그림기구와 비슷한 형상을 갖는다. 구체적으로, 메모도구(10)는 사용자의 손(16)으로 쥐기 쉬운 원형의 기다란 몸체(14)를 갖는다.

메모판(12)은 전술한 바와 같이 메모도구(10)로 메모할 수 있는 평판이다. 기하학적 이유로, 메모판(12)은 사각형이 바람직하다. 본 실시예에서 메모판(12)은 지지면(18)에 펼칠 수 있는 크기의 표준형이나 비표준형의 모든 종이이다. 메모판(12)이 PDA 장치의 태블렛과 같은 디지털 태블릿, 컴퓨터 스크린 또는 기타 단단한 표면일 경우, 지지면(18)이 불필요할 수 있다. 그러나, 메모판(12)은 모서리, 경계선, 랜드마크 등의 특징을 광학적으로 인식할 수 있어야 한다. 또, 이들 특징은 메모작업중에 메모판(12)의 나머지 부분에 대해 그 위치를 바꾸지 않는 것이 중요하다.

메모도구(10)의 펜촉(20) 끝에는 볼포인트(22)가 달려있다. 펜촉(20)이 메모할 시기를 결정하기 위해 펜촉(20) 부근에 압력센서(24)를 설치한다. 볼포인트(22)가 메모판(12)에 접촉할 때 메모동작이 일어난다. 압력센서(24)로는 스트레인게이지가 좋지만, 기계식 압력센서나 압전소자도 가능하고, 당업자라면 알 수 있듯이, 다른 압력센서도 사용할 수 있다. 메모도구(10)에는 또한 초기화 스위치(26)가 달려있다. 이 스위치는 사용자가 동일한 메모판(12)이나 새로운 메모판(도시 안됨)에 메모할지 여부를 결정하는데 사용된다.

메모도구(10)의 말단부(32)에 광학기구(30)를 설치한다. 광학기구(30)는 메모판(12)을 보기 위한 것으로서, 메모판의 경계를 넘는 시야범위(34)를 갖는데, 이 에 대해서는 후술한다. 본 실시예에서는 3개의 지지부재(36)에 광학기구(30)를 설치했다. 지지부재(36)는 기계적 안정성을 확보하고 부근의 시야범위(34)를 방해하지 않으면 어떤 구조도 가질 수 있다. 광학기구(30)의 광축(39)은 펜촉(20)까지 이어진다. 구체적으로, 광축(39)은 펜촉(20)을 통과한다. 따라서, 광학기구(30)의 시야범위(34)의 중심은 펜촉(20)이다. 한편, 광축(39)이 펜촉(20)에서 벗어날 수도 있다. 그러나, 시야범위(34)의 대칭성 때문에, 광학기구(30)의 광축(39)은 펜촉(20)과 볼포인트(22)의 중심을 통과하는 것이 바람직하다.

메모도구(10)는 외부장치(40)와의 통신기구(38)를 갖는다(도 2 참조). 본 실시예에서 통신기구(38)는 적외선(42)으로 암호화된 데이타의 적외선 송수신포트이지만, 초음파 포트나 광학 포트를 포함한 모든 종류의 데이타 통신포트를 사용할 수도 있고, 이에 한정되지도 않는다. 한편, 외부장치(40)는 컴퓨터, 핸드헬드장치, 네트웍 단말기, 다운로드 장치, WAN이나 LAN의 전자 게이트웨이(예; 인터넷), 저장장치, 프린터, 기타 펜촉(20)의 물리적 좌표를 저장, 인쇄, 중계 및/또는 처리할 수 있는 모든 외부장치일 수 있다.

도 2에서는, 메모도구(10)의 물리적 변수에 대해 직교좌표계와 극좌표계로 알기쉽게 설명한다. 이들 좌표계의 원점은 펜촉(20)의 위치, 구체적으로는 볼포인트(22)가 메모판(12)과 접촉하는 위치와 일치한다. 메모판(12)상의 직교좌표의 X, Y 축은 메모판(12)의 폭과 길이와 일치한다. 직교좌표의 Z축은 메모판(12)에 수직이다.

여러 특징부(44A,44B,44C)는 직교좌표계의 원점에서부터의 대응 벡터 (v1,v2,v3)로 정의된다. 본 실시예에서 이들 특징부(44A,44B,44C)는 메모판(12)의 3개 모서리이지만, 특징부(44)가 메모판(12)의 임의의 경계선(43)이나 다른 광학인식 랜드마크를 포함할 수도 있다. 메모도구(10)에 의해 표시되는 임의의 마크를 포함해 사용자가 메모판(12)에 만드는 특징부는 이런 목적에 맞는 특징부이어야 한다.

메모판(12)에 대해 메모도구(10)의 방향을 정의하는데 극좌표계를 사용한다. 극좌표계의 Z축은 직교좌표계의 Z축과 일치한다. 광축(39)은 펜촉(20)을 통과하므로 결국 2개 좌표계의 원점을 통과한다. 따라서, 극좌표계에서 광축(39)은 극좌표계의 r과 r의 길이를 정의하는바, lrl은 메모도구(10)의 길이이다. Z축에 대한 메모도구(10)의 기울기는 극좌표의 각도 θ로 표시된다. 메모도구(10)의 Z축에 대한 회전각도는 Φ로 표시된다.

광학기구(30)는 도 3의 평면도에 도시된 것과 같은 촬상기구로서, 구체적으로는 시야범위(34)에 있는 물체, 특히 비교적 낮은 해상도로 메모판(12)을 촬상할 수 있는 촬상기구가 바람직하다. 본 실시예에서 광학기구(30)는 렌즈(48A,48B)로 표시된 굴절광학계(46)를 구비한다. 당업자라면 알 수 있겠지만, 굴절광학계(46)는 어안렌즈나 광각렌즈처럼 엇축 성능이 양호하고 시야각이 넓은 렌즈들을 포함한다. 이런 렌즈에 대해서는 미국특허 4,203,653, 4,235,520, 4,257,678과 James "Jay" Kumler가 SPIE에 게재한 "Fisheye lens designs and their relative performance"를 참조하면 되고, 이들 모두 본 발명에서 참고하였다.

광학계(46)는 파단선으로 표시된 화상면(50)을 형성한다. 광학기구(30)는 화 상면(50)에 위치한 감광어레이(52)를 더 구비한다. 메모판(12)의 화상(12')은 광학계(46)에 의해 어레이(52)로 투사된다. 어레이(52)로는 CMOS 감광어레이가 바람직하지만, 각종 포토다이오드나 포토트랜지스터를 이용한 어레이를 포함한 다른 종류의 감광어레이도 사용할 수 있다. 그러나, CMOS 감광어레이가 더 효과적이고 반응성이 좋으며 동력손실이 적다. CMOS 어레이는 피치가 작아서 해상도도 높다.

광학계(46)의 시야범위(34)는 메모판(12)의 면적보다 훨씬 크다. 실제, 시야범위(34)는 전체 메모판(12)의 화상(12')을 항상 어레이(52)에 투사할 수 있을 정도의 크기를 갖는다. 이 조건에서는, 사용자가 가능한 최대 경사각도 θ(≒40도)로 메모판(12)의 경계선이나 모서리 부근에 필기하는 등의 메모작업중에 메모도구(10)가 취할 수 있는 모든 메모위치를 확보할 수 있다. 따라서, 메모판(12)의 앞뒤 부위(y1,y2)는 사용자의 손(16)이나 다른 장애물의 방해를 받지 않는 한 항상 어레이(52)에 투영된다.

설명의 편의상 프라임부호 " ' "는 화상공간을 갖는 부분에 붙이고 프라임부호가 없는 번호는 물리적 공간에 붙인다. 화상공간의 일부분에 추가적인 변환이나 동작이 걸리면 프라임부호를 붙인다.

메모도구(10)의 처리부(54)에 대해 도 4를 참조하여 설명한다. 처리부(54)는 메모판(12)의 광학데이타를 수신한다. 본 실시예에서 광학데이타는 메모판(12)의 화상(12')으로 표시되었다. 처리부(54)는 메모판의 모서리와 경계선에 대해 펜촉(20)의 물리좌표를 이런 광학데이타에서 결정한다. 처리부(54)는 도 2의 직교좌표계에서 벡터(v1,v2,v3)를 결정한다.

이 기능을 위해, 처리부(54)에 화상 프로세서(56), 프레임 컨트롤(58), 메모리(60), 업링크 포트(62) 및 다운링크 포트(64)가 구비된다. 이들 포트(62,64)는 통신기구(38)에 속한다. 화상 프로세서(56)는 경계선 검출부(66), 원점측정부(68), 화상변환부(70), 비율계산부(72)를 구비한다(도 5 참조). 이들 외에도, 화상 프로세서(56)는 화상(12')을 포함한 원래 화상데이타(76)를 수신하고 디멀티플렉싱하기 위한 디멀티플렉서(74)를 더 구비한다. 데이타(76)는 로우(78A)와 컬럼(78B)으로부터 유도되어 어레이(52) 블록을 디멀티플렉스한다.

메모도구(10)는 사용자에 의해 움직인다. 도구(10)의 펜촉(20)이 메모판(12)에 닿으면 압력센서(24)에 의해 광학기구(30)의 획득모드가 활성화된다. 획득모드에서, 처리부(54)는 어레이(52)의 화소로 투영되는 메모판(12)의 화상(12')을 광학데이타로 수신한다.

이제, 화상 프로세서(56)에서 소정 프레임 레이트로 화상(12')의 원래 화상데이타(76)를 캡처한다. 프레임 레이트는 프레임 컨트롤(58)에서 조정된다. 프레임 레이트는 사용자의 메모 활동을 정확히 추적하기에 충분히 빠르다. 이를 위해, 프레임 컨트롤(58)은 프레임 레이트를 15Hz로 하거나 심지어는 30Hz 이상으로 하기도 한다.

종래와는 대조적으로, 사용자가 작성한 정보는 정보 자체를 검사하거나 촬상하여 결정되지 않고, 메모판(12)의 광학인식 특징부에 대한 펜촉(20), 정확히는 볼포인트(22)의 물리좌표를 결정하여 추론된다. 이런 특징부에는 모서리나 경계선, 또는 사용자가 메모판(12)에 만드는 기타 모든 랜드마크가 포함될 수 있다. 사용자 가 작성한 모든 정보를 결정하기 위해, 이들 특징부에 대한 펜촉(20)의 물리좌표를 규정된 프레임 레이트로 획득하되, 압력센서(24)에 의해 획득모드가 활성화될 때마다 획득한다.

본 실시예에서, 펜촉(20)의 물리좌표는 벡터(v1,v2,v3)의 도움으로 변수화된 메모판(12)의 3개 모서리(44A,44B,44C)에 대해 결정된다(도 2 참조). 이를 위해, 화상(12')의 촬상 벡터(v'1,v'2,v'3)로부터 처리부(54)에서 벡터(v1,v2,v3)가 복구된다. 이 과정은 여러 단계로 이루어진다.

1 단계로, 처리부(54)의 화상 프로세서(56)는 디멀티플렉서(74)의 도움을 받아 어레이(52)의 로우, 컬럼 블록들(78A,78B)로부터 원래 화상데이타(76)를 디멀티플렉스한다. 다음, 화상 프로세서(56)는 화상데이타(76)를 경계선 검출부(66)로 보낸다. 경계선 검출부(66)는 메모판(12)의 화상(12')의 경계선과 모서리를 확인한다. 이 과정이 도 6에 잘 도시되었는데, 여기서는 촬상된 경계선(43')의 미방해 부분(80')을 이용해 경계선을 검출한다. 화상과 경계선 검출 알고리즘에 있어서 경계선 검출에 관한 더 많은 정보는, Simon Baker와 Shree K. Nayar의 미국특허 6,023,291rhk 6,408,109, 1999년 6월의 Computer Vision and Pattern Recognition, Vol. 2, pp. 373-379의 "Global Measures of Coherence for Edge Detector Evaluation", 1986sus 11월 IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 8, No. 6의 J. Canny의 "A Computational Approach to Edge Detection"을 참고하고, 이들 모두의 기본 경계선 검출방식을 본 발명에서 참고하였다.

실제, 사용자의 손(16)은 메모판(12)의 일부를 가리는 방해물이다. 따라서, 이에 따른 그림자(16')가 화상(12')에 생긴다. 메모판(12)을 덮거나 메모판과 광학기구(10) 사이에 있는 다른 물체에 의해 다른 그림자(17')가 생기는 경우도 많다. 이런 물체로는 사용자의 다른 손 및/또는 머리카락(도시 안됨)과 같은 신체 일부가 일반적이다. 본 발명에서 필요한 것은, 화상(12')이 경계선(43')이나 모서리(44A',44B',44C')와 같이 미방해 부분(80')을 가져 벡터(v1,v2,v3)를 복구함으로써, 결과적으로 펜촉(20)의 물리좌표를 결정할 수 있도록 하는 것이다.

따라서, 그림자(16',17')가 있어도, 촬상된 경계선(43')의 여러 미방해 부분들(80')을 경계선 검출부(66)에서 이용할 수 있다. 경계선 검출을 위해 경계선 검출부(66)에서 광학데이타(76)를 사용할 수 있는 여러 화소군(82)이 표시되어 있다. 경우에 따라서는, 그림자(16')의 방해를 받는 화소군(83)을 모서리(44D') 검출에 이용할 수도 있다.

경계선 검출부(66)는 경계선(43')을 인식하고 이들을 시야범위(34)의 중심(84)에 대한 벡터방정식이나 다른 적당한 수학적 표현으로 설명한다. 기준을 잡기 위해, 원점측정부(68)의 도움을 받아 중심(84)을 정한다. 이 작업은 메모도구(10)의 동작 전에, 예컨대 메모도구(10)를 처음 초기화하고 시험하는 동안 수학적 이유로 원점을 재측정해야 할 필요가 있을 때마다 이루어질 수 있다. 초기화는 화상의 중심을 고정하기에 적당한 임의의 알고리즘의 도움을 받아 이루어질 수 있다. 이에 대한 더 자세한 정보는 Carlo Tomasi와 John Zhang의 "How to Rotate a Camera", Computer Science Department Publication, Stanford University and Berthold K.P. Horn, "Tasi's Camera Calibration Method Revised"를 참고하고, 이들 자료 모두 본 발명에서 참고하였다.

본 발명에 의하면 광학기구(30)가 펜촉(20)까지 이어지기 때문에 중심(84)은 광축과 일치한다. 따라서, 물리공간에서의 메모도구(10)의 방향, 즉 경사각 θ와 편각 Φ에 대해, 시야범위(34)의 중심(84)은 항상 펜촉(20)과 그 화상(20')의 위치에 일치한다. 이런 성질을 갖는 시스템을 당 분야에서는 통상 센트럴 시스템이라 하고, 여러가지 센트럴 파노라마 시스템을 포함한다. 펜촉(20)의 화상(20')은 실제로는 시야범위(34)에서 보이지 않는데, 이는 메모도구(10)의 몸체(14)가 항상 중심(84)을 가리기 때문이다.

광학계(46)와 관련된 수차를 포함한 광학효과 때문에, 화상(12)의 감지부위는 파단선으로 표시된 것처럼 어느정도 경계선(43')이 휘어져 보인다. 이런 휘어짐은 렌즈(48A,48B) 및/또는 다른 렌즈들(도시 안됨)에 의해 광학적으로 보상됨은 물론 처리부(54)에서 전자적으로 보상될 수 있다. 바람직한 것은, 화상변환부(70)에서 휘어짐을 고려해 화상(12')의 검출부를 변환하는 것이다. 예를 들어, 화상변환부(70)는 평면투사를 기초로 입체도를 만드는 화상변환기를 갖지만, 구면투사를 기초로 구면투사를 하는 화상변환기를 가질 수도 있다. 이런 구면투사는 Christopher Geyer, Kostas Daniilidis의 "A Unifying Theory for Central Panoramic System and Practical Implications", www.cis.upenn.edu, Omid Shakernia의 "Infinitesimal Motion Estimation from Multiple Central Panoramic Views", Department of EECS, University of California, Berkeley, Adnan Ansar, Kostas Daniilidis의 "Linear Pose Estimation from Points or Lines", Jet Propulsion Laboratory, California Institute of Technology and GRASP Laboratory, University of Pennsylvania에서 설명하는 종래의 방법의 도움을 받아 평면투사로 변환될 수 있는데, 이들 기술 모두 본 발명에서 참고하였다.

일단 화상(12')을 인식하고 변환하면, 메모도구(10)의 방향이 결정된다. 이 작업은 여러가지 방법으로 이루어질 수 있다. 예를 들어, 미방해 화상(12')을 구면투사할 경우, 3차원 회전평가법을 이용해 경사각(θ)과 편각(Φ)을 복구할 수 있다. 이를 위해, 메모판(12)의 평면도를 메모리(60)에 저장했다가, 변환부(70)에서 이용한다. 일반 추이정리(shift theorem)를 적용하면 변환에 의해 메모판(12)에 대한 메모도구(10)의 오일러 각도가 생긴다. 하나의 고정점(이 경우 펜촉(20)이 메모판(12)에 닿는 점을 각 프레임에 대해 고정되었다고 간주)을 갖는 3차원 공간내의 모든 운동은 축을 중심으로 회전한다고 보는 오일러 정리에 관련된 이론이다. 추이정리에 대해 자세한 것은, Ameesh Makadia, Kostas Daniilidis, "Direct 3D-Rotation Estimation from Spherical Images via a Generalized Shift Theorem", Department of Computer and Information Science, University of Pennsylvania를 참고하고, 이 이론은 본 발명에서 참고하였다.

한편, 화상(12')의 미방해 부위의 입체도를 만드는 평면투사로 작업할 때, 표준 기하학 규칙을 이용해 경사각(θ)과 편각(Φ)을 결정할 수 있다. 이 경우 입체도의 규칙을 이용하는 여러가지 기하학 규칙들을 사용할 수 있다.

도 7a에 그중 한가지가 도시되었는데, 여기서는 (방해부를 무시하거나 앞 단 계에서 유도된 경계선(43') 방정식으로 방해부를 채워) 화상(12') 전체가 명확히 도시되었고, 2개의 경계선(43')이 소멸점(86; vanishing point)까지 이어진다. 중심(84)에서 소멸점(86)까지 연결선(ψ)이 형성된다. 경사각(θ) 평면에도 선(Σ)이 생긴다. 이제 2개의 선(ψ,Σ)이 이루는 각도가 편각(Φ)에 해당한다. 한편, 중심(84)에서 소멸점(86)까지의 연결선(ψ)의 길이는 경사각(θ)에 반비례한다. 경사각(θ)의 값에 대응하는 ψ의 값을 갖는 색인표를 메모리(60)에 저장하면 각각의 프레임동안의 경사각(θ)을 신속히 확인할 수 있으므로 바람직하다. 경사각(θ) 평면을 계속 추적하려면 광축(39)을 중심으로 한 메모도구(10)의 회전을 알아야 한다. 이 회전은 메모도구(10)에 손잡이(90) 형태로 키를 설치하면 된다(도 8 참조). 손잡이(90)가 있으면 사용자의 손(16)으로 메모도구를 쥐어서 광축(39)을 중심으로 회전하지 않도록 할 수 있다.

도 7b에 다른 기하학적 방법이 도시되었다. 마찬가지로, 전체 화상(12')이 도면에 보이고, 2개의 경계선(43')이 소멸점(86)까지 뻗으며, 중심(84)에서 소멸점(86)까지 연결선(ψ)이 형성된다. 경사각(θ) 평면에 수직으로 선(Γ)이 형성된다. 또, 소멸점(86)에서부터 선(Γ)에 수직으로 선(Π)이 형성된다. 이들 선(Π,ψ)이 이루는 각도가 편각(Φ)에 해당한다. 한편, 선(Γ)과의 교차점부터 소멸점(86)까지의 선(Π)의 길이는 경사각(θ)에 반비례한다. 경사각(θ)의 값에 대응하는 Π의 값을 갖는 색인표를 메모리(60)에 저장하면 각 프레임 동안의 경사각(θ)을 신속히 확인할 수 있으므로 바람직하다. 이 실시예에서, 메모도구(10)의 어레이(52)나 다른 부위의 키-마크(92)를 이용해 경사각(θ) 평면에 수직인 평면을 계속 추적할 수 있고, 펜의 손잡이까지 연장할 수 있다(도 8 참조).

또 다른 기하학적 방법이 도 7c에 도시되었는데, 마찬가지로 전체 화상(12')을 기초로 한다. 여기서 연결선(ψ)은 중심(84)에서부터 2개의 경계선(43')으로 이루어진 소멸점(86)까지 형성된다. 다른 2개의 경계선(43')을 이으면 두번째 소멸점(94)이 형성된다. 두번째 소멸점(94)에서 첫번째 소멸점(86)까지 선(Ω)으로 잇는다. 중심(84)에서 선(Ω)까지 선(Σ)을 긋되 선(Ω)과 직교하게 한다. 이들 선(ψ,Σ)이 이루는 각도가 편각(Φ)이고, 선(ψ)의 길이나 선(Σ)의 길이 (또는 선 Ω의 길이)를 이용해 경사각(θ)을 유도할 수 있다. 마찬가지로, 해당 색인표를 이용하면 신속처리가 가능하다. 본 실시예에서는 (메모도구의 중심축인) 광축(39)을 중심으로 메모도구(10)를 회전시켜도 기하학적 구성에 영향을 주지 않으므로 키-마크나 손잡이를 이용할 필요가 없다.

다른 기하학적 방법이 도 7d에 도시되었다. 이 경우, (방해받지 않을 때의) 모서리각 α, β, γ, δ와 화상(12')의 면적을 이용해 θ와 Φ를 결정한다. 구체적으로, 모서리각 α, β, γ, δ는 Φ를 정의하고 면적은 θ를 정의한다. 메모리(60)에 저장된 색인표를 이용하면 θ와 Φ를 신속히 처리결정할 수 있다.

광학계(46)가 메모판(12)의 물리적 방향에 대해 화상(12')을 뒤집을 경우, 도 9와 같이 화상(12')을 뒤집어야 한다. 이런 역변환은 변환부(70)에서 이루어질 수 있다. 예를 들어, 전술한 θ와 Φ의 결정단계 이전이나 이후에 화상(12')이 뒤집어질 수 있다. 화상(12')이 뒤집히지 않으면, 역변환은 필요 없다.

(필요에 따라) 역변환된 화상(12")이 도 10에 보인다. 이때는 벡터 (v"1,v"2,v"3)를 재계산한다. 중심(84)에서 경계선(43")상의 특징부나 랜드마크까지의 추가 벡터(v"_n)를 볼 수 있다. 메모판(12) 경계선(43)상의 이런 랜드마크를 모서리 대신 사용해 펜촉(20)의 물리좌표를 결정한다. 이런 경우는, 2개의 모서리가 메모판(12)과 광학기구(30) 사이에 있는 사용자나 물체로 가려질 때 특히 중요하다.

이때, 화상(12")을 각도 θ와 Φ만큼 회전시켜 최종 변환보정된 화상(12"')을 얻는다(도 11 참조). 이것은 변환된 (경우에 따라 역변환된) 화상(12")을 적당히 역회전시키면 된다. (이런 역회전은 메모도구(10)를 메모판(12)에 대해 물리공간에서 오일러 회전시키는 것에 해당한다. 표준 오일러 변환은 Goldstein의 Classical Mechanics와 같은 모든 고전 기계공학 참고서에 설명되어 있다).

펜촉의 물리좌표는 벡터 v"'1, v"'2, v"'3 및/또는 v"_n에서 직접 결정될 수 있다. 이 기능은 비율계산부(72)에서 행해지는데, 메모판(12)에 대한 화상(12"')의 비율이 보존된다는 사실을 이용한다. 구체적으로, 계산부(72)는 다음 비율을 이용한다.

x1/x2 = x"'1/x"'2

y1/y2 = y"'1/y"'2

이들 값은 벡터에서 얻을 수 있고, 광학계(46)의 확대율(M)로 인한 축척율을 사용할 수 있는데, 구해진 값을 확실히 교정하기 위해 도 12와 같이 크로스체크한다.

본 발명의 메모도구는 여러가지로 적용할 수 있다. 예를 들어, 포물선(또는 쌍곡선) 거울(102)과 렌즈(104)가 달린 반사굴절계를 이용하는 다른 광학기구(100)가 도 13에 도시되었다. 이 광학기구(100)는 도 14의 메모도구(108)에 설치될 수 있도록 변형된 것이다. 이 실시예에서는, 메모도구(108) 말단부(109)에 감광어레이(106)를 설치했다. 연장부(111)가 달린 지지부재(110)를 설치한다.

메모도구(10)는 메모판(120)의 모서리와 경계선 대신 다른 랜드마크와 특징부를 이용할 수 있다. 예를 들어, 도 15와 같이, 사용자가 만든 특징부(122)를 이용한다. 이 특징부(122)는 사용자가 쓴 문자 "A"이다. 이 경우, 문자에서 검색이 쉬운 지점(예; 검색과 추적을 쉽게 하도록 콘트라스트가 높은 지점)을 이용해 추적하고 직교좌표계의 원점에서 이 지점까지의 벡터 v_r를 구한다. 또, 메모도구(10)는 경계선(126)상의 랜드마크(124)를 이용한다. 원점에서 랜드마크(122)까지의 벡터 v_s를 구한다. 끝으로, 대응 백터 v_q로 확인된 메모판(120)상의 모서리(128)를 이용한다.

이 실시예에서는, 작동중에 전술한 경계선 검출 알고리즘과 기타 다른 하이콘트라스트 지점 검색 알고리즘을 이용해 화상의 선과 모서리를 검색하고 특징부(122), 랜드마크(124) 및 모서리(128)를 검색한다. 다음, 전술한 것처럼, 각도 θ, Φ를 결정하고 메모판(120)의 화상의 벡터 v'_q, v'_r, v'_s에 대응 변환을 한다. 변환벡터로부터 펜촉(20)의 물리좌표를 결정한다.

물론, 당업자라면 알 수 있듯이, 여러개의 특징부와 랜드마크를 추적하면 메 모판(120)의 펜촉(20)의 물리좌표를 더 정확하게 결정할 수 있을 것이다. 따라서, 랜드마크와 특징부를 많이 추적할수록, 더 많은 처리과정이 필요하다. 메모도구(10)의 실시간 동작이 필요하면, 예컨대 메모동작이 메모도구(10)에서 수신기로 실시간 전달될 경우, 특징부와 랜드마크의 갯수는 제한되어야 한다. 한편, 표시된 정보를 사용자가 나중에 다운로드할 수 있거나 실시간 처리가 불필요한 경우, 랜드마크와 특징부를 더 많이 사용해 펜촉(20)의 물리좌표를 결정하는 정밀도를 향상시킬 수 있다. 이 경우 메모판(120)의 해상도가 향상된다. 주의할 것은, 특징부와 랜드마크는 절대적인 기준을 가져야 하므로, 메모판(120)에서의 각각의 위치가 시간에 따라 변할 수 없다는 것이다. 그러나, 펜촉(20)의 물리좌표를 결정하는데 사용되는 랜드마크나 특징부가 프레임마다 반드시 같을 필요는 없다.

Claims

손으로 메모한 정보를 메모판에서 추론하기 위한 메모도구에 있어서:

⒜ 메모용 펜촉;

⒝ 상기 펜촉으로 메모판에 메모할 시기를 결정하기 위한 수단;

⒞ 상기 펜촉에 연계되어 메모판을 보여주기 위한 광학기구; 및

⒟ 상기 광학기구로부터 메모판의 광학데이타를 수신하고, 메모판의 모서리와 경계선에 대한 펜촉의 물리좌표를 상기 광학데이타로부터 결정하기 위한 처리부;를 포함하는 것을 특징으로 하는 메모도구.
제1항에 있어서, 상기 광학기구가 메모판을 촬상하기 위한 촬상기구인 것을 특징으로 하는 메모도구.
제2항에 있어서, 상기 촬상기구가 감광어레이를 더 포함하고, 메모판의 화상이 감광어레이에 투사되는 것을 특징으로 하는 메모도구.
제3항에 있어서, 상기 처리부가 메모판의 경계선과 모서리를 상기 화상에서 검색하기 위한 경계선 검색부를 더 포함하는 것을 특징으로 하는 메모도구.
제3항에 있어서, 상기 화상을 변환하기 위한 화상변환부를 더 포함하는 것을 특징으로 하는 메모도구.
제5항에 있어서, 상기 화상변환부가 평면투사를 기초로 한 화상변환기를 포함하는 것을 특징으로 하는 메모도구.
제5항에 있어서, 상기 화상변환부가 구면투사를 기초로 한 화상변환기를 포함하는 것을 특징으로 하는 메모도구.
제5항에 있어서, 상기 화상변환부가 메모판의 오일러 각도를 결정하기 위한 화상변환기를 포함하는 것을 특징으로 하는 메모도구.
제3항에 있어서, 상기 감광어레이가 CMOS 감광어레이인 것을 특징으로 하는 메모도구.
제2항에 있어서, 상기 촬상기구가 메모판을 입체로 투사하는 것을 특징으로 하는 메모도구.
제10항에 있어서, 메모판의 방향에 관련된 각도를 상기 입체투사로부터 결정하는 것을 특징으로 하는 메모도구.
제11항에 있어서, 상기 각도가 경사각(θ)과 편각(Φ)을 포함하는 것을 특징으로 하는 메모도구.
제2항에 있어서, 상기 처리부가 화상으로부터 물리좌표를 결정하기 위한 비율계산모듈을 더 포함하는 것을 특징으로 하는 메모도구.
제2항에 있어서, 상기 촬상기구가 굴절광학계를 포함하는 것을 특징으로 하는 메모도구.
제14항에 있어서, 상기 굴절광학계의 시야범위가 메모판의 면적보다 큰 것을 특징으로 하는 메모도구.
제2항에 있어서, 상기 촬상기구가 반사광학계를 포함하는 것을 특징으로 하는 메모도구.
제16항에 있어서, 상기 반사광학계의 시야범위가 메모판의 면적보다 큰 것을 특징으로 하는 메모도구.
메모판을 소정 프레임 레이트로 촬상하기 위한 프레임 컨트롤을 더 포함하는 것을 특징으로 하는 메모도구.
제1항에 있어서, 펜촉으로 메모할 시기를 결정하기 위한 상기 수단을 스트레인게이지, 기계식 압력센서, 압전소자로 이루어진 군에서 선택하는 것을 특징으로 하는 메모도구.
제1항에 있어서, 상기 물리적 좌표를 외부장치와 통신하기 위한 수단을 더 포함하는 것을 특징으로 하는 메모도구.
제1항에 있어서, 상기 메모판을 초기화하고 인식하기 위한 수단을 더 포함하는 것을 특징으로 하는 메모도구.
제1항에 있어서, 상기 광학기구를 메모도구 말단부에 장착한 것을 특징으로 하는 메모도구.
메모판으로부터 정보를 추론하기 위한 메모도구에 있어서:

⒜ 메모용 펜촉이 달린 메모 단부;

⒝ 상기 펜촉으로 메모판에 메모할 시기를 결정하기 위한 수단;

⒞ 상기 펜촉에 연계되어 메모판을 보여주기 위한 광학기구가 달린 말단부; 및

⒟ 상기 광학기구로부터 메모판의 광학데이타를 수신하고, 메모판의 2개 이 상의 모서리에 대한 펜촉의 물리좌표를 상기 광학데이타로부터 결정하기 위한 처리부;를 포함하는 것을 특징으로 하는 메모도구.
손으로 쓴 정보를 메모판으로부터 광학적으로 캡처하기 위한 메모도구에 있어서:

⒜ 메모용 펜촉이 달린 메모 단부;

⒝ 상기 펜촉으로 메모판에 메모할 시기를 결정하기 위한 수단;

⒞ 상기 펜촉에 연계되어 메모판을 보여주기 위한 광학기구가 달린 말단부; 및

⒟ 상기 광학기구로부터 메모판의 광학데이타를 수신하고, 메모판의 2개 이상의 랜드마크에 대한 펜촉의 물리좌표를 상기 광학데이타로부터 결정하기 위한 처리부;를 포함하는 것을 특징으로 하는 메모도구.
제24항에 있어서, 상기 랜드마크가 사용자가 메모판에 만든 마크인 것을 특징으로 하는 메모도구.
제25항에 있어서, 상기 마크가 사용자가 손으로 메모한 것을 포함하는 것을 특징으로 하는 메모도구.
제24항에 있어서, 상기 랜드마크가 메모판에 대한 데이타를 포함하는 것을 특징으로 하는 메모도구.
제27항에 있어서, 상기 메모판이 종이를 포함하고, 상기 데이타는 종이의 크기를 표시하는 것을 특징으로 하는 메모도구.
손으로 메모한 정보를 메모판에서 추론하기 위한 메모도구에 있어서:

⒜ 메모용 펜촉;

⒝ 상기 펜촉으로 메모판에 메모할 시기를 결정하기 위한 수단;

⒞ 상기 펜촉에 연계되어 메모판을 보여주기 위한 광학기구; 및

⒟ 상기 광학기구로부터 메모판의 광학데이타를 수신하고, 메모판의 2개 이상의 모서리에 대한 펜촉의 물리좌표를 상기 광학데이타로부터 결정하기 위한 처리부;를 포함하는 것을 특징으로 하는 메모도구.