KR101101091B1 - 긴 물체의 자세에서 유도한 자세데이터를 처리하는 방법과장치 - Google Patents

긴 물체의 자세에서 유도한 자세데이터를 처리하는 방법과장치 Download PDF

Info

Publication number
KR101101091B1
KR101101091B1 KR1020067017451A KR20067017451A KR101101091B1 KR 101101091 B1 KR101101091 B1 KR 101101091B1 KR 1020067017451 A KR1020067017451 A KR 1020067017451A KR 20067017451 A KR20067017451 A KR 20067017451A KR 101101091 B1 KR101101091 B1 KR 101101091B1
Authority
KR
South Korea
Prior art keywords
data
subset
application
posture
tip
Prior art date
Application number
KR1020067017451A
Other languages
English (en)
Other versions
KR20070017321A (ko
Inventor
스튜어트 알. 칼
마이클 제이. 만델라
구앙후아 지. 장
헥토르 에이치. 곤잘레스-바노스
Original Assignee
일렉트로닉 스크립팅 프러덕츠 인코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 일렉트로닉 스크립팅 프러덕츠 인코포레이션 filed Critical 일렉트로닉 스크립팅 프러덕츠 인코포레이션
Publication of KR20070017321A publication Critical patent/KR20070017321A/ko
Application granted granted Critical
Publication of KR101101091B1 publication Critical patent/KR101101091B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545Pens or stylus

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Position Input By Displaying (AREA)
  • Length Measuring Devices With Unspecified Measuring Means (AREA)
  • Arrangements For Transmission Of Measured Signals (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 불변특징부를 갖는 평평한 표면에 팁이 닿아있는 긴 물체의 자세에서 유도된 자세데이터를 처리하는 방법을 제공한다. 이 방법에 따르면, 팁을 표면에 두고, 긴 물체의 물리적 자세는 불변특징부를 이용해 긴 물체로부터 광학적으로 측정된다. 자세에 맞는 자세데이터를 준비하고, 자세데이터의 부분집합을 확인한다. 이 부분집합은 사용자 애플리케이션과 같은 애플리케이션에 전송되는데, 부분집합은 명령어 데이터나 입력데이터 기능을 할 수 있다. 긴 물체가 동작을 취하는 동안 팁은 표면에 접촉해 있다. 따라서, 이 방법에서는 측정시간 ti에서 주기적으로 측정을 하여, 연속적인 측정시간에서의 자세데이터를 이용해 원하는 시간해상도로 동작을 설명할 수 있다.

Description

긴 물체의 자세에서 유도한 자세데이터를 처리하는 방법과 장치{Processing Pose Data Derived from the Pose of an Elongate Object}
본 발명은 팁이 평탄한 표면에 닿아있는 긴 물체의 자세에서 유도한 자세데이터를 처리하는 방법과 장치에 관한 것이다.
지면, 고정점, 고정선, 기준면과 같은 고정체에 대해 물체가 움직일 때, 이들 고정체에 대한 물체의 절대위치를 알면 다양한 운동변수는 물론 고정체에 대한 물체의 자세와 절대위치를 유도할 수 있다. 물체의 자세와 절대위치를 추적하고 그 운동방정식을 구하기 위한 여러 유용한 좌표계와 방법들이 개발되었다. 이에 대한 이론적 배경은 Goldstein et al., Classical Mechanics, 3판, Addison Wesley 2002와 같은 자료를 참조한다.
분야에 따라서는 물체의 팁을 표면에 댄체 팁의 절대위치를 아는 것이 중요하다. 이제, 다양한 종류의 긴 물체의 자세, 더 정확하게는 팁을 표면에 댄채 팁의 절대위치를 알면 유리할 것이다. 이들 물체로는 지면과 접촉하는 지팡이, 디스플레이에 닿는 포인터, 스크린이나 투사면, 평면과 접촉하는 로봇아암, 필기면과 접촉하는 필기구, 입력스크린이나 패드와 접촉하는 철필 등이 있다.
팁의 절대위치를 결정하는 필요성은 펜이나 철필과 같은 입력기구 분야에 절 실하다. 구체적으로, 팁의 절대위치를 알아야만 사용자가 필기면에 쓰거나 흔적을 남긴 정보를 분석할 수 있다. 펜이나 관련 입력기구에서 상대적이나 절대적인 팁의 위치를 제공하는 방법은 여러가지 있다. 그 일례로는 미국특허 6,492,981, 6,212,296, 6,181,329, 5,981,884, 5,902,968에 소개된 자이로스코프와 가속도계를 포함한 관성 내비게이션 장치가 있다. 다른 것으로는, 미국특허 6,081,261, 5,434,371에서 소개된 것처럼 감지력을 관성 내비게이션에 결합한 것이 있다. 종래의 기술은 미국특허 5,548,092의 펜에 작용하는 힘을 캡처하여 분석하는 기술이 있다. 또다른 기술은 미국특허 6,177,927, 6,124,847, 6,104,387, 6,100,877, 5,977,958, 5,484,966에 소개된 필기면에 수신기와 보조장치를 이용하는 삼각측량법이 있다. RF 펄스, 적외선 펄스, 초음파 펄스를 포함한 다양한 형태의 방사선을 삼각측량법에 이용한다. 디지타이저나 태블릿을 이용하는 다른 기술이 미국특허 6,040,490, 5,750,939 및 4,471,162에 소개되었다.
종래의 기술은 표면에서 펜이나 철필의 팁의 절대 위치나 상대위치를 제공하는데 광학시스템을 이용한다. 예를 들어, 미국특허 6,153,836에서는 표면에 정의된 2차원 좌표계에 대한 각도를 결정하는 2개의 수신기에 철필에서 나온 2개의 빛을 조사한다. 철필의 팁의 위치는 이들 각도와 수신기의 위치로부터 알 수 있다. 미국특허 6,044,165에는, 카메라가 절대좌표계에 위치하여 펜과 종이를 바라보는 광학영상시스템을 갖춘 펜의 팁에서 감지하는 힘을 적분하는 기술에 대해 설명한다. 또, 펜의 팁과 그 부근을 관찰하는 광학시스템을 이용하는 기술도 있다. 이들 기술은 미국특허 6,031,936, 5,960,124, 5,850,058에서 볼 수 있다. 미국특허 5,103,486에 의하면, 펜에 달린 광학적 볼포인트를 이용한다. 더 최근에는, 종이에 빛을 비추는 광원을 이용하는 광학시스템이 미국특허 6,650,320, 6,592,039, WO00217222 및 미국특허출원 2003-0106984와 2002-0048404에 소개되었다.
종래의 어떤 경우에는, 광학시스템이 인식할 수 있는 특수한 표시를 갖는 필기면을 이용한다. 필기면에 특수한 표시를 이용하는 펜의 예를 미국특허 5,661,506, 5,652,412에서 볼 수 있다. 더 최근에는 미국특허출원 2003-0107558과 관련 문헌에 소개된 방법이 있다. 또다른 참고자료로는 미국특허출원 10/640,942와 10/745,371이 있다.
이상 언급한 종래의 방식 대부분은 필기면에서의 팁의 상대위치를 이용한다는 한계가 있다. 태블릿과 디지타이저는 절대위치를 구하기는 해도 개략적이고 불편하다. 광학시스템을 이용하되 태블릿 없이 팁의 절대위치를 구하는 방법중에서, 필기면에 있는 표시와 펜의 팁의 관계를 관찰하는 것이 가장 좋다. 이 방법은 특수한 표시를 갖고 마치 태블릿처럼 기능하는 필기면을 필요로 하는 한계가 있다.
광학시스템을 채택하는 최첨단 펜과 철필은 사용이 불편하면서 생성되는 데이터도 제한된다. 실제, 필기면을 움직이는 흔적에 대응하는 데이터만 만든다. 한편, 펜이나 철필로부터의 풍부한 데이터로부터 이득을 얻는 경우도 많다. 종래의 기술은 많은 경우 펜이나 철필을 사용하는 사용자와 컴퓨터와 같은 장치 사이의 관계가 제한되는 상황이 많다. 펜이나 철필로부터의 많은 데이터에서 이득을 볼 수 있는 애플리케이션이나 시스템에 대해서는 미국특허 6,565,611, 6,502,114, 6,493,736, 6,474,888, 6,454,482, 6,415,256, 6,396,481, 및 미국특허출원 2003- 0195820, 2003-0163525, 2003-0107558, 2003-0038790, 2003-0029919, 2003-0025713, 2003-0006975, 2002-0148655, 2002-145587 및 미국특허 6,661,920을 참조한다.
발명의 목적
종래의 이와 같은 문제점을 감안하여, 본 발명의 목적은 필기구, 지팡이, 포인터, 로봇아암과 같은 긴 물체의 자세에서 유도된 자세데이터를 처리하는 방법과 장치를 제공하는데 있다. 구체적으로는, 이런 식으로 유도된 자세데이터를 처리하고 자세데이터의 부분집합을 애플리케이션의 입력데이터나 제어데이터로 확인하는데 목적이 있다.
발명의 요약
본 발명은 광학측정수단, 프로세서, 통신링크 및 사용자 애플리케이션을 갖는 장치를 이용해 팁이 달린 긴 물체의 자세에서 유도되는 자세데이터를 처리하는 방법을 제공한다. 이 방법에 따르면, 에지, 기준점, 표면 요철부와 같이 크기와 위치가 변하지 않고 실재하면서 절대좌표(표(X0,Y0,Z0)로 정의되는 불변특징부가 있는 평평한 표면에 긴 물체의 팁이 접촉된 상태에서, 광학측정수단이 불변특징부를 이용해 긴 물체로부터 자세를 광학적으로 측정할 때, 절대원점(0,0,0)을 갖는 상기 절대좌표(표(X0,Y0,Z0)로 표현된 오일러 회전 물체를 나타내는 변수(φ,θ,ψ,x,y,z)의 값들을 측정한다. 이어서, 프로세서가 자세에 맞는 자세데이터로서 상기 측정된 변수(φ,θ,ψ,x,y,z)를 준비한 다음, 이런 자세데이터의 부분집합을 확인한다. 이후, 이런 자세데이터의 부분집합이 애플리케이션에 전송되는데, 부분집합은 명령어 데이터나 입력데이터 기능을 할 수 있다. 긴 물체가 동작을 취하는 동안 팁은 표면에 접촉해 있다. 따라서, 이 방법에서는 측정시간 ti에서 주기적으로 측정을 하여, 연속적인 측정시간에서의 자세데이터를 이용해 원하는 시간해상도로 동작을 설명할 수 있다.
부분집합은 긴 물체의 공간에서의 방향을 설명하는 방향데이터의 일부나 전부를 포함할 수 있다. 방향데이터는 경사각 θ나 기타 극좌표와 같이 방향을 설명하는 각도를 포함할 수 있다. 한편, 부분집합이 펴면에서의 팁의 위치데이터의 일부나 전부를 가질 수도 있다. 위치는 불변특징부를 포함한 임의의 특징부에 대한 팁의 상대위치, 또는 절대좌표에서 표면상의 팁의 절대위치일 수 있다. 부분집합은 방향데이터와 위치데이터를 같이 가질 수도 있다.
한편, 긴 물체의 방향데이터를 오일러각도로 설명하고, 자세데이터의 부분집합에 오일러각도가 포함될 수 있다. 이 경우, 경사각 θ는 두번째 오일러각도이다. 또, 부분집합에 롤각 ψ(세번째 오일러각도)와 회전각 φ(첫번째 오일러각도)가 있을 수도 있다. 방향데이터는 어떤 종류의 입력에도 사용된다. 예를 들어, 애플리케이션에서 명령을 실행하는데 사용되는 제어데이터나, 적당한 포맷으로 간단히 저장되거나 애플리케이션에 입력되는 입력데이터를 방향데이터로 표현할 수 있다. 물론, 위치데이터도 제어데이터나 입력데이터를 포함한 모든 입력에 사용될 수 있다. 예컨대 애플리케이션이 모션캡처 애플리케이션일 때는 부분집합이 자세데이터의 전부를 가질 수 있다.
불변특징부는 영구적이거나 임시적이고, 공간적이거나 시간적일 수 있다. 표면은 종이면, 스크린, 태블릿, 패드, 기타 사용자가 필기동작을 할 수 있는 모든 종류의 표면을 포함한다. 이 경우, 긴 물체는 펜, 연필, 철필과 같은 필기구인 것이 좋다. 일반적으로, 긴 물체는 포인터, 로봇아암, 지팡이를 포함하지만, 사실상 입력데이터를 유도하는데 그 자세를 이용할 수 있는 모든 물체가 그 대상이다.
본 발명은 팁이 표면에 닿아있는 긴 물체의 동작을 설명하는 자세데이터를 처리하는 장치를 제공한다. 이 장치는 긴 물체로부터 자세를 광학적으로 측정하기 위한 광학측정수단을 갖는다. 측정은 ti에서 주기적으로 이루어지고, 그 주기는 애플리케이션과 해상도, 예컨대 필요한 자세데이터와 자세의 시간해상도에 따라 선택된다. 이 장치는 자세에 맞는 자세데이터를 준비하고 자세데이터의 부분집합을 확인하기 위한 프로세서를 갖는다. 부분집합을 애플리케이션에 전송하기 위한 통신링크도 설치된다.
프로세서는 긴 물체에 설치되고, 상당한 데이터처리가 프로세서에 의해 실행되는 애플리케이션에서는 프로세서가 원격이다. 통신링크로는 무선링크가 바람직하다.
프로세서에 의해 자세데이터로부터 분리된 부분집합은 후처리를 위해 애플리케이션으로 보내지는데, 부분집합은 경우에 따라 입력데이터로 사용되기도 하고, 이 경우 사용자가 운용하는 호스트의 위치에 따라 좌우된다. 예를 들어, 호스트가 컴퓨터이고 애플리케이션이 데이터파일이면, 부분집합은 데이터파일로 입력될 데이터를 포함할 수 있다. 호스트가 디지털장치이고 사용자 애플리케이션이 실행파일이며 부분집합이 제어데이터를 가질 수도 있다. 애플리케이션은 긴 물체의 동작을 캡처하는 모션캡처 애플리케이션이거나, 동작중에 표면에서의 긴 물체의 팁으로 설명되는 흔적을 캡처하는 흔적캡처 애플리케이션이다.
이하, 첨부 도면을 참조하여 본 발명에 대해 자세히 설명한다.
도 1은 팁이 표면에 닿아 있는 긴 물체의 동작을 보여주는 본 발명의 장치의 사시도;
도 2A-C는 오일러 회전을 설명하는 개략도;
도 3은 자세데이터를 부분집합으로 포맷하거나 준비하는 예를 보여주는 블록도;
도 4는 자세를 측정하기 위한 영상시스템을 갖춘 긴 물체의 사시도;
도 5는 자세를 측정하기 위한 스캐너가 달린 긴 물체의 사시도;
도 6은 표면에 필기하기 위한 필기구가 긴 물체인 경우의 사시도;
도 7은 통신링크를 통해 자세데이터를 원격장치로 보내는 필기구를 설명하는 개요도;
도 8은 도 7의 필기구의 자세데이터에서 유도된 입력데이터와 명령어의 이용례를 보여주는 블록도;
도 9는 본 발명의 다른 장치의 개요도.
도 1에 긴 물체(14)의 자세에서 유도된 자세데이터(12)를 처리하는 장치(10)가 도시되어 있다. 긴 물체(14)의 팁(16)을 평면 표면(18)에 댄채 움직인다. 긴 물체(14)의 자세를 여러회에 걸쳐 설명하는 자세데이터(12)가 장치(10)에서 처리된다. 따라서, 긴 물체(14)가 팁(16)을 표면(18)에 댄채 취하는 동작을 자세데이터(12)가 설명한다. 압전소자 등의 적당한 센서(20)를 사용해 팁(16)이 표면(18)에 접촉하는 시기를 확인한다.
긴 물체(14)는 정지중에서나 움직일 때 자세데이터(12)를 발생시키는 어떤 종류의 기다란 물체도 포함한다. 예를 들어, 긴 물체(14)가 보행보조용 지팡이면 표면(18)은 지면이고, 긴 물체가 로봇아암이면 표면(18)은 작업면이다. 또, 긴 물체(14)가 포인터이면 표면(18)은 스크린이고, 긴 물체가 펜, 연필, 철필과 같은 필기구이면 표면은 필기면이다. 본 실시예에서는 긴 물체가 포인터이고 표면은 스크린이다.
긴 물체(14)는 표면(18)상의 불변 특징부(32,34,36)의 도움으로 자세를 광학적으로 측정하기 위한 온보드 측정기(22)를 갖고 있다. 모든 특징부(32,34,36)는 표면(18)상에 있지만, 표면(18)에 충분한 수의 특징부가 있다면 표면(18)의 평면에 있지 않은 특징부를 사용하는 것도 가능하다.
본 실시예에서, 불변 특징부는 에지(32), 기준점(34) 및 표면요철부(36)로서, 표면에 대해 크기와 위치가 변하지 않는 특징부를 말한다. 이들 불변 특징부는 물체(14)의 자세를 측정하는데 사용되고 표면(18)과 임시적으로나 영구적으로 관련이 있는 특징부의 일례일 뿐이다. 불변 특징부(32,34,36)는 표면(18)에 대한 팁(16)의 상대적이거나 절대적인 위치를 유도하고, 자세의 나머지 부분, 즉 포인터(14)의 방향을 측정하기 위한 것이다. 불변특징부(32,34,36)의 위치를 절대좌표(X0,Y0,Z0)로 정의하는 것이 바람직하다. 또, 가능하다면, 물체(14)가 취할 수 있는 모든 자세를 불변특징부(32,34,36)의 조합으로 측정기(22)에 보일 수 있도록 불변특징부를 배치하는 것이 바람직하다.
물체(14)의 자세를 복구하기 위한 온보드 측정기(22)를 이용한 여러가지 광학측정법을 채택할 수 있다. 어느 측정법에서도 측정기(22)는 기하불변량, 삼각측량, 위성거리측정, 궤도적분, 동작분석 등을 포함한 기존의 자세복구기술에 따라 자세데이터(12)를 구하는데 온보드 요소를 이용한다. 바람직하기로는, 표면상의 불변특징부(32,34,36)를 기준으로 자세의 온보드 결정을 위해 포인터(14)에 설치된 촬상시스템이나 스캔시스템과 같은 광학측정기를 사용한다.
장치(10)는 애플리케이션(28)에서 필요로 하는 자세데이터(12)의 부분집합(48)을 확인하고 포인터(14)의 자세에 대응하는 자세데이터(12)를 준비하기 위한 프로세서(26)를 구비한다. 구체적으로, 자세데이터(12)의 일부나 전체를 갖는 부분집합(48)을 애플리케이션(28)에서 이용한다. 프로세서(26)는 포인터(14)에 부착될 수 있지만, 본 실시예와 같이 원격으로 배치될 수도 있다.
애플리케이션(28)에 자세데이터(12)를 보내기 위한 통신링크(24)를 설치한다. 통신링크(24)는 포인터(14)에 설치된 무선송신기(30)의 도움을 받아 설치되는 것이 바람직하다. 프로세서(26)와 애플리케이션(28)이 포인터(14)에 설치된 경우, 통신링크(24)가 전기접속부이지만, 다른 경우에는 원격 무선링크일 수도 있다.
동작중에 사용자(38)가 손으로 포인터(14)를 쥐고 불변특징부(32,34,36)를 갖는 표면(18)에 팁(16)을 댄채 포인터(14)가 동작(40)을 실행하도록 움직인다. 설명의 편의상 파단선(42,44)으로 표시된 동작(40)은 포인터(14)의 팁(16)과 꼭지(46)가 취하는 위치를 표시한다. 본 발명의 목적상 파단선(42)은 팁(16)의 자취를 나타내고, 팁(16)에 표면(18)에서 떨어질 때 동작(40)도 끝난다.
동작(40)이 꼭지(46)나 팁(16)의 아무런 움직임을 일으키지 않을 수도 있다. 실제, 팁(16)이 반드시 표면(18)과 접촉해 있어야만 동작(40)이 이루어지는 것은 아니다. 포인터(14)의 방향변화도 표면(18)에서의 팁(16)의 위치변화(즉, x-y 좌표변화)와 마찬가지로 동작(40)으로 간주된다. 이 경우, 포인터의 중심축(CA)에 대한 경사각(θ), 회전각(φ) 및 롤각(roll angle: ψ)으로 포인터(14)의 방향을 설명할 수 있다. 이들 3가지 각도중 적어도 한가지의 변화가 동작(40)을 구성한다.
본 실시예에서는 팁(16)이 표면(18)에 접촉할 때, 포인터(14)의 중심축(CA)이 θ0의 경사각으로 표면의 수직선(Z')에 기울어졌다. 또, 회전각과 롤각은 각각 φ0, ψ0이다. 이들 각도 θ, φ, ψ가 오일러각도이다. 물론, 포인터(14)의 방향을 다른 각도로 설명할 수도 있다. 사실상, 당업자라면 알 수 있겠지만 포인터(14)의 회전을 설명하기만 하면 기존의 어느 것도 사용할 수 있다. 예를 들면, 4가지 Caylyle-Klein 각도나 사원수(quaternion)를 채택할 수도 있다.
도 2A-C는 오일러각도를 이용해 포인터(14)의 방향을 설명하는 관례를 보여준다. 포인터(14)의 길이는 도 2A의 비회전 좌표계(X',Y',Z')의 원점에서 팁(16)에서부터 측정하여 l이다. 중심축(CA)은 Z'축과 일치하고 비회전좌표(X',Y',Z')의 원점과 팁(16)을 지난다. 여기서 사용된 수동 회전례에서, 물체의 좌표는 포인터(14)에 붙어있고 포인터는 처음의 직립위치로부터 회전한다.
도 2A는 Z'축을 중심으로 물체좌표(X',Y',Z')를 제1 오일러각도(φ)만큼 처음으로 반시계방향으로 회전한 것을 보여준다. 물체좌표의 이런 회전은 Z'축에 아 무 영향을 주지 않아, 한번 회전한 Z"축은 고정 Z'축과 일치한다(Z"=Z'). 한편, X'축과 Y'축을 제1 오일러각도(φ)로 회전시키면 한번 회전한 축 X"과 Y"가 생긴다.
도 2B는 한번 회전한 물체좌표(X",Y",Z")에 제2 오일러각도(θ)를 적용하여 두번째로 반시계 회전한 상태를 보여준다. 이런 두번째 회전은 한번 회전한 X"축을 중심으로 이루어지므로, X"축에는 아무 영향을 미치지 않는다(X"'=X"). 한편, Y"축과 Z"축은 제2 오일러각도(θ) 회전하여 두번째 회전한 축 Y"'과 Z"'을 만든다. 이런 두번째 회전은 한번 회전한 축 Y"와 Z"와 두번 회전한 축 Y"', Z"'로 이루어진 평면 Ⅱ에서 이루어진다. 포인터(14)의 중심축(CA)는 평면 Ⅱ상에서 반시계방향으로 회전하되 2회전한 축 Z"'와 일치한다.
도 1C에 도시된 바와 같이 2회전한 물체좌표(X"',Y"',Z"')를 제3 오일러각도(ψ)만큼 세번째로 반시계방향으로 회전시킨다. ψ의 회전은 3가지 오일러각도로 회전한 물체축 Z와 이미 일치하는 2회전 축 Z'"를 중심으로 이루어진다. 한편, 2회전 축 X"', Y"'을 ψ 회전시키면 3가지 오일러각도 전체로 회전한 물체축 X, Y가 생긴다. 3개 오일러각도 φ, θ, ψ 전체로 회전한 물체축 X, Y, Z는 오일러회전 물체좌표(X,Y,Z)를 이룬다. 포인터(14)의 팁(16)은 오일러 회전 내내 모든 물체좌표의 원점에 머무른다.
도 1의 포인터(14)의 자세는 방향, 즉 오일러각도(φ,θ,ψ)와, 팁(16)의 위치, 즉 표면(18)과 팁(16)이 닿는 지점의 좌표(x,y,z)를 포함한다. 편의상, 포인터(14)의 방향과 팁(16)의 위치를 절대좌표(X0,Y0,Z0)로 표현한다. 절대좌 표(X0,Y0,Z0)의 절대원점(0,0,0)은 표면(18)상의 팁(16)의 절대위치를 설명하는데 사용된다. 실제, 절대좌표(X0,Y0,Z0)는 포인터(14)의 자세에 대한 임의의 변수의 절대측정에 사용된다. 한편, 포인터(14)의 자세에 대한 어떤 변수도 상대적 방식, 예컨대 상대좌표(Xi,Yi,Zi)나 간단히 이전 자세를 기준으로 설명할 수 있다.
포인터(14)의 절대자세를 설명하려면, 포인터(14)의 방향을 설명하는 오일러회전 물체좌표를 절대좌표(X0,Y0,Z0)에 연관시키는 것이 좋다. 이를 위해, 3가지 오일러회전에 앞선 절대좌표(X0,Y0,Z0)에서의 물체의 Z'축 방향을 평면(X0,Y0)에 수직으로 한다. 제2 오일러각도 θ는 물체좌표의 반시계방향 회전, 특히 Z축을 중심으로 하지 않는 회전을 정의하는데, 이런 제2 회전은 Z', Z", Z"'축이 아닌 X"=X"'축을 중심으로 일어난다. 따라서, 오일러각도 θ는 Z축이나 중심축(CA)을 중심으로 회전한 오일러와 원래의 물체축 Z' 사이의 경사각으로서, Z'축은 팁(16)의 접촉점에서 평면(X0,Y0)에 수직이다.
광학측정기(22)는 측정시간(ti)에 동작(40) 내내의 포인터(14)의 자세를 측정하고 프로세서(26)는 이에 대응하는 자세데이터(12)를 준비한다. 자세데이터(12)는 측정시간(ti)에서의 변수(φ,θ,ψ,x,y,z)의 측정값으로 이루어진다. 절대좌표(X0,Y0,Z0)내에 위치가 있는 불변특징부(32,34,36)를 광학측정기(22)가 이용하여 절대좌표(X0,Y0,Z0)로 자세데이터(12)를 표현한다. 주기적 측정 횟수는 자세데이 터(12)의 사용과 원하는 성능(예; 시간해상도)에 따라 좌우된다. 주기적 측정 횟수가 예정된 시간이나 주파수 스케줄에 한정된 것은 아님을 알아야 된다. 다시 말해, 자세에 대한 연속 2회 측정 사이의 시간은 임의적이다. 그러나, 애플리케이션(28)에서 필요로 하는 시간해상도로 동작(40)을 설명한 자세데이터(12)를 구하기에 충분히 높은 횟수로 측정기(22)가 자세를 측정하는 것이 바람직하다.
통신링크(24)의 무선송신기(30)는 ti에서 수집한 자세데이터(12)나 변수(φ,θ,ψ,x,y,z)를 프로세서(26)로 보낸다. 자세데이터(12)는 연속적으로나 한꺼번에나 부분적으로나 임의적으로나 소정 시간에 또는 달리 원하는대로 전송될 수 있다. 프로세서(26)는 자세데이터(12)의 부분집합(48), 예를 들어 팁(16)의 절대위치(x,y)를 준비해 애플리케이션(28)으로 보낸다. 포인터(14)가 동작(40)을 실행함에 따라 애플리케이션(28)은 ti에서 팁(16)의 절대위치(x,y)를 이용해 표면(18)상의 팁(16)의 흔적(42)을 그래프로 그린다. 요컨대, 애플리케이션(28)에서 팁(16)의 움직임을 나타내는 흔적(42)을 복구한다. 애플리케이션(28)에서 복구된 흔적(42)의 해상도는 자세의 측정 횟수를 늘이거나 측정시간(ti)의 횟수를 늘이면 개선된다. 송신기(30), 프로세서(26) 및 애플리케이션(28) 사이의 적절한 커뮤니케이션을 위해 자세데이터(12)를 포맷해야만 한다. 이런 커뮤니케이션과 포매팅을 위한 어떤 표준도, 예컨대 IEEE 인터페이스 표준도 적절할 수 있다. 포매팅 표준의 예를 들면 아래와 같다: Rick Poyner, LGC/Telegraphics, "WintabTM Interface Specification: 16-bit and 32-bit API Reference", revision of May 9, 1996; Universal Serial Bus(USB), "Device Class Definition for Human Interface Device(HID)", Firmware Specification, USB Implementers' Forum, June 27, 2001 and six-degree of freedom interface by Ulrica Larsson and Johanna Pettersson, "Development and evaluation of a 6DOF interface to be used in a medical application", Thesis, Linkopings University, Department of Science and Technology, Sweden, June 5, 2006.
나머지 자세데이터(12), 즉 (φ,θ,ψ,z)을 이용하기도 한다. 구체적으로, 프로세서(26)는 부분집합을 더 준비하거나, 나머지 모든 자세데이터를 하나의 부분집합으로 애플리케이션(28)이나 다른 애플리케이션 또는 다른 기능을 수행하는 장치에 보낸다. 자세데이터(12)에서 유도된 방향/위치 데이터를 혼합하여 부분집합(48)에 사용할 수도 있다. 사실상, 경우에 따라 프로세서(26)는 모든 자세데이터(12)를 부분집합(48)으로 유지하여, 모든 자세데이터(12)를 애플리케이션(28)에서 이용하도록 한다. 애플리케이션(28)이 팁(16)의 흔적(42)만이 아닌 전체 동작(40)을 표면(18)에 재구성해야만 할 때 이렇게 된다. 예를 들어, 애플리케이션(28)이 동작-캡처 애플리케이션을 포함할 때 그렇다. 마찬가지로, 동작(40)의 시간해상도는 측정시간 ti의 횟수를 증가시켜 개선될 수 있다. 이 경우, 서서히 변하는 자세데이터(12)의 변수가 오버샘플링된다.
표면(18)은 평면이어서 z의 값이 변하지 않는다. 따라서, z를 일정 값, 예 z=0으로 설정하고, 자세데이터(12)의 나머지는 송신기(30)에 의해 전송해야 하는 데이터량을 줄이도록 한다.
도 3은 프로세서(26)가 자세데이터(12)를 처리하고 애플리케이션(28)이 데이터를 이용하는 관계를 자세히 보여주는 블록도이다. 첫번째 단계(50)에서 자세데이터(12)가 통신링크(24)를 통해 프로세서(26)로 보내진다. 두번째 단계(52)에서, 자세데이터(12)의 어느 부분집합(48)이 필요한지를 프로세서(26)에서 결정한다. 이런 결정은 애플리케이션(28)을 기초로 한다. 예를 들어, 애플리케이션(28)이 흔적(42)을 그래프로 그리는 흔적-캡처 애플리케이션이면, 팁(16)의 위치데이터인 (x,y)만 부분집합(48)에 포함되면 된다. 한편, 애플리케이션(28)이 모션-캡처 애플리케이션이면, 부분집합(48)에 모든 자세데이터(12)가 들어있어야 한다.
58 단계에서는 모든 자세데이터(12)를 선택하고 부분집합 포매팅/준비 단계(60A)로 보낸다. 60A 단계에서 자세데이터(12)를 애플리케이션(28)에 필요한 부분집합(48A)의 형태로 준비한다. 예를 들어, 자세데이터(12)를 특별한 순서로 배열하고 적당한 머리말, 꼬리말, redundancy bit 등을 추가하거나, Rick Poyner, LGC/Telegraphics (op . cit .)와 같은 데이터 포팅 표준으로 표시하기도 한다.
62 단계에서는 자세데이터(12)의 일부만을 선택하고, 부분선택의 3가지 예를 보여준다. 첫째, 애플리케이션(28)에 위치데이터만 필요하다. 따라서, 59B 단계에서는 위치데이터(x,y,z)만을 선택하고, 나머지 자세데이터(12)는 버린다. 후속 60B 단계에서는 애플리케이션(28)에 필요하거나 포팅 표준으로 지적된대로 부분집합(48B)의 형태로 위치데이터(x,y,z)를 준비한다. 둘째, 59C 단계에서 방향데이터(φ,θ,ψ)만을 선택하고 나머지는 버린다. 이어서, 60C 단계에서 방향데이터(φ, θ,ψ)를 애플리케이션(28)에 사용하기 위한 부분집합(48C)의 형태로 준비한다. 셋째, 59D 단계에서 위치데이터와 방향데이터를 포함한 자세데이터(12)를 선택하고 60D 단계에서 처리하여 부분집합(48D)을 준비한다.
당업자라면 알 수 있겠지만, 이상 설명한 기능들은 시스템 아키텍처나 데이터 포팅 표준에 필요한대로 프로세서(26)와 애플리케이션(28)이 공유할 수 있다. 예를 들어, 애플리케이션(28)이 부분집합(28)을 준비할 수 있다. 또, 경우에 따라서는 자세데이터(12)를 송신기(30)에서 전처리하거나 적당한 알고리즘에 따라 대응 부분집합(48)을 준비하기 전후의 어느 지점에서 후처리할 수도 있다. 예를 들어, 최소제곱법과 같은 통계 알고리즘을 각각 다른 시간 ti에 유도한 자세데이터(12)나 연속적인 부분집합(48)에 응용할 수 있다. 또, 자세데이터(12)의 모든 변수의 미분값인 (dx/dt,dy/dt,dz/dt,dφ/dt,dθ/dt,dψ/dt)를 계산할 수 있다. 또, 오버샘플링과 같은 기법을 이용할 수도 있다.
부분집합(48)은 통신채널(72)을 통해 애플리케이션(28)으로 전송된다. 애플리케이션(28)은 그 용도에 맞게 처리되거나 라우팅될 입력으로서 부분집합(48)을 받는다. 예컨대, 64 단계에서 제어데이터로 부분집합(48)을 사용한다. 따라서, 부분집합(48)은 실행명령어(66)의 일부나 전체로 번역된다. 한편, 68 단계에서는, 부분집합(48)이 입력데이터로 사용되거나 데이터파일(70)로 저장된다.
일례로 애플리케이션(28)은 부분집합(48)의 선택 기준을 바꾸기 위한 정보를 프로세서(26)에 보낸다. 이런 정보는 통신채널(72)이나 피드백링크(74)를 통해 보 내진다. 예를 들어, 애플리케이션(28)이 부분집합(48A)을 전송하기를 요청하고 이를 데이터파일(70)용 입력데이터로 사용한다. 애플리케이션(28)은 다른 시기에는 부분집합(48C)을 전송하길 요청하고 이를 실행명령어(66)의 명령데이터로 사용한다. 한편, 프로세서(26)는 어느 부분집합(48)을 입력데이터나 제어데이터로 처리해야 할지와 같은 명제를 표시할 수 있다. 또다른 한편으로는, 포인터(14)에 설치된 스위치(도시 안됨)와 같은 별도의 장치를 이용해, 부분집합(48)이 제어데이터나 입력데이터인지 여부를 사용자(38)가 표시할 수도 있다. 당업자라면 알 수 있겠지만, 프로세서(26)와 애플리케이션(28) 양자가 부분집합(48)에 보내지는 데이터의 번역과 조작을 결정하는데 수많은 능동/수동 방법이 있다.
일반적으로, 온보드 광학측정기에 의한 측정법은 여러가지가 있다. 예를 들어, 도 4는 불변특징부(106)를 갖는 평탄한 표면(104)에 팁(102)이 접촉해 있는 긴 물체(100)를 보여준다. 불변특징부(106)는 표면(104)에서의 방향, 사이즈, 위치가 알려진 다각형이다. 편의상 도면에는 물체(100)의 일부분만 도시하였다. 물체(100)는 Z축과 일치하고, Z축은 절대좌표계의 기준으로 사용되는 중심축(CA)과 일치한다.
자세의 온보드 광학측정을 하기 위한 광학측정기(108)를 물체(100)에 설치한다. 실제, 이 측정기(108)는 불변특징부(106)를 이용해 물체(100)의 자세를 광학적으로 측정하기 위한 촬상기이거나 영상캡처장치이다. 광학측정기(108)는 렌즈(110)로 이루어진 영상면(114)에 위치한 전자식 광학센서나 화소어레이 형태의 영상캡처기(112)를 갖는다. 렌즈(110)는 넓은 시야범위(Θ)와 하나의 뷰포인트를 갖는데, 뷰포인트는 부근의 3D 입체정보를 간직한다. 렌즈(110)는 굴절렌즈, 반사렌즈, 반사굴절렌즈, 거울, 조리개, 필드 플래트너, 이미지 가이드 등 당업계에 널리 알려진 여러 광학계를 포함한다. 실제로는 영상 표면(104)에 맞는 렌즈(110)를 선택해야 한다.
어레이(112)는 직교축 XT, YT로 설명되는 영상면(114)에 위치하는 영상화소(116)를 갖는다. 이들 직교축은 회전한 물체좌표의 X, Y 축에 평행하다. 고정물체로부터 회전한 물체좌표까지의 오일러각도는 표시된 바와 같다.
동작중에, 햇빛이나 인공조명과 같은 빛(118)이 표면(104)에 입사된다. 빛(118)의 산란광(118')은 긴 물체(110)의 중심축(CA)에 대해 입사각 θi로 긴 물체에 비춰진다. 더 자세하게는, 불변특징부(106)의 모서리의 한 지점 Pp로부터 산란되는 경로(120)를 따라 전파하는 산란광(118')이 입체각(Θ) 범위내에서 영상시스템(108)에 의해 영상면(114)의 영상점(PI)에 비춰진다. 특징부(106)와 표면(104)의 나머지 부분 및 PP로부터 나오는 산란광(118')은 영상정보를 담고있다. 이런 공간적 강도변화나 영상정보는 어레이(112)의 영상화소(116)에 생기는 표면(104)과 특징부(106)의 영상으로부터 위치를 복구하는 기술에 따라 물체(100)의 자세를 결정하는데 사용된다. 당업자라면 알 수 있겠지만, 이 목적으로는 입체영상이 특히 적당하다. 이에 대한 더 자세한 정보는 미국특허출원 10/640,942를 참조.
온보드 광학측정기의 다른 예가 도 5에 도시되었다. 여기서는, 불변특징 부(136)를 갖는 표면(134)에 팁(132)을 댄채 긴 물체(130)가 온보드 광학측정기로 스캐너(138)를 이용한다. 고정좌표에서 회전한 좌표까지의 오일러 각도가 표시되었다. 불변특징부(136)로는 사변형(136A)과 직선(136B)이 있는데 이들 모두 절대좌표(X0,Y0,Z0)내에서 크기, 방향, 위치가 알려져 있다.
스캐너(138)는 탐사광(142) 광원(140), 아암(144) 및 탐사광(142)을 표면(134)으로 조준하는 스캔거울(146)을 갖는다. 스캐너(138)는 스캔거울(146)을 구동하여 표면(134)과 불변특징부(136)를 스캔하는데 드라이버를 이용한다. 예를 들어, 스캔거울(146)는 2축 드라이버로 구동되는 2축 스캔거울이다. 스캔거울(146)은 물체(130)의 중심축(CA)에 평행한 거울축(MA)에 대해 스캔각도 σ로 탐사광(142)을 조준한다. 드라이버는 스캔패턴(148)에 맞게 스캔각도 σ를 조정하여 표면(134)과 특징부(136)의 스캔을 실행한다. 특정 스캔각도 σ에서, 탐사광(142)은 표면(134)의 특정 지점 P0에 입사각 δ로 입사한다. P0는 드라이버와 물체(130)의 자세에 의한 스캔패턴(148)에 맞게 표면(134)과 특징부(136) 위를 움직인다.
탐사광(142)은 표면(134)에 대한 입사방향, 주파수 f, 및 표면(134)과 불변특징부(136)의 물리적 특성을 기초로 P0에서 산란한다. 표면(134)과 특징부(136)에 대한 탐사광(1420의 역산란부(142')의 반응은 스캔이 일어나면서 역산란부(142')의 시간적인 강도변화로 설명할 수 있다. 일반적으로, 역산란부(142')의 표면(134)과 특징부(136)에 대한 반응은 강도변화는 물론 편광 반응도 포함한다. 표면(134)과 특징부(136)에 대한 탐사광(142)의 역산란부(142')의 이런 반응을 이용해 물 체(130)의 자세를 측정한다. 탐사광(142)에 대해 감지가능한 반응을 일으키고 절대좌표계에서 그 위치가 고정된 불변특징부라면 어떤 것도 이용할 수 있다.
3D 공간에서의 물체(130)의 자세는 표면(134)상의 팁(132)의 위치는 물론 3차원 공간에서의 물체(130)의 방향도 포함한다. 이 경우, 절대좌표(X0,Y0,Z0)에서의 팁(132)의 위치를 벡터 D0와 오일러각도(φ,θ,ψ)에 의한 방향으로 표현한다. 물체(130)의 중심축(CA)과 표면(134)에 대한 수직선인 Z'축 사이의 경사각(θ)으로 설명되는 표면(134)에 대한 물체(130)의 기울기와 두번째 오일러각도 θ가 같기 때문에 이 방식이 특히 편리하다.
표면(134)과 불변특징부(136A,136B)로 인해 이들을 지나는 탐사광(142)의 스캔지점 P0에 대응하는 역산란부(142')의 시간적 강도변화가 일어난다. 역산란부(142')의 시간적 강도변화를 디텍터(150)로 측정한다. 본 실시예에서, 디텍터(150)와 광학장치(152; 예, 분광기)를 물체(130)에 설치하여 탐사광(142)의 역산란부(142')를 디텍터(150)로 향하게 하여 강도변화를 측정한다. 임의의 적당한 시공간 스캔기법에 따라 스캔패턴(148), 표면(134) 및 불변특징부(136)를 알면 물체(130)의 자세를 구할 수 있다. 경사각(θ)나 제2 오일러각도와 제3 오일러각도(ψ)로 팁(132)의 절대위치를 유도할 수 있다. θ와 ψ는 경사계(inclinometer)나다른 장치나 방법으로 구할 수 있다. 물체(130)의 자세를 측정하는데 사용되는 스캔기술의 예가 미국특허출원 10/745,371에 소개되어 있다.
한편, 온보드 광학측정기가 영상기구와 스캔기구의 혼합형일 수도 있다. 예 를 들어, 수동 영상화소와 능동 조명화소를 갖는 화소어레이를 이용해 하이브리드 영상/스캔 요소를 형성할 수 있다. 또, 뚜렷한 뷰포인트를 갖는 시스템을 사용해 스테레오 영상/스캔 기술을 이용할 수 있다. 경우에 따라서는, 영상모드가 아닌 프로젝션 모드로 동작하는 화소어레이를 갖는 광학시스템을 이용할 수 있는바, 즉 이 시스템과 관련된 광학계는 영상기능만을 실행하지는 않고 화소어레이에서 나온 빛을 투사하기도 한다. 당업자라면 알 수 있겠지만, 광학측정기를 구성하는 방법은 대단히 많다.
도 6은 긴 물체(200)가 펜, 연필, 철필 등의 필기구인 경우의 사시도이다. 구체적으로는, 팁(202)이 테이블면(208)에 있는 종이(206)의 표면(204)에 접촉하는 펜(200)을 필기구로 이용한다. 펜(200)의 중심축(CA)은 오일러 회전 펜 좌표(X,Y,Z)의 Z축과 일치한다. 두번째 오일러각도에 해당하는 경사각 θ는 표면에 수직인 Z'축에 대한 각도이다.
펜(200)의 상단부(212)에 하우징(210)을 설치하고, 온보드 펜(200)으로부터 펜의 자세를 광학적으로 측정하기 위한 광학측정기(214)가 하우징에 있다. 광학측정기(214)는 영상시스템, 스캔시스템 또는 하이브리드 시스템이다. 종이(206) 표면(204)에는 에지 형태의 불변특징부(216A~D)가 있다. 광학측정기(214)는 불변특징부(216)를 이용해 펜(200)의 자세를 측정한다.
광학측정기(214)로 측정한 자세에 대응하는 자세데이터를 준비하고 그 부분집합(220)을 확인하기 위한 프로세서(218)는 하우징(210)에 부착된다. 무선 통신링크(226)를 통해 애플리케이션(224)에 부분집합(220)을 전송하기 위한 송신기(222) 가 하우징(210)에 설치된다. 하우징(210) 안의 요소와 그 동작에 대해서는 앞에서 설명했으므로, 더이상의 설명은 생략한다.
사용자는 손(228)으로 펜(200)을 쥐고 표면(204)에 댄채 움직여 글자를 나타내는 표시를 만든다. 도면에는 손(228)을 파단선으로 표시하여 더 잘 보이게 했다. 팁(202)과 표면(204) 사이의 접촉은 압력센서 등으로 확인한다. 사용자가 필기를 하는 동안, 광학측정기는 펜(200)의 자세를 주기적으로 측정한다. 특히, 펜(200)이 움직이는 동안, 광학측정기(214)는 ti에서 주기적으로 자세를 측정하고, 자세데이터는 애플리케이션(224)에 사용할 수 있을 정도로 충분히 자세히 펜(200)의 동작을 설명한다.
예를 들어, 애플리케이션(224)이 일반 모션캡처 애플리케이션이면, ti의 횟수는 75Hz 범위에 있다. 모션 펜(200)의 정확한 지식을 필요로 하는 바이오메트릭 애플리케이션과 같은 모션캡처 애플리케이션에서는, 예컨대 손(228)의 바이오메트릭을 유도하려면 100Hz 이상의 빈번한 ti를 사용할 수 있다. 특히, 이런 정확한 지식은 바이오메트릭 애플리케이션이 사용자 확인 애플리케이션일 때 필요할 수 있다. 경우에 따라서는, 애플리케이션(224)이 종이(206)에 펜(200)이 그리는 흔적(230A~C)을 캡처하는 흔적캡처 애플리케이션이기도 하다. 더 정확히는, 측정시간 ti가 적절히 필체를 인식하기 위해 100Hz(Δt=1/100 s) 범위에 있을 것을 요하는 온라인이나 오프라인 필체인식 애플리케이션이다. 다른 애플리케이션(224)에서는, 팁(202)이 연속 측정시기 사이에서 종이 표면(204)을 움직이는 거리(Δs)가 1인치 나 0.12mm의 1/200 정도일 것을 요하기도 한다. 한편으로는, 흔적캡처 애플리케이션이 필체인식보다 더 높은 정확도를 요하는 사인확인 애플리케이션일 수도 있다. 주의할 것은, 바이오메트릭 애플리케이션이 사용자를 확인하거나 사인을 확인할 수도 있다는 것이다. 본 실시예의 애플리케이션(224)은 온라인 필체인식 애플리케이션으로서, 측정시간 ti는 100Hz 정도의 주파수로 반복된다.
동작중에, 사용자는 펜(200)의 동작으로 번역되는 손(228) 동작을 일으켜 결국 종이(206) 표면(204)에 잉크 흔적(230)을 남긴다. 팁(202)이 표면(204)에 접촉할 때 흔적(230)이 생긴다. 광학측정기(214)는 흔적(230)이 생기는 동안 불변특징부(216)의 도움으로 ti에서 주기적으로 펜(200)의 자세를 측정한다.
펜을 내리는 첫번째 필기점 Pwdn과 펜을 올리는 최종 필기점 Pwup이 펜(200)의 동작(232)중에 팁(202)에 의해 생긴 흔적(230A)에 표시된다. 또, 팁(202)이 특정 측정시간 tm 내내 위치한 장소에 표시된 것은 중간 필기점 Pwm이다. 연속 시간인 tn과 tn +1에서의 2개 필기점도 표시되었고, 편의상 이들 사이의 시간을 Δt라 한다. 사용자가 필기하는 과정중에 흔적(230B)이 생긴다. 이때 흔적(230C)은 벌써 생겼고, tn과 tn +1에서의 2개의 필기점의 간격은 Δs로 표시했다.
애플리케이션(224)이 온라인 필체인식 애플리케이션이므로, 흔적(230A~C) 각각에 대해 펜을 내리는 지점과 올리는 지점 사이의 ti의 주파수는 100Hz 정도이고 Δt는 1/100 s이다. 따라서, 1/100 s의 시간해상도를 갖는 측정기(214)로 펜(200) 의 자세를 측정한다.
프로세서(218)는 펜을 내리고 올리는 지점들 사이에서 실행되는 동작중에 펜(200)이 취하는 일련의 자세에 해당하는 자세데이터를 준비하고, 또 애플리케이션(224)을 돌리기 위해 부분집합(220)에서 필요로 하는 자세데이터를 확인하기도 한다. 필체인식 애플리케이션의 경우, 필기점 Pwi에 대응하는 ti에서 팁(202)의 절대위치가 부분집합(220)에 포함되기만 하면 된다. 다시 말해, 펜(200)의 방향데이터가 아닌 표면(204)상의 팁(202)의 위치데이터만 부분집합(220)에 있으면 된다. 또, 필기점 Pwi의 장소는 종이(206)의 우상단 모서리에 원점을 갖는 절대좌표(X0,Y0,Z0)의 대응 벡터 Di로 표현된다.
한편, 필체인식 애플리케이션(224)은 부분집합(220)내의 방향데이터를 필요로 한다. 예를 들어, 온라인 필체인식 애플리케이션(224)에서 경사각(θ)이 부분집합(220)에 포함되길 요구한다. 경사각(θ)은 두번째 오일러각도이기도 하다. 다른 필체인식 애플리케이션(224)에서는 모든 방향데이터, 즉 3가지 오일러각도 모두가 부분집합(220)에 포함되길 요구하기도 한다. 사실상, 프로세서(218)는 부분집합(220)에 대해 주어진 임의의 시간에 특수한 조건의 애플리케이션(224)에 의해, 예컨대 통신링크(226)를 통해 정보를 받는다. 부분집합(220)이 모든 위치/방향 데이터의 조합의 1차 이상의 미분값과 같은 추가정보, 예컨대
Figure 112006062340779-pct00001
를 포함할 경우, 이들 값은 프로세서(218)에서 계산되어 부분집합(220)에 포함되거나, 애플리케이션(224)에서 계산될 수 있다.
한편, 펜(200)이 흔적(230)을 전혀 남기지 않는 철필일 수도 있다. 요컨대, 팁(202)이 흔적을 만들지 않는 포인트이다. 이 경우, 표면(204)은 종이면일 필요가 없고 필기를 할 수 있는 어떤 평면으로도 대체할 수 있다. 다른 방법은 앞서 설명한 것과 같다.
도 7은 팁(252) 달린 긴 물체(250)의 자세에서 유도된 자세데이터를 처리하는 장치(248)의 예를 보여준다. 이 물체(250)는 팁(252)이 흔적을 남기지 않는 철필로서, 하우징(254) 안에는 광학측정기와 프로세서(도시 안됨)가 들어있다. 통신용 무선송신기(262)가 설치된다.
팁(252)은 불변특징부(258A~D)를 갖는 평탄한 표면(256)에 둔다. 이 측정기는 불변특징부(258)를 이용해, 팁(252)이 표면(256)에 닿는 측정시간 ti에 철필(250)의 자세를 주기적으로 측정한다. 프로세서는 이 자세에 맞는 자세데이터를 준비하고 송신될 부분집합(260)을 확인한다. 이 경우, 부분집합(260)은 모든 자세데이터를 가진채 ti 이후에 송신된다. 위치데이터는 광학측정기가 선택한 절대좌표(X0,Y0,Z0)에서 벡터 Di로 표현된다. 방향데이터는 오일러각도로 표현된다.
송신기(262)는 부분집합(260)을 필요로하는 거주 애플리케이션을 갖는 여러 장치에 통신링크(264A~D)를 통해 부분집합(260)을 보낸다. 구체적으로, 링크(264A)는 네트웍(266)에 연결되고, 네트웍은 컴퓨터(268)에 연결되며, 컴퓨터는 부분집합(260)을 필요로 하는 애플리케이션(270)을 돌리는 PC이다. 네트웍(266)은 인터넷, LAN, 전화망 등 부분집합(260)을 송신할 수 있기만 하면 어떤 네트웍도 가능하 다. 링크(264B)는 호스트 컴퓨터와 같은 로컬호스트(272)에 연결되고, 로컬호스트는 웹(274)을 통해 컴퓨터(268)와 통신한다. 애플리케이션(270)을 컴퓨터(268)와 로컬호스트(272)가 공유할 수도, 또는 각각이 자체의 별도의 애플리케이션용 부분집합(260)을 사용할 수도 있다. 한편, 로컬호스트(272)는 중계컴퓨터 역할만을 할 수 있다. 링크(264C)는 컴퓨터(268)에 직접 연결되고 단거리 링크로서, 예컨대 컴퓨터(268) 부근에서 철필(250)이 동작할 때만 작동하는 링크일 수 있다. 링크(264D)는 다른 애플리케이션(278)를 돌리는 장치(276)에 연결된다. 이 장치(276)의 예로는 PDA, 핸드폰 등이 있다. 사실상, 링크(264D)는 적외선 링크나 초음파 링크로서, 이 경우에 맞는 송신기로 무선송신기(262)를 대체한다. 철필(250)은 주어진 시간에 통신을 필요로 하는 모든 장치를 갖는 링크(264)를 통해 통신할 수 있다.
동작중에, 철필(250)은 절대좌표계로 표현된 절대적 위치데이터인 벡터 Di를 부분집합(260)에 포함할 수 있지만, 상대좌표계(Xr,Yr,Zr)에서 상대적 위치데이터인 벡터 Dri를 부분집합(260) 안에 포함할 수도 있고, 또는 이전 위치에 대한 상대적 위치데이터, 즉 벡터 ΔD=Dri-Dri - 1를 부분집합(260)이 가질 수도 있다. 애플리케이션에 따라서는 팁(252)의 상대적 위치만 필요한 경우도 있기 때문이다. 자세데이터와 부분집합(260)의 확인의 처리는 펜(250)과 다른 장치가 공유하는 임무임을 알아야 한다. 사실상, 자세를 처리해 자세데이터를 유도하고 부분집합(260)을 확인하는데 필요한 프로세서는 컴퓨터(268) 안에 있을 수 있다.
도 8은 필기구(250)의 부분집합(260)에서 입력데이터와 명령어를 사용하는 일례를 보여주는 블록도이다. 280 단계에서 로컬호스트나 네트웍이 통신링크(264)를 통해 부분집합(260)을 받는다. 부분집합(260)이 원격 호스트용이면, 282 단계에서 원격 호스트로 보내진다.
284 단계에서는 호스트(로컬 혹은 원격)의 프로세서가 부분집합(26)에 필요한 조건을 결정한다. 이 결정은 애플리케이션(300)을 기준으로 한다. 예를 들어, 애플리케이션(300)이 이미 부분집합(260)에 포함된 변수만을 필요로 하면, 이 부분집합(260)을 286 단계로 보내 직접 사용하지만, 애플리케이션이 추가 변수를 필요로 하면 이들 추가변수의 유도를 위해 288 단계로 부분집합(260)을 보낸다.
예를 들어, 부분집합(260)내의 변수의 도함수가 추가변수일 수 있다. 따라서, 부분집합(260)을 차례로 미분모듈(290)과 준비모듈(292)로 보내 도함수로 부분집합(260)을 보충한다. 도시된 실시예에서, 오일러각도 φ와 θ의 시간 도함수를 필요로 하므로, 보충된 부분집합(260')에는 이들 시간 도함수가 들어있다. 한편, 부분집합(260)내의 변수에 관한 통계정보가 필요한 경우도 있고, 이 경우 부분집합을 차례로 통계모듈(294)과 준비모듈(296)로 보내 통계정보로 부분집합(260)을 보충한다. 본 실시예에서는 두번째 오일러각도 θ의 표준 편차가 통계정보이다. 따라서, 보충된 부분집합(260")에는 부분집합(260)의 변수 외에도 θ의 표준편차가 들어있다.
당업자라면 알 수 있겠지만, 이상 설명한 기능은 로컬/원격 호스트는 물론 애플리케이션(300) 사이에 공유되는바, 예컨대 시스템 아키텍처와 데이터 포팅 표 준에 필요한대로 공유된다. 예를 들어, 부분집합(260)의 준비와 보충이 이를 받은 애플리케이션(300)에서 이루어지기도 한다.
부분집합(260)은 그 용도에 맞게 처리되거나 라우팅되는 입력값으로 사용되도록 애플리케이션(300)에 보내진다. 예컨대, 302 단계에서는 부분집합(260')을 제어데이터로 사용한다. 따라서, 부분집합(260')이 실행명령어(304)의 전체나 일부로 번역되어 실행파일(310)에서 사용된다. 한편, 306 단계에서는 부분집합(260")을 입력데이터로 사용하고 데이터파일(308)에 저장한다.
어떤 경우, 애플리케이션(300)이 흔적캡처 애플리케이션이고 부분집합(260')은 표준 불리언논리(Boolean logic)에 맞게 제어데이터로 사용된다. 자세히는, 애플리케이션이 불리언 논리심볼 리포매팅 함수를 포함하여 제어데이터를 불리언 논리명령어인 OR, AND, XOR 등으로 번역한다.
도 9는 본 발명의 다른 장치를 보여주는 개략도이다. 긴 물체(320)는 불변특징부(324A-B)를 갖는 필기용 표면(322)에 사용되는 필기구이다. 필기표면(322)은 스크린, 패드, 종이면, 기타 필기구(320)가 전술한 설명대로 온보드 광학측정기의 도움으로 자세를 결정할 수 있는 모든 표면을 포함한다. 필기구(320)는 펜, 연필 또는 철필이다.
사용자(326)는 팁(328)을 표면(322)에 댄채 필기구(320)를 움직여 자세데이터를 생성한다. 자세데이터를 부분집합으로 처리하여 컴퓨터(330, 조이스틱(332), 핸드폰(334), PC(336), PDA(338) 등의 사용자 장치로 보낸다. 이들 장치 각각은 부분집합중에서 필요한 부분을 이용한다. 에컨대, 조이스틱(332)은 오일러각도 φ와 θ 이외의 다른 모든 변수를 취하여 제어데이터로 사용하지만, 오일러각도 ψ를 제어데이터로 사용하여 활성 버튼기능을 모방할 수도 있다. 한편, 핸드폰(334)는 오일러각도를 이용해 다이얼번호와 위치데이터를 제어데이터로 선택하여 다이얼 명령을 실행한다.
긴 물체는 자신의 물리적 자세에서 유용한 데이터를 만들 수 있는 모든 종류의 기다란 장치이다. 따라서, 앞에서는 필기구, 포인터, 지팡이, 로봇아암 등을 예로 들어 설명했지만, 굳이 이에 한정되지 않는다. 또, 긴 물체에 온보드로 설치되거나 아닌 다른 장치에서 유도되는 여러 추가 데이터로 자세데이터를 보충할 수 있다. 또, 부분집합내의 자세데이터나 데이터는 보안 등의 이유로 암호화할 수도 있다.

Claims (30)

  1. 광학측정수단, 프로세서, 통신링크 및 사용자 애플리케이션을 갖는 장치를 이용해 팁이 달린 긴 물체의 자세에서 유도되는 자세데이터를 처리하는 방법에 있어서:
    a) 에지, 기준점, 표면 요철부와 같이 크기와 위치가 변하지 않고 실재하면서 절대좌표(표(X0,Y0,Z0)로 정의되는 불변특징부가 있는 평평한 표면에 긴 물체의 팁이 접촉되는 단계;
    b) 상기 광학측정수단이 상기 불변특징부를 이용해 긴 물체로부터 상기 자세를 광학적으로 측정할 때, 절대원점(0,0,0)을 갖는 상기 절대좌표(표(X0,Y0,Z0)로 표현된 오일러 회전 물체를 나타내는 변수(φ,θ,ψ,x,y,z)의 값들을 측정하는 단계;
    c) 상기 프로세서가 상기 자세에 맞는 자세데이터로서 상기 측정된 변수(φ,θ,ψ,x,y,z)를 준비하는 단계;
    d) 상기 프로세서가 자세데이터의 부분집합을 확인하는 단계; 및
    e) 상기 자세데이터의 부분집합이 상기 애플리케이션에 전송되는 단계;를 포함하는 것을 특징으로 하는 방법.
  2. 제1항에 있어서, 상기 긴 물체가 동작을 취하고, 상기 측정은 측정시간 ti에서 주기적으로 실시하며, 상기 자세데이터가 동작을 설명하는 것을 특징으로 하는 방법.
  3. 제1항에 있어서, 상기 부분집합이 방향데이터를 포함하는 것을 특징으로 하는 방법.
  4. 제3항에 있어서, 상기 부분집합이 경사각 θ를 포함하는 것을 특징으로 하는 방법.
  5. 제3항에 있어서, 상기 부분집합이 오일러각도를 포함하는 것을 특징으로 하는 방법.
  6. 제3항에 있어서, 상기 방향데이터를 제어데이터와 입력데이터중에서 선택한 입력값으로 사용하는 것을 특징으로 하는 방법.
  7. 제2항에 있어서, 상기 부분집합이 표면상의 팁의 위치데이터를 포함하는 것을 특징으로 하는 방법.
  8. 제7항에 있어서, 상기 위치데이터가 불변특징부에 대한 팁의 위치를 포함하는 것을 특징으로 하는 방법.
  9. 제7항에 있어서, 상기 위치데이터가 표면상의 팁의 절대위치를 포함하는 것을 특징으로 하는 방법.
  10. 제7항에 있어서, 상기 위치데이터가 표면상의 팁의 이전 절대위치에 대한 팁의 위치를 포함하는 것을 특징으로 하는 방법.
  11. 제7항에 있어서, 상기 위치데이터를 제어데이터와 입력데이터중에서 선택한 입력값으로 사용하는 것을 특징으로 하는 방법.
  12. 제1항에 있어서, 상기 표면이 필기면이고 긴 물체가 필기구인 것을 특징으로 하는 방법.
  13. 제12항에 있어서, 상기 필기면이 스크린, 태블릿, 패드 또는 종이면인 것을 특징으로 하는 방법.
  14. 제1항에 있어서, 상기 긴 물체가 필기구, 포인터, 로봇아암 또는 지팡이인 것을 특징으로 하는 방법.
  15. 제14항에 있어서, 상기 필기구가 펜, 연필 또는 철필인 것을 특징으로 하는 방법.
  16. 팁이 달린 긴 물체의 자세에서 유도되는 자세데이터를 처리하고 사용자 애플리케이션을 갖는 장치에 있어서:
    a) 에지, 기준점, 표면 요철부와 같이 크기와 위치가 변하지 않고 실재하면서 절대좌표(표(X0,Y0,Z0)로 정의되는 불변특징부를 갖고 상기 긴 물체의 팁이 접촉되는 평탄한 표면;
    b) 상기 불변특징부를 이용해 긴 물체로부터 상기 자세를 광학적으로 측정하되, 절대원점(0,0,0)을 갖는 상기 절대좌표(표(X0,Y0,Z0)에서 표현된 오일러 회전 물체를 나타내는 변수(φ,θ,ψ,x,y,z)의 값들을 측정하는 광학측정수단;
    c) 상기 자세에 맞는 자세데이터로서 상기 측정된 변수(φ,θ,ψ,x,y,z)를 준비하고, 준비된 자세데이터의 부분집합을 확인하기 위한 프로세서; 및
    d) 상기 부분집합을 상기 장치의 애플리케이션에 전송하기 위한 통신링크;를 포함하는 것을 특징으로 하는 장치.
  17. 제16항에 있어서, 상기 광학측정수단이 측정시간 ti에서 상기 자세를 주기적으로 측정하기 위한 주기적 측정수단을 포함하는 특징으로 하는 장치.
  18. 제16항에 있어서, 상기 프로세서가 긴 물체에 설치되는 것을 특징으로 하는 장치.
  19. 제16항에 있어서, 상기 통신링크가 무선 통신링크인 것을 특징으로 하는 장치.
  20. 제16항에 있어서, 상기 긴 물체가 필기구, 포인터, 로봇아암 또는 지팡이인 것을 특징으로 하는 장치.
  21. 제20항에 있어서, 상기 필기구가 펜, 연필 또는 철필인 것을 특징으로 하는 장치.
  22. 제16항에 있어서, 상기 애플리케이션이 데이터파일을 포함하고 상기 부분집합이 데이터파일에 대한 입력데이터를 포함하는 것을 특징으로 하는 장치.
  23. 제16항에 있어서, 상기 애플리케이션이 실행파일을 포함하고 상기 부분집합이 실행파일에 대한 제어데이터를 포함하는 것을 특징으로 하는 장치.
  24. 제16항에 있어서, 상기 애플리케이션이 모션캡처 애플리케이션을 포함하는 것을 특징으로 하는 장치.
  25. 제24항에 있어서, 상기 모션캡처 애플리케이션이 바이오메트릭 애플리케이션을 포함하는 것을 특징으로 하는 장치.
  26. 제25항에 있어서, 상기 바이오메트릭 애플리케이션이 사용자 확인 애플리케이션을 포함하는 것을 특징으로 하는 장치.
  27. 제16항에 있어서, 상기 애플리케이션이 흔적캡처 애플리케이션을 포함하는 것을 특징으로 하는 장치.
  28. 제27항에 있어서, 상기 흔적캡처 애플리케이션이 필체인식 애플리케이션을 포함하는 것을 특징으로 하는 장치.
  29. 제27항에 있어서, 상기 흔적캡처 애플리케이션이 사인확인 애플리케이션을 포함하는 것을 특징으로 하는 장치.
  30. 제27항에 있어서, 상기 흔적캡처 애플리케이션이 불리언 논리심볼 리포매팅 함수를 포함하는 것을 특징으로 하는 장치.
KR1020067017451A 2004-01-30 2005-01-27 긴 물체의 자세에서 유도한 자세데이터를 처리하는 방법과장치 KR101101091B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US10/769,484 2004-01-30
US10/769,484 US8542219B2 (en) 2004-01-30 2004-01-30 Processing pose data derived from the pose of an elongate object
PCT/US2005/003616 WO2005074653A2 (en) 2004-01-30 2005-01-27 Processing pose data derived from the pose of an elongate object

Publications (2)

Publication Number Publication Date
KR20070017321A KR20070017321A (ko) 2007-02-09
KR101101091B1 true KR101101091B1 (ko) 2011-12-30

Family

ID=34808142

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020067017451A KR101101091B1 (ko) 2004-01-30 2005-01-27 긴 물체의 자세에서 유도한 자세데이터를 처리하는 방법과장치

Country Status (7)

Country Link
US (1) US8542219B2 (ko)
EP (1) EP1738348A4 (ko)
JP (1) JP4809778B2 (ko)
KR (1) KR101101091B1 (ko)
CN (1) CN101107649A (ko)
CA (1) CA2553960C (ko)
WO (1) WO2005074653A2 (ko)

Families Citing this family (119)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2002221662A1 (en) 2000-10-07 2002-04-29 Physoptics Opto-Electronic Gmbh Information system and method for providing information using a holographic element
JP2005515910A (ja) 2002-01-31 2005-06-02 ブレインテック カナダ インコーポレイテッド シングルカメラ3dビジョンガイドロボティクスの方法および装置
US7952570B2 (en) 2002-06-08 2011-05-31 Power2B, Inc. Computer navigation
FI117986B (fi) * 2003-06-17 2007-05-15 Onesys Oy Menetelmä ja järjestelmä navigoimiseksi tosiaikaisesti kolmiulotteisessa lääketieteellisessä kuvamallissa
US8442331B2 (en) 2004-02-15 2013-05-14 Google Inc. Capturing text from rendered documents using supplemental information
US7826641B2 (en) 2004-01-30 2010-11-02 Electronic Scripting Products, Inc. Apparatus and method for determining an absolute pose of a manipulated object in a real three-dimensional environment with invariant features
US9229540B2 (en) 2004-01-30 2016-01-05 Electronic Scripting Products, Inc. Deriving input from six degrees of freedom interfaces
US8542219B2 (en) 2004-01-30 2013-09-24 Electronic Scripting Products, Inc. Processing pose data derived from the pose of an elongate object
US7961909B2 (en) 2006-03-08 2011-06-14 Electronic Scripting Products, Inc. Computer interface employing a manipulated object with absolute pose detection component and a display
US10635723B2 (en) 2004-02-15 2020-04-28 Google Llc Search engines and systems with handheld document data capture devices
US20060041484A1 (en) 2004-04-01 2006-02-23 King Martin T Methods and systems for initiating application processes by data capture from rendered documents
US8799303B2 (en) 2004-02-15 2014-08-05 Google Inc. Establishing an interactive environment for rendered documents
US7812860B2 (en) 2004-04-01 2010-10-12 Exbiblio B.V. Handheld device for capturing text from both a document printed on paper and a document displayed on a dynamic display device
US8793162B2 (en) 2004-04-01 2014-07-29 Google Inc. Adding information or functionality to a rendered document via association with an electronic counterpart
US20070300142A1 (en) 2005-04-01 2007-12-27 King Martin T Contextual dynamic advertising based upon captured rendered text
US9143638B2 (en) 2004-04-01 2015-09-22 Google Inc. Data capture from rendered documents using handheld device
US9008447B2 (en) 2004-04-01 2015-04-14 Google Inc. Method and system for character recognition
US20080313172A1 (en) 2004-12-03 2008-12-18 King Martin T Determining actions involving captured information and electronic content associated with rendered documents
US8621349B2 (en) 2004-04-01 2013-12-31 Google Inc. Publishing techniques for adding value to a rendered document
US7894670B2 (en) 2004-04-01 2011-02-22 Exbiblio B.V. Triggering actions in response to optically or acoustically capturing keywords from a rendered document
US9116890B2 (en) 2004-04-01 2015-08-25 Google Inc. Triggering actions in response to optically or acoustically capturing keywords from a rendered document
US8713418B2 (en) 2004-04-12 2014-04-29 Google Inc. Adding value to a rendered document
US9460346B2 (en) 2004-04-19 2016-10-04 Google Inc. Handheld device for capturing text from both a document printed on paper and a document displayed on a dynamic display device
US8489624B2 (en) 2004-05-17 2013-07-16 Google, Inc. Processing techniques for text capture from a rendered document
US8874504B2 (en) 2004-12-03 2014-10-28 Google Inc. Processing techniques for visual capture data from a rendered document
US8346620B2 (en) 2004-07-19 2013-01-01 Google Inc. Automatic modification of web pages
WO2006041097A1 (ja) * 2004-10-12 2006-04-20 Nippon Telegraph And Telephone Corporation 3次元ポインティング方法、3次元表示制御方法、3次元ポインティング装置、3次元表示制御装置、3次元ポインティングプログラム、及び3次元表示制御プログラム
US7483010B2 (en) * 2004-12-22 2009-01-27 Himax Technologies Limited Frame-varying addressing method of color sequential display
US10452207B2 (en) 2005-05-18 2019-10-22 Power2B, Inc. Displays and information input devices
WO2008111079A2 (en) 2007-03-14 2008-09-18 Power2B, Inc. Interactive devices
WO2008002239A1 (en) * 2006-06-28 2008-01-03 Anoto Ab Operation control and data processing in an electronic pen
WO2008036354A1 (en) 2006-09-19 2008-03-27 Braintech Canada, Inc. System and method of determining object pose
NO327279B1 (no) 2007-05-22 2009-06-02 Metaio Gmbh Kamerapositurestimeringsanordning og- fremgangsmate for foroket virkelighetsavbildning
DE102007033486B4 (de) * 2007-07-18 2010-06-17 Metaio Gmbh Verfahren und System zur Vermischung eines virtuellen Datenmodells mit einem von einer Kamera oder einer Darstellungsvorrichtung generierten Abbild
US7957583B2 (en) 2007-08-02 2011-06-07 Roboticvisiontech Llc System and method of three-dimensional pose estimation
US20100302161A1 (en) * 2007-08-30 2010-12-02 Razer (Asia-Pacific) Pte Ltd Keys Deactivation System and Method
DE102007045834B4 (de) * 2007-09-25 2012-01-26 Metaio Gmbh Verfahren und Vorrichtung zum Darstellen eines virtuellen Objekts in einer realen Umgebung
DE102007045835B4 (de) * 2007-09-25 2012-12-20 Metaio Gmbh Verfahren und Vorrichtung zum Darstellen eines virtuellen Objekts in einer realen Umgebung
WO2009070125A1 (en) * 2007-11-30 2009-06-04 Razer (Asia-Pacific) Pte Ltd Ergonomic mouse device with multi-programmable buttons
US20090167702A1 (en) * 2008-01-02 2009-07-02 Nokia Corporation Pointing device detection
JP2009237878A (ja) * 2008-03-27 2009-10-15 Dainippon Printing Co Ltd 複合映像生成システム、重畳態様決定方法、映像処理装置及び映像処理プログラム
US8559699B2 (en) 2008-10-10 2013-10-15 Roboticvisiontech Llc Methods and apparatus to facilitate operations in image based systems
EP2356583B9 (en) 2008-11-10 2014-09-10 Metaio GmbH Method and system for analysing an image generated by at least one camera
US8447066B2 (en) 2009-03-12 2013-05-21 Google Inc. Performing actions based on capturing information from rendered documents, such as documents under copyright
US8990235B2 (en) 2009-03-12 2015-03-24 Google Inc. Automatically providing content associated with captured information, such as information captured in real-time
EP2382599B1 (en) 2009-07-29 2012-12-12 Metaio GmbH Method for determining the pose of a camera with respect to at least one real object
DE102009037835B4 (de) 2009-08-18 2012-12-06 Metaio Gmbh Verfahren zur Darstellung von virtueller Information in einer realen Umgebung
US20230349693A1 (en) * 2009-09-03 2023-11-02 Electronic Scripting Products, Inc. System and method for generating input data from pose estimates of a manipulated object by using light data and relative motion data
DE102009049073A1 (de) 2009-10-12 2011-04-21 Metaio Gmbh Verfahren zur Darstellung von virtueller Information in einer Ansicht einer realen Umgebung
DE102009049849B4 (de) 2009-10-19 2020-09-24 Apple Inc. Verfahren zur Bestimmung der Pose einer Kamera, Verfahren zur Erkennung eines Objekts einer realen Umgebung und Verfahren zur Erstellung eines Datenmodells
US9081799B2 (en) 2009-12-04 2015-07-14 Google Inc. Using gestalt information to identify locations in printed information
US9323784B2 (en) 2009-12-09 2016-04-26 Google Inc. Image search using text-based elements within the contents of images
EP2339537B1 (en) * 2009-12-23 2016-02-24 Metaio GmbH Method of determining reference features for use in an optical object initialization tracking process and object initialization tracking method
EP2542957B1 (en) 2010-03-01 2020-07-08 Apple Inc. Method of displaying virtual information in a view of a real environment
US8638450B2 (en) * 2010-08-04 2014-01-28 Boulder Innovation Group Inc. Methods and systems for realizing reduced complexity in three-dimensional digitizer systems
JP5621464B2 (ja) * 2010-09-24 2014-11-12 富士ゼロックス株式会社 動作検出装置、記録システム及びプログラム
US9208563B2 (en) 2010-12-21 2015-12-08 Metaio Gmbh Method for determining a parameter set designed for determining the pose of a camera and/or for determining a three-dimensional structure of the at least one real object
US9235894B2 (en) 2011-01-27 2016-01-12 Metaio Gmbh Method for determining correspondences between a first and a second image, and method for determining the pose of a camera
JP5781682B2 (ja) 2011-03-23 2015-09-24 メタイオ ゲゼルシャフト ミット ベシュレンクテル ハフツングmetaio GmbH 共線変換ワープ関数を用いて第1の画像の少なくとも一部と第2の画像の少なくとも一部を位置合わせする方法
US8791901B2 (en) * 2011-04-12 2014-07-29 Sony Computer Entertainment, Inc. Object tracking with projected reference patterns
US8687172B2 (en) 2011-04-13 2014-04-01 Ivan Faul Optical digitizer with improved distance measurement capability
US10229538B2 (en) 2011-07-29 2019-03-12 Hewlett-Packard Development Company, L.P. System and method of visual layering
EP2748675B1 (en) 2011-07-29 2018-05-23 Hewlett-Packard Development Company, L.P. Projection capture system, programming and method
US9521276B2 (en) 2011-08-02 2016-12-13 Hewlett-Packard Development Company, L.P. Portable projection capture device
WO2013029675A1 (en) 2011-08-31 2013-03-07 Metaio Gmbh Method for estimating a camera motion and for determining a three-dimensional model of a real environment
US9495018B2 (en) 2011-11-01 2016-11-15 Qualcomm Incorporated System and method for improving orientation data
US8896688B2 (en) 2011-11-04 2014-11-25 Hewlett-Packard Development Company, L.P. Determining position in a projection capture system
CN104254815B (zh) * 2012-02-29 2017-09-12 高通股份有限公司 书写内容的空间上相关的注释的显示方法、装置和系统
CN104081450B (zh) 2012-04-24 2016-09-07 惠普发展公司,有限责任合伙企业 用于显示图像的系统
US20130300831A1 (en) * 2012-05-11 2013-11-14 Loren Mavromatis Camera scene fitting of real world scenes
US9652043B2 (en) 2012-05-14 2017-05-16 Hewlett-Packard Development Company, L.P. Recognizing commands with a depth sensor
US8837780B2 (en) 2012-06-22 2014-09-16 Hewlett-Packard Development Company, L.P. Gesture based human interfaces
CN102789576B (zh) * 2012-06-29 2015-09-09 鸿富锦精密工业(深圳)有限公司 签名特征提取系统及方法
US8831285B2 (en) 2012-07-26 2014-09-09 Hewlett-Packard Development Company, L.P. Detecting objects with a depth sensor
US20140032164A1 (en) * 2012-07-26 2014-01-30 Andy Liao Identifying and locating plural signal emitters
US9024876B2 (en) 2012-09-06 2015-05-05 Interphase Corporation Absolute and relative positioning sensor fusion in an interactive display system
US9143696B2 (en) 2012-10-13 2015-09-22 Hewlett-Packard Development Company, L.P. Imaging using offsetting accumulations
US8982261B2 (en) 2012-10-13 2015-03-17 Hewlett-Packard Development Company, L.P. Imaging with interleaved detection accumulations
US9297942B2 (en) 2012-10-13 2016-03-29 Hewlett-Packard Development Company, L.P. Imaging with polarization removal
US9274651B2 (en) 2012-11-05 2016-03-01 Hewlett-Packard Development Company, L.P. Apparatus to track a pointing device
DE102013200080A1 (de) * 2013-01-07 2014-07-10 Christian Walloth Stiftförmiges Handwerkzeug
US9146668B2 (en) 2013-01-31 2015-09-29 Hewlett-Packard Development Company, L.P. Graphical element placement on a display surface
KR102516124B1 (ko) 2013-03-11 2023-03-29 매직 립, 인코포레이티드 증강 및 가상 현실을 위한 시스템 및 방법
KR102318391B1 (ko) 2013-03-15 2021-10-26 매직 립, 인코포레이티드 디스플레이 시스템 및 방법
US9148573B2 (en) 2013-03-15 2015-09-29 Hewlett-Packard Development Company, L.P. Non-uniform correction illumination pattern
US9323338B2 (en) 2013-04-12 2016-04-26 Usens, Inc. Interactive input system and method
US9063330B2 (en) 2013-05-30 2015-06-23 Oculus Vr, Llc Perception based predictive tracking for head mounted displays
JP6098386B2 (ja) * 2013-06-18 2017-03-22 船井電機株式会社 プロジェクタ
US9776364B2 (en) 2013-08-09 2017-10-03 Apple Inc. Method for instructing a 3D printing system comprising a 3D printer and 3D printing system
KR101800981B1 (ko) 2013-08-22 2017-11-23 휴렛-팩커드 디벨롭먼트 컴퍼니, 엘.피. 투사 컴퓨팅 시스템
WO2015030795A1 (en) 2013-08-30 2015-03-05 Hewlett Packard Development Company, L.P. Touch input association
WO2015047225A1 (en) 2013-09-24 2015-04-02 Hewlett-Packard Development Company, L.P. Determining a segmentation boundary based on images representing an object
WO2015047223A1 (en) 2013-09-24 2015-04-02 Hewlett-Packard Development Company, L.P. Identifying a target touch region of a touch-sensitive surface based on an image
US10114512B2 (en) 2013-09-30 2018-10-30 Hewlett-Packard Development Company, L.P. Projection system manager
USD738374S1 (en) 2013-11-15 2015-09-08 Oculus Vr, Llc Virtual reality headset
US10003777B2 (en) 2013-11-21 2018-06-19 Hewlett-Packard Development Company, L.P. Projection screen for specularly reflecting light
WO2015116220A1 (en) 2014-01-31 2015-08-06 Hewlett-Packard Development Company, L.P. Touch sensitive mat of a system with a projector unit
US10241616B2 (en) 2014-02-28 2019-03-26 Hewlett-Packard Development Company, L.P. Calibration of sensors and projector
DE102014106837B4 (de) 2014-05-15 2018-12-27 Stabilo International Gmbh Driftkompensation / Parallelminimierung
JP6757114B2 (ja) * 2014-06-03 2020-09-16 シャープ株式会社 入力表示装置
US9411440B2 (en) 2014-08-22 2016-08-09 Qualcomm Incorporated Digital ultrasonic emitting base station
CN107079126A (zh) 2014-11-13 2017-08-18 惠普发展公司,有限责任合伙企业 图像投影
US9846972B2 (en) 2015-04-06 2017-12-19 Scope Technologies Us Inc. Method and apparatus for sharing augmented reality applications to multiple clients
CN105056503B (zh) * 2015-07-28 2017-09-22 湖南人文科技学院 一种训练用的标枪测绘、标定方法
US9922244B2 (en) 2015-09-03 2018-03-20 Gestigon Gmbh Fast and robust identification of extremities of an object within a scene
US11567201B2 (en) 2016-03-11 2023-01-31 Kaarta, Inc. Laser scanner with real-time, online ego-motion estimation
WO2017155970A1 (en) 2016-03-11 2017-09-14 Kaarta, Inc. Laser scanner with real-time, online ego-motion estimation
US11573325B2 (en) 2016-03-11 2023-02-07 Kaarta, Inc. Systems and methods for improvements in scanning and mapping
US10989542B2 (en) 2016-03-11 2021-04-27 Kaarta, Inc. Aligning measured signal data with slam localization data and uses thereof
US11577159B2 (en) 2016-05-26 2023-02-14 Electronic Scripting Products Inc. Realistic virtual/augmented/mixed reality viewing and interactions
US10346949B1 (en) 2016-05-27 2019-07-09 Augmented Pixels, Inc. Image registration
US10739142B2 (en) 2016-09-02 2020-08-11 Apple Inc. System for determining position both indoor and outdoor
US10564724B1 (en) * 2016-09-20 2020-02-18 Apple Inc. Touch-based input device with haptic feedback
EP3646058A4 (en) * 2017-06-30 2020-12-02 Kaarta, Inc. SYSTEMS AND METHODS FOR IMPROVING SCAN AND IMAGING
WO2019099605A1 (en) 2017-11-17 2019-05-23 Kaarta, Inc. Methods and systems for geo-referencing mapping systems
AU2019217515A1 (en) 2018-02-06 2020-06-25 Magic Leap, Inc. Systems and methods for augmented reality
WO2019165194A1 (en) 2018-02-23 2019-08-29 Kaarta, Inc. Methods and systems for processing and colorizing point clouds and meshes
WO2020009826A1 (en) 2018-07-05 2020-01-09 Kaarta, Inc. Methods and systems for auto-leveling of point clouds and 3d models
CN112639579B (zh) 2018-08-31 2023-09-15 奇跃公司 用于增强现实装置的空间分辨的动态调暗

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050168437A1 (en) 2004-01-30 2005-08-04 Carl Stewart R. Processing pose data derived from the pose of an elongate object

Family Cites Families (133)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6259438B1 (en) 1998-06-04 2001-07-10 Wacom Co., Ltd. Coordinate input stylus
US4070649A (en) 1976-12-01 1978-01-24 Said Sanford J. Wright, By Said Peter Anderson And Said Ralph Grimes Multi-modal data input/output apparatus and method compatible with bio-engineering requirements
JPS5921077B2 (ja) 1981-12-28 1984-05-17 富士通株式会社 座標読取装置
US5226091A (en) 1985-11-05 1993-07-06 Howell David N L Method and apparatus for capturing information in drawing or writing
US5103486A (en) 1990-04-19 1992-04-07 Grippi Victor J Fingerprint/signature synthesis
US5953735A (en) 1991-03-20 1999-09-14 Forcier; Mitchell D. Script character processing method and system with bit-mapped document editing
JP2726594B2 (ja) 1991-04-01 1998-03-11 八洲電機株式会社 記憶ペン
US5166668A (en) 1991-04-10 1992-11-24 Data Stream Corporation Wireless pen-type input device for use with a computer
JP3103928B2 (ja) 1991-12-27 2000-10-30 株式会社日立製作所 可搬型ペン入力装置およびペン入力計算機システム
US5294792A (en) 1991-12-31 1994-03-15 Texas Instruments Incorporated Writing tip position sensing and processing apparatus
JPH0644005A (ja) 1992-01-24 1994-02-18 Seiko Instr Inc 座標入力装置
US5333209A (en) 1992-03-24 1994-07-26 At&T Bell Laboratories Method of recognizing handwritten symbols
US5477012A (en) 1992-04-03 1995-12-19 Sekendur; Oral F. Optical position determination
US5852434A (en) 1992-04-03 1998-12-22 Sekendur; Oral F. Absolute optical position determination
US5870492A (en) 1992-06-04 1999-02-09 Wacom Co., Ltd. Hand-written character entry apparatus
DK0649549T3 (da) 1992-07-08 1997-08-18 Smart Pen Inc Apparat og fremgangsmåde til afbildning af skrevne informationer
JP3244798B2 (ja) 1992-09-08 2002-01-07 株式会社東芝 動画像処理装置
DE69307544T2 (de) 1992-11-17 1997-08-07 Lectra Systemes Sa Verfahren und vorrichtung zur erfassung und behandlung grafischer information
US5717743A (en) * 1992-12-16 1998-02-10 Texas Instruments Incorporated Transparent telephone access system using voice authorization
JPH06266490A (ja) 1993-03-12 1994-09-22 Toshiba Corp 情報入力装置および情報入力における位置認識システム
US6366697B1 (en) 1993-10-06 2002-04-02 Xerox Corporation Rotationally desensitized unistroke handwriting recognition
US5484966A (en) 1993-12-07 1996-01-16 At&T Corp. Sensing stylus position using single 1-D image sensor
US5434371A (en) 1994-02-01 1995-07-18 A.T. Cross Company Hand-held electronic writing tool
IL108566A0 (en) 1994-02-04 1994-05-30 Baron Research & Dev Company L Handwriting input apparatus using more than one sensing technique
US5577135A (en) 1994-03-01 1996-11-19 Apple Computer, Inc. Handwriting signal processing front-end for handwriting recognizers
WO1995027935A1 (fr) 1994-04-07 1995-10-19 Japan Nesamac Corporation Appareil d'introduction de donnees du type a prehension de crayon et appareil d'introduction de donnees
JP3641283B2 (ja) 1994-04-08 2005-04-20 富士通株式会社 グラフィックデータ生成装置
US5737740A (en) 1994-06-27 1998-04-07 Numonics Apparatus and method for processing electronic documents
US5781661A (en) 1994-06-29 1998-07-14 Nippon Telegraph And Telephone Corporation Handwritting information detecting method and apparatus detachably holding writing tool
US5652412A (en) 1994-07-11 1997-07-29 Sia Technology Corp. Pen and paper information recording system
EP0693739A3 (en) 1994-07-13 1997-06-11 Yashima Denki Kk Method and apparatus capable of storing and reproducing handwriting
US5774602A (en) 1994-07-13 1998-06-30 Yashima Electric Co., Ltd. Writing device for storing handwriting
US5748808A (en) 1994-07-13 1998-05-05 Yashima Electric Co., Ltd. Image reproducing method and apparatus capable of storing and reproducing handwriting
US5544255A (en) 1994-08-31 1996-08-06 Peripheral Vision Limited Method and system for the capture, storage, transport and authentication of handwritten signatures
US6091835A (en) 1994-08-31 2000-07-18 Penop Limited Method and system for transcribing electronic affirmations
US6262719B1 (en) 1994-09-02 2001-07-17 Packard Bell Nec, Inc. Mouse emulation with a passive pen
US5768417A (en) 1994-09-09 1998-06-16 Motorola, Inc. Method and system for velocity-based handwriting recognition
US5661506A (en) 1994-11-10 1997-08-26 Sia Technology Corporation Pen and paper information recording system using an imaging pen
DE69523896T2 (de) 1994-12-07 2002-07-18 Koninkl Philips Electronics Nv Datenverarbeitungssystem mit einer tafel und einem stift zur anwendung in einem solchen system
US6044165A (en) 1995-06-15 2000-03-28 California Institute Of Technology Apparatus and method for tracking handwriting from visual input
US5694153A (en) * 1995-07-31 1997-12-02 Microsoft Corporation Input device for providing multi-dimensional position coordinate signals to a computer
WO1997005542A2 (en) * 1995-07-31 1997-02-13 Microsoft Corporation Computer input device and method of operation
GB9516441D0 (en) 1995-08-10 1995-10-11 Philips Electronics Uk Ltd Light pen input systems
US6081261A (en) 1995-11-01 2000-06-27 Ricoh Corporation Manual entry interactive paper and electronic document handling and processing system
JPH09146691A (ja) 1995-11-17 1997-06-06 Hitachi Ltd 情報処理装置
US5902968A (en) 1996-02-20 1999-05-11 Ricoh Company, Ltd. Pen-shaped handwriting input apparatus using accelerometers and gyroscopes and an associated operational device for determining pen movement
US6686910B2 (en) 1996-04-22 2004-02-03 O'donnell, Jr. Francis E. Combined writing instrument and digital documentor apparatus and method of use
US6573887B1 (en) 1996-04-22 2003-06-03 O'donnell, Jr. Francis E. Combined writing instrument and digital documentor
DE19625767A1 (de) 1996-06-27 1998-01-08 Mm Lesestift Manager Memory Lesegerät für die optische Erfassung und Speicherung von visuell markierten und projizierten alphanumerischen Zeichen, Graphiken und fotografischen Bildern
WO1998015914A1 (en) 1996-10-04 1998-04-16 Philips Electronics N.V. Method and apparatus for on-line handwriting recognition based on feature vectors that use aggregated observations derived from time-sequential frames
US6130666A (en) 1996-10-07 2000-10-10 Persidsky; Andre Self-contained pen computer with built-in display
US6031936A (en) 1997-01-29 2000-02-29 Yashima Electric Co., Ltd. Handwriting detecting and storing apparatus
US5930380A (en) 1997-02-11 1999-07-27 Lucent Technologies, Inc. Method and apparatus for verifying static signatures using dynamic information
US6292177B1 (en) 1997-03-05 2001-09-18 Tidenet, Inc. Marking device for electronic presentation board
JP3624070B2 (ja) 1997-03-07 2005-02-23 キヤノン株式会社 座標入力装置及びその制御方法
US6153836A (en) 1997-04-02 2000-11-28 Goszyk; Kurt A. Adjustable area coordinate position data-capture system
US6104387A (en) 1997-05-14 2000-08-15 Virtual Ink Corporation Transcription system
US6188392B1 (en) 1997-06-30 2001-02-13 Intel Corporation Electronic pen device
US5977958A (en) 1997-06-30 1999-11-02 Inmotion Technologies Ltd. Method and system for digitizing handwriting
JP3475048B2 (ja) 1997-07-18 2003-12-08 シャープ株式会社 手書き入力装置
US6108444A (en) 1997-09-29 2000-08-22 Xerox Corporation Method of grouping handwritten word segments in handwritten document images
US5939702A (en) 1997-10-10 1999-08-17 Motorola, Inc. Writing implement having an integrated optical reader
US6050490A (en) 1997-10-31 2000-04-18 Hewlett-Packard Company Handheld writing device and related data entry system
US5955719A (en) 1997-12-19 1999-09-21 A. T. Cross Company Data/pen well
US6181329B1 (en) 1997-12-23 2001-01-30 Ricoh Company, Ltd. Method and apparatus for tracking a hand-held writing instrument with multiple sensors that are calibrated by placing the writing instrument in predetermined positions with respect to the writing surface
US6212296B1 (en) 1997-12-23 2001-04-03 Ricoh Company, Ltd. Method and apparatus for transforming sensor signals into graphical images
US6184873B1 (en) 1998-01-20 2001-02-06 Electronics For Imaging, Inc. Pen positioning system
US6633671B2 (en) 1998-01-28 2003-10-14 California Institute Of Technology Camera-based handwriting tracking
US6456749B1 (en) 1998-02-27 2002-09-24 Carnegie Mellon University Handheld apparatus for recognition of writing, for remote communication, and for user defined input templates
JP3841953B2 (ja) * 1998-04-09 2006-11-08 株式会社リコー ペン型入力装置及び文字認識方法
JP2000105671A (ja) 1998-05-11 2000-04-11 Ricoh Co Ltd 座標入力/検出装置および電子黒板システム
US6124847A (en) 1998-05-14 2000-09-26 Virtual Ink, Corp. Collapsible detector assembly
US6111565A (en) 1998-05-14 2000-08-29 Virtual Ink Corp. Stylus for use with transcription system
US6177927B1 (en) 1998-05-14 2001-01-23 Virtual Ink Corp. Transcription system kit
US6100877A (en) 1998-05-14 2000-08-08 Virtual Ink, Corp. Method for calibrating a transcription system
US6147681A (en) 1998-05-14 2000-11-14 Virtual Ink, Corp. Detector for use in a transcription system
JP4119004B2 (ja) 1998-05-19 2008-07-16 株式会社東芝 データ入力システム
JP4033582B2 (ja) 1998-06-09 2008-01-16 株式会社リコー 座標入力/検出装置および電子黒板システム
JP3191284B2 (ja) 1998-06-23 2001-07-23 日本電気株式会社 文字入力装置
US6249274B1 (en) 1998-06-30 2001-06-19 Microsoft Corporation Computer input device with inclination sensors
US6577299B1 (en) 1998-08-18 2003-06-10 Digital Ink, Inc. Electronic portable pen apparatus and method
US6335723B1 (en) 1998-10-02 2002-01-01 Tidenet, Inc. Transmitter pen location system
US6625296B2 (en) 1998-11-03 2003-09-23 Fuji Xerox Co., Ltd. Method and system for freeform digital ink annotation of data traces
US6414673B1 (en) 1998-11-10 2002-07-02 Tidenet, Inc. Transmitter pen location system
US6167376A (en) 1998-12-21 2000-12-26 Ditzik; Richard Joseph Computer system with integrated telephony, handwriting and speech recognition functions
US6415256B1 (en) 1998-12-21 2002-07-02 Richard Joseph Ditzik Integrated handwriting and speed recognition systems
US6687876B1 (en) 1998-12-30 2004-02-03 Fuji Xerox Co., Ltd. Method and system for maintaining freeform ink annotations on changing views
US6335724B1 (en) 1999-01-29 2002-01-01 Ricoh Company, Ltd. Method and device for inputting coordinate-position and a display board system
JP4037026B2 (ja) * 1999-02-03 2008-01-23 株式会社リコー 座標入力装置、情報処理システムおよび媒体
US6565611B1 (en) 1999-02-26 2003-05-20 Xerox Corporation Automatic index creation for handwritten digital ink notes
JP2000275013A (ja) * 1999-03-24 2000-10-06 Mr System Kenkyusho:Kk 視点位置姿勢の決定方法、コンピュータ装置および記憶媒体
JP2000284895A (ja) 1999-03-31 2000-10-13 Hitachi Software Eng Co Ltd 座標入力ペン並びにそれを用いた電子ボード、座標入力システム及び電子ボードシステム
US6396481B1 (en) 1999-04-19 2002-05-28 Ecrio Inc. Apparatus and method for portable handwriting capture
AUPQ363299A0 (en) 1999-10-25 1999-11-18 Silverbrook Research Pty Ltd Paper based information inter face
US7178718B2 (en) 1999-05-25 2007-02-20 Silverbrook Research Pty Ltd Methods and systems for object identification and interaction
GB2351817A (en) * 1999-06-26 2001-01-10 Touch Controls Ltd A pointing device for controlling a computer application
JP3690581B2 (ja) * 1999-09-07 2005-08-31 株式会社ニコン技術工房 位置検出装置及びその方法、平面姿勢検出装置及びその方法
JP2001100908A (ja) * 1999-09-28 2001-04-13 Fujitsu Ltd ペン先軌跡生成方法、ペン型入力装置及びペン装着ユニット
US6348914B1 (en) 1999-10-05 2002-02-19 Raja S. Tuli Writing device for storing handwriting
WO2001030591A1 (en) 1999-10-25 2001-05-03 Silverbrook Research Pty Ltd Electronically controllable pen with sensor
US20030061188A1 (en) * 1999-12-23 2003-03-27 Linus Wiebe General information management system
US6661920B1 (en) 2000-01-19 2003-12-09 Palm Inc. Method and apparatus for multiple simultaneously active data entry mechanisms on a computer system
JP4618840B2 (ja) * 2000-02-21 2011-01-26 株式会社沖データ 座標入力装置
SE0000949L (sv) 2000-03-21 2001-09-22 Anoto Ab Positionsinformation
US20020048404A1 (en) 2000-03-21 2002-04-25 Christer Fahraeus Apparatus and method for determining spatial orientation
US6686579B2 (en) 2000-04-22 2004-02-03 International Business Machines Corporation Digital pen using speckle tracking
JP3867512B2 (ja) 2000-06-29 2007-01-10 富士ゼロックス株式会社 画像処理装置および画像処理方法、並びにプログラム
US6650320B1 (en) 2000-08-16 2003-11-18 International Business Machines Corporation Digital pen using visible image and autocorrelation of substrate pattern
US6592039B1 (en) 2000-08-23 2003-07-15 International Business Machines Corporation Digital pen using interferometry for relative and absolute pen position
US20020158848A1 (en) 2001-03-09 2002-10-31 Oral Sekendur Optical position determination on plain paper
US20020118181A1 (en) 2000-11-29 2002-08-29 Oral Sekendur Absolute optical position determination
AU2001298118A1 (en) 2000-11-29 2009-07-29 Oral F. Sekendur Optical position determination on any surface
US20020163511A1 (en) 2000-11-29 2002-11-07 Sekendur Oral Faith Optical position determination on any surface
WO2002064380A1 (fr) 2001-02-15 2002-08-22 Mitsubishi Pencil Kabushikikaisha Instrument pour ecrire
EP1380006B1 (en) 2001-02-22 2006-05-03 ThinkPen LLC Handwritten character recording and recognition device
US6422775B1 (en) 2001-03-23 2002-07-23 Intel Corporation Digital messaging pen
KR100408518B1 (ko) 2001-04-12 2003-12-06 삼성전자주식회사 컴퓨터용 전자펜 데이타 입력장치 및 좌표 측정 방법
IL142659A0 (en) 2001-04-18 2002-03-10 Intellipen Ltd Electronic pen-like input device
FR2825499B1 (fr) 2001-06-05 2004-07-23 Commissariat Energie Atomique Dispositif et procede de localisation de la pointe d'un stylo sur un support de numerisation
US6966495B2 (en) 2001-06-26 2005-11-22 Anoto Ab Devices method and computer program for position determination
US7057615B2 (en) 2001-06-28 2006-06-06 Microsoft Corporation Method and system for representing and displaying digital ink
US6727891B2 (en) 2001-07-03 2004-04-27 Netmor, Ltd. Input device for personal digital assistants
GB2378073B (en) 2001-07-27 2005-08-31 Hewlett Packard Co Paper-to-computer interfaces
US20030034961A1 (en) 2001-08-17 2003-02-20 Chi-Lei Kao Input system and method for coordinate and pattern
US20030038790A1 (en) 2001-08-22 2003-02-27 Seiko Epson Corporation Information processing system, input/output apparatus, personal digital assistant, and display apparatus
US7385595B2 (en) 2001-11-30 2008-06-10 Anoto Ab Electronic pen and method for recording of handwritten information
US20030146906A1 (en) 2002-02-04 2003-08-07 Chung-Chen Lin Tracking and pressure-sensitive digital pen
US6938222B2 (en) 2002-02-08 2005-08-30 Microsoft Corporation Ink gestures
US20030163525A1 (en) 2002-02-22 2003-08-28 International Business Machines Corporation Ink instant messaging with active message annotation
JP2003281504A (ja) * 2002-03-22 2003-10-03 Canon Inc 撮像部位置姿勢推定装置及びその制御方法並びに複合現実感提示システム
US7110100B2 (en) * 2003-11-04 2006-09-19 Electronic Scripting Products, Inc. Apparatus and method for determining an inclination of an elongate object contacting a plane surface
US7023536B2 (en) * 2004-03-08 2006-04-04 Electronic Scripting Products, Inc. Apparatus and method for determining orientation parameters of an elongate object
US7113270B2 (en) * 2004-06-18 2006-09-26 Electronics Scripting Products, Inc. Determination of an orientation parameter of an elongate object with a scan beam apparatus

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050168437A1 (en) 2004-01-30 2005-08-04 Carl Stewart R. Processing pose data derived from the pose of an elongate object

Also Published As

Publication number Publication date
JP4809778B2 (ja) 2011-11-09
US8542219B2 (en) 2013-09-24
CA2553960C (en) 2015-04-21
EP1738348A4 (en) 2008-09-17
WO2005074653A3 (en) 2007-03-22
WO2005074653A2 (en) 2005-08-18
CA2553960A1 (en) 2005-08-18
EP1738348A2 (en) 2007-01-03
CN101107649A (zh) 2008-01-16
KR20070017321A (ko) 2007-02-09
US20050168437A1 (en) 2005-08-04
JP2007525663A (ja) 2007-09-06

Similar Documents

Publication Publication Date Title
KR101101091B1 (ko) 긴 물체의 자세에서 유도한 자세데이터를 처리하는 방법과장치
KR100465241B1 (ko) 가상 필기 평면을 이용한 모션 인식 시스템 및 그 인식방법
KR100674090B1 (ko) 착용형 범용 3차원 입력 시스템
EP1596272A1 (en) Motion detection device and communication device
CN110785729B (zh) 用于产生模拟笔画且用于模拟笔画的数字存储的电子装置和用于使模拟记录数字化的输入系统及方法
CN104254816A (zh) 数据输入装置
US20210089162A1 (en) Calibration of inertial measurement units in alignment with a skeleton model to control a computer system based on determination of orientation of an inertial measurement unit from an image of a portion of a user
US20020118181A1 (en) Absolute optical position determination
KR100777107B1 (ko) 가속도 센서를 이용한 문자인식 장치 및 방법
US11175729B2 (en) Orientation determination based on both images and inertial measurement units
US20110254813A1 (en) Pointing device, graphic interface and process implementing the said device
US20150116285A1 (en) Method and apparatus for electronic capture of handwriting and drawing
JP2007507039A (ja) 筆記スタイラスを使用する方法
CN107077200A (zh) 基于反射的控件激活
WO2002058029A2 (en) Optical position determination on any surface
KR20010052283A (ko) 목적물을 제어하는 제어 장치 및 방법
JP2006190212A (ja) 3次元位置入力装置
EP1380006B1 (en) Handwritten character recording and recognition device
KR20120037739A (ko) 손동작 기반 사용자 인터페이스 장치 및 그 방법
KR102460361B1 (ko) 캘리브레이션 시스템 및 방법
WO2018196221A1 (zh) 一种交互方法、设备及系统
KR100446610B1 (ko) 펜형 컴퓨터 입력 장치
JP7275885B2 (ja) 表示装置、方向特定方法、プログラム
KR100948806B1 (ko) 무선 공간인식 3차원 마우스 장치 및 이의 제어 방법
KR20220009196A (ko) 사용자 인터페이스 송신 장치 및 수신 장치, 그리고 이를 이용한 시스템

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application
J201 Request for trial against refusal decision
AMND Amendment
B701 Decision to grant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20141219

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20150930

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20161221

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20171226

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20181224

Year of fee payment: 8