KR20150053955A - 대화형 디스플레이 시스템에서의 절대적 및 상대적 위치결정 센서 융합 - Google Patents

대화형 디스플레이 시스템에서의 절대적 및 상대적 위치결정 센서 융합 Download PDF

Info

Publication number
KR20150053955A
KR20150053955A KR1020157008764A KR20157008764A KR20150053955A KR 20150053955 A KR20150053955 A KR 20150053955A KR 1020157008764 A KR1020157008764 A KR 1020157008764A KR 20157008764 A KR20157008764 A KR 20157008764A KR 20150053955 A KR20150053955 A KR 20150053955A
Authority
KR
South Korea
Prior art keywords
time
display
determining
frame
sample
Prior art date
Application number
KR1020157008764A
Other languages
English (en)
Inventor
요람 솔로몬
브라니슬라브 키사카닌
Original Assignee
인터페이즈 코퍼레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인터페이즈 코퍼레이션 filed Critical 인터페이즈 코퍼레이션
Publication of KR20150053955A publication Critical patent/KR20150053955A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/006—Details of the interface to the display terminal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0317—Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0317—Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface
    • G06F3/0321—Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface by optically sensing the absolute position with respect to a regularly patterned surface forming a passive digitiser, e.g. pen optically detecting position indicative tags printed on a paper sheet
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03542—Light pens for emitting or receiving light

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Position Input By Displaying (AREA)
  • Image Analysis (AREA)

Abstract

무선 포인팅 디바이스와, 포인팅 디바이스가 조준하는 디스플레이의 절대적 및 상대적 위치를 결정할 수 있는 위치결정 회로를 포함하는 대화형 디스플레이 시스템이 개시된다. 절대적 위치와, 절대적 위치의 시간 포인트에서의 추정된 또는 실제의 상대적 위치 사이의 오류 값이 결정되고, 후속하는 상대적 위치결정 결과에 적용되는 이 오류 값으로부터 보상 인자가 결정된다.

Description

대화형 디스플레이 시스템에서의 절대적 및 상대적 위치결정 센서 융합{ABSOLUTE AND RELATIVE POSITIONING SENSOR FUSION IN AN INTERACTIVE DISPLAY SYSTEM}
본 발명은 대화형(interactive) 디스플레이 시스템의 분야에 속한다. 본 발명의 실시예들은 보다 상세하게는 컴퓨터 시스템의 대화형 동작 동안에 제어 디바이스가 포인팅하고 있는 디스플레이의 위치의 위치결정(positioning)에 관한 것이다.
청중에게 메시지를 전달하는 발표자의 능력은, 말과 함께, 시각적 정보의 사용에 의해 일반적으로 강화된다. 근대에는, 청중들에게 시각적 정보를 생성 및 표시하기 위한 컴퓨터 및 관련 디스플레이 시스템의 사용이, 예를 들어 마이크로소프트사에 의해 이용 가능한 파워포인트 프리젠테이션 소프트웨어 프로그램과 같은 애플리케이션에 의해, 아주 흔한 일이 되었다. 강당 환경에서와 같이 보다 적은 청중인 경우, 디스플레이 시스템은 일반적으로 (전면 또는 후면 프로젝션 중 하나인) 프로젝션 시스템이다. 회의실 또는 교실 환경에서와 같이 더 적은 청중인 경우, 특히 최근 몇 년 동안 이러한 디스플레이의 비용이 감소했기 때문에, 플랫 패널(예를 들어, 액정) 디스플레이가 대중화되었다. 특수 스크린을 필요로 하지 않으며 그에 따라 훨씬 더 쉽게 효율적으로 사용되는, 소형 프로젝터("피코 프로젝터")와 같은 새로운 디스플레이 기술들이 현재 시장에 도달하고 있다. 매우 적은 청중들(예를 들어, 한 명 또는 두 명)에 대한 프리젠테이션의 경우, 랩탑 컴퓨터의 그래픽 디스플레이가 시각적 정보를 제시하기에 충분할 수 있다. 임의의 경우에, 상승하는 컴퓨터 전력과 더 좋아지고 커지는 디스플레이의 조합은, 모두 더 낮은 비용으로, 여러 상황들(예를 들어, 비지니스, 교육, 법률, 엔터테인먼트)에서, 컴퓨터 기반 프리젠테이션 시스템의 사용을 증가시켰다.
일반적인 컴퓨터 기반 프리젠테이션은, 시각적 정보에 대한 청중의 시야를 방해하지 않기 위해, 발표자가 디스플레이 시스템으로부터 멀리 떨어져 서 있는 것을 수반한다. 시각적 프리젠테이션은 컴퓨터로 생성되고 컴퓨터로 제어되기 때문에, 특정 청중에게 특별히 중요한 시각적 콘텐츠의 선택, 프리젠테이션 동안 발표자에 의한 시각적 정보의 주석(annotation) 또는 설명, 그리고 급각도 상승(zooming), 프리젠테이션의 다른 부분의(또는 온라인) 정보로의 링크를 선택하는 것, 하나의 디스플레이 위치로부터 다른 위치로 디스플레이 요소를 이동시키는 것 등과 같은 효과의 호출(invocation)을 가능하게 하기 위해, 프리젠테이션이 대화형으로 제어될 수 있다. 이러한 대화식 이용은, 청중에게 흥미롭고 매력적이게끔 하여, 프리젠테이션을 대단히 강화시킨다.
그에 따라, 표시된 시각적 콘텐츠와 멀리 떨어져서 상호작용하는 발표자의 능력이 바람직하다. 보다 상세하게는, 멀리 떨어져 있는 오퍼레이터가 표시된 시각적 정보에 포인팅하고 그와 상호작용하기 위해 사용 가능한 핸드헬드(hand-held) 디바이스가 그에 따라 바람직하다.
본원에서 자주 지정되고 참조로서 본원에 포함되는, 발명의 명칭이 "대화형 디스플레이 시스템"인, 2012년 7월 10일에 허여된 미국 등록 특허 제8,217,977호는, 카메라 또는 다른 영상 캡쳐 시스템을 포함하는 핸드헬드 포인팅 디바이스로 구성된 무선 휴먼 인터페이스 디바이스(human interface device; HID)를 포함하는 대화형 디스플레이 시스템을 기술한다. 포인팅 디바이스는, 컴퓨터에 의해 표시된 이미지 데이터에 삽입된 하나 이상의 휴먼-감지불가(human-imperceptible) 위치결정 타겟을 포함하여, 컴퓨터에 의해 표시된 이미지를 캡쳐한다. 복구된 위치결정 타겟의 위치, 크기, 및 지향(orientation)은 디스플레이에 관한 원격 포인팅 디바이스의 조준 포인트를 식별한다. 포인팅 디바이스의 위치를 결정하기 위한 (휴먼-감지가능(human-perceptible) 또는 휴먼-감지불가 중 어느 하나의) 위치결정 타겟의 시간적 시퀀싱(temporal sequencing)이 또한 기술된다.
앞서 참조된 미국 등록 특허 제8,217,997호에서 기술된 접근법에 따른 포인팅 디바이스의 조준 포인트의 위치결정은 디스플레이 시스템의 프레임 레이트에 대응하는 레이트로 수행된다. 보다 상세하게는, 새로운 프레임(및 그것의 위치결정 타겟)과 바로 이전의 프레임(및 그것의 상보적 위치결정 타겟)의 조합에 의해, 데이터의 새로운 프레임 각각이 표시될 때마다 새로운 위치가 결정될 수 있다. 이러한 접근법은, 많은 상황, 특히 아이콘을 포인팅하거나 클릭하는 것, 표시된 윈도우 및 프레임을 포함하는 클릭-앤-드래그 동작 등과 같이, 컴퓨터 시스템에서 그래픽 사용자 인터페이스를 내비게이팅(navigating) 및 제어하는 상황에 매우 적합하다. 미국 등록 특허 제8,217,997호에 기술된 이러한 접근법의 특별한 이점은, 결정의 결과가 디스플레이 상의 특정 위치(예를 들어, 픽셀 좌표)라는 점에서, 위치결정이 "절대적"이라는 점이다. 이러한 접근법에 따라 수행된 위치결정의 정확도는, 예를 들어 디스플레이 스크린과의 물리적 접촉에서부터 그로부터 수십 피트 떨어진 것에 이르는, 디스플레이와 핸드헬드 디바이스 사이의 넓은 범위의 거리에 걸쳐서 매우 정확하다.
그러나 디스플레이 프레임 레이트에 대한 위치결정 레이트의 의존성 때문에, 이러한 접근법의 능력은 한계점을 갖는다. 예를 들어 전자식 대화형 "화이트 보드" 애플리케이션에서 디스플레이 스크린 상에 "기록"하는 동안, 핸드헬드 디바이스의 빠른 이동(movement)은, 프레임 레이트로의 위치결정에 의해 완전히 캡쳐되지 않을 수 있는 모션을 제시할 수 있다. 또한, 핸드헬드 디바이스의 이동과 디스플레이 응답 사이의 시차(time lag)가 몇몇 상황에서 사용자 및 청중에게 인지될 수 있다.
모션 센서에 기초한 종래의 휴먼 인터페이스 디바이스는 당해 기술분야에 알려져 있다. 모션 센서는, 시간에 걸쳐서, 예를 들어 샘플 시간 사이에, 디바이스의 모션을 감지한다. 모션 센서의 예시는, 가속도계와 같은 관성 센서와, 자이로스코프, 자기계와 같은 자기장 센서, 및 광학 마우스에서 사용되는 것과 같은 시각적 시스템을 포함한다. 모션 센서에 기초한 위치결정 결과는, 디스플레이의 절대적 위치가 직접적으로 결정되지는 않지만, 오히려 모션 센서가 이전의 시간 포인트에 그것에 관한 포인팅된 위치를 결정한다는 점에서, 상대적이다. 그러나, 모션 센서 기반의 포인팅 디바이스가 동작하는 샘플 레이트는 디스플레이의 프레임 레이트에 의해 제한되지 않으며, 상대적 위치결정의 적절한 등록(registration)을 가정할 때, 더 높을 수 있다. 또한, 절대적 위치결정에 필요한 것들과 비교할 때, 상대적 위치결정 결과를 도출하기 위해 더 적은 연산이 필요하다. 유감스럽게도, 그러나, 이러한 디바이스에 의해 제공된 위치결정이 상대적이기 때문에, 드리프트(drift) 또는 다른 오류가 시간에 걸쳐서 축적될 수 있다. 감지된 가속도를 선형 거리로 변환하기 위해 두 번의 적분(integration)이 필요하기 때문에, 가속도계 모션 감지에 의존하는 디바이스의 경우에 오류가 악화될 수 있다. 그와 같이, 모션 센서에 기초한 상대적 위치결정의 정확도는 절대적 위치결정 접근법의 정확도보다 일반적으로 더 낮다.
요약하면, 휴먼 인터페이스 디바이스가 포인팅하고 있는 디스플레이의 위치를 결정하기 위한 절대적 및 상대적 시스템은 양자 모두 당해 기술분야에 알려져 있다. 절대적 위치결정은 양호한 정확도를 제공하지만 상대적으로 느린 최대 레이트를 갖는 데에 비하여, 상대적 위치결정은 높은 레이트로 작동할 수 있지만 오류에 취약하다.
본 발명의 실시예들은 대화형 디스플레이 시스템의 동작 동안에 핸드헬드 휴먼 인터페이스 디바이스가 포인팅하고 있는 디스플레이의 위치를 빠르고 정확하게 위치결정하기 위한 시스템 및 방법을 제공한다.
본 발명의 실시예들은 디스플레이에 물리적으로 접촉하는 디바이스에서부터 넓은 방에서 동작하는 디바이스에 이르는 거리의 범위에 걸쳐서 그러한 위치결정이 수행될 수 있는 상기 시스템 및 방법을 제공한다.
본 발명의 실시예들은 시각적 콘텐츠가 결여될 수 있는 대화형 화이트 보드 애플리케이션에서 유용한 상기 시스템 및 방법을 제공한다.
본 발명의 실시예들은 상대적 모션 샘플 시간을 위해 생성된 것들 사이의 디바이스의 위치를 보간(interpolate)하고, 다가오는 위치를 예측할 수 있는 상기 시스템 및 방법을 제공한다.
본 발명의 실시예들은 디바이스가 나타내는 경로를 올바르게 표시하기 위해 이전에 계산된 위치를 백-보정(back-correct)할 수 있는 상기 시스템 및 방법을 제공한다.
본 발명의 실시예들의 다른 목적 및 이점은 그것의 도면들과 함께 이하의 명세서를 참조함으로써 당업자에게 명백해질 것이다.
본 발명의 실시예들은, 디바이스가 포인팅하고 있는 디스플레이의 절대적 위치가 결정될 수 있는 이미지 캡쳐 서브시스템과, 또한 상대적 위치결정 결과가 결정될 수 있는 하나 이상의 모션 센서를, 원격 휴먼 인터페이스 디바이스가 포함하는 대화형 디스플레이 시스템 및 그 작동 방법으로 구현될 수 있다. 절대적 및 상대적 위치결정 회로는, 표시된 정보를 생성하는 컴퓨터 시스템의 또는 그 내부의 위치결정 시스템, 인터페이스 디바이스 그 자체, 또는 양자의 조합에 위치할 수 있다. 위치결정 시스템은 시간 포인트에 절대적인 포인팅된 위치를 결정하고, 그 동일한 시간 포인트에 대응하는 상대적 위치를 계산한다. 계산된 절대적 및 상대적 위치 사이의 차이에 대응하는 오류 값이 결정되어, 모션 센서에 기초해서 위치결정 시스템에 의해 생성된 상대적 위치를 조정하는 데에 이용된다.
도 1a 및 도 1b는 본 발명의 실시예들에 따른 대화형 디스플레이 시스템을 이용하여 수행되는 발표자 프리젠테이션의 개략적인 투시도이다.
도 2a 및 도 2b는 각각 본 발명의 일 실시예에 따른 대화형 디스플레이 시스템을 나타내는, 블록 형태의 전기적 도면이다.
도 3a 및 3b는 각각, 디바이스의 이동의 실제 경로에 관하여, 절대적 및 상대적 위치결정에 의해 결정된 포인팅 디바이스의 추정 경로를 나타내는 플롯이다.
도 3c는 본 발명의 일 실시예에 의해 결정된 포인팅 디바이스의 추정 경로를 나타내는 플롯이다.
도 4는 본 발명의 실시예들에 따른 대화형 디스플레이 시스템의 위치결정 서브시스템의 기능적인 아키텍처를 나타내는, 블록 형태의 기능도이다.
도 5는 본 발명의 실시예들에 따른 도 4의 아키텍처의 동작을 나타내는 흐름도이다.
도 6a 및 도 6b는 두 개의 상대적 위치결정 샘플 포인트 사이의 이미지 캡쳐 시간에서의 상대적 위치의 결정을 나타내는 플롯이다.
도 6c는 이미지 프레임 내의 절대적 위치에 따른 보상 가중 인자의 의존성을 나타낸다.
도 7은 본 발명의 일 실시예에 따른 동적 교정(calibration) 방법의 동작을 나타내는 흐름도이다.
도 8은 본 발명의 일 실시예에 따른 절대적 및 상대적 위치결정 간의 협력에 사용된 포인팅 디바이스의 지향 축의 투시도이다.
도 9a 내지 도 9c는 본 발명의 일 실시예에 따른 시각적인 상대적 위치결정 방법의 동작을 나타내는 디스플레이에 관한 도면이다.
본 발명은 그것의 실시예들 중 하나 이상과 관련되어, 즉, 본 발명이 그러한 시스템에 적용될 때 특히 이로울 것이라는 점을 고려함에 따라, 청중에게 보이는 디스플레이를 포함하는 컴퓨터화된 프리젠테이션 시스템으로 구현됨으로써 설명될 것이다. 그러나, 본 발명이, 게이밍(gaming) 시스템, 컴퓨터 시스템으로의 사용자에 의한 일반적 입력 등과 같은, 다른 애플리케이션과 관련되어 유용할 수 있다는 점이 또한 고려된다. 따라서, 이하의 설명은 예시로서만 제공된 것이며, 청구되는 본 발명의 실제 범위를 제한하기 위한 것이 아님을 이해해야 한다.
도 1a는 본 발명의 실시예들이 유용한 환경의 단순화된 예시를 나타낸다. 도 1a에 도시된 바와 같이, 발표자(SPKR)는 시각적 보조 수단을 사용하여 청중(A)에게 라이브 프리젠테이션을 하고 있다. 이 경우에, 시각적 보조 수단은, 청중(A)에게 보이는 방식으로, 컴퓨터(22)에 의해 생성되어 방 크기의 그래픽 디스플레이(20) 상에 표시되는, 컴퓨터 그래픽 및 텍스트의 형태이다. 당해 기술 분야에 알려진 바와 같이, 그러한 프리젠테이션은, 특정 청중 규모 및 시스템 요소들이 폭넓게 달라지면서, 비지니스, 교육, 엔터테인먼트, 및 기타 상황에서 일반적이다. 도 1a의 단순화된 예시는 청중(A)이 프리젠테이션을 보는 몇몇 또는 더 많은 멤버들을 포함하는 비지니스 환경을 나타내는데, 물론, 환경의 크기는 수백 명의 청중 멤버들이 앉아 있는 강당에서부터, 청중(A)이 한 명으로 구성된 하나의 데스크 또는 테이블에 이르기까지 달라질 수 있다.
청중(A)에게 시각적 보조 수단을 제시하는 데에 사용되는 디스플레이(20)의 유형들은, 종종 프리젠테이션 환경의 크기에 따라, 또한 달라질 수 있다. 회의실에서부터 넓은 스케일의 강당에 이르는 범위의 방에서, 디스플레이(20)는, 디스플레이 스크린의 전면 또는 후면 중 어느 하나에 배치되는 프로젝터를 비롯한 프로젝션 디스플레이일 수 있다. 그러한 환경에서, 컴퓨터(22)는 시각적 보조 수단 이미지 데이터를 생성하여 그것을 프로젝터에 포워딩할 것이다. 더 작은 환경에서는, 디스플레이(20)가, 컴퓨터(22)의 그래픽 어댑터에 의해 직접 구동되는, 예컨대 플라즈마 또는 액정(LCD; liquid crystal) 유형의, 외부 플랫-패널 디스플레이일 수 있다. 한 명 또는 두 명의 청중 멤버에 대한 프리젠테이션의 경우, 랩탑 또는 데스크탑 컴퓨터 형태의 컴퓨터(22)는 시각적 정보를 제시하기 위해 간단히 그것에 포함된 디스플레이(20)를 사용할 수 있다. 또한 더 적은 청중(A)들의 경우, 핸드헬드 프로젝터(예를 들어, "포켓 프로젝터" 또는 "피코 프로젝터")이 보다 일반적이 되고 있으며, 이 경우에 디스플레이 스크린은 벽 또는 화이트 보드일 수 있다.
프리젠테이션의 상황에서 그래픽 및 텍스트를 생성 및 제시하기 위한 컴퓨터 프리젠테이션 소프트웨어의 사용은 이제 흔한 일이다. 그러한 프리젠테이션 소프트웨어의 잘 알려진 예시는 마이크로소프트사에 의해 이용 가능한 파워포인트 소프트웨어 프로그램이다. 도 1a의 환경에서, 그러한 프리젠테이션 소프트웨어는, 본 예시에 도시된 바와 같이 프리젠테이션의 각 슬라이드가 디스플레이(20) 상에 디스플레이되면서, 컴퓨터(22)에 의해 실행될 것이다. 물론, 특정 시각적 정보가 컴퓨터(22)에서 실행되는 이전에 생성된 프리젠테이션일 필요는 없지만, 그 대신에 컴퓨터(22)를 통해 액세스되는 웹 페이지; 아이콘, 프로그램 윈도우, 및 액션 버튼을 포함하는 데스크탑 디스플레이; DVD 또는 컴퓨터(22)에 의해 판독되는 다른 저장 디바이스로부터의 영상 또는 영화 콘텐츠일 수 있다. 본 발명의 실시예들과 관련하여 유용한 시각적 정보의 다른 유형들은 본 명세서를 참조함으로써 당업자에게 명백해질 것이다.
도 1a에서, 발표자(SPKR)는, 청중(A)의 시야를 방해하지 않고 또한 청중(A)의 관심을 더 집중시키기 위해, 디스플레이(20)로부터 멀리 떨어져 서 있다. 본 발명의 실시예들에 따르면, 발표자(SPKR)는, 디스플레이(20)에 컴퓨터(22)에 의해 표시된 시각적 콘텐츠와 원격으로 상호작용하기 위해, 포인팅 디바이스(10) 형태의, 원격 휴먼 인터페이스 디바이스(HID; human interface device)를 사용한다. 디스플레이(20)에 의해 표시된 시각적 정보의 이러한 대화식 사용은, 발표자(SPKR)가 컴퓨터(22) 앞에 앉거나 또는 다른 방식으로 그에 "속박되는 것"을 필요로 하지 않으면서, 특정 청중(A)에게 유용하다고 여겨지는 프리젠테이션을 즉석에서 만들고, 액티브 콘텐츠(예를 들어, 인터넷 링크, 액티브 아이콘, 가상 버튼, 스트리밍 영상 등)과 인터페이스하며, 개선된 그래픽 및 프리젠테이션의 제어를 작동시키는 능력을 발표자(SPKR)에게 제공한다.
도 1b는 발표자(SPKR)가 시각적 콘텐츠와 상호작용하기 위해 디스플레이(20)에 가깝게 접근하는, 본 발명의 실시예들에 관한 시스템 및 방법의 다른 사용을 나타낸다. 본 예시에서, 디스플레이(20)는, 표시된 콘텐츠에 대한 주석으로 또는 도 1b에 의해 제안된 바와 같이 심지어는 빈 스크린 상에 능동적으로 콘텐츠를 도시하기(draw) 위해 발표자(SPKR)가 포인팅 디바이스(10)를 사용하여 그 위에 "도시" 또는 "기록"할 수 있는 "화이트 보드"로서 작동한다. 일반적으로, 이러한 "도시" 및 "기록"은, 포인팅 디바이스(10)가 디스플레이(20)와 실제로 물리적으로 접촉하거나 또는 적어도 그에 가깝게 인접하도록 배치하면서 수행될 것이다. 도 1b의 애플리케이션에서, 디스플레이(20)를 비롯한, 하드웨어는 도 1a의 프리젠테이션 예시에서의 것과 동일할 수 있는데, 실제로, 본 발명의 실시예들은 도 1a에 도시된 바와 같이 멀리 떨어져서, 그리고 도 1b에 도시된 바와 같이 디스플레이(20)에서 동일한 발표자(SPKR)가 동일한 청중 앞에서 동일한 프리젠테이션과 상호작용할 수 있게끔 한다.
양자의 경우에, 전술한 미국 등록 특허 제8,217,997호, 그리고 또한 본 발명의 특정 실시예들과 관련하여 본 설명서에서 이하에 보다 상세하게 설명하는 바와 같이, 발표자(SPKR)는, 디스플레이(20)의 이미지의 전부 또는 일부를 캡쳐하고 그 이미지의 포인팅된(또는 조준된) 타겟 위치와 상호작용할 수 있는 포인팅 디바이스(10)를 이용하여, 이러한 상호작용을 수행한다. 도 1a 및 도 1b에 예시된 포인팅 디바이스(10)는 이러한 디스플레이(20)의 포인팅된 위치 및 발표자(SPKR)로부터의 다른 사용자 커맨드를, 수신기(24) 및 그에 따라 컴퓨터(22)에 무선으로 전달한다. 이러한 방식으로, 본 발명의 실시예들에 따라, 컴퓨터(22)와의 원격 상호작용이 수행된다.
도 2a를 참조하여, 본 발명의 실시예들에 따른, 도 1a 및 도 1b에 도시된 바와 같은 환경에서 유용한 대화형 디스플레이 시스템의 구성의 일반화된 예시가 이제 설명될 것이다. 도 2a에 도시된 바와 같이, 이러한 대화형 디스플레이 시스템은 포인팅 디바이스(10), 프로젝터(21), 및 디스플레이 스크린(20)을 포함한다. 본 발명의 이러한 실시예에서, 컴퓨터(22)는 프로젝터(21)에 의해 디스플레이 스크린(20)에 표시될 "페이로드(payload)" 이미지를 생성하기에 적합한 기능성을 포함하며, 그러한 페이로드 이미지는 청중에게 보이기 위한 것이다. 이러한 페이로드 이미지의 콘텐츠는, 본 발명의 실시예들에 따라, 포인팅 디바이스(10)를 통해 휴먼 사용자에 의해 대화식으로 제어된다. 그렇게 하기 위해, 컴퓨터(22)는, 포인팅 디바이스(10)가 포인팅하고 있는 디스플레이 스크린(20)의 위치를 판정하는 위치결정 회로(25)와 협력한다. 이하의 설명으로부터 명백해질 바와 같이, 이러한 위치결정 판정은 디스플레이 스크린(20)에 표시된 하나 이상의 위치결정 타겟을 검출하는 포인팅 디바이스(10)에 기초한다.
그것의 페이로드 이미지 생성 기능에 있어서, 컴퓨터(22)는, 예를 들어 메모리에 저장된 이전에 생성된 프리젠테이션 파일의 형태로, 또는 컴퓨터(22)가 네트워크 또는 인터넷을 통해 검색할 수 있는 것과 같은 액티브 콘텐츠의 형태로, 표시될 시각적 정보(즉, 시각적 "페이로드" 이미지)를 생성하거나 또는 그에 액세스할 것인데, "화이트 보드" 애플리케이션의 경우, 페이로드 이미지는, 일반적으로 빈 배경 상에 표시된, 포인팅 디바이스(10)를 통해 사용자에 의해 제공되는 입력을 포함할 것이다. 이러한 컴퓨터(22)로부터의 휴먼-가시적인(human-visible) 페이로드 이미지 프레임 데이터는, 그래픽 디스플레이(20)에 표시될 때, 포인팅 디바이스(10)에 의해 캡쳐되고, 포인팅 디바이스(10)에 의해 포인팅된 위치를 추정하기 위해 위치결정 회로(25)에 의해 이용될 수 있는, 타겟 생성기 기능(23)에 의해 생성된 위치결정 타겟 이미지 콘텐츠와 결합될 것이다. 그래픽 어댑터(27)는, 적절한 디스플레이 포맷으로, 프로젝터(21)에, 페이로드 이미지 데이터 및 위치결정 타겟 이미지 콘텐츠의 조합을 포함하는, 이미지 데이터의 프레임들의 시퀀스를 제시하기에 적절한 적합 기능을 포함한다. 이러한 프로젝션 예시에서, 프로젝터(21)는 결과적으로 디스플레이 스크린(20)에 대응하는 이미지(I)를 투사한다.
컴퓨터(22)의 특정 구성, 위치결정 회로(25), 타겟 생성기 회로(23), 및 그래픽 어댑터(27)는 폭 넓게 달라질 수 있다. 예를 들어, 적절한 프로세싱 회로(CPU, 또는 마이크로프로세서) 및 메모리를 포함하는, (데스크탑, 랩탑, 또는 다른 적절한 유형의) 단일 개인용 컴퓨터 또는 워크스테이션은, 페이로드 이미지를 생성하고, 위치결정 타겟을 생성하고, 그래픽 어댑터(27)보다 먼저 또는 이를 이용하여 그 둘을 결합할 뿐 아니라, 표시된 이미지의 포인팅된 위치를 결정하기 위해 포인팅 디바이스(10)로부터 데이터를 수신 및 프로세싱하는 기능을 수행하도록 구성 및 프로그램될 수 있다고 고려된다. 대안으로, 컴퓨터(22) 외부의 별도의 기능 시스템이 타겟 생성기(23), 수신기(24), 및 위치결정 회로(25)의 기능 중 하나 이상을 수행할 수 있음에 따라, 컴퓨터(22)가 변경 없이 작동하는 종래의 컴퓨터로서 구현될 수 있다고 고려되는데, 이러한 경우에, 그래픽 어댑터(27)는 그 자체가 외부 기능을 구성하거나(또는 컴퓨터(22) 외부의, 타겟 생성기(23), 수신기(24), 및 위치결정 회로(25)의 다른 기능 중 하나 이상과 결합됨), 또는 대안으로, 타겟 생성기(23)로부터의 출력이 제시되는 컴퓨터(22) 내에서 구현될 수 있다. 이러한 기능들의 다른 여러 대안의 구현예들이 또한 고려된다. 임의의 경우에, 컴퓨터(22), 위치결정 회로(25), 타겟 생성기(23), 및 그래픽 디스플레이(20)에 표시되는 이미지 및 위치결정 타겟의 생성과 관련된 다른 기능은, 그것의 프로세싱 회로에 의해 실행될 때, 본 명세서에서 설명된 바와 같은 본 발명의 실시예들의 여러 기능 및 동작을 수행할, 컴퓨터 프로그램 명령어를 저장한 컴퓨터 판독가능 매체 형태의 적절한 프로그램 메모리를 포함할 것이라고 고려된다. 본 명세서를 참조함으로써 당업자는, 과도한 실험 없이, 본 발명의 이러한 실시예들의 구현을 위해 적절한 컴퓨터 하드웨어 및 대응하는 컴퓨터 프로그램을 쉽게 배치할 수 있을 것이라고 생각된다.
본 예시의 포인팅 디바이스(10)는 광학 시스템(12) 및 이미지 센서(14)로 구성된 카메라 기능을 포함한다. 포인팅 디바이스(10)가 디스플레이(20)에 조준됨으로써, 이미지 센서(14)는 캡쳐된 이미지로 노출되며, 이는 포인팅 디바이스(10)와 디스플레이(20) 사이의 거리, 광학 시스템(12) 내의 렌즈들의 초점 길이 등에 따라, 디스플레이(20)의 이미지(I)의 전부 또는 일부에 대응한다. 이미지 캡쳐 서브시스템(16)은, 사용자에 의해 선택된 특정 시간 포인트에서의, 또는 샘플 시간의 각 시퀀스에서 캡쳐된 것과 같은 캡쳐된 이미지의 디지털 표현을 획득 및 저장하기 위해 당해 기술 분야에 알려진 적절한 회로를 포함한다. 포인팅 디바이스(10)는, 이미지 캡쳐를 작동시키거나 또는 이하에서 설명되며 당업자에게 명백해질 다른 기능을 위해, 포인팅 디바이스(10)의 사용자가 마우스 버튼과 유사한 사용자 입력을 제공할 수 있는, 종래의 누름 버튼 또는 다른 스위치인, 작동기(actuator)(15)를 또한 포함한다. 본 예시에서, 표시된 콘텐츠와의 사용자 상호작용을 지원하거나 향상시키기 위해, 하나 이상의 관성 센서(17)가 또한 포인팅 디바이스(10) 내에 포함되는데, 그러한 관성 센서의 예시는, 가속도계, 자기 센서(즉, 지구의 자기장과 관련된 지향을 감지하기 위함), 자이로스코프, 및 다른 관성 센서를 포함한다.
도 2a의 본 예시에서, 포인팅 디바이스(10)는, 위치결정 회로(25)에, 이미지 캡쳐 서브시스템(16)에 의해 획득된 캡쳐된 이미지에 대응하는 신호를 포워딩하도록 작동 가능하다. 이러한 전달 기능은, 그것의 내부 안테나(A)와 함께, 포인팅 디바이스(10)의 무선 송신기(18)에 의해 수행되며, 그에 의해 (예를 들어, 블루투스 또는 적절한 IEEE 802.11 표준과 같은 종래의 표준에 따른) 무선 주파수 신호가 송신된다. 송신기(18)는, 적용 가능한 무선 프로토콜을 통한 다른 사용자 입력 및 제어 신호와 함께, 캡쳐된 이미지 데이터를 인코딩, 변조, 및 송신하기 위한 종래의 구성 및 동작을 갖는다고 고려된다. 본 예시에서, 수신기(24)는 그것의 안테나(A)를 통해 포인팅 디바이스(10)로부터 송신된 신호를 수신할 수 있고, 위치결정 회로(25)에 의한 프로세싱에 적절한 기저대역 형태로 수신된 신호를 복조, 디코딩, 필터링, 및 다른 방식으로 프로세싱할 수 있다.
본 발명의 실시예들의 대화형 디스플레이 시스템의 위치결정 회로(25)의 특정 위치는 시스템에 따라 달라질 수 있다고 생각된다. 일반적인 경우에, 어느 하드웨어 서브시스템(즉, 디스플레이를 구동하는 컴퓨터, 포인팅 디바이스, 영상 데이터 경로 내의 별도의 서브시스템, 또는 이들의 일부 조합)이 디스플레이(20)의 포인팅된 위치의 결정을 수행하는지는 특별히 중요하지 않다. 도 2a에 도시된 예시에서, 전술한 바와 같이, 표시된 이미지(I)를 생성하고 포인팅 디바이스(10)가 조준하는 표시된 이미지(I)의 위치를 결정하는 (그리고 그와 연관된 커맨드를 디코딩하는) 기능을 시스템의 동일한 요소로 결합하는 시스템에서, 위치결정 회로(25)는 컴퓨터(22) 및 타겟 생성기 기능(23)과 결합하여 배치된다.
도 2b는 본 발명의 실시예들에 따른 대화형 디스플레이 시스템의 대안의 일반화된 배치를 나타낸다. 이 시스템은 도 2b의 예시에서와 같이 프로젝터(21) 및 디스플레이(20)를 포함하며, 프로젝터(21)는 전술한 바와 같이 컴퓨터(22)에 의해 생성된 페이로드 이미지 콘텐츠 및 위치결정 타겟 이미지 콘텐츠를 투사한다. 본 예시에서, 포인팅 디바이스(10')는 그것이 현재 포인팅하고 있는 디스플레이(20)의 위치를 결정하는 것과 연관된 연산의 일부 또는 전부를 수행한다. 그와 같이, 카메라(렌즈(12), 이미지 센서(14), 및 이미지 캡쳐(16))에 더하여, 위치결정 디바이스(10')는 무선 송신기(18)와 함께 위치결정 회로(25')를 포함한다. 반면, 컴퓨터(22)는, 앞서와 같이 수신기(24)에 연결된다. 대안으로, 송신기(18) 및 수신기(24)는 각각, 서로 무선 통신을 수신 및 송신할 수 있는 송수신기로서 구현될 수 있으며, 이 경우에 디스플레이(20)에 표시되는 위치결정 타겟의 크기, 형상, 및 위치에 대응하는 데이터는 비교를 위해 포인팅 디바이스(10')에 송신될 수 있다.
양자의 경우에, 위치결정 회로(25, 25')(이하에서는 총칭하여 위치결정 회로(25)라고 함)는, 이하에서 상세하게 설명될 바와 같이, 포인팅 디바이스(10, 10')(이하에서는 총칭하여 포인팅 디바이스(10)라고 함)가 조준하는 디스플레이(20)의 위치를 결정한다.
전술한 미국 등록 특허 제8,217,997호에 기술된 위치결정은, 디스플레이의 포인팅된 위치가 이미지 내의 특정 픽셀 위치를 참조하여 결정된다는 점에서, "절대적" 위치결정이다. 다시 말해서, 절대적 위치결정은 디스플레이 자체의 참조 프레임을 참조하는 특정 위치의 결정이다. 추가적으로, 위치결정은 미국 등록 특허 제8,217,997호에 기술된 바와 같이 수행되어, 이는 둘 이상의 프레임의 위치결정 타겟의 획득에 의존하며, 프레임 레이트에 대응하는 최대 레이트로 행해질 수 있다. 다른 종래의 절대적 위치결정 기술은 (포인팅 디바이스의 이미지 캡쳐 레이트, 디스플레이의 프레임 레이트, 또는 양자 모두에 따라) 이론상으로 더 빠르게 수행될 수 있지만, 상당한 연산 복잡성을 포함한다. 실제로, 미국 등록 특허 제8,217,997호에 기술된 접근법에 따라 기술된 위치결정 판정에 필요한 연산 시간은, 위치결정 회로의 연산 능력에 따라, 위치결정 레이트가 프레임 레이트보다 더 느린 결과를 초래할 수도 있다. 또한, 절대적 위치결정이 일정한 확실성의 정도를 넘어서는 이미지 매칭을 필요로 할 수 있기 때문에, 불완전한 매치로 인한 부정적인 결과가 몇몇 경우에 발생할 수 있으며, 이는 두 번의 연이은 성공적인 위치결정 판정 사이의 시간을 또한 연장할 것이다. 임의의 경우에, 포인팅 디바이스가 조준하는 디스플레이의 위치의 절대적 위치결정이 상당히 정확할 수 있는 반면, 절대적 위치결정이 수행될 수 있는 레이트는 제한될 수 있다.
종래의 절대적 위치결정 기술로부터 이용 가능한 이러한 낮은 최대 위치결정 레이트는 포인팅 디바이스(10)의 사용자의 이동을 렌더링하는데 있어서 좋지 못한 해상도(resolution)을 야기할 수 있다. 도 3a는 이러한 제한된 해상도의 예시를 나타내며, 여기에서는 예를 들어 160 msec의 시간(span) 동안, 사용자에 의해 이동하는 포인팅 디바이스의 실제 경로를 커브(30)가 표현한다. 포인트(32)는, 프레임 레이트가 60 Hz인 경우에, 미국 등록 특허 제8,217,997호에 기술된 접근법에 따라 수행되는 절대적 위치결정의 결과를 나타낸다. 그러한 예시에서, 절대적 위치결정 결과는 (최대) 16 msec 떨어져 있는 샘플 포인트에서 생성될 수 있다. 그와 같이, 11개의 절대적 위치결정 포인트(32)가 그 160 msec 지속시간 동안 경로(30)(종료점을 포함함)에 대해 생성되며, 이로부터 추정 경로(30')가 제시될 수 있다. 그러나, 도 3a로부터 명백한 바와 같이, 경로(30)는 60 Hz에서의 절대적 위치결정에 의해 정확하게 렌더링될 수 없는 (주파수 도메인에 있어서) 높은 주파수 성분을 포함한다. 절대적 위치결정은 경로(30)에 관한 그것의 포인트(32)의 배치에 훌륭한 정확도를 제공한다. 그러나, 도 3a로부터 명백한 바와 같이, 경로(30) 내의 높은 주파수 편위(excursion)는 추정 경로(30')에서 정확하게 재생성되지 않는다. 경로(30')의 필터링은 경로(30')를 더 만족스러운 형태로 매끄럽게 할 수 있지만, 높은 주파수 편위를 재생성하는 것은 물론 실패한다. 대화형 "화이트 보드"와 같은 애플리케이션의 경우 특히, 실제 경로(30)에 관한 경로(30')의 불일치가 종종 인식될 것이고, 몇몇 경우에는 받아들여지지 않을 수 있다.
본 발명의 실시예들에 따르면, 포인팅 디바이스(10)는 디스플레이(20)에서의 그것의 포인팅된 위치의 "상대적" 위치결정을 수행하는 능력을 또한 포함한다. 상대적 위치결정은 이전의 위치를 참조하는 특정 위치의 결정이다. 도 2a 및 도 2b의 대화형 시스템의 상황에서, 상대적 위치결정은, 예를 들어 샘플 시간 사이에서, 하나의 위치로부터 다른 위치로의 포인팅 디바이스(10)의 모션에 기초하여 수행된다. 당해 기술분야에 알려져 있으며 전술한 바와 같이, 상대적 위치결정은, 그것의 연산 요건이 일반적으로 절대적 위치결정의 경우만큼 상당하지 않기 때문에 상대적으로 높은 레이트에서 행해질 수 있으며, 반드시 프레임 레이트에 의해 제한되는 것은 아니다.
상대적 위치결정은 모션 감지에 기초하기 때문에, 모션 감지 능력은, 본 발명의 실시예들에 따라, 포인팅 디바이스(10) 내에서 하나 이상의 다양한 방식으로 구현된다. 모션 센서 중 한 클래스는 당해 기술분야에서 관성 감지라고 불리며, 이를 통해 디바이스의 물리적 이동이 직접적으로 감지되는데, 일반적으로 관성 센서는 이동에 관한 세 개의 축 각각마다 배치된다. 도 2a 및 도 2b는 각각 포인팅 디바이스(10)의 관성 센서(17)의 선택적인 구현을 나타낸다. 본 발명의 실시예들에 따라 구현될 수 있는 관성 센서(17)의 예시는 가속도계, 자이로스코프, 및 자기계와 같은 자기장 센서를 포함한다. 대안으로, 또는 관성 센서(17)에 더하여, 시각적 모션 감지는 포인팅 디바이스(10)의 이미지 캡쳐 서브시스템(16)에 의해 수행될 수 있다. 객체 등록, 및 종래의 광학 트랙볼(trackball)과 마우스 등에 의해 사용되는 다른 기술과 같은, 시각적 모션 감지에 대한 여러 접근법이 당해 기술분야에 알려져 있다.
그러나, 상대적 위치결정의 결과가 디스플레이의 절대적 위치에 매이지 않기 때문에, 상대적 위치결정의 오류는 시간에 걸쳐서 축적될 수 있다. 모션의 가속도를 측정하고 그에 따라 측정된 가속도를 변위(그리고 그에 따라 위치)로 변환하기 위해 두 번의 적분을 필요로 하는, 가속도계와 같은, 소정 유형의 관성 센서에 대하여, 이러한 오류에 대한 취약성이 높아진다. 도 3b는, 160 msec 동안 또한 연장하는, 경로(30)에 적용되는 상대적 위치결정의 이용에 관한 예시를 나타낸다. 본 예시에서, 상대적 위치결정 포인트(34)는 도 3a에 도시된 절대적 위치결정 레이트보다 훨씬 더 높은 레이트(예를 들어, 약 4x)로 생성된다. 이러한 더 높은 위치결정 레이트 때문에, 실제 경로(30)의 더 높은 주파수 성분이 상대적 위치결정 포인트(34)에 대응하는 추정 경로(30")에서 양호하게 재생성된다. 그러나, 도 3b로부터 명백한 바와 같이, 상대적 위치결정에 기초한 추정 경로(30")는 경로(30)의 160 msec 지속시간 동안 축적된 오류의 영향을 포함한다. 이러한 축적된 오류는 경로(30)의 끝에 도달하는 시간까지의 상당한 편차 Δp에 해당한다. 이러한 축적된 오류는, 많은 경우, 특히 사용자가 "화이트 보드" 상황에서 디스플레이 상에 필기를 하려고 하거나 또는 큰 도안을 그리려고 할 경우에, 인지될 수 있다고 생각된다. 도 3b는 1차원으로만 발생하는 드리프트 및 결과적인 편차를 도시하지만, 상대적 위치결정 결과의 드리프트 및 편차는 물론 x 및 y 차원 양자 모두에서 성분을 가질 수 있다.
본 발명의 실시예들에 따르면, 절대적 및 상대적 위치결정 양자 모두가 수행되며 그 결과는 도 2a 및 도 2b에 도시된 바와 같은 대화형 디스플레이 시스템의 위치결정의 응답성 및 정확도를 개선하는 방식으로 조합된다. 이제 도 4 및 도 5를 참조하면, 본 발명의 실시예들에 따른, 위치결정 회로(25)의 기능적 또는 논리적 아키텍쳐와, 절대적 및 상대적 위치결정 결과의 조합에 기초하여 위치결정을 수행하는 그 동작이 이제 설명될 것이다. 전술한 바와 같이, 위치결정 회로(25)는, 컴퓨터(22)의 또는 그에 연결된, 포인팅 디바이스(10) 내의, 또는 이들의 조합의, 프로그램 가능한 논리 회로를 통한 것을 포함하여, 다양한 방식들로 구현될 수 있다고 생각된다. 프로그램 가능한 논리 회로가 위치결정 회로(25)의 전부 또는 일부를 구현하는 구현예들에 있어서, 위치결정 회로(25)는, 프로그램 가능한 논리 회로에 의해 실행될 때, 도 5와 관련하여 이하에서 설명되는 위치결정 동작을 수행하는, 프로그램 명령어를 저장하기 위한 적절한 프로그램 메모리를 포함하거나 또는 그에 액세스할 것이라고 고려된다. 이들 동작은 디스플레이 시스템에 적합한 프레임 레이트로 디스플레이(20)에서 컴퓨터(22)에 의해 이미지들의 시퀀스가 제시되는 시간 동안에 수행된다.
도 4는, 본 발명의 이러한 실시예에 따른 위치결정 회로(25) 내의 절대적 위치결정 서브시스템(37)에 연결된 시각 센서(35)를 나타낸다. 본 발명의 실시예들에서, 시각 센서(35)는, (예를 들어, 디스플레이(20)의 프레임 레이트에 주기적으로 따르는) 각각의 이미지 캡쳐 시간에서의 디스플레이(20)의 캡쳐된 이미지(I) 내에 포함된 위치결정 타겟 이미지 콘텐츠를 캡쳐하도록 동작 가능한, 이미지 센서(14) 및 이미지 캡쳐 서브시스템(16)(도 2a 및 도 2b)에 대응한다. 도 5의 프로세스(42)에서, 시각 센서(35)는 이미지 캡쳐 샘플 시간에 디스플레이(20)의 이미지를 감지 및 캡쳐하며, 그러한 이미지 데이터는, 그로부터 프로세스(44)에서 절대적 위치결정 서브시스템(37)에 의해 이미지 캡쳐 시간에서의 절대적 위치가 결정되는, 위치결정 타겟 정보(휴먼-가시적 또는 휴먼-비가시적(human-invisible))를 포함한다. 본 발명의 실시예들에 따르면, 위치결정 타겟 이미지 콘텐츠는, 몇몇 경우에, 디스플레이(20)에 표시된 페이로드 이미지 데이터를 포함하는, 휴먼-가시적 콘텐츠일 수 있다. 대안으로, 위치결정 타겟 이미지 콘텐츠는 "기계-가시적(machine-visible)"이지만 휴먼-비가시적인 콘텐츠일 수 있으며, 이를 통해, 청중에게 표시되는 정보의 중단 없이, 디스플레이(20)의 포인팅된 위치가 결정될 수 있다. 위치결정을 위한 휴먼-비가시적 콘텐츠의 사용은, 이하에서 상세하게 설명될 바와 같이, "화이트 보드" 애플리케이션에서 특히 유용하다. 각각의 이미지 캡쳐 시간에 대한 이러한 이미지 데이터는, 이미지가 캡쳐된 시간에 포인팅 디바이스(10)가 조준한 디스플레이(20)의 절대적인 포인팅된 위치의 프로세스(44)에서의 결정을 위해, 절대적 위치결정 서브시스템(37)에 전달된다.
위치결정 타겟이 휴먼-비가시적인 것인 본 발명의 실시예들에 따르면, 참조에 의해 본원에 포함되는, 미국 등록 특허 제8,217,997호에 기술된 바와 같이 절대적 위치결정 서브시스템(37)이 구성되어 작동될 수 있다. 일반적으로, 그 미국 등록 특허 제8,217,997호에 기술된 접근법에 따르면, 위치결정 타겟은 시각적 페이로드의 하나의 디스플레이 프레임에서 강도(intensity)의 패터닝된 변조(예를 들어, 픽셀 강도의 변화)로서 그에 이어 연속적인 프레임에서는 반대로 변조되는 동일한 패턴으로서 제시된다. 두 개의 이미지 프레임이 포인팅 디바이스(10)의 시각 센서(35)에 의해 캡쳐된다. 이러한 접근법에 따른 프로세스(44)에서, 절대적 위치결정 서브시스템(37)은 이러한 두 개의 프레임 서로로부터 캡쳐된 이미지 데이터를 공제(subtraction)한다. 공제의 결과에 따르면, 캡쳐된 이미지에서의 휴먼-가시적 요소는 공제의 결과로서 서로를 상쇄할 것이지만, 상보적 위치결정 타겟 이미지는 서로를 강화하여 "가시적"이 될 것이며, 위치결정 타겟을 복구한다. 복구된 위치결정 타겟의 위치, 크기, 및 지향은 디스플레이(20)에 관한 포인팅 디바이스(10)의 조준 포인트를 식별한다. 도 4에 도시된 위치결정 회로(25)의 기능적 아키텍쳐에 따르면, 포인팅 디바이스(10)에 의해 포인트되는 절대적 위치는, 바람직하게는 이미지 캡쳐 시간(즉, 시각 센서가 이미지를 캡쳐한 시간이며, 그에 따라 절대적 위치 신호(ABS)에 의해 표시된 위치에 포인팅 디바이스(10)가 포인팅한 시간에 대응함)에 대응하는 타임스탬프와 함께, 센서 융합 서브시스템(40)에 신호(ABS)를 통해 절대적 위치결정 서브시스템(37)에 의해 출력된다. 전술한 바와 같이, 절대적 위치결정 서브시스템(37)은, 다른 종래의 위치결정 기술 및 알고리즘에 의해, 디스플레이(20)에서의 출력에 포함된 가시적인 위치결정 타겟에 기초하여 절대적 위치(ABS)를 대안으로 생성할 수 있다. 양자의 경우에, 프로세스(42, 44)는, 예를 들어 이미지 데이터의 다음 프레임의 디스플레이 시간에, 전술한 바와 같이 반복된다.
도 4의 아키텍쳐의 모션 센서(36)는, 포인팅 디바이스(10) 내에서 그 디바이스의 모션을 감지하는 센서에 대응하며, 디스플레이(20)의 포인팅된 위치의 상대적 위치의 결정을 위해 그 감지된 동작을 상대적 위치결정 서브시스템(38)에 전달한다. 도 2a 및 도 2b를 참조하면, 모션 센서(36)는 관성 센서(17)의 형태로 구현될 수 있다. 모션 센서(36) 대신에 또는 그와 결합하여, 시각 센서(35)가 디스플레이(20)로부터 캡쳐된 이미지 데이터로부터 상대적 모션을 검출하기 위해 또한 작동할 수 있다. 이 경우에, 상대적 모션의 감지는 프레임 레이트보다 더 높은 레이트로 이미지 데이터를 캡쳐 및 프로세싱하는 시각 센서(35)에 의해 수행된다(즉, 디스플레이(20)에서 동일한 프레임으로부터 이미지들의 시퀀스를 캡쳐하는 것). 이러한 상대적 모션의 시각적 감지는, 상대적 위치결정 서브시스템(38)에 대한 시각 센서(35)의 선택적인 연결에 의해, 도 4에 표시된다. 임의의 경우에, 도 4를 참조하면, 모션 센서(36) 또는 시각 센서(35)(또는 양자 모두)는 프로세스(48)에서 샘플 시간들의 시퀀스 각각에서의 그 측정치를 획득하기 위해 작동하고, 그 감지된 측정치를 상대적 위치결정 서브시스템(38)에 적절한 형태로 전달하며, 이 상대적 위치결정 서브시스템(38)은 그 후, 프로세스(50)에서, 이전의 샘플 시간에 관하여 가장 최근의 샘플 시간에서의 위치의 변화를 결정한다.
상대적 위치결정 서브시스템(38)은, 예를 들어, 그 예시가 당해 기술분야에서 "객체 등록"이라고 불리는, 상대적 모션 위치결정을 위한 종래의 알고리즘에 따라, 프로세스(50)의 상대적 모션 위치결정을 수행하는 위치결정 회로(25) 내의 또는 그에 액세스 가능한 프로그램 메모리에 저장된 프로그램 명령어를 실행하는 프로그램 가능한 논리 회로를 비롯한, 논리 회로에 의해 구현될 수 있다. 본 명세서를 참조하는 당업자는, 과도한 실험 없이, 특정한 구현예에 가장 적합한 방식으로, 상대적 위치결정 서브시스템(38)의 프로그램 명령어 또는 논리 회로를 쉽게 구현할 수 있을 것이라고 고려된다. 상대적 위치결정 프로세스(50)의 경우가 완료되면, 상대적 위치결정 서브시스템(38)에 의해 생성된 상대적 위치 결과, 및 그 상대적 위치 결과에 대한 샘플 시간(즉, 상대적 위치가 계산되는 샘플 시간)을 표시하는 대응하는 타임스탬프가 신호(REL)를 통해 센서 융합 서브시스템(40)에 전달된다. 전술한 바와 같이, 상대적 위치결정 서브시스템(38)은 절대적 위치결정 서브시스템(37)이 절대적 위치 결과를 전달하는 것보다 더 높은 레이트로 상대적 위치 결과를 전달할 것이라고 고려된다.
본 발명의 실시예들에 따르면, 센서 융합 서브시스템(40)은, 절대적 위치결정 서브시스템(37)에 의해 결정된 특정 시간 포인트에 포인팅 디바이스(10)가 조준하는 디스플레이(20)의 위치와, 그와 동일한 시간 포인트에 대하여 상대적 위치결정 서브시스템(38)에 의해 결정된 위치 사이의 차이에 대응하는 오류 값(EV)을 결정한다. 본 발명의 실시예들에 따르면, 센서 융합 서브시스템(40)은, 이하에서 상세하게 설명되는 방식으로, 신호(ABS, REL)에 기초하여 오류 값(EV)을 생성하기 위해 동작 및 기능을 수행하는 위치결정 회로(25) 내의 또는 그에 액세스 가능한 프로그램 메모리에 저장된 프로그램 명령어를 실행하는 프로그램 가능한 논리 회로를 비롯한, 논리 회로로서 구현될 수 있다고 고려된다. 본 명세서를 참조하는 당업자는, 과도한 실험 없이, 특정한 구현예에 가장 적합한 방식으로, 센서 융합 서브시스템(40)의 프로그램 명령어 또는 논리 회로를 쉽게 구현할 수 있을 것이라고 고려된다.
전술한 바와 같이, 절대적 위치결정 서브시스템(37)은 상대적 위치결정 서브시스템(38)보다 더 정확한 위치를 제공할 것이라고 고려되므로, 오류 값(EV)은 주어진 시간에서의 상대적 위치가 그 시간에서의 절대적 위치와 차이가 나는 만큼의 거리일 것이다. 그러나, 프로세스(44)에서 절대적 위치가 획득된 이미지 캡쳐 시간은, 일반적으로 시각 센서(35)보다 훨씬 더 높은 레이트로 샘플링하는 모션 센서(36)의 경우에 특히, 프로세스(50)에서 상대적 위치가 획득된 샘플 시간과 시간 정렬되지 않을 수도 있다. 절대적 및 상대적 위치결정 시스템 사이의 이러한 동기화의 결여는 관성 센서(17)를 모션 센서(36)로서 이용하는 구현예들에 특히 존재할 것이다. 정확한 오류 값(EV)을 도출하기 위해, 상대적 및 절대적 위치결정 결과를 공통의 시간 포인트에 정렬시키는 것이 따라서 필요하다. 따라서, 본 발명의 이러한 실시예에 따르면, 오류 값(EV)을 결정함에 있어서의 센서 융합 서브시스템(40)의 동작은, 이미지 캡쳐 시간에 가까운 두 개의 샘플 시간(예를 들어, 이미지 캡쳐 시간 이전의 하나의 샘플 시간, 및 이미지 캡쳐 시간 이후의 하나의 샘플 시간)에서의 상대적 위치에 기초하여, 그 이미지 캡쳐 시간에서의 상대적 위치가 계산되는, 프로세스(52)로부터 시작된다. 이러한 프로세스(52)에서의 이미지 캡쳐 시간에서의 상대적 위치의 결정은 프로세스(54)에서의 오류 값(EV)의 계산을 용이하게 한다.
프로세스(52)의 정렬 계산이 센서 융합 서브시스템(40)에 의해 실행되는 방식은 오류 값(EV)을 결정하는 것에 대한 원하는 접근법에 의존한다. 본 발명의 실시예들에 따르면, 프로세스(52)는 상대적 위치의 선형 시간적 보간에 기초할 수 있거나, 또는 대안으로 상대적 모션의 속도에 기초할 수 있다.
도 6a는 프로세스(52)에 적용되는 선형 시간적 보간의 예시를 나타낸다. 본 예시에서, 상대적 위치결정 서브시스템(38)은 샘플 시간 t 1에서의 상대적 위치(x r (t 1), y r (t 1)), 및 샘플 시간 t 2에서의 상대적 위치(x r (t 2), y r (t 2))를 식별한다. 본 예시에서, 프로세스(52)는 샘플 시간 t 1, t 2 사이에 있는 이미지 캡쳐 시간 t IC에서의 상대적 위치(x r (t IC), y r (t IC))를 보간하기 위한 것이다. 본 예시에서, 이미지 캡쳐 시간 t IC와 샘플 시간 t 1, t 2 사이의 시간차에 따라, x 및 y 방향(차원) 각각에서, 선형 시간적 보간이 결정된다. 본 발명의 이러한 실시예에서, 상대적 위치(x r (t IC), y r (t IC))는 프로세스(52)에서 센서 융합 서브시스템(40)에 의해 다음과 같이 계산된다:
Figure pct00001
요약하면, 프로세서(52)의 이러한 연산은 이미지 캡쳐 시간 t IC에서의 상대적 위치(x r (t IC), y r (t IC))를, 이미지 캡쳐 시간과 두 개의 상대적 위치 샘플 시간 사이의 시간차에 의해 가중된, 두 개의 상대적 위치의 선형 평균으로서 결정한다. 이러한 접근법은, 상대적 모션 샘플 시간 t 1, t 2 사이의 지속 시간이 짧은 경우(그에 따라 그러한 두 개의 샘플 시간 사이의 모션이 짧은 거리에 걸쳐 있음), 또는 그러한 간격 동안의 모션이 선형이고 일정 속도인 경우에, 가장 정확하다고 간주될 수 있다.
그러나, 지속 시간이 상대적으로 긴 경우, 또는 모션이 선형도 아니고 일정 속도도 아닌 경우, 프로세스(52)의 연산은 오류 값(EV)의 결정에 추가적인 오류를 삽입할 수 있다. 도 6b는, 실제 경로(53)에 의해 도시된 바와 같이, 샘플 시간 t 1, t 2 사이의 모션이 선형이 아닌 경우의, 이러한 오류를 나타낸다. 본 예시에서, 포인트(51)는 전술한 선형 보간 접근법을 사용하는 이미지 캡쳐 시간 t IC에서의 상대적 위치의 추정을 나타내는데 비하여, 포인트(55)는 이미지 캡쳐 시간 t IC에서의 실제의 상대적 위치를 나타낸다. 도 6b로부터 명백한 바와 같이, 비선형 모션의 결과로서 (y 방향에) 상당한 오류가 존재한다.
프로세스(52)에서 유용한 속도-기반 접근법에 따르면, 이미지 캡쳐 시간 t IC에 더 가까운 샘플 시간에서의 속도 벡터는 감지된 모션 속도에 기초하여, 이미지 캡쳐 시간 t IC에서의 상대적 위치(x r (t IC), y r (t IC))의 결정을 추정하는 데에 이용된다. 도 6b의 예시의 경우, 이미지 캡쳐 시간 t IC은 샘플 시간 t 2보다 샘플 시간 t 1에 더 가깝다. 그와 같이, 속도 벡터(57)는 프로세스(52)에서 결정되고, 샘플 시간 t 1에서의 모션 속도에 대응한다. 본 발명의 이러한 실시예에 따르면, 모션 센서(36) 및 상대적 위치결정 서브시스템(38)은 각각의 샘플 시간에 모션 속도를 계산 또는 다른 방식으로 결정하는 것이 유용하다. 예를 들어, 가속도가 모션 센서(36)의 가속도계에 의해 측정되는 경우, 이러한 속도의 계산은 측정된 가속도에 대한 오직 한 번의 적분에 해당할 것이고, 측정된 가속도로부터 변위를 계산하는 데에 필요한 두 번째 적분에 의해 야기되는 추가적인 오류에 대한 가능성을 회피할 것이다. 임의의 경우에, 본원에서 중요한 속도는, 디스플레이(20)에서, 디스플레이(20)의 포인팅된 위치가 이동하는 속도인데, 이 경우, 관심 대상 속도가 반드시 포인팅 디바이스(10) 자체가 공간에서 이동하는 속도인 것은 아니다. 본 명세서를 참조하는 당업자는 프로세스(50)에 그러한 연산을 쉽게 구현할 수 있을 것이라고 생각된다.
속도 벡터(57)는 각각 x 및 y 방향에 각각 두 개의 속도 성분 v x (t 1), v y (t 1)을 포함한다. 그러한 속도 성분에 기초하여, 이미지 캡쳐 시간 t IC에서의 상대적 위치(x r (t IC), y r (t IC))가 쉽게 계산될 수 있으며:
Figure pct00002
이는 이미지 캡쳐 시간 t IC이 샘플 시간 t 2보다 샘플 시간 t 1에 더 가까운 경우이다. 이미지 캡쳐 시간 t IC이 샘플 시간 t 1보다 샘플 시간 t 2에 더 가까운 경우에 있어서, 성분 v x (t 2), v y (t 2)을 갖는, 샘플 시간 t 2에서의 속도 벡터(57)는, 다음의 식으로부터 이미지 캡쳐 시간 t IC에서의 상대적 위치(x r (t IC), y r (t IC))의 보간을 수행하는 데에 이용된다:
Figure pct00003
또한 대안으로, 속도 벡터(57)는 샘플 시간 t 1, t 2에서의 속도 벡터의 평균으로부터 결정될 수 있는데, 이 평균 속도는, 필요한 경우, 그러한 샘플 시간 t 1, t 2 중 어느 하나에 대한 이미지 캡쳐 시간 t IC의 근접성에 기초하여, 가중될 수 있다.
도 5를 다시 참조하면, 이미지 캡쳐 시간 t IC에서의 상대적 위치(x r (t IC), y r (t IC))가 프로세스(52)에서 계산되면, 그 후 센서 융합 서브시스템(40)은 이러한 상대적 위치(x r (t IC), y r (t IC))를, 프로세스(44)에서 결정된, 동일한 시간에서의 절대적 위치(x a (t IC), y a (t IC))와 비교함으로써 오류 값(EV)을 결정하기 위해 프로세스(54)를 실행한다. 이러한 오류 값은 x 및 y 방향의 2차원에 반영될 것이라고 고려된다:
Figure pct00004
오류 값(EV) 성분은 부호를 지닌(signed) 값으로 간주된다. 도 4의 아키텍쳐를 참조하면, 이러한 오류 값(EV)은, 모션 센서에 의한 측정치에 기초한 과거, 현재, 및 미래의 상대적 위치를 보상하기 위해, 센서 융합 서브시스템(40)으로부터 상대적 위치결정 서브시스템(38)으로 다시 전달된다.
본 발명의 실시예들에 따르면, 상대적 위치결정 프로세스(50)의 결과는 프로세스(54)에서 결정된 오류 값(EV)에 대응하는 보상 인자에 의해 보상된다. 도 5의 예시에서, 프로세스(56)는 이러한 보상 인자를 도출하기 위해 상대적 위치결정 서브시스템(38)(또는, 대안으로, 센서 융합 서브시스템(40))에 의해 수행된다. 프로세스(56)에 대한 단순한 접근법은 프로세스(44)에서 생성된 절대적 위치가 틀림없이 정확하며, 오류 값(EV)이 이전의 오류 값 결정 이후의 상대적 위치 결과의 축적된 드리프트에 대응한다고 가정하는 것이다. 이러한 단순한 접근법에서, 보상 인자는 프로세스(56)에서 오류 값(EV)과 동일하다고 단순히 결정된다. 이러한 단순한 예시에 대한 프로세스(58)에서, 상대적 위치결정 서브시스템(38)은 프로세스(58)에서의 하나 이상의 상대적 위치 결과(x r (t k ), y r (t k ))에 보상 인자를 부가적으로 적용하며(오류 값(EV)의 성분이 부호를 지닌 값임):
Figure pct00005
여기서 ←는 대체 연산자이고, EV x (t IC ), EV y (t IC )는 가장 최근의 이미지 캡쳐 시간에서의 오류 값 성분이다.
본 발명과 관련하여, 절대적 위치결정 서브시스템(37)에 의해 결정된 절대적 위치는 그것이 계산되는 매 시간마다 완전히 정확하지 않을 수도 있다는 것이 관찰되었다. 그러한 경우에, 오류 값(EV)의 보상 인자로서의 단순한 적용은 상대적 위치를 잘못 보상할 수 있다. 또한, 절대적 위치 결과가 완전히 정확하다고 하더라도, 상대적 위치 결과에 대한 큰 보상의 갑작스러운 적용은 사용자 및 청중을 당황스럽게 만들 수 있다. 따라서, 몇몇 경우에 가중 인자 w를 사용하여 프로세스(56)에서 보상 인자를 계산하는 것이 바람직할 수 있으며:
Figure pct00006
여기서 w는 0부터 1까지의 상수(constant)이다. 이러한 접근법에서, 낮은 가중 인자 w는 적은 양의 보상만을 적용할 것인 반면, 더 높은 가중 인자 w는 더 강한 보상을 적용할 것이다.
본 발명의 실시예들에 따르면, 보상 인자의 계산에서의 가중 인자 w는 특정 조건들 또는 다른 인자에 종속될 수 있다. 예를 들어, 절대적 위치결정 서브시스템(37)에 의해 결정된 절대적 위치의 정확도는 캡쳐된 이미지 내의 위치결정 타겟의 위치에 따라 달라질 수 있다. 이러한 경우에, 가중 인자 w는, 보상 인자 계산 프로세스(56)의 각 경우에서 평가되는, 이미지 영역의 중심 포인트에 대한 위치결정 타겟의 근접성의 함수일 수 있다. 추가적으로, 또는 대안으로, x 및 y 방향은, 예를 들어 캡쳐된 이미지 영역이 정사각형이 아닌 경우, 상이한 가중 인자 w x , w y 을 수신할 수 있다. 도 6c는 이미지 캡쳐 영역 내의 위치결정 타겟의 위치에 의해 배치된 가중 인자 w x , w y 의 예시를 나타낸다. 전술한 바와 같이, 적용된 보상의 양은 상승하는 가중 인자 w와 함께 증가하기 때문에, 보상은, 위치결정 타겟의 위치가 이미지 캡쳐 영역의 가장자리 또는 모서리에 더 가까운 경우에 더 낮고, 위치결정 타겟의 위치가 이미지 캡쳐 영역의 중심에 더 가까울수록 더 높다.
상대적 위치결정 결과에 적용되는 보상 인자를 결정하는 데에 비선형 가중 인자가 또한 사용될 수 있다. 예를 들어, 가중 인자는 오류 값(EV)의 크기에 의존하는 방식으로 계산될 수 있다. 이러한 비선형 가중에 대한 단순한 접근법은 가중 인자 w x , w y 이 각각 오류 값 성분은 EVx, EVy의 크기에 직접적으로 비례하도록 계산하는 것일 것이다.
또한 대안으로, 프로세스(56)에서의 보상 인자의 계산은 가중 인자를 사용하지 않을 수 있다. 보상 인자는 단순히, 고정된 스텝(예를 들어, 고정된 수의 픽셀), 오류 값(EV)의 극성에 따라 증가 또는 감소하는 스텝 크기(예를 들어, 특정 방향으로 오류의 첫 번째 인스턴스에 대한 두 개의 픽셀, 그 방향으로 오류의 두 번째 인스턴스 이후의 네 개의 픽셀 등), 또는 임계 보상(즉, 오류 값(EV)이 일정한 임계값 이하인 경우에 보상이 없음) 등일 수 있다. ADPCM 변조, 칼만(Kalman) 필터링 등에서 사용되는 것과 같은 다른 보상 방법이 대안으로 적용될 수 있다.
도 4를 다시 참조하면, 프로세스(58)에서 상대적 위치 결정에 원하는 보상이 적용되면, 보상된 위치결정 결과는 신호(FPOS)를 통해 컴퓨터(22)에 전달된다. 본 발명의 실시예들에 따르면, 신호(FPOS)는, 종래의 상대적 위치결정 시스템으로부터 이용 가능한 것과 같은 비교적 높은 샘플 레이트로, 그러나 종래의 절대적 위치결정 시스템으로부터 이용 가능한 것과 유사한 정확도로, 포인팅 디바이스(10)에 의해 포인팅된 디스플레이(20)의 위치를 제시한다. 프로세스는 시간에 걸쳐서 추가적인 샘플링 및 위치결정 측정을 위해 계속 반복된다.
도 3c는 본 발명의 일 실시예에 따른, 도 4 및 도 5의 아키텍쳐 및 방법에 따라 도출되는 보상의 예시를 나타낸다. 포인팅 디바이스(10)에 의해 포인팅된 위치의 실제 경로(30)는, 절대적 위치 포인트(32)가 고리로 표시되면서, 도 3c에 도시된다. 도 3c로부터 명백한 바와 같이, 절대적 위치 포인트(32)는 실제 경로(30)에 관하여 상당히 정확하다. 그러나, 상대적 위치 포인트(34)는 x 방향으로 축적 드리프트를 포함하기 때문에, 이러한 상대적 위치 포인트(34)에 의해 표시된 경로(30')는 실제 경로(30)로부터 상당히 벗어나기 시작한다. 그러나, 포인트(CV)에서 도 4 및 도 5의 아키텍쳐 및 방법의 작동은 그 포인트(시간 t C )에서의 상대적 위치 포인트(34)를 실제 경로(30) 상에 배치하기에 충분한 보상 인자를 적용한다. 시간 t C 이후의 상대적 위치 포인트(34)는 동일한 또는 업데이트된 보상 인자에 의해 보상되므로, 추정 경로(30')는 실제 경로(30)와 가깝게 매치된다. 본 발명의 실시예들에 따라 도출된 보상 인자가 시간 t C 에 적용된 이후에, 도 3c에 도시된 바와 같이, 실제 경로(30)의 높은 주파수 특성을 정확하게 렌더링하기 위해 충분히 높은 샘플 레이트로 보상된 상대적 위치 포인트(34)가 제공된다.
현재의 기술에 따르면, 절대적 위치결정 프로세스(44)에 포함된 연산은 디스플레이(20)의 프레임 레이트에 관하여 상당한 시간을 소모할 수 있다. 예를 들어, 전술한 미국 등록 특허 제8,217,997호의 휴먼-비가시적 위치결정 방법에 따른 절대적 위치결정은 위치결정 타겟을 복구하기 위해 두 개의 가장 최근의 캡쳐된 이미지의 분석을 필요로 한다. 그와 같이, 몇몇 상황에서, 획득된 오류 값(EV)이 다소 "스테일(stale)"할 수 있기 때문에, 절대적 위치 이후로 발생한 오류의 최근의 증가(예를 들어 축적 드리프트)는 절대적 및 상대적 위치결정 사이의 차이를 보상 인자가 완전히 보상하지 않는다고 판정되었다.
이러한 문제는, 프로세스(44)에서의 절대적 위치결정의 연산이 이미지 캡쳐 시간 중 하나에 관하여 완료되는 시간을 테스트하는 것에 의해 처리될 수 있다. 예를 들어, 미국 등록 특허 제8,217,997호에 따른 방법에서, 프로세스(44)가 완료되는 시간은 관련된 두 개의 프레임 중 두 번째 것의 이미지 캡쳐 시간 이후의 선택된 지연 시간과 대조될 수 있다. 프로세스(44)가 임계 시간 이전에 완료되는 경우, 그렇게 결정된 절대적 위치 값은 상대적으로 "프레쉬(fresh)"하며, 그 절대적 위치는 프로세스(52 내지 58)를 위해 센서 융합 서브시스템(40)에 전달된다. 반면에, 프로세스(44)가 그 임계 시간이 지난 이후까지 완료되지 않는 경우, 절대적 위치 값은 "스테일"한 것으로 간주되며 그 결과는 프로세스(52)를 위해 센서 융합 서브시스템(40)에 포워딩되지 않는다. 그러한 경우에, 절대적 위치결정 프로세스(44)는 다음의 이미지 캡쳐 시간 이후에 즉시 반복되며, 그 새로운 결과는 그 후 프로세스(52 이하 참조)를 통해 오류 값(EV)을 결정하는 데에 이용된다.
전술한 본 발명의 실시예에 따르면, 오류가 이미 발생한 이후에(예를 들어, 도 3c에 도시된 바와 같이 시간 t C 이전에) 보상 인자가 도출된다는 점에서, 상대적 위치 결과의 보상은 상대적 위치결정의 "정적" 교정으로 간주될 수 있다. 보다 상세하게는, 이러한 교정의 정적인 특성은 상대적 위치결정 서브시스템(38)이 샘플 시간 사이의 포인팅 디바이스(10)의 검출된 모션에 기초하여 상대적 위치를 결정하는 방식으로부터 기인한다.
종래의 모션 센서, 특히 관성 센서, 및 대응하는 상대적 위치결정 시스템은 일반적으로, 픽셀보다는 오히려, 표준화된 거리 측정치(예를 들어, 디스플레이(20)에서의 ㎜ 또는 ㎝)에 관하여 위치를 계산한다. 이들 거리를 픽셀로 변환하는 것은 다음과 같이 변환 승수(multiplier) T x 의 적용을 필요로 하며:
Figure pct00007
여기서
Figure pct00008
는 픽셀로 표현된 상대적 위치이고,
Figure pct00009
는 거리로 표현된 상대적 위치이며, T x 는 변환 승수(즉, 픽셀 피치)이다. 전술한 "정적" 교정의 상황에서, 변환 승수 T x , T y 은 상수(constant)이며, 프로세스(50)에서 상대적 위치의 변화의 결정에 적절한 경우에 적용된다.
그러나, 몇몇 상황에서 변환 승수 T x , T y 이 반드시 상수인 채로 있지 않을 수 있다는 점이 관찰되었다. 첫째, 포인팅 디바이스(10)가 반드시 디스플레이(20)와 물리적으로 접촉하는 것은 아니기 때문에, 포인팅 디바이스(10)의 상이한 선형의 물리적 이동은, 특히 디스플레이(20)로부터의 상이한 거리, 또는 그에 대한 상이한 각도로의 포인팅 디바이스(10)의 이동과 관련되어, 상이한 픽셀 기반의 이동으로 변환될 수 있으며, 그러한 이동은 상이한 관점(perspective)을 야기한다. 둘째, 가속도를 변위로 변환하는 데에 필요한 두 번의 적분이 시간에 걸쳐서 변할 수 있다는 점을 고려할 때, 관성 센서 결과의 물리적 측정치로의 변환의 정확도가 적합하지 않을 수 있다. 따라서, 변환 승수 T x , T y 이 상수인 채로 있을 것이라고 가정하는 것이 항상 유효하지는 않을 수 있다. 본 발명의 다른 실시예에 따르면, 계산된 상대적 위치의 "동적" 교정은, 시간에 걸쳐서, 예를 들어 절대적 위치가 프로세스(44)에서 결정되는 시간마다, 변환 승수 T x , T y 의 변화에 의해 구현된다. 이러한 방식으로, 도 7과 관련하여 이제 설명하는 바와 같이, 상대적 위치 결과를 보정하는 데에 이용되는 보상 인자는, "정적" 교정의 경우와 같은 사실 이후보다는 오히려, 상대적-절대적(relative-to-absolute) 위치 오류가 발생할 때와 같은 시간 이전에, 예를 들어, 현재의 이미지 캡쳐 시간의 상대적 위치가 계산되는 프로세스(52) 내에서, 결정될 것이다.
본 발명의 이러한 실시예에 따른 프로세스(52)는, 프로세스(44)에 의한 새로운 절대적 위치의 계산에 응답하여 수행되며, 그와 같이 도 2a 및 도 2b의 대화형 디스플레이 시스템의 작동 동안에 수행되는 것과 마찬가지로 시간에 걸친 반복적인 프로세스이다. 도 7의 프로세스(60)에서, 예를 들어, 본 프로세스의 이전 예시에서 결정된 것과 같은, 변환 승수 T x , T y 의 값을 사용하여, 현재의 이미지 캡쳐 시간에서의 상대적 위치(즉, 새로운 절대적 위치에 대응함)가 계산된다. 프로세스(62)에서, 현재의 이미지 캡쳐 시간 t k 및 이전의 이미지 캡쳐 시간 t k -1 에 대하여 프로세스(60)에서 계산된 것 사이의 상대적 위치의 차이가 (x 및 y 방향 양자 모두에서) 결정되며:
Figure pct00010
여기서 변환 승수 T x (t k -1 ), T y (t k -1 )은 이전의 이미지 캡쳐 시간 t k - 1 으로부터 결정된 변환 승수이다. 프로세스(64)에서, 현재 및 이전의 이미지 캡쳐 시간 t k , t k-1 에 대하여 프로세스(44)에서 결정된 절대적 위치의 변화가, 다시 x 및 y 방향 양자 모두에서 계산된다. 프로세스(62, 64)의 결과는 그 후 현재의 이미지 캡쳐 시간에 대한 새로운 변환 승수 T x (t k ), T y (t k )의 도출에 적용되며:
Figure pct00011
여기서, x v (t k ), y v (t k )는 각각 현재의 이미지 캡쳐 시간 t k 에서의 x 및 y 방향의 절대적 위치이다. 이미지 캡쳐 시간 t k -1 에서의 이전의 상대적 위치 x r (t k -1 ) 및 y r (t k-1 )은 보정된 상대적 위치에 대응할 수 있거나, 또는 그 대신에 보정되지 않은 상대적 위치일 수 있다.
이러한 접근법에 따르면, 관성 센서(36)에 의한 측정치로부터 계산된 모션의 거리가 동일한 시간 포인트에서 절대적 위치에 의해 표시된 것보다 더 큰 경우, 변환 승수 T x , T y 은 프로세스(66)에서 감소할 것이다. 반면, 절대적 위치에 의해 표시된 모션이 감지 및 계산된 상대적 위치보다 더 큰 경우, 변환 승수 T x , T y 은 프로세스(66)에서 상승할 것이다.
변환 승수의 이러한 변화는, 프로세스(68)에서, 현재의 이미지 캡쳐 시간에 대하여 계산된 상대적 위치에 적용될 것이다. 변환 승수 T x , T y 이 프로세스(66)의 가장 최근의 경우에서 변화되는 정도까지, 프로세스(60)에서 계산된 상대적 위치가 프로세스(68)에서 조정될 것이다. 이러한 보정된 상대적 위치 결과는 그 후 전술한 바와 같이 오류 값(EV)의 결정을 위해 프로세스(54)에 포워딩될 것이다(도 5).
변환 승수 T x , T y 의 변화는, 스텝 보정으로서 적용되는 경우, 디스플레이(20)에서의 가시적 결과가 뚜렷하며 당황케 할 정도로, 충분히 클 수 있다. 이러한 동적 교정 접근법의 대안의 구현예에 따르면, 프로세스(66)에서 변환 승수 T x , T y 의 계산에 가중 인자들 w Tx , w Ty 이 포함될 수 있다:
Figure pct00012
가중 인자 w Tx , w Ty 은 절대적 위치결정의 낮은 신뢰도(confidence)(변환 승수의 변화가 이루어지지 않을 것임)를 표시하는 낮은 레벨인 0에서부터, 절대적 위치결정의 높은 신뢰도(변환 승수의 최대 변화가 적용될 것임)를 표시하는 높은 레벨인 1까지 달라질 수 있다. 2차원에서의 가중 인자 w Tx , w Ty 은 원하는 경우 서로 상이할 수 있다.
전술한 바와 같이, 새로운 변환 승수 T x , T y 은 그 후, 그러한 변환 승수의 다음 업데이트까지, 예를 들어 (프로세스(44)로부터) 다음의 절대적 위치 값을 수신할 때까지, 현재의 이미지 캡쳐 시간 t k 에서의 상대적 위치 및 상대적 위치결정 서브시스템(38)에 의해 생성된 상대적 위치 값에 적용된다.
전술한 프로세스에 대한 다른 대안 및 변형이 또한 본 발명과 관련하여 고려된다. 그러한 변형 중 하나는 시각 센서(35)로부터 결정된 절대적 위치의 분석을 포함한다. 본 발명과 관련하여, 절대적 위치 결과에서의 오류는 다수의 인자로 인해 발생할 수 있다는 점이 관찰되었다. 절대적 위치결정에 중대한 오류가 존재하는 경우에, 그러한 잘못된 절대적 위치 결과에 맞도록 상대적 위치가 "보정"된다면 오류는 악화될 것이다. 예를 들어, 60 픽셀 위로 그리고 20 픽셀 오른쪽으로의 거리만큼 포인팅 디바이스(10)가 이동했다고 절대적 위치의 변화가 표시하는 반면, 그 시간 간격 동안 상대적 위치의 변화가 12 픽셀 위로 그리고 3 픽셀 왼쪽으로의 이동을 표시하는 경우, 두 개의 검출 모드 사이의 이러한 상당한 오류로부터 도출되는 보상 인자는, 특히 "화이트 보드" 애플리케이션에서, 결과로 초래된 디스플레이 결과에 상당한 오류를 야기할 수 있다. 프로세스(66)에서의 그리고 새로운 위치의 계산에 적용되는 변환 승수의 생성에서의 잘못된 보정으로부터 유사한 오류가 발생할 수 있다.
전술한 프로세스에 대한 변형에 따르면, 프로세스(44)에서 생성된 절대적 위치 값에서의 상당한 오류는 오류 값(EV)을 임계 값과 대조함으로써 검출된다. 임계 값은 고정(static) 값, 예를 들어, 이전의 오류 값(EV)의 ±30%보다 더 많은 변화일 수 있다. 대안으로, 임계 값은, 예를 들어 다수의 가장 최근의 샘플에 걸친 오류 값(EV)의 통계에 기초하여, 동작 동안에 동적으로 조정될 수 있다. 오류 값(EV)이 임계 값을 초과하는 경우에, 오류 값(EV)의 그러한 상당한 변경을 발생시키는 절대적 위치는 폐기될 수 있고, 그 오류 값은 프로세스(56)에서의 보상 인자의 설정 및 업데이트 또는 프로세스(66)에서의 새로운 변환 승수의 계산에 이용되지 않는다. 이러한 임계 프로세스에 대한 변형은, 잘못된 절대적 위치가 예상 밖의 큰 오류 값(EV)을 야기했다고 가정하기 이전에, 가장 최근의 상대적 위치가 이전의 위치와 부합하지 않는 것으로 나타나는지의 여부를 결정하기 위해 상대적 위치 값들의 상태를 분석하는 것일 것이다. 이러한 임계 접근법에 대한 다른 변형은 본 명세서를 참조하는 당업자에게 명백할 것이다.
전술한 그리고 도 3c의 예시에 도시된 바와 같이, 본 발명의 실시예들은, 실시간으로, 상대적으로 높은 샘플 레이트로 생성되는 상대적 위치 값을 보상하며, 그에 따라 대화형 디스플레이 시스템에서 원격 포인팅 디바이스에 의해 포인팅된 위치의 이동을 추적하는 능력을 제공한다. 그러나, 본 발명의 실시예들은 그러한 대화형 시스템에서의 위치결정에 관한 다른 유형의 보정을 하는 데에 이용될 수 있다.
이와 관련된 하나의 변형은 추정 경로에 뒤따르는 디스플레이의 포인팅된 위치를 따라 "가상의" 상대적 위치 포인트를 삽입하는 능력을 제공한다. 상대적 위치결정 샘플 레이트가 (샘플 레이트에 속박될 수 있는) 절대적 위치결정 레이트보다 상당히 더 높기는 하지만, 명백한 위치결정 레이트를 보다 더 개선하는 것("스무딩(smoothing)")이 몇몇 상황에서 유용할 수 있다. 이러한 상황의 예시는 모션 속도(예를 들어, 포인팅 디바이스(10)를 사용하는 사용자의 "필기" 속도)가 높을 때 발생할 수 있기 때문에, 상대적 위치 간의 시간 및 거리가 길며, 이는 경로에 관한 고르지 못한(choppy) 구간적인(piece-wise) 선형 표현을 야기한다. 본 발명의 일 실시예에 따르면, "가상의" 상대적 위치는 프로세스(52)(도 5)에서 상대적 위치가 계산되는 것(도 5)과 매우 동일한 방식으로 실제의 상대적 위치 값 사이에서 보간될 수 있다. 전술한 바와 같이, 실제의 상대적 위치 사이의 이러한 "가상의" 샘플 시간 중 하나 이상에서의 상대적 위치는 선형 시간적 보간에 의해, 또는 대안으로 상대적 모션 샘플 시간 중 어느 하나(또는 둘의 평균)에서의 감지된 속도 벡터에 기초하여 도출될 수 있다.
마찬가지로, 본 발명의 다른 실시예에 따르면, 예측된 "가상의" 상대적 위치는 현재의 포인팅된 위치보다 앞에 있는(즉, 가장 최근의 상대적 위치보다 앞에 있는) 포인트에 대해 예측된다. 본 발명의 이러한 실시예에서, 가장 최근의 상대적 위치 샘플 포인트에서의 속도 벡터, 또는 속도 벡터의 크기 또는 방향의 최근 변화는, 모션 센서(36) 및 상대적 위치결정 서브시스템(38)이 그 상대적 위치 값을 생성하도록 작동하는 시간 이전에 가상의 상대적 위치를 추정하는 데에 이용될 수 있다. 가상의 상대적 위치는 그 시간에 또는 그 이후에 정확하게 보정된 상대적 위치가 결정되면 대체 또는 조정될 수 있다. 그러나, 예측된 위치가 포인팅 디바이스(10)의 이동과 도시 선의 렌더링 사이의 인지되는 시차를 제거할 수 있기 때문에, 예측의 상대적 위치결정은 "화이트 보드" 상황에서 포인팅 디바이스(10)로 "필기"를 하는 것의 자연스러운 느낌을 개선하는 효과를 가질 수 있다.
본 발명의 다른 실시예에 따르면, 본 발명의 실시예들에 따라 도출된 보상 인자는 포인팅 디바이스(10)의 이전의 상대적 위치를 백-보정하는 데에 또한 이용될 수 있다고 고려된다. 이러한 백-보정은, 메모리에 주어진 수의 상대적 위치를, 예를 들어, 마지막 절대적 위치 이미지 캡쳐 시간 이후의 모든 샘플 시간에서의 위치를 저장하고, 그 후 프로세스(56)의 가장 최근의 예시에서 결정된 새로운 보상 인자에 기초하여 그 저장된 상대적 위치를 보정하는 것에 의해 포함될 수 있다. 그러한 상대적 위치에 기초하여 선 또는 경로가 디스플레이(20) 상에 도시된 경우, 이전의 상대적 위치의 보정은, 원하는 경우, 그 경로의 재도시(redrawing)에 또한 이용될 수 있다. 또한, 그러한 보정은, 보정에 대한 주목을 일으킬 수 있는 급격한 또는 갑작스러운 방식보다는 오히려, 감지하기 힘들게 행해지는 것이 유용하다. 보상 인자는 "전부" 적용되거나(즉, 동일한 보상 인자가 모든 이전의 위치를 보정하는 데에 이용됨), 또는 적용된 보상 인자가, 위치가 정확하다고 여겨지는 참조 위치로부터 거리(또는 시간 간격)가 떨어진 채로 0에서부터 증가하는, 누적(graduated) 방식으로 적용될 수 있다.
도 4와 관련하여 전술한 바와 같이, 절대적 위치결정 서브시스템(37)과 상대적 위치결정 서브시스템(38) 간에 신호가 교환될 수 있으며, 이에 의해 그러한 시스템 각각으로부터의 정보는 다른 하나에 의해 수행되는 위치결정 업무를 보조할 수 있다. 본 발명의 일부 실시예들에 따르면, 절대적 위치결정 서브시스템(37)은 디스플레이(20)의 일부 또는 전부로부터 캡쳐된 이미지를 분석함으로써 작동하여, 그 안에 위치한 위치결정 타겟 패턴을 식별하는데, 가시적 요소가 이러한 캡쳐된 이미지 데이터로부터 또한 식별될 수 있다. 전술한 바와 같이, 이러한 이미지 캡쳐 시간은, 예를 들어 디스플레이(20)의 프레임 레이트에 따른 레이트로, 동작 전체에 걸쳐서 주기적으로 계속된다. 본 발명의 이러한 실시예에서, 절대적 위치결정 서브시스템(37)은 캡쳐된 이미지 데이터 내의 요소를 인식하고, 하나의 이미지 캡쳐 시간으로부터의 그러한 요소를 그 다음의 것과 비교할 수 있다. 이러한 요소에 대응하는 데이터는 상대적 위치결정 프로세스를 보조하는 데에 이용될 수 있다.
도 8을 참조하면, 포인팅 디바이스(10)는, 휴먼-가시적 또는 휴먼-비가시적인, 디스플레이 요소(70)인, 관측(viewing) 디스플레이(20)이다. 이미지 캡쳐 시간 사이의 시간 동안에 포인팅 디바이스(10)가 디스플레이(20)를 향하여 또는 그로부터 멀리(즉, 디스플레이(20)의 평면에 대해 수직인 z 축을 따라) 이동하는 경우, 캡쳐된 이미지 데이터의 요소(70)는 크기의 변화를 나타낼 것이고, 이는 절대적 위치결정 서브시스템(37)에 의해 검출될 수 있다. 본 발명의 일 실시예에 따르면, 절대적 위치결정 서브시스템(37)은 신호 SIZE, SHAPE을 상대적 위치결정 서브시스템(38)에 직접적으로 전달한다. 신호 SIZE 및 SHAPE는 각각 상대적 시간 간격 동안의 위치결정 타겟 또는 다른 표시된 요소의 크기 및 형태의 변화를 나타낸다. 이러한 크기 및 형태의 변화의 표시는 각각, 서브시스템(38)에 의해 수행되는 상대적 모션 위치결정에서의 포인팅 디바이스(10)의 거리 및 각도의 결정을 보조할 수 있다. 이러한 보조는 감지된 상대적 모션의 확인, 또는 대안으로 상대적 위치결정 서브시스템(38)에 의해 수행될 필요한 분석을 제한함으로써 상대적 위치결정 연산을 가속시키는 것과 유사할 수 있다.
반면, 상대적 위치결정 서브시스템(38)에 의해 감지 및 분석된 모션은 절대적 위치결정 서브시스템(37)에 의해 수행되는 연산에 유용할 수 있다. 도 4에 도시된 바와 같이, 상대적 위치결정 서브시스템(38)은 신호 R_P_Y 및 X_Y_Z을 절대적 위치결정 서브시스템(37)에 전달한다. 신호 R_P_Y은 포인팅 디바이스(10)의 롤(roll), 피치(pitch), 및 요(yaw) 이동을 나타내며, 이는 상대적 위치결정 서브시스템(38)에 의해 분석됨에 따라 관성 센서(36)에 의해 직접적으로 검출 가능하다. 도 8의 상황에서, 롤은 z 축, 즉, 디스플레이(20)에 대해 수직인 축에 대한 포인팅 디바이스(10)의 회전을 의미한다. z 축은 도 8에 도시된 방식으로 디스플레이(20)에 직접적으로 포인팅될 때의 포인팅 디바이스(10)의 세로 축이다. 피치는, 본 예시에서 디스플레이(20)의 평면에 평행한 수평 축인, x 축에 대한 포인팅 디바이스(10)의 회전을 의미한다. 마찬가지로, 요는, 본 예시에서 디스플레이(20)의 평면에 평행한 수직 축인, y 축에 대한 포인팅 디바이스(10)의 회전을 의미한다. 일반적으로, 포인팅 디바이스(10)는 롤, 피치, 및 요 각각이 0이 아닌 자세(attitude)로 있을 것이다. 한편, 신호 X_Y_Z는 각각, x, y 및 z 축을 따르는 선형 모션을 나타낸다. 포인팅 디바이스(10)의 자세는 그것이 포인팅하고 있는 디스플레이(20)의 위치를 나타내므로, 롤, 피치, 및 요의 변화와, 세 개의 축 각각을 따르는 선형 모션은 절대적 위치결정 연산에 유용할 수 있다. 본 발명의 이러한 실시예에 따르면, 신호 R_P_Y 및 X_Y_Z는, 그것의 연산을 보조하기 위해, 상대적 위치결정 서브시스템(38)으로부터 절대적 위치결정 서브시스템(37)에 직접적으로 전달된다.
롤, 피치, 및 요 각도에 대한 지식으로, 포인팅 디바이스(10)의 카메라가 0의 요, 피치, 및 롤을 가지면서 이미지를 보고 있는 것처럼 보일 때까지 절대적 위치결정 서브시스템(37)이 캡쳐된 이미지를 보정할 수 있다. 이러한 보정은, 캡쳐된 이미지 내의 위치결정 타겟이 서로 더 가깝게 매칭될 것이기 때문에, 타겟 검출 프로세스를 단순화할 것이다. 예를 들어, 롤 각도가 시계 방향으로 30도인 경우, 제2 캡쳐 이미지는 제1 캡쳐 이미지에 관하여 시계 반대 방향으로 30도에서 이미지 센서(14) 상에 나타날 것이다. 이러한 경우에 타겟 검출을 단순화하기 위해서, 절대적 위치결정 서브시스템(37)은 우선 제2 프레임에 대해 캡쳐된 이미지를 시계 방향으로 30도 회전시킴으로써, 이미지 내의 요소들이 제1 캡쳐 이미지에 관하여 0의 상대적 롤이 되도록 할 것이고, 그 후 상대적 롤이 없는 매칭 이미지만을 찾을 것이다. 관성 센서(17)에 의해 검출되는 선형 모션은, 절대적 위치결정 서브시스템(37)이 이전의 프레임으로부터 식별된 제2 캡쳐 이미지에서의 객체를 찾을 수 있는 방향을 제공함으로써 절대적 위치결정 프로세스를 또한 도울 수 있다.
전술한 바와 같이, 포인팅 디바이스(10)의 상대적 모션은 시각적 상대적 모션 감지를 이용해 검출될 수 있다. 이러한 접근법에 있어서, 캡쳐된 이미지 데이터는 표시된 이미지의 요소의 이동을 결정하기 위해 분석되며, 이로부터 상대적 위치결정 서브시스템(38)은 이전의 위치에 관하여 포인팅된 위치의 새로운 위치를 추론할 수 있다. 예를 들어, 도 8의 포인팅 디바이스(10)가 그것이 포인팅한 위치를 디스플레이(20)의 왼쪽 상단 코너를 향해 이동시키는 경우, 요소(70)는 이전의 캡쳐된 이미지에 관하여, 캡쳐된 이미지 데이터에서 아래 및 오른쪽으로 이동하는 것으로 나타날 것이다. 새로운 포인팅된 위치는 이러한 검출된 상대적 모션으로부터, 예를 들어 객체 등록과 같은 알려진 알고리즘에 의해, 결정될 수 있다.
이러한 시각적 상대적 모션 감지는 이러한 상대적 모션을 추론하는 데에 이용될 수 있는 디스플레이(20)에 표시된 이미지의 "텍스쳐"를 필요로 한다. 이러한 가시적 텍스쳐는 물론, 텍스트, 그래픽, 디스플레이(20)의 물리적 특성, 디스플레이(20) 외부의 객체 등과 같은, 휴먼-가시적 콘텐츠로 구성될 수 있다. 그러나, 전술한 바와 같이, 본 발명의 실시예들에 따른 대화형 디스플레이 시스템은, 다른 경우라면 비어있는 디스플레이(20) 상에 사용자가 쓰거나 그릴 수 있는, "화이트 보드" 애플리케이션에서의 사용을 위한 것이기도 하다. 비어있는 디스플레이 스크린 상에는 가시적인 "상황"이 존재하지 않을 수 있지만, 포인팅 디바이스(10)가 조준하는 디스플레이(20)의 위치의 정확한 위치결정은 여전히 필요하다.
전술한 미국 등록 특허 제8,217,997호에 기술된 위치결정 접근법은, 연속적인 디스플레이 프레임의 타겟 패턴의 상보적 변조의 형태로 휴먼-비가시적 위치결정 타겟을 이용해, "화이트 보드" 애플리케이션에서의 포인팅된 위치의 정확한 위치결정을 가능하게 한다. 도 9a 및 도 9b는 이러한 위치결정 접근법에 따른 표시된 데이터의 연속적인 프레임을 나타낸다. 예를 들어, 도 9a에 도시된 타겟 패턴(75a)은 제1 프레임에서 디스플레이(20)의 주어진 위치에서의 배경 패턴의 더 어두운 변조의 형태에 속한다. 도 9b에 도시된 타겟 패턴(75b)은, 배경 패턴의 더 밝은 변조의 형태에 속하는, 다음의 연속적인 프레임에서의 동일한 위치결정 타겟을 나타낸다. 전술한 미국 등록 특허 제8,217,997호의 절대적 위치결정 방법에 따르면, 이러한 두 개의 프레임으로부터의 이미지 프레임 데이터의 공제는 배경 이미지 데이터를 상쇄할 것이지만, 타겟 패턴(75a, 75b) 양자 모두에 있는 디스플레이(20)의 그 픽셀을 강조함으로써, 차등 변조를 강화할 것이다.
그러나, 도 9a, 도 9b의 비교로부터 명백한 바와 같이, 두 개의 이미지 캡쳐 시간 사이의 시간 간격 동안 (본 예시에서, 왼쪽 상단 코너를 향하는) 포인팅 디바이스(10)의 이동으로 인해, 타겟 패턴(75b)은 타겟 패턴(75a)과 비교하여 상이한 위치에(더 낮으며 오른쪽에) 있다. 타겟 패턴(75a)에 관한 타겟 패턴(75b)의 상대적 모션의 정확한 검출은 추후에 포인팅 디바이스(10)의 상대적 위치를 제공할 것이다. 종래의 시각적 상대적 모션 알고리즘은, 일반적으로 표시된 요소의 코너 및 다른 피쳐를 찾는 것에 의해, 가시적 이미지 데이터 피쳐의 이동에 관한 그러한 분석을 빠르게 수행할 수 있다. 그러나 도 9a 및 도 9b의 상황에서, 위치결정 타겟(75a, 75b)의 상보적 변조는 종래의 시각적 상대적 위치결정 알고리즘에 의해 동일한 요소로서 인식되지 않을 것이다. 그와 같이, 상대적 위치결정 서브시스템(38)은 도 9a 및 도 9b의 캡쳐된 이미지로부터 상대적 모션을 검출하지 않을 것이다.
본 발명의 이러한 실시예에 따르면, 시각적 상대적 위치결정은 캡쳐된 이미지 데이터 프레임을 스킵함으로써 수행된다. 도 9c는 도 9b의 프레임을 뒤따르는 다음의 연속적인 프레임인 제3 프레임에 대한 디스플레이(20)를 나타낸다. 전술한 미국 등록 특허 제8,217,997호의 접근법에 따르면, 도 9c로부터 명백한 바와 같이, 타겟 패턴(75c)은 또한 디스플레이(20)의 배경 패턴의 더 어두운 변조일 것이다. 도 9a 및 도 9c의 대안의(제1 및 제3) 프레임에 대한 종래의 시각적 상대적 위치결정 알고리즘의 적용은, 캡쳐된 이미지 양자 모두에 나타나는 동일한 피쳐(타겟 패턴(75a, 75c))로 인해, 상대적 모션의 검출을 야기할 것이다. 그러한 알고리즘을 실행하는 상대적 위치결정 서브시스템(38)은 그러한 대안의 프레임 사이의 포인팅 디바이스(10)의 왼쪽 상부로의 이동을 쉽게 검출할 것이다.
그러나, 본 발명의 이러한 실시예에 따른 상대적 위치결정 접근법의 결과로서, 상대적 모션 연산의 빈도는 절반만큼 (프레임 레이트의 절반의 레이트로) 감소할 것이다. 그러한 상대적 위치결정 레이트를 개선하기 위해, 시각적 상대적 위치결정 알고리즘이 상대적 위치결정 서브시스템(38)에 의해 제2 프레임(즉, 도 9b의 프레임)에, 그리고 그 후 도 9c의 제3 프레임 바로 이후의 제4 프레임에 적용될 수 있다. 이러한 두 개의 프레임은 양자 모두 위치결정 타겟의 위치에 배경의 더 밝은 변조를 포함할 것이고, 상대적 모션 알고리즘에 의해 동일한 패턴으로서 인식될 것이다. 따라서, 상대적 모션의 다른 추정은 도 9c의 제3 프레임을 바로 뒤따르는 다음 프레임(즉, 제4 프레임)에서 결정될 수 있다. 따라서, 상대적 위치결정은 디스플레이(20)의 프레임 레이트로 동작할 수 있다.
또한, 본 발명의 이러한 실시예에 따르면, 상대적 모션은 시각적인 상대적 위치결정에 이용되는 두 개의 프레임(예를 들어, 도 9a 및 도 9c의 프레임) 사이의 스킵된 프레임에 대해 추정될 수 있다. 이러한 추정은 두 개의 분석된 프레임 간에 동작의 속도 및 방향이 일정하다는 가정에 기초할 수 있다. 예를 들어, 제1 및 제3 프레임 사이의 포인팅 디바이스(10)의 이동의 속도 및 방향이 일정하다고 가정할 경우, 제2 및 제3 프레임 사이의 상대적 이동 Δx2-3, Δy2 -3은 제1 및 제3 프레임 사이의 이동 Δx1-3, Δy1 -3의 절반으로서 추정될 수 있다.
Figure pct00013
마찬가지로, 제2 및 제4 프레임 사이의 이동의 속도 및 방향이 일정하다고 가정할 경우, 제3 및 제4 프레임 사이의 상대적 이동은 제2 및 제4 프레임 사이의 이동의 절반으로서 추정될 수 있다.
대안의 프레임에서의 위치결정 타겟의 시각적 검출에 기초한 상대적 위치의 계산에 대한 다른 접근법이 또한 고려된다. 예를 들어, 속도 벡터가 제2 프레임의 시간에 계산되는 경우, 제3의, 중간 프레임의 시간에서의 상대적 모션은 제2 프레임 동안의 이미지 캡쳐 시간과 제3 프레임 동안의 이미지 캡쳐 시간 사이의 시간 간격 동안 그 속도 벡터를 적용함으로써 추정될 수 있다. 반면에, 제3 프레임의 시간에서의 상대적 모션은 제4 프레임 동안 이미지 캡쳐 시간에 대해 계산된 속도 벡터를 적용하는 것과, 제3 프레임 동안 이미지 캡쳐 시간에 대해 시간 보간 백(back)하는 것에 의해 추정될 수 있다. 또한 대안으로, 제2 및 제4 프레임에 대한 두 개의 속도 벡터의 평균은 제3의, 중간 프레임의 시간에 상대적 위치를 보간하는 데에 이용될 수 있다. 이러한 상대적 위치를 추정하기 위한 다른 변형이 또한 고려된다. 임의의 경우에, 이러한 추정으로, 그러한 추정이 두 개의 대안의 프레임 사이의 모션에 기초한다 할지라도, 시각적 상대적 모션 서브시스템이 매 프레임마다 위치결정 정보를 제공할 수 있다.
따라서, 본 발명의 실시예들에 따르면, 원격 포인팅 디바이스가 조준하는 그래픽 디스플레이의 위치의 정확하면서도 빠른 위치결정이 이루어진다. 이러한 우수한 위치결정은 포인팅 디바이스와 디스플레이 사이의 거리의 범위에 걸쳐서, 그리고, 전자 "화이트 보드"의 "낮은 텍스쳐" 애플리케이션을 포함하는, 넓은 범위의 애플리케이션에서의 사용에 적합한 방식으로 수행될 수 있다. 본 발명의 실시예들은 또한, 이러한 "화이트 보드" 애플리케이션에서 특히 유용함에 따라, 위치결정 결과에 관한 예측의 그리고 또한 백-보정의(back-corrective) 보정을 가능하게 한다.
본 발명이 그것의 실시예들에 따라 기술되었지만, 이러한 실시예들에 대한 변경 및 대안들이 물론 고려되며, 본 발명의 혜택 및 이점을 획득하는 그러한 변경 및 대안들은, 본 명세서 및 도면을 참조하는 당업자에게 명백할 것이다. 그러한 변경 및 대안들은 본원에서 후속하여 청구되는 바에 따른 본 발명의 범위 내에 있다.

Claims (54)

  1. 핸드헬드 휴먼 인터페이스 디바이스를 포함하는 컴퓨터 시스템을 작동하는 방법에 있어서,
    디스플레이 상에 이미지 프레임 데이터를 표시하는 단계;
    핸드헬드 휴먼 인터페이스 디바이스에서, 상기 디스플레이의 적어도 일부분을 나타내는 이미지 데이터를 캡쳐하는 단계;
    상기 디바이스가 이미지 캡쳐 시간에 포인팅하고 있는 상기 디스플레이의 절대적 위치를 결정하는 단계;
    상기 디바이스의 하나 이상의 모션 센서로부터 획득된 측정치에 기초하여, 상기 핸드헬드 디바이스의 모션을 평가하는 단계;
    복수의 샘플 시간 각각에 대하여, 이전의 샘플 시간에 관한 상기 디바이스의 평가된 모션에 기초하여, 상기 디바이스가 포인팅하고 있는 상기 디스플레이의 상대적 위치를 결정하는 단계;
    상기 이미지 캡쳐 시간에서의 상기 절대적 위치와, 제1 및 제2 샘플 시간에서의 상대적 위치로부터 계산된 상기 이미지 캡쳐 시간에서의 계산된 상대적 위치 사이의 오류 값을 결정하는 단계; 및
    그 후 상기 오류 값에 대응하는 보상 값에 의해 하나 이상의 상대적 위치를 조정하는 단계를 포함하는, 컴퓨터 시스템 작동 방법.
  2. 제1항에 있어서,
    상기 이미지 캡쳐 시간은 상기 제1 및 제2 샘플 시간 사이에서 발생하는 것이고;
    상기 오류 값은 제1 및 제2 직교 방향 각각의 오류 값 성분을 포함하는 것이며;
    상기 오류 값을 결정하는 단계는,
    상기 제2 샘플 시간과 상기 이미지 캡쳐 시간 사이의 차이를 곱한 상기 제1 샘플 시간에서의 상기 제1 방향의 상대적 위치에, 상기 이미지 캡쳐 시간과 상기 제1 샘플 시간 사이의 차이를 곱한 상기 제2 샘플 시간에서의 상기 제1 방향의 상대적 위치를 더한 값의, 상기 제1 및 제2 샘플 시간 사이의 차이에 대한 비율로서 상기 제1 방향의 상기 이미지 캡쳐 시간에서의 상대적 위치를 계산하는 단계;
    상기 제2 샘플 시간과 상기 이미지 캡쳐 시간 사이의 차이를 곱한 상기 제1 샘플 시간에서의 상기 제2 방향의 상대적 위치에, 상기 이미지 캡쳐 시간과 상기 제1 샘플 시간 사이의 차이를 곱한 상기 제2 방향의 상기 제2 샘플 시간에서의 상대적 위치를 더한 값의, 상기 제1 및 제2 샘플 시간 사이의 차이에 대한 비율로서 상기 제2 방향의 상기 이미지 캡쳐 시간에서의 상대적 위치를 계산하는 단계;
    상기 제1 방향의 계산된 상대적 위치와 상기 이미지 캡쳐 시간에서의 상기 제1 방향의 절대적 위치 사이의 차이로서 상기 제1 방향의 오류 값을 결정하는 단계; 및
    상기 제2 방향의 계산된 상대적 위치와 상기 이미지 캡쳐 시간에서의 상기 제2 방향의 절대적 위치 사이의 차이로서 상기 제2 방향의 오류 값을 결정하는 단계를 포함하는 것인, 컴퓨터 시스템 작동 방법.
  3. 제1항에 있어서,
    상기 이미지 캡쳐 시간은 상기 제1 샘플 시간 이후 및 상기 제2 샘플 시간 이전에 발생하는 것이고;
    상기 오류 값은 제1 및 제2 직교 방향 각각의 오류 값 성분을 포함하는 것이며;
    상기 오류 값을 결정하는 단계는,
    상기 디바이스의 상대적 모션 센서로부터 획득된 측정치에 기초하여, 상기 제1 샘플 시간에서 상기 제1 및 제2 방향의 속도를 계산하는 단계;
    상기 제1 샘플 시간에서의 상기 제1 방향의 상대적 위치에, 상기 이미지 캡쳐 시간과 상기 제1 샘플 시간 사이의 차이를 곱한 상기 제1 샘플 시간에서의 상기 제1 방향의 속도를 더한 값으로서 상기 이미지 캡쳐 시간에서의 상기 제1 방향의 상대적 위치를 계산하는 단계;
    상기 제1 샘플 시간에서의 상기 제2 방향의 상대적 위치에, 상기 이미지 캡쳐 시간과 상기 제1 샘플 시간 사이의 차이를 곱한 상기 제1 샘플 시간에서의 상기 제2 방향의 속도를 더한 값으로서 상기 이미지 캡쳐 시간에서의 상기 제2 방향의 상대적 위치를 계산하는 단계;
    상기 제1 방향의 계산된 상대적 위치와 상기 이미지 캡쳐 시간에서의 상기 제1 방향의 절대적 위치 사이의 차이로서 상기 제1 방향의 오류 값을 결정하는 단계; 및
    상기 제2 방향의 계산된 상대적 위치와 상기 이미지 캡쳐 시간에서의 상기 제2 방향의 절대적 위치 사이의 차이로서 상기 제2 방향의 오류 값을 결정하는 단계를 포함하는 것인, 컴퓨터 시스템 작동 방법.
  4. 제1항에 있어서,
    상기 이미지 캡쳐 시간은 상기 제1 샘플 시간 이후 및 상기 제2 샘플 시간 이전에 발생하는 것이고;
    상기 오류 값은 제1 및 제2 직교 방향 각각의 오류 값 성분을 포함하는 것이며;
    상기 오류 값을 결정하는 단계는,
    상기 디바이스의 상대적 모션 센서로부터 획득된 측정치에 기초하여, 상기 제2 샘플 시간에서 상기 제1 및 제2 방향의 속도를 계산하는 단계;
    상기 제2 샘플 시간에서의 상기 제1 방향의 상대적 위치에서, 상기 제2 샘플 시간과 상기 이미지 캡쳐 시간 사이의 차이를 곱한 상기 제2 샘플 시간에서의 상기 제1 방향의 속도를 뺀 값으로서 상기 이미지 캡쳐 시간에서의 상기 제1 방향의 상대적 위치를 계산하는 단계;
    상기 제2 샘플 시간에서의 상기 제2 방향의 상대적 위치에서, 상기 제2 샘플 시간과 상기 이미지 캡쳐 시간 사이의 차이를 곱한 상기 제2 샘플 시간에서의 상기 제2 방향의 속도를 뺀 값으로서 상기 이미지 캡쳐 시간에서의 상기 제2 방향의 상대적 위치를 계산하는 단계;
    상기 제1 방향의 계산된 상대적 위치와 상기 이미지 캡쳐 시간에서의 상기 제1 방향의 절대적 위치 사이의 차이로서 상기 제1 방향의 오류 값을 결정하는 단계; 및
    상기 제2 방향의 계산된 상대적 위치와 상기 이미지 캡쳐 시간에서의 상기 제2 방향의 절대적 위치 사이의 차이로서 상기 제2 방향의 오류 값을 결정하는 단계를 포함하는 것인, 컴퓨터 시스템 작동 방법.
  5. 제1항에 있어서,
    상기 하나 이상의 상대적 위치를 조정하는 단계는,
    가중 인자와 상기 오류 값의 곱으로부터 상기 보상 값을 결정하는 단계; 및
    상기 하나 이상의 상대적 위치 각각에 상기 보상 값을 더하는 단계를 포함하는 것인, 컴퓨터 시스템 작동 방법.
  6. 제5항에 있어서,
    상기 보상 값을 결정하는 단계는,
    제1 방향에 대한 제1 가중 인자와 상기 제1 방향의 오류 값의 성분을 곱하는 것에 의해, 상기 제1 방향에 대한 제1 보상 값을 생성하는 단계; 및
    제2 방향에 대한 제2 가중 인자와 상기 제2 방향의 오류 값의 성분을 곱하는 것에 의해, 상기 제1 방향과 직교하는 상기 제2 방향에 대한 제2 보상 값을 생성하는 단계를 포함하고, 상기 제2 가중 인자는 상기 제1 가중 인자와는 상이한 것이고;
    상기 더하는 단계는,
    상기 제1 방향의 선택된 시간 포인트에서의 상대적 위치의 성분에 상기 제1 보상 값을 더하는 단계; 및
    상기 제2 방향의 선택된 시간 포인트에서의 상대적 위치의 성분에 상기 제2 보상 값을 더하는 단계를 포함하는 것인, 컴퓨터 시스템 작동 방법.
  7. 제5항에 있어서,
    상기 보상 값을 결정하는 단계는,
    상기 캡쳐하는 단계에서 캡쳐된 상기 디스플레이의 일부분 내의 위치결정 타겟 패턴을 복구하는 것에 의해 상기 절대적 위치를 결정하는 단계를 포함하는 것이고;
    상기 디스플레이의 캡쳐된 일부분 내의 상기 위치결정 타겟 패턴의 위치에 응답하여 상기 가중 인자를 생성하는 단계를 더 포함하는, 컴퓨터 시스템 작동 방법.
  8. 제1항에 있어서,
    상기 캡쳐하는 단계는,
    프레임들의 시퀀스에 걸쳐서, 위치결정 타겟을 포함하는 상기 디스플레이의 적어도 일부분을 나타내는 이미지 데이터를 캡쳐하는 단계를 포함하고, 상기 위치결정 타겟 패턴은 상기 시퀀스의 연속적인 프레임의 하나 이상의 선택된 픽셀 위치에서의 상보적 강도 변화에 대응하는 것이고;
    상기 디스플레이의 절대적 위치를 결정하는 단계는,
    상기 디스플레이로부터 멀리 보이는 대로 상기 위치결정 타겟 패턴을 복구하기 위해 그 캡쳐된 이미지 데이터의 제1 및 제2 연속 프레임이 서로 공제(subtract)하도록 이미지 데이터를 프로세싱하는 단계;
    복구된 위치결정 타겟 패턴에 응답하여 상기 디스플레이의 제1 포인팅된 위치를 결정하는 단계;
    상기 제1 포인팅된 위치를 결정하는 단계가, 상기 제2 프레임으로부터 이미지 데이터를 캡쳐한 다음에 선택된 지연 시간 내에 완료되는 것에 응답하여, 상기 제1 포인팅된 위치를 상기 절대적 위치로서 선택하고, 상기 제2 프레임으로부터 이미지 데이터가 캡쳐된 시간을 상기 제1 샘플 시간으로서 선택하는 단계; 및
    상기 제1 포인팅된 위치를 결정하는 단계가, 상기 제2 프레임으로부터 이미지 데이터를 캡쳐한 다음에 상기 선택된 지연 시간 이후에 완료되는 것에 응답하여,
    그 후, 상기 디스플레이로부터 멀리 보이는 대로 상기 위치결정 타겟 패턴을 복구하기 위해 상기 캡쳐된 이미지 데이터의 제2 프레임 및 제3 연속 프레임이 서로 공제하도록 이미지 데이터를 프로세싱하는 단계;
    복구된 위치결정 타겟 패턴에 응답하여 상기 디스플레이의 제2 포인팅된 위치를 결정하는 단계; 및
    상기 제2 포인팅된 위치를 상기 절대적 위치로서 선택하고, 상기 제3 프레임으로부터 이미지 데이터가 캡쳐된 시간을 상기 제1 샘플 시간으로서 선택하는 단계를 포함하는 것인, 컴퓨터 시스템 작동 방법.
  9. 제1항에 있어서,
    상기 조정하는 단계는 복수의 보정된 위치를 도출하기 위해 복수의 상대적 위치에 대하여 반복되는 것이고;
    보정된 위치 중 연속적인 것들 사이의 시간 포인트에서 적어도 하나의 가상의 보정 위치를 보간하는 단계를 더 포함하는, 컴퓨터 시스템 작동 방법.
  10. 제1항에 있어서,
    상기 조정하는 단계는 복수의 보정된 위치를 도출하기 위해 복수의 상대적 위치에 대하여 반복되는 것이고;
    보정된 위치 중 가장 최근의 것보다 나중의 시간 포인트에서 적어도 하나의 가상의 보정 위치를 예측하는 단계를 더 포함하는, 컴퓨터 시스템 작동 방법.
  11. 제1항에 있어서,
    상기 제1 샘플 시간 이전의 시간에 상기 디바이스가 포인팅하고 있는 상기 디스플레이의 복수의 상대적 위치를 결정하는 단계; 및
    상기 오류 값을 결정하는 단계 이후에, 상기 오류 값에 대응하는 보상 값에 의해 상기 제1 샘플 시간 이전에 상기 복수의 상대적 위치 각각을 조정하는 단계를 더 포함하는, 컴퓨터 시스템 작동 방법.
  12. 제1항에 있어서,
    상기 상대적 위치를 결정하는 단계는,
    상대적 위치가 결정된 이전의 샘플 시간에 관하여, 샘플 시간에서의 상기 디바이스의 이동 거리를 검출하는 단계;
    상기 거리에 변환 승수(multiplier)를 곱하는 것에 의해, 검출된 거리를 상기 디스플레이의 다수의 픽셀로 변환하는 단계; 및
    상기 이전의 샘플 시간에서의 상기 상대적 위치에 상기 다수의 픽셀을 더하는 단계를 포함하는 것인, 컴퓨터 시스템 작동 방법.
  13. 제12항에 있어서,
    두 개의 샘플 시간 사이의 제1 방향의 상대적 위치의 변화에 대한 상기 두 개의 샘플 시간 사이의 상기 제1 방향의 절대적 위치의 변화의 제1 비율을, 상기 제1 방향의 픽셀 밀도에 곱하는 것에 의해, 상기 제1 방향에 대한 제1 변환 승수를 생성하는 단계; 및
    두 개의 샘플 시간 사이의 제2 방향의 상대적 위치의 변화에 대한 상기 두 개의 샘플 시간 사이의 상기 제2 방향의 절대적 위치의 변화의 제2 비율을, 상기 제2 방향의 픽셀 밀도에 곱하는 것에 의해, 상기 제1 방향과 직교하는 상기 제2 방향에 대한 제2 변환 승수를 생성하는 단계를 더 포함하고;
    상기 검출하는 단계는 상기 제1 및 제2 방향 각각으로의 이동 거리를 검출하는 것이며;
    상기 변환하는 단계는,
    상기 제1 방향의 거리에 상기 제1 변환 승수를 곱하는 단계; 및
    상기 제2 방향의 거리에 상기 제2 변환 승수를 곱하는 단계를 포함하는 것인, 컴퓨터 시스템 작동 방법.
  14. 제13항에 있어서,
    상기 제1 변환 승수를 생성하는 단계는,
    상기 제1 방향의 상기 픽셀 밀도와 상기 제1 비율의 곱에 제1 가중 인자를 곱하는 단계를 더 포함하는 것이고;
    상기 제2 변환 승수를 생성하는 단계는,
    상기 제2 방향의 상기 픽셀 밀도와 상기 제2 비율의 곱에 제2 가중 인자를 곱하는 단계를 더 포함하는 것인, 컴퓨터 시스템 작동 방법.
  15. 제1항에 있어서,
    허용 한도를 초과하는 상기 오류 값에 응답하여, 상기 오류 값을 결정하는 단계에서의 사용으로부터 상기 절대적 위치를 폐기(discard)하는 단계를 더 포함하는, 컴퓨터 시스템 작동 방법.
  16. 제1항에 있어서,
    나중의 샘플 시간에 대하여 오류 값을 결정하는 단계를 반복하는 단계를 더 포함하고, 상기 제1 및 제2 샘플 시간과 상기 나중의 샘플 시간 사이의 지속 시간은 상기 오류 값의 크기에 대응하는 것인, 컴퓨터 시스템 작동 방법.
  17. 제1항에 있어서,
    상기 캡쳐하는 단계는,
    제1 및 제2 프레임을 포함하는 프레임들의 시퀀스에 걸쳐서, 위치결정 타겟을 포함하는 상기 디스플레이의 적어도 일부분을 나타내는 이미지 데이터를 캡쳐하는 단계를 포함하는 것이고;
    상기 디스플레이의 상기 절대적 위치를 결정하는 단계는,
    상기 모션 센서로부터의 측정치에 기초하여, 상기 디바이스의 롤(roll), 피치(pitch), 요(yaw), 및 선형 모션 중 하나 이상을 결정하는 단계;
    상기 디바이스의 롤, 피치, 요, 및 선형 모션 중 하나 이상에 응답하여, 이전의 프레임에 관하여 상기 프레임들 중 하나로부터의 캡쳐된 이미지 데이터의 위치결정 타겟 패턴을 보정하는 단계;
    상기 디스플레이로부터 멀리 보이는 대로 상기 위치결정 타겟 패턴을 복구하기 위해 상기 캡쳐된 이미지 데이터의 제1 및 제2 연속 프레임으로부터의 캡쳐된 이미지 데이터를 프로세싱하는 단계; 및
    복구된 위치결정 타겟 패턴에 응답하여 상기 디스플레이의 상기 절대적 위치를 결정하는 단계를 포함하는 것인, 컴퓨터 시스템 작동 방법.
  18. 제1항에 있어서, 상기 하나 이상의 모션 센서는,
    세 개의 직교 방향의 상대적 모션을 감지하기 위한 복수의 관성 센서를 포함하고, 상기 관성 센서는 가속도계, 자이로스코프, 자기장 센서, 및 이들의 조합으로 구성된 그룹으로부터 선택된 것인, 컴퓨터 시스템 작동 방법.
  19. 제18항에 있어서, 상기 하나 이상의 모션 센서는,
    이미지 캡쳐 서브시스템을 더 포함하는 것인, 컴퓨터 시스템 작동 방법.
  20. 제1항에 있어서, 상기 하나 이상의 모션 센서는,
    이미지 캡쳐 서브시스템을 포함하는 것인, 컴퓨터 시스템 작동 방법
  21. 제1항에 있어서,
    상기 캡쳐하는 단계는,
    프레임들의 시퀀스에 걸쳐서, 위치결정 타겟을 포함하는 상기 디스플레이의 적어도 일부분을 나타내는 이미지 데이터를 캡쳐하는 단계를 포함하는 것이고;
    이미지 캡쳐 시간에 상기 디바이스가 포인팅하고 있는 상기 디스플레이의 절대적 위치를 결정하는 단계는,
    상기 시퀀스의 하나의 프레임으로부터 그 캡쳐된 이미지 데이터의 요소를 식별하는 단계;
    상기 시퀀스의 다른 나중의 프레임으로부터 상기 캡쳐된 이미지 데이터의 일부분을 분석하여 선택된 일부분의 요소를 식별하는 단계로서, 상기 선택된 일부분은 상기 평가하는 단계의 결과에 응답하는 것인, 분석하는 단계; 및
    그 프레임들로부터의 캡쳐된 이미지 데이터의 매칭 요소로부터 상기 디스플레이의 상기 절대적 위치를 결정하는 단계를 포함하는 것인, 컴퓨터 시스템 작동 방법.
  22. 제1항에 있어서,
    상기 캡쳐하는 단계는,
    프레임들의 시퀀스에 걸쳐서, 위치결정 타겟 패턴을 포함하는 상기 디스플레이의 적어도 일부분을 나타내는 이미지 데이터를 캡쳐하는 단계를 포함하고, 상기 위치결정 타겟 패턴은 상기 시퀀스의 연속적인 프레임의 하나 이상의 선택된 픽셀 위치에서의 상보적 강도 변화에 대응하는 것이고;
    상기 디스플레이의 상기 상대적 위치를 결정하는 단계는,
    상기 시퀀스의 제1 프레임 및 제3 프레임의 디스플레이 동안의 샘플 시간에 상기 위치결정 타겟 패턴을 포함하는 이미지 데이터를 캡쳐하는 단계로서, 제1 프레임, 제2 프레임, 및 제3 프레임은 상기 시퀀스에서 시간 연속적인 것인, 상기 캡쳐하는 단계; 및
    상기 제1 및 제3 프레임으로부터의 캡쳐된 이미지 데이터의 상기 위치결정 타겟 패턴의 위치를 비교하는 것에 의해 상기 위치결정 타겟 패턴의 위치의 변화를 검출하는 단계를 포함하는 것인, 컴퓨터 시스템 작동 방법.
  23. 제22항에 있어서,
    상기 제1 및 제3 프레임 각각에 대응하는 시간에 상기 디바이스가 포인팅하고 있는 상기 디스플레이의 상대적 위치를 결정하는 단계; 및
    상기 제1 및 제3 프레임에 대응하는 시간에서의 상기 상대적 위치 사이의 선형 보간에 의해 상기 제2 프레임에 대응하는 시간에 상기 디바이스가 포인팅하고 있는 상기 디스플레이의 위치를 추정하는 단계를 더 포함하는, 컴퓨터 시스템 작동 방법.
  24. 제22항에 있어서,
    상기 제1 및 제3 프레임 각각에 대응하는 시간에 상기 디바이스가 포인팅하고 있는 상기 디스플레이의 위치를 결정하는 단계;
    상기 모션 센서로부터의 측정치에 기초하여, 상기 제1 프레임의 시간에서 상기 디바이스의 모션 속도를 결정하는 단계; 및
    결정된 속도, 및 상기 제1 및 제2 프레임에 대응하는 시간 사이의 시간차에 기초하여, 상기 제2 프레임에 대응하는 시간에 상기 디바이스가 포인팅하고 있는 상기 디스플레이의 위치를 추정하는 단계를 더 포함하는, 컴퓨터 시스템 작동 방법.
  25. 제22항에 있어서,
    상기 제1 및 제3 프레임 각각에 대응하는 시간에 상기 디바이스가 포인팅하고 있는 상기 디스플레이의 위치를 결정하는 단계;
    상대적 모션 센서로부터의 측정치에 기초하여, 상기 제3 프레임의 시간에서 상기 디바이스의 모션 속도를 결정하는 단계; 및
    결정된 속도, 및 상기 제2 및 제3 프레임에 대응하는 시간 사이의 시간차에 기초하여, 상기 제2 프레임에 대응하는 시간에 상기 디바이스가 포인팅하고 있는 상기 디스플레이의 위치를 추정하는 단계를 더 포함하는, 컴퓨터 시스템 작동 방법.
  26. 제22항에 있어서,
    상기 제1 및 제3 프레임 각각에 대응하는 시간에 상기 디바이스가 포인팅하고 있는 상기 디스플레이의 위치를 결정하는 단계;
    상대적 모션 센서로부터의 측정치에 기초하여, 상기 제1 및 제3 프레임 각각의 시간에서 모션 속도를 결정하는 단계;
    상기 제1 프레임의 시간에서의 결정된 속도, 및 상기 제1 및 제2 프레임에 대응하는 시간 사이의 시간차에 기초하여, 상기 제2 프레임에 대응하는 시간에 상기 디바이스가 포인팅하고 있는 상기 디스플레이의 제1 위치를 추정하는 단계;
    상기 제3 프레임의 시간에서의 결정된 속도, 및 상기 제2 및 제3 프레임에 대응하는 시간 사이의 시간차에 기초하여, 상기 제2 프레임에 대응하는 시간에 상기 디바이스가 포인팅하고 있는 상기 디스플레이의 제2 위치를 추정하는 단계; 및
    상기 제1 및 제2 위치의 평균에 기초하여, 상기 제2 프레임에 대응하는 시간에 상기 디바이스가 포인팅하고 있는 상기 디스플레이의 위치를 결정하는 단계를 더 포함하는, 컴퓨터 시스템 작동 방법.
  27. 제22항에 있어서,
    상기 시퀀스의 상기 제2 프레임 및 제4 프레임의 디스플레이 동안의 샘플 시간에 상기 위치결정 타겟 패턴을 포함하는 이미지 데이터를 캡쳐하는 단계로서, 상기 제4 프레임은 상기 시퀀스의 상기 제3 프레임과 시간 연속적인 것인, 상기 캡쳐하는 단계;
    상기 모션 센서로부터 획득된 측정치에 기초하여, 상기 시퀀스의 상기 제2 및 제4 프레임에 대응하는 시간 사이에서 상기 디바이스의 모션을 검출하는 단계;
    상기 제2 및 제4 프레임에 대응하는 시간 사이에서 검출된 상기 디바이스의 모션으로부터 상기 제3 프레임에 대응하는 시간에서의 모션의 각도를 결정하는 단계;
    상기 제3 프레임에 대응하는 시간에서의 결정된 모션의 각도로부터 상기 제2 프레임에 대응하는 시간에서의 모션의 각도를 추정하는 단계; 및
    추정된 모션의 각도에 기초하여, 상기 제2 프레임에 대응하는 시간에 상기 디바이스가 포인팅하고 있는 상기 디스플레이의 위치를 결정하는 단계를 더 포함하는, 컴퓨터 시스템 작동 방법.
  28. 대화형 디스플레이 시스템에 있어서,
    디스플레이 상에 표시될 디스플레이 이미지 데이터를 생성하기 위한 컴퓨터;
    디스플레이에 적합한 포맷으로 디스플레이 이미지 데이터에 대응하는 그래픽 출력 신호를 생성하기 위한 그래픽 출력 회로;
    포인팅 디바이스로서, 상기 포인팅 디바이스는,
    핸드헬드 하우징;
    상기 하우징에 배치된 이미지 센서;
    하나 이상의 모션 센서; 및
    상기 이미지 센서에 의해 획득된 이미지 데이터를 캡쳐하기 위한 이미지 캡쳐 회로를 포함하는 것인, 상기 포인팅 디바이스; 및
    복수의 동작을 수행하는 것에 의해 상기 포인팅 디바이스가 조준하는 상기 디스플레이의 위치를 결정하기 위한 위치결정 회로를 포함하고, 상기 복수의 동작은,
    이미지 캡쳐 시간에 상기 디바이스가 포인팅하고 있는 상기 디스플레이의 절대적 위치를 결정하는 동작;
    상기 모션 센서로부터 획득된 측정치에 기초하여, 상기 핸드헬드 디바이스의 모션을 평가하는 동작;
    복수의 샘플 시간 각각에 대하여, 이전의 샘플 시간에 관하여 상기 디바이스의 평가된 모션에 기초하여, 상기 디바이스가 포인팅하고 있는 상기 디스플레이의 상대적 위치를 결정하는 동작;
    상기 이미지 캡쳐 시간에서의 상기 절대적 위치와 제1 및 제2 샘플 시간에서의 상대적 위치로부터 계산된 상기 이미지 캡쳐 시간에서의 계산된 상대적 위치 사이의 오류 값을 결정하는 동작; 및
    그 후 상기 오류 값에 대응하는 보상 값에 의해 하나 이상의 상대적 위치를 조정하는 동작을 포함하는 것인, 대화형 디스플레이 시스템.
  29. 제28항에 있어서,
    상기 하나 이상의 모션 센서는,
    세 개의 직교 방향의 상대적 모션을 감지하기 위한 복수의 관성 센서를 포함하고, 상기 관성 센서는 가속도계, 자이로스코프, 자기장 센서, 및 이들의 조합으로 구성된 그룹으로부터 선택된 것인, 대화형 디스플레이 시스템.
  30. 제29항에 있어서,
    상기 하나 이상의 모션 센서는,
    이미지 센서; 및
    이미지 캡쳐 서브시스템으로 또한 구성되는 것인, 대화형 디스플레이 시스템.
  31. 제28항에 있어서,
    상기 하나 이상의 모션 센서는,
    이미지 센서; 및
    이미지 캡쳐 서브시스템으로 구성되는 것인, 대화형 디스플레이 시스템.
  32. 제28항에 있어서,
    상기 이미지 캡쳐 시간은 상기 제1 및 제2 샘플 시간 사이에서 발생하는 것이고;
    상기 오류 값은 제1 및 제2 직교 방향 각각의 오류 값 성분을 포함하는 것이며;
    상기 오류 값을 결정하는 동작은,
    상기 제2 샘플 시간과 상기 이미지 캡쳐 시간 사이의 차이를 곱한 상기 제1 샘플 시간에서의 상기 제1 방향의 상대적 위치에, 상기 이미지 캡쳐 시간과 상기 제1 샘플 시간 사이의 차이를 곱한 상기 제2 샘플 시간에서의 상기 제1 방향의 상대적 위치를 더한 값의, 상기 제1 및 제2 샘플 시간 사이의 차이에 대한 비율로서 상기 제1 방향의 상기 이미지 캡쳐 시간에서의 상대적 위치를 계산하는 동작;
    상기 제2 샘플 시간과 상기 이미지 캡쳐 시간 사이의 차이를 곱한 상기 제1 샘플 시간에서의 상기 제2 방향의 상대적 위치에, 상기 이미지 캡쳐 시간과 상기 제1 샘플 시간 사이의 차이를 곱한 상기 제2 방향의 상기 제2 샘플 시간에서의 상대적 위치를 더한 값의, 상기 제1 및 제2 샘플 시간 사이의 차이에 대한 비율로서 상기 제2 방향의 상기 이미지 캡쳐 시간에서의 상대적 위치를 계산하는 동작;
    상기 제1 방향의 계산된 상대적 위치와 상기 이미지 캡쳐 시간에서의 상기 제1 방향의 절대적 위치 사이의 차이로서 상기 제1 방향의 오류 값을 결정하는 동작; 및
    상기 제2 방향의 계산된 상대적 위치와 상기 이미지 캡쳐 시간에서의 상기 제2 방향의 절대적 위치 사이의 차이로서 상기 제2 방향의 오류 값을 결정하는 동작을 포함하는 것인, 대화형 디스플레이 시스템.
  33. 제28항에 있어서,
    상기 이미지 캡쳐 시간은 상기 제1 샘플 시간 이후 및 상기 제2 샘플 시간 이전에 발생하는 것이고;
    상기 오류 값은 제1 및 제2 직교 방향 각각의 오류 값 성분을 포함하는 것이며;
    상기 오류 값을 결정하는 동작은,
    상기 디바이스의 상대적 모션 센서로부터 획득된 측정치에 기초하여, 상기 제1 샘플 시간에서 상기 제1 및 제2 방향의 속도를 계산하는 동작;
    상기 제1 샘플 시간에서의 상기 제1 방향의 상대적 위치에, 상기 이미지 캡쳐 시간과 상기 제1 샘플 시간 사이의 차이를 곱한 상기 제1 샘플 시간에서의 상기 제1 방향의 속도를 더한 값으로서 상기 이미지 캡쳐 시간에서의 상기 제1 방향의 상대적 위치를 계산하는 동작;
    상기 제1 샘플 시간에서의 상기 제2 방향의 상대적 위치에, 상기 이미지 캡쳐 시간과 상기 제1 샘플 시간 사이의 차이를 곱한 상기 제1 샘플 시간에서의 상기 제2 방향의 속도를 더한 값으로서 상기 이미지 캡쳐 시간에서의 상기 제2 방향의 상대적 위치를 계산하는 동작;
    상기 제1 방향의 계산된 상대적 위치와 상기 이미지 캡쳐 시간에서의 상기 제1 방향의 절대적 위치 사이의 차이로서 상기 제1 방향의 오류 값을 결정하는 동작; 및
    상기 제2 방향의 계산된 상대적 위치와 상기 이미지 캡쳐 시간에서의 상기 제2 방향의 절대적 위치 사이의 차이로서 상기 제2 방향의 오류 값을 결정하는 동작을 포함하는 것인, 대화형 디스플레이 시스템.
  34. 제28항에 있어서,
    상기 이미지 캡쳐 시간은 상기 제1 샘플 시간 이후 및 상기 제2 샘플 시간 이전에 발생하는 것이고;
    상기 오류 값은 제1 및 제2 직교 방향 각각의 오류 값 성분을 포함하는 것이며;
    상기 오류 값을 결정하는 동작은,
    상기 디바이스의 상대적 모션 센서로부터 획득된 측정치에 기초하여, 상기 제2 샘플 시간에서 상기 제1 및 제2 방향의 속도를 계산하는 동작;
    상기 제2 샘플 시간에서의 상기 제1 방향의 상대적 위치에서, 상기 제2 샘플 시간과 상기 이미지 캡쳐 시간 사이의 차이를 곱한 상기 제2 샘플 시간에서의 상기 제1 방향의 속도를 뺀 값으로서 상기 이미지 캡쳐 시간에서의 상기 제1 방향의 상대적 위치를 계산하는 동작;
    상기 제2 샘플 시간에서의 상기 제2 방향의 상대적 위치에서, 상기 제2 샘플 시간과 상기 이미지 캡쳐 시간 사이의 차이를 곱한 상기 제2 샘플 시간에서의 상기 제2 방향의 속도를 뺀 값으로서 상기 이미지 캡쳐 시간에서의 상기 제2 방향의 상대적 위치를 계산하는 동작;
    상기 제1 방향의 계산된 상대적 위치와 상기 이미지 캡쳐 시간에서의 상기 제1 방향의 절대적 위치 사이의 차이로서 상기 제1 방향의 오류 값을 결정하는 동작; 및
    상기 제2 방향의 계산된 상대적 위치와 상기 이미지 캡쳐 시간에서의 상기 제2 방향의 절대적 위치 사이의 차이로서 상기 제2 방향의 오류 값을 결정하는 동작을 포함하는 것인, 대화형 디스플레이 시스템.
  35. 제28항에 있어서,
    상기 하나 이상의 상대적 위치를 조정하는 동작은,
    가중 인자와 상기 오류 값의 곱으로부터 상기 보상 값을 결정하는 동작; 및
    상기 하나 이상의 상대적 위치 각각에 상기 보상 값을 더하는 동작을 포함하는 것인, 대화형 디스플레이 시스템.
  36. 제35항에 있어서,
    상기 보상 값을 결정하는 동작은,
    제1 방향에 대한 제1 가중 인자와 상기 제1 방향의 오류 값의 성분을 곱하는 것에 의해, 상기 제1 방향에 대한 제1 보상 값을 생성하는 동작; 및
    제2 방향에 대한 제2 가중 인자와 상기 제2 방향의 오류 값의 성분을 곱하는 것에 의해, 상기 제1 방향과 직교하는 상기 제2 방향에 대한 제2 보상 값을 생성하는 동작을 포함하고, 상기 제2 가중 인자는 상기 제1 가중 인자와는 상이한 것이고;
    상기 더하는 동작은,
    상기 제1 방향의 선택된 시간 포인트에서의 상대적 위치의 성분에 상기 제1 보상 값을 더하는 동작; 및
    상기 제2 방향의 선택된 시간 포인트에서의 상대적 위치의 성분에 상기 제2 보상 값을 더하는 동작을 포함하는 것인, 대화형 디스플레이 시스템.
  37. 제35항에 있어서,
    상기 보상 값을 결정하는 동작은,
    상기 캡쳐하는 동작에서 캡쳐된 상기 디스플레이의 일부분 내의 위치결정 타겟 패턴을 복구하는 것에 의해 상기 절대적 위치를 결정하는 동작을 포함하는 것이고;
    상기 복수의 동작은,
    상기 디스플레이의 캡쳐된 일부분 내의 상기 위치결정 타겟 패턴의 위치에 응답하여 상기 가중 인자를 생성하는 동작을 더 포함하는 것인, 대화형 디스플레이 시스템.
  38. 제28항에 있어서,
    상기 캡쳐하는 동작은,
    프레임들의 시퀀스에 걸쳐서, 위치결정 타겟을 포함하는 상기 디스플레이의 적어도 일부분을 나타내는 이미지 데이터를 캡쳐하는 동작을 포함하고, 상기 위치결정 타겟 패턴은 상기 시퀀스의 연속적인 프레임의 하나 이상의 선택된 픽셀 위치에서의 상보적 강도 변화에 대응하는 것이고;
    상기 디스플레이의 절대적 위치를 결정하는 동작은,
    상기 디스플레이로부터 멀리 보이는 대로 상기 위치결정 타겟 패턴을 복구하기 위해 상기 캡쳐된 이미지 데이터의 제1 및 제2 연속 프레임이 서로 공제(subtract)하도록 이미지 데이터를 프로세싱하는 동작;
    복구된 위치결정 타겟 패턴에 응답하여 상기 디스플레이의 제1 포인팅된 위치를 결정하는 동작;
    상기 제1 포인팅된 위치를 결정하는 동작이, 상기 제2 프레임으로부터 이미지 데이터를 캡쳐한 다음에 선택된 지연 시간 내에 완료되는 것에 응답하여, 상기 제1 포인팅된 위치를 상기 절대적 위치로서 선택하고, 상기 제2 프레임으로부터 이미지 데이터가 캡쳐된 시간을 상기 제1 샘플 시간으로서 선택하는 동작; 및
    상기 제1 포인팅된 위치를 결정하는 동작이, 상기 제2 프레임으로부터의 이미지 데이터를 캡쳐한 다음에 상기 선택된 지연 시간 이후에 완료되는 것에 응답하여,
    그 후, 상기 디스플레이로부터 멀리 보이는 대로 상기 위치결정 타겟 패턴을 복구하기 위해 상기 캡쳐된 이미지 데이터의 제2 프레임 및 제3 연속 프레임이 서로 공제하도록 이미지 데이터를 프로세싱하는 동작;
    상기 복구된 위치결정 타겟 패턴에 응답하여 상기 디스플레이의 제2 포인팅된 위치를 결정하는 동작; 및
    상기 제2 포인팅된 위치를 상기 절대적 위치로서 선택하고, 상기 제3 프레임으로부터 이미지 데이터가 캡쳐된 시간을 상기 제1 샘플 시간으로서 선택하는 동작을 포함하는 것인, 대화형 디스플레이 시스템.
  39. 제28항에 있어서,
    상기 조정하는 동작은 복수의 보정된 위치를 도출하기 위해 복수의 상대적 위치에 대하여 반복되는 것이고;
    보정된 위치 중 연속적인 것들 사이의 시간 포인트에서 적어도 하나의 가상의 보정 위치를 보간하는 동작을 더 포함하는 것인, 대화형 디스플레이 시스템.
  40. 제28항에 있어서,
    상기 조정하는 동작은 복수의 보정된 위치를 도출하기 위해 복수의 상대적 위치에 대하여 반복되는 것이고;
    보정된 위치 중 가장 최근의 것보다 나중의 시간 포인트에서 적어도 하나의 가상의 보정 위치를 예측하는 동작을 더 포함하는 것인, 대화형 디스플레이 시스템.
  41. 제28항에 있어서,
    상기 복수의 동작은,
    상기 제1 샘플 시간 이전의 시간에 상기 디바이스가 포인팅하고 있는 상기 디스플레이의 복수의 상대적 위치를 결정하는 동작; 및
    상기 오류 값을 결정하는 동작 이후에, 상기 오류 값에 대응하는 보상 값에 의해 상기 제1 샘플 시간 이전에 상기 복수의 상대적 위치 각각을 조정하는 동작을 더 포함하는 것인, 대화형 디스플레이 시스템.
  42. 제28항에 있어서,
    상기 상대적 위치를 결정하는 동작은,
    상대적 위치가 결정된 이전의 샘플 시간에 관하여, 샘플 시간에서의 상기 디바이스의 이동 거리를 검출하는 동작;
    상기 거리에 변환 승수(multiplier)를 곱하는 것에 의해 그 검출된 거리를 상기 디스플레이의 다수의 픽셀로 변환하는 동작; 및
    상기 이전의 샘플 시간에서의 상기 상대적 위치에 상기 다수의 픽셀을 더하는 동작을 포함하는 것인, 대화형 디스플레이 시스템.
  43. 제42항에 있어서,
    상기 복수의 동작은,
    두 개의 샘플 시간 사이의 제1 방향의 상대적 위치의 변화에 대한 상기 두 개의 샘플 시간 사이의 상기 제1 방향의 절대적 위치의 변화의 제1 비율을, 상기 제1 방향의 픽셀 밀도에 곱하는 것에 의해, 상기 제1 방향에 대한 제1 변환 승수를 생성하는 동작; 및
    두 개의 샘플 시간 사이의 제2 방향의 상대적 위치의 변화에 대한 상기 두 개의 샘플 시간 사이의 상기 제2 방향의 절대적 위치의 변화의 제2 비율을, 상기 제2 방향의 픽셀 밀도에 곱하는 것에 의해, 상기 제1 방향과 직교하는 상기 제2 방향에 대한 제2 변환 승수를 생성하는 동작을 더 포함하는 것이고;
    상기 검출하는 동작은 상기 제1 및 제2 방향 각각으로의 이동 거리를 검출하는 것이며;
    상기 변환하는 동작은,
    상기 제1 방향의 거리에 상기 제1 변환 승수를 곱하는 동작; 및
    상기 제2 방향의 거리에 상기 제2 변환 승수를 곱하는 동작을 포함하는 것인, 대화형 디스플레이 시스템.
  44. 제43항에 있어서,
    상기 제1 변환 승수를 생성하는 동작은,
    상기 제1 방향의 상기 픽셀 밀도와 상기 제1 비율의 곱에 제1 가중 인자를 곱하는 동작을 더 포함하는 것이고;
    상기 제2 변환 승수를 생성하는 동작은,
    상기 제2 방향의 상기 픽셀 밀도와 상기 제2 비율의 곱에 제2 가중 인자를 곱하는 동작을 더 포함하는 것인, 대화형 디스플레이 시스템.
  45. 제28항에 있어서,
    허용 한도를 초과하는 상기 오류 값에 응답하여, 상기 오류 값을 결정하는 동작에서의 사용으로부터 상기 절대적 위치를 폐기(discard)하는 동작을 더 포함하는 것인, 대화형 디스플레이 시스템.
  46. 제28항에 있어서,
    나중의 샘플 시간에 대하여 오류 값을 결정하는 동작을 반복하는 동작을 더 포함하고, 상기 제1 및 제2 샘플 시간과 상기 나중의 샘플 시간 사이의 지속 시간은 상기 오류 값의 크기에 대응하는 것인, 대화형 디스플레이 시스템.
  47. 제28항에 있어서,
    상기 캡쳐하는 동작은,
    제1 및 제2 프레임을 포함하는 프레임들의 시퀀스에 걸쳐서, 위치결정 타겟을 포함하는 상기 디스플레이의 적어도 일부분을 나타내는 이미지 데이터를 캡쳐하는 동작을 포함하는 것이고;
    상기 디스플레이의 상기 절대적 위치를 결정하는 동작은,
    상기 모션 센서로부터의 측정치에 기초하여, 상기 디바이스의 롤(roll), 피치(pitch), 요(yaw), 및 선형 모션 중 하나 이상을 결정하는 동작;
    상기 디바이스의 롤, 피치, 요, 및 선형 모션 중 하나 이상에 응답하여, 이전의 프레임에 관하여 상기 프레임들 중 하나로부터의 캡쳐된 이미지 데이터의 위치결정 타겟 패턴을 보정하는 동작;
    상기 디스플레이로부터 멀리 보이는 대로 상기 위치결정 타겟 패턴을 복구하기 위해 상기 캡쳐된 이미지 데이터의 제1 및 제2 연속 프레임으로부터의 캡쳐된 이미지 데이터를 프로세싱하는 동작; 및
    복구된 위치결정 타겟 패턴에 응답하여 상기 디스플레이의 상기 절대적 위치를 결정하는 동작을 포함하는 것인, 대화형 디스플레이 시스템.
  48. 제28항에 있어서,
    상기 캡쳐하는 동작은,
    프레임들의 시퀀스에 걸쳐서, 위치결정 타겟을 포함하는 상기 디스플레이의 적어도 일부분을 나타내는 이미지 데이터를 캡쳐하는 동작을 포함하는 것이고;
    이미지 캡쳐 시간에 상기 디바이스가 포인팅하고 있는 상기 디스플레이의 절대적 위치를 결정하는 동작은,
    상기 시퀀스의 하나의 프레임으로부터 상기 캡쳐된 이미지 데이터의 요소를 식별하는 동작;
    상기 시퀀스의 다른 나중의 프레임으로부터 캡쳐된 이미지 데이터의 일부분을 분석하여 선택된 일부분의 요소를 식별하는 동작으로서, 상기 선택된 일부분은 상기 평가하는 동작의 결과에 응답하는 것인, 분석하는 동작; 및
    그 프레임들로부터의 캡쳐된 이미지 데이터의 매칭 요소로부터 상기 디스플레이의 상기 절대적 위치를 결정하는 동작을 포함하는 것인, 대화형 디스플레이 시스템.
  49. 제28항에 있어서,
    상기 캡쳐하는 동작은,
    프레임들의 시퀀스에 걸쳐서, 위치결정 타겟 패턴을 포함하는 상기 디스플레이의 적어도 일부분을 나타내는 이미지 데이터를 캡쳐하는 동작을 포함하고, 상기 위치결정 타겟 패턴은 상기 시퀀스의 연속적인 프레임의 하나 이상의 선택된 픽셀 위치에서의 상보적 강도 변화에 대응하는 것이고;
    상기 디스플레이의 상기 상대적 위치를 결정하는 동작은,
    상기 시퀀스의 제1 프레임 및 제3 프레임의 디스플레이 동안의 샘플 시간에 상기 위치결정 타겟 패턴을 포함하는 이미지 데이터를 캡쳐하는 동작으로서, 제1 프레임, 제2 프레임, 및 제3 프레임은 상기 시퀀스에서 시간 연속적인 것인, 상기 캡쳐하는 동작; 및
    상기 제1 및 제3 프레임으로부터 캡쳐된 이미지 데이터의 상기 위치결정 타겟 패턴의 위치를 비교하는 것에 의해 상기 위치결정 타겟 패턴의 위치의 변화를 검출하는 동작을 포함하는 것인, 대화형 디스플레이 시스템.
  50. 제49항에 있어서,
    상기 복수의 동작은,
    상기 제1 및 제3 프레임 각각에 대응하는 시간에 상기 디바이스가 포인팅하고 있는 상기 디스플레이의 상대적 위치를 결정하는 동작; 및
    상기 제1 및 제3 프레임에 대응하는 시간에서의 상기 상대적 위치 사이의 선형 보간에 의해 상기 제2 프레임에 대응하는 시간에 상기 디바이스가 포인팅하고 있는 상기 디스플레이의 위치를 추정하는 동작을 더 포함하는 것인, 대화형 디스플레이 시스템.
  51. 제49항에 있어서,
    상기 복수의 동작은,
    상기 제1 및 제3 프레임 각각에 대응하는 시간에 상기 디바이스가 포인팅하고 있는 상기 디스플레이의 위치를 결정하는 동작;
    상기 모션 센서로부터의 측정치에 기초하여, 상기 제1 프레임의 시간에서 상기 디바이스의 모션 속도를 결정하는 동작; 및
    결정된 속도, 및 상기 제1 및 제2 프레임에 대응하는 시간 사이의 시간차에 기초하여, 상기 제2 프레임에 대응하는 시간에 상기 디바이스가 포인팅하고 있는 상기 디스플레이의 위치를 추정하는 동작을 더 포함하는 것인, 대화형 디스플레이 시스템.
  52. 제49항에 있어서,
    상기 복수의 동작은,
    상기 제1 및 제3 프레임 각각에 대응하는 시간에 상기 디바이스가 포인팅하고 있는 상기 디스플레이의 위치를 결정하는 동작;
    상대적 모션 센서로부터의 측정치에 기초하여, 상기 제3 프레임의 시간에서 상기 디바이스의 모션 속도를 결정하는 동작; 및
    결정된 속도, 및 상기 제2 및 제3 프레임에 대응하는 시간 사이의 시간차에 기초하여, 상기 제2 프레임에 대응하는 시간에 상기 디바이스가 포인팅하고 있는 상기 디스플레이의 위치를 추정하는 동작을 더 포함하는 것인, 컴퓨터 시스템 작동 방법.
  53. 제49항에 있어서,
    상기 복수의 동작은,
    상기 제1 및 제3 프레임 각각에 대응하는 시간에 상기 디바이스가 포인팅하고 있는 상기 디스플레이의 위치를 결정하는 동작;
    상대적 모션 센서로부터의 측정치에 기초하여, 상기 제1 및 제3 프레임 각각의 시간에서 모션 속도를 결정하는 동작;
    상기 제1 프레임의 시간에서의 결정된 속도, 및 상기 제1 및 제2 프레임에 대응하는 시간 사이의 시간차에 기초하여, 상기 제2 프레임에 대응하는 시간에 상기 디바이스가 포인팅하고 있는 상기 디스플레이의 제1 위치를 추정하는 동작;
    상기 제3 프레임의 시간에서의 결정된 속도, 및 상기 제2 및 제3 프레임에 대응하는 시간 사이의 시간차에 기초하여, 상기 제2 프레임에 대응하는 시간에 상기 디바이스가 포인팅하고 있는 상기 디스플레이의 제2 위치를 추정하는 동작; 및
    상기 제1 및 제2 위치의 평균에 기초하여, 상기 제2 프레임에 대응하는 시간에 상기 디바이스가 포인팅하고 있는 상기 디스플레이의 위치를 결정하는 동작을 더 포함하는 것인, 컴퓨터 시스템 작동 방법.
  54. 제49항에 있어서,
    상기 복수의 동작은,
    상기 시퀀스의 상기 제2 프레임 및 제4 프레임의 디스플레이 동안의 샘플 시간에 상기 위치결정 타겟 패턴을 포함하는 이미지 데이터를 캡쳐하는 동작으로서, 상기 제4 프레임은 상기 시퀀스의 상기 제3 프레임과 시간 연속적인 것인, 상기 캡쳐하는 동작;
    상기 모션 센서로부터 획득된 측정치에 기초하여, 상기 시퀀스의 상기 제2 및 제4 프레임에 대응하는 시간 사이에서 상기 디바이스의 모션을 검출하는 동작;
    상기 제2 및 제4 프레임에 대응하는 시간 사이에서 검출된 상기 디바이스의 모션으로부터 상기 제3 프레임에 대응하는 시간에서의 모션의 각도를 결정하는 동작;
    상기 제3 프레임에 대응하는 시간에서의 결정된 모션의 각도로부터 상기 제2 프레임에 대응하는 시간에서의 모션의 각도를 추정하는 동작; 및
    추정된 모션의 각도에 기초하여, 상기 제2 프레임에 대응하는 시간에 상기 디바이스가 포인팅하고 있는 상기 디스플레이의 위치를 결정하는 동작을 더 포함하는 것인, 컴퓨터 시스템 작동 방법.
KR1020157008764A 2012-09-06 2013-09-05 대화형 디스플레이 시스템에서의 절대적 및 상대적 위치결정 센서 융합 KR20150053955A (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261697342P 2012-09-06 2012-09-06
US61/697,342 2012-09-06
US201261700561P 2012-09-13 2012-09-13
US61/700,561 2012-09-13
PCT/US2013/058269 WO2014039685A1 (en) 2012-09-06 2013-09-05 Absolute and relative positioning sensor fusion in an interactive display system

Publications (1)

Publication Number Publication Date
KR20150053955A true KR20150053955A (ko) 2015-05-19

Family

ID=50186841

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157008764A KR20150053955A (ko) 2012-09-06 2013-09-05 대화형 디스플레이 시스템에서의 절대적 및 상대적 위치결정 센서 융합

Country Status (6)

Country Link
US (1) US9024876B2 (ko)
EP (1) EP2893422A4 (ko)
JP (1) JP2015531510A (ko)
KR (1) KR20150053955A (ko)
CN (1) CN104620203A (ko)
WO (1) WO2014039685A1 (ko)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230349693A1 (en) * 2009-09-03 2023-11-02 Electronic Scripting Products, Inc. System and method for generating input data from pose estimates of a manipulated object by using light data and relative motion data
JP6204686B2 (ja) * 2013-04-12 2017-09-27 任天堂株式会社 情報処理プログラム、情報処理システム、情報処理装置、および、情報処理の実行方法
JP6185301B2 (ja) * 2013-06-21 2017-08-23 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および、指示位置の算出方法
US9300893B2 (en) 2014-03-24 2016-03-29 Intel Corporation Image matching-based pointing techniques
JP6364872B2 (ja) * 2014-03-28 2018-08-01 セイコーエプソン株式会社 情報処理装置、プロジェクター、情報処理方法及びプログラム
US9857869B1 (en) * 2014-06-17 2018-01-02 Amazon Technologies, Inc. Data optimization
US20180356492A1 (en) * 2015-06-16 2018-12-13 Michael Hamilton Vision based location estimation system
EP3328510B1 (en) * 2015-07-28 2020-12-02 Virtuix Holdings Inc. System and method of soft decoupling an input
TWI568237B (zh) * 2015-07-29 2017-01-21 東友科技股份有限公司 影像擷取方法及影像擷取與合成方法
US10360718B2 (en) * 2015-08-14 2019-07-23 Samsung Electronics Co., Ltd. Method and apparatus for constructing three dimensional model of object
CN106899596B (zh) * 2017-03-02 2018-03-30 山东朗朗教育科技股份有限公司 一种远程云讲师服务装置和控制管理方法
DE112018004001T5 (de) * 2017-09-05 2020-04-23 Murata Manufacturing Co., Ltd. Radarvorrichtung und automobil mit derselben
EP3730899A4 (en) 2017-12-18 2021-07-28 Alt Limited Liability Company METHOD AND SYSTEM FOR OPTICAL-INERT TRACKING OF A MOBILE OBJECT
US10481679B2 (en) 2017-12-18 2019-11-19 Alt Llc Method and system for optical-inertial tracking of a moving object
CN109683775B (zh) * 2018-12-12 2021-07-06 歌尔科技有限公司 基于投影的交互方法、投影设备及存储介质
CN111666019B (zh) 2019-03-05 2022-01-25 台达电子工业股份有限公司 电子装置及选取目标物件的预测方法
TWI708167B (zh) * 2019-03-05 2020-10-21 台達電子工業股份有限公司 電子裝置及選取目標物件之預測方法
US10909387B2 (en) * 2019-03-28 2021-02-02 Mitsubishi Electric Research Laboratories, Inc. Method and system for predicting dynamical flows from control inputs and limited observations
US11661055B2 (en) * 2019-05-24 2023-05-30 Preact Technologies, Inc. Close-in collision detection combining high sample rate near-field sensors with advanced real-time parallel processing to accurately determine imminent threats and likelihood of a collision
US11301040B2 (en) * 2019-12-19 2022-04-12 Google Llc Direct manipulation of display device using wearable computing device
US11850509B2 (en) 2021-02-17 2023-12-26 Falcon's Beyond Brands, Llc Interactive theater system with real-time feedback and dynamic special effects
US11941184B2 (en) * 2021-05-18 2024-03-26 Snap Inc. Dynamic initialization of 3DOF AR tracking system
US20230067564A1 (en) * 2021-08-31 2023-03-02 Htc Corporation Virtual image display system and calibration method for pointing direction of controller thereof
KR20230055197A (ko) * 2021-10-18 2023-04-25 엘지디스플레이 주식회사 디스플레이 장치 및 디스플레이 구동 방법

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3177299T4 (de) 1980-04-11 1994-05-26 Ampex Bildverarbeitungssystem für räumliche Bildtransformation.
US4799055A (en) 1984-04-26 1989-01-17 Symbolics Inc. Optical Mouse
US7707082B1 (en) 1999-05-25 2010-04-27 Silverbrook Research Pty Ltd Method and system for bill management
US20030046256A1 (en) * 1999-12-23 2003-03-06 Ola Hugosson Distributed information management
US7154477B1 (en) * 2003-09-03 2006-12-26 Apple Computer, Inc. Hybrid low power computer mouse
US7961909B2 (en) 2006-03-08 2011-06-14 Electronic Scripting Products, Inc. Computer interface employing a manipulated object with absolute pose detection component and a display
US7826641B2 (en) 2004-01-30 2010-11-02 Electronic Scripting Products, Inc. Apparatus and method for determining an absolute pose of a manipulated object in a real three-dimensional environment with invariant features
US9229540B2 (en) * 2004-01-30 2016-01-05 Electronic Scripting Products, Inc. Deriving input from six degrees of freedom interfaces
US8542219B2 (en) 2004-01-30 2013-09-24 Electronic Scripting Products, Inc. Processing pose data derived from the pose of an elongate object
US7342575B1 (en) * 2004-04-06 2008-03-11 Hewlett-Packard Development Company, L.P. Electronic writing systems and methods
WO2006019974A2 (en) 2004-07-15 2006-02-23 Cubic Corporation Enhancement of aimpoint in simulated training systems
US7852317B2 (en) 2005-01-12 2010-12-14 Thinkoptics, Inc. Handheld device for handheld vision based absolute pointing system
CN101536494B (zh) 2005-02-08 2017-04-26 奥布隆工业有限公司 用于基于姿势的控制系统的系统和方法
WO2006137077A1 (en) 2005-06-20 2006-12-28 Hewlett-Packard Development Company, L.P. A pointing device with absolute and relative positioning capability
US8471812B2 (en) 2005-09-23 2013-06-25 Jesse C. Bunch Pointing and identification device
US9823747B2 (en) 2006-02-08 2017-11-21 Oblong Industries, Inc. Spatial, multi-modal control device for use with spatial operating system
US8139029B2 (en) 2006-03-08 2012-03-20 Navisense Method and device for three-dimensional sensing
US7852315B2 (en) * 2006-04-07 2010-12-14 Microsoft Corporation Camera and acceleration based interface for presentations
US20080042973A1 (en) 2006-07-10 2008-02-21 Memsic, Inc. System for sensing yaw rate using a magnetic field sensor and portable electronic devices using the same
US8781151B2 (en) 2006-09-28 2014-07-15 Sony Computer Entertainment Inc. Object detection using video input combined with tilt angle information
US8291346B2 (en) * 2006-11-07 2012-10-16 Apple Inc. 3D remote control system employing absolute and relative position detection
US9176598B2 (en) 2007-05-08 2015-11-03 Thinkoptics, Inc. Free-space multi-dimensional absolute pointer with improved performance
US8225343B2 (en) 2008-01-11 2012-07-17 Sony Computer Entertainment America Llc Gesture cataloging and recognition
JP5866199B2 (ja) 2008-07-01 2016-02-17 ヒルクレスト・ラボラトリーズ・インコーポレイテッド ３ｄポインタマッピング
US8451236B2 (en) 2008-12-22 2013-05-28 Hewlett-Packard Development Company L.P. Touch-sensitive display screen with absolute and relative input modes
EP2226707B1 (en) 2009-03-06 2013-01-09 Universität Konstanz Adaptive pointing - implicit gain adaptation for absolute pointing devices
US8441438B2 (en) 2010-01-06 2013-05-14 Cywee Group Limited 3D pointing device and method for compensating movement thereof
JP5463790B2 (ja) 2009-08-18 2014-04-09 ソニー株式会社 操作入力システム、制御装置、ハンドヘルド装置及び操作入力方法
US9110517B2 (en) 2009-09-14 2015-08-18 Broadcom Corporation System and method for generating screen pointing information in a television
US8339364B2 (en) 2010-02-03 2012-12-25 Nintendo Co., Ltd. Spatially-correlated multi-display human-machine interface
US8217997B2 (en) * 2010-03-16 2012-07-10 Interphase Corporation Interactive display system
EP2392991A1 (en) 2010-06-02 2011-12-07 Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. Hand-held pointing device, software cursor control system and method for controlling a movement of a software cursor
US8957909B2 (en) * 2010-10-07 2015-02-17 Sensor Platforms, Inc. System and method for compensating for drift in a display of a user interface state
US8446364B2 (en) 2011-03-04 2013-05-21 Interphase Corporation Visual pairing in an interactive display system

Also Published As

Publication number Publication date
US9024876B2 (en) 2015-05-05
EP2893422A4 (en) 2016-05-18
EP2893422A1 (en) 2015-07-15
US20140062881A1 (en) 2014-03-06
JP2015531510A (ja) 2015-11-02
CN104620203A (zh) 2015-05-13
WO2014039685A1 (en) 2014-03-13

Similar Documents

Publication Publication Date Title
KR20150053955A (ko) 대화형 디스플레이 시스템에서의 절대적 및 상대적 위치결정 센서 융합
US8982050B2 (en) Motion compensation in an interactive display system
US8310537B2 (en) Detecting ego-motion on a mobile device displaying three-dimensional content
CN109298629B (zh) 在未绘制地图区域中引导移动平台的系统及方法
US10852847B2 (en) Controller tracking for multiple degrees of freedom
US8957909B2 (en) System and method for compensating for drift in a display of a user interface state
US8217997B2 (en) Interactive display system
US8700356B2 (en) Apparatus and method sensing motion
KR101693951B1 (ko) 제스처 인식 방법 및 제스처 검출기
CN107852447B (zh) 基于设备运动和场景距离使电子设备处的曝光和增益平衡
US9303982B1 (en) Determining object depth information using image data
US20160334884A1 (en) Remote Sensitivity Adjustment in an Interactive Display System
EP2392991A1 (en) Hand-held pointing device, software cursor control system and method for controlling a movement of a software cursor
US20120105326A1 (en) Method and apparatus for generating motion information
KR102057531B1 (ko) 제스처를 이용하여 데이터를 송수신하는 모바일 기기들
US11669173B2 (en) Direct three-dimensional pointing using light tracking and relative position detection
KR101338958B1 (ko) 멀티터치 단말기에서 가상물체의 3차원 움직임 조작시스템 및 방법
CN111489376B (zh) 跟踪交互设备的方法、装置、终端设备及存储介质
Kuronen et al. 3d hand movement measurement framework for studying human-computer interaction
KR100827067B1 (ko) 카메라를 구비한 휴대용 무선 단말기와 그를 이용한 마우스실행 방법
KR101288448B1 (ko) 레이저 포인터를 이용하여 데이터를 전송하는 디바이스 및 이의 데이터 송수신 제어 방법, 그리고 네트워크 시스템

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid