KR101461353B1 - 대화형 디스플레이 시스템에서의 시각적 페어링 - Google Patents

대화형 디스플레이 시스템에서의 시각적 페어링 Download PDF

Info

Publication number
KR101461353B1
KR101461353B1 KR1020137026094A KR20137026094A KR101461353B1 KR 101461353 B1 KR101461353 B1 KR 101461353B1 KR 1020137026094 A KR1020137026094 A KR 1020137026094A KR 20137026094 A KR20137026094 A KR 20137026094A KR 101461353 B1 KR101461353 B1 KR 101461353B1
Authority
KR
South Korea
Prior art keywords
pointing device
pairing
wireless
display system
display
Prior art date
Application number
KR1020137026094A
Other languages
English (en)
Other versions
KR20130127533A (ko
Inventor
요람 솔로몬
Original Assignee
인터페이즈 코퍼레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인터페이즈 코퍼레이션 filed Critical 인터페이즈 코퍼레이션
Publication of KR20130127533A publication Critical patent/KR20130127533A/ko
Application granted granted Critical
Publication of KR101461353B1 publication Critical patent/KR101461353B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/08—Cursor circuits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/70—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer
    • G06F21/82—Protecting input, output or interconnection devices
    • G06F21/83—Protecting input, output or interconnection devices input devices, e.g. keyboards, mice or controllers thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0383—Signal control means within the pointing device

Abstract

카메라 또는 다른 이미지 캡쳐 시스템을 포함하는 무선 포인팅 디바이스(pointing device)를 포함하는 대화형 디스플레이 시스템. 상기 포인팅 디바이스의 페어링은 상기 포인팅 디바이스에 의한 캡쳐를 위해, 그것의 디스플레이에 시각적 페어링 코드를 디스플레이하는 컴퓨터화된 디스플레이 시스템에 의해 수행된다. 상기 페어링 코드는 사람이 읽을 수 있는, 사람이 인식할 수 있으나 읽을 수 없는, 또는 사람이 인식할 수 없는 형태로 디스플레이될 수 있다. 상기 페어링 코드의 검출에 응답하여, 상기 포인팅 디바이스는 상기 컴퓨터화된 디스플레이 시스템에 페어링 코드를 포함하여 무선 신호를 송신한다. 상기 디스플레이 시스템에 의해서 수신된 상기 페어링 코드가 원래 디스플레이된 것과 일치하면, 상기 컴퓨터화된 디스플레이 시스템은 그래픽 사용자 인터페이스 방식으로 상기 포인팅 디바이스를 제어 신호들의 소스로서 인가한다. 상기 시각적 페어링 절차와 관련하여 다양한 추가적인 핸드셰이킹(handshaking) 접근 방법들이 개시된다.

Description

대화형 디스플레이 시스템에서의 시각적 페어링{VISUAL PAIRING IN AN INTERACTIVE DISPLAY SYSTEM}
본 발명은 대화형(interactive) 디스플레이 시스템 분야에 속해 있다. 본 발명의 실시예들은 보다 구체적으로는 제어 디바이스(control device)와 시각적 출력을 디스플레이하는 컴퓨터 시스템의 페어링(pairing)에 대한 것이다.
청자에게 메시지를 전달하는 화자의 능력은 일반적으로 발언과 함께 관련된 시각적 정보의 사용에 의해 향상된다. 현대에는, 예를 들면 마이크로소프트 사의 '파워포인트' 발표용 소프트웨어와 같은 응용 프로그램을 이용하여, 시각적 정보를 발생시켜 청중들에게 디스플레이하는 컴퓨터와 연관 디스플레이 시스템을 사용하는 것이 통상적인 일이 되었다. 강당 환경에서와 같이 많은 청중들을 대상으로 하는 경우, 디스플레이 시스템은 일반적으로 프로젝션 시스템이다(전방 또는 후방 프로젝션). 회의실 또는 교실 환경에서와 같이 보다 적은 청중들을 대상으로 하는 경우, 평판(예를 들면, 액정) 디스플레이들이 대중화되었는데, 특히 최근 이들 디스플레이들의 가격이 떨어지면서 그렇게 되었다. 특별한 스크린을 필요로 하지 않아 보다 손쉽게 설치되는 작은 프로젝터들("피코(pico)-프로젝터")과 같은 새로운 디스플레이 기술들이 지금 시장에 등장하고 있다. 매우 적은 청중들(예를 들면, 한 명 또는 두 명)을 대상으로 발표하는 경우, 노트북 컴퓨터의 그래픽 디스플레이가 시각적 정보를 발표하는데 충분할 수 있다. 어쨌든, 증가하는 컴퓨터 파워와 더 좋고 더 큰 디스플레이들을 모두 해서 더 적은 비용으로 결합하는 것이 여러 상황에서(예를 들면, 업무적, 교육적, 법률적, 오락적 상황) 컴퓨터 기반 발표 시스템의 사용을 증가시켰다.
일반적인 컴퓨터 기반 발표에서는, 화자가 시각적 정보에 대한 청중들의 시야를 가리지 않도록 디스플레이 시스템으로부터 떨어져서 서있게 된다. 시각적 발표는 컴퓨터에서 발생되고 컴퓨터에 의해 제어되기 때문에, 발표는 대화형으로 제어될 수 있어 특정한 청중에게 특별히 중요한 시각적 내용의 선택, 발표 중 화자에 의한 시각적 정보의 주석 또는 예시, 확대/축소(zooming), 발표에서 어딘가에(또는 온라인 상에) 있는 정보에 대한 링크의 선택, 한 디스플레이 위치에서 다른 위치로의 디스플레이 요소들의 이동 등과 같은 효과의 호출을 가능하게 한다. 이러한 상호작용성(interactivity)은 발표를 크게 향상시키고, 발표가 청중에게 더 재미있고 매력적이게 만든다.
따라서, 화자가 디스플레이된 시각적 내용과 멀리 떨어져서 상호작용할 수 있는 것이 바람직하다. 보다 구체적으로, 따로 떨어진 위치에 있는 조작자가 디스플레이된 시각적 정보를 가리키고, 상호작용할 수 있도록 사용할 수 있는 휴대용 디바이스가 바람직하다.
본 명세서에 인용에 의해 본 명세서에 통합되고, 2011년 02월 10일자의 공동으로 양도되고 공동 계류중인 출원 S.N. 13/025,015에 기초하고, 본 명세서에 참고문헌으로 포함된, 2011년 09월 22일에 발행된 "대화형 디스플레이 시스템"이라는 제목의 미국 특허 출원 공개번호 US 2011/0227827는 카메라 또는 다른 비디오 캡쳐 시스템을 포함하는 무선 포인팅 디바이스(pointing device)를 포함하는 대화형 디스플레이 시스템을 개시하고 있다. 상기 포인팅 디바이스는 컴퓨터에 의해 디스플레이되고, 사람이 인식할 수 없는 하나 이상의 위치설정 타겟들을 포함하는 이미지들을 캡쳐한다. 복구된 위치설정 타겟의 위치, 크기 및 방향은 디스플레이에 대하여 원격 포인팅 디바이스의 조준점을 식별한다. 포인팅 디바이스를 위치설정하기 위한 (사람이 인식 가능한 또는 사람이 인식할 수 없는) 위치설정 타겟들의 시간적 순서화도 또한 개시되어 있다.
공지된 바와 같이, 종래의 단거리 무선(예를 들면, "블루투스") 채널을 통한 지점 대 지점 간 통신은 서로 통신할 두 디바이스들의 "페어링(pairing)"을 포함한다. 요약하면, 종래의 페어링은 상대 디바이스에 의한 각 디바이스에 대한 인식 및 각 디바이스가 단거리 무선 채널을 통해 상대 디바이스로부터 수신된 통신을 "신뢰"한다는데 대한 인증을 포함한다. 이러한 페어링은 종래의 단거리 무선 디바이스들이 전방위적으로 송신하고 수신한다는 문제를 말해주고 있다. 이와 같이, 수신 디바이스는 의도된 송신기 외에 다른 디바이스들로부터의 무선 신호들을 수신할 수 있다. 페어링은 각 디바이스가 오직 의도된 송신 디바이스들로부터만 수신된 무선 신호들에 응답할 수 있도록 하고, 송신한 신호들이 오직 의도된 수신 디바이스들에 의해서만 응답될 수 있도록 함으로써 혼란을 피한다.
물론, 어떤 응용 기기들은 이러한 무선 통신에 있어서 일정 수준의 보안을 요구할 것이다. 그러한 경우에, 페어링 과정은 페어링된 디바이스들 각각이 무선 통신을 암호화 및 복호화하도록 암호화 키들의 교환 단계를 또한 포함하게 될 것이다.
컴퓨터 시스템들과 단거리 무선 통신을 위한 종래의 페어링 기술들은 페어링된 관계를 확립하기 위해 "대역 외(out-of-band)" 기술들(즉, 무선 통신 및 무선 외에 다른 어떤 수단에 의한 통신 모두를 이용하는 기술들)을 포함한다. 이러한 종래 기술들은 페어링된 디바이스들 각각이 상대 디바이스를 인증하도록 요구한다 - 다시 말하면, 페어링을 초기화하는 디바이스가 응답하는 디바이스를 인증하고, 응답하는 디바이스가 초기화하는 디바이스를 또한 인증한다.
상기에 포함된 미국 공개특허 US 2011/0227827에 개시된 바와 같은 대화형 디스플레이 시스템의 경우에, 포인팅 디바이스와 디스플레이된 출력을 디스플레이하고 제어하는 컴퓨터 시스템 또는 그래픽 서브시스템의 페어링은 종래의 단거리 무선 통신과는 다른 상황을 제공한다. 보다 구체적으로, 통신하고자 하는 디스플레이 시스템이 다른 회의실 또는 교실과 같은 다른 디스플레이 시스템들의 무선 범위 내에 배치될 수 있다. 발표자가 그에게 보이는 디스플레이 시스템을 제어하는 데에만 관심을 갖는 동안, 그의 포인팅 디바이스에 의해 송신된 무선 신호는 무선 신호 범위 내의 다른 방들에 있는 디스플레이 시스템들에 도달할 수 있다. 반대로, 그가 제어하고자 하는 디스플레이 시스템은 그러한 근처의 방들에 있는 포인팅 디바이스들로부터의 제어 신호들을 수신할 수 있다. 이와 같이, 어떤 수준의 페어링은 의도하는 디스플레이 시스템이 다른 포인팅 디바이스들로부터의 간섭을 피하도록 할 필요가 있다. 그러나, 포인팅 디바이스를 명목상으로 특정한 디스플레이 시스템에 할당하지 않고, 대신에 다른 장소, 다른 시간에, 다른 디바이스와 함께 사용하기 위해 발표자가 가지고 있도록 하는 것을 생각해 볼 수 있다. 예를 들면, 포인팅 디바이스를 다양한 고객들에게 발표하는 데 사용하도록 판매원이 가지고 있을 수 있다. 그런 경우에, 포인팅 디바이스들을 디스플레이 시스템과 신속하고 쉽게 페어링할 수 있도록 하는 것이 유용하다. 또한, 포인팅 디바이스들은 상대적으로 작은 폼 팩터(form factor)를 달성하기 위해 단지 하나 또는 두 개의 버튼(예를 들면, 컴퓨터 마우스와 유사하게)을 가지고, 배터리 파워를 절약하기 위해 최소의 RF 송신 능력을 가지도록 제조 및 동작에 있어서 단순하게 하는 것이 매우 바람직하다.
본 발명의 실시예에 따르면, 포인팅 디바이스와 디스플레이를 제어하는 컴퓨터 시스템 간에 일 방향(one-way) 페어링을 확립하기 위해 무선 및 시각적 정보 모두를 이용하는 대화형 디스플레이 시스템 및 그것을 동작하는 방법이 제공된다.
본 발명의 실시예에 따르면, 페어링을 확립할 필요가 있는 대화형 포인팅 디바이스의 기능성 오버헤드(overhead)를 최소화하는 시스템 및 방법이 제공된다.
본 발명의 실시예에 따르면, 디스플레이된 정보에서 조준점을 감지할 수 있는 대화형 포인팅 디바이스의 페어링에 특히 적합한 시스템 및 방법이 제공된다.
본 발명의 실시예에 따른 다른 목적 및 장점은 첨부한 도면과 함께 다음의 명세서를 참고하면 본 발명이 속하는 분야의 숙련된 자에게 명확해질 것이다.
본 발명에 따르면, 포인팅 디바이스에 보이는 방식으로 디스플레이된 페어링 코드를 이용하여 디스플레이 시스템이 포인팅 디바이스와 페어링되는 대화형 디스플레이 시스템 및 그 동작 방법이 구현될 수 있다. 상기 디스플레이된 페어링 코드의 수신시, 예를 들면, 포인팅 디바이스 내의 카메라 및 이미지 처리 디바이스를 이용하여, 상기 포인팅 디바이스는 무선 또는 다른 전기적인 신호를 수신된 페어링 코드의 디스플레이를 포함하는 디스플레이 시스템에 송신한다. 상기 포인팅 디바이스로부터의 신호 수신에 응답하여, 상기 디스플레이 시스템은 상기 포인팅 디바이스가 그 기능을 제어할 수 있도록 승인한다.
도 1은 본 발명의 실시예에 따른 대화형 디스플레이 시스템을 이용하여 수행되는 발표의 개략적인 사시도이다.
도 2a 및 도 2b는 본 발명의 일 실시예에 따른 대화형 디스플레이 시스템을 각각 도시한 전기 블록도들이다.
도 3은 본 발명의 실시예들이 구현된 대화형 디스플레이 시스템의 일반화된 동작을 도시한 흐름도이다.
도 4a 내지 도 4e는 도 1의 대화형 디스플레이 시스템에서, 본 발명의 각 실시예에 따른, 포인팅 디바이스와 디스플레이 시스템의 페어링 작업을 도시한 흐름도들이다.
도 5는 본 발명의 실시예에 따라 제작되고 동작하는 대화형 디스플레이 시스템에 의해, 포인팅 디바이스에 보여지는 방식으로 디스플레이된 페어링 코드의 예를 도시한 것이다.
본 발명은 청중에게 보여지는 디스플레이를 포함하는 컴퓨터화된 발표 시스템으로 구현된 적어도 하나의 실시예와 관련하여 설명될 것이며, 이는 본 발명이 그러한 시스템에 적용될 경우 특히 유용할 것으로 생각되기 때문이다. 그러나, 본 발명은 게임 시스템에서 사용자에 의한 컴퓨터로의 일반적인 입력 등과 같은 다른 응용 기기와 관련하여서도 유용할 수 있다고 또한 생각된다. 따라서, 다음의 설명은 오직 예로써 제공되는 것이며, 청구항에 의한 본 발명의 진정한 범위를 제한할 의도가 아님을 이해해야 할 것이다.
도 1은 본 발명의 실시예들이 유용한 상황의 단순화된 예를 도시한 것이다. 도 1에서 보는 바와 같이, 화자(SPKR)가 청중(A)에게 디스플레이 시스템(30)에 의해 발생되고 제공되는 시각적 보조도구들을 이용하여 실시간 발표를 하고 있다. 일반적으로, 그러한 시각적 보조도구들은 컴퓨터(22)에 의해 발생된 컴퓨터 그래픽 및 텍스트의 형태로 되어 있고, 청중(A)에게 보여지는 방식으로 방 크기의 그래픽 디스플레이(20)에 디스플레이된다. 공지된 바와 같이, 이러한 발표는 폭 넓게 변하는 특정 청중 규모와 시스템 요소들을 갖는 업무, 교육, 오락 및 기타 다른 상황들에서 공통적이다. 도 1의 단순화된 예는 청중(A)이 발표를 보는 몇 명 이상의 구성원들을 포함하는 업무 환경을 도시하고 있다. 환경의 규모는 수백 명의 청중들이 앉아 있는 강당에서부터 청중(A)이 한 명으로 구성된 하나의 책상 또는 테이블에 이르기까지 달라질 수 있다.
청중(A)에게 시각적 보조도구들을 제공하기 위해 사용되는 디스플레이(20)의 유형들은 발표 환경에 따라 달라진다. 중간규모에서 대규모의 청중들 앞에서 사용하기 위한 경우, 디스플레이(20)는 프로젝션 디스플레이, 또는 플라즈마 또는 액정(LCD)과 같은 유형의 외부 평판 디스플레이일 수 있으며, 어느 경우에나 컴퓨터(22) 내의 그래픽 어댑터에 의해 구동된다. 한 명이나 두 명의 청중에 대해 발표하기 위한 경우, 시각적 정보를 제공하기 위해서 단순히 노트북 또는 데스크탑 형태의 컴퓨터(22)의 자체 디스플레이(20)를 이용할 수 있다. 또한, 더 적은 청중(A)을 대상으로 하는 경우, 휴대용 프로젝터들(예를 들면, "포켓 프로젝터(pocket projector)" 또는 "피코 프로젝터(pico projector)")이 더 통상적이 되어가고 있으며, 이러한 경우에 디스플레이 스크린은 벽 또는 화이트 보드일 수 있다.
발표자료는 컴퓨터(22)에 의해서 실행되는, 마이크로소프트 사의 파워포인트 소프트웨어와 같은 종래의 발표 소프트웨어를 통해 발생되고 제공될 수 있다. 아니면, 특정 시각적 정보가 컴퓨터(22)에서 실행되는 미리 생성된 발표자료일 필요 없이, 대신에 컴퓨터(22)를 경유하여 액세스되는 웹 페이지; 아이콘, 프로그램 윈도우 및 동작 버튼을 포함하는 데스크탑 디스플레이; 컴퓨터(22)에 의해 읽혀지는 DVD 또는 기타 저장 디바이스로부터 나오는 비디오 또는 영화 콘텐츠; 또는 심지어(화자(SPKR)가 포인팅 디바이스(10)로 "그리기" 또는 "쓰기"를 할 수 있는) "화이트 보드"로서의 빈 스크린일 수 있다. 본 발명의 실시예들과 관련하여 유용한 시각적 정보의 다른 유형들은 본 명세서를 참고하면 본 발명이 속하는 기술분야의 숙련된 자에게 명확할 것이다.
도 1에서 보는 바와 같이, 또한 설명한 바와 같이, 예로써, 상기에 포함된 미국 공개특허 US 2011/0227827에서는, 화자(SPKR)가 디스플레이(20)에 있는 이미지의 전부 또는 일부를 캡쳐할 수 있고 그 이미지의 지시된(또는 목표로 한) 타겟 위치와 상호작용할 수 있는 포인팅 디바이스(10)를 이용하여 디스플레이 시스템(30)에 의한 발표자료 또는 다른 시각적인 출력의 동작을 원격으로 및 대화형으로(interactively) 제어한다. 이 예에서의 포인팅 디바이스(10)는 디스플레이(20)의 이러한 지시된 위치 및 화자(SPKR)로부터의 다른 사용자 명령들을 디스플레이 시스템(30)의 수신기(24)에 전달하고, 차례로 컴퓨터(22)에 전달한다. 이런 방식으로, 본 발명의 실시예들에 따른, 디스플레이된 내용과의 원격 상호작용이 수행된다.
도 2a는 포인팅 디바이스(10) 및 디스플레이 시스템(30)이라는 주요 구성 성분을 이용하여, 도 1에 나타난 바와 같은, 또한 상기에 포함된 미국 공개특허 US 2011/0227827에 개시된 바와 같은 환경에서 유용한 대화형 디스플레이 시스템 구성의 일반화된 예를 보여준다. 이 예에서, 디스플레이 시스템(30)은 프로젝터(21)에 의해 디스플레이 스크린(20)에 디스플레이될 "페이로드(payload)" 이미지들을 발생시키기 위한 적절한 기능을 갖는 컴퓨터(22)를 포함하며, 이러한 페이로드 이미지들은 청중들이 보도록 의도된 것이다. 페이로드 이미지 발생 기능에 있어서, 컴퓨터(22)는 디스플레이될 시각적 정보(즉, 시각적 "페이로드" 이미지들)를, 예를 들면, 메모리에 저장된 미리 발생된 발표 파일의 형태로, 또는 컴퓨터(22)가 네트워크 또는 인터넷을 통해 검색할 수 있는 것과 같은 능동형 콘텐츠(active content)의 형태로 발생하거나 또는 액세스할 것이다. 또한, 상기에 포함된 미국 공개특허 US 2011/0227827에 개시된 바와 같이, 컴퓨터(22)로부터 오는 페이로드 이미지 프레임 데이터는, 그래픽 디스플레이(20)에 디스플레이될 때, 포인팅 디바이스(10)에 의해 캡쳐될 수 있고 포인팅 디바이스(10)에 의해 지시된 위치를 연역하기 위해 위치설정 회로(positioning circuitry, 25)에 의해 사용될 수 있는 타겟 발생기 기능(target generator function, 23)에 의해 발생된 위치설정 타겟 이미지 콘텐츠(positioning target image content)와 조합된다. 그래픽 어댑터(27)는 페이로드 이미지 데이터와 위치설정 타겟 이미지 콘텐츠의 조합을 포함하는 이미지 데이터의 일련의 프레임들을 적절한 디스플레이 형식(format)으로 프로젝터(21)에 제공하기에 알맞은 적절한 기능을 포함한다. 이 프로젝션 예에서는, 프로젝터(21)는 결국 해당 이미지들(I)을 디스플레이 스크린(20)에 투영한다.
디스플레이 시스템(30)의 특정한 구성 및 그 구성 성분들인 컴퓨터(22), 위치설정 회로(25), 타겟 발생기 회로(23) 및 그래픽 어댑터(27)는 폭 넓게 달라질 수 있다. 컴퓨터(22)의 예로는 페이로드 이미지들을 발생시키기 위한 적절한 처리 회로를 포함하고, 위치설정 타겟을 발생시키며, 그래픽 어댑터(27) 이전에 또는 이를 통하여 상기 두 가지를 조합하고, 그리고 디스플레이된 이미지의 지시된 위치를 결정하기 위하여 포인팅 디바이스(10)로부터 오는 데이터를 수신하고 처리하는(데스크탑, 노트북, 또는 기타 적당한 형태의) 단일의 개인용 컴퓨터 또는 워크스테이션을 들 수 있다. 아니면, 컴퓨터(22)의 외부에 있는 별개의 기능적 시스템들이 타겟 발생기(23), 수신기(24), 위치설정 회로(25), 및 아마도 그래픽 어댑터(27) 자체 중에서 적어도 하나의 기능을 수행하는 것을 생각해 볼 수 있다. 이러한 기능들의 다른 다양한 대체적인 구현을 또한 생각해 볼 수 있다. 어떤 경우에도, 컴퓨터(22), 위치설정 회로(25), 타겟 발생기(23), 및 그래픽 디스플레이(20)에 디스플레이된 이미지들 및 위치설정 타겟들의 발생에 관련된 다른 기능들은, 처리 회로에 의해 실행될 때 본 명세서에서 설명한 바와 같은 본 발명의 실시예들의 다양한 기능들 및 동작들을 수행할 컴퓨터 프로그램 명령들을 저장하고 있는 컴퓨터에서 읽혀질 수 있는 매체의 형태로 적절한 프로그램 메모리를 포함할 것으로 생각된다. 본 명세서를 참고하는 본 발명이 속하는 기술분야의 숙련된 자는, 과도한 실험을 하지 않고, 본 발명의 이러한 실시예들의 실시를 위한 적절한 컴퓨터 하드웨어 및 해당 컴퓨터 프로그램들을 손쉽게 배치할 수 있을 것으로 생각된다.
이 예에서의 포인팅 디바이스(10)는 광학 시스템(12) 및 이미지 센서(14)로 구성된 카메라 기능을 포함한다. 디스플레이(20)를 목표로 하는 포인팅 디바이스(10)와 함께, 이미지 센서(14)는, 포인팅 디바이스(10)와 디스플레이(20) 간의 거리, 및 광학 시스템(12) 내의 렌즈들의 초점 거리 등에 따라, 디스플레이(20)에 있는 이미지(I)의 전부 또는 일부에 노출된다. 이미지 캡쳐 기능(16)은 사용자에 의해 선택된 시간에, 또는 일련의 샘플 시간들 각각에서 캡쳐될 때, 특정한 지점에서 캡쳐된 이미지의 디지털 표현을 획득하고 저장하기 위한 공지의 적절한 회로를 포함한다. 포인팅 디바이스(10)는, 포인팅 디바이스(10)의 사용자가 이미지 캡쳐를 동작시키기 위하여, 또는 이후에 설명되어 본 발명이 속하는 기술분야의 숙련된 자에게 명확해질 다른 기능들을 위하여, 마우스 버튼과 유사하게 사용자 입력을 제공할 수 있는 종래의 푸시 버튼 또는 다른 스위치인 액추에이터(15)를 포함한다. 이 예에서, 디스플레이(20)의 지시된 위치의 검출에 대한 내비게이션(navigation)을 돕기 위해서, 또는 디스플레이된 콘텐츠와의 사용자 상호작용을 향상시키기 위해서, 적어도 하나의 관성 센서가 포인팅 디바이스(10) 내에 또한 포함될 수 있다. 이러한 관성 센서의 예로서 가속도계, 자기 센서(즉, 지구 자기장에 대해 방향을 감지하기 위한 센서), 자이로스코프 및 기타 다른 관성 센서들을 들 수 있다.
도 2a의 이 예에서, 포인팅 디바이스(10)는 위치설정 회로(25)에 이미지 캡쳐 기능(16)에 의해 획득된 캡쳐된 이미지에 대응하는 신호들을 전달하도록 동작될 수 있다. 이러한 통신 기능은, 무선 주파수 신호들(예를 들면, 블루투스 또는 적절한 IEEE 802.11과 같은 종래의 표준에 따른, 또는 독점적 무선 프로토콜에 따른)이 송신되는 방식으로, 내부 안테나(A)와 함께 포인팅 디바이스(10) 내의 무선 송신기(18)에 의해 수행된다. 송신기(18)는, 적용 가능한 무선 프로토콜을 통해 다른 사용자 입력 및 제어 신호들과 함께, 캡쳐된 이미지를 인코딩하고, 변조하고 송신하기 위하여 종래와 같이 구성되고 동작될 것으로 생각할 수 있다. 이 예에서, 수신기(24)는 안테나(A)를 통하여 포인팅 디바이스(10)로부터 오는 송신된 신호들을 수신할 수 있고, 위치설정 회로(25)가 처리하기에 적합한 베이스밴드(baseband) 형태로 수신된 신호들에 대해 복조, 디코딩, 필터링 및 그 외의 처리를 수행할 수 있다.
본 발명의 실시예에 따른 포인팅 디바이스(10)는 또한 페어링 회로(13)를 포함한다. 포인팅 디바이스(10)와 컴퓨터(22)를 "페어링"시킬 때 유용한 페어링 회로(13)는, 경우에 따라, 디스플레이(20)에서 이미지(I)의 일부분 내에 디스플레이된 특정 정보를 검출하고 디코딩하도록 프로그램되거나 또는 다르게 동작될 수 있는 프로그램 가능한 또는 사용자 지정의 논리 회로(custom logic circuitry)에 해당한다. 이와 같이, 본 발명의 실시예에 따른 페어링 회로(13)는 이미지 캡쳐 기능(16)으로부터 이미지 데이터를 수신하고, 그러한 이미지 데이터에 포함된 페어링 정보에 상응하는 신호들을 송신기(18)에 전달한다. 하드웨어 관점에서, 페어링 회로(13)는 이미지 캡쳐(16) 또는 송신기(18)(또는 둘 모두)와 동일한 물리적 집적 회로 내에 구현될 수 있거나, 또는 이와 달리, 제공될 수 있는 일반적인 제어 및 처리 회로를 포함하는 포인팅 디바이스(10) 내의 다른 회로에 의해 구현될 수 있다. 또한, 특정한 페어링 회로(26)는, 이후에 설명하게 될 바와 같이, 포인팅 디바이스(10)로부터의 무선 신호들에 응답하여 디스플레이 시스템(30)에 의해 수행되는 페어링 및 인가 기능들을 관리하기 위하여, 디스플레이 시스템(30) 내에 구현될 수 있다. 아니면, 디스플레이 시스템(30) 내의 컴퓨터(22) 또는 다른 프로그램 가능한 기능들이 그러한 페어링 및 인가 기능들을 관리할 수 있다.
도 2b는 본 발명의 실시예에 따른 대화형 디스플레이 시스템(30')의 대체적인 일반화된 배치를 도시하고 있다. 이 시스템은 앞에서와 같이 프로젝터(21) 및 디스플레이(20)를 포함하며, 프로젝터(21)는 상기한 바와 같이 컴퓨터(22)에 의해 발생된 페이로드 이미지 콘텐츠 및 위치설정 타겟 이미지 콘텐츠를 투영한다. 이 예에서, 포인팅 디바이스(10')는 그것이 현재 지시하고 있는 디스플레이(20)의 위치를 결정하는 것과 관련된 일정부분의 또는 모든 연산을 수행한다. 이와 같이, 카메라(렌즈(12), 이미지 센서(14), 및 이미지 캡쳐(16))에 부가하여, 포인팅 디바이스(10')는 페어링 회로(13) 및 무선 송신기(18)과 함께, 위치설정 회로(25')를 포함한다. 컴퓨터(22)는 앞에서와 같이 수신기(24)와 결합되어 있다. 앞서 언급한 바와 같이, 페어링 회로(26)는 포인팅 디바이스(10')로부터의 무선 신호들에 응답하여 수행되는 페어링 및 인가 기능들을 관리하기 위하여 디스플레이 시스템(30') 내에 또한 구현될 수 있다; 아니면, 이들 페어링 및 인가 기능들은 컴퓨터(22)에 의해 수행될 수 있다.
일반적인 의미에서, 위치설정 회로(25')는, 그것의 이미지 센서(14) 및 이미지 캡쳐(16)에서 얻어진 캡쳐된 이미지(I) 내에 포함된 위치설정 타겟 이미지 콘텐츠와 그것의 메모리에 저장된 위치설정 타겟 이미지 정보를 비교함으로써, 목표로 하는 디스플레이(20)의 위치를 결정한다. 예를 들면, 위치설정 회로(25')는, 선험적으로, 디스플레이(20)에서 디스플레이될 위치설정 타겟의 노미널(nominal)한 모양 및 크기에 해당하는 이미지 데이터를 저장하여, 캡쳐된 이미지들을 그 위치설정 타겟 이미지와 비교할 수 있도록 한다. 그렇지 않으면, 송신기(18) 및 수신기(24)는 각각 서로서로 무선 통신을 송수신할 수 있는 송수신기들(transceivers)로 구현될 수 있으며, 이 경우 디스플레이(20)에 디스플레이된 바와 같은 위치설정 타겟들의 크기, 모양 및 위치에 상응하는 데이터는 비교를 위해 포인팅 디바이스(10')에 송신될 수 있다. 어떤 경우에도, 상기에 포함된 미국 공개특허 US 2011/0227827에 개시된 바와 같이, 포인팅 디바이스(10')에서 적어도 일부의 위치설정 회로(25')가 분배되어 있는, 도 2b의 시스템은 전반적으로 약간 다르게 동작하는 결과를 가져온다.
본 발명의 실시예에 따른 대화형 디스플레이 시스템의 동작은 상기에 포함된 미국 공개특허 US 2011/0227827에 모두 설명되어 있다. 간략히 요약하기 위해, 도 3을 참조하면, 일단, 포인팅 디바이스(10)가 컴퓨터(22), 수신기(24), 및 디스플레이된 이미지를 발생시키기 위해 컴퓨터(22)를 구비한 수반된 회로를 포함하는 디스플레이 시스템(30, 30')(총괄하여 본 명세서에 있어서 디스플레이 시스템(30)이라 함)과 페어링 되면, 포인팅 디바이스(10)는 컴퓨터(22)와 통신할 수 있다. 동작시, 디스플레이 시스템(30)은 절차(31)에서 디스플레이(20)에 디스플레이하기 위해 시각적인 페이로드 이미지 데이터를 발생시키며, 이러한 페이로드 이미지 데이터는 발표자료의 시각적 구성요소를 이루는 사람이 인식 가능한 콘텐츠에 상응한다. 이러한 시각적 페이로드 이미지 데이터와 함께, 절차(32)에서는, 타겟 발생기 기능(23)이 시각적 페이로드 이미지 데이터와 함께 디스플레이(20)에 또한 디스플레이될 위치설정 타겟 이미지들을 발생시킨다; 그러한 위치설정 타겟 이미지들은 청중(A)에게 인식 가능하거나 또는 인식 불가능할 수 있다; 어떤 경우에도, 위치설정 타겟들은 포인팅 디바이스(10)에 인식 가능할 것이다. 컴퓨터(22) 또는 그래픽 어댑터(27)은, 디스플레이 시스템(30)의 구성(architecture)에 따라, 절차(34)에서 디스플레이(20)에 디스플레이하기에 적합한 형태로, 예를 들면, 종래의 의미로 그래픽 또는 비디오 데이터의 적어도 하나의 "프레임" 형태로 시각적 페이로드 이미지 데이터와 위치설정 타겟 이미지 데이터를 조합한다. 그러한 조합된 프레임들은, 절차(36)에서, 이용하는 디스플레이 기술에 따라, 디스플레이(20)에 출력하기 위해 프로젝터(21)에 전달되거나, 또는 그래픽 디스플레이(20) 자체에 전달된다.
다음에, 절차(38)에서, 포인팅 디바이스(10)는 디스플레이된 이미지에 적어도 하나의 위치설정 타겟들을 포함하는, 디스플레이(20)에 디스플레이되는 이미지의 적어도 일부를 캡쳐함으로써 그래픽 사용자 인터페이스(GUI) 방식으로 발표자료를 제어할 수 있다. 절차(40)에서, 포인팅 디바이스(10)는 캡쳐된 이미지 내에 포함된 위치설정 타겟 이미지의 특성을 결정하며, 그러한 특성으로부터, 절차(42)에서 이미지 캡쳐시에 포인팅 디바이스(10)가 지시하는 디스플레이된 이미지(I)의 위치를 결정한다. 다음에, 그 위치와 어떠한 수반하는 제어 신호들(즉, 액추에이터(15)를 누름)은 컴퓨터(22)에 통신하기 위해 수신기(24)에 송신된다. 다음에, 컴퓨터(22)는 포인팅 디바이스(10)을 통해 사용자에 의해 주어지는 GUI 명령, 예를 들면, "선택", 클릭 및 드래그, 더블 클릭, 우클릭, 디스플레이된 컨텐츠의 줌인 또는 줌아웃, 페이지 넘기기 등을 디코딩할 수 있다. 이러한 GUI 명령들의 다른 예들로는 포인팅 디바이스(10)을 사용하여, 디스플레이된 콘텐츠(예를 들면, 그 콘텐츠에 강조디스플레이를 하거나 또는 코멘트를 달기 위해)에 또는 빈 "화이트 보드" 디스플레이에, 손으로 이미지를 그리는 것 또는 손으로 텍스트를 쓰는 것을 들 수 있다. 디스플레이 시스템(30)이 절차(44)에서 이런 방식으로 사용자 명령을 디코딩할 때, 상기 대화형 디스플레이 시스템은, 예를 들면, 절차(30)에서 수신된 사용자 명령에 응답하여 디스플레이될 새로운 시각적 페이로드 이미지 콘텐츠를 발생시킴으로써, 상기 동작을 반복한다. 선택적으로, 위치설정 타겟들은, 적절하게 디코딩된 명령에 응답하여, 발생되어 그 다음 디스플레이된 이미지로 조합될 수 있다. 발표는 이러 방식으로 계속 진행된다.
상기에서 요약한 바와 같이 또한, 예를 들면, 상기에 포함된 미국 공개특허 US 2011/0227827에 개시된 바와 같이, 대화형 디스플레이 시스템의 동작은, 디스플레이 시스템(30)이 포인팅 디바이스(10)로부터 수신하는 제어 신호들에 응답한다는 의미에서, 포인팅 디바이스(10)와 디스플레이 시스템(30, 30')(총괄하여 본 명세서에 있어서 디스플레이 시스템(30)이라 함)이 서로서로 페어링된다는 것을 상정하고 있다. 이 설명을 위해, 그러한 제어 신호들은, 예를 들면, 도 2a에서 보는 바와 같이, 포인팅 디바이스(10)의 송신기(18)에 의해 디스플레이 시스템(30)의 수신기(24)에 송신되는 것과 같은 무선 통신일 수 있다. 본 명세서를 참고하는, 본 발명이 속하는 기술분야의 숙련된 자는 다른 통신 설비들이 본 발명의 실시예들에 또한 이용될 수 있음을 알 것이다.
본 발명의 실시예들은 도 1의 대화형 디스플레이 시스템의 환경 및 그 대화형 디스플레이 시스템이 사용되고 동작되는 방식에 특히 적합하다. 많은 환경에 있어서, 다수의 발표가 서로 약간 근접한 범위 내에서 동시에 진행될 수 있다. 예를 들면, 교실 건물들은 일반적으로 몇몇 교실들이 서로 근접한 상태로, 보다 구체적으로는 서로의 단거리 무선 통신 신호 범위 내에서 지어진다. 유사하게, 사무 건물의 컨퍼런스 센터 또는 다른 영역들은 종종 서로 근접한 여러 회의실들을 가지고 있다. 그러한 상황들에 있어서, 특정한 포인팅 디바이스로부터 송신된 종래의 단거리 무선 신호들은 다수의 수신기들에 의해, 즉, 동일한 방에 있는 디스플레이 시스템 내의 수신기뿐만 아니라, 다른 방들에 있는 디스플레이 시스템들의 수신기들에 의해서도 수신될 수 있다. 물론, 하나의 방에 있는 포인팅 디바이스는 다른 방들의 디스플레이들을 볼 수 없기 때문에, 디스플레이 시스템은 그 자체가 있는 방외의 방으로부터 방출되는 신호들에 응답해서는 안 된다. 또한, 포인팅 디바이스들이 특정 디스플레이 시스템들에 엄격하게 "할당"되지 않을 수 있다고 생각할 수 있다. 오히려, 서로 다른 디스플레이 시스템들에서 행해지는 발표를 제어하기 위해서, 특정 사용자가 많은 다른 장소에서 발표하기 위해 동일한 포인팅 디바이스를 사용할 수 있도록, 포인팅 디바이스들이 개별 사용자들에게 개별화될 수 있다고 생각할 수 있다.
본 발명과 관련하여, 특정 포인팅 디바이스가 디스플레이 시스템의 디스플레이를 볼 수 있다는 것을 인가 속성으로 이용하여, 상기 디스플레이 시스템의 컴퓨터에 대한 제어 신호들의 정당한 소스로서 상기 특정 포인팅 디바이스를 쉽고, 신속하고, 신뢰성 있게 페어링하는 것에 대한 요구가 있다는 것이 알려져 있다. 반대로, 디스플레이 시스템은, 제어 신호들의 정당한 소스로서, 그 자체의 디스플레이를 볼 수 없는 그러한 포인팅 디바이스들을 인가해서는 안 된다. 본 발명의 실시예들은, 이후에 더욱 자세히 설명될, 그러한 페어링 기능을 제공한다.
본 발명과 관련하여, 일단 페어링되면, 포인팅 디바이스는 그것이 제어하게 될 디스플레이 시스템을 인가하거나 또는 다른 방식으로 인증할 필요가 특별히 없다는 것이 또한 알려져 있다. 동작에 있어서, 사용자는 그래픽 사용자 인터페이스(GUI) 방식으로 발표를 발생시키고 제공하는 컴퓨터의 동작을 제어하게 될 것이다. 다시 말하면, 발표의 제어는 사용자가 보고 있고 사용자가 포인팅 디바이스를 이용하여 상호작용할 수 있는, 현재 디스플레이되고 있는 그래픽 요소들에 기초하고 있다. 따라서, 사용자는 포인팅 디바이스로부터 나오는(디스플레이된 출력의 변화에 의해 분명한) 제어 신호들에 응답하고 있는 컴퓨터가 그렇게 제어되어야 할 컴퓨터임을 알게 될 것이다. 또한, 본 발명과 관련하여, 포인팅 디바이스에 의해 송신된 GUI 제어 신호들의 보안이, 설사 있다고 하더라도, 거의 필요가 없다는 것이 알려져 있다. 예를 들면, 상기에 포함된 미국 공개특허 US 2011/0227827에서 설명하는 바에 따라, 포인팅 디바이스(10, 10')에 의해 송신된 제어 신호들의 콘텐츠는, 원하는 조치를 실행하기 위한 "클릭"(아마도 "우클릭" 등과 같은 적어도 하나의 선택사항을 가진)과 함께, 실시에 따라, 디스플레이된 이미지의 특정 위치(x-y 좌표) 또는 적어도 하나의 위치설정 타겟 및 그 속성을 포함하는 데이터와 같은 그러한 정보에 제한될 수 있다. 따라서, 그러한 무선 제어 신호들에 있는 정보 콘텐츠는, 있다 해도, 매우 제한된다. 그러므로, 대화형 디스플레이 시스템의 사용자는 일반적으로 그러한 무선 제어 신호들이 특정 발표의 외부로부터 어쩐지 "염탐"되는 건 아닌지에 대해 거의 걱정하지 않을 것이다. 결과적으로, 이러한 제어 신호들은 암호화될 필요가 없으며, 또한 그들의 수신도 특정 목표지점의 디스플레이 시스템에 제한될 필요도 없다.
본 발명과 관련된 이러한 발견과 관찰의 결과로, 본 발명의 실시예에 따르면, 대화형 디스플레이 시스템과 같은 응용 기기들을 위한, 포인팅 디바이스에 최소의 연산 및 기타 기능을 가지도록 하고, 그 포인팅 디바이스의 무선 송신기에 최소의 부하를 주며, 또한 상기 포인팅 디바이스에 추가될 추가적인 입력 기능(키보드와 같은)을 필요로 하지 않고 구현될 수 있는 페어링 능력이 제공된다. 결과적으로, 상기 포인팅 디바이스의 비용이 최소화될 수 있고, 배터리 파워가 절약될 수 있으며, 또한 상기 포인팅 디바이스의 폼 팩터(form factor)가 최소로 또한 인가적으로 알맞은 형태로 유지될 수 있다.
이제, 도 4a 내지 도 4c를 참고하여, 본 발명의 실시예에 따른 시각적 페어링을 수행함에 있어서, 포인팅 디바이스(10) 및 디스플레이 시스템(30)의 동작에 대해 더욱 자세히 설명할 것이다. 상기한 바와 같이, 본 명세서를 참고하는 본 발명이 속하는 기술분야의 숙련된 자는 특정 응용기기 및 구성에 따라 구성되고 배열된 포인팅 디바이스 및 디스플레이 시스템의 회로 및 연산 기능 내에서 이러한 절차 단계들을 쉽게 실시할 수 있을 것이다. 이와 같이, 본 발명의 실시예에 따른 도 4a 내기 도 4c의 동작은, 예로써, 도 2a의 포인팅 디바이스(10) 및 디스플레이 시스템(30)과 관련지어 설명될 것이다. 물론, 유사한 기능이 도 2b의 포인팅 디바이스(10') 및 디스플레이 시스템(30')에 직접 적용될 것이고, 또한 본 명세서를 참고하는 본 발명이 속하는 기술분야의 숙련된 자에 의해 배열된 그러한 대체적인 구성 및 실시에 또한 쉽게 적용될 것이며, 그러한 대체 및 변경은 본 발명의 범위에 속한다고 볼 수 있다.
도 4a에서 보는 바와 같은 절차에 따른 도 2a의 대화형 디스플레이 시스템의 동작은, 그 디스플레이(20)에, 디스플레이 시스템(30)이 그 근방의(즉, 디스플레이(20)의 송수신선이 직결된 범위 내의) 포인팅 디바이스(10)와 페어링하고자 한다는 디스플레이를 포함하는, 또한 그러한 페어링에 사용하기 위한 페어링 코드를 포함하는 이미지들을 디스플레이하는 절차(50)와 함께 시작된다. 절차(50)에서 디스플레이 시스템(30)에 의해 발생되고 디스플레이된 이미지들은 포인팅 디바이스(10)의 카메라 기능(즉, 선택적 시스템(12), 이미지 센서(14) 및 이미지 캡쳐 기능(16))에 의해 캡쳐된 이미지 데이터가, 메시지와 상기 페어링 코드를 페어링할 목적을 복구하기 위하여, 포인팅 디바이스(10)의 페어링 회로(13) 또는 다른 기능에 의해 디코딩될 수 있는 그러한 방식으로 인코딩된 이미지들이다. 원한다면, 상기 페어링 코드 자체는 또한 페어링 의도 코드로서의 역할을 할 수 있다; 이 경우에, 페어링 코드의 디스플레이는 내재적으로 디스플레이 시스템(30)이 포인팅 디바이스와 페어링하고자 한다는 것을 의미한다. 그러나, 페어링 의도 메시지는, 상기 페어링 코드가 디스플레이 시스템(30)에 의해 디스플레이된 다른 이미지 데이터와 충분히 구별되지 않는 그러한 실시에 있어서 유용할 수 있으며, 그러한 경우에, 페어링 의도 메시지는 포인팅 디바이스(10)가 특정 이미지들을 상기 페어링 코드로서 간주하는 것에 대해 경고할 수 있다.
보다 구체적으로, 디스플레이 시스템(30)은 페어링 의도 및 페어링 코드를 디스플레이함에 있어서 많은 다양한 방법 중에 어떠한 방법으로도 절차(50)를 수행할 수 있다. 이러한 메시지들을 포함하는 이미지들은 오직 포인팅 디바이스(10)에 의해서만 보여지고 응답될 수 있을 필요가 있기 때문에, 절차(50)에서 발생되고 디스플레이되는 이미지들이 반드시 사람이 인식할 수 있거나 또는 사람이 읽을 수 있어야 할(즉, 문자/숫자적(alphanumeric)) 필요는 없다. 오히려, 많은 경우에, 절차(50)의 이미지들이 포인팅 디바이스(10)의 페어링 회로(13)에 의해서 쉽게 해석되는 그러한 방식으로 코딩되는 것이 바람직할 수 있다. 페어링 의도 및 페어링 코드(또는, 원할 경우, 단일 메시지로 조합된 두 메시지 모두)로서 사용될 수 있는 이미지들의 예로서 잘 알려진 UPC 바코드, "QR" 코드와 같은 2-D 매트릭스 바코드(matrix barcode) 등을 들 수 있다. 물론, 이러한 메시지를 인코딩하는 독점적 또는 특화된 패턴들이 또한 사용될 수 있다. 상기에 포함된 미국 공개특허 US 2011/0227827에 개시된 바와 같이, 이러한 기계판독 가능한 코드들은 청중(A)이 볼 수 있도록, 종래의 방식대로 그래픽 디스플레이(20)에 디스플레이될 수 있거나, 또는 사람이 인식할 수 없는 방식으로, 예를 들면, 청중(A)이 아닌 포인팅 디바이스(10)가 인식할 수 있도록, 교번 프레임에서 교번 극성의 빛의 세기의 패턴화 변조를 이용하여 디스플레이될 수 있다; 이 예에서, 페어링 회로(13)는, 사람이 볼 있는 콘텐츠가 상쇄되는 동안, 교번 극성 변조의 패턴들을 복구하기 위하여 캡쳐된 이미지 데이터의 연속적인 프레임들을 빼는 기능을 포함할 수 있다. 몇몇 실시 및 환경에 있어서, 그래픽 디스플레이(20)에, 페어링이 발생하고 있다는, 사람이 볼 수 있는 디스플레이가, 예를 들면, 사용자 및 그 상황의 청중에게 경고하는 것이(예를 들면, 간섭 또는 다른 인가되지 않은 디바이스에 의해 시도되는 경우, 페어링 과정을 취소시킬 수 있는 것이) 유용할 수 있다.
도 5는 본 발명의 실시예들과 관련하여 사용하기에 적합한 그래픽 시각적인 페어링 코드의 예를 도시하고 있다. 이 특정 시각적 페어링 코드는 포인팅 디바이스(10)에 의해 인식 가능하며, 또한 사람이 인식 가능하거나(즉, 디스플레이(20)에 보여지는 이미지들과 같이) 또는 사람이 인식할 수 없는 이미지(I)가 상기에 포함된 미국 공개특허 US 2011/0227827에 개시된 바와 같은 형태로 디스플레이 시스템(30)에 의해 디스플레이될 수 있다. 도 5의 시각적 코드는 요소(80) 및 코드 비트들(820 내지 826)을 포함한다. 요소(80)는 디스플레이(20)에 그래픽 페어링 코드의 존재, 위치 및 방향을 나타내는 역할을 하는, 비교적 크고, 따라서 쉽게 검출되는 시각적 요소이다. 이 예에서, 도 5로부터 명확한 것처럼, 요소(80)는 큰 검은색 사각형이다. 코드 비트들(820 내지 826)은 이 예에서 요소(80)의 구석에 둘러서 배치된, 일곱 개의 더 작은 요소들이다. 이 예에서, 코드 비트들(820 내지 826) 각각은 "0"(백색) 또는 "1"(흑색) 값을 취할 수 있으며, 또한 그런 식으로, 차례로 고려될 때 하나의 이진 워드(binary word)를 구성한다. 상기 "0" 백색 코드 비트들(예를 들면, 도 5에서 코드 비트들(826, 824, 821))은 증가된 휘도(luminance)에 의해서, 또는 그러한 위치들에서 무변조에 의해(어떤 경우에도, 도 5에 나타난 시각적 가장자리들이 있거나 또는 없이 제공되는) 표현될 수 있다. 일반적으로, 이 코드의 해석을 위해 어떤 규약이 확립되어 있다. 예를 들면, 상기 코드는, 요소(80)의 구석에 있는 코드 비트(823)가 코드 워드의 중간 비트가 되도록 한 채로, 상기 코드는 특정 방향으로 순서적으로 취해진 코드 비트들(820 내지 826)의 순서에 의해 고려될 수 있다. 요소(80)의 단일 구석 둘레의 코드 비트들(820 내지 826)의 배열은 상기 코드가 그것의 회전 방향에 독립적일 수 있게 한다. 도 5의 예에서, 규약이 상기 코드를 반시계 방향으로(MSB 우선) 고려하는 경우에 대하여, 상기 코드 워드 값은 01011012 이다. 디스플레이(20)로부터 넓은 범위의 거리에 걸쳐서 포인팅 디바이스(10)의 페어링을 가능하게 하기 위하여, 다양한 크기의 상기 시각적 코드의 다양한 경우들이 동시에 또는 순서대로 이미지(I) 내에서 디스플레이될 수 있다.
다시 도 4a를 참조하면, 절차(50)가 수행되고 있는 시점에, 디스플레이 시스템(30)은 필연적으로 그래픽 디스플레이(20)에 대한 포인팅 디바이스(10)의 위치를, 또는 어떤 포인팅 디바이스가 디스플레이(20) 근처에 있는지 조차도 알지 못한다. 이와 같이, 절차(50)의 이미지들이 제공되는 방식은 포인팅 디바이스(10)와 디스플레이(20) 간의 넓은 범위의 거리에 걸쳐서 포인팅 디바이스(10)에 의한 캡쳐에 적합하다고 생각할 수 있다. 상기에 포함된 미국 공개특허 US 2011/0227827에 개시된 대화형 디스플레이 시스템은 디스플레이로부터 넓은 범위의 거리에 걸쳐서 그것의 포인팅 디바이스의 동작을 가능하게 하며, 그런 방식으로 본 발명의 실시예들과 관련하여 사용하기에 특히 적합하게 된다. 아니면, 절차(50)는 페어링을 지원하기 위해 다른 방식으로, 예들 들면, 디스플레이(20)에 대해 그런 넓은 범위의 거리에 걸쳐서 포인팅 디바이스(10)에 의한 캡쳐를 원활하게 하기 위해 절차(50)의 이미지들을 다양한 크기로 디스플레이함으로써 수행될 수 있다. 또 다른 대체로서, 성공적으로 페어링 코드를 캡쳐하기 위해, 본 발명의 실시예들의 대화형 디스플레이 시스템의 사용자가 페어링 중에 포인팅 디바이스(10)를 디스플레이(20)로부터 특정 거리에 위치시키도록, 또는 포인팅 디바이스(10)를 디스플레이(20)의 특정 위치에(예들 들면, 이미지(I)의 중앙, 또는 그 모서리들 중 하나에) 조준하도록 할 수 있다. 절차(50)에서 수행되는 이미지들의 디스플레이에 있어서 다른 접근 방식들은 본 명세서를 참고하는 본 발명이 속하는 기술분야의 숙련된 자에게 또한 명확해질 것이다.
어떤 상황이든지, 절차(50)는 포인팅 디바이스(10), 및 그러한 페어링을 위한, 시각적으로 디스플레이되는(사람이 인식 가능하든 아니든) 페어링 코드와 페어링 하고자 하는 디스플레이 시스템(30)의 목적을 수행하는 어떠한 시각적 출력 접근 방식에 의해서도 수행될 수 있다.
절차(50)에서 페어링 의도 메시지 및 페어링 코드의 시각적 디스플레이에 이어서 또는 디스플레이 중에, 포인팅 디바이스(10)는 절차(51)에서 그래픽 디스플레이(20)에 디스플레이된 이미지들을 캡쳐한다. 포인팅 디바이스(10)가 이러한 이미지들을 캡쳐하는 방식은 상기 포인팅 디바이스(10)의 구성에 의존한다. 상기된 및 상기에 포함된 미국 공개특허 US 2011/0227827에 개시된 예에서, 광학 시스템(12), 이미지 센서(14) 및 이미지 캡쳐 회로 기능(16)을 포함하는 카메라 기능은, 디스플레이(20)에 있는 시각적 이미지들을 감지하고 그러한 이미지들에 상응하는 디지털 데이터를 발생시키기 위하여, 포인팅 디바이스(10) 내에 포함된다. 아니면, 포인팅 디바이스(10)는 포토 레지스트 또는 다른 포토 검출기(예를 들면, 가시광, 적외선, 또는 다른 스펙트럼의 포토 다이오드) 등을 이용하여, 절차(51)에서 이미지들을 캡쳐할 수 있다. 절차(51)의 이미지 캡쳐는 액추에이터(15)를 누르는 사용자에 응답하여(예를 들면, 포인팅 디바이스(10)를 테이블로부터 집었다는 것을 나타내는, 포인팅 디바이스(10) 내의 내부 센서들에 의해서 동작될 때) 연속적으로, 또는 자동으로 포인팅 디바이스(10)에 의해 수행될 수 있다.
또한, 절차(51)에서, 상기한 포인팅 디바이스(10, 10')의 예를 들면, 페어링 회로(13)는, 페어링 의도 메시지 및 페어링 코드의 존재를 검출하기 위하여, 캡쳐된 이미지들에 상응하는, 이미지 캡쳐 회로 기능(16)에 의해 발생된 데이터를 수신하고 해석한다. 상기 이미지 데이터 해석이 페어링 회로(13)에 의해 수행되는 방식은 이 정보를 전달하는 디스플레이된 이미지들의 속성에 의존한다.
페어링 코드의 검출시, 페어링 회로(13)는 검출된 페어링 코드를 포함하는 송신기(18)에 데이터를 전달하고, 절차(53)에서, 송신기(18)는 무선 신호를 이용하여, 검출된 페어링 코드를 디스플레이 시스템(30)에 전달한다. 일반적인 의미에서, 절차(53)에서 송신되는 상기 무선 신호는, 일반적으로 정보 신호에 의해 변조된 캐리어 파형(carrier waveform)을 포함하는, 무선 주파수 신호(radio frequency signal)와 같은 전자기적 신호이다. 이 무선 신호를 위한 특정 변조 및 송신 방식의 선택은 본 발명의 실시예들에 대해 중요하지 않다. 이와 같이, 송신기(18)이 페어링 코드를 포함하는 무선 신호를 송신하는 특정 변조 형식은 실시에 의존할 것이다. 이 송신된 무선 신호는 페어링 코드 자체를 명백하게 복제할 필요는 없으나, 디스플레이(20)에서 포인팅 디바이스(10)에 의해 검출된 페어링 코드가 컴퓨터(22)에서 적어도 디코딩되거나 또는 연역되는 정보를 포함해야만 한다. 또한, 이 무선 신호는, 명백하게 무선 신호의 헤더(header) 부분에 디바이스 식별자를 포함하거나, 또는 특정 주파수 또는 무선 신호와 함께 송신되는 변조 코드를 이용하여 특정 포인팅 디바이스(10)를 내재적으로 식별하는, 포인팅 디바이스(10)에 관한 어떤 식별 정보를 포함할 것으로 생각할 수 있다.
절차(52)에서, 디스플레이 시스템(30)의 수신기(24)는 캡쳐된 이미지들로부터 해석된 페어링 코드에 상응하는 정보를 포함하는, 포인팅 디바이스(10)에 의해 송신된 무선 신호를 수신한다. 결정(54)에 있어서, 디스플레이(30) 내의 페어링 회로(26)(또는 컴퓨터(22) 내의 대체적인 회로 또는 기능)는 절차(52)에서 수신된 페어링 코드가 절차(50)에서 디스플레이된 페어링 코드와 매칭되는지 여부를 결정한다. 아니라면(결정(54)이 "no"라면), 절차(52)에서 수신된 무선 신호는 디스플레이 시스템(30)이 페어링하고자 하는 포인팅 디바이스 에 상응하지 않는데, 예들 들면, 다른 방에 있는(즉, 디스플레이(20)과 송수신선이 직결되도록 근접하지 않은) 포인팅 디바이스에 상응하지 않는다. 절차(52)에서 수신된 페어링 코드가 절차(50)에서 디스플레이된 페어링 코드와 일치하면(결정(54)이 "yes"라면), 디스플레이 시스템(30)은, 어떤 컴퓨터(22)가 종래의 GUI 방식으로 동작할 것인지에 응답하여, 포인팅 디바이스(10)을 제어 신호들의 정당한 소스로서 인가한다. 예를 들면, 페어링 회로(26)는 이 인가를 디스플레이하도록 컴퓨터(22) 내의 레지스터 값을 설정할 수 있다; 다른 인가 기술들이 대체적으로 사용될 수 있다. 절차(52)에서 수신된 무선 신호 내의, 포인팅 디바이스(10)의 명시적인 또는 암시적인 식별은, 다른 무선 송신기들(즉, 디스플레이 시스템(30)과 페어링되지 않은 포인팅 디바이스(10))로부터 오는 신호들을 제외하고, 포인팅 디바이스(10)로부터 오는 후속 제어 신호들을 식별할 수 있도록, 디스플레이 시스템(30)이 어떤 포인팅 디바이스(10)가 인가되는지를 식별할 수 있게 한다.
절차(58)에서, 디스플레이 시스템(30)은 새로 페어링된 포인팅 디바이스(10) 또는 그 사용자에게 포인팅 디바이스(10)가 이제 컴퓨터(22)를 제어할 수 있도록 인가되었다는 것을 나타내는 메시지를 보낼 수 있다. 이 "페어링 됨" 이라는 메시지의 특정 형식 또는 방식은 디스플레이(20)에서 사람이 인식 가능한 그래픽 출력에서의 경고, 무선 신호(포인팅 디바이스(10)가 무선 수신기 기능을 갖추고 있다면), 또는 다른 어떤 적절한 기술과 달라질 수 있다. 사람이 인식 가능한 그래픽 출력은, 발표 중 다른 포인팅 디바이스가 디스플레이 시스템(30)과 페어링되었을 경우(예들 들면, 청중(A)의 구성원이 상기 발표와 또한 상호작용하고자 할 경우에), 그것이 사용자에게 또한 경고할 것이기 때문에, 매력적이다.
어떤 경우에도, 인가 절차(56)에 이어서, 포인팅 디바이스(10)에 의해서 나오는 GUI 명령들에 의해 제어되는 디스플레이 시스템(30)의 대화형 동작은 절차(60)에서 수행된다. 이 GUI 상황에서, 이 대화형 동작은, 다른 조치들(예를 들면, 액추에이터(15)를 "클릭하기")과 관련되어, 포인팅 디바이스(10)에 의해 지시된 디스플레이(20)의 위치를 식별하고 결정하는 단계, 예를 들면, 상기에 포함된 미국 공개특허 US 2011/0227827에 개시된 방식으로, 컴퓨터(22)에 의한 이러한 명령들의 해석 단계, 및 그러한 명령들에 응답 결과를 주는 단계를 포함한다.
본 설명으로부터 명확한 바와 같이, 이 대화형 디스플레이 시스템에 대한 페어링 과정은 인가할 포인팅 디바이스(10)나 또는 무선 통신을 위한 다른 디스플레이 시스템(30)을 필요로 하지 않는다. 포인팅 디바이스(10)가 디스플레이 시스템(30)과 페어링하기 위해 필요한 유일한 정보는 디스플레이(20)에서의 시각적인 정보를 이용하여 완전히 전달될 수 있다. 그러나, 이러한 대화형 디스플레이 시스템 환경에서, 포인팅 디바이스(10)는 그것의 시야 범위에서 오직 디스플레이(20)의 콘텐츠를 제어하는 데에만 관심이 있다. 이와 같이, 디스플레이(20)에서 페어링 코드를 보여주는 것은 포인팅 디바이스(10)가 디스플레이 시스템(30)을 그것의 제어 신호들의 목표 지점으로서 선택하기에 충분하다. 따라서, 포인팅 디바이스(10)는 무선 수신기 회로, 및 복조, 디코딩 및 수신된 무선 신호들을 해석하는 기능을 필요로 하지 않으며, 또한 페어링 코드를 디스플레이 시스템(30)에 전달하기 위한 보조 입력 디바이스들(키보드 등)도 필요로 하지 않는다. 이와 같이, 포인팅 디바이스(10)의 복잡성 및 이에 따른 비용은, 그것의 폼 팩터 및 배터리 파워 요구 사항들과 함께, 최소로 유지될 수 있다.
도 4b는, 디스플레이 시스템(30)이 절차(50)에서 페어링 의도 메시지 및 페어링 코드를 디스플레이했던, 도 4a와 관련하여 설명한 상기 페어링 절차에 대한 변형을 도시하고 있다. 상기에 언급한 바와 같이, 그러한 메시지들은 동시에 디스플레이될 수 있거나, 또는 페어링 코드가 페어링 의도 메시지에 대한 특정 시간 간격 내에서 제공될 수 있다. 도 4b에서, 디스플레이 시스템(30) 및 포인팅 디바이스(10)은 페어링 코드의 디스플레이 이전에, 적어도 어떤 최소한의 "핸드셰이킹(handshaking)"을 수행한다.
도 4b에서 보는 바와 같이, 페어링 절차는 디스플레이 시스템(30)이 그래픽 디스플레이(20)에 시각적으로 페어링 의도 메시지를 디스플레이하는 절차(50a)에서 시작된다. 앞에서와 같이, 이 페어링 의도 메시지는 사람이 읽을 수 있거나, 사람이 인식 가능하지만 읽을 수 없거나, 또는 사람이 인식할 수 없는 것일 수 있다. 응답에 있어서, 절차(51a)는 다음에, 그래픽 디스플레이(20)에서의 페어링 의도 메시지를 검출하기 위하여, 또한 페어링 코드에 대한 요청으로서, 근본적으로 페어링할 디스플레이 시스템(30)의 의도에 대한 "인정(acknowledgement)"으로서 인코딩되는 무선 신호를 송신하기 위하여, 포인팅 디바이스(10)에서 수행된다. 절차(51a)는 포인팅 디바이스(10)에 의하여, 그래픽 디스플레이(20)에서의 패턴 또는 이미지에 대한 그것의 이미지 캡쳐 및 페어링 회로(13) 및 송신기(18)에 의한 적절한 신호의 발생을 이용하여, "자동" 방식으로 수행될 수 있다. 아니면, 절차(51a)는, 포인팅 디바이스(10)의 사용자가 디스플레이(20)에서 페어링 의도 메시지를 보고, 액추에이터(15)를 누르거나 또는 그것의 송신기(18)가 무선 요청 신호를 송신하도록 하는 어떤 다른 명령을 포인팅 디바이스(10)에 내린다는 점에서, 사용자에 의해 구동될 수 있다. 절차(51a)에 대한 다른 접근 방식들도 또한 생각해 볼 수 있다.
무선 요청 신호의 수신에 대한 응답으로, 디스플레이 시스템(30)은 절차(50b)에서, 그것의 그래픽 디스플레이(20)에 페어링 코드를 발생시키고 디스플레이한다. 상기 페어링 코드는 도 4a와 관련하여 상기에서 설명한 다양한 방법 중 어떤 것에 따르든지, 절차(51a)에서 디스플레이될 수 있다. 또한, 절차(51b)에서, 포인팅 디바이스(10) 내의 카메라 기능은 디스플레이(20)으로부터 이미지들을 캡쳐하며, 페어링 회로(13)는 상기 페어링 코드를 그러한 캐처된 이미지들로부터 식별한다. 절차(53)에서, 포인팅 디바이스(10)의 송신기(18)는, 디스플레이 시스템(30)에 의한 수신(절차(52)), 비교(절차(54)), 및 절차(50b)에서 디스플레이된 페어링 코드와 일치한다면, 포인팅 디바이스(10)의 인가(절차(56))을 위하여, 식별된 페어링 코드를 포함하는 무선 신호를 송신한다.
본 발명의 본 실시예는 따라서 페어링 절차에 추가적인 핸드셰이킹 단계를 삽입한다. 이 핸드셰이킹은 디스플레이 시스템(30)이 오직 필요할 때만 페어링 코드를 발생시키고 전시할 수 있도록 하여, 그것의 연산 및 그래픽 기능이 페어링에 필요한 관련 시간 동안 외에 페어링 코드를 반복적으로 발생시키고 디스플레이하는 부담으로부터 벗어나게 한다.
상기한 바와 같이, 본 발명의 실시예에 따르면, 무선 수신기 회로가 포인팅 디바이스(10) 내에 구현될 필요가 없다. 그러나, 그러한 무선 수신기 기능이 포인팅 디바이스(10)에 제공되면, 추가적인 핸드셰이킹 및 통신이 페어링 절차 중 수행될 수 있으며, 그러한 한 예를 이제 도 4c와 관련하여 설명할 것이다.
이 예에서, 페어링 절차는 디스플레이 시스템(30)이 그것의 디스플레이(20)와 송수신선이 직결될 정도로 근접해 있는 포인팅 디바이스와 페어링할 수 있다는 것을 나타내는 무선 "비콘(beacon)" 신호를 송신하는 절차(62)로부터 시작된다. 이러한 무선 비콘은 일반적으로 전방위적으로, 또한 동일한 동작 주파수 및 변조 방식으로 통신하는 어떤 디바이스에 의한 것이든지 수신 및 작동에 대해 "개방된" 방식으로 송신될 것이다. 절차(63)에서, 포인팅 디바이스(10)는 무선 비콘 신호를 수신하고, 이에 응답하여 무선 페어링 요청 신호를 송신한다. 이 무선 페어링 요청 신호는 사용자 입력시, 예를 들면, 사용자가 상기 무선 비콘 신호의 수신에 응답하여 빛나는 포인팅 디바이스(10) 상의 LED 또는 다른 디스플레이자를 보았을 때 액추에이터(15)를 누름으로써, 포인팅 디바이스(10)에 의해 송신되는 것을 생각해 볼 수 있다. 아니면, 디스플레이 시스템(30)은, 사용자가 무선 페어링 요청 신호를 발행하기 위하여 액추에이터(15)를 누를 것인지 여부에 응답하여, 상기 무선 비콘 신호와 관련하여 디스플레이(20)에 사람이 읽을 수 있는 "페어링 가능" 이미지를 디스플레이할 수 있다. 디스플레이 시스템(30)의 무선 신호 범위 내에 있는 다른 어떤 포인팅 디바이스가, 디스플레이(20)의 시야 내에 있건 아니건 간에, 시각적 페어링 코드를 요청하여, 디스플레이 시스템(30)에 있는 그래픽 회로에 과도한 부담을 주고 또한 그러한 코드 이미지들과 함께 디스플레이(20)를 어수선하게 하는 결과를 가져오기 때문에, 포인팅 디바이스(10)가 무선 페어링 요청 신호를 발행하기 이전에 무선 비콘에 대한 자동 응답 이외에 어떤 조치가 포인팅 디바이스(10)에서 발생하는 것이 바람직하다.
무선 페어링 요청 신호의 수신시, 디스플레이 시스템(30)은 다음에, 상기한 바와 같이, 절차(50b)에서 디스플레이(20)에 시각적인 페어링 코드를 제공한다. 다음에, 도 4a 및 도 4b와 관련하여 상기한 바와 같이, 페어링 절차는, 포인팅 디바이스(10)가 상기 페어링 코드를 포함하는 이미지들을 캡쳐하고(절차(51b)), 디스플레이된 페어링 코드와 일치시켜 보기 위해(결정(54)) 그 페어링 코드를 포함하는 무선 신호를 송신하는 것(절차(53))과 함께, 계속된다. 인가 절차(56)을 위하여, 포인팅 디바이스(10)의 식별은 절차(63)에서 송신된 무선 페어링 요청 신호로, 절차(53)에서 페어링 코드를 송신하는 무선 신호로, 또는 둘 모두로 통신될 수 있다. 다음에, 포인팅 디바이스(10)에 의해 발행된 명령들에 기반하여 디스플레이 시스템(30)의 대화형 동작이, 상기한 바와 같이, 절차(60)에서 시작되고 계속된다.
도 4d는 포인팅 디바이스(10)에서의 페어링 회로(13)이 무선으로 및 시각적으로 수신된 페어링 코드 정보의 비교에 기반하여 페어링 결정을 내리는, 본 발명의 다른 대체적인 실시예를 도시하고 있다. 본 발명의 본 실시예에서, 포인팅 디바이스(10)는 무선 신호들을 수신하고 그러한 신호들을 페어링 회로(13)에 의한 디코딩 및 다른 처리에 적합한 데이터로 복조하기 위한 무선 수신기 기능(예를 들면, 상기 도 2a 도 2b의 예들에서 송신기(18)를 대체하는 무선 송수신기(transceiver)를 이용하여)을 포함한다. 절차(64)에서, 디스플레이 시스템(30)은 페어링 코드를 포함하는 무선 비콘 신호를 송신한다. 동시에 또는 그 무선 비콘 신호와 가까운 시간에, 디스플레이 시스템(30)은 절차(66)에서 디스플레이(20)에 시각적 페어링 코드를 제공한다. 절차(64, 66)에서 송신되고 제공된 페어링 코드들은, 동일하게 또는 포인팅 디바이스(10)에 있는 페어링 회로(13)이 일치하는지 연역할 수 있는 어떤 방식으로, 서로서로 맞춰진다. 본 발명의 본 실시예에서, 페어링 코드 송신 절차들(64, 66)은, 원하는 실시에 따라, 주기적으로 또는 계속 반복된다.
절차(65)에서, 포인팅 디바이스(10)에 있는 송수신기는 디스플레이 시스템(30)으로부터 오는 무선 비콘 신호를 복조하고, 그 비콘에 있는 페어링 코드 정보는 페어링 회로(13)에 의해 디코딩된다. 절차(51b)에서, 앞에서와 같이, 포인팅 디바이스(10)의 카메라 기능은 디스플레이(20)로부터 이미지들을 캡쳐하며, 이로부터 페어링 회로(13)는 그 이미지들에 포함된 페어링 코드를 식별한다. 다음에, 페어링 회로(13)는 수신된 무선 비콘 신호로부터 디코딩된 페어링 코드 정보와 디스플레이(20)로부터 캡쳐된 이미지들로부터 디코딩된 페어링 코드 정보를 비교하기 위해 결정(67)을 수행하고, 그러한 페어링 코드들이 일치하는지 여부를 판단한다. 아니라면(결정(67)이 "no"라면), 포인팅 디바이스(10)는 수신 및 캡쳐 절차(65, 51b)를 반복한다. 디코딩된 무선 및 시각적 페어링 코드들이 일치한다면(결정(67)이 "yes"라면), 포인팅 디바이스(10)는 절차(68)에서 무선 신호를 디스플레이 시스템(30)에 발행한다. 그 무선 신호는 포인팅 디바이스(10)가 무선 및 시각적 형태의 일치하는 페어링 코드들을 수신하고 검출했고, 다음에 디스플레이(20)에 있는 발표자료의 제어를 위해 디스플레이 시스템(30)에 제어 신호들을 발행하기 위한 인가를 요청하고 있다는 것을 디스플레이한다. 상기한 바와 같이, 포인팅 디바이스(10)는 절차(68)에서 송신된 상기 무선 신호에서 명백하게 또는 내재적으로 그 자신을 식별한다. 절차(70)에서, 디스플레이 시스템(30)은 포인팅 디바이스(10)로부터 오는 무선 신호를 수신하고, 포인팅 디바이스(10)를 절차(56)에서 제어 신호들의 소스로서 인가한다. 절차(58)에서, 디스플레이 시스템(30)은 메시지를(본 발명의 본 실시예에서, 무선으로 또는 시각적으로) 발행한다. 다음에, 포인팅 디바이스(10)의 사용자에 의해 GUI 의미에서 제어됨에 따라, 디스플레이(20)에서 대상물의 대화형 동작이 시작된다.
본 발명의 본 실시예에 따르면, 디스플레이 시스템(30)에 의해 발행되고, 또한 포인팅 디바이스(10)에 의해 수신되고 비교된 무선 및 시각적 페어링 코드들의 조합은 오직 디스플레이(20)의 시야 내에 있는(즉, 동일한 방에 있는) 그러한 포인팅 디바이스들만이 디스플레이 시스템(30)을 제어하도록 인가된다는 것을 보증한다. 다른 방들에 있는(따라서 디스플레이(20)을 볼 수 없으나, 디스플레이 시스템(30)의 무선 범위 내에 있을 수 있는) 그러한 포인팅 디바이스들은 일치하는 무선 및 시각적 페어링 코드들을 수신하지 않을 것이고, 따라서 디스플레이 시스템(30)에 의해서 인가되지 않을 것이다.
도 4e는 도 4d의 절차에 대한 대체적인 접근 방법을 도시하고 있다. 본 발명의 본 실시예에 따르면, 절차(74)에서, 포인팅 디바이스(10)는 페어링을 요청하는 무선 신호를 송신함으로써 페어링 절차를 초기화한다. 이러한 무선 페어링 요청 신호는 사용자가 누르는 액추에이터(15)에 응답하여, 사용자가 최근에 포인팅 디바이스(10)를 집었거나 또는 다르게 움직였는지를 검출하는 포인팅 디바이스(10) 내의 내부 센서들에 응답하여, 포인팅 디바이스(10)에 의해 감지된 디스플레이(20)에 있는 이미지들에 응답하여, 또는 다른 어떤 자극에 응답하여 포인팅 디바이스(10)에 의해 발행될 수 있다. 본 발명의 본 실시예에 따르면, 디스플레이 시스템(30)은 포인팅 디바이스(10)로부터 오는 페어링 요청의 수신에 응답하여 절차(64')에서의 페어링 코드를 포함하는 무선 비콘을 송신한다. 유사하게, 디스플레이 시스템(30)은, 또한 포인팅 디바이스(10)로부터 오는 페어링 요청의 수신에 응답하여, 절차(66')에서의 디스플레이(20)에 있는 시각적 페어링 코드를 제공한다. 페어링 절차는 절차(65, 51b)에서 각각 페어링 코드를 포함하는 무선 비콘의 수신 및 포인팅 디바이스(10)에 의한 시각적 페어링 코드를 포함하는 이미지들의 캡쳐와 함께 시작되며, 다음에 도 4d와 관련하여 상기에서 설명한 방식으로 계속된다. 그러나, 본 발명의 본 실시예에 있어서, 도 4d와 관련하여 상기에 언급한 바와 같이, 무선 비콘 및 절차(64')에서의 페어링 코드의 송신 및 절차(66')에서의 시각적 페어링 코드의 제공은 연속적 또는 주기적인 방식으로 디스플레이 시스템(30)에 의해 반복될 필요는 없다; 오히려, 절차들(64', 66')은 다른 무선 페어링 요청, 예를 들면, 동일한 방 안의 다른 포인팅 디바이스(10)에 의해 발행된 것과 같은 무선 페어링 요청에 응답하여 다시 수행될 필요가 있을 뿐이다. 물론, 상기에 언급한 바와 같이, 다른 방들에 있는 포인팅 디바이스들은 디스플레이 시스템(30)의 무선 범위 내에 있을 수 있다. 디스플레이 시스템(30)이 그러한 포인팅 디바이스들로부터 오는 요청들에 응답하여 무선 및 시각적 페어링 코드들을 발행하는 동안, 그러한 포인팅 디바이스들은 디스플레이 시스템(30)으로부터 수신된 무선 페어링 코드들에 대해 일치하는 시각적 페어링 코드를 수신하지 않으며, 이와 같이 디스플레이 시스템(30)에 의한 발표를 제어할 수 있도록 인가되지 않을 것이다.
도 4e는 컨퍼런스 센터 또는 학교에서의 설정과 같은, 여러 대화형 디스플레이 시스템들이 서로서로 무선 신호 범위 내에 있는 설비들을 위한(혼란을 피하는 의미에서) 추가적인 보안성을 제공하는 선택적인 절차를 도시하고 있다. 그러한 다중 디스플레이 시스템 환경에서, 어떤 두 디스플레이 시스템들도 동일한 시각적 페어링 코드를 발행하지 않는다는 것이 물론 중요하다. 본 명세서에서 설명한 본 발명의 어떤 실시예에서든지, 동일한 페어링 코드를 발행하는 이웃 디스플레이 시스템들은 디스플레이 시스템(30)이 다른 방에 있는 포인팅 디바이스(10)를 인가하는 결과를 초래한다; 다음에, 발표의 제어에 있어서 혼란이 초래된다.
예를 들면, 도 7e에서 보는 바와 같은 절차에서, 디스플레이 시스템(30)에 의해 발행될 페어링 코드를 결정함으로써 이러한 문제를 피하기 위하여, 선택적인 절차(72)가 제공된다. 본 발명의 본 실시예에 따르면, 절차(72)에서, 디스플레이 시스템(30)은 무선 범위 내에 있는 모든 디스플레이 시스템들에 의해 발행된 비콘들에 대해 무선 신호들을 스캔하고, 그러한 무선 비콘 신호들 내에 포함된 페어링 코드들을 결정한다. 또한 절차(72)에서, 디스플레이 시스템(30)은 인접한 다른 디스플레이 시스템들(30)로부터 최근에 수신된 무선 비콘들에 있는 페어링 코드들로부터 특유의 페어링 코드를 유도한다; 다음에, 그 유도된 특유의 페어링 코드는 절차(64')에서 송신된 무선 비콘 및 절차(66')에서 제공된 시각적 페어링 코드에 발행된다. 따라서, 근처에 있지만 별도의 방에 있는 포인팅 디바이스에 의한 하나의 디스플레이 시스템에서 발표의 제어에 있어서 혼란이 방지된다.
선택적 절차(72)는, 도 4d 및 다른 근처의 방들에 있는 시스템들에 대한 페어링 코드들이 디스플레이 시스템(30)에 의해 얻어질 수 있는(그러한 방들에 있는 디스플레이 시스템들로부터 또는 포인팅 디바이스들로부터) 본 발명의 어떠한 실시예와 관련하여, 상기에 설명한 절차에 또한 통합될 수 있다는 것을 생각할 수 있다.
이러한 실시예들 및 그 대체들 중 어떤 것에 따르든지, 포인팅 디바이스(10)와 디스플레이 시스템(30) 사이의 페어링된 관계를, 경우에 따라, 주기적으로 리프레시하거나 또는 종료시키기 위한 다양한 선택 사항들 및 대체들이 구현될 수 있다는 것을 생각할 수 있다. 예를 들면, 디스플레이 시스템(30)은, 더 이상 켜지지 않거나 또는 근처에 있지 않은 이전에 페어링된 포인팅 디바이스(10)가 페어링된 상태로 남아 있지 않다는 것을 보증하기 위하여, 새로운 페어링 코드들과 함께, 페어링 절차를 주기적으로 초기화할 수 있다. 또한, 페어링 절차의 이러한 주기적인 리프레시는 또한 다른 포인팅 디바이스가 페어링되게 할 수 있으며, 따라서 둘 이상의 발표자들(예를 들면, 발표자와 협조자)이 동시에 페어링될 수 있다. 또한, 대체적인 경우로서, 디스플레이 시스템(30)이, 특정 시간 기간에 걸쳐서 페어링된 포인팅 디바이스(10)로부터 오는 무선 신호가 수신되지 않는 것에 응답하여 페어링 절차를 다시 초기화시킬 수 있다. 본 발명이 속하는 기술분야의 숙련된 자는 본 명세서를 참조하여 대화형 디스플레이 시스템에서 포인팅 디바이스들과 디스플레이 시스템들과의 페어링에 대한 그러한 추가적인 리프레시 및 유지 절차들을 쉽게 알게 될 것으로 생각된다.
본 발명의 실시예들에 따르면, 대화형 디스플레이 시스템의 동작에 있어서 중요한 이점 및 유리한 점들이 제공된다. 본 발명의 실시예들에 의하면, 포인팅 디바이스의 연산의 복잡성, 및 따라서 제조 비용이 최소화될 수 있도록 하는 방식으로, 멀리 있는 포인팅 디바이스와 디스플레이 시스템의 페어링이 매우 원활해진다. 또한, 이러한 페어링은 페어링 과정에서 사용자의 개입, 및 이러한 페어링을 달성하기 위해 포인팅 디바이스에 있는 입력 기능이 요구되는 정도를 최소화하는 그러한 방식으로 달성될 수 있다. 결과적인 페어링 절차는, 양방향 페어링(즉, 포인팅 디바이스와 함께 디스플레이 시스템의 인증)을 필요로 하지 않으면서, 오직 동작되는 디스플레이의 시야 내의 그러한 포인팅 디바이스들만이 페어링 가능하기 때문에, 근처의 대화형 디스플레이 시스템으로부터의 간섭을 최소화하는 것을 충분히 확실하게 유지한다. 또한, 동작중인 포인팅 디바이스로부터 전달되는 정보가 정보 콘텐츠를 거의 포함하지 않기 때문에, 암호화 및 다른 높은 오버헤드(overhead) 페어링 동작이 필요없다.
본 발명의 실시예에 따른 시각적인 페어링은 링크 인증을 위한 "대역 외(out-of-band)" 페어링 코드 통신이 가시 범위 영역에서 수행되는 유선 통신과 같은, 다른 응용 기기들에 확장될 수 있다. 본 발명의 실시예들의 이러한 및 다른 응용 기기들은 본 명세서를 참고하면 본 발명이 속하는 기술분야의 숙련된 자에게 명확할 것이다.
본 발명이 그 실시예들에 따라 설명되었지만, 이러한 실시예들, 그 변형, 그 대체, 및 그러한 변형과 대체가 본 발명의 이점 및 유리한 점을 획득한다는 것이 본 명세서 및 그 첨부된 도면을 참고하면 본 발명이 속하는 기술분야의 숙련된 자에게 명확할 것으로 생각된다. 그러한 변형 및 대체는 본 명세서에 첨부된 청구항에 따른 본 발명의 범위에 속한다고 볼 것이다.

Claims (28)

  1. 디스플레이 시스템의 동작을 대화형으로(interactively) 제어하기 위하여 원격 포인팅 디바이스(remote pointing device)를 디스플레이 시스템과 페어링(pairing)하는 방법에 있어서,
    그래픽 디스플레이에 페어링 코드 정보를 디스플레이하는 단계;
    상기 포인팅 디바이스에서, 상기 그래픽 디스플레이의 적어도 일부를 나타내는 이미지 데이터를 캡쳐하는 단계 - 상기 캡쳐된 이미지 데이터는 상기 페어링 코드 정보를 포함함 -;
    상기 포인팅 디바이스로부터, 상기 캡쳐된 페어링 코드 정보에 대응하는 무선 페어링 신호를 송신하는 단계;
    상기 디스플레이 시스템에서 상기 무선 페어링 신호를 수신하는 단계;
    상기 그래픽 디스플레이에 디스플레이된 상기 페어링 코드 정보에 매칭되는 상기 수신된 무선 페어링 신호에 응답하여, 상기 포인팅 디바이스에 의해 송신된 무선 제어 신호들이 상기 디스플레이 시스템의 동작을 제어하도록 인가하는 단계; 및
    그 다음, 상기 포인팅 디바이스로부터의 무선 제어 신호들에 응답하여, 상기 디스플레이 시스템이 상기 그래픽 디스플레이에 시각적 정보를 디스플레이하도록 동작시키는 단계
    를 포함하는, 원격 포인팅 디바이스를 디스플레이 시스템과 페어링하는 방법.
  2. 제1항에 있어서,
    상기 포인팅 디바이스로부터의 무선 페어링 요청 신호를 송신하는 단계를 더 포함하며,
    상기 디스플레이하는 단계는 상기 무선 페어링 요청 신호의 수신에 응답하여 상기 디스플레이 시스템에 의해 수행되는, 원격 포인팅 디바이스를 디스플레이 시스템과 페어링하는 방법.
  3. 제1항에 있어서,
    상기 페어링 코드 정보를 디스플레이하는 단계 이전에, 상기 디스플레이 시스템으로부터의 무선 비콘(beacon) 신호를 송신하는 단계를 더 포함하며,
    상기 캡쳐하는 단계는 상기 무선 비콘 신호의 수신에 응답하여 상기 포인팅 디바이스에 의해 수행되는, 원격 포인팅 디바이스를 디스플레이 시스템과 페어링하는 방법.
  4. 제1항에 있어서,
    상기 페어링 코드 정보를 디스플레이하는 단계 이전에, 상기 디스플레이 시스템으로부터의 무선 비콘 신호를 송신하는 단계; 및
    상기 무선 비콘 신호의 수신에 응답하여, 상기 포인팅 디바이스로부터의 무선 페어링 요청 신호를 송신하는 단계
    를 더 포함하며,
    상기 디스플레이하는 단계는 상기 무선 페어링 요청 신호의 수신에 응답하여 상기 디스플레이 시스템에 의해 수행되는, 원격 포인팅 디바이스를 디스플레이 시스템과 페어링하는 방법.
  5. 제1항에 있어서,
    늦어도 상기 페어링 코드 정보를 디스플레이하는 시점까지는(not later than), 포인팅 디바이스와 페어링하려는 상기 디스플레이 시스템의 의도를 표시하는 코딩된 이미지를 디스플레이하는 단계를 더 포함하는, 원격 포인팅 디바이스를 디스플레이 시스템과 페어링하는 방법.
  6. 제5항에 있어서,
    상기 포인팅 디바이스에서, 상기 그래픽 디스플레이의 적어도 일부를 나타내는 이미지 데이터를 캡쳐하는 단계 - 상기 캡쳐된 이미지 데이터는 상기 페어링하려는 의도를 표시하는 코딩된 이미지를 포함함 -; 및
    상기 디스플레이 시스템에 의한 페어링하려는 의도를 표시하는 코딩된 이미지의 캡쳐에 응답하여, 상기 포인팅 디바이스로부터의 무선 페어링 요청 신호를 송신하는 단계
    를 더 포함하며,
    상기 페어링 코드 정보를 디스플레이하는 단계는 상기 무선 페어링 요청 신호의 수신에 응답하여 상기 디스플레이 시스템에 의해 수행되는, 원격 포인팅 디바이스를 디스플레이 시스템과 페어링하는 방법.
  7. 제1항에 있어서,
    상기 무선 페어링 신호는 상기 포인팅 디바이스의 식별자를 더 포함하는, 원격 포인팅 디바이스를 디스플레이 시스템과 페어링하는 방법.
  8. 제1항에 있어서, 상기 페어링 코드 정보를 디스플레이하는 단계는:
    시각적 페이로드(payload) 이미지 프레임 데이터를 발생시키는 단계;
    연속적인 프레임들에 적용되는, 상기 시각적 페이로드 이미지 프레임 데이터의 하나 이상의 선택된 픽셀 위치들에서 상보적인(complementary) 세기 변화들에 대응하는 적어도 하나의 페어링 코드 패턴을, 상기 시각적 페이로드 이미지 프레임 데이터와 조합하는 단계; 및
    상기 그래픽 디스플레이 상에 상기 조합된 시각적 페이로드 이미지 프레임 데이터 및 페어링 코드 패턴을 디스플레이하는 단계
    를 포함하는, 원격 포인팅 디바이스를 디스플레이 시스템과 페어링하는 방법.
  9. 제1항에 있어서, 상기 인가하는 단계 이후에,
    시각적 페이로드 이미지 프레임 데이터를 발생시키는 단계;
    상기 시각적 페이로드 이미지 프레임 데이터와 적어도 하나의 위치설정 타겟 패턴(positioning target pattern)을 조합하는 단계;
    상기 그래픽 디스플레이 상에 상기 조합된 시각적 페이로드 이미지 프레임 데이터 및 위치설정 타겟 패턴을 디스플레이하는 단계;
    상기 포인팅 디바이스에서, 상기 위치설정 타겟을 포함하는 상기 디스플레이의 적어도 일부를 나타내는 이미지 데이터를 캡쳐하는 단계;
    상기 캡쳐된 이미지 데이터의 상기 위치설정 타겟에 응답하여 상기 디스플레이의 지시된(pointed-to) 위치를 결정하는 단계; 및
    상기 포인팅 디바이스에서 사용자 입력의 수신에 응답하여, 상기 디스플레이의 상기 지시된 위치에 대응하는 상기 포인팅 디바이스로부터의 무선 제어 신호를 발생시키는 단계
    를 더 포함하는, 원격 포인팅 디바이스를 디스플레이 시스템과 페어링하는 방법.
  10. 디스플레이 시스템의 동작을 대화형으로 제어하기 위하여 원격 포인팅 디바이스를 디스플레이 시스템과 페어링하는 방법에 있어서,
    그래픽 디스플레이에 페어링 코드 정보를 디스플레이하는 단계;
    상기 디스플레이 시스템으로부터, 상기 페어링 코드 정보를 포함하는 무선 비콘 신호를 송신하는 단계;
    상기 포인팅 디바이스에서, 상기 그래픽 디스플레이의 적어도 일부를 나타내는 이미지 데이터를 캡쳐하는 단계 - 상기 캡쳐된 이미지 데이터는 상기 페어링 코드 정보를 포함함 -;
    상기 캡쳐된 이미지 데이터에 포함된 상기 페어링 코드 정보와 매칭되는, 상기 포인팅 디바이스에서 수신된 상기 무선 비콘 신호의 상기 페어링 코드 정보에 응답하여, 상기 포인팅 디바이스로부터 무선 페어링 신호를 송신하는 단계;
    상기 디스플레이 시스템에서 상기 무선 페어링 신호를 수신하는 단계;
    상기 포인팅 디바이스에 의해 송신된 무선 제어 신호들이 상기 디스플레이 시스템의 동작을 제어하도록 인가하는 단계; 및
    그 다음, 상기 포인팅 디바이스로부터의 무선 제어 신호들에 응답하여, 상기 디스플레이 시스템이 상기 그래픽 디스플레이에 시각적 정보를 디스플레이하도록 동작시키는 단계
    를 포함하는, 원격 포인팅 디바이스를 디스플레이 시스템과 페어링하는 방법.
  11. 제10항에 있어서,
    상기 페어링 코드 정보를 디스플레이하는 단계 및 상기 무선 비콘 신호를 송신하는 단계는, 상기 디스플레이 시스템에 의해 반복적으로 수행되는, 원격 포인팅 디바이스를 디스플레이 시스템과 페어링하는 방법.
  12. 제10항에 있어서,
    상기 포인팅 디바이스로부터, 무선 페어링 요청 신호를 송신하는 단계를 더 포함하고,
    상기 페어링 코드 정보를 디스플레이하는 단계 및 상기 무선 비콘 신호를 송신하는 단계는, 상기 무선 페어링 요청 신호의 수신에 응답하여 상기 디스플레이 시스템에 의해 수행되는, 원격 포인팅 디바이스를 디스플레이 시스템과 페어링하는 방법.
  13. 제10항에 있어서,
    상기 디스플레이 시스템에서, 다른 디스플레이 시스템들로부터의 페어링 코드 정보를 포함하는 무선 비콘 신호들을 수신하는 단계; 및
    그 다음, 상기 디스플레이 시스템에서, 상기 다른 디스플레이 시스템들로부터 수신된 상기 페어링 코드 정보와 상이한 페어링 코드를 유도하는 단계를 더 포함하고,
    상기 무선 비콘 신호를 송신하는 단계는 상기 유도된 페어링 코드에 대응하는 페어링 코드 정보를 포함하며,
    상기 페어링 코드 정보를 디스플레이하는 단계는 상기 유도된 페어링 코드에 대응하는 정보를 디스플레이하는, 원격 포인팅 디바이스를 디스플레이 시스템과 페어링하는 방법.
  14. 제10항에 있어서,
    상기 무선 페어링 신호는 상기 포인팅 디바이스의 식별자를 더 포함하는, 원격 포인팅 디바이스를 디스플레이 시스템과 페어링하는 방법.
  15. 제10항에 있어서, 상기 페어링 코드 정보를 디스플레이하는 단계는:
    시각적 페이로드 이미지 프레임 데이터를 발생시키는 단계;
    연속적인 프레임들에 적용되는, 상기 시각적 페이로드 이미지 프레임 데이터의 하나 이상의 선택된 픽셀 위치에서 상보적인 세기 변화에 대응하는 적어도 하나의 페어링 코드 패턴을, 상기 시각적 페이로드 이미지 프레임 데이터와 조합하는 단계; 및
    상기 그래픽 디스플레이 상에 상기 조합된 시각적 페이로드 이미지 프레임 데이터 및 페어링 코드 패턴을 디스플레이하는 단계
    를 포함하는, 원격 포인팅 디바이스를 디스플레이 시스템과 페어링하는 방법.
  16. 제10항에 있어서, 상기 인가하는 단계 이후에,
    시각적 페이로드 이미지 프레임 데이터를 발생시키는 단계;
    적어도 하나의 위치설정 타겟 패턴을 상기 시각적 페이로드 이미지 프레임 데이터와 조합하는 단계;
    상기 그래픽 디스플레이 상에 상기 조합된 시각적 페이로드 이미지 프레임 데이터 및 위치설정 타겟 패턴을 디스플레이하는 단계;
    상기 포인팅 디바이스에서, 상기 위치설정 타겟을 포함하는 상기 디스플레이의 적어도 일부를 나타내는 이미지 데이터를 캡쳐하는 단계;
    상기 캡쳐된 이미지 데이터의 상기 위치설정 타겟에 응답하여 상기 디스플레이의 지시된 위치를 결정하는 단계; 및
    상기 포인팅 디바이스에서 사용자 입력의 수신에 응답하여, 상기 디스플레이의 상기 지시된 위치에 대응하는 상기 포인팅 디바이스로부터의 무선 제어 신호를 발생시키는 단계
    를 더 포함하는, 원격 포인팅 디바이스를 디스플레이 시스템과 페어링하는 방법.
  17. 대화형 디스플레이 시스템에 있어서,
    컴퓨터화된 디스플레이 시스템; 및
    포인팅 디바이스
    를 포함하며, 상기 컴퓨터화된 디스플레이 시스템은,
    디스플레이;
    상기 디스플레이 상에 디스플레이될 이미지 데이터 - 상기 이미지 데이터는 시각적 페이로드 데이터 및 페어링 코드를 포함함 - 를 발생시키기 위한 컴퓨터; 및
    무선 신호들을 수신하기 위한 수신기
    를 포함하고, 상기 포인팅 디바이스는,
    하우징;
    상기 하우징 내에 배치되는 카메라;
    상기 카메라에 의하여 획득된 이미지 데이터를 캡쳐하기 위한 이미지 캡쳐 회로;
    상기 이미지 캡쳐 회로에 결합된, 상기 캡쳐된 이미지 데이터에서 검출된 페어링 코드 정보를 검출하기 위한 페어링 회로; 및
    상기 페어링 회로에 결합된, 상기 캡쳐된 이미지 데이터에서 검출된 페어링 코드 정보를 포함하는 무선 신호들을 송신하기 위한 송신기
    를 포함하고, 상기 컴퓨터는 상기 디스플레이된 이미지 데이터의 상기 페어링 코드와 매칭되는 페어링 코드 정보를 포함하는 상기 포인팅 디바이스로부터의 무선 신호들의 수신에 응답하여, 상기 포인팅 디바이스에 의해 송신된 제어 신호들에 응답하도록 프로그램되는, 대화형 디스플레이 시스템.
  18. 제17항에 있어서,
    상기 포인팅 디바이스의 상기 송신기는 또한 무선 페어링 요청 신호를 송신하기 위한 것이며;
    상기 컴퓨터는 상기 무선 페어링 요청 신호의 수신에 응답하여 상기 시각적 페어링 코드를 포함하는 이미지 데이터를 발생시키도록 프로그램되는, 대화형 디스플레이 시스템.
  19. 제17항에 있어서,
    상기 디스플레이 시스템은 무선 비콘 신호를 송신하기 위한 송신기를 더 포함하고,
    상기 포인팅 디바이스는 무선 신호들을 수신하기 위한 수신기를 더 포함하며,
    상기 포인팅 디바이스의 상기 송신기는 상기 포인팅 디바이스의 상기 수신기가 상기 무선 비콘 신호를 수신하는 것에 응답하여, 무선 페어링 요청 신호를 송신하는, 대화형 디스플레이 시스템.
  20. 제18항에 있어서,
    상기 컴퓨터는 또한 포인팅 디바이스와 페어링하고자 하는 상기 디스플레이 시스템의 의도를 표시하는 코딩된 이미지를 포함하는 이미지 데이터를 발생시키기 위한 것이고,
    상기 포인팅 디바이스의 상기 송신기는 상기 페어링 회로가 상기 캡쳐된 이미지 데이터에서 페어링하고자 하는 의도를 표시하는 상기 코딩된 이미지를 검출하는 것에 응답하여, 상기 무선 페어링 요청 신호를 송신하는, 대화형 디스플레이 시스템.
  21. 제17항에 있어서,
    상기 송신기는 또한 페어링 코드 정보를 포함하는 상기 송신된 무선 신호의 상기 포인팅 디바이스의 식별자를 송신하기 위한 것인, 대화형 디스플레이 시스템.
  22. 제17항에 있어서,
    상기 컴퓨터는 비-문자/숫자적(non-alphanumeric) 패턴을 포함하는 이미지 데이터의 형태로 상기 페어링 코드를 발생시키는, 대화형 디스플레이 시스템.
  23. 제17항에 있어서,
    상기 컴퓨터는 교번하는(alternating) 프레임들에서 교번하는 극성의 빛의 세기의 패턴화된 변조의 형태로 상기 페어링 코드를 발생시키고,
    상기 페어링 회로는 상기 페어링 코드를 검출하기 위하여 캡쳐된 이미지 데이터의 연속적인 프레임들을 차감하기 위한 것인, 대화형 디스플레이 시스템.
  24. 제17항에 있어서, 상기 컴퓨터화된 디스플레이 시스템은:
    연속적인 프레임들에서 상기 페이로드 이미지 데이터의 일부분에 적용될 상보적인 세기 변화에 대응하는 적어도 하나의 위치설정 타겟 패턴을 발생시키기 위한 타겟 발생 회로; 및
    상기 적어도 하나의 위치설정 타겟 패턴과 함께 상기 시각적 페이로드 데이터를 디스플레이에 적합한 형식의 그래픽 출력 신호들로 조합하기 위한 그래픽 출력 회로
    를 더 포함하고,
    상기 대화형 디스플레이 시스템은, 상기 타겟 패턴을 포함하는 이미지 데이터를 복구하기 위해 상기 컴퓨터에 결합된 디스플레이로부터 상기 포인팅 디바이스에 의해 캡쳐된 연속적인 프레임들을 차감하기 위한, 그리고 상기 포인팅 디바이스가 조준하는 상기 디스플레이의 위치를 결정하기 위한 위치설정 회로를 더 포함하는, 대화형 디스플레이 시스템.
  25. 대화형 디스플레이 시스템에 있어서,
    컴퓨터화된 디스플레이 시스템; 및
    포인팅 디바이스
    를 포함하며, 상기 컴퓨터화된 디스플레이 시스템은,
    디스플레이;
    상기 디스플레이 상에 디스플레이될 이미지 데이터 - 상기 이미지 데이터는 시각적 페이로드 데이터 및 페어링 코드 정보를 포함함 - 를 발생시키기 위한 컴퓨터; 및
    무선 신호들을 송신하고 수신하기 위한 무선 회로 - 상기 송신된 무선 신호들의 적어도 일부는 페어링 코드 정보를 포함함 -
    를 포함하고, 상기 포인팅 디바이스는,
    하우징;
    상기 하우징 내에 배치되는 카메라;
    상기 카메라에 의하여 획득된 이미지 데이터를 캡쳐하기 위한 이미지 캡쳐 회로;
    무선 신호들을 수신하고 송신하기 위한 무선 회로; 및
    상기 캡쳐된 이미지 데이터에서 검출된 페어링 코드 정보를 상기 포인팅 디바이스의 상기 무선 회로에 의해 수신된 무선 신호들에서 검출된 페어링 코드 정보와 비교하기 위한 페어링 회로
    를 포함하고, 상기 컴퓨터는, 상기 페어링 회로가 상기 디스플레이된 이미지 데이터의 상기 페어링 코드 정보와 상기 디스플레이 시스템의 상기 무선 회로에 의해 송신된 페어링 코드 정보 간의 매칭을 검출했음을 표시하는 상기 포인팅 디바이스로부터의 무선 신호의 수신에 응답하여, 상기 포인팅 디바이스에 의해 송신된 제어 신호들에 응답하도록 프로그램된, 대화형 디스플레이 시스템.
  26. 제25항에 있어서,
    상기 디스플레이 시스템의 상기 무선 회로는 다른 대화형 디스플레이 시스템들에 의해 송신된 페어링 코드들을 포함하는 무선 신호들을 수신하고,
    상기 컴퓨터는 다른 대화형 디스플레이 시스템들에 의해 송신된 상기 무선 신호들의 상기 페어링 코드들과 상이한 페어링 코드를 유도하도록 프로그램되는, 대화형 디스플레이 시스템.
  27. 삭제
  28. 삭제
KR1020137026094A 2011-03-04 2012-03-01 대화형 디스플레이 시스템에서의 시각적 페어링 KR101461353B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201161449305P 2011-03-04 2011-03-04
US61/449,305 2011-03-04
US13/406,143 US8446364B2 (en) 2011-03-04 2012-02-27 Visual pairing in an interactive display system
US13/406,143 2012-02-27
PCT/US2012/027271 WO2012121969A2 (en) 2011-03-04 2012-03-01 Visual pairing in an interactive display system

Publications (2)

Publication Number Publication Date
KR20130127533A KR20130127533A (ko) 2013-11-22
KR101461353B1 true KR101461353B1 (ko) 2014-11-13

Family

ID=46752989

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137026094A KR101461353B1 (ko) 2011-03-04 2012-03-01 대화형 디스플레이 시스템에서의 시각적 페어링

Country Status (6)

Country Link
US (1) US8446364B2 (ko)
EP (1) EP2681731A4 (ko)
JP (1) JP2014512590A (ko)
KR (1) KR101461353B1 (ko)
CN (1) CN103403791B (ko)
WO (1) WO2012121969A2 (ko)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0624571D0 (en) * 2006-12-08 2007-01-17 Cambridge Silicon Radio Ltd Authenticating Devices for Communications
KR101714050B1 (ko) 2010-11-01 2017-03-08 삼성전자주식회사 휴대단말기의 데이터 표시장치 및 방법
EP2501143A3 (en) * 2011-03-15 2016-12-28 LG Electronics Inc. Method of controlling electronic device and portable terminal thereof
US8638190B1 (en) 2012-02-02 2014-01-28 Google Inc. Gesture detection using an array of short-range communication devices
US20140055420A1 (en) * 2012-08-23 2014-02-27 Samsung Electronics Co., Ltd. Display identification system and display device
EP2893422A4 (en) 2012-09-06 2016-05-18 Interphase Corp SENSOR FUSION WITH ABSOLUTE AND RELATIVE POSITIONING IN AN INTERACTIVE DISPLAY SYSTEM
US9071330B2 (en) * 2012-09-07 2015-06-30 Qualcomm Innovation Center, Inc. Peer-to-peer communication initiated by shared physical experience
KR20150076186A (ko) 2012-10-19 2015-07-06 인터페이즈 코퍼레이션 쌍방향 디스플레이 시스템에서의 모션 보상
US9063692B2 (en) 2012-12-21 2015-06-23 Nokia Technologies Oy Method and apparatus for sharing content
US9075432B2 (en) 2012-12-21 2015-07-07 Nokia Technologies Oy Method and apparatus for sharing content
US9356918B2 (en) * 2013-03-13 2016-05-31 Google Inc. Identification delegation for devices
US9131478B2 (en) 2013-03-13 2015-09-08 Google Technology Holdings LLC Method and system for improved communication among paired electronic devices
BR112015019749B1 (pt) 2013-03-15 2022-04-19 Intel Corporation Tecnologia de dispositivo de computação móvel e sistemas e métodos que utilizam o mesmo
JP6372487B2 (ja) * 2013-06-26 2018-08-15 ソニー株式会社 情報処理装置、制御方法、プログラム、および記憶媒体
US9232409B2 (en) 2013-12-12 2016-01-05 Microsoft Technology Licensing, Llc Binding of an apparatus to a computing device
US9300893B2 (en) * 2014-03-24 2016-03-29 Intel Corporation Image matching-based pointing techniques
US20150286812A1 (en) * 2014-04-04 2015-10-08 Microsoft Corporation Automatic capture and entry of access codes using a camera
US10270774B1 (en) * 2015-01-26 2019-04-23 Microstrategy Incorporated Electronic credential and analytics integration
US9865091B2 (en) 2015-09-02 2018-01-09 Microsoft Technology Licensing, Llc Localizing devices in augmented reality environment
US10250692B2 (en) * 2017-04-21 2019-04-02 Sony Corporation Voice user interface for pairing between devices
KR102397886B1 (ko) * 2017-12-06 2022-05-13 삼성전자주식회사 전자 장치, 사용자 단말 장치 및 그 제어 방법
US20190173868A1 (en) * 2017-12-06 2019-06-06 Microsoft Technology Licensing, Llc Image Password Entry and Use for Wireless Network Access
US10579163B2 (en) * 2018-06-02 2020-03-03 Mersive Technologies, Inc. System and method of annotation of a shared display using a mobile device
US11212847B2 (en) 2018-07-31 2021-12-28 Roku, Inc. More secure device pairing

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR970066916A (ko) * 1996-03-20 1997-10-13 제프리 엘. 포맨 정보 처리 장치 및 컴퓨터 프로그램 제품
KR980003979A (ko) * 1996-06-13 1998-03-30 제프리 엘. 포맨 터치스크린용 가상 포인팅 디바이스
KR20070081366A (ko) * 2006-02-10 2007-08-16 삼성전자주식회사 외부 노이즈에 강인한 포인팅 디바이스 및 이를 이용한사용자 인터페이스 구현 방법
KR20100004033A (ko) * 2008-07-02 2010-01-12 최순필 포인팅/인터페이스 시스템

Family Cites Families (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6281820B1 (en) 1999-07-12 2001-08-28 Pointset Corporation Methods and apparatus for transferring data from a display screen
WO2003015451A1 (fr) * 2001-08-02 2003-02-20 Sony Corporation Systeme de fonctionnement a distance, procede de fonctionnement a distance, appareil de mise en fonctionnement a distance et son procede de commande, appareil de mise en route par commande a distance et son procede de commande et support d'enregistrement
US6845097B2 (en) 2001-11-21 2005-01-18 Ixi Mobile (Israel) Ltd. Device, system, method and computer readable medium for pairing of devices in a short distance wireless network
US7420540B2 (en) * 2003-12-01 2008-09-02 Olbrich Craig A Determining positioning and/or relative movement of graphical-user interface element based on display images
US7941665B2 (en) 2003-12-05 2011-05-10 Hewlett-Packard Development Company, L.P. Device pairing
US7707039B2 (en) 2004-02-15 2010-04-27 Exbiblio B.V. Automatic modification of web pages
US7812860B2 (en) 2004-04-01 2010-10-12 Exbiblio B.V. Handheld device for capturing text from both a document printed on paper and a document displayed on a dynamic display device
JP2005244268A (ja) * 2004-02-24 2005-09-08 Matsushita Electric Ind Co Ltd 撮像装置を有する通信システムおよびその通信方法
JP4745737B2 (ja) * 2004-08-06 2011-08-10 キヤノン株式会社 撮像装置、通信システム、伝送方法、撮像装置の制御方法、及びコンピュータプログラム
EP1635508A1 (en) 2004-09-08 2006-03-15 Koninklijke Philips Electronics N.V. Secure pairing for wireless communications devices
KR100594127B1 (ko) 2004-11-16 2006-06-28 삼성전자주식회사 블루투스 기기에서 본딩 프로세스 방법 및 장치
US20060126812A1 (en) * 2004-12-09 2006-06-15 International Business Machines Corporation Method and system for sharing one or more graphics images between devices using profiles
EP1844456A2 (en) * 2005-01-28 2007-10-17 Philips Intellectual Property & Standards GmbH Method for control of a device
US7925022B2 (en) 2005-05-23 2011-04-12 The Invention Science Fund I, Llc Device pairing via device to device contact
EP1897010A1 (en) * 2005-06-30 2008-03-12 Nokia Corporation Camera control means to allow operating of a destined location of the information surface of a presentation and information system
JP4684147B2 (ja) 2006-03-28 2011-05-18 任天堂株式会社 傾き算出装置、傾き算出プログラム、ゲーム装置およびゲームプログラム
US7738569B2 (en) 2006-04-13 2010-06-15 Dell Products L.P. Ultra-wideband (UWB) secure wireless device pairing and associated systems
US20070300063A1 (en) 2006-06-23 2007-12-27 Research In Motion Limited Pairing to a Wireless Peripheral Device at the Lock-Screen
FR2906667B1 (fr) * 2006-10-02 2009-01-16 Eastman Kodak Co Production de codes visuels pour l'appariement d'equipements electroniques.
US9060267B2 (en) 2006-12-29 2015-06-16 Belkin International, Inc. Secure pairing of networked devices
MY147050A (en) * 2007-02-06 2012-10-15 Nexbis Sdn Bhd Mobile information retrieval over wireless network
US8213908B2 (en) 2007-04-05 2012-07-03 Microsoft Corporation Systems and methods for pairing bluetooth devices
KR100936816B1 (ko) * 2007-05-26 2010-01-14 이문기 카메라와 마크 출력에의한 포인팅 장치
US20090006196A1 (en) 2007-06-28 2009-01-01 Edward Barkan Handheld communications device in system for and method of enhancing product selection and purchase in retail environments
TW200915136A (en) * 2007-09-21 2009-04-01 Topseed Technology Corp Cursor-positioning method for handheld camera
US8090767B2 (en) 2008-01-07 2012-01-03 Apple Inc. Pairing and storage access scheme between a handheld device and a computing system
US8024576B2 (en) * 2008-03-31 2011-09-20 International Business Machines Corporation Method and system for authenticating users with a one time password using an image reader
US20090319673A1 (en) 2008-04-24 2009-12-24 International Business Machines Corporation Automated Wireless Device Pairing
US20090286479A1 (en) 2008-05-16 2009-11-19 Sony Ericsson Mobile Communications Ab Method and system for sensory pairing for a portable communication device
JP5163291B2 (ja) * 2008-06-02 2013-03-13 ソニー株式会社 入力装置、制御装置、制御システム及び制御方法
US8342407B2 (en) 2008-07-21 2013-01-01 Gilbarco, Inc. System and method for pairing a bluetooth device with a point-of-sale terminal
US20100060572A1 (en) 2008-09-11 2010-03-11 Ely Tsern Display device for interfacing with a handheld computer device that dynamically generates a different user environment for the display device
JP5178549B2 (ja) * 2009-01-21 2013-04-10 キヤノン株式会社 情報通知方法及びプログラム
KR20100122790A (ko) 2009-05-13 2010-11-23 엘지이노텍 주식회사 아이피티비용 리모컨
KR101572843B1 (ko) * 2009-06-03 2015-11-30 엘지전자 주식회사 영상 표시 장치 및 그 동작 방법
US9014685B2 (en) * 2009-06-12 2015-04-21 Microsoft Technology Licensing, Llc Mobile device which automatically determines operating mode
US20110028091A1 (en) 2009-08-03 2011-02-03 Motorola, Inc. Method and system for near-field wireless device pairing
US8572375B2 (en) 2009-09-23 2013-10-29 Microsoft Corporation Device pairing based on graphically encoded data
US8588758B2 (en) 2009-10-30 2013-11-19 Immersion Corporation Interfacing a mobile device with a computer
US8650613B2 (en) 2009-11-17 2014-02-11 Red Hat, Inc. Simplified pairing for wireless devices
US8116685B2 (en) * 2010-01-26 2012-02-14 Samsung Electronics Co., Inc. System and method for visual pairing of mobile devices
US8217997B2 (en) 2010-03-16 2012-07-10 Interphase Corporation Interactive display system
US8970733B2 (en) * 2010-05-28 2015-03-03 Robert Bosch Gmbh Visual pairing and data exchange between devices using barcodes for data exchange with mobile navigation systems
US8855300B2 (en) * 2010-09-30 2014-10-07 Google Inc. Image-based key exchange
TW201232341A (en) * 2011-01-28 2012-08-01 Hon Hai Prec Ind Co Ltd Mouse and method for establishing communication between the mouse and a computer
US8405729B2 (en) * 2011-05-11 2013-03-26 Sony Corporation System and method for pairing hand-held devices utilizing a front-facing camera

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR970066916A (ko) * 1996-03-20 1997-10-13 제프리 엘. 포맨 정보 처리 장치 및 컴퓨터 프로그램 제품
KR980003979A (ko) * 1996-06-13 1998-03-30 제프리 엘. 포맨 터치스크린용 가상 포인팅 디바이스
KR20070081366A (ko) * 2006-02-10 2007-08-16 삼성전자주식회사 외부 노이즈에 강인한 포인팅 디바이스 및 이를 이용한사용자 인터페이스 구현 방법
KR20100004033A (ko) * 2008-07-02 2010-01-12 최순필 포인팅/인터페이스 시스템

Also Published As

Publication number Publication date
WO2012121969A2 (en) 2012-09-13
WO2012121969A3 (en) 2012-12-20
JP2014512590A (ja) 2014-05-22
EP2681731A4 (en) 2014-11-12
WO2012121969A4 (en) 2013-02-07
KR20130127533A (ko) 2013-11-22
US20120223883A1 (en) 2012-09-06
CN103403791B (zh) 2015-08-19
CN103403791A (zh) 2013-11-20
EP2681731A2 (en) 2014-01-08
US8446364B2 (en) 2013-05-21

Similar Documents

Publication Publication Date Title
KR101461353B1 (ko) 대화형 디스플레이 시스템에서의 시각적 페어링
US9262913B2 (en) Communication device
US8380246B2 (en) Connecting mobile devices via interactive input medium
CN101213550B (zh) 允许对呈现和信息系统的信息表面的目标位置进行操作的照相机控制装置
US9717002B2 (en) Mobile device digital communication and authentication methods
US8560012B2 (en) Communication device
JP6220889B2 (ja) ヘッドマウントディスプレイ、およびこれを制御する方法
CN106465052B (zh) 用于将用户设备装置与合作装置自动连接的方法及其用户设备装置
US7818571B2 (en) Securing wireless communications between devices
US20140181683A1 (en) Method and system for controlling external device
US20170359456A1 (en) Communication system comprising head wearable devices
USRE45980E1 (en) Communication device
CN105191172A (zh) 通信方法和装置
US11416104B2 (en) Display capable of interacting with an object
KR20120093744A (ko) 데이터 송수신 방법, 그를 이용한 디스플레이 장치 및 휴대용 단말기
US20190075456A1 (en) Secure wireless pairing of master slave devices withqr codes
Moore et al. Implementing phicons: Combining computer vision with infrared technology for interactive physical icons
WO2017184800A1 (en) System and process for enabling secure, instant, and anonymous communication between physically touching devices
JP2008070923A (ja) 認証システム、認証方法、及び端末
JP2006074532A (ja) 通信回線確立システム、通信回線確立方法、プログラム、記録媒体
CN217216564U (zh) 信息传输装置
Miyaoku et al. C-blink: A hue-difference-based light signal marker via a cell phone color display

Legal Events

Date Code Title Description
AMND Amendment
A201 Request for examination
A302 Request for accelerated examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee