KR101442986B1

KR101442986B1 - 멀티 디바이스 제어를 위한 적응형 포인팅 디바이스 기반 인스턴트 커플링 시스템 및 그 방법

Info

Publication number: KR101442986B1
Application number: KR1020130097583A
Authority: KR
Inventors: 김상식; 정성관; 박준석; 박효주; 신용철; 김용록
Original assignee: 한국과학기술원
Priority date: 2013-08-19
Filing date: 2013-08-19
Publication date: 2014-09-25

Abstract

이하의 실시예는 멀티 디바이스 제어를 위한 인스턴트 커플링 시스템과 그 동작 방법에 관한 것이다. 인스턴트 커플링 시스템의 적응형 포인팅 디바이스에 있어서, 통신 연결 정보를 모듈레이션하는 컨트롤러; 모듈레이션된 통신 연결 정보를 이용하여 제1 빔을 생성하는 빔 발생부; 포인팅 수신 디바이스로부터 제1 빔에 응답하는 제2 빔을 수신하는 빔 감지부; 및 통신 연결 정보를 이용하여 포인팅 수신 디바이스와 연결을 설정하고 포인팅 수신 디바이스와 통신하는 통신부를 포함하는 적응형 포인팅 디바이스가 제공될 수 있다.

Description

멀티 디바이스 제어를 위한 적응형 포인팅 디바이스 기반 인스턴트 커플링 시스템 및 그 방법{AN INSTANT COUPLING SYSTEM AND METHOD FOR MULTI-DEVICE CONTROL BASED ON ADAPTIVE POINTING DEVICE}

이하의 실시예는 멀티 디바이스 제어를 위한 인스턴트 커플링 시스템과 그 동작 방법에 관한 것이다.

최근 들어 IT기기의 보편화, 고성능화, 타 기기와의 융합 등으로 대부분의 사용자 기기에 고성능 IT기술이 내장되고 있으며, 이러한 사용자 기기가 활성화 되고 있다.

이러한 환경은 기기들 간 네트워크 구축, 데이터 공유, 협업 등 디바이스와 디바이스 사이에 다양한 작업들이 이루어져 사용자의 생활을 편리하게 하는데 기여해왔다. 그러나 사용자 주변에 디바이스들이 넘쳐나게 되면서 사용자들은 각 디바이스를 제어하는데 애로사항에 부딪히게 된다.

예컨대, 각 디바이스를 모두 사용자들이 디바이스 앞으로 직접 이동하여 개별적으로 디바이스를 제어하기는 쉽지 않으며 또한 각 디바이스들이 모두 디스플레이를 가질 이유도 존재하지 않으므로 사용자가 넘쳐나는 디바이스들을 제어하는데 들어가는 노력은 현재도 매우 클뿐더러, 앞으로는 늘어나는 디바이스들 때문에 이러한 문제점은 더욱 커져갈 전망이다.

따라서, 최근의 흐름은 RUI(Remote User Interface)라고 하여 하나의 휴대형 디바이스(예, 스마트폰)를 가지고 다양한 디바이스들(예, TV)을 제어하는 시스템을 연구하고 있다. 현재까지는 사용자가 손에 들고 있는 휴대 디바이스에 주변에 존재하는 디바이스들의 목록을 표시하여 해당 디바이스 목록을 조작하면 해당 디바이스를 제어하도록 하는 형태이다.

그러나 이렇게 디바이스의 목록을 살펴보고 지정하여 해당 디바이스를 제어하는 것은 아래와 같이 몇 가지 문제점이 있다.

첫 번째, 사용자 주변에 디바이스가 늘어남에 따라 수십 개의 디바이스 목록이 생성될 수 있다. 두 번째, 사용자가 제어하고자 하는 디바이스(예, 오디오)와 디바이스 목록 내 디바이스 식별자(예, 오디오 모델명)는 직관적으로 알기 어렵고 사용자에게 학습을 요구한다.

더불어 세 번째, 사용자가 처음 가는 위치에서 새로운 디바이스들을 제어하고자 할 때 목록상의 디바이스 식별자와 사용자 앞에 보이는 디바이스들 간의 연관 관계를 알기 어렵다. 마지막으로, 제어하고자 하는 디바이스(눈앞에 보이는 디바이스)를 제어하기 위하여 수행해야 하는 동작 단계가 많다. 예컨대, 주변 디바이스 검색, 결과 목록 열기, 디바이스 정보 확인, 선택 등의 단계가 존재하며 이는 사용자가 해당 디바이스에 대한 정보가 없을 경우 작업 디바이스 정보 확인 단계가 더욱 많아질 수 있다.

이러한 문제점들을 해결하기 위하여 사용자 실 공간 상에 지향성 빔(Beam)을 송출하고 이 빔을 수신한 원격 디바이스들 중에서 하나를 선택하여 제어하는 방법들이 있다. 이 방법의 경우 빔의 전송 범위를 제한하여 검색된 디바이스의 목록을 줄이는 장점이 있으나 다음과 같은 문제점들이 따른다.

첫 번째, 지향성 빔을 사용하더라도 빔의 산란, 반사 등으로 여러 디바이스에 빔이 수신되거나 수신 디바이스들이 밀집되어 존재하는 경우 검색된 디바이스는 여러 개 일 수 있다.

두 번째, 빔의 폭이 고정되어 있으므로 수신 디바이스들이 밀집되어 존재하거나 원거리의 디바이스를 제어하고자 하는 경우 한번에 수십 개의 디바이스들이 검색될 수 있다.

세 번째, 빔의 폭이 고정되어 있으므로 수신 디바이스들이 밀도가 희박하게 존재하는 경우 빔이 수신 디바이스에 정확히 수신될 수 있도록 사용자가 빔의 조준을 정확히 해야 하는 부담이 있다.

이에 더불어, 멀티 디바이스를 제어하고자 할 때 사용자가 수행해야 하는 작업 단계가 복잡하다. 예를 들면, 하나의 디바이스(Source)와 인스턴트 커플링을 수행하여 컨텐츠를 지정하고 다른 디바이스(Target)와 새롭게 커플링을 맺어서 지정한 컨텐츠를 소스로부터 타깃으로 옮기고자 할 때, 사용자는 1개의 소스와 1개의 타깃을 기대한다. 그러나 기존의 방법의 경우 빔의 폭이 넓은 경우 여러 개의 소스와 여러 개의 타깃 중 1개를 선택하는 작업이 필요하고 빔의 폭이 좁은 경우 정확히 조준해야 하는 부담이 있다.

본 발명의 실시예를 통해 다중 기기가 존재하는 컴퓨팅 환경에서 사용자 휴대 기기를 통해 주변 기기를 제어할 때 원하는 기기를 선택하는 불편함을 해결하고자 한다.

본 발명에서는 주변의 기기에 대한 목록으로부터 원하는 기기를 찾아야 하거나 정확히 조준해야 하는 불편함이 있으며 또는 목록에 대하여 다시 검색을 수행해야 하는 형태의 불편함을 없앤 적응형 포인팅 기반 멀티 디바이스 커플링 및 제어 시스템을 제안한다.

제안된 사용자가 이미 알고 있는 장치에 대하여 포인터를 원하는 제어하고자 하는 장치에 위치시키는 직관적인 방법으로 다수의 디바이스 중 특정 디바이스를 정확히 제어할 수 있는 인터페이스를 제공함으로써 원하는 장치 및 컨텐츠를 제어할 수 있는 장치 및 시스템을 제공하고자 한다.

인스턴트 커플링 시스템의 적응형 포인팅 디바이스에 있어서, 통신 연결 정보를 모듈레이션하는 컨트롤러; 모듈레이션된 통신 연결 정보를 이용하여 제1 빔을 생성하는 빔 발생부; 포인팅 수신 디바이스로부터 제1 빔에 응답하는 제2 빔을 수신하는 빔 감지부; 및 통신 연결 정보를 이용하여 포인팅 수신 디바이스와 연결을 설정하고 포인팅 수신 디바이스와 통신하는 통신부를 포함하는 적응형 포인팅 디바이스가 제공될 수 있다.

일측에 있어서, 생성된 제1 빔의 범위를 제어하는 제1 빔 제어부를 더 포함할 수 있다.

또 다른 측면에 있어서, 제1 빔 제어부는, 수신된 제2 빔을 송신한 포인팅 수신 디바이스가 복수인 경우, 수신된 제2 빔을 송신한 포인팅 수신 디바이스가 하나만 검출될 때까지 제1 빔의 범위를 줄일 수 있다.

또 다른 측면에 있어서, 제1 빔 제어부는, 빔 발생부의 앞에 위치된 렌즈를 포함하고, 렌즈를 이용하여 생성된 제1 빔의 공간 분해능을 조절할 수 있다.

또 다른 측면에 있어서, 제1 빔 제어부는, 빔 발생부의 위치를 변경하는 모터를 포함하고, 모터를 이용하여 생성된 제1 빔의 공간 분해능을 조절할 수 있다.

또 다른 측면에 있어서, 빔 발생부는, 방사형으로 설치된 복수 개의 빔 발생기를 포함하고, 제1 빔 제어부는, 복수 개의 빔 발생기가 순차적으로 빔을 생성하도록 제어하고, 감지부로부터 수신된 제2 빔을 참조하여 가장 많은 빔 발생기로부터의 빔에 응답한 포인팅 수신 디바이스를 선택할 수 있다.

또 다른 측면에 있어서, 빔 감지부는, 복수 개의 빔 감지기를 포함하고, 통신부는, 가장 많은 빔 감지기에 의하여 감지된 제2 빔을 송신한 수신 포인팅 디바이스와 연결을 설정할 수 있다.

또 다른 측면에 있어서, 수신되는 제2 빔을 감지하는 감지 범위를 제어하는 제2 빔 제어부를 더 포함할 수 있다.

또 다른 측면에 있어서, 제2 빔 제어부는, 수신된 제2 빔이 없는 경우, 수신된 제2 빔을 송신한 포인팅 수신 디바이스가 하나 검출될 때까지 감지 범위를 확대할 수 있다.

또 다른 측면에 있어서, 빔 감지부를 통해 수신된 제2 빔을 송신한 포인팅 수신 디바이스가 복수인 경우, 복수의 포인팅 수신 디바이스의 리스트를 표시하고, 제1 빔 제어부에 의한 제1 빔의 범위의 변경에 따라 변경되는 포인팅 수신 디바이스를 표시하는 표시부를 더 포함할 수 있다.

또 다른 측면에 있어서, 제2 빔은 포인팅 수신 디바이스의 디바이스 정보를 포함하고, 통신부는, 통신 연결 정보 및 포인팅 수신 디바이스의 디바이스 정보를 이용하여 포인팅 수신 디바이스와 연결을 설정할 수 있다.

또 다른 측면에 있어서, 표시부를 더 포함하고, 통신부는, 포인팅 수신 디바이스와 연결된 사용자 주변 디바이스의 UI에 관한 UI 정보를 포인팅 수신 디바이스로부터 수신하고, 표시부는, UI 정보에 따라 사용자 인터페이스(UI)를 변경하여 표시할 수 있다.

본 발명의 실시예에 따르면, 사용자는 제어하고자 하는 디바이스에 대해 제어 명령을 내릴 때 해당 디바이스를 포인팅 장치로 가리키면 즉시 제어할 수 있으므로 디바이스 제어 목적을 수행하기 위한 직관적인 사용자 인터페이스(User Interface, UI)를 제공할 수 있다.

디바이스들의 밀집도와 관계없이 언제나 원하는 디바이스를 한번에 지정할 수 있게 된다.

수많은 디바이스 사이에서 몇몇의 디바이스를 선택할 때 단순한 포인팅으로 선택 가능하다. 예컨대, 원하는 디바이스들 간을 포인팅 장치로 드래그 함으로써 원하는 디바이스 그룹의 선택이 가능하다.

몇몇의 이종 디바이스를 동시에 구동하고자 할 때 디바이스 간 공통의 기능만을 동시에 수행할 수 있다.

도 1은 본 발명의 일실시예에 있어서, 적응형 포인팅 디바이스 기반의 인스턴트 커플링 시스템의 개념도를 설명하기 위한 도면이다.
도 2는 본 발명의 일실시예에 있어서, 적응형 포인팅 디바이스 이동에 따른 인스턴트 커플링의 변화를 설명하기 위한 도면이다.
도 3은 본 발명의 일실시예에 있어서, 적응형 포인팅 디바이스 기반의 인스턴트 커플링 시스템의 구조를 설명하기 위한 블록도이다.
도 4는 본 발명의 일실시예에 있어서, 스마트 디바이스 용 적응형 IR 포인팅 디바이스 및 포인팅 수신 디바이스를 포함하는 시스템 구조를 설명하기 위한 블록도이다.
도 5는 본 발명의 일실시예에 있어서, 포인팅 빔 송신 범위 변경에 대해 설명하기 위한 도면이다.
도 6은 본 발명의 일실시예에 있어서, 렌즈에 의한 포인팅 빔 착신 범위를 조절하는 방법에 대해 설명하기 위한 도면이다.
도 7은 본 발명의 일실시예에 있어서, 렌즈에 의한 포인팅 빔 착신 범위 조절 방법에 대해 설명하기 위한 도면이다.
도 8은 본 발명의 일실시예에 있어서, 모터에 의한 포인팅 빔의 착신 범위 조절 방법을 설명하기 위한 도면이다.
도 9는 본 발명의 일실시예에 있어서, 멀티 디바이스 선택 제스쳐에 대해 설명하기 위한 도면이다.
도 10은 본 발명의 일실시예에 있어서, 적응형 포인팅 디바이스를 이용하여 서비스 연속성을 지원하는 방법을 설명하기 위한 도면이다.
도 11은 본 발명의 일실시예에 있어서, 적응형 포인팅 디바이스를 이용하여 맞춤형 UI를 전송하는 방법을 설명하기 위한 도면이다.
도 12는 본 발명의 일실시예에 있어서, 맞춤형 UI를 전송하기 위한 XML 파일의 예를 설명하기 위한 도면이다.
도 13은 본 발명의 일실시예에 있어서, 적응형 포인팅 디바이스 기반의 인스턴트 커플링 시스템에서 인스턴트 커플링 방법의 동작을 설명하기 위한 도면이다.

이하, 인스턴트 커플링 시스템과 인스턴트 커플링 방법에 대해서 첨부된 도면을 참조하여 자세히 설명하도록 한다.

도 1은 본 발명의 일실시예에 있어서, 적응형 포인팅 디바이스 기반의 인스턴트 커플링 시스템의 개념도를 설명하기 위한 도면이다.

도 1에 도시된 바와 같이, 적응형 포인팅 디바이스(110)는 다수 개의 사용자 디바이스(120)가 사용자 주변에 존재하는 환경에서 포인팅(101)을 통해 A 내지 E의 사용자 디바이스 중 커플링을 원하는 사용자 디바이스를 선택하고 해당 사용자 디바이스로부터 응답 신호(102)를 받아 그 제어권을 수신하고 선택된 디바이스를 제어하는 장치로 동작할 수 있다.

적응형 포인팅 디바이스(110)는 자동으로, 또는 사용자의 설정에 의해서 포인팅 빔의 폭을 조절할 수 있으며, 원하는 구간에 발생시켜 사용자가 커플링을 하기 원하는 디바이스로 향하도록 하고, 발생한 포인팅 빔의 목적 지점에 존재하는 디바이스에서는 포인팅 빔을 인식하여 사용자에게 포인팅 빔에 대해 인식하였음을 알리고 해당 디바이스를 제어할 수 있는 제어권을 적응형 포인팅 디바이스(110)로 넘기게 되면 인스턴트 커플링이 이루어지며, 인스턴트 커플링의 연결이 끊어지지 않는 이상 적응형 포인팅 디바이스(110)에서 해당 디바이스를 원격으로 제어할 수 있게 된다.

도 2는 적응형 포인팅 디바이스 이동에 따른 인스턴트 커플링의 변화를 설명하기 위한 도면이다. 사용자는 도 2의 (a)와 같이 디바이스 B와 커플링되어 있는 상태에서 도 2의 (b)와 같이 디바이스 D와 커플링을 하게 되면, 도 2 (a)의 커플링이 해제될 수 있다.

또는, 디바이스 B와 커플링이 되어 있는 상태에서 적응형 포인팅 디바이스를 이동시켜 디바이스 D로 포인팅 빔을 보내게 되면, 디바이스 B와 디바이스 D 두 디바이스 모두를 선택하여 커플링 할 수도 있다. 이 경우, 하나의 포인팅 디바이스를 이용하여 복수 개의 디바이스를 동시에 제어할 수 있다.

이러한 개념으로 적응형 포인팅 디바이스는 사용자의 의도에 따라 이동하여 원하는 사용자 디바이스에 빔을 위치시키는 것으로 커플링을 원하는 디바이스를 선택하고, 해당 디바이스를 제어할 수 있도록 한다.

기존의 기술에 대해서, 사용자가 주변의 사용자 디바이스를 제어하고자 할 때의 대표적인 기술로 검색형, 마커형, 구간형, 등의 기술이 제공될 수 있다.

도 3은 본 발명의 일실시예에 있어서, 적응형 포인팅 디바이스 기반의 인스턴트 커플링 시스템의 구조를 설명하기 위한 블록도이다. 도 3의 구성요소들은 개념적인 요소들이며, 그 구현은 경우에 따라 다르게 나타날 수 있고, 하드웨어나 소프트웨어로 구현 가능하다.

인스턴트 커플링 시스템은 사용자 휴대 디바이스(310)와 사용자 주변 디바이스(340)에 각각 적응형 포인팅 디바이스(320)와 포인팅 수신 디바이스(330)를 포함하여 구성될 수 있으며, 적응형 포인팅 디바이스(320)와 포인팅 수신 디바이스(330)는 무선 네트워크를 통해 연결될 수 있다. 또한, 사용자 휴대 디바이스(310) 내부에 적응형 포인팅 디바이스(320)가 포함되거나 사용자 주변 디바이스(340) 내부에 포인팅 수신 디바이스(330)가 포함되어 구성될 수도 있다.

먼저, 적응형 포인팅 디바이스(320)는 연결부(321), 컨트롤러(322), 통신부(323), 빔 발생부(324)와 빔 감지부(325), 제1 빔 제어부(326) 및 제2 빔 제어부(327)를 포함하여 구성될 수 있다.

연결부(321)는 적응형 포인팅 디바이스(320)와 사용자 휴대 디바이스(310)를 연결하여 통신하기 위해 구비될 수 있다. 연결부(321)는 기존의 통신 기술 중 USB 등의 방법을 통해 적응형 포인팅 디바이스(320)와 사용자 휴대 디바이스(310)를 연결할 수 있다. 또한, 사용자 휴대 디바이스(310)로부터 사용자의 명령을 전달받을 수 있으며, 반대로 사용자 휴대 디바이스(310)로 정보를 전달해야 할 경우, 이를 수행하는 주체로 동작할 수 있다.

컨트롤러(322)는 통신 연결 정보를 모듈레이션할 수 있다. 상기 통신 연결 정보는 적응형 포인팅 디바이스(320)와 포인팅 수신 디바이스(330)의 통신 연결을 위하여 사용되는 정보로서, 예를 들어, 블루투스 연결을 위한 식별자 등일 수 있다. 컨트롤러(322)를 이용하여 내부 각 구성에서 외부로부터 수신된 정보를 용이하게 처리할 수 있도록 할 수 있다. 예컨대, 사용자 휴대 디바이스(310)로부터 통신 연결 정보(예를 들어, 온라인 식별자)를 수신하고, 이를 모듈레이션하여 빔 발생부(324)에 전달할 수 있다. 또한, 컨트롤러(322)는 빔의 발생 범위와 빔의 수신 범위를 제어하는 제1 빔 제어부(326) 및 제2 빔 제어부(327)를 제어하는 역할을 수행할 수 있다.

통신부(323)는 상기의 통신 연결 정보를 이용하여 포인팅 수신 디바이스(330)와 연결을 설정하고 포인팅 수신 디바이스(330)와 통신할 수 있다. 사용자 주변 디바이스(340)로부터 전달되는 다양한 정보를 포인팅 수신 디바이스(330)를 통해 수신하는 역할을 수행할 수 있다. 실시예에 있어서, 적응형 포인팅 디바이스(320)와 포인팅 수신 디바이스(330)는 통신부(323)를 통해 연결되고, 통신 가능하다. 이때, 온라인 식별자를 가지고 통신할 수 있는 기술이라면 어느 하나에 제한되지 않으며, 예컨대 블루투스, 무선 랜(LAN), 지그비(Zigbee) 등의 방법이 이에 해당될 수 있다.

빔 발생부(324)는 컨트롤러(322)에 의해 모듈레이션된 통신 연결 정보를 이용하여 제1 빔을 생성할 수 있다. 빔 발생부(324)는 방사형으로 설치된 복수 개의 빔 발생기를 포함할 수 있다. 제1 빔은 적응형 포인팅 디바이스(320)에서 포인팅 수신 디바이스(330)로 전달되는 빔을 의미한다. 빔 발생부(324)에 포함되는 빔 발생기는 지향성/무지향성이 관계 없다. 기존의 통신 기술 중 빔을 발생시킬 수 있는 다양한 방법으로 빔을 발생시킬 수 있는데, 예컨대 가시광 이미터(Emitter), 적외선 이미터, 초음파 이미터 등을 통해서 빔이 발생될 수 있다.

또한, 빔 감지부(325)는 포인팅 수신 디바이스로부터 제1 빔에 응답하는 제2 빔을 수신할 수 있다. 마찬가지로 지향성/무지향성이 관계없다. 빔 감지부(325)는 제2 빔을 감지하기 위한 하나 이상의 빔 감지기를 포함할 수 있으며, 실시예에 따라서, 통신부(323)는 가장 많은 빔 감지기에 의하여 감지된 제2 빔을 송신한 수신 포인팅 디바이스와의 연결을 설정할 수 있다. 빔 감지기로서는 예컨대, 가시광 리시버(Receiver), 적외선 리시버, 초음파 리시버 등이 이용될 수 있다.

빔 발생부(324)는 제1 빔 제어부(326)에 의해서 제어될 수 있다. 제1 빔 제어부(326)는 외부로 전송될 생성된 제1 빔의 범위를 제어할 수 있다. 이때, 다양한 방법으로 빔의 형태를 변형할 수 있으며, 사용자의 설정에 의해서 조절되거나 자동으로 동작할 수 있다.

실시예에 있어서, 수신된 제2 빔을 송신한 포인팅 수신 디바이스가 복수인 경우, 수신된 제2 빔을 송신한 포인팅 수신 디바이스(330)가 하나만 검출될 때까지 자동적으로 제1 빔의 범위를 줄일 수 있다. 다시 설명하면, 제1 빔을 감지하는 포인팅 수신 디바이스가 복수 개인 경우, 하나의 포인팅 수신 디바이스(330)에서만 제1 빔을 감지하고 이에 대한 응답으로 제2 빔을 송신할 수 있도록 제1 빔의 범위, 크기를 조절할 수 있는 것이다. 실시예에 따라서, 상기 제1 빔의 범위의 조절은 사용자의 명령에 따라 수행될 수도 있다.

제1 빔의 범위를 조절하는 방법으로, 렌즈를 이용하거나 모터를 이용하는 등의 방법을 이용할 수 있는데, 실시예에 있어서 빔 발생부(324)의 앞에 위치된 렌즈를 포함하고, 제1 빔 제어부(326)는 렌즈를 이용하여 생성된 제1 빔의 공간 분해능을 조절할 수 있다.

또 다른 실시예에 있어서, 빔 발생부(324)의 위치를 변경하는 모터를 포함하고, 제1 빔 제어부(326)는 모터를 이용하여 생성된 제1 빔의 공간 분해능을 조절하는 방법을 이용할 수 있다.

제2 빔 제어부(327)는 빔 감지부(325)에서 감지하는 제2 빔의 수신 감지 범위를 조절할 수 있다. 제2 빔 제어부(327)는 수신되는 제2 빔이 없는 경우, 제2 빔을 송신하는 포인팅 수신 디바이스가 하나 검출될 때까지 감지 범위를 확대할 수 있으며, 반대로 수신되는 제2 빔을 송신하는 포인팅 수신 디바이스가 복수 개인 경우엔 감지 범위를 줄일 수 있다.

적응형 포인팅 디바이스(320)는 정보 표시를 위한 표시부(미도시)를 더 포함할 수 있는데, 빔 감지부(325)를 통해 수신된 제2 빔을 송신한 포인팅 수신 디바이스가 복수인 경우, 복수의 포인팅 수신 디바이스의 리스트를 표시하고, 제1 빔 제어부(326)에 의한 제1 빔의 범위의 변경에 따라 변경되는 포인팅 수신 디바이스를 표시할 수 있으며, 사용자의 선택에 대응하도록 포인팅 수신 디바이스를 연결할 수 있다.

표시부는 커플링이 되는 포인팅 수신 디바이스(330)와 연결된 사용자 주변 디바이스의 UI에 관한 UI 정보를 통신부(323)를 통해 수신할 수 있으며, 해당 UI 정보에 따른 사용자 인터페이스(UI)를 변경하여 표시할 수 있다. 이에 대한 일례는 이후 자세히 설명하도록 한다.

그리고, 포인팅 수신 디바이스(330)는 제1 통신부(333), 제2 통신부(331), 컨트롤러(332), 빔 발생부(334) 및 빔 감지부(335)를 포함하여 구성될 수 있다.

먼저, 빔 감지부(335)는 적응형 포인팅 디바이스(320)로부터 전달되는 제1 빔을 감지하여 디지털 신호를 생성할 수 있다. 디지털 신호는 포인팅 수신 디바이스(330) 장치 내에서 정보를 처리하기 위한 신호로 이용될 수 있다.

컨트롤러(332)는 디지털 신호를 디모듈레이션(Demodulation)하고 디지털 신호로부터 통신 연결 정보를 획득할 수 있다. 상기 통신 연결 정보는 적응형 포인팅 디바이스(320)와의 통신 연결을 위해 필요한 정보일 수 있다.

빔 발생부(334)는 적응형 포인팅 디바이스로부터 수신한 제1 빔에 응답하여 포인팅 수신 디바이스의 디바이스 정보를 포함하는 제2 빔을 생성할 수 있다. 제2 빔은 적응형 포인팅 디바이스(320)와 포인팅 수신 디바이스(330)를 커플링하기 위한 응답 신호로서 생성된다.

이에, 제1 통신부(333)는 통신 연결 정보 및 디바이스 정보를 이용하여 적응형 포인팅 디바이스와 연결을 설정할 수 있으며, 포인팅 수신 디바이스(330)와 연결된 사용자 주변 디바이스의 제어 정보를 송수신할 수 있다. 실시예에 있어서, 포인팅 수신 디바이스와 연결된 사용자 주변 디바이스(340)의 UI에 관한 정보를 적응형 포인팅 디바이스로 송신하는 역할을 수행할 수 있다.

제2 통신부(331)는 사용자 주변 디바이스(340)와 연결되어 정보를 송수신할 수 있으며, 제1 통신부(333)는, 예컨대 사용자 주변 디바이스의 UI에 관한 정보를 수신하는 주체로 동작할 수 있다. 제2 통신부(331)를 통하여 사용자 주변 디바이스(340)로부터 수신한 정보를 적응형 포인팅 디바이스(320)로 송신하고, 적응형 포인팅 디바이스(320)로부터 수신한 정보를 사용자 주변 디바이스(340)로 전달하는 역할을 수행할 수 있다. 제2 통신부(331)와 사용자 주변 디바이스(340)는 USB 등을 통해 연결될 수 있다.

도 4는 본 발명의 일실시예에 있어서, 스마트 디바이스 용 적응형 IR 포인팅 디바이스 및 포인팅 수신 디바이스를 포함하는 시스템 구조를 설명하기 위한 블록도이다.

인스턴트 커플링 시스템은 도 4의 일례와 같이 구성될 수 있다. 적응형 포인팅 디바이스(420)가 적외선(IR)을 통해 포인팅 빔을 생성하고, 사용자 휴대 디바이스(410) 및 사용자 주변 디바이스(440)가 무선 랜 인터페이스를 가진 스마트 폰 등의 스마트 디바이스 인 것으로 가정한 일례이다.

최근의 디바이스들은 매우 고도화 되어 거의 무선 랜 인터페이스를 가지고 있는 경우가 많다. 사용자 휴대 디바이스 및 사용자 주변 디바이스가 무선 랜 인터페이스와 같은 통신 인터페이스를 가진 경우 적응형 포인팅 디바이스 기반 인스턴트 커플링 시스템은 그 구조가 매우 단순화 될 수 있다.

사용자 휴대 디바이스(410)와 사용자 주변 디바이스(440)가 무선 랜 인터페이스를 가지고 있으므로 적응형 포인팅 디바이스(420) 및 포인팅 수신 디바이스(430)에서는 그 구성요소에서 무선 랜 인터페이스를 제외하였다. 적응형 포인팅 디바이스(420)가 사용자 휴대 디바이스(410)에 부착되어 있다고 가정하면 사용자는 단순히 사용자 휴대 디바이스(410)를 들고 사용자 주변 디바이스(440)를 향하게 한 후 사용자 휴대 디바이스(410) 화면 상의 버튼을 눌렀다가 떼면 인스턴트 커플링을 통하여 상호간 제어 상태가 될 수 있다.

사용자의 버튼 터치가 눌리면 적응형 포인팅 디바이스(420)는 사용자 휴대 디바이스(410)의 IR 이미터(422)를 제어하여 송신 IR 신호를 송신할 수 있다. 이때 IR 이미터(422)는 모듈레이션된 통신 연결 정보(예를 들어, IP 주소와 포트 정보)를 이용하여 송신 IR 신호를 생성할 수 있다. 통신 연결 정보는 사용자 휴대 디바이스(410)와 상요자 주변 디바이스(440)의 통신 연결을 위한 정보일 수 있으며, 컨트롤러(421)에 의하여 모듈레이션 될 수 있다. 송신 IR 신호가 포인팅 수신 디바이스(430)의 IR 리시버에 수신되면 포인팅 수신 디바이스(430)는 정해진 모듈레이션 방법을 통하여 수신 IR 신호를 발생시킬 수 있다. 이렇게 발생된 수신 IR 신호는 상당히 넓은 범위로 송신되는데 이 수신 IR 신호가 적응형 포인팅 디바이스의 IR 리시버(424)에 수신되면 컨트롤러(421)는 신호의 수를 카운트 하여 수가 많거나 적으면 빔 제어기(423)를 제어하여 IR을 수신할 범위를 제어할 수 있으며, 인스턴트 커플링을 형성할 수 있다.

빔 제어기(423)는 송신 IR 신호의 범위를 확대하거나 축소하는 등 제어하여 최종적으로 정해진 수(예를 들어 1개)의 타깃 포인팅 수신 디바이스(430)와 인스턴트 커플링을 맺게 되어 사용자 휴대 디바이스(410)에 커플링을 알린다. 인스턴트 커플링에 의해 포인팅 수신 디바이스(430)를 지정한 사용자는 버튼 터치 해제를 통하여 지정한 디바이스와 연결을 수행할 수 있다.

따라서, 사용자는 자신의 사용자 휴대 디바이스(410)를 자신이 제어하고자 하는 사용자 주변 디바이스(440)가 있는 방향으로 향하고 버튼을 누르기만 하면 인스턴트 커플링에 의해 현재 지정된 사용자 주변 디바이스(440)가 무엇인지 표현되고 지정한 것으로 표현되는 사용자 주변 디바이스가 지정을 원하는 사용자 주변 디바이스면 터치한 버튼에서 손을 떼기만 하면 원하는 사용자 주변 디바이스(440)의 제어를 위한 모든 단계가 완료된다. 그 이후의 제어 및 데이터 전송은 무선 랜 인터페이스를 통하여 송수신 되므로 사용자는 계속 조준하고 있을 필요 없이 자유롭게 원하는 사용자 주변 디바이스(440)를 제어하고 정보를 획득할 수 있다.

사용자 휴대 디바이스(410)는 USB 등의 인터페이스를 통해 적응형 포인팅 디바이스(420)와 연결될 수 있다.

이하에서는 도 3 및 도 4를 통해 설명한 인스턴트 커플링 시스템의 동작에 대해서 더 자세히 설명하고자 한다.

사용자가 휴대 디바이스를 특정 주변 디바이스를 향하게 하고 선택하면 휴대 디바이스와 주변 디바이스 간에는 인스턴트 커플링이 생성될 수 있다. 인스턴트 커플링은 사용자 휴대 디바이스와 사용자 주변 디바이스가 상호간에 인식을 완료한 상태이며 1개의 사용자 휴대 디바이스는 복수 개의 사용자 주변 디바이스와 인스턴트 커플링을 유지 가능하다. 사용자가 여러 개의 디바이스를 동시 제어하고자 하는 경우를 제외하면 사용자는 주로 1개의 디바이스를 제어하기 때문에 따라서 적응형 포인팅 디바이스는 이를 지원해야 할 필요가 있다.

사용자의 포인팅이 수행되면 적응형 포인팅 디바이스는 빔 발생/감지 및 빔 제어를 통하여 최종적으로 1개의 사용자 주변 디바이스를 선택한다. 사용자 주변 디바이스가 선택되면 사용자는 명령을 통하여 주변 디바이스와 연결을 맺고 사용자 주변 디바이스를 원격에서 제어할 수 있다.

인스턴트 커플링은 사용자가 휴대 디바이스를 이동시키는 것으로 하나의 사용자 주변 디바이스에서 다른 사용자 주변 디바이스로 변경될 수 있으며 최종적으로 하나의 사용자 주변 디바이스와 통신 연결을 맺는 것으로 인스턴트 커플링이 소멸된다.

사용자는 인스턴트 커플링을 통하여 휴대 디바이스 및 사용자 주변 디바이스 간 통신 연결 상태를 만들고 이 연결을 통하여 적절한 제어 또는 정보 획득을 수행한다. 이러한 통신 연결 상태는 사용자가 명령을 내리거나 또는 주변 디바이스의 온라인 식별자가 바뀌지 않는 한 지속적으로 유지될 수 있다. 실시예에 있어서, 사용자는 한번 연결을 맺으면 지정된 사용자 디바이스를 계속 조준하고 있을 필요 없이 자유롭게 이동하며 지정된 사용자 디바이스를 제어할 수 있다.

또한, 사용자의 통신 연결 상태는 하나의 디바이스와 연결을 맺었을 지라도 다른 디바이스와 새롭게 인스턴트 커플링을 수행하고 새로운 연결을 맺는 것으로 이전 연결을 소멸시킬 수 있다. 이는 사용자가 한 주변 디바이스를 제어하다가 다른 디바이스를 제어하고자 원할 때 새로운 디바이스를 향해 인스턴트 커플링을 맺는 것으로 손쉽게 수행될 수 있다.

인스턴트 커플링은 하나의 사용자 휴대 디바이스와 다수의 사용자 주변 디바이스 간에 동시에 맺어질 수 있다. 사용자가 휴대 디바이스로 다수의 사용자 주변 디바이스를 지정하여 인스턴트 커플링을 맺으면 사용자는 휴대 디바이스의 한번의 명령으로 다수의 주변 디바이스로 동시에 명령을 내릴 수도 있다.

도 5는 본 발명의 일실시예에 있어서, 포인팅 빔 송신 범위 변경에 대해 설명하기 위한 도면이다. 적응형 포인팅 디바이스의 빔 발생부에서 발생하는 신호는 일정 영역에 빔을 전송하게 된다. 도 5의 (a)와 같이 하나의 디바이스로 전달되거나 도 5의 (b)와 같이 복수 개의 디바이스로 전달될 수 있다.

도 5의 (a)와 같이 빔의 수신 영역(510)이 하나의 디바이스에 걸쳐 있으면 문제가 없으나 빔의 종류, 지향성 특성, 반사, 산란 등에 따라 포인팅 수신 디바이스의 빔 수신 영역(510)이 도 5의 (b)와 같이 복수 개의 디바이스를 포함할 수 있다.

이러한 경우, 적응형 포인팅 디바이스는 빔의 수신 영역(510)이 걸쳐져 있는 복수 개의 디바이스에 대해서 인스턴트 커플링이 맺어질 수 있다. 적응형 포인팅 디바이스는 제1 빔 제어부를 통해 발생된 빔의 범위를 줄이거나 제2 빔 제어부를 통해 수신할 빔 영역을 줄임으로써 인스턴트 커플링의 범위를 좁힐 수 있다.

만약, 하나의 디바이스와 맺을 수 없는 경우에 대해서는, 가장 먼저 커플링 연결 설정이 요청된 주변 디바이스와 커플링을 맺거나 사용자에게 커플링 연결 설정을 요청한 주변 디바이스 목록을 보여준 후 하나 또는 그 이상을 선택하도록 하여 정확한 디바이스와 인스턴트 커플링이 맺어지도록 할 수 있다.

빔의 수신 영역은 포인팅 디바이스의 공간 분해능에 관련될 수 있다. 빔의 수신 영역이 작다는 것은 포인팅 디바이스의 공간 분해능이 그만큼 크다는 것을 의미하며 공간 분해능이 크다는 것은 포인팅 디바이스의 해상도가 크다는 의미이고 사용자 주변 디바이스가 밀집되어 있을 때에서 원하는 디바이스를 잘 선택/제어할 수 있다는 것을 의미한다.

포인팅 디바이스의 해상도를 조절할 수 있는 방법으로 본 발명에서는 세 가지 접근 방법을 제안할 수 있다. 실시예에 있어서, 렌즈를 이용하는 방법, 모터를 이용하는 방법, 그리고 멀티 빔 발생기/감지기를 이용하는 방법에 대해서 설명한다.

도 6은 본 발명의 일실시예에 있어서, 렌즈에 의한 포인팅 빔 착신 범위를 조절하는 방법에 대해 설명하기 위한 도면이다.

적응형 포인팅 디바이스(620)의 빔 제어기가 IR 또는 가시광을 사용하는 경우, 빔 제어기로서 렌즈(623)를 부착하여 송신되는 IR 또는 가시광의 빔 범위를 조절할 수 있다.

렌즈(623)는 IR 이미터(622) 및 IR 리시버(624) 중 하나의 앞에 구비될 수 있다. 또는, IR 이미터(622) 및 IR 리시버(624) 모두의 앞에 렌즈가 구비될 수 있다. IR 이미터(622) 앞에 렌즈(623)가 존재하는 경우 송출되는 빔의 범위를 조절할 수 있으며 IR 리시버(624) 앞에 위치하는 경우 수신할 빔의 범위를 조절할 수 있다. IR이 공간상에서 반사, 산란 되는 것을 고려하면 렌즈(623)는 IR 리시버(624) 앞에 위치하는 것이 보다 효율적일 수 있다. 렌즈(623)는 컨트롤러(621)에 의해 자동으로 또는 사용자의 설정에 의해 조절될 수 있으며, 이때 사용자 휴대 디바이스(610)를 통해 사용자의 명령을 수신할 수 있다.

도 7은 본 발명의 일실시예에 있어서, 렌즈에 의한 포인팅 빔 착신 범위 조절 방법에 대해 설명하기 위한 도면이다. 도 7에 도시된 원의 범위는 빔의 착신 범위를 나타낸 것이다.

도 6의 렌즈(623)를 조절하여 IR 리시버(624)의 착신 범위를 큰 원(710)으로 조절하고 있는 경우엔 1 내지 4번의 포인팅 수신 디바이스로부터의 응답 빔을 모두 수신할 수 있다. 이때, 멀티 커플링이 가능한 경우엔 수신된 모든 응답 빔에 대응하는 포인팅 수신 디바이스와 커플링을 할 수 있으며, 만약 하나의 커플링만을 지원하는 인스턴트 커플링 시스템의 경우는 하나의 빔이 감지될 수 있을 만큼 착신 범위를 줄일 수 있다.

도 7의 작은 원(720)의 크기만큼 착신 범위를 줄일 경우, 3번의 포인팅 수신 디바이스로부터의 응답 빔만 착신 범위를 통과하기 때문에 3번의 포인팅 수신 디바이스로부터의 응답 빔만을 감지할 수 있으며, 3번 빔을 송신하는 포인팅 수신 디바이스와 커플링을 수행할 수 있다.

도 8은 본 발명의 일실시예에 있어서, 모터에 의한 포인팅 빔의 착신 범위 조절 방법을 설명하기 위한 도면이다.

적응형 포인팅 디바이스의 빔 제어기가 IR 또는 가시광을 사용하는 경우, 빔 제어기로서 도 6과 같은 렌즈 대신 모터를 사용하여 송신되는 빔의 범위를 조절할 수 있다.

실시예에 있어서 도 8의 (a)와 같이 IR이나 가시광 등의 광원을 전방으로 이동시킴으로써 빔의 착신 범위를 넓힐 수 있으며, 반대로 도 8의 (b)와 같이 광원을 후방으로 이동시킴으로써 빔의 착신 범위를 좁힐 수 있다. 광원은 빔 감지기로 대체될 수 있으며, 이러한 경우 감지기는 동일 영역에 대해서 감지할 수 있다.

적응형 포인팅 디바이스의 빔 발생부와 빔 감지부가 IR, 가시광 초음파 RF 등을 사용하는 경우, 빔 발생기 및 빔 감지기를 방사형으로 여러 개 부착하여 이용할 수 있다. 발생되는 빔을 각 발생기마다 순차적으로 일부 중첩하여 발생하거나 방사형으로 여러 개를 부착한 감지기에서 동시에 빔을 수신하게 함으로써 적응형 포인팅 디바이스의 공간 분해능을 제어할 수 있다.

이하에서 방사형 빔 발생기 및 빔 감지기를 통한 적응형 포인팅 방법에 대해서 설명한다.

멀티 빔 발생기를 가진 경우, 적응형 포인팅 디바이스의 방사형 빔 발생기를 A, B, C로 명명하고 순차적으로 구동할 수 있다. 이때 포인팅 수신 디바이스는 송신기 A, B, C에 대해서 모두 응답하여 적응형 포인팅 디바이스는 응답을 모두 수신할 수 있다. 수신된 응답 신호에 대해서 어느 발생기에서 송출된 신호인지 감지하여 가능한 한 모든 발생기로부터의 신호에 대해 모두 응답한 사용자 주변 디바이스를 선택할 수 있다. 다시 설명하면, 빔 수신 영역이 중첩된 영역에 있는 사용자 주변 디바이스를 선택할 수 있는 것이다.

또 다른 일례로 멀티 빔 감지기를 가진 경우, 적응형 포인팅 디바이스의 빔 발생기를 구동하면, 포인팅 수신 디바이스는 해당 빔에 대한 응답 신호를 보낼 수 있고, 포인팅 수신 디바이스들로부터 수신한 응답을 방사형 빔 감지기에서 동시에 감지한 후에 가능한 한 모든 빔 감지기에서 감지된 응답 신호를 선택할 수 있다. 그리고 선택된 응답 신호에 해당하는 사용자 주변 디바이스와 커플링을 할 수 있다.

멀티 빔 발생기 및 빔 감지기를 이용하는 경우 포인팅에 의해 빔이 전송되는 범위를 전자식으로 조절 가능하다는 장점이 있다.

적응형 포인팅 디바이스는 사용자가 적응형 포인팅 디바이스를 들고 원격 사용자 주변 디바이스를 가리키고 사용자 휴대 디바이스에서 버튼을 누르는 제스처를 지원할 수 있다. 이러한 제스처를 통해 시스템은 원격 사용자 주변 디바이스와 사용자 휴대 디바이스간 인스턴트 커플링을 제공한다. 사용자는 디바이스 선택 제스처를 수행한 후 그 상태를 유지하며 적응형 포인팅 디바이스를 이동할 수 있다. 이러한 경우 인스턴트 커플링이 이루어진 사용자 주변 디바이스가 사용자의 움직임에 따라 변경되며 사용자 휴대 디바이스에 표현될 수 있다.

도 9는 본 발명의 일실시예에 있어서, 멀티 디바이스 선택 제스쳐에 대해 설명하기 위한 도면이다. 사용자가 적응형 포인팅 디바이스를 이용해 여러 디바이스와 인스턴트 커플링을 맺고 다중 디바이스를 순차적 또는 동시 제어를 수행하고자 할 때, 적응형 포인팅 디바이스는 멀티 디바이스 드래그 선택 제스쳐를 제공할 수 있다.

멀티 디바이스와 인스턴트 커플링을 맺고자 할 때 디바이스 선택 제스처를 반복할 수도 있고 또는 멀티 디바이스 드래그 선택 제스처를 취해서 다중 디바이스와 인스턴트 커플링을 맺을 수도 있다.

그 중 멀티 디바이스 드래그 선택 제스쳐는 사용자 휴대 디바이스에서 계속적으로 포인팅 빔(910)을 전송하도록 버튼을 누른 상태로 여러 주변 디바이스 간을 드래그하여 이동시킨 후 버튼에서 손을 떼는 제스쳐이다. 빔(910)이 도시된 바와 같이 이동 경로를 가진다면, 디바이스 A와 디바이스 C와 멀티 디바이스 인스턴트 커플링을 수행할 수 있게 된다.

적응형 포인팅 디바이스의 빔 폭은 제1 빔 제어부를 통해 제어될 수 있는데, 자동으로 제어되거나 사용자의 설정에 의해 빔 폭을 최소화 또는 최대화할 수 있다.

사용자에 설정을 통해 빔 폭을 제어할 때에, 사용자는 사용자 휴대 디바이스 상에 제공되는 스크롤 바를 이용하여 빔 폭을 제어할 수 있으며, 또는 손가락이나 스타일러스를 이용한 멀티 터치로 빔 폭을 줄이거나 늘릴 수 있다.

포인팅 디바이스 빔 폭 제어 제스쳐에 따라서 적응형 포인팅 디바이스는 렌즈나 모터를 제어할 수도 있으며, 다중 빔 송신기의 빔 중첩 정도를 함께 제어할 수 있다.

도 10은 본 발명의 일실시예에 있어서, 적응형 포인팅 디바이스를 이용하여 서비스 연속성을 지원하는 방법을 설명하기 위한 도면이다.

적응형 포인팅 디바이스를 이용하여 인스턴트 커플링을 맺은 후 통신 연결 상태가 되었을 경우, 사용자 휴대 디바이스의 화면을 터치 스크롤하거나 디바이스를 공간상 움직이는 것으로 사용자 휴대 디바이스 내 마우스 포인터를 이동시킬 수 있다. 도 10의 (a)와 같이 사용자 휴대 디바이스 A 내에 실행되는 특정 컨텐츠를 마우스 포인터를 이용하여 이동시키는 경우, 사용자 주변 디바이스 B와 인스턴트 커플링을 맺으면 해당 컨텐츠가 이동하여 새로 인스턴트 커플링 맺어진 디바이스 B 상에 나타날 수 있다.

또한, 도 10의 (b)는 사용자 디바이스 A에서 디바이스 B로 클립보드를 복제하는 서비스 연속성 지원 방법에 대해 설명하기 위한 것이다. 적응형 포인팅 디바이스를 이용하여 디바이스 A에 통신 연결을 맺고 컨텐츠 복제 명령을 내리면 디바이스 A는 컨텐츠를 자신의 클립보드에 해당 내용을 복사할 수 있다.

사용자가 적응형 포인팅 디바이스를 통하여 디바이스 B와 통신 연결을 수행하면, 이전에 복제 명령 히스토리를 가지고 디바이스 A와 디바이스 B 사이에 새로운 통신 연결이 생성될 수 있으며, 이렇게 연결된 통신을 통해 복제된 클립보드의 내용이 디바이스 B의 클립보드로 복제될 수 있다.

사용자가 디바이스 B에서 클립보드의 내용을 복제하거나 이용하게 되면 디바이스 A와 디바이스 B에 걸친 서비스 연속성이 완료된다. 사용자는 이러한 적응형 포인팅 디바이스 서비스 연속성 지원을 통하여 멀티 디바이스 간 컨텐츠 이용이 가능하다.

도 11은 본 발명의 일실시예에 있어서, 적응형 포인팅 디바이스를 이용하여 맞춤형 UI를 전송하는 방법을 설명하기 위한 도면이다.

일 실시예에 따르면, 적응형 포인팅 디바이스를 이용하여 제어하게 되는 사용자 주변 디바이스의 종류는 다양할 수 있다. 이 경우, 다양한 사용자 주변 디바이스를 제어하기 위한 모든 UI를 적응형 포인팅 디바이스가 저장하는 것이 어려울 수 있으므로, 인스턴트 커플링의 과정 중 또는 인스턴트 커플링이 완료된 후 사용자 주변 디바이스를 제어하기 위한 UI 정보를 사용자 주변 디바이스 또는 포인팅 수신 디바이스로부터 수신할 수 있다. 그리고, 사용자 휴대 디바이스 또는 적응형 포인팅 디바이스는 상기 수신된 UI 정보를 이용하여 적응형으로 사용자 주변 디바이스 또는 포인팅 수신 디바이스에 대응하는 UI를 제공할 수 있다.

사용자 지정 디바이스에 대한 제어는 해당 디바이스에 대한 정보 획득으로부터 시작되는데 이때 획득되는 정보는 디바이스의 정적 정보, 즉 디바이스 ID, capability 등으로 대표되는 정보들이 있고, 디바이스의 동적 정보, 즉 디바이스의 현재 상태, 제어를 위한 UI 등 디바이스를 이용함에 따라 달라지는 동적인 정보가 있다.

예를 들면 사용자가 지정 디바이스를 제어하기 위해서는 사용자가 지정 디바이스에 대하여 무엇을 할 수 있는지 제어 정보를 획득해야 하며 이 제어 정보는 사용자 휴대 디바이스에 UI 정보의 형태로 나타날 수 있다. 지정된 사용자 휴대 디바이스에 웹 브라우저가 활성화 되어 있다면 커플링 이후 사용자 휴대 디바이스에 나타나야 하는 화면은 현재 사용자 지정 디바이스의 웹 브라우저에 나타난 화면이어야 하며, 지정된 사용자 휴대 디바이스에 미디어 플레이어가 활성화되어 있다면 커플링 이후 사용자 휴대 디바이스에 나타나야 하는 화면은 미디어 플레이어 제어를 위한 화면이어야 한다.

도 11의 (a)에 도시된 바와 같이, 사용자 휴대 디바이스는 사용자 주변 디바이스의 상태에 따라 적절한 UI를 사용자 주변 디바이스로부터 획득할 수 있으며, 사용자 주변 디바이스의 상태가 바뀌면 이에 따라 적절한 UI로 동적 변환될 수 있다. 예컨대, 디바이스 A의 웹 브라우저 화면이 특정 웹 사이트를 표시하고 있다면, 이에 따라서 사용자 휴대 디바이스에 같은 웹 사이트의 화면이 표시되는 것을 말한다.

또한 도 11의 (b)에 도시된 바와 같이, 디바이스 B에 특정 컨텐츠를 미디어 플레이어를 통해 표시하고 있다면, 해당 컨텐츠를 사용자 휴대 디바이스에 표시하기 위해 해당 미디어 플레이어의 UI를 수신하여 수신한 미디어 플레이어의 UI를 이용하여 컨텐츠를 표시할 수 있다.

이렇게 사용자 휴대 디바이스에서 사용자 주변 디바이스에 맞는 UI를 표현하기 위해서 사용자 휴대 디바이스가 사용자 주변 디바이스에 맞는 UI를 미리 가지고 있다면 상황에 맞게 표현하기 용이하나 모든 UI를 포함할 수 없는 것이 현실이다.

따라서, 사용자 휴대 디바이스는 사용자 주변 디바이스와 인스턴트 커플링을 맺을 때, 사용자 주변 디바이스로부터 UI 정보를 획득하고 상태가 바뀔 때마다 새로운 UI 정보를 획득하여 사용자 휴대 디바이스 상에 표현할 수 있도록 한다.

도 12는 본 발명의 일실시예에 있어서, 맞춤형 UI를 전송하기 위한 XML 파일의 예를 설명하기 위한 도면이다.

도 11에 설명된, 사용자 주변 디바이스 또는 포인팅 수신 디바이스로부터 사용자 휴대 디바이스 또는 적응형 포인팅 디바이스로 전송되는 UI에 관한 정보는, 도 12에 도시된 바와 같은, XML 파일 형식으로 제공될 수 있다.

도 12와 같이 사용자 주변 디바이스는 자신의 상태에 맞는 UI 기술용 XML 파일들을 만들고 이를 자신의 UI 상태가 바뀔 때마다 업데이트할 수 있으며, 사용자 휴대 디바이스는 업데이트된 XML 파일을 획득하여 파싱(Parsing)한 후 사용자 휴대 디바이스의 화면에 표현하는 것으로 사용자 주변 디바이스 맞춤형 실시간 UI 획득을 구현할 수 있다.

도 13은 본 발명의 일실시예에 있어서, 적응형 포인팅 디바이스 기반의 인스턴트 커플링 시스템에서 동작하는 인스턴트 커플링 방법에 대해서 설명하기 위한 도면이다. 해당 도면에 대한 설명은 적응형 포인트 디바이스에서 수행되는 동작에 관한 것이다.

단계(1310)에서 적응형 포인트 디바이스는 통신 연결 정보를 모듈레이션 할 수 있다. 통신 연결 정보는 사용자 휴대 디바이스의 고유의 IP 주소나 포트 정보 등의 정보를 의미하며, 인스턴트 커플링을 위한 식별 정보로 나타날 수 있다.

단계(1320)에서 적응형 포인트 디바이스는 빔 발생부에서 모듈레이션된 통신 연결 정보를 이용하여 제1 빔을 생성할 수 있다. 제1 빔은 포인팅 수신 디바이스로 전달되는 신호로서 생성될 수 있다.

단계(1330)에서 적응형 포인트 디바이스는 포인팅 수신 디바이스로부터 제1 빔에 응답하여 제2 빔을 수신할 수 있다. 제1 빔에 대한 응답으로 제2 빔을 수신하면 두 디바이스는 인스턴트 커플링을 위한 연결이 준비된 것이다. 제2 빔도 통신 연결 정보를 이용하여 생성될 수 있다.

따라서 단계(1340)에서 적응형 포인트 디바이스는 통신 연결 정보를 이용하여 포인팅 수신 디바이스와의 인스턴트 커플링의 연결을 설정하고 포인팅 수신 디바이스와 통신을 할 수 있다.

실시예에 있어서, 생성된 제1 빔의 범위는 경우에 따라 축소 또는 확대될 수 있는데, 만약 수신된 제2 빔을 송신한 포인팅 수신 디바이스가 복수 개인 경우, 수신된 제 2빔을 송신한 포인팅 수신 디바이스가 하나만 검출될 때까지 제1 빔의 송신 범위를 줄일 수 있다.

반대로 제1 빔을 수신하였으나 수신된 제2 빔이 없는 경우엔 수신된 제2 빔을 송신하는 포인팅 수신 디바이스가 하나 검출될 때까지 제1 빔의 송신 범위를 확대할 수 있다.

만약, 멀티 디바이스의 인스턴트 커플링이 지원되는 시스템에서는 복수 개의 포인팅 수신 디바이스가 제2 빔을 송신하여 이를 감지할 경우에 제1 빔의 송신 범위를 제어할 필요 없이 모든 포인팅 수신 디바이스와 인스턴트 커플링을 수행할 수도 있으며, 제1 빔의 송신 범위는 사용자의 설정에 의해 또는 디바이스 내에서 자동적으로 이루어질 수 있다.

제1 빔의 범위를 제어하는 데에 있어서, 렌즈를 이용하거나 모터를 이용하는 방법 등의 방법을 이용하여 제1 빔의 공간 분해능을 조절할 수 있다. 해당 설명에 대해서는 도 6 내지 도 8의 설명을 포함한 제1 빔의 범위 제어에 관한 설명을 참조할 수 있다.

적응형 포인팅 디바이스의 빔 발생부는 방사형으로 설치된 복수 개의 빔 발생기를 포함할 수 있으며, 제1 빔의 범위를 제어할 때, 복수 개의 빔 발생기를 이용할 수 있다.

실시예에 있어서, 복수 개의 빔 발생기가 순차적으로 빔을 생성하도록 제어하며, 수신된 제2 빔을 참조하여 가장 많은 빔 발생기로부터의 빔에 응답한 포인팅 수신 디바이스를 선택할 수 있다. 여기서, 통신 연결 정보를 이용하여 선택된 포인팅 수신 디바이스와 연결을 설정하고 포인팅 수신 디바이스와 통신을 할 수 있다.

제2 빔을 감지하는 감지 범위를 제어하는 단계를 포함할 수 있다. 만약, 제2 빔을 송신한 포인팅 수신 디바이스가 복수로 감지되는 경우, 수신된 제2 빔을 송신한 포인팅 수신 디바이스가 하나만 검출될 때까지 감지 범위를 줄일 수 있으며, 제2 빔이 감지되지 않는 경우엔 제2 빔을 송신하는 포인팅 수신 디바이스가 하나 검출될 때까지 감지 범위를 확대할 수 있다.

제2 빔의 감지 범위는 마찬가지로 자동으로 또는 사용자의 설정에 의해 변경될 수 있으며, 렌즈나 모터를 이용하는 상기 설명한 방법이 이용될 수 있다.

단계(1340)에서 인스턴트 커플링을 통한 통신은 이전에 다른 포인팅 수신 디바이스와 연결되어 있는 경우, 다른 포인팅 수신 디바이스와의 연결을 해제하고 포인팅 수신 디바이스와 새로 인스턴트 커플링을 수행할 수 있으며, 이때, 특정 컨텐츠를 선택한 경우, 새로운 인스턴트 커플링을 수행한 포인팅 수신 디바이스에 복제하여 표시할 수 있다.

또 다른 실시예에 있어서, 인스턴트 커플링이 이루어진 사용자 주변 디바이스의 UI에 관한 UI 정보를 수신하여 사용자 휴대 디바이스로 전달하는 역할을 수행할 수도 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

310: 사용자 휴대 디바이스
320: 적응형 포인팅 디바이스
330: 포인팅 수신 디바이스
340: 사용자 주변 디바이스

Claims

인스턴트 커플링 시스템의 적응형 포인팅 디바이스에 있어서,
통신 연결 정보를 모듈레이션하는 컨트롤러;
상기 모듈레이션된 통신 연결 정보를 이용하여 제1 빔을 생성하는 빔 발생부;
포인팅 수신 디바이스로부터 상기 제1 빔에 응답하는 제2 빔을 수신하는 빔 감지부; 및
상기 통신 연결 정보를 이용하여 상기 포인팅 수신 디바이스와 연결을 설정하고 상기 포인팅 수신 디바이스와 통신하는 통신부; 및
상기 생성된 제1 빔의 범위를 제어하는 제1 빔 제어부
를 포함하는 적응형 포인팅 디바이스.
삭제
제1항에 있어서,
상기 제1 빔 제어부는,
상기 수신된 제2 빔을 송신한 포인팅 수신 디바이스가 복수인 경우, 상기 수신된 제2 빔을 송신한 포인팅 수신 디바이스가 하나만 검출될 때까지 상기 제1 빔의 범위를 줄이는
적응형 포인팅 디바이스.
제1항에 있어서,
상기 제1 빔 제어부는,
상기 빔 발생부의 앞에 위치된 렌즈를 포함하고, 상기 렌즈를 이용하여 상기 생성된 제1 빔의 공간 분해능을 조절하는
적응형 포인팅 디바이스.
제1항에 있어서,
상기 제1 빔 제어부는,
상기 빔 발생부의 위치를 변경하는 모터를 포함하고, 상기 모터를 이용하여 상기 생성된 제1 빔의 공간 분해능을 조절하는
적응형 포인팅 디바이스.
제1항에 있어서,
상기 빔 발생부는,
방사형으로 설치된 복수 개의 빔 발생기
를 포함하고,
상기 제1 빔 제어부는,
상기 복수 개의 빔 발생기가 순차적으로 빔을 생성하도록 제어하고,
상기 감지부로부터 수신된 상기 제2 빔을 참조하여 가장 많은 빔 발생기로부터의 빔에 응답한 포인팅 수신 디바이스를 선택하는
적응형 포인팅 디바이스.
제1항에 있어서,
상기 빔 감지부는,
복수 개의 빔 감지기
를 포함하고,
상기 통신부는,
가장 많은 빔 감지기에 의하여 감지된 제2 빔을 송신한 수신 포인팅 디바이스와 연결을 설정하는
적응형 포인팅 디바이스.
제1항에 있어서,
상기 수신되는 제2 빔을 감지하는 감지 범위를 제어하는 제2 빔 제어부
를 더 포함하는 적응형 포인팅 디바이스.
제8항에 있어서,
상기 제2 빔 제어부는,
상기 수신된 제2 빔이 없는 경우, 상기 수신된 제2 빔을 송신한 포인팅 수신 디바이스가 하나 검출될 때까지 상기 감지 범위를 확대하는
적응형 포인팅 디바이스.
제1항에 있어서,
상기 빔 감지부를 통해 수신된 제2 빔을 송신한 포인팅 수신 디바이스가 복수인 경우, 상기 복수의 포인팅 수신 디바이스의 리스트를 표시하고, 상기 제1 빔 제어부에 의한 상기 제1 빔의 범위의 변경에 따라 변경되는 포인팅 수신 디바이스를 표시하는 표시부
를 더 포함하는 적응형 포인팅 디바이스.
제1항에 있어서,
상기 제2 빔은 상기 포인팅 수신 디바이스의 디바이스 정보를 포함하고,
상기 통신부는,
상기 통신 연결 정보 및 상기 포인팅 수신 디바이스의 상기 디바이스 정보를 이용하여 상기 포인팅 수신 디바이스와 연결을 설정하는
적응형 포인팅 디바이스.
제1항에 있어서,
표시부
를 더 포함하고,
상기 통신부는,
상기 포인팅 수신 디바이스와 연결된 사용자 주변 디바이스의 UI에 관한 UI 정보를 상기 포인팅 수신 디바이스로부터 수신하고,
상기 표시부는,
상기 UI 정보에 따라 사용자 인터페이스(UI)를 변경하여 표시하는
적응형 포인팅 디바이스.
인스턴트 커플링 시스템의 포인팅 수신 디바이스에 있어서,
적응형 포인팅 디바이스로부터 전달되는 제1 빔을 감지하여 디지털 신호를 생성하는 빔 감지부;
상기 디지털 신호를 디모듈레이션(Demodulation)하고 상기 디지털 신호로부터 통신 연결 정보를 획득하는 컨트롤러;
상기 제1 빔에 응답하여 상기 포인팅 수신 디바이스의 디바이스 정보를 포함하는 제2 빔을 생성하는 빔 발생부;
상기 통신 연결 정보 및 상기 디바이스 정보를 이용하여 상기 적응형 포인팅 디바이스와 연결을 설정하는 제1 통신부; 및
사용자 주변 디바이스와 정보를 송수신하는 제2 통신부
를 포함하고,
상기 제1 통신부는,
상기 제2 통신부를 통하여 상기 사용자 주변 디바이스로부터 수신한 정보를 상기 적응형 포인팅 디바이스로 송신하고,
상기 적응형 포인팅 디바이스로부터 수신한 정보를 상기 제2 통신부를 통해 상기 사용자 주변 디바이스로 전달하는
포인팅 수신 디바이스.
삭제
제13항에 있어서,
상기 제1 통신부는,
상기 포인팅 수신 디바이스와 연결된 사용자 주변 디바이스의 UI에 관한 정보를 상기 적응형 포인팅 디바이스로 송신하는
포인팅 수신 디바이스.