KR20090087541A - 자연영상 기반 사용자 인터페이스를 이용하여 개인화된서비스를 제공하는 원격제어 장치와 이를 구비하는원격제어 시스템 및 그 방법, 상기 방법을 구현하는프로그램이 기록된 기록매체 - Google Patents

Abstract

본 발명은 자연영상 기반 사용자 인터페이스를 이용하여 개인화된 서비스를 제공하는 원격제어 장치와 이를 구비하는 원격제어 시스템 및 그 방법, 상기 방법을 구현하는 프로그램이 기록된 기록매체에 관한 것이다. 본 발명은 제어의 대상이 되는 타겟과 상기 타겟을 원격 제어하기 위한 원격제어 콘솔을 포함하는 지능 공간에서 타겟을 원격으로 제어하기 위한 자연영상 기반의 사용자 인터페이스(NVUI: Nature View User Interface) 매핑 방법에 있어서, (a) 타겟의 물리적 인터페이스와 동일한 이미지에 따라 형성된 자연영상 기반의 사용자 인터페이스를 획득하는 단계; (b) 획득된 자연영상 기반의 사용자 인터페이스가 처음 사용하는 것인지 기존에 사용한 적이 있는지를 판별하는 단계; 및 (c) 획득된 자연영상 기반의 사용자 인터페이스가 처음 사용하는 것인 경우, 획득된 자연영상 기반의 사용자 인터페이스를 특정 타겟의 원격 제어를 위해 매핑시키는 단계를 포함하는 것을 특징으로 하는 자연영상 기반의 사용자 인터페이스 매핑 방법을 제공한다.

원격 제어, 콘솔, 자연 영상, 자연영상 기반 사용자 인터페이스(NVUI: Nature View User Interface), NVUI 매핑, 템플릿(template), XML, 아이템 매칭

Description

자연영상 기반 사용자 인터페이스를 이용하여 개인화된 서비스를 제공하는 원격제어 장치와 이를 구비하는 원격제어 시스템 및 그 방법, 상기 방법을 구현하는 프로그램이 기록된 기록매체 {Remote control device for providing personalized services using natural view user interface, and system having the said device, and method therefor, and the recording media storing the program performing the said method}

본 발명은 자연영상 기반 사용자 인터페이스를 이용하여 개인화된 서비스를 제공하는 원격제어 장치와 이를 구비하는 원격제어 시스템 및 그 방법, 상기 방법을 구현하는 프로그램이 기록된 기록매체에 관한 것이다. 보다 상세하게는, 자연영상 기반 사용자 인터페이스가 처음 사용되는 것인지 기존 사용된 적이 있는지를 분별하고 처음 사용되는 것일 경우 매핑을 실행하여 개인화된 서비스를 제공하는 원격제어 장치와 이를 구비하는 원격제어 시스템 및 그 방법, 상기 방법을 구현하는 프로그램이 기록된 기록매체에 관한 것이다.

유비쿼터스 환경에 대한 또다른 개념으로서, 편재형 컴퓨팅(Pervasive Computing)이라는 개념이 사용되고 있다. 편재형 컴퓨팅이란, 고도의 전자적, 특히 무선기술과 인터넷의 융합으로 컴퓨팅 장비의 접속이 점차 늘어나는 경향을 의미하며, 컴퓨터의 핵심기능이 다른 종류의 기기에도 널리 퍼진다는 개념이다. 즉, 편재형 컴퓨팅은 네트워크에 연결된 무수한 기기들로부터 언제 어디서든 네트워크에 액세스가 가능해지고, e-비즈니스까지 수행할 수 있는 환경을 목표로 하고 있다.

이러한 편재형 컴퓨팅의 개념과 더불어 지능 공간(Smart Space)이라는 개념도 사용된다. 지능 공간이란, 임베디드 컴퓨터, 정보 기기 및 멀티 모달 센서 등을 가진 환경으로, 정보에 대한 접근 및 컴퓨터의 도움이 선례가 없는 수준으로 제공됨으로써 사람들이 효율적으로 작업을 수행할 수 있도록 하는 환경을 말한다.

이러한 편재형 컴퓨팅의 도움 또는 지능 공간의 생성으로 인해 각종 정보 기기 또는 가전 기기의 원격 제어를 가능케 하는 기술이 도입되고 있다. 종래의 단순한 원격 제어기(Romote Controller)의 개념을 넘어서, 텔레비전, 비디오 녹화기, 스테레오, 키오스크, 전화, 에어컨, 전자 오븐, 기타 전자 제어 및 표시 장치에 대하여 전용 장치나 랩톱 컴퓨터, 개인 휴대 정보 단말기(PDA), 통신 보조 장치, 장애인용 장치 등을 이용하여 원격 제어를 통합적으로 수행하고자 하는 것으로 범용 원격 제어(Universal Remote Console)에 대한 표준화 작업이 이루어지고 있다.

W3C XForms 1.0 는 규격화된 웹 제어를 위한 XML 기반의 XForms라는 사용자 인터페이스 컴포넌트를 제정하였고 2006년 3월에 W3C Recommendation으로 개정되었다. 이 규격은 웹 영역에서의 사용자 인터페이스에 국한되어 있으며, 웹 브라우저와 웹 서버를 통해 사용할 수 있기 때문에, 이 규격을 다양한 정보 기기에 적용하여 사용하기에는 무리가 있다. ANSI/INCITS 389는 타겟(Target)이라 부르는 제어하 고자 하는 장치와, URC(Universal Remote Console)라 부르는 제어기를 지정하여 정보기기의 사용자 인터페이스를 제공하는 방법에 대하여 정의하고 있다. 하지만 기존/실제의 정보기기의 사용자 인터페이스와는 다른 임의로 구성된 사용자 인터페이스를 제공하기 때문에, 이 규격을 실제 인터페이스와 일관성이 있게 사용함에 있어서 호환성 및 연동성이 보장되지 않는다. UPnP^TM 에서는 UPnP Device Architecture를 통해 원격상의 제어기와 제어장치의 연결 인터페이스를 제공하고 있지만, 제어기에 표시되는 사용자 인터페이스는 실제의 사용자 인터페이스와는 차이가 있기 때문에, 이 역시 호환성 및 연동성이 보장되지 않는다.

이상 설명한 바와 같이 호환성 및 연동성이 보장되지 못함으로 인해 기존에는 범용 원격 제어를 통한 개인화된 서비스를 제공한다는 것이 불가능하였다.

본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로서, 자연영상 기반 사용자 인터페이스가 처음 사용되는 것인지 기존 사용된 적이 있는지를 분별하고 처음 사용되는 것일 경우 매핑을 실행하여 개인화된 서비스를 제공하는 원격제어 장치와 이를 구비하는 원격제어 시스템 및 그 방법, 상기 방법을 구현하는 프로그램이 기록된 기록매체를 제공함을 목적으로 한다.

본 발명은 상술한 목적을 달성하기 위해 안출된 것으로서, 제어의 대상이 되는 타겟과 상기 타겟을 원격 제어하기 위한 원격제어 콘솔을 포함하는 지능 공간에서 상기 타겟을 원격으로 제어하기 위한 자연영상 기반의 사용자 인터페이스(NVUI: Nature View User Interface) 매핑 방법에 있어서, (a) 상기 타겟의 물리적 인터페이스와 동일한 이미지에 따라 형성된 상기 자연영상 기반의 사용자 인터페이스를 획득하는 단계; (b) 상기 획득된 자연영상 기반의 사용자 인터페이스가 처음 사용하는 것인지 기존에 사용한 적이 있는지를 판별하는 단계; 및 (c) 상기 획득된 자연영상 기반의 사용자 인터페이스가 처음 사용하는 것인 경우, 상기 획득된 자연영상 기반의 사용자 인터페이스를 특정 타겟의 원격 제어를 위해 매핑시키는 단계를 포함하는 것을 특징으로 하는 자연영상 기반의 사용자 인터페이스 매핑 방법을 제공한다.

바람직하게는, 상기 (c) 단계에서의 매핑은 기능에 따른 명령어를 결정하고, 상기 결정된 명령어를 이용하여 상기 기능을 표시하는 아이템을 매칭시키는 것을 특징으로 한다.

또한, 본 발명은 제어의 대상이 되는 타겟과 상기 타겟을 원격 제어하기 위한 원격제어 콘솔을 포함하는 지능 공간에서 타겟을 원격으로 제어하는 원격제어 방법에 있어서, (a) 상기 원격제어 콘솔의 타겟 발견 모듈과 상기 타겟의 타겟 알림 모듈의 상호 작용을 통해 상기 원격제어 콘솔이 상기 타겟을 발견하고 상기 타겟의 정보를 획득하는 단계; (b) 상기 원격제어 콘솔이 상기 타겟 정보를 바탕으로 타겟 서버에 접속하여 상기 타겟 서버로부터 상기 타겟에 대한 자연영상 기반 사용자 인터페이스(NVUI)를 획득하는 단계; (c) 상기 획득된 자연영상 기반의 사용자 인터페이스가 처음 사용하는 것인지 기존에 사용한 적이 있는지를 판별하며, 상기 획득된 자연영상 기반의 사용자 인터페이스가 처음 사용하는 것인 경우 상기 획득된 자연영상 기반의 사용자 인터페이스를 특정 타겟의 원격 제어를 위해 매핑시키는 단계; (d) 상기 원격제어 콘솔의 NVUI 출력 모듈이 상기 타겟 서버로부터 획득한 상기 NVUI를 디스플레이에 출력하는 단계; 및 (e) 상기 원격제어 콘솔의 상기 NVUI에 입력된 제어 신호를 바탕으로 상기 원격제어 콘솔의 NVUI 상호작용 모듈이 상기 타겟으로 제어 신호를 전송하는 단계를 포함하는 것을 특징으로 하는 자연영상 기반 사용자 인터페이스를 이용한 원격제어 방법을 제공한다.

또한, 본 발명은 지능 공간의 타겟을 제어하기 위한 원격제어 장치에 있어서, 상기 타겟의 물리적 인터페이스와 동일한 이미지에 따라 형성된 상기 자연영상 기반의 사용자 인터페이스가 획득되면 상기 획득된 자연영상 기반의 사용자 인터페 이스가 처음 사용하는 것인지 기존에 사용한 적이 있는지를 판별하며, 상기 획득된 자연영상 기반의 사용자 인터페이스가 처음 사용하는 것인 경우 상기 획득된 자연영상 기반의 사용자 인터페이스를 특정 타겟의 원격 제어를 위해 매핑시키는 NVUI 매핑 모듈을 포함하는 것을 특징으로 하는 자연영상 기반 사용자 인터페이스를 이용한 원격제어 장치를 제공한다.

또한, 본 발명은 지능 공간에서의 타겟을 원격으로 제어하기 위한 원격제어 시스템에 있어서, 제어의 대상이 되는 상기 타겟; 상기 타겟의 물리적 인터페이스와 동일한 이미지에 따라 형성된 자연영상 기반의 사용자 인터페이스(NVUI)를 저장하는 타겟 서버; 및 상기 타겟을 발견하고 상기 타겟으로부터 타겟 아이디 및 상기 타겟의 상기 NVUI를 저장하는 상기 타겟 서버에 대한 정보를 수신하여 상기 타겟 서버로부터 상기 NVUI를 획득하여 상기 타겟을 제어하도록 하는 원격제어 콘솔을 포함하며, 상기 원격제어 콘솔은 상기 타겟의 NVUI를 획득하면 상기 획득된 NVUI가 처음 사용하는 것인지 기존에 사용한 적이 있는지를 판별하며, 상기 획득된 NVUI가 처음 사용하는 것인 경우 상기 획득된 NVUI를 특정 타겟의 원격 제어를 위해 매핑시키는 것을 특징으로 하는 자연영상 기반 사용자 인터페이스를 이용한 원격제어 시스템을 제공한다.

본 발명에 따르면, 자연영상 기반 사용자 인터페이스가 신규의 것인지 기존 사용한 것인지 분별하고 신규의 것인 경우 매핑을 실행함으로써 범용 원격 제어를 통한 개인화된 서비스를 제공함이 가능하게 된다. 뿐만 아니라, 다른 브랜드나 다 른 종류의 서비스도 제어함이 가능하게 된다. 예컨대, TV 리모콘은 기존 TV에 사용되던 것인데, 자연영상 기반 사용자 인터페이스를 매핑시키게 되면 다른 브랜드의 TV나 에어컨 등 다른 종류의 전자 기기도 제어할 수 있게 되는 식이다.

이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.

도 1은 본 발명의 바람직한 실시예에 따른 자연영상 기반 사용자 인터페이스를 이용한 원격 제어 시스템의 개략적인 구성도이다.

본 발명의 바람직한 실시예에 따른 원격제어 시스템(100)은 자연영상 기반의 원격제어 콘솔(110)과, 제어의 대상이 되는 각종 정보기기인 타겟(120)과, 타겟(120)에 대한 정보를 저장하고 타겟(120)에 대한 사용자 인터페이스를 저장하고 있는 타겟 서버(140)를 포함하고, 상기 원격제어 콘솔(110)과 상기 타겟 서버(140)를 연결하는 제1 통신망(150)과, 상기 원격제어 콘솔(110)과 상기 타겟(120)을 연결하는 제2 통신망(130)을 포함한다.

타겟(120)에 대한 사용자 인터페이스는 타겟(120)의 실제 인터페이스에 기반하여 제작되며, 본 발명에서는 이를 '자연영상 기반 사용자 인터페이스(Natural View User Interface : NVUI)'라 정의한다. 이 자연영상 기반 사용자 인터페이스(이하, 'NVUI'라 함)는 각종 정보기기의 실제적인 인터페이스의 형상과 동일하게 제작되는 것을 원칙으로 한다. 이러한 NVUI는 각 타겟, 즉 정보 기기의 출고시 또는 그 이후에 제작되어 타겟 서버(140)에 저장된다. 다음으로 사용자는 원격제어 콘솔(110)(자연영상을 이용하므로 'Natural View Console(NVC)'로 정의할 수 있음)을 통해 지능 공간(smart space) 내에 존재하는 타겟(120)을 발견한다. 원격제어 콘솔(110)은 제2 통신망(130)을 통해 타겟(120)으로부터 타겟(120)의 정보를 획득하고, 제1 통신망(150)을 통해 타겟 서버(140)와 연결하여 타겟 서버(140)로부터 NVUI를 획득한다. 이후 사용자는 원격제어 콘솔(110)에서 NVUI를 이용하여 타겟(120)을 제어할 수 있게 된다.

이러한 본 발명의 바람직한 실시예에 따른 원격제어 시스템(100)의 각 구성 및 작동을 보다 상세히 설명하면 다음과 같다.

원격제어 콘솔(110)은 타겟(120)을 발견하고 타겟(120)에 대한 NVUI를 타겟 서버(140)로부터 획득하며, 획득된 NVUI를 디스플레이하여 타겟(120)을 제어하는 단말이다. 또한, 원격제어 콘솔(110)은 NVUI 매핑을 통하여 타겟 서버(140)에 의해 생성된 뒤 처음 사용되는 NVUI나 기존 다른 원격제어 콘솔(110)에서 제공하던 NVUI를 획득하여 제공하는 기능도 한다. 이러한 원격제어 콘솔(110)은 PDA, UMPC, 노트북, 스마트폰, PMP, 휴대폰 등이 될 수 있다. 이러한 원격제어 콘솔(110)은 기본적 으로 타겟 발견 모듈(111), NVUI 매핑 모듈(112), NVUI 출력 모듈(113), NVUI 상호작용 모듈(114) 등을 포함한다.

타겟 발견 모듈(111)은 환경에 편재하는 물리적 장치 기반의 정보기기와 장비를 비롯하여 논리적이지만 보이지 않는 서비스를 발견하는 기능을 수행한다. 타겟 발견 모듈(111)은 타겟(120)의 타겟 알림 모듈(122)과 상호작용을 통해 타겟(120)을 발견하고 타겟(120)으로부터 타겟(120)의 정보를 획득하는 기능을 수행한다. 이를 위해 타겟 발견 모듈(111)은 제2 통신망(130)을 통해 타겟(120)을 주기적으로 발견하도록 하는 것이 바람직하며, 서비스 디스커버리 프로토콜(Service Discovery Protocol : SDP)인 UPnP 및 Jini 등 기존 웹 표준 또는 이에 대응하는 프로토콜을 사용할 수 있다. 한편, 타겟 발견 모듈(111)은 타겟(120)과 동일한 프로토콜을 사용한다.

타겟 발견 모듈(111)이 타겟(120)을 발견한 경우, 타겟 발견 모듈(111)은 타겟(120)으로부터 타겟 아이디, 타겟(120)에 대한 NVUI를 저장하고 있는 타겟 서버(140)의 URL 등의 정보를 획득한다.

NVUI 출력 모듈(113)은 타겟 발견 모듈(111)이 타겟(120)으로부터 획득한 정보를 바탕으로 제1 통신망(150)을 통해 타겟 서버(140)에 접속하여 NVUI를 획득한 후 NVUI의 템플릿을 분석하여 원격제어 콘솔(110)의 디스플레이장치에 NVUI를 출력하는 기능을 수행한다.

NVUI 매핑 모듈(112)은 본 발명의 실시예에서 NVUI 매핑 기능을 수행한다. 구체적으로, NVUI 매핑 모듈(112)은 타겟 발견 모듈(111)과 NVUI 출력 모듈(113)에 의해 타겟 서버(140)에서 생성된 뒤 처음 사용하는 NVUI나 기존 다른 원격제어 콘솔(110)에서 제공하던 NVUI가 획득되면 이의 이용이 가능하도록 NVUI 매핑 기능을 수행한다. 물론, 본 발명의 실시예에서 NVUI 매핑 모듈(112)은 타겟 발견 모듈(111)에 의해 획득된 타겟 서버(140)의 URL 등의 정보를 바탕으로 직접 NVUI 획득에 관여하는 것도 가능하다. NVUI 매핑 모듈(112)의 기능 수행 방법은 도면을 참조하여 상세히 후술한다.

NVUI 상호작용 모듈(114)은 출력된 NVUI를 이용하여 타겟(120)을 제어하는 기능을 수행한다. 사용자가 NVUI를 이용하여 타겟(120) 제어 명령을 입력하면, NVUI 상호작용 모듈(114)은 NVUI의 디스크립션 파일을 참조하여 제어 명령에 따른 명령어를 제2 통신망(130)을 통해 타겟(120)으로 전달한다.

타겟(120)은 제어의 대상이 되는 정보 기기를 의미하며 네트워크 기능이 활성화된 장치이다. 이러한 타겟(120)은 일상 생활에서 사용되는 정보 기기 및 가전 기기인 TV, 냉장고, 디스플레이 장치, PC 등 다양한 범위를 포괄한다.

타겟(120)은 타겟 알림 모듈(122)과 타겟 제어 모듈(124)을 포함한다. 또한, 타겟(120)은 사용자가 타겟(120)에 대하여 물리적으로 제어신호를 입력할 수 있는 물리적 인터페이스를 구비한다. 타겟(120)의 물리적 인터페이스에 대응하여 원격제어 콘솔(110)에서 사용될 자연영상 기반 사용자 인터페이스는 디지털화되어 NVUI로서 타겟 서버(140)에 저장되어 있다.

타겟 알림 모듈(122)은 타겟(120)을 사용자의 원격제어 콘솔(110)에서 접근 가능하도록 네트워크 상에 알리는 프로세스를 담당한다. 이에 대응하여 원격제어 콘솔(110)은 타겟(120)을 발견하는 기능이 포함된다. 타겟 알림 모듈(122)은 자신의 정보를 주기적으로 발송하여 원격제어 콘솔(110)이 이를 발견하도록 하거나, 원격제어 콘솔(110)로부터 타겟(120) 발견 신호를 수신하면 그 응답으로 자신의 정보를 원격제어 콘솔(110)로 전송할 수 있다. 타겟 알림 모듈(122)에서 원격제어 콘솔(110)로 전송되는 알림 메시지에는, 타겟(120)의 타겟 아이디를 비롯한 고유 정보, 타겟(120)의 품명, 제조사 등에 대한 정보를 포함할 수 있으며, NVUI를 저장하고 있는 타겟 서버(140)의 URL 정보도 함께 포함되는 것이 바람직하다. 이러한 타겟 알림 모듈(122)의 기능은 블루투스 기기에 탑재되어 원하는 서비스를 제공하는 기기를 찾아주는 역할을 수행하는 서비스 검색 프로토콜(Service Discovery Protocol : SDP)와 유사한 것으로 이해될 수 있다.

타겟 제어 모듈(124)은 원격제어 콘솔(110)로부터 수신한 타겟(120) 제어 명령에 근거하여 타겟(120)을 작동을 제어하는 기능을 수행한다. 타겟 제어 모듈(124)은 원격제어 콘솔(110)로부터 수신된 명령에 대응하는 소프트웨어 및 하드웨어의 매핑을 통해 물리적으로 또는 논리적으로 타겟(120)을 제어한다. 또한 타겟 제어 모듈(124)은 UPnP 등도 지원하여 확장성을 보장하는 것이 바람직하다.

타겟 서버(140)는 타겟(120)의 아이디에 대응하는 NVUI를 NVUI 데이터베이스(142)에 저장하는 기능을 수행한다. 원격제어 콘솔(110)은 타겟 서버(140)로부터 타겟(120)에 대한 자세한 속성 정보 및 타겟(120)의 NVUI를 획득할 수 있다. 타겟 아이디 또는 타겟(120)으로부터 획득한 타겟 서버 URL 정보를 바탕으로 원격제어 콘솔(110)은 타겟 서버(140)에 접속하며, 해당 타겟(120)의 NVUI를 획득한다. 여기 서 타겟 서버(140)의 URL은 모든 타겟(120)에 대해 공통될 수도 있으나 타겟(120)의 제조사 등이 다른 경우를 고려할 때, 타겟(120)에 따라 다를 수 있음은 물론이다.

제1 통신망(150)은 원격제어 콘솔(110)과 타겟 서버(140)를 연결시키는 통신망을 의미한다. 원격제어 콘솔(110)은 타겟(120)으로부터 획득한 타겟 아이디 또는/및 서버 URL을 바탕으로 제1 통신망(150)을 통해 타겟 서버(140)에 접속하고 타겟 서버(140)로부터 NVUI를 획득한다. 이러한 제1 통신망(150)은 유무선 인터넷을 포함하는 개념으로 이해된다.

제2 통신망(130)은 원격제어 콘솔(110)과 타겟(120)을 연결시키는 통신망으로서 일반적인 웹의 표준을 따른다. 제2 통신망(130)을 통해 원격제어 콘솔(110)은 타겟(120)을 발견하기 위한 신호를 타겟(120)과 송수신하고, 타겟(120)을 제어하기 위한 신호를 타겟(120)으로 전송한다. 이러한 제2 통신망(130)은 제1 통신망(150)에 비해 근거리에서 형성되며, 블루투스(Blutooth)나 지그비(zigbee)와 같은 근거리 무선 통신 방식으로 이루어질 수 있다.

타겟(120)에 대한 NVUI에 대하여 보다 구체적으로 설명한다. 도 2는 NVUI의 인터페이스 이미지의 일례를 도시한 도면이다.

NVUI는 인터페이스 이미지(200)와 명령어를 표현하는 디스크립션 파일로 이루어진다. 도 2를 참조하면, NVUI의 인터페이스 이미지(200)는 타겟(120)의 실제 물리적 인터페이스와 동일한 형상을 따른다. 이에 따라 NVUI 상의 버튼 구성이나 배치 및 제어 메뉴는 실제 타겟(120)의 물리적 인터페이스와 동일하게 형성된다. 도 2에서는 NVUI의 인터페이스 이미지(200)의 크기를 300×500으로 하고, 각 컨트롤 명령어는 이미지 상의 좌표로 명시하였다. 예컨대 Copy 버튼(202)의 경우에는 그 좌표가 TopLeft는 (50, 60)으로, BottomRight는 (115, 95)로 하였다. 이에 따라 사용자가 NVUI를 이용하여 상기 Copy 버튼(202) 영역을 클릭하면 Copy 명령어가 실행된다.

한편, 이러한 NVUI는 인터페이스 이미지(200)의 절대적인 크기와 각 컨트롤 명령어의 좌표가 지정되므로 원격제어 콘솔(110)의 디스플레이의 크기가 다르더라도 일정 비율로 출력될 수 있는 바, 원격제어 콘솔(110)은 디스플레이의 크기에 따라 NVUI의 크기를 조절하여 사용할 수 있다. NVUI의 디스크립션 파일은 XML(eXtensible Markup Language)로 작성될 수 있다.

다음으로, 원격제어 콘솔(110)에 구비되는 NVUI 매핑 모듈(112)에 대하여 설명한다. 도 3은 본 발명의 바람직한 실시예에 따른 NVUI 매핑 모듈의 구동 개념도이고, 도 4는 본 발명의 바람직한 실시예에 따른 NVUI 매핑 모듈의 구동 예시도이다. 이하 내용 설명은 상기 두 도면을 참조하기 바란다.

1. 처음 사용하는 NVUI

원격제어 콘솔(도 3에서의 제1 원격제어 콘솔(300))이 타겟 서버(140)로부터 사용된 적이 없었던 NVUI를 제공받게 되면 원격제어 콘솔의 NVUI 매핑 모듈(112)는 다음 단계에 따라 NVUI를 매핑시키게 된다. 물론, 이에 선행하여 상기 NVUI와 동일한 종류의 NVUI 사용 경험이 있는지 여부를 판별하게 되는데, 보다 자세한 설명은 도 5의 내용을 참조하기 바란다. 먼저 제1 단계에서, 원격제어 콘솔의 NVUI 매핑 모듈(112)은 기본 템플릿(template)을 제공한다. 템플릿의 예로는 product, homepage, on/off, channel next/previous, volume up/down, menu 등이 있을 수 있다. 제2 단계에서, NVUI 매핑 모듈(112)은 NVUI에 대한 XML을 작성한다. 이는 테이블을 이용하게 되며, 그 예는 도 6과 같다. 제3 단계에서, NVUI 매핑 모듈(112)은 동일 아이템을 매칭시킴으로써 NVUI 매핑을 완료하게 된다.

한편, NVUI 매핑 모듈(112)은 NVUI 매핑을 완료하게 되면 이후 이용을 위해 작성된 XML을 타겟 서버(140)에 제공할 수 있다. 그러면, 이 XML을 근거로 향후 다른 원격제어 콘솔(도 3에서의 제2 원격제어 콘솔(320))이 NVUI을 쉽게 이용할 수 있게 된다.

한편, NVUI 매핑 모듈(112)은 제공받은 NVUI과 동일한 종류의 NVUI 사용경험이 있으면 제공받은 NVUI 대신 사용경험이 있는 NVUI를 대신 적용하게 된다. 그러나, 본 발명에서는 이에 한정되지 않으며, 제공받은 NVUI를 매핑시킨 후 사용함도 가능하다.

2. 기존 사용된 적이 있는 NVUI

원격제어 콘솔(도 3에서의 제1 원격제어 콘솔(300))이 타겟 서버(140)로부터 기존 사용된 적이 있는 NVUI를 제공받게 되면, NVUI 매핑 모듈(112)은 이의 이용을 위해 NVUI에 대한 XML을 검색하게 된다. NVUI에 대한 XML은 검색을 통해 추출할 수 있으나, 타겟 서버(140)나 다른 원격제어 콘솔(도 3에서의 제2 원격제어 콘솔(320))로부터 저장된 XML(310, 321)을 제공받는 것도 가능하다. 이후, NVUI 매핑 모듈(112)은 제공된 XML을 이용하여 아이템 매칭을 실행한다.

이상에서, NVUI 매핑 모듈(112)이 처음 사용하는 NVUI나 기존 사용된 적이 있는 NVUI의 이용을 위해서는 상기 NVUI에 대한 XML이 필요함을 설명하였다. 그러면, 이하에서는 리모콘(remote control)을 이용하여 실예를 들어 설명해 보겠다. 도 3 및 도 4를 참조하면, 사용자가 소지하고 있던 특정 브랜드의 TV 리모콘(400)을 이용하여 다른 브랜드의 TV나 에어컨 등을 제어하기 위해서는 선행하여 NVUI 매핑 모듈(112)의 NVUI에 대한 XML 생성이나 취득이 요구된다. 이것이 달성되면, 사용자는 소지하고 있던 TV 리모콘(400)(예컨대, 삼성 브랜드)을 이용하여 다른 브랜드의 TV(410)(예컨대, 소니 브랜드)나 다른 전자 기기인 에어컨(420)을 제어할 수 있게 된다. TV 리모콘(400)의 이용 예시는 도 4에 화살 표시로써 표현되어 있는 바, 자세한 설명은 생략한다.

이상에서 설명한 본 발명의 바람직한 실시예에 따른 원격제어 시스템의 개인화 서비스 제공방법을 설명하면 다음과 같다. 도 5는 본 발명의 바람직한 실시예에 따른 원격제어 시스템의 개인화 서비스 제공방법을 도시한 순서도이다.

먼저, 원격제어 콘솔(110)은 타겟 서버(140)로부터 NVUI를 획득한다(S500). 이후, 원격제어 콘솔(110)의 NVUI 매핑 모듈(112)은 획득된 NVUI가 처음 사용하는 NVUI인지 기존에 사용한 적이 있는 NVUI인지를 판별한다(S505). 획득된 NVUI가 기존에 사용된 적이 있는 NVUI일 경우에는 NVUI 매핑 모듈(112)은 통신망(130, 150)을 통하여 다른 원격제어 모듈이나 타겟 서버(140)에 상기 NVUI에 대한 XML을 요청하고, 이후 제공된 XML을 이용하여 아이템 매칭을 실행한다. 이후, NVUI 출력 모듈(113)과 NVUI 상호작용 모듈(114)은 매핑된 NVUI를 디스플레이시킨다(S515). 한 편, NVUI에 대한 XML을 얻을 수 없는 경우에는 NVUI 매핑 모듈(112)이 NVUI에 대한 XML을 새로 작성함도 가능하다.

한편, NVUI 매핑 모듈(112)은 획득된 NVUI가 처음 사용하는 NVUI일 경우에는 동일 서비스 종류의 타 NVUI 사용 경험이 있는지를 판별한다(S520). 동일 서비스 종류의 타 NVUI를 사용한 경험이 있으면, NVUI 매핑 모듈(112)은 원격제어 콘솔(110)로 하여금 기존 사용 NVUI를 선택하도록 한다(S525). 반면, 동일 서비스 종류의 타 NVUI를 사용한 경험이 없으면, NVUI 매핑 모듈(112)은 획득된 NVUI의 사용을 포기하거나 획득된 NVUI에 대한 XML을 작성한다(S530). 물론, 본 발명의 실시예에서 NVUI에 대한 XML 작성은 NVUI 매핑 모듈(112)에서 이루어지지 않고, 원격제어 콘솔(110)의 다른 기능부나 타겟 서버(140)로부터 이루어짐도 가능하다. 이후에는, 원격제어 콘솔(110)의 NVUI 출력 모듈(113)과 NVUI 상호작용 모듈(114)이 선택된 NVUI를 디스플레이시킨다(S515).

이상 설명한 NVUI 매핑 모듈(112)의 NVUI 매핑이 이루어지면, 신규 NVUI인 경우 타겟의 물리적 인터페이스와 동일한 이미지를 생성할 필요가 없게 되므로 매우 유익하다 할 것이다.

다음으로, 본 발명의 바람직한 실시예에 따른 원격제어 시스템의 운용 방법을 설명한다. 먼저, 타겟(120)의 실제 물리적 인터페이스에 따라 생성된 NVUI는 타겟 서버(140)에 저장되어 있다. NVUI는 타겟(120)의 출고시에 이미 생성될 수 있으며 사용자의 요구에 따라 타겟(120)의 제조회사는 NVUI를 출고 이후 생성하여 타겟 서버(140)에 저장할 수 있다.

원격제어 콘솔(110)의 타겟 발견 모듈(112)과 타겟(120)의 타겟 알림 모듈(122)의 상호작용을 통해 제2 통신망(130)에서 원격제어 콘솔(110)은 타겟(120)을 발견하고, 타겟(120)으로부터 타겟(120)의 정보를 획득한다. 획득되는 타겟(120)의 정보에는 타겟(120) 아이디, 타겟 서버(140)의 URL, 타겟(120)의 품명, 모델 번호 등이 포함될 수 있다. 원격제어 콘솔(110)은 획득된 타겟(120) 정보를 바탕으로 제1 통신망(150)을 통해 타겟 서버(140)에 접속하고 타겟 서버(140)로부터 타겟(120) 아이디에 따른 NVUI를 획득한다. 획득되는 NVUI는 타겟(120)의 물리적 인터페이스와 동일한 인터페이스 이미지와 디스크립션 파일을 포함한다.

이후, 원격제어 콘솔(110)은 획득된 NVUI가 신규의 것인지 기존 사용한 것인지를 분별하고, NVUI가 신규의 것일 경우 매핑을 실행한다. 매핑에 관련해서는 도 5를 참조하여 상술한 바, 자세한 설명은 여기서는 생략한다.

이후, 원격제어 콘솔(110)의 NVUI 출력 모듈(113)은 상기 NVUI를 원격제어 콘솔(110)의 디스플레이에 출력한다. 이 때, NVUI 출력 모듈(113)은 원격제어 콘솔(110)의 디스플레이 크기에 따라 NVUI의 이미지 형상을 조절하도록 함이 바람직하다. 사용자는 원격제어 콘솔(110)에 출력된 NVUI를 통해 타겟(120)의 제어 신호를 입력한다. 원격제어 콘솔(110)의 NVUI 상호작용 모듈(114)은 입력된 제어 신호를 바탕으로 타겟(120)의 제어 명령을 생성하여 제2 통신망(130)을 통해 타겟(120)으로 전달한다. 타겟(120)의 타겟 제어 모듈(124)은 원격제어 콘솔(110)의 NVUI 상호작용 모듈(114)로부터 수신한 제어 명령을 바탕으로 타겟(120)의 기능을 제어한다.

한편, 지능 공간 내에 다수의 타겟(120)이 존재하는 경우 사용자가 원격제어 콘솔(110)을 이용하여 특정 타겟(120)에 대한 제어를 하기 위해서는 제어하고자 하는 타겟(120)을 원격제어 콘솔(110)에서 제공하는 타겟(120) 리스트 등을 이용하여 선택하여야 하는 번거로움이 있다. 이러한 문제는 타겟(120)의 수가 증가하는 경우 더욱 큰 불편을 초래하며, 지능 공간에서의 사용자의 직관적인 타겟(120) 제어는 곤란해진다. 이러한 문제를 해결하기 위한 수단으로서 본 발명에 따른 원격제어 시스템의 원격제어 콘솔(110)은 제어하고자 하는 타겟(120)을 인식하는 타겟 인식 모듈을 더 포함하는 것도 가능하다.

한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, ROM, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, CD-ROM, DVD 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장매체를 포함한다.

이상의 설명은 본 발명의 기술사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술사상의 범위가 한정되는 것은 아니다. 본 발명의 보호범 위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

본 발명은 자연영상 기반 사용자 인터페이스를 이용하여 범용 원격 제어를 가능하게 한다. 이에 따라, 서로 다른 브랜드(예컨대, 삼성 TV와 소니 TV)나 서로 다른 종류(예컨대, TV와 에어컨)의 기기에 대해서도 제어가 가능하게 됨으로써 개인화된 서비스를 실현할 수 있게 된다. 향후 유비쿼터스 환경에서는 수많은 종류의 전자 기기들이 외부에 노출될 것인 바, 본 발명은 이들에 대한 범용 원격 제어를 실현할 수 있게 될 것이다.

도 1은 본 발명의 바람직한 실시예에 따른 자연영상 기반 사용자 인터페이스를 이용한 원격 제어 시스템의 개략적인 구성도,

도 2는 NVUI의 인터페이스 이미지의 일례를 도시한 도면,

도 3, 도 4 및 도 6은 본 발명의 바람직한 실시예에 따른 원격 제어 시스템에 있어서, 원격 제어 장치의 자연영상 기반 사용자 인터페이스의 매핑을 설명하기 위한 도면,

도 5는 본 발명의 바람직한 실시예에 따른 원격제어 시스템의 개인화 서비스 제공방법을 도시한 순서도이다.

< 도면의 주요 부분에 대한 부호의 설명 >

100 : 원격 제어 시스템 110 : 원격제어 콘솔

111 : 타겟 발견 모듈 112 : NVUI 매핑 모듈

113 : NVUI 출력 모듈 114 : NVUI 상호작용 모듈

120 : 타겟 122 : 타겟 알림 모듈

124 : 타겟 제어 모듈 130, 150 : 통신망

140 : 타겟 서버 142 : NVUI 데이타베이스

Claims (11)

1. 제어의 대상이 되는 타겟과 상기 타겟을 원격 제어하기 위한 원격제어 콘솔을 포함하는 지능 공간에서 상기 타겟을 원격으로 제어하기 위한 자연영상 기반의 사용자 인터페이스(NVUI: Nature View User Interface) 매핑 방법에 있어서,

   (a) 상기 타겟의 물리적 인터페이스와 동일한 이미지에 따라 형성된 상기 자연영상 기반의 사용자 인터페이스를 획득하는 단계;

   (b) 상기 획득된 자연영상 기반의 사용자 인터페이스가 처음 사용하는 것인지 기존에 사용한 적이 있는지를 판별하는 단계; 및

   (c) 상기 획득된 자연영상 기반의 사용자 인터페이스가 처음 사용하는 것인 경우, 상기 획득된 자연영상 기반의 사용자 인터페이스를 특정 타겟의 원격 제어를 위해 매핑시키는 단계

   를 포함하는 것을 특징으로 하는 자연영상 기반의 사용자 인터페이스 매핑 방법.
2. 제 1 항에 있어서,

   상기 (c) 단계는 상기 획득된 자연영상 기반의 사용자 인터페이스에 앞서 상기 특정 타겟의 원격 제어에 사용된 자연영상 기반의 사용자 인터페이스가 있는지를 판별하는 단계를 더 포함하는 것을 특징으로 하는 자연영상 기반의 사용자 인터페이스 매핑 방법.
3. 제 2 항에 있어서,

   상기 (c) 단계는 상기 특정 타겟의 원격 제어에 사용된 자연영상 기반의 사용자 인터페이스가 있는 경우 이를 선택하여 매핑시키는 단계를 더 포함하는 것을 특징으로 하는 자연영상 기반의 사용자 인터페이스 매핑 방법.
4. 제 1 항에 있어서,

   상기 (c) 단계에서의 매핑은 기능에 따른 명령어를 결정하고, 상기 결정된 명령어를 이용하여 상기 기능을 표시하는 아이템을 매칭시키는 것을 특징으로 하는 자연영상 기반의 사용자 인터페이스 매핑 방법.
5. 제어의 대상이 되는 타겟과 상기 타겟을 원격 제어하기 위한 원격제어 콘솔을 포함하는 지능 공간에서 타겟을 원격으로 제어하는 원격제어 방법에 있어서,

   (a) 상기 원격제어 콘솔의 타겟 발견 모듈과 상기 타겟의 타겟 알림 모듈의 상호 작용을 통해 상기 원격제어 콘솔이 상기 타겟을 발견하고 상기 타겟의 정보를 획득하는 단계;

   (b) 상기 원격제어 콘솔이 상기 타겟 정보를 바탕으로 타겟 서버에 접속하여 상기 타겟 서버로부터 상기 타겟에 대한 자연영상 기반 사용자 인터페이스(NVUI)를 획득하는 단계;

   (c) 상기 획득된 자연영상 기반의 사용자 인터페이스가 처음 사용하는 것인 지 기존에 사용한 적이 있는지를 판별하며, 상기 획득된 자연영상 기반의 사용자 인터페이스가 처음 사용하는 것인 경우 상기 획득된 자연영상 기반의 사용자 인터페이스를 특정 타겟의 원격 제어를 위해 매핑시키는 단계;

   (d) 상기 원격제어 콘솔의 NVUI 출력 모듈이 상기 타겟 서버로부터 획득한 상기 NVUI를 디스플레이에 출력하는 단계; 및

   (e) 상기 원격제어 콘솔의 상기 NVUI에 입력된 제어 신호를 바탕으로 상기 원격제어 콘솔의 NVUI 상호작용 모듈이 상기 타겟으로 제어 신호를 전송하는 단계

   를 포함하는 것을 특징으로 하는 자연영상 기반 사용자 인터페이스를 이용한 원격제어 방법.
6. 지능 공간의 타겟을 제어하기 위한 원격제어 장치에 있어서,

   상기 타겟의 물리적 인터페이스와 동일한 이미지에 따라 형성된 상기 자연영상 기반의 사용자 인터페이스가 획득되면 상기 획득된 자연영상 기반의 사용자 인터페이스가 처음 사용하는 것인지 기존에 사용한 적이 있는지를 판별하며, 상기 획득된 자연영상 기반의 사용자 인터페이스가 처음 사용하는 것인 경우 상기 획득된 자연영상 기반의 사용자 인터페이스를 특정 타겟의 원격 제어를 위해 매핑시키는 NVUI 매핑 모듈

   을 포함하는 것을 특징으로 하는 자연영상 기반 사용자 인터페이스를 이용한 원격제어 장치.
7. 제 6 항에 있어서,

   상기 지능 공간에서 상기 타겟을 발견하고 상기 타겟으로부터 그 정보를 획득하는 타겟 발견 모듈;

   상기 타겟 발견 모듈에서 획득된 정보를 바탕으로 타겟 서버에 접속하여 상기 타겟의 자연 영상 기반 사용자 인터페이스(NVUI)를 획득하고 이를 디스플레이상에 출력하는 NVUI 출력 모듈; 및

   상기 NVUI를 이용하여 입력된 제어 신호를 상기 타겟으로 전송하는 NVUI 상호작용 모듈

   을 더 포함하는 것을 특징으로 하는 자연영상 기반 사용자 인터페이스를 이용한 원격제어 장치.
8. 지능 공간에서의 타겟을 원격으로 제어하기 위한 원격제어 시스템에 있어서,

   제어의 대상이 되는 상기 타겟;

   상기 타겟의 물리적 인터페이스와 동일한 이미지에 따라 형성된 자연영상 기반의 사용자 인터페이스(NVUI)를 저장하는 타겟 서버; 및

   상기 타겟을 발견하고 상기 타겟으로부터 타겟 아이디 및 상기 타겟의 상기 NVUI를 저장하는 상기 타겟 서버에 대한 정보를 수신하여 상기 타겟 서버로부터 상기 NVUI를 획득하여 상기 타겟을 제어하도록 하는 원격제어 콘솔

   을 포함하며,

   상기 원격제어 콘솔은 상기 타겟의 NVUI를 획득하면 상기 획득된 NVUI가 처 음 사용하는 것인지 기존에 사용한 적이 있는지를 판별하며, 상기 획득된 NVUI가 처음 사용하는 것인 경우 상기 획득된 NVUI를 특정 타겟의 원격 제어를 위해 매핑시키는 것을 특징으로 하는 자연영상 기반 사용자 인터페이스를 이용한 원격제어 시스템.
9. 제 8 항에 있어서,

   상기 원격제어 콘솔은,

   상기 지능 공간에서 상기 타겟을 발견하고 상기 타겟으로부터 그 정보를 획득하는 타겟 발견 모듈;

   상기 타겟 발견 모듈에서 획득된 정보를 바탕으로 타겟 서버에 접속하여 상기 타겟의 물리적 인터페이스와 동일한 이미지에 따라 형성된 자연 영상 기반 사용자 인터페이스(NVUI)를 획득하고 이를 디스플레이상에 출력하는 NVUI 출력 모듈;

   상기 NVUI를 이용하여 입력된 제어 신호를 상기 타겟으로 전송하는 NVUI 상호작용 모듈; 및

   상기 타겟의 NVUI가 획득되면 상기 획득된 NVUI가 처음 사용하는 것인지 기존에 사용한 적이 있는지를 판별하며, 상기 획득된 NVUI가 처음 사용하는 것인 경우 상기 획득된 자연영상 기반의 사용자 인터페이스를 특정 타겟의 원격 제어를 위해 매핑시키는 NVUI 매핑 모듈

   을 포함하는 것을 특징으로 하는 원격제어 시스템.
10. 제 8 항 또는 제 9 항에 있어서,

    상기 타겟은,

    상기 타겟이 상기 원격제어 콘솔에 접근 가능하도록 네트워크 상에 알리는 타겟 알림 모듈; 및

    상기 원격제어 콘솔로부터 수신한 제어 신호에 따라 상기 타겟을 제어하는 타겟 제어 모듈

    을 포함하는 것을 특징으로 하는 원격제어 시스템.
11. 컴퓨터로 판독 가능한 기록매체에 있어서,

    제 1 항 내지 제 5 항 중 어느 한 항에 따른 방법을 구현하는 프로그램이 기록되는 기록매체.

Images