KR20110004203A - 원격 제어 장치 및 원격 제어 장치에 대한 사용자 인터페이스 제공 방법 - Google Patents

원격 제어 장치 및 원격 제어 장치에 대한 사용자 인터페이스 제공 방법 Download PDF

Info

Publication number
KR20110004203A
KR20110004203A KR1020090061886A KR20090061886A KR20110004203A KR 20110004203 A KR20110004203 A KR 20110004203A KR 1020090061886 A KR1020090061886 A KR 1020090061886A KR 20090061886 A KR20090061886 A KR 20090061886A KR 20110004203 A KR20110004203 A KR 20110004203A
Authority
KR
South Korea
Prior art keywords
image
control
operation means
live image
controlling
Prior art date
Application number
KR1020090061886A
Other languages
English (en)
Inventor
정재규
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020090061886A priority Critical patent/KR20110004203A/ko
Publication of KR20110004203A publication Critical patent/KR20110004203A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • H04Q9/02—Automatically-operated arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Selective Calling Equipment (AREA)
  • Details Of Television Systems (AREA)

Abstract

실사 영상을 이용하여 사용자의 원격 기기의 직관적인 제어를 가능하게 하는 원격 제어 장치 및 방법이 개시된다. 네트워크로 연결가능한 피제어 장치를 제어하는 원격 제어 장치는, 실사 영상을 포착하고, 실사 영상으로부터 원격 제어가 가능한 피제어 장치를 인식한다. 그런 다음, 원격 제어 장치는 실사 영상에 포함된 피제어 장치를 제어하는데 이용되는 제어 기능 정보를 실사 영상에 오버랩하여 표시한다.
실사 영상, 리모콘, 사용자 인터페이스, UPnP

Description

원격 제어 장치 및 원격 제어 장치에 대한 사용자 인터페이스 제공 방법{Apparatus for controlling remote device and method for providing user interface thereof}
본 발명의 하나 이상의 양상은 원격 기기 제어 시스템에 관한 것으로, 더욱 상세하게는 원격 기기에 대하여 직관적인 제어를 돕는 원격 기기 제어 장치 및 방법에 관한 것이다.
가정이나 사무실의 텔레비젼, DVD 플레이어, 에어컨, 전등 스위치와 같은 각종 전자 기기들을 리모콘으로 원격 제어하는 기술이 보편화되고 있다. 이에 따라, 사용하는 리모콘의 개수가 늘게 되면서 생기는 불편함을 해소하기 위하여 여러 종류의 전자 기기들을 하나의 리모콘으로 제어할 수 있는 통합 리모콘이 개발되었다. 그러나, 통합 리모콘에서 제공되는 전자 기기의 제어를 위한 사용자 인터페이스는 미리 설정된 텍스트나 이미지 아이콘으로만 구성되어 있어서, 사용자가 제어하고자 하는 전자 기기의의 상태를 알 수 없고 여러 기기를 통합하여 제어하기 위해서는 여러 단계의 메뉴 조작을 수행하여야만 하므로 사용자의 직관적이고 신속한 기기 제어가 어렵다.
실사 영상을 이용하여 사용자가 원격 기기의 직관적인 제어를 가능하도록 하는 원격 제어 장치 및 방법을 제공한다.
일 양상에 따른 피제어 장치를 제어하는 원격 제어 장치는 이미지 획득부, 표시부 및 제어부를 포함한다. 이미지 획득부는 실사 영상을 포착한다. 표시부는 포착된 실사 영상을 표시한다. 제어부는 포착된 실사 영상으로부터 원격 제어가 가능한 디바이스를 인식하고, 실사 영상 및 인식된 디바이스를 제어하는데 이용되는 제어 기능 정보를 오버랩하여 표시부에 표시되도록 제어한다.
원격 제어 장치는 디바이스를 적어도 하나의 각도에서 촬영한 이미지 정보를 수신하는 통신부를 더 포함할 수 있다. 제어부는 포착된 실사 영상으로부터 디바이스의 이미지 정보를 추출하고, 수신된 이미지 정보 및 추출된 디바이스의 이미지 정보를 비교하여 디바이스를 인식한다. 제어부는 디바이스를 조작하기 위한 적어도 하나의 조작 수단을 식별하고, 식별된 조작 수단에 관한 제어 기능 정보 및 실사 영상을 오버랩하여 표시하도록 표시부를 제어한다.
제어부는 포착된 실사 영상으로부터 디바이스의 적어도 하나의 조작 수단에 대한 이미지 정보를 추출하고, 통신부를 통하여 수신된 디바이스의 적어도 하나의 조작 수단을 적어도 하나의 각도에서 촬영한 이미지 정보 및 추출된 실사 영상을 비교하여 실사 영상으로부터 디바이스를 조작하기 위한 적어도 하나의 조작 수단을 식별할 수 있다.
원격 제어 장치는 사용자 입력을 수신하여 제어부에 전달하는 사용자 인터페이스부를 더 포함할 수 있다. 제어부는 사용자 인터페이스부로부터 입력되는 실사 영상에 포함된 디바이스를 제어하기 위한 조작 수단을 선택하는 선택 신호를 해석하여 디바이스를 제어하기 위한 제어 신호를 생성하고, 제어 신호가 디바이스에 전달되도록 통신부를 제어한다.
사용자 인터페이스부는 사용자 입력이 수신되면 촉각 피드백을 생성할 수 있다. 디바이스를 제어하는데 이용되는 제어 기능 정보는 디바이스 또는 디바이스의 제어 기능 정보를 저장하는 서버로부터 수신될 수 있다.
다른 양상에 따른 디바이스를 제어하는 원격 제어 장치에 대한 사용자 인터페이스 제공 방법은, 실사 영상을 포착하는 동작과, 포착된 실사 영상을 표시하는 동작과, 실사 영상으로부터 원격 제어가 가능한 디바이스를 인식하는 동작과, 실사 영상에 포함된 디바이스를 제어하는데 이용되는 제어 기능 정보를 실사 영상에 오버랩하여 표시하는 동작을 포함한다.
일 실시예에 따르면, 실사 영상을 이용한 원격 기기 제어를 통해 사용자에게 실제로 기기를 제어하는 것과 같은 직관적인 인터랙션이 가능하도록 지원한다. 즉, 원격 제어 장치를 이용하여 사용자가 원격의 전자 장치를 실사 화면에 터치 등의 사용자 인터랙션을 통하여 실제로 원격의 전자 장치를 수동 조작하는 것과 같은 효과를 줌으로써 직관적인 원격 기기의 제어를 가능하게 한다. 이로 인해, 미리 설정된 리모콘의 텍스트나 그래픽 정보를 이용하는 것보다 직관적이고 재미있는 사용자 인터페이스를 제공할 수 있고, 리모콘에 있는 복잡한 메뉴의 기능들로 인하여 메뉴 조작의 어려움을 해소할 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 일 실시예를 상세하게 설명한다. 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 일 실시예에 따른 원격 제어 시스템의 구성을 나타내는 도면이다.
도 1을 참조하면, 원격 제어 시스템은 원격 제어 장치(100), 피제어 장치(200) 및 서버(300)를 포함할 수 있다. 원격 제어 장치(100)와 피제어 장치(200)는 제1 네트워크(10)로 연결될 수 있으며, 원격 제어 장치(100)와 서버(300)는 제2 네트워크(20)로 연결될 수 있다. 제1 네트워크(10)는 유무선 인터넷일 수 있으며, 제2 네트워크(20)는 유무선 인터넷, 블루투스(Bluetooth), 무선 랜, 홈 RF(Home Radio Frequency), 지그비(Zigbee), UWB(Ultra Wide Band) 및 무선 1394 등 중 어느 하나일 수 있다.
원격 제어 장치(100)는 복수 개의 피제어 장치(200)를 통합적으로 원격으로 제어할 수 있는 통합 리모콘일 수 있다. 원격 제어 장치(100)는 카메라 기능을 수 행하는 모듈을 포함하고, 원격 제어 기능을 수행하는 한 휴대 전화, PDA(Personal Digital Assistant) 등 다양한 형태의 사용자 단말 장치로 구현될 수 있다.
피제어 장치(200)는 텔레비젼, DVD 플레이어, 에어컨, 전등 스위치와 같은 각종 전자 기기일 수 있으며, 피제어 장치(200)는 복수 개 존재할 수 있다. 원격 제어 장치(100)는 피제어 장치(200)와 UPnP(Universal Plug and Play) 등의 프로토콜 기술을 이용하여 일대일 데이터 통신을 할 수 있다. 피제어 장치(200)는 피제어 장치(200)를 제어하는데 이용되는 제어 기능 정보를 원격 제어 장치(100)에 데이터 통신을 통해 제공할 수 있다.
제어 기능 정보는 피제어 장치(200)가 제공하는 피제어 장치(200)의 디바이스 정보, 피제어 장치(200)가 제공하는 서비스 목록 정보 등을 포함하는 디스크립션 정보이거나 디스크립션 정보로부터 가공되어 생성될 수 있다. 제어 기능 정보는 피제어 장치(200)에 대한 설명 정보, 피제어 장치(200)를 사용자가 조작하기 위한 적어도 하나의 조작 수단에 대한 설명 정보 등을 포함할 수 있으며, 제어 기능 정보는 특정 종류나 형태의 정보에 한정되는 것은 아니다.
서버(300)는 선택적으로 이용될 수 있으며, 원격 제어 장치(100)의 요청에 따라 피제어 장치(200) 대신에 원격 제어 장치(100)로 피제어 장치(200)를 제어하기 위한 제어 기능 정보를 원격 제어 장치(100)에 제공할 수 있다.
원격 제어 장치(100)는 원격 제어 장치(100)에 포함된 카메라를 이용하여 실사 영상을 획득하고, 획득된 실사 영상을 이용하여 원격의 피제어 장치(200)를 제어하도록 하여, 사용자가 수조작으로 실제로 피제어 장치(200)를 제어하는 것과 같 은 직관적인 인터랙션을 지원한다.
예를 들어, 원격 제어 장치(100)는 AR(Augmented Reality) 기술을 접목하여 사용자에게 직관적인 인터랙션을 지원할 수 있다. AR 기술은 실세계에 3차원 가상물체를 겹쳐 보여주는 기술로서, 원격 제어 장치(100)는 피제어 장치(200)의 제어 기능 정보를 카메라를 이용하여 획득한 실사 영상에 겹쳐서 제공할 수 있다.
도 2는 일 실시예에 따른 원격 제어 장치의 구성을 나타내는 도면이다.
도 2를 참조하면, 원격 제어 장치(100)는 제어부(110), 사용자 인터페이스부(120), 이미지 획득부(130), 표시부(140) 및 통신부(150)를 포함할 수 있다.
제어부(110)는 원격 제어 장치(100)의 각 구성요소(120, 130, 140, 150)와의 데이터 송수신을 제어하여, 원격 제어 장치(100)의 전반적인 동작을 제어한다. 또한, 제어부(110)는 사용자 인터페이스부(120)로부터 입력되는 사용자 입력 신호에 의해 요청된 동작을 수행하고, 동작 수행결과를 표시부(140)를 통해 제공한다. 제어부(110)는 제어부(110)의 제어 동작에 필요한 프로그램 및 데이터와, 데이터 처리 결과를 저장하기 위한 버퍼, 메모리 등을 포함할 수 있으며, 이러한 저장 수단은 제어부(110) 외부에 위치할 수도 있다.
사용자 인터페이스부(120)는 원격 제어 장치(100)의 동작을 제어하기 위한 사용자 입력 신호를 수신하여 제어부(110)에 전달한다. 사용자 인터페이스부(120)는 키패드, 터치 패드, 조그 셔틀 등 다양한 사용자 입력 수단을 포함할 수 있다. 사용자 인터페이스부(120)의 사용자의 터치 제스처를 감지하는 터치 패드는 출력 정보를 표시하는 표시부(140)와 통합되어 사용자 입력 처리 결과가 표시부(140)를 통해 바로 제공될 수 있도록 구성될 수 있다. 또한, 사용자 인터페이스부(120)는 햅틱(haptic) 기술을 이용하여 사용자 입력이 수신되면, 사용자 입력 수단을 통해 촉각, 힘, 운동감 등을 느끼게 하도록 구성될 수 있다. 예를 들어, 사용자 인터페이스부(120)는 사용자 입력 신호가 수신되면 사용자가 디바이스를 직접 조작한 느낌을 전달하기 위한 촉각 피드백을 생성할 수 있다.
이미지 획득부(130)는 렌즈, CCD, CMOS와 같은 영상 센서 및 아날로그 디지털 컨버터 등의 모듈을 포함하여 구성될 수 있다. 이미지 획득부(130)는 도 1에서 설명한 카메라에 대응한다. 이미지 획득부(130)는 피사체를 포착하여 생성되는 영상 신호를 획득하고 획득된 영상 신호를 디지털 신호로 변환하여 제어부(110)로 전달한다. 제어부(110)는 디지털 신호로 변환된 영상에 대한 노이즈 제거, 색감 처리 등 영상 처리를 위한 이미지 처리 동작을 수행할 수 있다. 여기에서, 제어부(110)는 포착된 이미지를 표시부(140)를 통해 출력하여, 사용자에게 현재 포착되는 상태를 나타내는 연속적인 이미지를 제공할 수 있다.
통신부(150)는 피제어 장치(200) 또는 서버(300)와 데이터 통신을 수행하기 위하여 적어도 하나의 통신 모듈을 포함할 수 있다. 통신부(150)는 피제어 장치(200) 또는 서버(300)로부터 피제어 장치(200)를 제어하는데 필요한 정보를 수신하여 제어부(110)로 전달하고, 제어부(110)에서 생성된 피제어 장치(200)를 제어하기 위한 제어 신호를 피제어 장치(200)에 전달한다. 통신부(150)는 피제어 장치(200)와 UPnP 프로토콜에 의해 일대일 데이터 통신을 수행하도록 구성될 수 있다.
예를 들어, 원격 제어 장치(100)가 피제어 장치(200)를 발견하면, 피제어 장치(200)는 피제어 장치(200)에 대한 디스크립션(description) 정보가 들어있는 URL(uniform resource locator)을 보내고, 원격 제어 장치(100)는 URL에 의해 지시되는 xml(extensible markup language) 문서로 된 디스크립션 정보를 가져올 수 있다. 이 문서에는 피제어 장치(200)의 식별 정보, 디바이스 디스크립션 정보(모델, 시리얼 번호 등) 및 서비스 목록 정보가 포함된 서비스 디스크립션 정보 등이 포함될 수 있다.
제어부(110)는 인식부(112) 및 제어 신호 생성부(114)를 포함하여 구성될 수 있다.
인식부(112)는 이미지 획득부(130)로부터 획득된 실사 영상으로부터 피제어 장치(200)를 인식한다. 또한, 인식부(112)는 실사 영상에 포함된 피제어 장치(200)를 제어하는데 이용되는 제어 기능 정보가 실사 영상에 오버랩되어 표시부(140)를 통하여 표시되도록 제어할 수 있다. 인식부(112)는 피제어 장치(200)를 적어도 하나의 각도에서 촬영한 이미지 정보를 이용하여 피제어 장치를 인식할 수 있다.
예를 들어, 인식부(112)는 이미지 획득부(130)로부터 획득된 실사 영상으로부터 알려진 객체 추출 알고리즘을 이용하여 원격 제어가 가능한 피제어 장치(200)의 이미지를 추출할 수 있다. 또한, 통신부(150)를 통해서 수신된 피제어 장치(200)에서 제공하는 디스크립션 정보에는 식별 정보로서 피제어 장치(200)를 적어도 하나의 각도에서 촬영한 이미지가 포함될 수 있다. 이 경우, 인식부(112)는 실사 영상으로부터 추출된 피제어 장치(200)의 이미지와 피제어 장치(200)에서 전달된 이미지를 비교함으로써 피제어 장치(200)를 인식할 수 있다.
그런 다음, 인식부(112)는 인식된 피제어 장치(200)가 제공한 디스크립션 정보를 이용하여 피제어 장치(200)를 제어하는데 이용되는 제어 기능 정보를 획득할 수 있다.
피제어 장치(200)에 대한 제어 기능 정보는 원격 제어 장치(100)의 소정의 저장 영역에 저장될 수 있다. 피제어 장치(200)의 제어 기능 정보가 원격 제어 장치(100)의 소정의 저장 영역에 저장되어 있는 경우, 인식부(112)는 인식된 피제어 장치(200)에 대한 기능 제어 정보를 저장 영역을 검색하여 획득할 수 있다.
또는, 피제어 장치(200)의 디스크립션 정보를 저장하는 서버(300)의 URL이 통신부(150)를 통해 수신되는 경우, 제어부(110)는 수신된 URL에 대응하는 서버(300)에 접속하여, 피제어 장치(200)의 디스크립션 정보를 수신받을 수도 있다.
또한, 인식부(112)는 실사 영상으로부터 피제어 장치(200)를 조작하기 위한 조작 수단을 식별하고, 제어 기능 정보로서 식별된 조작 수단에 관한 제어 기능 정보를 표시부(140)에 제공하여, 실사 영상에 식별된 조작 수단에 관한 제어 기능 정보가 오버랩되어 표시되도록 제어할 수 있다.
이 경우, 인식부(112)는 피제어 장치(200)의 피제어 장치(200)를 조작하기 위한 적어도 하나의 조작 수단을 적어도 하나의 각도에서 촬영한 이미지 정보를 이용하여 조작 수단을 식별하고, 조작 수단을 조작하는데 이용되는 제어 기능 정보를 획득할 수 있다. 이를 위해, 인식부(112)는 통신부(150)를 통하여 피제어 장 치(200)로부터 수신되는 피제어 장치(200)의 적어도 하나의 조작 수단을 적어도 하나의 각도에서 촬영한 이미지 정보를 수신하고, 포착된 실사 영상으로부터 조작 수단 이미지 정보를 추출할 수 있다. 인식부(112)는 수신된 이미지 정보 및 추출된 조작 수단 이미지 정보를 비교하여 적어도 하나의 조작 수단을 식별할 수 있다.
사용자는 표시된 제어 기능 정보를 참조하여 조작 수단을 제어하는 방법 등을 쉽게 인식할 수 있다. 조작 수단은 피제어 장치(200)에 따라 다양할 수 있으며, 예를 들어, 피제어 장치(200)가 텔레비전인 경우, 조작 수단은 전원 버튼, 음량 조절 버튼, 채널 선택 버튼, 외부 입력 조절 버튼 등 중 어느 하나 이상일 수 있다.
사용자 인터페이스부(120)로부터 실사 영상에 포함된 피제어 장치(200)를 제어하기 위한 조작 수단을 선택하는 선택 신호가 입력되면, 제어 신호 생성부(114)는 입력된 선택 신호를 획득된 디스크립션 정보를 기초로 해석하여 피제어 장치(200)를 제어하기 위한 제어 신호를 생성할 수 있다. 피제어 장치(200)는 제어 신호 생성부(114)에서 생성된 제어 신호에 따라 제어될 수 있다.
일 실시예에 따른 원격 제어 장치(100)는 실사 영상을 이용한 원격 기기 제어를 통해 사용자에게 실제로 기기를 제어하는 것과 같은 직관적인 인터랙션이 가능하도록 지원할 수 있다. 원격 제어 장치(100)를 이용하여 다수의 전자 기기들을 통합된 리모콘을 이용하여 제어할 수 있을 뿐만 아니라 리모콘의 텍스트나 그래픽 정보를 이용하는 것보다 직관적이고 재미있는 사용자 인터페이스를 제공할 수 있고, 리모콘에 있는 복잡한 메뉴의 기능들로 인하여 메뉴 조작의 어려움을 해소할 수 있다.
도 3a 내지 도 3c는 일 실시예에 따른 실사 화면을 이용한 직관적인 원격 기기 제어의 일예들을 나타내는 도면이다.
도 3a는 피제어 장치(200)가 텔레비전(310)인 경우의 원격 제어 동작을 나타낸다. 원격 제어 장치(100)의 화면(301)에 텔레비전(310)이 포착되는 경우, 사용자는 원격 제어 장치(100)의 텔레비전(310)의 조작 수단(320)이 포착되도록 줌인을 한다. 줌인은 화면(301)에 미리 설정된 피제어 장치가 포착된다고 인식되는 경우 자동으로 수행될 수도 있다. 도시되지는 않았으나, 화면(301)에는 텔레비전(310) 또는 텔레비전(310)의 조작 수단(320)에 대한 제어 기능 정보가 포착되고 있는 영상과 함께 디스플레이될 수 있다.
포착된 텔레비전(310)의 조작 수단(320)이 채널 선택 버튼(+)인 경우, 사용자는 조작 수단(320)을 선택하여 채널을 선택한다. 그러면, 원격 제어 장치(100)는 햅틱 기능을 이용하여 사용자가 직접 텔레비전(310)의 채널 선택 버튼(+)을 선택했을 때의 촉감을 전달할 수 있다. 또한, 원격 제어 장치(100)는 선택된 조작 수단(320)에 대응하는 제어 신호를 실제로 원격에 위치한 텔레비전(310)에 전달하여, 텔레비전(310)이 선택된 채널로 채널 변경하도록 제어할 수 있다. 원격 제어 장치(100)가 계속하여 텔레비전(310)을 포착하고 있는 경우, 실제 텔레비전(310)에서 채널 변경이 이루어지고, 원격 제어 장치(100)의 화면(301)을 통해 변경된 채널에 대한 방송 수신 화면이 제공될 것이다.
도 3b는 피제어 장치(200)가 거실의 전등 스위치(330)인 경우의 원격 제어 동작을 나타낸다. 원격 제어 장치(100)의 화면(301)에 전등 스위치(330)가 포착되는 경우, 사용자는 원격 제어 장치(100)의 전등 스위치(330)의 조작 수단(340)이 포착되도록 줌인을 한다. 마찬가지로, 화면(301)에는 전등 스위치(330)의 각 스위치가 어떤 전등을 온오프하는지에 관한 정보 등일 수 있는 제어 기능 정보가 포착되고 있는 영상과 함께 디스플레이될 수 있다.
포착된 전등 스위치(330)의 특정 버튼(340)을 사용자가 선택하는 경우 원격 제어 장치(100)는 햅틱 기능을 이용하여 사용자가 직접 전등 스위치(330)의 버튼(340)을 선택했을 때의 촉감을 전달할 수 있다. 또한, 원격 제어 장치(100)는 선택된 버튼(340)에 대응하는 제어 신호를 원격의 실제 전등 스위치(330)에 전달하여, 버튼(340)에 의해 제어 되는 전등의 온오프를 제어할 수 있다.
도 3c는 피제어 장치(200)가 사무실의 프로젝터(350)인 경우의 원격 제어 동작을 나타낸다. 원격 제어 장치(100)의 화면(301)에 프로젝터(350)가 포착되는 경우, 사용자는 원격 제어 장치(100)를 조작하여 프로젝터(350)의 조작 수단(360)이 포착되도록 줌인을 한다. 마찬가지로, 화면(301)에는 프로젝터(350)의 조작 수단(360)을 포함한 각 조작 수단이 어떤 기능을 수행하는지에 관한 제어 기능 정보가 포착되고 있는 영상과 함께 디스플레이될 수 있다.
포착된 프로젝터(350)의 특정 버튼(360)을 사용자가 선택하는 경우 원격 제어 장치(100)는 햅틱 기능을 이용하여 사용자가 직접 프로젝터(350)의 버튼(360)을 선택했을 때의 촉감을 전달할 수 있다. 또한, 원격 제어 장치(100)는 선택된 버튼(360)에 대응하는 제어 신호를 원격의 실제 프로젝터(350)에 전달하여, 버 튼(360)에 의해 프로젝터(350)의 동작을 제어할 수 있다.
이와 같이, 원격 제어 장치를 이용하여 사용자가 원격의 전자 장치를 실사 영상이 제공되는 화면에 터치 등의 사용자 인터랙션을 통하여 실제로 원격의 전자 장치를 수동 조작하는 것과 같은 효과를 줌으로써 직관 적인 원격 기기의 제어를 가능하게 한다. 또한, 피제어 장치(200)의 제어 실행 결과가 원격 제어 장치(100)의 표시부(140)를 통해 즉각적으로 피드백될 수 있으므로, 피제어 장치(200)에 대한 잘못된 인터랙션 동작을 방지할 수 있다.
도 4는 일 실시예에 따른 피제어 장치를 제어하는 원격 제어 장치에 대한 사용자 인터페이스 제공 방법을 나타내는 도면이다.
원격 제어 장치(100)의 제어부(110)는 이미지 획득부(130)를 이용하여 실사 영상을 포착하고(410), 포착된 실사 영상을 표시부(140)에 표시한다(420).
제어부(110)는 실사 영상으로부터 원격 제어가 가능한 피제어 장치(200)를 인식한다(430).
여기에서, 제어부(110)는 실사 영상에 포함된 피제어 장치(200)를 제어하기 위한 조작 수단에 대한 제어 기능 정보가 미리 저장된 스토리지로부터 또는 피제어 장치(200) 또는 서버(300)와의 데이터 통신을 통해 획득될 수 있다. 원격 제어 장치(100)와 피제어 장치(200)가 UPnP 프로토콜을 이용하여 일대일 통신을 수행하는 경우, 실사 영상으로부터 피제어 장치(200)를 인식하는 동작과 상관없이, 피제어 장치(200)가 자신의 존재를 알리는 정보를 전송하고, 원격 제어 장치(100)는 피제어 장치(200)를 발견하고, 피제어 장치(200)로부터 제어 기능 정보로 이용될 수 있 는 디스크립션 정보 등을 수신하여 저장할 수 있다.
제어부(110)는 실사 영상에 제어 기능 정보를 오버랩하여 표시하도록 제어한다(440). 사용자가 제어 기능 정보를 참조하여 피제어 장치(200)를 제어하는 동작을 화면상에서 수행하면, 제어부(110)는 선택된 제어 기능 정보에 대응하는 제어 신호를 생성하여, 통신부(150)를 통해 피제어 장치(200)에 전달한다. 피제어 장치(200)는 전달된 제어 신호에 따라 제어되며, 원격 제어 장치(100)가 피제어 장치(200)를 계속하여 포착하고 있는 경우, 피제어 장치(200)의 제어 결과가 원격 제어 장치(100)의 표시부(140)를 통해 사용자에게 즉각적으로 제공될 수 있다.
본 발명의 일 양상은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있다. 상기의 프로그램을 구현하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 디스크 등을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드로 저장되고 실행될 수 있다.
이상의 설명은 본 발명의 일 실시예에 불과할 뿐, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 본질적 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현할 수 있을 것이다. 따라서, 본 발명의 범위는 전술한 실시예에 한정되지 않고 특허 청구범위에 기재된 내용과 동등한 범위 내에 있는 다양한 실시 형태가 포함되도록 해석되어야 할 것이다.
도 1은 일 실시예에 따른 원격 기기 제어 시스템의 구성을 나타내는 도면이다.
도 2는 일 실시예에 따른 원격 제어 장치의 구성을 나타내는 도면이다.
도 3a 내지 도 3c는 일 실시예에 따른 실사 화면을 이용한 직관적인 원격 기기 제어의 일예들을 나타내는 도면이다.
도 4는 일 실시예에 따른 피제어 장치를 제어하는 원격 제어 장치에 대한 사용자 인터페이스 제공 방법을 나타내는 도면이다.

Claims (12)

  1. 실사 영상을 포착하는 이미지 획득부;
    상기 포착된 실사 영상을 표시하는 표시부; 및
    상기 포착된 실사 영상으로부터 원격 제어가 가능한 디바이스를 인식하고, 상기 실사 영상 및 상기 인식된 디바이스를 제어하는데 이용되는 제어 기능 정보를 오버랩하여 상기 표시부에 표시되도록 제어하는 제어부;를 포함하는 원격 제어 장치.
  2. 제1항에 있어서,
    상기 디바이스를 적어도 하나의 각도에서 촬영한 이미지 정보를 수신하는 통신부를 더 포함하고,
    상기 제어부는 상기 포착된 실사 영상으로부터 상기 디바이스의 이미지 정보를 추출하고, 상기 수신된 이미지 정보 및 상기 추출된 디바이스의 이미지 정보를 비교하여 상기 디바이스를 인식하는 원격 제어 장치.
  3. 제2항에 있어서,
    상기 제어부는 상기 디바이스를 조작하기 위한 적어도 하나의 조작 수단을 식별하고, 상기 식별된 조작 수단에 관한 제어 기능 정보 및 상기 실사 영상을 오버랩하여 표시하도록 상기 표시부를 제어하는 원격 제어 장치.
  4. 제3항에 있어서,
    상기 제어부는 포착된 실사 영상으로부터 상기 디바이스의 적어도 하나의 조작 수단에 대한 이미지 정보를 추출하고, 상기 통신부를 통하여 수신된 상기 디바이스의 적어도 하나의 조작 수단을 적어도 하나의 각도에서 촬영한 이미지 정보 및 상기 추출된 실사 영상을 비교하여 상기 실사 영상으로부터 상기 디바이스를 조작하기 위한 적어도 하나의 조작 수단을 식별하는 원격 제어 장치.
  5. 제1항에 있어서,
    사용자 입력을 수신하여 상기 제어부에 전달하는 사용자 인터페이스부를 더 포함하고,
    상기 제어부는 상기 사용자 인터페이스부로부터 입력되는 상기 실사 영상에 포함된 상기 디바이스를 제어하기 위한 조작 수단을 선택하는 선택 신호를 해석하여 상기 디바이스를 제어하기 위한 제어 신호를 생성하고, 상기 제어 신호가 상기 디바이스에 전달되도록 상기 통신부를 제어하는 원격 제어 장치.
  6. 제5항에 있어서,
    상기 사용자 인터페이스부는 상기 사용자 입력이 수신되면 촉각 피드백을 생성하는 원격 제어 장치.
  7. 제1항에 있어서,
    상기 제어 기능 정보는 상기 디바이스 또는 상기 디바이스의 제어 기능 정보를 저장하는 서버로부터 수신되는 원격 제어 장치.
  8. 디바이스를 제어하는 원격 제어 장치에 대한 사용자 인터페이스 제공 방법으로서,
    실사 영상을 포착하는 단계;
    상기 포착된 실사 영상을 표시하는 단계;
    상기 실사 영상으로부터 원격 제어가 가능한 디바이스를 인식하는 단계; 및
    상기 실사 영상에 포함된 상기 디바이스를 제어하는데 이용되는 제어 기능 정보를 상기 실사 영상에 오버랩하여 표시하는 단계를 포함하는 방법.
  9. 제8항에 있어서,
    상기 디바이스를 인식하는 단계는,
    상기 디바이스를 적어도 하나의 각도에서 촬영한 이미지 정보를 이용하여 상기 디바이스를 인식하는 단계를 포함하는 방법.
  10. 제8항에 있어서,
    상기 디바이스를 인식하는 단계는,
    상기 실사 영상으로부터 상기 디바이스를 조작하기 위한 적어도 하나의 조작 수단을 식별하는 단계를 포함하고,
    상기 표시하는 단계는, 상기 제어 기능 정보로서 상기 식별된 조작 수단에 관한 제어 기능 정보를 상기 실사 영상에 오버랩하여 표시하는 단계를 포함하는 방법.
  11. 제10항에 있어서,
    상기 조작 수단을 식별하는 단계는, 상기 디바이스를 조작하기 위한 적어도 하나의 조작 수단을 적어도 하나의 각도에서 촬영한 이미지 정보를 이용하여 수행되는 방법.
  12. 제8항에 있어서,
    상기 실사 영상에 포함된 상기 디바이스를 제어하기 위한 조작 수단을 선택하는 선택 신호를 해석하여 상기 디바이스를 제어하기 위한 제어 신호를 생성하는 단계; 및
    상기 제어 신호를 이용하여 상기 디바이스를 제어하는 단계를 더 포함하는 방법.
KR1020090061886A 2009-07-07 2009-07-07 원격 제어 장치 및 원격 제어 장치에 대한 사용자 인터페이스 제공 방법 KR20110004203A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090061886A KR20110004203A (ko) 2009-07-07 2009-07-07 원격 제어 장치 및 원격 제어 장치에 대한 사용자 인터페이스 제공 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090061886A KR20110004203A (ko) 2009-07-07 2009-07-07 원격 제어 장치 및 원격 제어 장치에 대한 사용자 인터페이스 제공 방법

Publications (1)

Publication Number Publication Date
KR20110004203A true KR20110004203A (ko) 2011-01-13

Family

ID=43611858

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090061886A KR20110004203A (ko) 2009-07-07 2009-07-07 원격 제어 장치 및 원격 제어 장치에 대한 사용자 인터페이스 제공 방법

Country Status (1)

Country Link
KR (1) KR20110004203A (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012158337A1 (en) * 2011-05-19 2012-11-22 Qualcomm Incorporated User interface elements augmented with force detection
WO2016034441A1 (de) * 2014-09-03 2016-03-10 BSH Hausgeräte GmbH Verfahren und vorrichtung zur zentralen bedienung von vernetzten elektrischen geräten in einem haus
US10534474B1 (en) 2011-08-05 2020-01-14 P4tents1, LLC Gesture-equipped touch screen system, method, and computer program product
KR20240106313A (ko) 2022-12-29 2024-07-08 경희대학교 산학협력단 촉각 질감 모델 기반 원격 제어 지원 장치 및 방법

Cited By (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012158337A1 (en) * 2011-05-19 2012-11-22 Qualcomm Incorporated User interface elements augmented with force detection
CN103502918A (zh) * 2011-05-19 2014-01-08 高通股份有限公司 以力检测扩增的用户接口元件
US8952987B2 (en) 2011-05-19 2015-02-10 Qualcomm Incorporated User interface elements augmented with force detection
US10656756B1 (en) 2011-08-05 2020-05-19 P4tents1, LLC Gesture-equipped touch screen system, method, and computer program product
US10725581B1 (en) 2011-08-05 2020-07-28 P4tents1, LLC Devices, methods and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10656753B1 (en) 2011-08-05 2020-05-19 P4tents1, LLC Gesture-equipped touch screen system, method, and computer program product
US10592039B1 (en) 2011-08-05 2020-03-17 P4tents1, LLC Gesture-equipped touch screen system, method, and computer program product for displaying multiple active applications
US10606396B1 (en) 2011-08-05 2020-03-31 P4tents1, LLC Gesture-equipped touch screen methods for duration-based functions
US10642413B1 (en) 2011-08-05 2020-05-05 P4tents1, LLC Gesture-equipped touch screen system, method, and computer program product
US10649580B1 (en) 2011-08-05 2020-05-12 P4tents1, LLC Devices, methods, and graphical use interfaces for manipulating user interface objects with visual and/or haptic feedback
US10649581B1 (en) 2011-08-05 2020-05-12 P4tents1, LLC Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10649571B1 (en) 2011-08-05 2020-05-12 P4tents1, LLC Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10649578B1 (en) 2011-08-05 2020-05-12 P4tents1, LLC Gesture-equipped touch screen system, method, and computer program product
US10649579B1 (en) 2011-08-05 2020-05-12 P4tents1, LLC Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10656754B1 (en) 2011-08-05 2020-05-19 P4tents1, LLC Devices and methods for navigating between user interfaces
US10656759B1 (en) 2011-08-05 2020-05-19 P4tents1, LLC Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10656755B1 (en) 2011-08-05 2020-05-19 P4tents1, LLC Gesture-equipped touch screen system, method, and computer program product
US10551966B1 (en) 2011-08-05 2020-02-04 P4tents1, LLC Gesture-equipped touch screen system, method, and computer program product
US11740727B1 (en) 2011-08-05 2023-08-29 P4Tents1 Llc Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10534474B1 (en) 2011-08-05 2020-01-14 P4tents1, LLC Gesture-equipped touch screen system, method, and computer program product
US10656758B1 (en) 2011-08-05 2020-05-19 P4tents1, LLC Gesture-equipped touch screen system, method, and computer program product
US10656752B1 (en) 2011-08-05 2020-05-19 P4tents1, LLC Gesture-equipped touch screen system, method, and computer program product
US10664097B1 (en) 2011-08-05 2020-05-26 P4tents1, LLC Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10671213B1 (en) 2011-08-05 2020-06-02 P4tents1, LLC Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10671212B1 (en) 2011-08-05 2020-06-02 P4tents1, LLC Gesture-equipped touch screen system, method, and computer program product
US10656757B1 (en) 2011-08-05 2020-05-19 P4tents1, LLC Gesture-equipped touch screen system, method, and computer program product
US10782819B1 (en) 2011-08-05 2020-09-22 P4tents1, LLC Gesture-equipped touch screen system, method, and computer program product
US10788931B1 (en) 2011-08-05 2020-09-29 P4tents1, LLC Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10838542B1 (en) 2011-08-05 2020-11-17 P4tents1, LLC Gesture-equipped touch screen system, method, and computer program product
US10936114B1 (en) 2011-08-05 2021-03-02 P4tents1, LLC Gesture-equipped touch screen system, method, and computer program product
US10996787B1 (en) 2011-08-05 2021-05-04 P4tents1, LLC Gesture-equipped touch screen system, method, and computer program product
US11061503B1 (en) 2011-08-05 2021-07-13 P4tents1, LLC Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
WO2016034441A1 (de) * 2014-09-03 2016-03-10 BSH Hausgeräte GmbH Verfahren und vorrichtung zur zentralen bedienung von vernetzten elektrischen geräten in einem haus
KR20240106313A (ko) 2022-12-29 2024-07-08 경희대학교 산학협력단 촉각 질감 모델 기반 원격 제어 지원 장치 및 방법

Similar Documents

Publication Publication Date Title
US20230019304A1 (en) Graphical user interface and data transfer methods in a controlling device
CN107147769B (zh) 基于移动终端的设备控制方法、装置和移动终端
KR101284472B1 (ko) 전자 기기 제어 방법 및 그를 이용한 휴대용 단말기
CN102685582B (zh) 控制电子设备的方法及其便携式终端
US10616636B2 (en) Setting integrated remote controller of display device
CN110087124A (zh) 智能电视的远程控制方法、终端设备和智能电视
CN108476339B (zh) 一种遥控方法和终端
CN107145278B (zh) 基于移动终端的设备控制方法、装置和移动终端
US9196154B2 (en) Method and electronic device for controlling display device using watermark
JP2005065118A (ja) リモコン機能付き携帯端末及びリモコンサーバ
CN112399212A (zh) 显示设备、分享文件的方法和服务器
US10448107B2 (en) Display device
KR20120130466A (ko) 휴대단말기에서 외부장치의 데이터를 제어할 수 있는 장치 및 방법
KR20110004203A (ko) 원격 제어 장치 및 원격 제어 장치에 대한 사용자 인터페이스 제공 방법
US10162423B2 (en) Image display apparatus and operation method thereof
US20160048311A1 (en) Augmented reality context sensitive control system
KR20200102861A (ko) 디스플레이 장치 및 그의 동작 방법
CN114461124A (zh) 投屏控制方法、装置、投屏器及计算机可读存储介质
KR101491648B1 (ko) 촬영부를 이용한 원격 제어 시스템 및 방법
US12093309B2 (en) Display device
KR20180053950A (ko) 디스플레이 장치
KR20180043139A (ko) 디스플레이 장치 및 그의 동작 방법
KR20160102835A (ko) 단말기 및 그의 동작 방법
KR102137738B1 (ko) 워터마크를 이용하여 디스플레이 장치를 제어하는 방법 및 전자장치
KR20120047566A (ko) 스마트 티비 컨트롤 시스템 및 조작 방법

Legal Events

Date Code Title Description
WITN Withdrawal due to no request for examination