KR20120054743A - 멀티미디어 장치에서 음성과 제스쳐를 이용한 제어 방법 및 그에 따른 멀티미디어 장치 - Google Patents

멀티미디어 장치에서 음성과 제스쳐를 이용한 제어 방법 및 그에 따른 멀티미디어 장치 Download PDF

Info

Publication number
KR20120054743A
KR20120054743A KR1020100116009A KR20100116009A KR20120054743A KR 20120054743 A KR20120054743 A KR 20120054743A KR 1020100116009 A KR1020100116009 A KR 1020100116009A KR 20100116009 A KR20100116009 A KR 20100116009A KR 20120054743 A KR20120054743 A KR 20120054743A
Authority
KR
South Korea
Prior art keywords
information
voice
remote control
gesture
input
Prior art date
Application number
KR1020100116009A
Other languages
English (en)
Other versions
KR101789619B1 (ko
Inventor
김혜란
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020100116009A priority Critical patent/KR101789619B1/ko
Priority to EP11843625.2A priority patent/EP2643968A4/en
Priority to CN2011800524976A priority patent/CN103201790A/zh
Priority to PCT/KR2011/008865 priority patent/WO2012070812A2/en
Priority to US13/302,710 priority patent/US9390714B2/en
Publication of KR20120054743A publication Critical patent/KR20120054743A/ko
Application granted granted Critical
Publication of KR101789619B1 publication Critical patent/KR101789619B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/24—Speech recognition using non-acoustical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/173—Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/32—Multiple recognisers used in sequence or in parallel; Score combination systems therefor, e.g. voting systems

Abstract

본 발명은 멀티미디어 장치에서 사용자의 음성과 제스쳐를 함께 인식하여 사용자가 원하는 동작을 실행할 수 있도록 하는 멀티미디어 장치의 제어방법 및 그에 따른 멀티미디어 장치에 관한 것이다. 상세하게는, 원격제어장치 입력을 활성화하고, 사용자 제스쳐 및 음성을 입력하고, 상기 입력된 제스쳐를 통하여 데이터베이스에서 매칭(matching)되는 멀티미디어 장치에서 실행 가능한 특정 명령을 검색하고, 상기 입력된 음성을 통하여 데이터베이스에서 검색되는 특정 명령을 확인함으로써, 제스쳐와 음성이 모두 매칭되는 경우에만 특정 명령을 실행하는 멀티미디어 장치의 제어방법 및 그에 따른 멀티미디어 장치에 관한 것으로서, 멀티미디어 장치에서 제스쳐 및 음성을 정확히 인식하여 사용자가 원하는 작업을 실행하게 되므로, 사용자가 신속하고 정확하게 멀티미디어 장치를 조작할 수 있게 되는 효과가 있다.

Description

멀티미디어 장치에서 음성과 제스쳐를 이용한 제어 방법 및 그에 따른 멀티미디어 장치{Method for controlling using voice and gesture in multimedia device and multimedia device thereof}
본 발명은 멀티미디어 장치 및 그 동작 방법에 관한 것이며, 더욱 상세하게는 사용자의 이용 편의성을 향상시킬 수 있는 멀티미디어 장치 및 그 동작 방법에 관한 것이다.
특히, 본 발명은 멀티미디어 장치에서 사용자의 음성과 제스쳐를 함께 인식하여 사용자가 원하는 동작을 실행할 수 있도록 하는 멀티미디어 장치 및 그 동작 방법에 관한 것이다.
멀티미디어 장치는 예를 들어, 사용자가 시청할 수 있는 방송영상을 수신하여 처리하는 기능을 갖춘 장치이다. 멀티미디어 장치는 예를 들어, 방송국에서 송출되는 방송신호 중 사용자가 선택한 방송을 디스플레이에 표시한다. 현재 방송은 전 세계적으로 아날로그 방송에서 디지털 방송으로 전환하고 있는 추세이다.
디지털 방송은 디지털 영상 및 음성 신호를 송출하는 방송을 의미한다. 디지털 방송은 아날로그 방송에 비해, 외부 잡음에 강해 데이터 손실이 작으며, 에러 정정에 유리하며, 해상도가 높고, 선명한 화면을 제공한다. 또한, 디지털 방송은 아날로그 방송과 달리 양방향 서비스가 가능하다.
또한, 상기 디지털 방송을 이용하기 위하여, 오늘날 멀티미디어 장치는 기존의 멀티미디어 장치에 비하여 고성능화, 다기능화되었고, 인터넷 서비스, VOD(Video On Demand), 및 전자앨범 서비스 등 상기 멀티미디어 장치에서 이용가능한 서비스도 다양화되었다.
다만, 상기와 같이 다양한 기능 및 서비스가 멀티미디어 장치에서 이용가능하게 됨에 따라, 사용자가 원하는 기능을 이용하기 위해서는 여러 단계의 조작을 거쳐야 하는 불편함이 있었다. 따라서, 사용자 인터페이스 수단의 개선이 요구되었고, 개선방안의 하나로 사용자의 제스쳐를 통하여 멀티미디어 장치를 제어하는 방법이 시도되고 있으나, 사용자의 정확한 제스쳐를 정확히 인식하지 못하거나, 인식된 제스쳐에 대응하는 명령을 정확하게 검색하지 못하는 문제점이 있어, 상기 문제점의 개선이 절실히 요구되고 있는 실정이다.
본 발명의 일 목적은, 사용자의 제스쳐 및 음성을 이용하여 멀티미디어 장치를 제어할 수 있도록 함으로써 이용 편의성을 향상시킬 수 있는 멀티미디어 장치 및 그 동작 방법을 제공함에 있다.
또한, 본 발명의 다른 일 목적은, 정확한 사용자 제스쳐 인식의 정확성을 높여서 이용 편의성을 향상시킬 수 있는 멀티미디어 장치 및 그 동작 방법을 제공함에 있다.
또한, 본 발명의 다른 일 목적은 정확한 사용자 제스쳐 인식의 정확성 확보를 위한 다양한 사용자 인터페이스를 제공할 수 있는 멀티미디어 장치 및 그 동작 방법을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 실시 예에 따른 멀티미디어 장치의 제어 방법은, 원격제어장치 입력을 활성화하는 단계; 상기 원격제어장치를 통하여 사용자 제스쳐 및 음성을 입력받는 단계; 상기 입력된 제스쳐의 특징정보에 기초하여 데이터베이스에서 매칭(matching)되는 상기 멀티미디어 장치에서 실행 가능한 특정 명령을 검색하는 단계; 상기 데이터베이스에서 검색되는 상기 특정 명령이 존재하는 경우, 상기 검색된 특정 명령에 맵핑(mapping)된 음성 정보와 상기 입력된 음성의 특징정보가 매칭되는지 판단하는 단계; 및 상기 판단 결과, 상기 맵핑된 음성 정보와 상기 입력된 음성의 특징정보가 매칭되는 경우, 상기 특정 명령을 실행하는 단계를 포함한다.
또한, 상기 목적을 달성하기 위한 본 발명의 실시 예에 따른 멀티미디어 장치는, 원격제어장치와 제스쳐정보 및 음성정보를 포함하는 데이터를 송수신하는 사용자 인터페이스부; 상기 멀티미디어장치에서 실행 가능한 특정 명령에 맵핑(mapping)된 제스쳐 및 음성에 대한 특징 정보를 저장하는 저장부; 및 상기 사용자 인터페이스부를 통하여 수신된 제스쳐 정보에 기초하여, 상기 저장부에서, 상기 수신된 제스쳐 정보에 매칭되는 상기 특정 명령을 검색하고, 상기 검색 결과가 존재하는 경우, 상기 사용자 인터페이스부를 통하여 수신된 음성 정보에 기초하여, 상기 저장부에서, 상기 검색된 특정 명령에 맵핑된 음성 정보와 상기 입력된 음성의 특징정보가 매칭되는지 판단하고, 상기 맵핑된 음성 정보와 상기 입력된 음성의 특징정보가 매칭되는 경우, 상기 특정 명령을 실행하도록 제어하는 제어부를 포함한다.
또한, 상기 목적을 달성하기 위한 본 발명의 실시 예에 따른 원격제어장치는, 멀티미디어 장치와 데이터를 송수신하는 무선 통신부; 제스쳐 정보를 및 음성 정보를 입력받는 센서부; 상기 멀티미디어장치에서 실행 가능한 특정 명령에 맵핑(mapping)된 제스쳐 및 음성의 특징정보에 대한 데이터베이스를 저장하는 저장부; 및 상기 센서부를 통하여 입력된 제스쳐의 특징 정보에 기초하여, 상기 저장부에서 상기 특징 정보에 매칭되는 특정 명령을 검색하고, 상기 검색된 특정 명령이 존재하는 경우, 상기 검색된 특정 명령에 맵핑된 음성 정보와 상기 입력된 음성의 특징정보가 매칭되는지 판단하고, 상기 맵핑된 음성 정보와 상기 입력된 음성의 특징정보가 매칭되는 경우, 상기 특정 명령을 실행하기 위한 신호를 상기 무선 통신부를 통하여 상기 멀티미디어 장치로 전송하도록 제어하는 제어부를 포함한다.
본 발명의 실시 예에 따르면, 멀티미디어 장치에서 제스쳐 및 음성을 정확히 인식하여 사용자가 원하는 작업을 실행함으로써, 사용자가 신속하고 정확하게 멀티미디어 장치를 조작할 수 있게 되는 효과가 있다.
한편, 본 발명의 다른 일실시 예에 따르면, 멀티미디어 장치에서 제스쳐 및 음성을 인식하는 과정에서 다양한 사용자 인터페이스를 제공할 수 있어, 사용자의 이용 편의성이 증대될 수 있다.
도 1은 본 발명의 일실시 예에 따른 멀티미디어 장치를 포함한 전체 방송 시스템의 일례를 개략적으로 나타낸 도면이다.
도 2는 도 1에 도시된 멀티미디어 장치의 다른 일례를 더욱 상세히 도시한 도면이다.
도 3은 멀티미디어 장치를 제어할 수 있는 다양한 사용자 인터페이스 수단을 도시한 도면이다.
도 4는 도 3의 사용자 인터페이스 수단 중 어느 하나의 디바이스를 통하여 멀티미디어 장치를 제어하는 방법을 도시한 도면이다.
도 5는 본 발명의 실시 예에 따른 사용자의 손가락에 부착 가능한 원격제어장치를 도시한 도면이다.
도 6은 본 발명의 실시 예에 따른 멀티미디어 장치를 제어하는 원격제어장치의 내부 블록도이다.
도 7은 본 발명의 실시 예에 따른 제스쳐 및 음성을 통하여 멀티미디어 장치를 제어하는 방법을 도시한 흐름도이다.
도 8은 도 7의 원격제어장치 입력을 활성화하는 단계를 상세히 도시한 도면이다.
도 9는 본 발명의 실시 예에 따른 제스쳐 및 음성입력에 대응하는 동작의 목록을 포함하는 메뉴의 디스플레이 화면을 도시한 도면이다.
도 10은 본 발명의 실시 예에 따른 경고 메시지를 포함하는 디스플레이 화면을 도시한 도면이다.
도 11은 본 발명의 실시 예에 따른 특정 동작을 실행시키기 위한 제스쳐 및 음성의 입력 메뉴를 포함하는 디스플레이 화면을 도시한 도면이다.
도 12는 본 발명의 실시 예에 따른 특정 동작을 실행시키기 위한 제스쳐 및 음성의 매핑데이터를 저장하는 데이터베이스를 도시한 도면이다.
이하에서는 도면을 참조하여 본 발명을 더욱 상세하게 설명한다.
이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 단순히 본 명세서 작성의 용이함을 고려하여 부여되는 것으로서, 상기 "모듈" 및 "부"는 서로 혼용되어 사용될 수도 있다.
한편, 본 명세서에서 기술되는 멀티미디어 장치는, 예컨대 방송 수신 기능에 컴퓨터 지원 기능을 추가한 지능형 멀티미디어 장치로서, 방송 수신 기능에 충실하면서도 인터넷 기능 등이 추가되어, 수기 방식의 입력 장치, 터치 스크린 또는 공간 원격제어장치 등보다 사용에 편리한 인터페이스를 갖출 수 있다. 그리고 유선 또는 무선 인터넷 기능의 지원으로 인터넷 및 컴퓨터에 접속되어, 이메일, 웹브라우징, 뱅킹 또는 게임 등의 기능도 실행가능하다. 이러한 다양한 기능을 위해 표준화된 범용 OS가 사용될 수 있다.
따라서, 본 발명에서 기술되는 멀티미디어 장치는, 예를 들어 범용의 OS 커널 상에, 다양한 애플리케이션이 자유롭게 추가되거나 삭제 가능하므로, 사용자 친화적인 다양한 기능이 실행될 수 있다. 상기 멀티미디어 장치는, 보다 구체적으로 예를 들면, 네트워크 TV, HBBTV, 스마트 TV 등이 될 수 있으며, 경우에 따라 스마트폰에도 적용 가능하다.
나아가, 이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 실시 예를 상세하게 설명하지만, 본 발명이 실시 예들에 의해 제한되거나 한정되는 것은 아니다.
본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가지는 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.
도 1은 본 발명의 일실시 예에 따른 멀티미디어 장치를 포함한 전체 방송 시스템의 일례를 개략적으로 나타낸 도면이다.
도 1에 도시된 바와 같이, 본 발명의 일실시 예에 따른 멀티미디어 장치를 포함한 전체 방송 시스템은, 컨텐츠 제공자(Content Provider; CP)(10), 서비스 제공자(Service Provider; SP)(20), 네트워크 제공자(Network Provider; NP)(30) 및 HNED(40)로 구분될 수 있다. 상기 HNED(40) 는, 예를 들어 본 발명의 실시 예에 따른 멀티미디어 장치인 클라이언트(100)에 대응한다. 상기 클라이언트(100)는, 본 발명의 일실시 예에 따른 멀티미디어 장치에 해당하며, 상기 멀티미디어 장치는 예를 들어, 네트워크 TV, 스마트 TV, IPTV 등이다.
컨텐츠 제공자(10)는, 각종 컨텐츠를 제작하여 제공한다. 컨텐츠 제공자(10)에는 도 1에서와 같이 지상파 방송 송출자(terrestrial broadcaster), 케이블 방송 사업자(cable SO(System Operator) 또는 MSO(Multiple System Operator), 위성 방송 송출자(satellite broadcaster), 인터넷 방송 송출자(Internet broadcaster) 등이 예시될 수 있다.
또한, 컨텐츠 제공자(10)는, 방송 컨텐츠 외에, 다양한 애플리케이션 등을 제공할 수도 있다. 이와 관련하여서는, 추후에 보다 상세히 설명하도록 하겠다.
서비스 제공자(20)는, 컨텐츠 제공자(10)가 제공하는 컨텐츠들을 서비스 패키지화하여 제공할 수 있다. 예를 들어, 도 1의 서비스 제공자(20)는, 제1 지상파 방송, 제2 지상파 방송, 케이블 MSO, 위성 방송, 다양한 인터넷 방송, 애플리케이션 등을 패키지화하여 사용자에게 제공할 수 있다.
한편, 서비스 제공자(20)는, 유니캐스트(unicast) 또는 멀티캐스트(multicast) 방식을 이용하여 클라이언트(100) 측에 서비스를 제공할 수 있다. 유니캐스트 방식은 하나의 송신자와 하나의 수신자 사이에 데이터를 1:1로 전송하는 방식이다. 예를 들어, 유니캐스트 방식의 경우 수신기에서 서버에 데이터를 요청하면, 서버는 요청에 따라 데이터를 수신기에 전송할 수 있다. 멀티캐스트 방식은 특정한 그룹의 다수의 수신자에게 데이터를 전송하는 방식이다. 예를 들어, 서버는 데이터를 미리 등록된 다수의 수신기에 한꺼번에 전송할 수 있다. 이러한 멀티캐스트 등록을 위해 IGMP(Internet Group Management Protocol) 프로토콜 등이 사용될 수 있다.
네트워크 제공자(30)는, 서비스를 클라이언트(100)에게 제공하기 위한 네트워크 망을 제공할 수 있다. 클라이언트(100)는 홈 네트워크(Home Network End User; HNED)를 구축하여 서비스를 제공받을 수도 있다.
상기와 같은 멀티미디어 장치 시스템에서 전송되는 컨텐츠를 보호하기 위한 수단으로, 제한 수신(Conditional Access) 또는 컨텐츠 보호(Content Protection) 등이 사용될 수 있다. 이러한 제한 수신이나 컨텐츠 보호를 위한 하나의 예로서, 케이블카드(CableCARD), DCAS(Downloadable Conditional Access System)와 같은 방식이 사용될 수 있다.
한편, 클라이언트(100)도 네트워크를 통해, 컨텐츠를 제공하는 것이 가능하다. 이러한 경우, 상술한 바와 달리, 역으로, 클라이언트(100)가 컨텐츠 제공자가 될 수 있으며, 컨텐츠 제공자(10)가 클라이언트(100)로부터 컨텐츠를 수신할 수도 있다. 이와 같이 설계된 경우, 양방향 컨텐츠 서비스 또는 데이터 서비스가 가능한 장점이 있다.
도 2는 도 1에 도시된 멀티미디어 장치의 일례를 상세히 도시한 도면이다.
도 2를 참조하면, 본 발명의 일실시 예에 의한 멀티미디어 장치(100)는, 방송 수신부(105), 외부장치 인터페이스부(135), 저장부(140), 사용자 인터페이스부(150), 제어부(170), 디스플레이부(180), 오디오 출력부(185), 전원공급부(190), 및 촬영부(미도시)를 포함할 수 있다. 방송 수신부(105)는, 튜너(110), 복조부(120), 및 네트워크 인터페이스부(130)를 포함할 수 있다. 물론, 필요에 따라, 튜너(110)와 복조부(120)를 구비하면서 네트워크 인터페이스부(130)는 포함하지 않도록 설계하는 것도 가능하며, 반대로 네트워크 인터페이스부(130)를 구비하면서 튜너(110)와 복조부(120)는 포함하지 않도록 설계하는 것도 가능하다.
튜너(110)는, 안테나를 통해 수신되는 RF(Radio Frequency) 방송 신호 중 사용자에 의해 선택된 채널 또는 기저장된 모든 채널에 해당하는 RF 방송 신호를 선택한다. 또한, 선택된 RF 방송 신호를 중간 주파수 신호 혹은 베이스 밴드 영상 또는 음성신호로 변환한다.
튜너(110)는, ATSC(Advanced Television System Committee) 방식에 따른 단일 캐리어의 RF 방송 신호 또는 DVB(Digital Video Broadcasting) 방식에 따른 복수 캐리어의 RF 방송 신호를 수신할 수 있다.
복조부(120)는, 복조 및 채널 복호화를 실행한 후 스트림 신호(TS)를 출력할 수 있다.
복조부(120)에서 출력한 스트림 신호는 제어부(170)로 입력될 수 있다. 제어부(170)는 역다중화, 영상/음성 신호 처리 등을 실행한 후, 디스플레이부(180)에 영상을 출력하고, 오디오 출력부(185)로 음성을 출력한다.
외부장치 인터페이스부(135)는 외부 장치와 멀티미디어 장치(100)를 접속할 수 있다.
외부장치 인터페이스부(135)는, DVD(Digital Versatile Disk), 블루레이(Blu ray), 게임기기, 카메라, 캠코더, 컴퓨터(노트북) 등과 같은 외부 장치와 유/무선으로 접속될 수 있다. 외부장치 인터페이스부(135)는 연결된 외부 장치를 통하여 외부에서 입력되는 영상, 음성 또는 데이터 신호를 멀티미디어 장치(100)의 제어부(170)로 전달한다. 또한, 제어부(170)에서 처리된 영상, 음성 또는 데이터 신호를 연결된 외부 장치로 출력할 수 있다. 이를 위해, 외부장치 인터페이스부(135)는, A/V 입출력부(미도시) 또는 무선 통신부(미도시)를 포함할 수 있다.
A/V 입출력부는, 외부 장치의 영상 및 음성 신호를 멀티미디어 장치(100)로 입력할 수 있도록, USB 단자, CVBS(Composite Video Banking Sync) 단자, 컴포넌트 단자, S-비디오 단자(아날로그), DVI(Digital Visual Interface) 단자, HDMI(High Definition Multimedia Interface) 단자, RGB 단자, D-SUB 단자 등을 포함할 수 있다.
무선 통신부는, 다른 전자기기와 근거리 무선 통신을 실행할 수 있다. 멀티미디어 장치(100)는 예를 들어, 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), 지그비(ZigBee), DLNA (Digital Living Network Alliance) 등의 통신 규격에 따라 다른 전자기기와 네트워크 연결될 수 있다.
또한, 외부장치 인터페이스부(135)는, 다양한 셋탑 박스와 상술한 각종 단자 중 적어도 하나를 통해 접속되어, 셋탑 박스와 입력/출력 동작을 실행할 수도 있다.
네트워크 인터페이스부(130)는, 멀티미디어 장치(100)를 인터넷망을 포함하는 유/무선 네트워크와 연결하기 위한 인터페이스를 제공한다. 네트워크 인터페이스부(130)는, 유선 네트워크와의 접속을 위해, 예를 들어 이더넷(Ethernet) 단자 등을 구비할 수 있으며, 무선 네트워크와의 접속을 위해, 예를 들어 WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access) 통신 규격 등이 이용될 수 있다.
네트워크 인터페이스부(130)는, 접속된 네트워크 또는 접속된 네트워크에 링크된 다른 네트워크를 통해, 다른 사용자 또는 다른 전자 기기와 데이터를 송신 또는 수신할 수 있다.
저장부(140)는, 제어부(170) 내의 각 신호 처리 및 제어를 위한 프로그램이 저장될 수도 있고, 신호 처리된 영상, 음성 또는 데이터신호를 저장할 수도 있다.
또한, 저장부(140)는 외부장치 인터페이스부(135) 또는 네트워크 인터페이스부(130)로부터 입력되는 영상, 음성, 또는 데이터 신호의 임시 저장을 위한 기능을 실행할 수도 있다. 또한, 저장부(140)는, 채널 기억 기능을 통하여 소정 방송 채널에 관한 정보를 저장할 수 있다.
또한, 저장부(140)는, 멀티미디어장치에서 실행 가능한 특정 명령에 맵핑(mapping)된 제스쳐 및 음성에 대한 특징 정보를 데이터베이스를 통하여 저장할 수 있고, 상기 저장된 데이터베이스를 통하여 사용자가 제스쳐 및 음성을 통하여 상기 특정 명령을 실행할 수 있도록 할 수 있다. 상기 데이터베이스에 대하여는 이하 도 12에서 상세히 설명한다.
저장부(140)는, 예를 들어 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램, 롬(EEPROM 등) 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 멀티미디어 장치(100)는, 저장부(140) 내에 저장되어 있는 컨텐츠 파일(동영상 파일, 정지영상 파일, 음악 파일, 문서 파일, 애플리케이션 파일 등)을 재생하여 사용자에게 제공할 수 있다.
도 2는 저장부(140)가 제어부(170)와 별도로 구비된 실시 예를 도시하고 있으나, 본 발명의 범위는 이에 한정되지 않는다. 저장부(140)는 제어부(170) 내에 포함될 수도 있다.
사용자 인터페이스부(150)는, 사용자가 입력한 신호를 제어부(170)로 전달하거나, 제어부(170)로부터의 신호를 사용자에게 전달한다.
예를 들어, 사용자 인터페이스부(150)는, RF(Radio Frequency) 통신 방식, 적외선(IR) 통신 방식 등 다양한 통신 방식에 따라, 원격제어장치(200)로부터 전원 온/오프, 채널 선택, 화면 설정 등의 제어 신호 및 원격제어장치(200)를 통하여 입력된 제스쳐 및 음성에 대한 정보를 수신하여 처리하거나, 제어부(170)로부터의 제어 신호를 원격제어장치(200)로 송신하도록 처리할 수 있다.
또한, 예를 들어, 사용자 인터페이스부(150)는, 전원키, 채널키, 볼륨키, 설정치 등의 로컬키(미도시)에서 입력되는 제어 신호를 제어부(170)에 전달할 수 있다.
또한, 예를 들어, 사용자 인터페이스부(150)는, 사용자의 제스처를 센싱하는 센싱부(미도시)로부터 입력되는 제어 신호를 제어부(170)에 전달하거나, 제어부(170)로부터의 신호를 센싱부(미도시)로 송신할 수 있다. 여기서, 센싱부(미도시)는, 터치 센서, 음성 센서, 위치 센서, 동작 센서 등을 포함할 수 있다.
제어부(170)는, 튜너(110) 또는 복조부(120) 또는 외부장치 인터페이스부(135)를 통하여, 입력되는 스트림을 역다중화하거나, 역다중화된 신호들을 처리하여, 영상 또는 음성 출력을 위한 신호를 생성 및 출력할 수 있다.
제어부(170)에서 영상 처리된 영상 신호는 디스플레이부(180)로 입력되어, 해당 영상 신호에 대응하는 영상으로 표시될 수 있다. 또한, 제어부(170)에서 영상 처리된 영상 신호는 외부장치 인터페이스부(135)를 통하여 외부 출력장치로 입력될 수 있다.
제어부(170)에서 처리된 음성 신호는 오디오 출력부(185)로 오디오 출력될 수 있다. 또한, 제어부(170)에서 처리된 음성 신호는 외부장치 인터페이스부(135)를 통하여 외부 출력장치로 입력될 수 있다.
또한, 제어부(170)는 본 발명의 실시 예와 관련하여, 사용자 인터페이스부(150)를 통하여 원격제어장치(200)로부터 제스쳐 정보가 수신되면, 저장부(140)의 데이터베이스에서, 상기 수신된 제스쳐 정보에 매칭(matching)되는 특정 명령을 검색하고, 상기 검색 결과가 존재하면, 상기 사용자 인터페이스부(150)를 통하여 수신된 음성 정보에 기초하여, 저장부(140)의 데이터베이스에서, 상기 검색된 특정 명령에 맵핑된 음성 정보와 상기 입력된 음성의 특징정보가 매칭되는지 확인하여, 상기 맵핑된 음성 정보와 상기 입력된 음성의 특징정보가 매칭되는 경우에 상기 특정 명령을 실행하도록 제어할 수 있다.
또한, 상기 제어부(170)의 검색동작 및 확인동작과 관련하여, 제어부(170)는, 사용자 인터페이스부(150)를 통하여 입력된 제스쳐의 방향 정보를 추출하고, 추출된 방향 정보와 매칭되는 특정 명령을 저장부(140)의 데이터베이스에서 검색하고, 사용자 인터페이스부(150)를 통하여 입력된 음성의 파형 정보를 추출하여, 추출된 파형 정보와 검색된 특정 명령에 맵핑된 음성의 파형 정보가 매칭되는지 확인하도록 제어할 수 있다.
또한, 제어부(170)는, 사용자 인터페이스부(150)를 통하여 원격제어장치(200)로부터 원격제어장치(200)의 입력 활성화를 위한 특정 데이터가 수신되면, 상기 특정 데이터의 수신이 지속되는 시간을 판단하고, 상기 지속 시간이 일정 시간 이상인 경우에만 원격제어장치(200)를 통한 입력을 활성화하도록 제어할 수 있다. 이에 관하여는 이하 도 8에서 상세히 설명한다.
또한, 제어부(170)는, 소정의 입력을 통하여, 멀티미디어 장치에서 특정 명령이 실행되면 현재 상기 멀티미디어 장치에서 계속 중인 작업에 손실이 있는 경우, 경고 메시지를 디스플레이부(180)에 출력하고, 상기 경고 메시지에 대한 확인 명령이 수신되는 경우에만, 상기 특정 명령을 실행하도록 제어함으로써, 계속중인 작업의 손실을 방지할 수 있다.
디스플레이부(180)는, 제어부(170)에서 처리된 영상 신호, 데이터 신호, OSD 신호 또는 외부장치 인터페이스부(135)에서 수신되는 영상 신호, 데이터 신호 등을 각각 R, G, B 신호로 변환하여 구동 신호를 생성한다.
오디오 출력부(185)는, 제어부(170)에서 음성 처리된 신호, 예를 들어, 스테레오 신호, 3.1채널 신호 또는 5.1채널 신호를 입력받아 음성으로 출력한다. 음성 출력부(185)는 다양한 형태의 스피커로 구현될 수 있다.
한편, 사용자의 제스처를 감지하기 위해, 상술한 바와 같이, 터치 센서, 음성 센서, 위치 센서, 동작 센서 중 적어도 하나를 구비하는 센싱부(미도시)가 멀티미디어 장치(100)에 더 구비될 수 있다. 센싱부(미도시)에서 감지된 신호는 사용자입력 인터페이스부(150)를 통해 제어부(170)로 전달될 수 있다.
한편, 사용자를 촬영하는 촬영부(미도시)가 더 구비될 수 있다. 촬영부(미도시)에서 촬영된 영상 정보는 제어부(170)에 입력될 수 있다.
제어부(170)는, 촬영부(미도시)로부터 촬영된 영상, 또는 센싱부(미도시)로부터의 감지된 신호를 각각 또는 조합하여 사용자의 제스처를 감지할 수도 있다.
전원 공급부(190)는, 멀티미디어 장치(100) 전반에 걸쳐 해당 전원을 공급한다.
원격제어장치(200)는, 사용자 입력을 사용자입력 인터페이스부(150)로 송신한다. 이를 위해, 원격제어장치(200)는, 블루투스(Bluetooth), RF(Radio Frequency) 통신, 적외선(IR) 통신, UWB(Ultra Wideband), 지그비(ZigBee) 방식 등을 사용할 수 있다.
또한, 원격제어장치(200)는, 사용자입력 인터페이스부(150)에서 출력한 영상, 음성 또는 데이터 신호 등을 수신하여, 이를 원격제어장치(200)에서 표시하거나 음성 또는 진동을 출력할 수 있다.
상술한 멀티미디어 장치(100)는, 고정형으로서 ATSC 방식(8-VSB 방식)의 디지털 방송, DVB-T 방식(COFDM 방식)의 디지털 방송, ISDB-T 방식(BST-OFDM방식)의 디지털 방송 등 중 적어도 하나를 수신 가능한 디지털 방송 수신기일 수 있다.
한편, 도 2에 도시된 멀티미디어 장치(100)의 블록도는 본 발명의 일실시 예를 위한 블록도이다. 블록도의 각 구성요소는 실제 구현되는 멀티미디어 장치(100)의 사양에 따라 통합, 추가, 또는 생략될 수 있다. 즉, 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분되어 구성될 수 있다. 또한, 각 블록에서 실행하는 기능은 본 발명의 실시 예를 설명하기 위한 것이며, 그 구체적인 동작이나 장치는 본 발명의 권리범위를 제한하지 아니한다.
한편, 멀티미디어 장치(100)는 도 2에 도시된 바와 달리, 도 2에 도시된 튜너(110)와 복조부(120)를 구비하지 않고, 네트워크 인터페이스부(130) 또는 외부장치 인터페이스부(135)를 통해서, 영상 컨텐츠를 수신하고, 이를 재생할 수도 있다.
한편, 멀티미디어 장치(100)는, 장치 내에 저장된 영상 또는 입력되는 영상의 신호 처리를 실행하는 영상신호 처리장치의 일례이다, 영상신호 처리장치의 다른 예로는, 도 2에서 도시된 디스플레이부(180)와 오디오 출력부(185)가 제외된 셋탑 박스, 상술한 DVD 플레이어, 블루레이 플레이어, 게임기기, 컴퓨터 등이 더 예시될 수 있다.
도 3은 멀티미디어 장치를 제어할 수 있는 다양한 사용자 인터페이스 수단을 도시한 도면이다.
실시 예에 따라, 본 발명을 실시하기 위한 다양한 동작을 실행하기 위하여, 멀티미디어 장치(180)와 유/무선 통신이 가능한 다양한 사용자 인터페이스 디바이스가 이용될 수 있다.
상기 통신 수단으로는, 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), 지그비(ZigBee), DLNA (Digital Living Network Alliance) 등의 다양한 통신 규격이 이용될 수 있다.
또한, 상기 사용자 인터페이스 디바이스는, 통상적인 원격제어장치(200) 이외에도, 매직 원격제어장치(400) 및 키보드 및 터치패드가 구비된 원격제어장치(300) 등을 포함할 수 있다.
상기 통상적인 원격제어장치(200)는 소정의 키 입력 버튼과 숫자 키패드를 구비한 원격제어장치를 의미한다.
또한, 상기 매직 원격제어장치(400)는, 상기 원격제어장치 내부에 자이로 센서(gyro Sensor)가 탑재되어 있어 상기 원격제어장치를 잡은 손의 떨림이나 회전을 인식하는 개념을 포함하는 원격제어장치로써, 사용자가 원격제어장치를 들고 상하좌우로 움직이면 포인터가 이동하며, 이를 통하여 원하는 방송채널이나 메뉴항목을 쉽게 선택할 수 있다.
또한, 상기 키보드 및 터치패드를 구비한 원격제어장치(300)는, 상기 키보드를 통하여 멀티미디어 장치에 텍스트 입력을 용이하게 실행할 수 있으며, 터치패드를 통하여 포인터의 이동 및 사진이나 동영상의 확대, 축소를 위한 신호를 용이하게 입력할 수 있다.
또한, 본 발명의 실시 예와 관련하여, 상기 자이로 센서와 마이크로폰을 함께 구비하여, 상기 손의 떨림이나 회전을 인식하고, 이와 함께 음성을 인식하여 사용자의 원격제어장치를 통한 멀티미디어 장치의 제어에 있어서 정확성을 향상시킬 수 있다.
도 4는 도 3의 사용자 인터페이스 수단 중 어느 하나의 디바이스를 통하여 멀티미디어 장치를 제어하는 방법을 도시한 도면이다.
도 4의 (a)에 도시된 바와 같이, 디스플레이부(180)에 원격제어장치(200)에 대응하는 포인터(205)가 표시되는 것을 예시한다.
사용자는 원격제어장치(200)를 상하, 좌우(도 4의 (b)), 앞뒤(도 4의 (c))로 움직이거나 회전할 수 있다. 멀티미디어 장치의 디스플레이부(180)에 표시된 포인터(205)는 원격제어장치(200)의 움직임에 대응한다. 이러한 원격제어장치(200)는, 도면과 같이, 3D 공간상의 움직임에 따라 해당 포인터(205)가 이동되어 표시되므로, 공간 리모콘이라 명명할 수 있다.
도 4의 (b)는 사용자가 원격제어장치(200)를 왼쪽으로 이동하면, 멀티미디어 장치의 디스플레이부(180)에 표시된 포인터(205)도 이에 대응하여 왼쪽으로 이동하는 것을 예시한다.
원격제어장치(200)의 센서를 통하여 감지된 원격제어장치(200)의 움직임에 관한 정보는 멀티미디어 장치로 전송된다. 멀티미디어 장치는 원격제어장치(200)의 움직임에 관한 정보로부터 포인터(205)의 좌표를 산출할 수 있다. 멀티미디어 장치는 산출한 좌표에 대응하도록 포인터(205)를 표시할 수 있다.
도 4의 (c)는, 원격제어장치(200) 내의 특정 버튼을 누른 상태에서, 사용자가 원격제어장치(200)를 디스플레이부(180)에서 멀어지도록 이동하는 경우를 예시한다. 이에 의해, 포인터(205)에 대응하는 디스플레이부(180) 내의 선택 영역이 줌인 되어 확대 표시될 수 있다. 이와 반대로, 사용자가 원격제어장치(200)를 디스플레이부(180)에 가까워지도록 이동하는 경우, 포인터(205)에 대응하는 디스플레이부(180) 내의 선택 영역이 줌아웃 되어 축소 표시될 수 있다. 한편, 원격제어장치(200)가 디스플레이부(180)에서 멀어지는 경우, 선택 영역이 줌아웃 되고, 원격제어장치(200)가 디스플레이부(180)에 가까워지는 경우, 선택 영역이 줌인 될 수도 있다.
한편, 원격제어장치(200) 내의 특정 버튼을 누른 상태에서는 상하, 좌우 이동의 인식이 배제될 수 있다. 즉, 원격제어장치(200)가 디스플레이부(180)에서 멀어지거나 접근하도록 이동하는 경우, 상?하, 좌?우 이동은 인식되지 않고, 앞뒤 이동만 인식되도록 할 수 있다. 원격제어장치(200) 내의 특정 버튼을 누르지 않은 상태에서는, 원격제어장치(200)의 상?하, 좌?우 이동에 따라 포인터(205)만 이동하게 된다.
한편, 포인터(205)의 이동속도나 이동방향은 원격제어장치(200)의 이동속도나 이동방향에 대응할 수 있다.
한편, 본 명세서에서의 포인터는, 원격제어장치(200)의 동작에 대응하여, 디스플레이부(180)에 표시되는 오브젝트를 의미한다. 따라서, 포인터(205)로 도면에 도시된 화살표 형상 외에 다양한 형상의 오브젝트가 가능하다. 예를 들어, 점, 커서, 프롬프트, 두꺼운 외곽선 등을 포함하는 개념일 수 있다. 그리고 포인터(205)가 디스플레이부(180) 상의 가로축과 세로축 중 어느 한 지점(point)에 대응하여 표시되는 것은 물론, 선(line), 면(surface) 등 복수 지점에 대응하여 표시되는 것도 가능하다.
도 5는 본 발명의 실시 예에 따른 사용자의 손가락에 부착 가능한 원격제어장치를 도시한 도면이다.
실시 예에 따라, 원격제어장치는, 사용자의 손에 부착 가능한 원격제어장치를 포함할 수 있다.
특히, 도 5에 도시한 바와 같이, 사용자의 제스쳐 및 음성을 정확히 입력받기 위하여, 손가락(400)에 부착되는 형태가 될 수 있다.
즉, 원격제어장치(401)는, 사용자의 손가락(400)에 부착 가능하며, 무선통신부(403), 전원 키(404), 및 마이크로폰(402)을 포함할 수 있다.
무선 통신부(403)는, 원격제어장치(401)를 통하여 제어하고자 하는 멀티미디어 장치와 데이터를 송수신할 수 있다.
상기 데이터의 송수신을 위한 통신 규격으로는, 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), 지그비(ZigBee), DLNA (Digital Living Network Alliance) 등의 다양한 통신 규격이 이용될 수 있다.
전원 키(404)는, 원격제어장치(401)의 전원을 온(on) 또는 오프(off)할 수 있다. 또한, 본 발명의 실시 예에 따라, 상기 전원 키(404)를 누름으로써, 원격제어장치(401)는 무선통신부(403)를 통하여 멀티미디어장치에 상기 원격제어장치를 활성화하기 위한 특정 신호를 전송할 수 있고, 상기 전원 키(404)의 누름 상태가 일정 시간 이상 지속되어, 상기 활성화를 위한 특정신호가 일정 시간 이상 지속적으로 입력되는 경우, 멀티미디어 장치는, 원격제어장치(401)를 통한 입력을 활성화할 수 있다. 이에 관하여는 이하 도 8에서 상세히 설명한다.
마이크로폰(402)은, 사용자의 음성을 입력받을 수 있다. 또한, 원격제어장치(401)는, 상기 음성이 입력되면, 입력된 음성에 대한 정보를 무선통신부(403)를 통하여 멀티미디어 장치로 전송하거나, 상기 입력된 음성에 대한 정보를 통하여 데이터베이스에서 특정 명령을 검색하고, 상기 특정 명령을 실행하기 위한 신호를 무선통신부(403)를 통하여 전송할 수 있다.
또한, 원격제어장치(401)는, 멀티미디어 장치를 제어하기 위해, 원격제어장치(401)의 내부에 센서부, 저장부, 제어부 등을 더 포함할 수 있다. 원격제어장치의 내부 구조 및 상세한 동작에 관하여는 이하 도 6 및 도 7에서 상세히 설명한다.
본 도면에 도시한 바와 같은 원격제어장치를 통하여, 사용자가 원활하게 제스쳐 및 음성을 입력할 수 있고, 원격제어장치의 잘못된 키 버튼이 눌러져서 사용자가 원하지 않는 동작을 실행하는 경우 등 오작동을 감소시킬 수 있다.
도 6은 본 발명의 실시 예에 따른 멀티미디어 장치를 제어하는 원격제어장치의 내부 블록도이다.
도면을 참조하여 설명하면, 원격제어장치(200)는 무선통신부(220), 센서부(240), 저장부(230), 제어부(210)를 포함할 수 있다.
무선통신부(225)는 전술하여 설명한 본 발명의 실시 예들에 따른 멀티미디어 장치와 데이터를 송수신한다. 본 발명의 실시 예들에 따른 멀티미디어 장치들 중에서, 하나의 멀티미디어 장치(100)를 일례로 설명하도록 한다.
본 실시 예에서, 원격제어장치(200)는 RF 통신규격에 따라 멀티미디어 장치(100)와 데이터를 송수신할 수 있는 RF 모듈(222)을 구비할 수 있다. 또한, 원격제어장치(200)는 IR 통신규격에 따라 멀티미디어 장치(100)와 데이터를 송수신할 수 있는 IR 모듈(223)을 구비할 수 있다. 또한, 원격제어장치(200)는 무선인터넷 통신 규격(wi-fi)에 따라 멀티미디어 장치(100)와 데이터를 송수신할 수 있는 무선인터넷 모듈(221)을 구비할 수 있다. 또한, 도시한 모듈들 이외에도 블루투스(Bluetooth), UWB(Ultra Wideband), 지그비(ZigBee), DLNA (Digital Living Network Alliance) 등의 다양한 통신 규격을 이용하여 데이터를 송수신할 수 있는 모듈을 포함할 수 있다.
본 실시 예에서, 원격제어장치(200)는 멀티미디어 장치(100)로 원격제어장치(200)의 움직임 및 음성 등에 관한 정보가 담긴 데이터를 무선통신부(220)를 통하여 전송한다.
또한, 원격제어장치(200)는 멀티미디어 장치(100)가 전송한 신호를 무선통신부(220)를 통하여 수신할 수 있다. 또한, 원격제어장치(200)는 필요에 따라 무선통신부(220)를 통하여 멀티미디어 장치(100)로 전원 온/오프, 채널 변경, 볼륨 변경 등 멀티미디어 장치에서 특정 동작을 실행하기 위한 명령을 전송할 수 있다.
센서부(240)는 동작 인식 모듈(241) 및 마이크로폰(242)을 구비할 수 있다.
동작인식 모듈(241)은, 자이로 센서 및 가속도 센서를 포함할 수 있다.
자이로 센서는 원격제어장치(200)의 움직임에 관한 정보를 센싱할 수 있다.
일례로, 자이로 센서는 원격제어장치(200)의 동작에 관한 정보를 x, y, z 축을 기준으로 센싱할 수 있다.
또한, 가속도 센서는 원격제어장치(200)의 이동속도 등에 관한 정보를 센싱할 수 있다. 한편, 거리측정센서를 더 구비할 수 있으며, 이에 의해, 디스플레이부(180)와의 거리를 센싱할 수 있다.
즉, 동작 인식 모듈(241)을 통하여, 원격제어장치(200)는, 사용자의 원격제어장치를 통한 제스쳐의 방향정보 및 가속도 정보 등을 획득할 수 있다.
마이크로폰(242)은, 사용자의 음성을 입력받을 수 있다. 또한, 원격제어장치(200)는, 상기 음성이 입력되면, 입력된 음성에 대한 정보를 무선통신부(220)를 통하여 멀티미디어 장치(100)로 전송하거나, 상기 입력된 음성에 대한 정보를 통하여 데이터베이스(231)에서 특정 명령을 검색하고, 상기 특정 명령을 실행하기 위한 신호를 무선통신부(220)를 통하여 전송할 수 있다.
사용자 입력부(250)는 키패드, 버튼, 터치 패드, 또는 터치 스크린 등으로 구성될 수 있다. 사용자는 사용자 입력부(250)를 조작하여 원격제어장치(200)로 멀티미디어 장치(100)와 관련된 명령을 입력할 수 있다. 사용자 입력부(250)가 하드키 버튼을 구비할 경우 사용자는 하드키 버튼의 푸쉬 동작을 통하여 원격제어장치(200)로 멀티미디어 장치(100)와 관련된 명령을 입력할 수 있다. 사용자 입력부(250)가 터치스크린을 구비할 경우 사용자는 터치스크린의 소프트키를 터치하여 원격제어장치(200)로 멀티미디어 장치(100)와 관련된 명령을 입력할 수 있다. 또한, 사용자 입력부(250)는 스크롤 키나, 조그 키 등 사용자가 조작할 수 있는 다양한 종류의 입력수단을 구비할 수 있으며 본 실시 예는 본 발명의 권리범위를 제한하지 아니한다.
또한, 본 발명의 실시 예와 관련하여, 사용자 입력부(250)는, 멀티미디어 장치(100)에서 원격제어장치를 통한 입력을 활성화하기 위한 버튼을 포함할 수 있고, 상기 버튼을 누름으로써, 원격제어장치(200)는 무선통신부(220)를 통하여 멀티미디어 장치(100)에 상기 원격제어장치를 활성화하기 위한 특정 신호를 전송할 수 있고, 상기 버튼의 누름 상태가 일정 시간 이상 지속되어, 상기 활성화를 위한 특정신호가 일정 시간 이상 지속적으로 입력되는 경우, 멀티미디어 장치(100)는, 원격제어장치(200)를 통한 입력을 활성화할 수 있다. 이에 관하여는 이하 도 8에서 상세히 설명한다.
저장부(230)는 원격제어장치(200)의 제어 또는 동작에 필요한 여러 종류의 프로그램, 애플리케이션 데이터 등이 저장될 수 있다. 만일 원격제어장치(200)가 멀티미디어 장치(100)와 RF 모듈(222)을 통하여 무선으로 신호를 송수신할 경우 원격제어장치(200)와 멀티미디어 장치(100)는 소정 주파수 대역을 통하여 신호를 송수신한다. 원격제어장치(200)의 제어부(280)는 원격제어장치(200)와 페어링된 멀티미디어 장치(100)와 신호를 무선으로 송수신할 수 있는 주파수 대역 등에 관한 정보를 저장부(230)에 저장하고 참조할 수 있다.
또한, 본 발명의 실시 예와 관련하여, 저장부(230)는, 센싱부(240)를 통하여 입력된 제스쳐 및 음성에 대응하는 특정 명령에 대한 맵핑(mapping)데이터를 저장하는 데이터베이스(231)를 저장할 수 있다.
즉, 데이터베이스(231)는, 각 제스쳐 및 음성의 특징 정보를 저장하고, 상기 특징 정보에 대응되는, 멀티미디어 장치에서 각 특징 정보에 대응하여 실행 가능한 명령의 목록을 저장한다. 따라서, 센싱부(240)를 통하여 사용자 제스쳐 영상이 입력되고, 상기 입력된 제스쳐 및 음성에서 특징 정보가 추출된 경우, 원격제어장치(200)는 상기 저장부(230)에 저장된 데이터베이스(231)에서 상기 특징 정보에 대응하는 특정 명령을 검색할 수 있다. 또한, 상기 검색된 특정 명령을 실행하기 위한 신호를 무선통신부(220)를 통하여 멀티미디어 장치(100)로 전송할 수 있다.
제어부(210)는 원격제어장치(200)의 제어에 관련된 제반사항을 제어한다. 제어부(210)는 사용자 입력부(250)의 소정 키 조작에 대응하는 신호, 센서부(240)에서 센싱한 원격제어장치(200)를 통한 제스쳐 또는 음성에 대응하는 신호, 또는 데이터베이스(231)에서 검색된 특정 명령을 실행하기 위한 신호를 무선 통신부(225)를 통하여 멀티미디어 장치(100)로 전송할 수 있다.
또한, 제어부(210)는, 본 발명의 실시 예와 관련하여, 센서부(240)를 통하여 입력된 제스쳐의 특징 정보에 기초하여, 저장부(230)의 데이터베이스(231)에서 상기 특징 정보에 매칭되는 특정 명령을 검색하고, 상기 검색된 특정 명령이 존재하는 경우, 상기 검색된 특정 명령에 맵핑된 음성 정보와 상기 입력된 음성의 특징정보가 매칭되는지 확인하고, 상기 맵핑된 음성 정보와 상기 입력된 음성의 특징정보가 매칭되는 경우, 상기 특정 명령을 실행하기 위한 신호를 무선 통신부(220)를 통하여 상기 멀티미디어 장치로 전송하도록 제어할 수 있다.
또한, 본 발명의 실시 예와 관련하여, 원격제어장치(200)는, 원활하게 사용자의 제스쳐 및 음성을 입력받기 위하여 상기 도 5에서 도시한 바와 같이 사용자의 손에 부착가능한 형태일 수 있으며, 센서부(240)를 통하여 사용자의 손의 움직임에 대한 방향 정보 및 가속도 정보를 제스쳐로서 인식할 수 있다.
도 7은 본 발명의 실시 예에 따른 제스쳐 및 음성을 통하여 멀티미디어 장치를 제어하는 방법을 도시한 흐름도이다.
실시 예에 따라, 멀티미디어 장치는, 원격제어장치 입력을 활성화한다(S 101).
원격제어장치는, 멀티미디어 장치와 무선 통신을 통하여 소정의 데이터를 송수신할 수 있는 장치로써, 공간 리모콘, 무선 키보드 등 다양한 형태의 디바이스를 포함할 수 있다.
특히, 본 발명의 실시 예와 관련하여, 사용자의 손에 부착 가능한 원격제어장치를 포함할 수 있고, 손에 부착됨으로써 움직임에 대한 방향 정보 및 가속도 정보를 획득할 수 있다.
또한, 멀티미디어 장치는, 오동작을 방지하기 위하여, 평상시에는 원격제어장치를 통한 데이터 또는 제스쳐 및 음성을 입력받지 않고, 상기 원격제어장치를 통한 입력이 활성화되는 경우에만 원격제어장치로부터 데이터 또는 제스쳐 및 음성을 입력받을 수 있도록 할 수 있다.
또한, 원격제어장치를 통한 입력을 활성화하기 위한 수단으로서는, 실시 예에 따라, 멀티미디어 장치 또는 원격제어장치의 특정키를 온(on) 하거나 특정키의 선택 신호가 일정 시간 이상 입력되는 경우, 원격제어장치가 특정 위치에 일정 시간 이상 위치하는 경우 등 다양한 방법을 통하여 멀티미디어 장치가 원격제어장치를 통한 입력을 활성화하도록 설정할 수 있다. 이에 관하여는 이하 도 8에서 상세히 설명한다.
다음으로, 원격제어장치를 통하여 제스쳐 및 음성을 입력받는다(S 102).
원격제어장치는, 상기 도 6에서 도시한 바와 같이, 자이로(gyro) 센서를 포함할 수 있는 동작 인식 모듈 및 마이크로폰을 통하여, 사용자로부터 제스쳐 및 음성을 입력받을 수 있다.
다음으로, 상기 입력된 제스쳐의 특징정보에 기초하여 데이터베이스에서 멀티미디어 장치에서 실행 가능한 명령에 맵핑(mapping)된 제스쳐와 비교하여(S 103), 상기 입력된 제스쳐와 상기 저장된 제스쳐가 매칭(matching)되는지 여부를 판단한다(S 104).
멀티미디어 장치는, 이하 도 12에서 도시된 바와 같이 멀티미디어 장치에서 실행가능한 명령 별로, 특정 제스쳐 및 특정 음성을 맵핑(mapping)하여 저장할 수 있다.
따라서, 멀티미디어 장치는, 상기 입력된 제스쳐의 방향 정보 및 가속도 정보 등을 특징 정보로써 추출하고, 상기 추출된 방향 정보 및 가속도 정보에 기초하여 데이터베이스를 검색함으로써, 상기 입력된 제스쳐와 데이터베이스에 저장된 특정 명령의 제스쳐정보가 매칭(matching)되는지 여부를 판단할 수 있다.
다음으로, 상기 입력된 제스쳐와 상기 저장된 제스쳐가 매칭되는 경우, 상기 검색된 특정 명령에 맵핑(mapping)된 음성 정보와 상기 입력된 음성의 특징정보를 비교하여(S 105), 매칭되는지 여부를 판단한다(S 106).
멀티미디어 장치는, 원격제어장치를 통하여 입력된 음성의 파형 정보를 추출하고, 추출된 파형 정보와 상기 검색된 특정 명령에 맵핑된 음성의 파형 정보를 데이터베이스를 통하여 검색함으로써, 상기 입력된 음성과 상기 저장된 음성이 매칭(matching)되는지 여부를 판단할 수 있다.
즉, 단순히 입력된 제스쳐와 저장된 제스쳐를 비교하여 멀티미디어 장치에서 실행가능한 특정 명령을 검색하는 것이 아니라, 입력된 음성을 통한 확인과정을 거침으로써, 사용자가 원하지 않는 명령이 실행되는 것을 방지할 수 있다.
다음으로, 음성 정보가 매칭되는 것으로 판단되면, 멀티미디어 장치는 상기검색된 특정 명령을 실행한다(S 107).
즉, 원격제어장치를 통해 입력된 제스쳐를 통한 검색과정, 및 원격제어장치를 통하여 입력된 음성을 통한 확인과정을 거침으로써 특정 명령을 확정하고, 상기 확정된 특정 명령을 멀티미디어 장치에서 실행하여, 원격제어장치를 통하여 멀티미디어 장치를 제어할 수 있다.
또한, 실시 예에 따라, 상기 확정된 특정 명령이 실행되면 현재 멀티미디어 장치에서 계속 중인 작업에 손실이 있는 경우, 경고 메시지를 출력하고, 상기 경고 메시지에 대한 확인 명령이 수신되는 경우에만 상기 확정된 특정 명령을 실행하게 함으로써, 멀티미디어 장치에서 계속 중인 작업을 보호할 수 있다. 이와 관련하여, 이하 도 10에서 상세히 설명한다.
상기 설명에서는, 멀티미디어 장치가 원격제어장치로부터 제스쳐 및 음성에 대한 신호만을 수신하고, 멀티미디어 장치가 특정 명령의 검색 및 확정 과정을 실행하는 실시 예에 대하여만 기재하였으나, 실시 예에 따라, 상기 도 6에서 도시한 바와 같이, 원격제어장치에 데이터베이스 및 센서부가 모두 구비된 경우에는, 원격제어장치에 제스쳐 및 음성이 입력되면, 원격제어장치의 제어부가, 데이터베이스를 통하여, 상기 입력된 제스쳐를 통한 특정 명령의 검색과정 및 상기 입력된 음성을 통한 특정 명령의 확인과정을 실행하고, 특정 명령이 확정되면, 상기 확정된 특정 명령을 실행하기 위한 신호만을 멀티미디어 장치로 전송할 수 있다.
도 8은 도 7의 원격제어장치 입력을 활성화하는 단계를 상세히 도시한 도면이다.
실시 예에 따라, 멀티미디어 장치는, 오동작을 방지하기 위하여, 원격제어장치를 통한 입력을 활성화하는 단계를 포함할 수 있다.
또한, 원격제어장치가 멀티미디어 장치와 적외선통신(IrDA, infrared Data Association)을 통하여 특정 신호를 송수신함으로써 상기 활성화를 위한 신호를 입력할 수 있다. 적외선 통신을 위한 모듈은 일반적으로 모든 원격제어장치에 구비되어 있고, 소형화가 가능한바, 상기 활성화를 위한 신호의 입력 수단으로 이용하기에 적절하다.
따라서, 원격제어장치의 특정 키가 입력되거나, 원격제어장치가 멀티미디어 장치와 적외선통신을 하기 위한 특정 위치에 위치하는 경우, 원격제어장치는 멀티미디어 장치에 특정 데이터를 전송함으로써 적외선 통신을 실행한다(S 1011).
다음으로, 멀티미디어 장치는, 상기 적외선 통신이 지속되는 시간을 판단하고, 상기 판단 결과, 지속시간이 일정시간 이상인 경우, 원격제어장치를 통한 입력을 활성화 한다(S 104).
즉, 원격제어장치의 특정 키가 입력되거나, 원격제어장치가 멀티미디어 장치와 적외선통신을 하기 위한 특정 위치에 위치하더라도, 사용자가 의도하지 않은 입력 또는 원격제어장치의 이동일 수 있는바, 상기와 같은 상태가 일정시간 이상 지속되는 경우에만 상기 활성화를 위한 신호로 인식할 수 있다.
또한, 상기 지속시간은 사용자 설정에 따라 변경될 수 있다.
반면에, 상기 지속시간이 일정시간 미만인 경우, 원격제어장치를 통하여 입력되는 제스쳐 및 음성을 무시한다(S 1013).
도 9는 본 발명의 실시 예에 따른 제스쳐 및 음성입력에 대응하는 동작의 목록을 포함하는 메뉴의 디스플레이화면을 도시한 도면이다.
실시 예에 따라, 멀티미디어 장치는, 조작 리스트 메뉴(801)를 통하여 멀티미디어 장치에 저장된 제스쳐 및 음성과 특정 명령의 맵핑(mapping)정보를 사용자에게 제공할 수 있다.
즉, 멀티미디어 장치는, 각 제스쳐 및 음성별로, 멀티미디어 장치에서 실행 가능한 특정 명령을 맵핑하여 저장하고, 멀티미디어 장치의 사용자 인터페이스부를 통하여 원격제어장치로부터 제스쳐 및 음성 정보가 수신되면, 상기 수신된 제스쳐의 특징 정보를 추출하고, 상기 저장된 맵핑 데이터를 검색하여, 특정 명령을 검색할 수 있고, 상기 특정 명령이 검색되면, 검색된 특정 명령에 맵핑된 음성 정보와 상기 입력된 음성의 특징정보가 매칭되는지 판단함으로써, 상기 검색된 특정 명령이 사용자가 실행하고자 하는 특정 명령인지 여부를 확인할 수 있다.
상기 조작 리스트 메뉴(801)는, 맵핑된 제스쳐에 대한 정보를 이미지(802, 803, 804, 805)로써 포함할 수 있고, 맵핑된 음성에 대한 정보를, 상기 음성을 재생하기 위한 아이콘(806, 807, 808, 809)으로 포함할 수 있다.
따라서, 도 9를 참조하면, 맵핑된 제스쳐가, 손가락을 위에서 아래로 이동하는 제스쳐(802)는 멀티미디어 장치의 전원을 오프(off)하는 명령, 손가락으로 곡선을 그리는 제스쳐(803)는 멀티미디어 장치에서 선호 채널리스트를 호출하는 명령, 손가락으로 작은 원을 그리는 제스쳐(804)는 멀티미디어 장치에서 채널 목록을 편집하는 명령, 및 손가락으로 상하 왕복하는 제스쳐(805)는 멀티미디어 장치에서 이전 채널로 복귀하는 명령과 맵핑되어 있음을 인지할 수 있다.
또한, 상기 사용자 제스쳐는 손 또는 손가락을 통한 제스쳐뿐만 아니라 팔, 다리, 머리 등 사용자 신체의 다양한 부분을 통한 다양한 제스쳐를 포함할 수 있다.
또한, 사용자는 각 음성 재생 아이콘(806, 807, 808, 809)의 선택 신호를 입력함으로써, 각 특정 명령에 맵핑되어 있는 음성 데이터를 멀티미디어 장치에서 재생할 수 있다.
또한, 상기 조작 리스트 메뉴(801)는, 새로운 제스쳐 및 음성을 특정 명령에 맵핑하기 위한 메뉴항목(810)을 포함할 수 있다. 따라서, 사용자로부터 상기 메뉴항목(810)의 선택신호가 수신되면, 멀티미디어 장치는 이하 도 11의 메뉴화면을 디스플레이하여 제스쳐 및 음성의 맵핑을 위한 과정을 실행할 수 있다.
도 10은 본 발명의 실시 예에 따른 경고 메시지를 포함하는 디스플레이화면(900)을 도시한 도면이다.
실시 예에 따라, 멀티미디어 장치는, 사용자로부터 소정의 제스쳐 및 음성이 입력되고, 상기 입력된 제스쳐 및 음성에 대응하는 특정 명령을 실행하는 경우, 상기 특정 명령을 실행할 것인지 여부에 대한 확인 메시지(901)를 디스플레이할 수 있다.
특히, 상기 특정 명령이, 현재 멀티미디어 장치에서 이용중인 컨텐츠 또는 서비스에 대하여 데이터의 손실을 가져올 수 있는 동작에 해당하는 경우, 상기 확인 메시지(901)를 출력함으로써, 데이터의 손실 등을 방지할 수 있다.
예를 들어, 상기 입력된 제스쳐에 대응하는 특정 명령이 멀티미디어 장치의 전원을 오프(OFF)하는 동작인 경우, 상기 멀티미디어 장치의 전원을 오프하게 되면, 현재 멀티미디어 장치에서 실행 중인 작업이 종료되므로, 상기 확인 메시지(901)를 디스플레이하여, 사용자에게 상기 멀티미디어 장치의 전원을 오프(OFF)할 것인지 여부에 대한 확인 명령을 요구할 수 있다.
또한, 상기 확인 메시지(901)는, 상기 특정 동작에 대한 정보, 사용자가 입력한 제스쳐에 대한 정보(902) 및 상기 제스쳐 입력을 취소하기 위한 취소 메뉴 항목(903)을 포함할 수 있다.
즉, 사용자는 상기 입력된 제스쳐(902), 및 상기 특정 동작을 확인하고, 상기 특정 동작의 실행을 취소하고자 하는 경우, 상기 취소항목(903)을 선택하여 상기 특정 동작의 실행을 취소할 수 있다.
또한, 상기 확인메시지(901)는, 멀티미디어 장치에서 이용 중인 컨텐츠 또는 서비스의 디스플레이화면을 방해하지 않기 위해, 상기 컨텐츠 또는 서비스가 디스플레이되지 않는 소정 영역에 디스플레이될 수 있고, 반투명한 색상으로 디스플레이될 수 있다.
이를 통하여, 사용자는, 멀티미디어 장치에 입력된 제스쳐 및 음성이 잘못 인식되거나, 제스쳐 또는 음성을 잘못 입력한 경우에, 의도하지 않은 동작이 실행되는 것을 방지할 수 있다.
도 11은 본 발명의 실시 예에 따른 특정 동작을 실행시키기 위한 제스쳐 및 음성의 입력 메뉴를 포함하는 디스플레이화면을 도시한 도면이다.
실시 예에 따라, 사용자는 임의의 제스쳐 및 음성을, 멀티미디어 장치에서 소정의 기능을 실행하거나 서비스를 제공받기 위한 입력수단으로 설정할 수 있다.
멀티미디어 장치는, 멀티미디어 장치에서 실행 가능한 명령의 목록이 디스플레이된 상태에서 사용자로부터 임의의 제스쳐 및 음성을 설정하기 위한 메뉴 항목의 선택신호 또는 핫키(Hot Key)입력 신호가 입력되는 경우, 또는 멀티미디어 장치에서 소정의 서비스 또는 컨텐츠를 이용 중인 상태에서 사용자로부터 임의의 제스쳐 및 음성을 설정하기 위한 메뉴 항목의 선택신호 또는 핫키(Hot Key)입력 신호가 입력되는 경우 제스쳐 등록 메뉴(1001)를 디스플레이할 수 있다.
제스쳐 등록 메뉴(1001)는, 상기 입력수단으로 설정하기 위해 사용자가 입력한 제스쳐 영상(1002) 및, 상기 입력한 제스쳐에 대한 확인 메뉴항목(1003)을 포함할 수 있다. 즉, 사용자는 임의의 제스쳐를 입력한 후, 상기 제스쳐 영상(1002)을 통하여 입력한 제스쳐에 오동작이 없는지 여부를 판단하고, 오동작이 없다면, 상기 확인 메뉴항목(1003)을 선택하여, 음성 등록 메뉴(1004)를 디스플레이하도록 할 수 있다.
음성 등록 메뉴(1004)가 디스플레이되면, 사용자는 원격제어장치 또는 멀티미디어 장치의 센서부를 통하여, 임의의 음성을 입력할 수 있다. 또한, 상기 임의의 음성이 입력되는 중, 멀티미디어 장치는 음성 확인 창(1005)을 통하여 입력되는 음성의 파형에 대한 정보를 사용자에게 제공할 수 있다.
또한, 음성 입력이 완료된 후, 사용자로부터 음성 확인 창(1005)의 선택신호가 입력되면, 멀티미디어 장치는 상기 입력된 음성을 재생할 수 있다.
또한, 음성 등록 메뉴(1004)는, 입력된 음성에 대한 확인 메뉴항목(1006)을 포함할 수 있다. 즉, 사용자는 임의의 음성을 입력한 후, 상기 음성 확인 창(1005)을 통하여 입력한 제스쳐에 오동작이 없는지 여부를 판단하고, 오동작이 없는 경우, 상기 확인 메뉴항목(1006)을 선택함으로써, 상기 입력한 제스쳐 및 음성을 소정의 멀티미디어 장치의 기능 또는 서비스에 맵핑시켜 데이터베이스에 저장할 수 있다.
또한, 상기 제스쳐 등록 메뉴(1001) 및 음성 등록 메뉴(1004)는, 상기 입력된 제스쳐 또는 음성과 맵핑(mapping)할 멀티미디어 장치의 기능 목록을 포함하여, 사용자로부터 선택신호를 수신할 수 있다.
이를 통하여, 사용자는 원하는 제스쳐 및 음성을 원하는 기능 또는 서비스에 지정함으로써, 멀티미디어 장치의 조작에 있어서 사용자 편의성을 향상시킬 수 있다.
도 12는 본 발명의 실시 예에 따른 특정 동작을 실행시키기 위한 제스쳐 및 음성의 매핑데이터를 저장하는 데이터베이스(1101)를 도시한 도면이다.
실시 예에 따라, 멀티미디어 장치에서 실행 가능한 명령들에 대하여, 데이터베이스(1101)는, 각 명령 별로 제스쳐(1102) 및 음성(1104)에 대한 맵핑데이터를 저장할 수 있다.
도 12를 참조하면, 데이터베이스(1101)는, 예를 들어, 멀티미디어 장치의 대기 상태를 해제하기 위해서는, 원격제어장치를 통하여, 원격제어장치를 90도 회전하는 제스쳐 및 "대기 해제"라는 음성을 입력하여야 하고, 멀티미디어 장치의 전원을 오프(off)하기 위해서는, 원격제어장치를 통하여, 원격제어장치를 180도 회전하는 제스쳐 및 "전원 오프"라는 음성을 입력하여야 하며, 멀티미디어 장치에서 현재 이용중인 채널을 변경하기 위해서는, 원격제어장치를 통하여, 원격제어장치를 상하로 이동하는 제스쳐 및 "채널 업다운"이라는 음성을 입력하여야 함에 대한 데이터를 저장할 수 있다.
즉, 데이터베이스는, 멀티미디어 장치에서 실행할 수 있는 특정 명령에 대하여 제스쳐 및 음성에 관한 맵핑데이터를 저장할 수 있으므로, 멀티미디어 장치는, 원격제어장치로부터 제스쳐 및 음성 정보가 수신되면, 상기 수신된 제스쳐의 특징 정보를 이용하여, 특정 명령을 검색할 수 있고, 상기 입력된 음성의 특징정보를 이용하여, 상기 검색된 특정 명령이 사용자가 실행하고자 하는 특정 명령인지 여부를 확인할 수 있으므로, 원격제어장치를 통한 동작에 있어서 정확도 및 신뢰성을 향상시킬 수 있다.
또한, 데이터베이스(1101)는 실시 예에 따라, 멀티미디어 장치의 저장부에 저장될 수 있고, 다른 실시 예에 따라, 원격제어장치의 저장부에 저장될 수 있다.
따라서, 실시 예에 따라, 데이터베이스(1101)가 멀티미디어 장치의 저장부에 저장되는 경우, 멀티미디어 장치는 원격제어장치로부터 제스쳐 및 음성에 대한 정보를 전송받고, 멀티미디어 장치의 제어부가 본 발명의 실시 예에 따른 특정 명령의 검색 및 확인 과정을 실행하여, 특정 명령을 실행한다.
반면에, 다른 실시 예에 따라, 데이터베이스(1102)가 원격제어장치의 저장부에 저장되는 경우, 원격제어장치의 제어부가 저장부를 통하여 본 발명의 실시 예에 따른 특정 명령의 검색 및 확인 과정을 실행하고, 상기 검색된 특정 명령을 실행하기 위한 신호를 멀티미디어 장치로 전송함으로써 상기 검색된 특정 명령을 실행한다.
본 발명에 따른 멀티미디어 장치 및 그 동작 방법은 상기한 바와 같이 설명된 실시 예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시 예들은 다양한 변형이 이루어질 수 있도록 각 실시 예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
한편, 본 발명의 멀티미디어 장치의 동작방법은 멀티미디어 장치에 구비된 프로세서가 읽을 수 있는 기록매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 기록매체는 프로세서에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 프로세서가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한, 인터넷을 통한 전송 등과 같은 캐리어 웨이브의 형태로 구현되는 것도 포함한다. 또한, 프로세서가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 프로세서가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해돼서는 안 될 것이다.
100: 멀티미디어 장치
105: 방송 수신부
110: 튜너
120: 복조부
130: 네트워크 인터페이스부
135: 외부장치 인터페이스부
140: 저장부
150: 사용자입력 인터페이스부
170: 제어부
180: 디스플레이부
185: 오디오 출력부
190: 전원 공급부
200: 원격 제어장치

Claims (13)

  1. 멀티미디어 장치의 제어방법에 있어서,
    원격제어장치 입력을 활성화하는 단계;
    상기 원격제어장치를 통하여 사용자 제스쳐 및 음성을 입력받는 단계;
    상기 입력된 제스쳐의 특징정보에 기초하여, 데이터베이스에서 매칭(matching)되는, 상기 멀티미디어 장치에서 실행 가능한 특정 명령을 검색하는 단계;
    상기 데이터베이스에서 검색되는 상기 특정 명령이 존재하는 경우, 상기 검색된 특정 명령에 맵핑(mapping)된 음성 정보와 상기 입력된 음성의 특징정보가 매칭되는지 확인하는 단계; 및
    상기 확인 결과, 상기 맵핑된 음성 정보와 상기 입력된 음성의 특징정보가 매칭되는 경우, 상기 특정 명령을 실행하는 단계
    를 포함하는 멀티미디어 장치의 제어방법.
  2. 제1항에 있어서,
    상기 원격제어장치 입력을 활성화하는 단계는,
    상기 멀티미디어 장치와 상기 원격제어장치 간에 무선통신을 통하여 상기 활성화를 위한 특정 데이터를 송수신하는 단계; 및
    상기 특정 데이터의 송수신이 일정시간 이상 지속되면, 상기 원격제어장치를 통한 입력을 활성화하는 단계
    를 포함하는 멀티미디어 장치의 제어방법.
  3. 제1항에 있어서,
    상기 사용자 제스쳐 및 음성을 입력받는 단계는,
    상기 원격제어장치의 자이로(gyro)센서를 통하여 제스쳐 정보를 입력받는 단계; 및 상기 원격제어장치의 마이크로폰을 통하여 음성 정보를 입력받는 단계
    를 포함하는 멀티미디어 장치의 제어방법.
  4. 제1항에 있어서,
    상기 원격제어장치는,
    사용자의 손에 부착 가능한 원격제어장치이고,
    상기 제스쳐 정보는,
    상기 손의 움직임에 대한 방향 정보 및 가속도 정보를 포함하는
    멀티미디어 장치의 제어방법.
  5. 제1항에 있어서,
    상기 특정 명령을 검색하는 단계는,
    상기 입력된 제스쳐의 방향 정보를 추출하는 단계; 및
    상기 추출된 방향 정보와 매칭되는 특정 명령을 데이터베이스에서 검색하는 단계
    를 포함하고,
    상기 음성의 특징정보가 매칭되는지 확인하는 단계는,
    상기 입력된 음성의 파형 정보를 추출하는 단계; 및
    상기 추출된 파형 정보와 상기 검색된 특정 명령에 맵핑된 음성의 파형 정보가 매칭되는지 확인하는 단계
    를 포함하는
    멀티미디어 장치의 제어방법.
  6. 제1항에 있어서,
    상기 특정 명령을 실행하는 단계는,
    상기 특정 명령이 실행되면 현재 멀티미디어 장치에서 계속 중인 작업에 손실이 있는 경우, 경고 메시지를 출력하는 단계; 및
    상기 경고 메시지에 대한 확인 명령이 수신되면, 상기 특정 명령을 실행하는 단계
    를 포함하는 멀티미디어 장치의 제어방법.
  7. 원격제어장치로 제어 가능한 멀티미디어 장치에 있어서,
    상기 원격제어장치와 제스쳐정보 및 음성정보를 포함하는 데이터를 송수신하는 사용자 인터페이스부;
    상기 멀티미디어장치에서 실행 가능한 특정 명령에 맵핑(mapping)된 제스쳐 및 음성에 대한 특징 정보를 저장하는 저장부; 및
    상기 사용자 인터페이스부를 통하여 수신된 제스쳐 정보에 기초하여, 상기 저장부에서, 상기 수신된 제스쳐 정보에 매칭(matching)되는 상기 특정 명령을 검색하고, 상기 검색 결과가 존재하는 경우, 상기 사용자 인터페이스부를 통하여 수신된 음성 정보에 기초하여, 상기 저장부에서, 상기 검색된 특정 명령에 맵핑된 음성 정보와 상기 입력된 음성의 특징정보가 매칭되는지 확인하고, 상기 맵핑된 음성 정보와 상기 입력된 음성의 특징정보가 매칭되는 경우, 상기 특정 명령을 실행하도록 제어하는 제어부
    를 포함하는 원격제어장치로 제어 가능한 멀티미디어장치.
  8. 제7항에 있어서,
    상기 제어부는,
    상기 사용자 인터페이스부를 통하여 상기 원격제어장치로부터 상기 원격제어장치의 입력 활성화를 위한 특정 데이터가 수신되면, 상기 특정 데이터의 수신이 지속되는 시간을 검색하고, 상기 지속 시간이 일정 시간 이상이면, 상기 원격제어장치를 통한 입력을 활성화하도록 제어하는
    원격제어장치로 제어 가능한 멀티미디어장치.
  9. 제7항에 있어서,
    상기 제어부는,
    상기 입력된 제스쳐의 방향 정보를 추출하여 상기 추출된 방향 정보와 매칭되는 특정 명령을 상기 저장부에서 검색하고,
    상기 입력된 음성의 파형 정보를 추출하여, 상기 추출된 파형 정보와 상기 검색된 특정 명령에 맵핑된 음성의 파형 정보가 매칭되는지 판단하는
    원격제어장치로 제어 가능한 멀티미디어장치.
  10. 제7항에 있어서,
    상기 제어부는,
    상기 특정 명령이 실행되면 현재 상기 멀티미디어 장치에서 계속 중인 작업에 손실이 있는 경우, 경고 메시지를 출력하고, 상기 경고 메시지에 대한 확인 명령이 수신되면, 상기 특정 명령을 실행하도록 제어하는
    원격제어장치로 제어 가능한 멀티미디어장치.
  11. 멀티미디어 장치를 제어 가능한 원격제어장치에 있어서,
    상기 멀티미디어 장치와 데이터를 송수신하는 무선 통신부;
    제스쳐 정보를 및 음성 정보를 입력받는 센서부;
    상기 멀티미디어장치에서 실행 가능한 특정 명령에 맵핑(mapping)된 제스쳐 및 음성의 특징정보에 대한 데이터베이스를 저장하는 저장부; 및
    상기 센서부를 통하여 입력된 제스쳐의 특징 정보에 기초하여, 상기 저장부에서 상기 특징 정보에 매칭되는 특정 명령을 검색하고, 상기 검색된 특정 명령이 존재하는 경우, 상기 검색된 특정 명령에 맵핑된 음성 정보와 상기 입력된 음성의 특징정보가 매칭되는지 확인하고, 상기 맵핑된 음성 정보와 상기 입력된 음성의 특징정보가 매칭되는 경우, 상기 특정 명령을 실행하기 위한 신호를 상기 무선 통신부를 통하여 상기 멀티미디어 장치로 전송하도록 제어하는 제어부
    를 포함하는 멀티미디어 장치를 제어 가능한 원격제어장치
  12. 제11항에 있어서,
    상기 원격제어장치는 사용자의 손에 부착 가능한 원격제어장치이고, 상기 제스쳐 정보는, 상기 손의 움직임에 대한 방향 정보 및 가속도 정보를 포함하는 멀티미디어 장치를 제어 가능한 원격제어장치.
  13. 제11항에 있어서,
    상기 센서부는,
    제스쳐에 대한 방향 정보 및 가속도 정보를 획득하는 자이로(gyro)센서; 및
    음성에 대한 파형 정보를 획득하는 마이크로폰
    을 포함하는 멀티미디어 장치를 제어 가능한 원격제어장치.
KR1020100116009A 2010-11-22 2010-11-22 멀티미디어 장치에서 음성과 제스쳐를 이용한 제어 방법 및 그에 따른 멀티미디어 장치 KR101789619B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020100116009A KR101789619B1 (ko) 2010-11-22 2010-11-22 멀티미디어 장치에서 음성과 제스쳐를 이용한 제어 방법 및 그에 따른 멀티미디어 장치
EP11843625.2A EP2643968A4 (en) 2010-11-22 2011-11-21 CONTROL METHOD USING VOICE AND GESTURES IN A MULTIMEDIA DEVICE AND CORRESPONDING MULTIMEDIA DEVICE
CN2011800524976A CN103201790A (zh) 2010-11-22 2011-11-21 多媒体设备中使用语音和姿势的控制方法及其多媒体设备
PCT/KR2011/008865 WO2012070812A2 (en) 2010-11-22 2011-11-21 Control method using voice and gesture in multimedia device and multimedia device thereof
US13/302,710 US9390714B2 (en) 2010-11-22 2011-11-22 Control method using voice and gesture in multimedia device and multimedia device thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100116009A KR101789619B1 (ko) 2010-11-22 2010-11-22 멀티미디어 장치에서 음성과 제스쳐를 이용한 제어 방법 및 그에 따른 멀티미디어 장치

Publications (2)

Publication Number Publication Date
KR20120054743A true KR20120054743A (ko) 2012-05-31
KR101789619B1 KR101789619B1 (ko) 2017-10-25

Family

ID=46063888

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100116009A KR101789619B1 (ko) 2010-11-22 2010-11-22 멀티미디어 장치에서 음성과 제스쳐를 이용한 제어 방법 및 그에 따른 멀티미디어 장치

Country Status (5)

Country Link
US (1) US9390714B2 (ko)
EP (1) EP2643968A4 (ko)
KR (1) KR101789619B1 (ko)
CN (1) CN103201790A (ko)
WO (1) WO2012070812A2 (ko)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014178693A1 (ko) * 2013-05-02 2014-11-06 Hwang Sung Jae 복수의 디바이스를 매칭시키는 방법, 그리고 상기 매칭이 가능하게끔 하여 주는 디바이스 및 서버 시스템
KR20140130856A (ko) * 2013-05-02 2014-11-12 엘지전자 주식회사 멀티미디어 디바이스 및 그 제어 방법
KR20150004122A (ko) * 2013-07-02 2015-01-12 삼성전자주식회사 서버 및 그 제어방법과, 영상처리장치 및 그 제어방법
KR20150010517A (ko) * 2013-07-19 2015-01-28 삼성전자주식회사 통신 방법 및 이를 위한 디바이스
WO2015102467A1 (ko) * 2014-01-06 2015-07-09 삼성전자 주식회사 웨어러블 기기를 이용한 홈 디바이스 제어 장치 및 제어 방법
KR20150082079A (ko) * 2014-01-06 2015-07-15 삼성전자주식회사 웨어러블 기기를 이용한 홈 디바이스 제어 장치 및 제어 방법
KR20160044652A (ko) * 2014-10-15 2016-04-26 현대모비스 주식회사 차량용 ａｖｎ 시스템의 음성 제어방법
KR20160061176A (ko) * 2014-11-21 2016-05-31 엘지전자 주식회사 디스플레이 장치 및 그 제어 방법
KR20170006870A (ko) * 2015-07-10 2017-01-18 주식회사 엘지유플러스 영상표시기기, 그 제어 방법, 프로그램 및 기록 매체와 원격 제어 장치 및 그 제어 방법
WO2019194426A1 (en) * 2018-04-02 2019-10-10 Samsung Electronics Co., Ltd. Method for executing application and electronic device supporting the same
KR20190135974A (ko) 2016-04-29 2019-12-09 주식회사 브이터치 동작-음성의 다중 모드 명령에 기반한 최적 제어 방법 및 이를 적용한 전자 장치
KR20210071924A (ko) * 2020-11-18 2021-06-16 삼성전자주식회사 서버 및 그의 제어 방법
WO2021187653A1 (ko) * 2020-03-17 2021-09-23 삼성전자 주식회사 제스처에 기초하여, 음성 입력을 처리하는 전자 장치 및 그 동작 방법
KR20220099941A (ko) * 2020-10-29 2022-07-14 삼성전자주식회사 서버 및 그 제어방법과, 영상처리장치 및 그 제어방법
WO2022186531A1 (ko) * 2021-03-05 2022-09-09 삼성전자 주식회사 전자 장치 및 전자 장치의 기기 연결 방법
US11700409B2 (en) 2013-01-07 2023-07-11 Samsung Electronics Co., Ltd. Server and method for controlling server

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8358978B2 (en) * 2008-11-04 2013-01-22 Broadcom Corporation Multiservice communication device with cognitive radio transceiver
US8963847B2 (en) * 2010-12-06 2015-02-24 Netflix, Inc. User interface for a remote control device
WO2013022222A2 (en) * 2011-08-05 2013-02-14 Samsung Electronics Co., Ltd. Method for controlling electronic apparatus based on motion recognition, and electronic apparatus applying the same
EP2986014A1 (en) 2011-08-05 2016-02-17 Samsung Electronics Co., Ltd. Method for controlling electronic apparatus based on voice recognition and motion recognition, and electronic apparatus applying the same
US20130106683A1 (en) * 2011-10-31 2013-05-02 Elwha LLC, a limited liability company of the State of Delaware Context-sensitive query enrichment
US8959082B2 (en) 2011-10-31 2015-02-17 Elwha Llc Context-sensitive query enrichment
US8886546B2 (en) * 2011-12-19 2014-11-11 Verizon Patent And Licensing Inc. Voice application access
US10223710B2 (en) 2013-01-04 2019-03-05 Visa International Service Association Wearable intelligent vision device apparatuses, methods and systems
KR101944414B1 (ko) * 2012-06-04 2019-01-31 삼성전자주식회사 음성 인식 서비스를 제공하기 위한 방법 및 그 전자 장치
JP2015528594A (ja) * 2012-08-06 2015-09-28 コーニンクレッカ フィリップス エヌ ヴェ 実行中のソフトウェア・アプリケーションのオーディオ・アクティブ化されるモードおよび／またはツールおよび／またはそのオーディオ・アクティブ化
KR101330671B1 (ko) 2012-09-28 2013-11-15 삼성전자주식회사 전자장치, 서버 및 그 제어방법
CN102945672B (zh) 2012-09-29 2013-10-16 深圳市国华识别科技开发有限公司 一种多媒体设备语音控制系统及方法
KR101621524B1 (ko) * 2012-11-02 2016-05-31 삼성전자 주식회사 디스플레이장치 및 그 제어방법
WO2014078480A1 (en) * 2012-11-16 2014-05-22 Aether Things, Inc. Unified framework for device configuration, interaction and control, and associated methods, devices and systems
WO2015112108A1 (en) * 2012-11-28 2015-07-30 Visa International Service Association Multi disparate gesture actions and transactions apparatuses, methods and systems
US9928652B2 (en) * 2013-03-01 2018-03-27 Apple Inc. Registration between actual mobile device position and environmental model
US9112984B2 (en) 2013-03-12 2015-08-18 Nuance Communications, Inc. Methods and apparatus for detecting a voice command
US11393461B2 (en) 2013-03-12 2022-07-19 Cerence Operating Company Methods and apparatus for detecting a voice command
US20140282273A1 (en) * 2013-03-15 2014-09-18 Glen J. Anderson System and method for assigning voice and gesture command areas
WO2014149700A1 (en) * 2013-03-15 2014-09-25 Intel Corporation System and method for assigning voice and gesture command areas
CN104239328A (zh) * 2013-06-18 2014-12-24 联想(北京)有限公司 多媒体处理方法及多媒体系统
DE102013012285A1 (de) * 2013-07-24 2015-01-29 Giesecke & Devrient Gmbh Verfahren und Vorrichtung zur Wertdokumentbearbeitung
JP6329833B2 (ja) * 2013-10-04 2018-05-23 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ ウェアラブル端末及びウェアラブル端末の制御方法
US20150139483A1 (en) * 2013-11-15 2015-05-21 David Shen Interactive Controls For Operating Devices and Systems
CN104216351B (zh) * 2014-02-10 2017-09-29 美的集团股份有限公司 家用电器语音控制方法及系统
EP2911149B1 (en) * 2014-02-19 2019-04-17 Nokia Technologies OY Determination of an operational directive based at least in part on a spatial audio property
CN104681023A (zh) * 2015-02-15 2015-06-03 联想(北京)有限公司 一种信息处理方法及电子设备
EP3276473B1 (en) * 2015-03-27 2021-04-28 Panasonic Intellectual Property Management Co., Ltd. Remote control system and electronic device
KR101595090B1 (ko) * 2015-04-30 2016-02-17 주식회사 아마다스 음성 인식을 이용한 정보 검색 방법 및 장치
CN106488286A (zh) * 2015-08-28 2017-03-08 上海欢众信息科技有限公司 云端信息收集系统
US9939908B2 (en) 2015-09-28 2018-04-10 Paypal, Inc. Multi-device authentication
EP3414759B1 (en) 2016-02-10 2020-07-01 Cerence Operating Company Techniques for spatially selective wake-up word recognition and related systems and methods
US10431218B2 (en) * 2016-02-15 2019-10-01 EVA Automation, Inc. Integration and probabilistic control of electronic devices
US11600269B2 (en) 2016-06-15 2023-03-07 Cerence Operating Company Techniques for wake-up word recognition and related systems and methods
WO2018027843A1 (zh) * 2016-08-11 2018-02-15 张焰焰 电视指令输入技术的数据采集方法和电视机
WO2018086033A1 (en) 2016-11-10 2018-05-17 Nuance Communications, Inc. Techniques for language independent wake-up word detection
KR20180098079A (ko) 2017-02-24 2018-09-03 삼성전자주식회사 비전 기반의 사물 인식 장치 및 그 제어 방법
EP3454177B1 (en) * 2017-09-11 2020-06-10 Barco N.V. Method and system for efficient gesture control of equipment
CN109124580A (zh) * 2018-07-31 2019-01-04 佛山市苔藓云链科技有限公司 一种共享遥控医疗装置
US11522619B2 (en) 2019-03-08 2022-12-06 Rovi Guides, Inc. Frequency pairing for device synchronization
US11011169B2 (en) 2019-03-08 2021-05-18 ROVl GUIDES, INC. Inaudible frequency transmission in interactive content
US10956123B2 (en) * 2019-05-08 2021-03-23 Rovi Guides, Inc. Device and query management system
CN111343473B (zh) * 2020-02-25 2022-07-01 北京达佳互联信息技术有限公司 直播应用的数据处理方法、装置、电子设备及存储介质
CN113539250A (zh) * 2020-04-15 2021-10-22 阿里巴巴集团控股有限公司 交互方法、装置、系统、语音交互设备、操控设备及介质

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06131437A (ja) * 1992-10-20 1994-05-13 Hitachi Ltd 複合形態による操作指示方法
US6747632B2 (en) * 1997-03-06 2004-06-08 Harmonic Research, Inc. Wireless control device
US7519268B2 (en) * 1998-04-14 2009-04-14 Nikon Corporation Image recording apparatus, dynamic image processing apparatus, dynamic image reproduction apparatus, dynamic image recording apparatus, information recording / reproduction apparatus and methods employed therein, recording medium with computer program stored therein
EP1340375A1 (en) 2000-11-22 2003-09-03 Koninklijke Philips Electronics N.V. Method and apparatus for generating recommendations based on current mood of user
US20020144259A1 (en) 2001-03-29 2002-10-03 Philips Electronics North America Corp. Method and apparatus for controlling a media player based on user activity
US8745541B2 (en) * 2003-03-25 2014-06-03 Microsoft Corporation Architecture for controlling a computer using hand gestures
CN2627634Y (zh) * 2003-05-30 2004-07-21 玴荣科技股份有限公司 防误触式开关装置
KR100621593B1 (ko) * 2004-09-24 2006-09-19 삼성전자주식회사 다중양식의 입력을 이용하는 통합 원격 제어 장치 및 방법
KR100778757B1 (ko) * 2006-03-03 2007-11-23 엘지전자 주식회사 동작인식 장치를 이용한 사용자별 맞춤형 스마트 텔레비젼장치 및 방법
KR100918094B1 (ko) * 2006-12-05 2009-09-22 한국전자통신연구원 이동식 영상 카메라를 구비한 제스처 인식 시스템
TW200928892A (en) * 2007-12-28 2009-07-01 Wistron Corp Electronic apparatus and operation method thereof
US8413075B2 (en) * 2008-01-04 2013-04-02 Apple Inc. Gesture movies
US8289548B2 (en) * 2008-02-21 2012-10-16 Brother Kogyo Kabushiki Kaisha Printer having first and second memory regions and non-transitory computer-readable recording medium storing control program of printer
KR101017936B1 (ko) * 2008-09-18 2011-03-04 동명대학교산학협력단 사용자의 제스춰 정보 인식을 기반으로 하여 디스플레이장치의 동작을 제어하는 시스템
TW201032087A (en) * 2009-02-19 2010-09-01 Asustek Comp Inc Command control system and method thereof
CN102460349A (zh) * 2009-05-08 2012-05-16 寇平公司 使用运动和语音命令对主机应用进行远程控制
US20110252349A1 (en) * 2010-04-07 2011-10-13 Imran Chaudhri Device, Method, and Graphical User Interface for Managing Folders

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11700409B2 (en) 2013-01-07 2023-07-11 Samsung Electronics Co., Ltd. Server and method for controlling server
US9578670B2 (en) 2013-05-02 2017-02-21 Futureplay Inc. Method for matching multiple devices, device for enabling matching thereof and server system
KR20140130856A (ko) * 2013-05-02 2014-11-12 엘지전자 주식회사 멀티미디어 디바이스 및 그 제어 방법
WO2014178693A1 (ko) * 2013-05-02 2014-11-06 Hwang Sung Jae 복수의 디바이스를 매칭시키는 방법, 그리고 상기 매칭이 가능하게끔 하여 주는 디바이스 및 서버 시스템
KR20150004122A (ko) * 2013-07-02 2015-01-12 삼성전자주식회사 서버 및 그 제어방법과, 영상처리장치 및 그 제어방법
KR20150010517A (ko) * 2013-07-19 2015-01-28 삼성전자주식회사 통신 방법 및 이를 위한 디바이스
US10019068B2 (en) 2014-01-06 2018-07-10 Samsung Electronics Co., Ltd. Home device control apparatus and control method using wearable device
KR20150082079A (ko) * 2014-01-06 2015-07-15 삼성전자주식회사 웨어러블 기기를 이용한 홈 디바이스 제어 장치 및 제어 방법
WO2015102467A1 (ko) * 2014-01-06 2015-07-09 삼성전자 주식회사 웨어러블 기기를 이용한 홈 디바이스 제어 장치 및 제어 방법
KR20160044652A (ko) * 2014-10-15 2016-04-26 현대모비스 주식회사 차량용 ａｖｎ 시스템의 음성 제어방법
KR20160061176A (ko) * 2014-11-21 2016-05-31 엘지전자 주식회사 디스플레이 장치 및 그 제어 방법
KR20170006870A (ko) * 2015-07-10 2017-01-18 주식회사 엘지유플러스 영상표시기기, 그 제어 방법, 프로그램 및 기록 매체와 원격 제어 장치 및 그 제어 방법
KR20190135974A (ko) 2016-04-29 2019-12-09 주식회사 브이터치 동작-음성의 다중 모드 명령에 기반한 최적 제어 방법 및 이를 적용한 전자 장치
US10796694B2 (en) 2016-04-29 2020-10-06 VTouch Co., Ltd. Optimum control method based on multi-mode command of operation-voice, and electronic device to which same is applied
US11144175B2 (en) 2018-04-02 2021-10-12 Samsung Electronics Co., Ltd. Rule based application execution using multi-modal inputs
WO2019194426A1 (en) * 2018-04-02 2019-10-10 Samsung Electronics Co., Ltd. Method for executing application and electronic device supporting the same
WO2021187653A1 (ko) * 2020-03-17 2021-09-23 삼성전자 주식회사 제스처에 기초하여, 음성 입력을 처리하는 전자 장치 및 그 동작 방법
KR20220099941A (ko) * 2020-10-29 2022-07-14 삼성전자주식회사 서버 및 그 제어방법과, 영상처리장치 및 그 제어방법
KR20230136575A (ko) * 2020-10-29 2023-09-26 삼성전자주식회사 서버 및 그 제어방법과, 영상처리장치 및 그 제어방법
KR20220042092A (ko) * 2020-11-18 2022-04-04 삼성전자주식회사 서버 및 그의 제어 방법
KR20220145302A (ko) * 2020-11-18 2022-10-28 삼성전자주식회사 서버 및 그의 제어 방법
KR20210071924A (ko) * 2020-11-18 2021-06-16 삼성전자주식회사 서버 및 그의 제어 방법
WO2022186531A1 (ko) * 2021-03-05 2022-09-09 삼성전자 주식회사 전자 장치 및 전자 장치의 기기 연결 방법

Also Published As

Publication number Publication date
KR101789619B1 (ko) 2017-10-25
US9390714B2 (en) 2016-07-12
EP2643968A4 (en) 2015-07-08
WO2012070812A2 (en) 2012-05-31
WO2012070812A3 (en) 2012-07-19
CN103201790A (zh) 2013-07-10
EP2643968A2 (en) 2013-10-02
US20120127072A1 (en) 2012-05-24

Similar Documents

Publication Publication Date Title
KR101789619B1 (ko) 멀티미디어 장치에서 음성과 제스쳐를 이용한 제어 방법 및 그에 따른 멀티미디어 장치
US8937664B2 (en) Method of controlling electronic device and portable terminal thereof
US8972267B2 (en) Controlling audio video display device (AVDD) tuning using channel name
US8965314B2 (en) Image display device and method for operating the same performing near field communication with a mobile terminal
KR101220037B1 (ko) 전자 기기 연결 제어 방법 및 그를 이용한 휴대용 단말기
US8542320B2 (en) Method and system to control a non-gesture controlled device using gesture interactions with a gesture controlled device
CN108886634B (zh) 显示装置及操作显示装置的方法
US20120119985A1 (en) Method for user gesture recognition in multimedia device and multimedia device thereof
KR20120051208A (ko) 멀티미디어 장치의 사물을 이용한 제스쳐 인식 방법 및 장치
EP3417630B1 (en) Display device and operating method thereof
KR20120051209A (ko) 멀티미디어 장치의 디스플레이화면 제공 방법 및 그에 따른 멀티미디어 장치
US10327030B2 (en) Display device and operating method thereof
US10372225B2 (en) Video display device recognizing a gesture of a user to perform a control operation and operating method thereof
KR102254894B1 (ko) 음성 인식 검색 결과를 이용하여 카테고리를 배열하는 디스플레이 디바이스 및 그 제어 방법
KR20150008769A (ko) 영상표시장치 및 그 동작방법
KR101545904B1 (ko) 영상표시장치 및 그 동작방법
KR101799271B1 (ko) 원격제어장치를 이용한 멀티미디어 장치의 조작방법 및 그에 따른 멀티미디어 장치
KR20150108546A (ko) 사용자 단말기와 연계된 개인화 서비스 방법 및 시스템
EP3971888A1 (en) Display device for providing speech recognition service and method of operation thereof
KR20150012677A (ko) 멀티미디어 장치 및 그의 사용자 명령 예측 방법
KR101938883B1 (ko) 영상표시기기 및 그 동작 방법
EP3905707A1 (en) Display device and operating method thereof
KR20190034856A (ko) 디스플레이 장치 및 그의 동작 방법
US11178466B2 (en) Display device and control method therefor
US20220309095A1 (en) Display device

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant